Эксклюзивный партнер
Skillbox в Республике Молдова
burger
Каталог
close
list Каталог
Каталог Аналитика и Data Science Профессия Data Engineer
Получить доступ

ПЕРВЫЙ ПЛАТЕЖ НА 2-ОЙ МЕСЯЦ

Профессия Data Engineer

Вы с нуля научитесь строить инфраструктуру для сбора, обработки, хранения и анализа больших данных. Отточите навыки на реальных кейсах от VK и Сбера и уже через 9 месяцев сможете устроиться на позицию junior. Курс подходит новичкам в IT — вам по силам освоить профессию без технического образования и специальных знаний.

О профессии

Дата-инженер — специалист, который работает с большими данными (big data). Он организует сбор, очистку и загрузку данных в базы, создаёт инфраструктуру для хранения, чтобы дата-аналитики могли найти в них полезные инсайты для бизнеса.

Первый уровень: базовая подготовка

Познакомитесь с основными направлениями Data Science, обучите и внедрите свою первую ML-модель. Получите базовые знания по математике, основам статистики и теории вероятностей. Всё это поможет вам разобраться в основных принципах работы с данными.

Чему вы научитесь

  • Использовать инструменты анализа

    Освоите языки Python и SQL. Сможете работать с библиотеками и фреймворками pandas, airflow, spark.

  • Обрабатывать данные

    Узнаете, как подключаться к источникам информации и загружать их в систему. Сможете очищать, сохранять и интегрировать данные.

  • Тестировать код

    Поймёте, как проводить регрессионное тестирование. Сможете тестировать пакеты, пайплайны и обрабатывать ошибки.

  • Взаимодействовать с заказчиком

    Разберётесь, как готовить отчётность и согласовывать инфраструктуру данных. Сможете предоставить корректные данные заказчику.

  • Разворачивать Data Science проект

    Поймёте, как реализовывать загрузку данных и собирать информацию из разных источников. Сможете выстраивать готовый пайплайн проекта.

  • Работать в команде

    Познакомитесь с git и облачными сервисами для совместной работы. Сможете эффективно взаимодействовать со всеми участниками процесса.

Кейсы, на которых вы будете учиться

  • Приложение для загрузки данных

    Научитесь получать данные разных типов и из разных источников, настроите обработку потоковых данных для компании.

    Инструменты: Linux, Docker, PyCharm, DBeaver, MySQL, MongoDB, Kafka, NiFi, FTP.

  • Развёртка приложения в реальном окружении

    Упакуете приложение в Docker, настроите мониторинг и логирование, чтобы контролировать его работу. На практике освоите контейнеризацию.

    Инструменты: Linux, Docker, Prometheus, Grafana, Elasticsearch, Logstash, Kibana.

  • Работа с Big Data

    С помощью Spark и популярной экосистемы Hadoop отследите логи бэкенда и данные о запросах пользователей, чтобы найти баг в мобильном приложении. Научитесь обрабатывать большие объёмы данных и работать с распределёнными вычислениями.

    Инструменты: Hadoop, HDFS, Yarn, Spark, Hive.

  • Подготовка Data Lake

    Соберёте данные от устройств умного дома, чтобы проанализировать потребление электроэнергии в жилом комплексе. Построите Data Lake — одну из самых популярных моделей для работы со слабоструктурированными данными.

    Инструменты: OLAP, OLTP, Hive, Spark, Airflow, ClickHouse, Kafka.

  • Хранилище данных (DWH) для EdTech-стартапа

    Построите высоконагруженную инфраструктуру для анализа активности студентов образовательной платформы. Научитесь работать в Greenplum, освоите визуализацию в Power BI и создадите дашборды.

    Инструменты: Greenplum, Airflow, HDFS, Power BI.

  • Тестирование дата-пайплайна для e-commerce-проекта

    Автоматизируете получение, обработку и загрузку данных от источников до витрины. Реализуете проверку качества данных и бизнес-правил. Научитесь учитывать контекст при работе с данными.

    Инструменты: Pytest, Airflow, Jupyter, Spark, Great Expectation.

Помогаем с трудоустройством

Вас ждёт индивидуальная поддержка HR-специалиста. Вместе вы составите резюме, подготовите портфолио и разработаете карьерный план, который поможет найти работу быстрее. Сможете выбрать привлекательные вакансии и получите приоритет перед другими соискателями.

Чем вам поможет Наш партнер Центр развития карьеры:

  • Резюме

    Презентуем вас работодателям с выгодной стороны

    Проведём онлайн-встречу, где оценим ваши сильные стороны, навыки и профессиональный опыт. Поможем оформить профиль на сайтах с вакансиями и разработать привлекательное резюме, которое точно впечатлит работодателей.

  • Индивидуальный карьерный план

    Расскажем, как начать и развивать карьеру

    Проведём онлайн-консультацию, определим ваши цели и расскажем, как их добиться. Сформируем индивидуальный путь вашего развития в профессии. Вы узнаете, где искать работу и какие навыки развивать, чтобы продвинуться в карьере.

  • Партнерские вакансии

    Порекомендуем вашу кандидатуру партнёрам

    У вас будет доступ к закрытому чату с вакансиями наших партнёров. Вы сможете выбрать подходящие предложения, а консультант поможет написать сопроводительное письмо и подготовиться к собеседованию. Вашу кандидатуру рассмотрят в числе первых.

  • Оформление портфолио

    Поможем эффектно представить ваши проекты

    Расскажем, как создать продающее портфолио. Вместе выберем привлекательные работы и отдадим на ревью эксперту. Поможем оформить проекты так, что их по достоинству оценят работодатели.

  • Карьерные консультации

    Подготовим вас к старту карьеры

    Консультанты ответят на ваши вопросы о карьере, подготовят к собеседованиям и соберут обратную связь от работодателей. Вы узнаете, как вести себя на интервью и избежать ошибок при поиске работы. Сможете участвовать в карьерных воркшопах и вебинарах.

Почему мы уверены в вашем трудоустройстве?

  • Определяем потребности рынка

    Мы тщательно анализируем профессии, в которых помогаем с трудоустройством: опрашиваем специалистов, оцениваем вакансии, потребность в кандидатах и доступность профессии для новичков.

  • Даём качественные знания

    Помогаем получить навыки, которые необходимы здесь и сейчас. Все спикеры — практикующие специалисты, а их знания востребованы на рынке.

  • Поддерживаем на старте карьеры

    Наши консультанты контролируют каждый шаг на пути к вашей карьере. Они помогают избежать ошибок и спланировать профессиональный путь.

7000⁠+
пользователей Skillbox получили новую работу с 2019 года
  • 500⁠+ пользователей ежеквартально находят работу с помощью Нашего партнера Центр развития карьеры
  • 1400⁠+ пользователей Skillbox улучшили карьеру в 2022 году
  • Александр Жигалов

    Александр Жигалов 23 года

    Студент Продюсер

  • Светлана Макарова

    Светлана Макарова 43 года

    Металлург Тестировщица

  • Любовь Потапкина

    Любовь Потапкина 30 лет

    Юрист Менеджер проектов

  • Михаил Булгаков

    Михаил Булгаков 32 года

    Тренер SEO-специалист

  • Валентина Котельникова

    Валентина Котельникова 30 лет

    Переводчица UX-дизайнер

  • Динара Хисметуллова

    Динара Хисметуллова 32 года

    Менеджер Дизайнер

  • Виктория Сержанова

    Виктория Сержанова 32 года

    Учёная Frontend-разработчица

Люди, которые изменили жизнь благодаря Skillbox

Пользователи Skillbox осваивают новые профессии. Строят карьеру, меняют жизнь и обретают себя. У вас тоже получится.

Отзывы работодателей

  • Ольга Новодворская HR BP в Nauka

    Сотрудничество со Skillbox — это гарантия, что мы получим будущих сотрудников с определёнными знаниями. Новички, которые пришли к нам, выросли и приблизились к middle-уровню спустя 8 месяцев.

  • Богдан Пилипенко Аккаунт-менеджер в Appollo Digital

    Skillbox помогает найти инициативных новичков, которым интересны простые, но ценные задачи. После прохождения курсов ребята выходят со структурированными, свежими знаниями по дисциплинам.

  • Юлия Ильяева Директор по развитию Team for Dream

    Кандидаты из Skillbox всегда отличаются своей высокой мотивацией, поэтому мы с радостью приглашаем их на стажировки и предлагаем работу. Уже несколько раз мы принимали на junior-позиции участников курса «Профессия Event-менеджер».

  • Максим Зубцов Директор по маркетингу в Checkroi

    Skillbox подбирает кандидатов с горящими глазами и желанием развиваться. Например, руководитель нашего SEO-отдела когда-то был новичком, с которым мы встретились благодаря Центру карьеры.

  • Роман Горбачёв Основатель дизайн-студии «Логомашина»

    Когда нас пригласили спикерами в Skillbox, мы решили: это отличный шанс пополнить команду талантливыми специалистами. Сейчас у нас работают несколько дизайнеров, и мы ими очень довольны.

Отзывы участников

Денис Галкин Курс «Профессия Data Scientist PRO»
Понравились практические задания и общение с куратором. Иногда в видеороликах мне не хватает теории, чтобы выполнить практическую работу. Хотелось бы, чтобы спикеры подробнее разбирали примеры.
Сергей Левин Курс «Профессия Data Scientist PRO»
Видео подготовлены качественно, но всё-таки иногда раскрывают тему не полностью.

Что даёт профессия Data Engineer?

  • Востребованную специальность, на которую растёт спрос
    Практически каждая компания ведёт бизнес в онлайн-сфере и собирает огромные объёмы данных для эффективной работы. Этим занимаются поисковые системы, соцести, музыкальные сервисы, финансовые, научные и промышленные организации. А это значит, что дата-инженерам точно будет чем заняться. На ваши навыки всегда будет спрос — опытный Data Engineer может зарабатывать от 150 000 рублей.
  • Профессиональную свободу
    Дата-инженеры нужны в любой компании, которая работает с большими объёмами информации. Сможете найти своё место в любой сфере: IT, банкинг, маркетинг, интернет-ритейл, промышленность, телеком. А находиться в офисе необязательно — сможете работать онлайн из любой точки мира.
  • Возможность стать частью процесса Data Science
    С дата-инженера начинается работа с данными. Он собирает огромные и хаотичные массивы информации и раскладывает всё по полочкам. Результаты работы дата-инженера анализируют дата-сайентисты и используют в алгоритмах ИИ ML-специалисты. Вы станете первым звеном в цепочке Data Science и примете участие в создании инновационного продукта.

О Skillbox

Skillbox
по качеству обучения. Вся теория записана с топовыми экспертами рынка, а практика максимально приближена к реальным рабочим задачам. Послушайте, что говорят те, кто уже достиг своих целей вместе со Skillbox.

Как проходит обучение на платформе

  • Иллюстрация этапа обучения
    Регистрация

    Знакомитесь с платформой

    Платформа Skillbox — собственная разработка компании Skillbox, платформа постоянно улучшается. Вас ждут видео, практические задания и общение с кураторами Доступ к материалам откроется сразу после покупки курса

  • Иллюстрация этапа обучения
    Теория

    Получаете знания

    Курсы состоят из тематических видео разной длительности Смотрите их когда и где угодно Доступ бессрочный, чтобы вы всегда могли вернуться и повторить теорию

  • Иллюстрация этапа обучения
    Практика

    Выполняете задания

    В Skillbox уверены, что навыки отрабатываются только через практику. Поэтому после теории вас ждёт практическая работа или тест Все задачи приближены к реальным — их можно с гордостью положить в портфолио

  • Иллюстрация этапа обучения
    Обратная связь

    Работаете с куратором

    Проверкой заданий занимаются кураторы Это эксперты по теме курса Они помогут с трудными задачами и подскажут, как улучшить ваши проекты Общаться с проверяющими кураторами можно прямо на платформе

Уровни обучения

  • 1-й уровень: базовая подготовка

    Познакомитесь с основными направлениями data science, обучите и внедрите свою первую ML-модель. Получите базовые знания по математике, основам статистики и теории вероятностей. Создадите свой первый проект на основе реальных данных от VK и сервиса «СберАвтоподписка».

  • 2-й уровень: введение в дата-инженерию и трудоустройство

    Введение в специальность. Освоите SQL и Python на продвинутом уровне и научитесь применять их для работы с данными. Попрактикуетесь на 6 кейсах, а в конце этапа — разработаете решение для онлайн-ретейла.

  • Экспертный уровень

    Отточите рабочие задачи дата-инженера: будете настраивать архитектуру для хранения данных, пользоваться средствами мониторинга и обучать ML-модели. Продолжите заниматься и работать и сможете повысить уровень до Middle, чтобы брать сложные проекты.

Содержание курсов

Вас ждут тематические модули и практика на основе реальных кейсов.

  • 12 месяцев обучения
  • 3 итоговых проекта

Первый уровень: базовая подготовка

Среднее время прохождения — 5 месяцев.

  1. Введение в Data Science

      1. Пройдёте все этапы работы с данными. Научитесь выявлять проблемы, собирать бизнес-требования. Будете выгружать данные из различных источников, проводить разведочный анализ и готовить датасет к дальнейшему использованию. Обучите и внедрите готовую ML-модель, попробуете себя в роли продуктового и маркетингового аналитика. Узнаете, как формулировать и проверять гипотезы. Создадите первый проект на основе реальных данных совместно с VK и сервисом «СберАвтоподписка».

Второй уровень: введение в дата-инженерию и трудоустройство

Среднее время прохождения — 4 месяца. В процессе вам предстоит решить 6 реальных кейсов из практики дата-инженера и выполнить итоговый проект.

  1. Data Engineer Junior

      1. Разбираемся в типах источников данных.
      2. Работаем с потоковыми источниками и API: загружаем данные из внешних сервисов.
      3. Подключаем источники с помощью Data Ingestion Tool.
      4. Кейс: напишете приложение, которое загружает данные в базу, или построите процесс обработки данных с помощью NiFi.
      5. Используем Docker для автоматизации.
      6. Подключаем мониторинг для контроля за сервисами.
      7. Настраиваем логирование для анализа работы сервисов.
      8. Кейс: развернёте приложение для загрузки данных в продовом окружении. Упакуете его в Docker, подключите сервисы мониторинга и логирования для контроля его работы.
      9. Разбираемся с Hadoop для масштабирования вычислений.
      10. Используем Spark для обработки данных.
      11. Учимся обрабатывать сложные данные в Spark.
      12. Используем Hive для анализа слабоструктурированных данных.
      13. Кейс: подготовить датасет клиентских запросов компании, чтобы найти причины сбоя сервиса.
      14. Разбираемся в хранилищах данных для аналитики.
      15. Строим хранилище по архитектуре Data Lake.
      16. Управляем ETL-процессами с помощью Airflow.
      17. Знакомимся с ClickHouse.
      18. Кейс: подготовить Data Lake на основе данных IoT для анализа энергопотребления арендаторов жилья.
      19. Моделируем DWH.
      20. Работаем с аналитическими базами данных.
      21. Строим DWH.
      22. Создаём витрины данных.
      23. Кейс: подготовить DWH для анализа успеваемости студентов на онлайн-курсах.
      24. Тестируем Python-приложения на примере DAG Airflow.
      25. Ищем проблемы в данных и учимся их устранять.
      26. Создаём процедуры для контроля качества данных.
      27. Кейс: создать пайплайн обработки данных биллинга с проверкой качества данных и бизнес-правил для телеком-компании.

  2. ✦ Трудоустройство с помощью Центра карьеры

      1. Карьерный консультант поможет подготовиться к собеседованию в компании-партнёре. Разберёте частые вопросы и научитесь меньше переживать на интервью.
      2. Напишете сопроводительное письмо и грамотно оформите резюме.
      3. Будете готовы пройти собеседование — карьерный консультант организует встречу с работодателем.
      4. На интервью презентуете проекты, над которыми вы работали на курсе, а знания и навыки пригодятся для выполнения тестовых задач.

Продвинутый уровень: погружение в профессию

Среднее время прохождения — 3 месяца.

  1. Data Engineer advanced

    Научитесь пользоваться типовыми средствами мониторинга, настраивать алерты. Будете выбирать архитектуру для хранения данных и работать со сложными типами архитектуры хранилищ. Выстраивать инфраструктуру и пайплайны для обучения ML-моделей.

Дополнительные курсы

  1. Основы математики для Data Science

    Получите базовые знания по математике для работы с машинным обучением. Поймёте, что такое аппроксимация, интерполяция, функции, регрессии, матрицы и векторы. Научитесь работать с математическими сущностями в Python-библиотеке SymPy.

  2. Основы статистики и теории вероятностей

    Поймёте принципы работы со случайными величинами и событиями. Познакомитесь с некоторыми видами распределений и статистическими тестами, которые пригодятся при составлении моделей и проверке гипотез.

  3. Основы статистики и теории вероятностей. Advanced

    Узнаете подробнее о случайных величинах, зависимостях и процессах. Научитесь использовать Python для проверки закономерностей, применять функции генерации основных распределений. Протестируете гипотезы и поставите задачи А/В-тестирования.

  4. Карьера разработчика: трудоустройство и развитие

    Узнаете, как выбрать подходящую вакансию, подготовиться к собеседованию и вести переговоры с работодателем. Сможете быстрее получить должность, которая соответствует вашим ожиданиям и умениям.

  5. Система контроля версий Git

    Научитесь версионировать изменения в коде, создавать и управлять репозиториями, ветками, разрешать конфликты версий. Узнаете полезные правила работы с Git.

Записаться на курс или получить бесплатную консультацию
Имя
Телефон
Электронная почта
Отправить
Ознакомиться с условиями публичного договора
success
error
warning

Авторы и спикеры курса

Фёдор Ерин
Фёдор
Ерин Data Scientist в Yousician. Программный директор курса Data Science PRO
Алексей Железной
Алексей
Железной Middle+ Data Engineer, Wildberries
Кирилл Шмидт
Кирилл
Шмидт Product analyst Team Lead в Citrix (США) и Wrike
Юлдуз Фаттахова
Юлдуз
Фаттахова Автор курса Senior Data Scientist, Team Lead, SberData, Сбер
Владимир Ершов
Владимир
Ершов Автор курса «Machine Learning». Data Solutions manager, Visa. В data science больше 7 лет
Артур Самигуллин
Артур
Самигуллин Автор «Профессии Data Analyst». Product Intelligence team lead @ EQ SberDevices. 5 лет в промышленном анализе данных

Учитесь сейчас, платите потом!

Вы можете оплатить курс разовым платежом, или наш менеджер поможет вам оформить рассрочку без переплат в одном из надёжных банков Молдовы. При оплате в рассрочку, первый взнос вы сможете внести уже после начала изучения материалов.

Кредитная программа от надёжных банков

  • Для граждан Молдовы
  • Без первого взноса
  • Без переплаты по процентам
  • Одобрение в день обращения
Записаться на курс
-60%
992 L/мес
2 480 L/мес
В рассрочку на 24 мес
percent Кешбэк 30%: 7 142 балла на Lerna
Профессия Data Engineer
Длительность: 12 мес
Заполните контактные данные
Имя
Телефон
E-mail
Промокод
Название компании
Отправить заявку
Ознакомиться с условиями публичного договора
success
error
warning

Часто задаваемые вопросы

  • У меня нет опыта работы с данными. Подходит ли мне этот курс?
    Курс подходит новичкам без специальных знаний, высшего образования и талантов. Главное — не пожалейте времени на первый этап. Внимательно выполняйте практические работы и не забывайте читать дополнительную литературу. Чем лучше вы поймёте основы, тем легче вам будет учиться дальше.
  • Какое отношение дата-инженер имеет к data science?
    Работа с данными — процесс, в котором каждый участник команды дата-сайентистов выполняет свою задачу. Дата-инженер извлекает данные из разных источников, очищает их от «мусора» и автоматизирует эти процессы, ML-инженер обучает модели машинного обучения для анализа этих данных, а дата-аналитики общаются с заказчиками и помогают бизнесу принимать верные решения на основе исследований.

    В зависимости от того, какое направление вам интересно, вы можете выбрать себе курс по data science в Skillbox: «Профессия Data Analyst», «Профессия Data Engineer», «Профессия ML Engineer». А если вы не можете определиться, записывайтесь на курс «Профессия Data Scientist PRO» — там можно выбрать любое из 3 направлений после первого уровня.
  • Какой компьютер нужен для работы на курсе?
    Подойдёт компьютер на macOS, Windows 10, с процессором i3, i5 или i7 или аналогичный на AMD.
  • Можно ли стать дата-инженером за 9 месяцев и найти работу?
    Мы составили курс с учётом требований работодателей, а итоговые проекты и практические работы основаны на реальных проблемах, которые решают дата-инженеры. Если заниматься регулярно, выполнять практические работы и не пропускать теоретические видео, то у вас будут все необходимые знания и сильное портфолио, чтобы удачно пройти собеседование. Всё остальное мы берём на себя: поможем составить резюме, подберём вакансии и подготовим к интервью.
  • Требуются ли знания математики?
    На начальных этапах от вас не требуется продвинутых знаний — достаточно школьного курса математики. Не пугайтесь, если вам придётся разобраться в темах, которые вы забыли или не проходили, — проверяющий эксперт поможет освежить знания или даст ссылки на полезные материалы.
  • Нужно ли знать английский?
    Значения важных англоязычных терминов объясним на курсах. В практических работах перевести незнакомые слова поможет Google Переводчик. Но со знанием языка проще ориентироваться в среде разработки, читать документацию, участвовать в международных проектах.

    Поэтому пользователям платформы Skillbox мы дарим бесплатные занятия в онлайн-школе КЭСПА на год. За это время вы освоите грамматику, пополните словарный запас и научитесь свободно читать и говорить на английском.
  • Какой график обучения? Получится ли совмещать его с работой?
    Вы можете изучать материалы курса в удобном вам режиме, совмещать прохождение курсов с работой и личной жизнью. Более того, все видео будут доступны и по окончании курса, так что вы сможете освежить свои знания в любой момент.
  • Сколько часов в неделю мне нужно будет уделять обучению на платформе?
    Чтобы пройти полный курс за год, советуем заниматься от 8 до 10 часов в неделю. При таком графике вы сможете научиться основам дата-инженерии за 9 месяцев — после этого вы трудоустроитесь Junior-специалистом и параллельно продолжите изучать продвинутые темы.
  • Кто будет проверять практические работы?
    Никаких автоматических проверок и скриптов. С вами будет работать живой человек — проверяющий эксперт. Он не только укажет на ошибки, но и поможет разобраться в сложных темах и ответит на вопросы. Помощь эксперта и доступ к Telegram-чату уже входят в стоимость курса — ни за что доплачивать не нужно.
  • Действуют ли какие-нибудь программы рассрочки?
    Да, вы можете купить курс в рассрочку — и спланировать свой бюджет, разбив всю сумму на небольшие ежемесячные платежи.
  • Чем рассрочка отличается от кредита?
    Вы оплачиваете только стоимость курса — проценты мы берём на себя. Для оформления рассрочки не требуются официальное трудоустройство и хорошая кредитная история.1