Data engineering плотно вошел в IT-процессы современных организаций. Чтобы эффективно принимать решения на основе собираемых данных, одного лишь специалиста data science не всегда достаточно. Нужен человек, который организует эффективный и бесперебойный сбор, укладку и хранение информации. Зачастую такой специалист обладает широким набором навыков:

  • понимание ОС на базе Unix
  • Software engineering
  • основы баз данных (SQL, NoSQL, NewSQL и т.д.)
  • распределенные системы

В этом курсе мы затронем один из важнейших этапов дата-инженера, а именно построение дата-пайплайнов. Я расскажу про такой замечательный и простой инструмент как Luigi в экосистеме Python, а после напишем боевой пайплайн.

Приятного обучения!

Автор

Адиль Хаштамов

Адиль Хаштамов

Дата инженер, предприниматель, автор блога khashtamov.com

Рейтинг курса

4,75
(8)
  • 5 звёзд
    75 %
  • 4 звезды
    25 %
  • 3 звезды
    0 %
  • 2 звезды
    0 %
  • 1 звезда
    0 %

Добавить отзыв

Пожалуйста, укажите рейтинг курса

Отзывы

    В целом курс не плохой, изложение материала доступно и понятно, и для первоначального знакомства с luigi - самое то. Но есть момент, который очень подпортил впечатления от курса: Отсутствие обновления материалов курса в соответствии с современными реалиями, я имею ввиду, что следует периодически проверять работоспособность тех решений, которые предлагаются в практических заданиях, например, все версии модулей python, используемые в курсе, слишком устарели для современных ОС на без Linux и с ходу, по тем инструкциям, что есть в курсе, ничего работать не будет. Надо либо использовать одну из предыдущих версий Linux, либо тем или иным образом устанавливать нужную версию python, ну или как-то иначе решать возникающие проблемы. И даже решение в vagrant не очень помогают, по крайней мере я не смог сразу запустить vagrant и делал всё на базе WSL.

    Курс очень понравился. Отличное начало для тех, кто решил освоить data engineer. На примере Luigi объясняется идея data piplines. Курс дает не только теоретическую нагрузку, но и полезные практические занятия.

    Как первое знакомство с Luigi курс хорош.

    Понравился курс. Все четко и понятно.

    Несмотря на то, что я автор курса, результат получился хороший =) Курс в первую очередь поможет быстро понять как работает инструмент и стартануть ASAP 🐍🚀

    Все отлично!!!

    Отличный курс. Даёт хорошую теоретическую базу для начала работы с Luigi

    Меняю свою негативную оценку, т.к. автор действительно доделал курс. Сейчас курс является неплохой вводной по luigi. Освещены все аспекты работы, от базового устройства, до ввода в экспклуатацию. Конечно, хотелось бы больше информации по задачам, направленных на взаимодейдствие с БД, но это уже придирки. Рекомендую курс все новичкам, которым нужно базовое и быстрое знакомство с пайпланами и использованием luigi