Data engineering плотно вошел в IT-процессы современных организаций. Чтобы эффективно принимать решения на основе собираемых данных, одного лишь специалиста data science не всегда достаточно. Нужен человек, который организует эффективный и бесперебойный сбор, укладку и хранение информации. Зачастую такой специалист обладает широким набором навыков:

  • понимание ОС на базе Unix
  • Software engineering
  • основы баз данных (SQL, NoSQL, NewSQL и т.д.)
  • распределенные системы

В этом курсе мы затронем один из важнейших этапов дата-инженера, а именно построение дата-пайплайнов. Я расскажу про такой замечательный и простой инструмент как Luigi в экосистеме Python, а после напишем боевой пайплайн.

Приятного обучения!

Author

Адиль Хаштамов

Адиль Хаштамов

Дата инженер, предприниматель, автор блога khashtamov.com

Course Rating

4.86
(7)
  • 5 stars
    85 %
  • 4 stars
    14 %
  • 3 stars
    0 %
  • 2 stars
    0 %
  • 1 star
    0 %

Add a Review

Please choose the rating

Reviews

    Курс очень понравился. Отличное начало для тех, кто решил освоить data engineer. На примере Luigi объясняется идея data piplines. Курс дает не только теоретическую нагрузку, но и полезные практические занятия.

    Как первое знакомство с Luigi курс хорош.

    Понравился курс. Все четко и понятно.

    Несмотря на то, что я автор курса, результат получился хороший =) Курс в первую очередь поможет быстро понять как работает инструмент и стартануть ASAP 🐍🚀

    Все отлично!!!

    Отличный курс. Даёт хорошую теоретическую базу для начала работы с Luigi

    Меняю свою негативную оценку, т.к. автор действительно доделал курс. Сейчас курс является неплохой вводной по luigi. Освещены все аспекты работы, от базового устройства, до ввода в экспклуатацию. Конечно, хотелось бы больше информации по задачам, направленных на взаимодейдствие с БД, но это уже придирки. Рекомендую курс все новичкам, которым нужно базовое и быстрое знакомство с пайпланами и использованием luigi