Data engineering плотно вошел в IT-процессы современных организаций. Чтобы эффективно принимать решения на основе собираемых данных, одного лишь специалиста data science не всегда достаточно. Нужен человек, который организует эффективный и бесперебойный сбор, укладку и хранение информации. Зачастую такой специалист обладает широким набором навыков:
В этом курсе мы затронем один из важнейших этапов дата-инженера, а именно построение дата-пайплайнов. Я расскажу про такой замечательный и простой инструмент как Luigi в экосистеме Python, а после напишем боевой пайплайн.
Приятного обучения!
© 2021 — 2024, StartDataJourney.com
Reviews
Vladimir 17 December 2023
В целом курс не плохой, изложение материала доступно и понятно, и для первоначального знакомства с luigi - самое то. Но есть момент, который очень подпортил впечатления от курса: Отсутствие обновления материалов курса в соответствии с современными реалиями, я имею ввиду, что следует периодически проверять работоспособность тех решений, которые предлагаются в практических заданиях, например, все версии модулей python, используемые в курсе, слишком устарели для современных ОС на без Linux и с ходу, по тем инструкциям, что есть в курсе, ничего работать не будет. Надо либо использовать одну из предыдущих версий Linux, либо тем или иным образом устанавливать нужную версию python, ну или как-то иначе решать возникающие проблемы. И даже решение в vagrant не очень помогают, по крайней мере я не смог сразу запустить vagrant и делал всё на базе WSL.
Nafisa Israil 8 April 2021
Курс очень понравился. Отличное начало для тех, кто решил освоить data engineer. На примере Luigi объясняется идея data piplines. Курс дает не только теоретическую нагрузку, но и полезные практические занятия.
Archimedes 7 April 2021
Как первое знакомство с Luigi курс хорош.
Viktor Andriichuk 7 April 2021
Понравился курс. Все четко и понятно.
Адиль Хаштамов 1 April 2021
Несмотря на то, что я автор курса, результат получился хороший =) Курс в первую очередь поможет быстро понять как работает инструмент и стартануть ASAP 🐍🚀
elessar 17 March 2021
Все отлично!!!
Renat Alimbekov 17 March 2021
Отличный курс. Даёт хорошую теоретическую базу для начала работы с Luigi
Егор Силаев 17 March 2021
Меняю свою негативную оценку, т.к. автор действительно доделал курс. Сейчас курс является неплохой вводной по luigi. Освещены все аспекты работы, от базового устройства, до ввода в экспклуатацию. Конечно, хотелось бы больше информации по задачам, направленных на взаимодейдствие с БД, но это уже придирки. Рекомендую курс все новичкам, которым нужно базовое и быстрое знакомство с пайпланами и использованием luigi