Введение в Data Engineering: дата-пайплайны
: Дата пайплайн / Как готовят дата пайплайны
Шаг 1 из 5
В этом уроке я расскажу про:
самые распространённые подходы в приготовлении дата пайплайнов
плюсы и минусы подходов
популярные инструменты (и набирающие популярность) в экосистеме Python
Назад
Далее
Комментарии
Контент
Контент
Введение
Знакомство
Что необходимо знать
Содержимое курса
Дата пайплайн
Что такое дата пайплайн
Как готовят дата пайплайны
Зачем нам Luigi
Знакомство с Luigi
Установка Luigi
Task, Target, Luigid
Практические задачи построения пайплайнов
Hello World Pipeline
Hello World с параметрами
NYC Yellow Taxi
Параллельное выполнение тасков
Нотификации в Telegram
Разбор конфигов Luigi
Общие настройки
Настройки воркера
Настройки диспетчера
Прочие настройки
Деплой Luigi
Деплоим ручками
Собираем Docker контейнер
Деплоим в облако AWS