Деплоим в облако AWS / Введение в Data Engineering: дата-пайплайны

Введение в Data Engineering: дата-пайплайны: Деплой Luigi / Деплоим в облако AWS

Step 7 of 9

Comments

Content

Знакомство
Что необходимо знать
Содержимое курса

Что такое дата пайплайн
Как готовят дата пайплайны
Зачем нам Luigi

Установка Luigi
Task, Target, Luigid

Hello World Pipeline
Hello World с параметрами
NYC Yellow Taxi
Параллельное выполнение тасков
Нотификации в Telegram

Общие настройки
Настройки воркера
Настройки диспетчера
Прочие настройки

Деплоим ручками
Собираем Docker контейнер
Деплоим в облако AWS