Введение в Data Engineering: дата-пайплайны
: Знакомство с Luigi / Task, Target, Luigid
Шаг 1 из 8
В этом уроке мы разберём 3 важных компонента Luigi, а именно:
Task
Target
Luigid
Назад
Далее
Комментарии
Контент
Контент
Введение
Знакомство
Что необходимо знать
Содержимое курса
Дата пайплайн
Что такое дата пайплайн
Как готовят дата пайплайны
Зачем нам Luigi
Знакомство с Luigi
Установка Luigi
Task, Target, Luigid
Практические задачи построения пайплайнов
Hello World Pipeline
Hello World с параметрами
NYC Yellow Taxi
Параллельное выполнение тасков
Нотификации в Telegram
Разбор конфигов Luigi
Общие настройки
Настройки воркера
Настройки диспетчера
Прочие настройки
Деплой Luigi
Деплоим ручками
Собираем Docker контейнер
Деплоим в облако AWS