Введение в Data Engineering: дата-пайплайны
: Дата пайплайн / Что такое дата пайплайн
Шаг 2 из 2
Скачать
Назад
Далее
Комментарии
Контент
Контент
Введение
Знакомство
Что необходимо знать
Содержимое курса
Дата пайплайн
Что такое дата пайплайн
Как готовят дата пайплайны
Зачем нам Luigi
Знакомство с Luigi
Установка Luigi
Task, Target, Luigid
Практические задачи построения пайплайнов
Hello World Pipeline
Hello World с параметрами
NYC Yellow Taxi
Параллельное выполнение тасков
Нотификации в Telegram
Разбор конфигов Luigi
Общие настройки
Настройки воркера
Настройки диспетчера
Прочие настройки
Деплой Luigi
Деплоим ручками
Собираем Docker контейнер
Деплоим в облако AWS