Введение в Data Engineering: дата-пайплайны
: Деплой Luigi / Собираем Docker контейнер
Шаг 1 из 5
В этой секции мы разберём:
как сформировать
docker-контейнер
со скриптами luigi
как запустить выполнение задач внутри контейнера
загрузить образ в репозиторий контейнеров
Назад
Далее
Комментарии
Контент
Контент
Введение
Знакомство
Что необходимо знать
Содержимое курса
Дата пайплайн
Что такое дата пайплайн
Как готовят дата пайплайны
Зачем нам Luigi
Знакомство с Luigi
Установка Luigi
Task, Target, Luigid
Практические задачи построения пайплайнов
Hello World Pipeline
Hello World с параметрами
NYC Yellow Taxi
Параллельное выполнение тасков
Нотификации в Telegram
Разбор конфигов Luigi
Общие настройки
Настройки воркера
Настройки диспетчера
Прочие настройки
Деплой Luigi
Деплоим ручками
Собираем Docker контейнер
Деплоим в облако AWS