Apache Airflow 2.2: практический курс
: Деплой Apache Airflow / Настройка сервера
Шаг 6 из 7
Скачать
Назад
Далее
Комментарии
Анатолий
11 Сентябрь 2022
спасибо
Контент
Контент
Введение
Пререквизиты
Зачем нужен Workflow Manager
Почему Apache Airflow
Установка и настройка
Установка Apache Airflow
Настройка Apache Airflow
Компоненты Apache Airflow
Веб-сервер и UI
База данных Apache Airflow
Directed Acyclic Graph (DAG)
Операторы Apache Airflow
Планировщик (Scheduler)
Executors
Пишем первый DAG
Скелет DAG
Добавление DAG
Про зависимость тасков
Про TaskFlow API
New York Yellow Taxi Data Pipeline
Описание и структура
Операторы DAG
Backfill и Catchup
Сенсоры
Загружаем курсы валют через Airflow
Описание и структура
Операторы
Создание своего Hook
Создание своего Operator
Собираем DAG
Бонус
Продвинутый Apache Airflow
SLA (Service-Level Agreement)
Логирование в Apache Airflow
Apache Airflow REST API
Безопасность
Настраиваем CeleryExecutor
Командная строка Apache Airflow
DAGs
Деплой Apache Airflow
Создание виртуальной машины
Установка и настройка Apache Airflow
Настройка сервера
Настройка CI/CD через GitHub Actions
Анатолий 11 Сентябрь 2022
спасибо