Apache Airflow 2.2: практический курс
: New York Yellow Taxi Data Pipeline / Операторы DAG
Step 1 of 10
Давайте разберём каждый оператор из будущего DAG по отдельности.
Back
Next
Comments
Content
Content
Введение
Пререквизиты
Зачем нужен Workflow Manager
Почему Apache Airflow
Установка и настройка
Установка Apache Airflow
Настройка Apache Airflow
Компоненты Apache Airflow
Веб-сервер и UI
База данных Apache Airflow
Directed Acyclic Graph (DAG)
Операторы Apache Airflow
Планировщик (Scheduler)
Executors
Пишем первый DAG
Скелет DAG
Добавление DAG
Про зависимость тасков
Про TaskFlow API
New York Yellow Taxi Data Pipeline
Описание и структура
Операторы DAG
Backfill и Catchup
Сенсоры
Загружаем курсы валют через Airflow
Описание и структура
Операторы
Создание своего Hook
Создание своего Operator
Собираем DAG
Бонус
Продвинутый Apache Airflow
SLA (Service-Level Agreement)
Логирование в Apache Airflow
Apache Airflow REST API
Безопасность
Настраиваем CeleryExecutor
Командная строка Apache Airflow
DAGs
Деплой Apache Airflow
Создание виртуальной машины
Установка и настройка Apache Airflow
Настройка сервера
Настройка CI/CD через GitHub Actions