Шаг 2 из 2

Подготовительная работа

Для работы с Airflow API в Python уже существует готовый пакет, сгенерированный по спецификации OpenAPI — apache-airflow-python. Его единственная проблема, что он часто отстаёт от самой актуальной версии Airflow, и поэтому может не работать, если схема API ответов от версии к версии стала отличаться. Я предлагаю поработать руками с API, чтобы понять как оно устроено. Для отправки запросов буду использовать библиотеку requests.

Для начала добавьте в свой набор DAGов ещё один, он нам понадобится для экспериментов с API. Ниже его исходный код:

import datetime as dt

from airflow.models import DAG
from airflow.operators.dummy import DummyOperator

default_args = {
    'owner': 'airflow',
    'start_date': dt.datetime(2021, 1, 20),
}

with DAG(
    dag_id='example_api_dag',
    schedule_interval='@daily',
    default_args=default_args,
    catchup=False,
) as dag:
    dice = DummyOperator(
        task_id='dummy_task',
        dag=dag,
    )