Apache Airflow 2.2: практический курс: Загружаем курсы валют через Airflow / Операторы
Для таска get_rate
мы напишем свой кастомный оператор, который будет тянуть данные из внешнего API. В качестве сервиса я предлагаю использовать CurrencyScoop, у ребят есть бесплатный план по которому можно тянуть курсы валют. Ограничения есть по количеству запросов в месяц и на некоторые API методы, но нам этого хватит.
Для работы с сервисом необходимо зарегистрироваться и получить API ключ. Ключ будет доступен сразу же после авторизации на сайте:
Свой Operator и Hook для работы с сервисом мы напишем в следующем уроке, а пока давайте рассмотрим последний таск в нашем пайплайне — insert_rate