Шаг 1 из 1

О поиске хорошего workflow менеджера вы можете задуматься после того как накопите достаточное количество скриптов, написанных "на коленке". Что же я подразумеваю под этим?

Представьте, что к вам приходит начальник и просит вас выполнить задачу сбора очередного отчёта для руководства. Чтобы решить её вам необходимо собрать данные с множества разных источников:

• Внутренняя база данных
• Внешний сервис, скажем CRM
• Сервис аналитики типа Yandex Metrica или Google Analytics

После сбора всей необходимой информации, её нужно свести в единый отчёт. Это может быть разовая задача.

Ваша компания растёт и развивается, появляется всё больше людей и отделов. Бизнесу необходимо своевременно получать информацию о продажах, эффективности рекламных кампаний и так далее. К вам всё чаще и чаще начинают приходить менеджеры с просьбой собрать отчёт, позже появляется необходимость сборки такой информации на регулярной основе (еженедельно, ежемесячно).

Вы, как разработчик, начинаете задумываться как бы эффективно и с наименьшим количеством проблем решать эти задачи, ведь количество скриптов растёт. А с ростом скриптов растут и возможные проблемы. Вам также необходимо как можно быстрее реагировать на возможные внештатные ситуации: нехватка данных, недоступность внешних ресурсов, человеческий фактор, ошибки в коде. Появляется потребность в системе мониторинга, моментальных уведомлениях о статусе выполнения скриптов, механизме автоматического перезапуска скриптов при появлении проблем.

Невольно начинаешь задумываться о том как такие проблемы решают другие. Безусловно всё это можно предусмотреть и в собственных скриптах, но зачем изобретать велосипед, когда он уже есть? 🚲

Вот именно для решения таких задач и предназначен Apache Airflow.