Введение в Data Engineering: дата-пайплайны: Практические задачи построения пайплайнов / Нотификации в Telegram
Этот проект будет не про построение пайплайнов, а скорее про их мониторинг. Как я рассказывал во вводных лекциях, Luigi простой и гибкий инструмент. По умолчанию все нотификации о неудачных задачах прилетают на почту (при условии, что корректно указан SMTP сервер). Но помимо такого поведения, Luigi также поддерживает систему триггеров. Это значит, что вы можете повесить свой обработчик на различные статусы задач в вашем пайплайне.
Оповещения на почту... Это ведь прошлый век, не так ли? 😎 Сейчас многие активно используют Telegram в своей работе. Он удобен своей простотой. А что если написать код, который будет присылать уведомления об упавших задачах прямо в личку? Звучит неплохо. Погнали!