Введение в Data Engineering: дата-пайплайны: Знакомство с Luigi / Task, Target, Luigid
Из названия сущности можно догадаться для чего она предназначена 😉 Класс Parameter предназначен для возможности динамически передавать параметры в задачи (Task) как из командной строки так и в runtime. В luigi существует большое количество заготовленных параметров под все случаи жизни:
YYYY-MM-DD
и конвертирует в объект datetime.date
.Про остальные доступные параметры можно почитать в исходном коде. В ходе практических примеров мы неоднократно будем использовать различные классы Parameter.
Parameter определяются на уровне описания задачи в наследнике Task (как атрибуты класса):
class DownloadTaxiTripTask(luigi.Task):
year = luigi.IntParameter()
month = luigi.IntParameter()
...
А в командной строке передача значений параметрам выглядит следующим образом:
python -m luigi --module tasks.DownloadTaxiTripTask --year 2019 --month 12