Airflow

Gérer des flux de données fait partie des tâches du data engineer, notamment la préparation de données ou le lancement de constructions de modèles. Or, cette gestion est devenue complexe, montrant les limites des outils classiques d’orchestration comme CRON. En 2014, Airbnb a créé Airflow en réponse à cette complexité croissante. Airflow est un outil open-source en Python qui est aujourd'hui le standard du marché pour l’orchestration de tâches. Il permet la création, le déploiement et le suivi de workflows.

Airflow modélise les flux de données sous forme de graphe de tâches. Un ordonnanceur planifie l'exécution des tâches en fonction de leurs dépendances, et les Sensors permettent de conditionner le lancement d’une tâche à un événement. Une interface web offre une vue d'ensemble des graphes. La notion de tâche ne présuppose rien sur les traitements effectués à l’intérieur, ce qui laisse une grande flexibilité quant aux cas d’utilisation d’Airflow. C’est donc un outil complet, utilisable pour presque n’importe quel contexte d’automatisation des processus de traitement des données, ce qui explique son adoption massive aujourd’hui. De plus, certains services Cloud proposent une version managée, telle que Google Cloud Composer, afin de faciliter le déploiement des workflows.

Airflow souffre toutefois d’une documentation difficile à utiliser et souvent peu fournie, même si cet inconvénient est tempéré par la grande taille de sa communauté. Aussi, communiquer de la donnée temporaire entre deux tâches est impossible à réaliser nativement sur Airflow : il faut alors utiliser un service de sauvegarde de données externe. C’est l’une des différences conceptuelles clés entre Airflow (où chaque nœud du DAG de traitement est une opération) et une alternative comme Dagster (où chaque nœud représente un état de la donnée).

Le point de vue Theodo

Aujourd'hui, nous recommandons Airflow pour une orchestration de tâches hétérogènes. En effet, la grande taille de sa communauté permet de trouver une réponse à la plupart des questions qu’une équipe peut se poser, et sa flexibilité permet de répondre à quasiment n’importe quel cas d’usage.

Le point de vue MDN

Airflow est une solution d'orchestration puissante et flexible, avec une communauté active et des mises à jour régulières. Airflow est très évolutif, mais pour des équipes peu techniques ou des besoins simples, d'autres options peuvent mieux convenir. Son adoption exige une bonne maîtrise de Python, des concepts propres comme les Hooks et Operators, ainsi que des bases en programmation fonctionnelle.