Kestra

Automatiser et orchestrer des pipelines de données peut vite devenir complexe, surtout avec des outils traditionnels. Kestra est une solution open-source moderne qui simplifie ce processus et apporte flexibilité et scalabilité. La configuration des workflows dans Kestra se fait via des fichiers YAML, facilitant la définition des tâches, des dépendances et des conditions. L’absence de code complexe rend l’orchestration accessible à tous et permet de mutualiser un outil entre les équipes de développeurs et de data.

Kestra se distingue par son système de plus de 500 plugins qui permet d’étendre les capacités de la plateforme. On peut facilement intégrer des bases de données, interagir avec des services cloud tels que AWS S3, ou même lancer des commandes bash. L’outil permet le déclenchement de workflows en réponse à des événements : fichier déposé, modification dans une base de données, ou notification d’API, ce qui le rend idéal pour du temps réel. Grâce à son architecture distribuée, Kestra permet de gérer des milliers de tâches simultanément. Si votre volume de données explose, Kestra suit le rythme sans compromettre les performances.

L'outil offre également une interface claire et moderne pour surveiller l’exécution des workflows en temps réel : vous savez exactement où ça coince et pouvez redémarrer des tâches individuelles sans relancer tout un pipeline. Il est également possible d’utiliser l’API, et même de déployer l'outil via un simple docker-compose. Cependant, l'outil est encore jeune et l'écosystème pas encore très mature, mais les releases sont fréquentes.

Le point de vue MDN

À utiliser, ou en tout cas tester. Kestra est un très bon outil pour mutualiser l'utilisation avec plusieurs pôles au sein d'une entreprise sans avoir de dépendance à un langage particulier. Il se prend en main plus facilement qu'Airflow et permet d'exécuter tout type de code - même SQL - au travers de ses workflows.