Glue ETL

Glue ETL est un service d’ETL (Extract, Transform, Load) entièrement managé par AWS, facilitant l’ingestion, le nettoyage et la transformation des données pour les rendre exploitables dans des environnements d’analyse ou d’intelligence artificielle. AWS Glue Data Catalog permet une mise en catalogue centralisée des données, simplifiant leur analyse et leur intégration avec d’autres services AWS tels que S3, Redshift ou Athena. Grâce à son moteur basé sur Apache Spark, Glue ETL offre une scalabilité élevée pour les traitements en batch.

Glue ETL contient des fonctionnalités d’orchestration (triggers, scheduling) qui restent moins flexibles que celles d’Airflow, que nous recommandons d’utiliser en complément. En effet, Glue ETL bénéficie d’une bonne compatibilité avec Airflow, et en utilisant Airflow comme orchestrateur et déclencheur des jobs Glue, il est possible de profiter de fonctionnalités d’alerting et de monitoring avancées. Les transformations de données sont définies dans des jobs via Glue, tirant parti de son intégration native avec les services AWS et de ses capacités d’exécution optimisées. Cette combinaison assure une gestion efficace et scalable des pipelines ETL, tout en améliorant la visibilité et le contrôle sur les processus de traitement des données.

Cependant, Glue ETL présente des limitations en termes de gouvernance et de suivi des transformations. La gestion du versioning des pipelines nécessite une configuration manuelle, et les interdépendances entre les traitements manquent de flexibilité. Enfin, comme souvent pour des services très managés, il est difficile d’avoir un workflow de développement simple et agréable, facilement exécutable en local.

Le point de vue Theodo

En raison de ses limitations en matière de gouvernance et de flexibilité dans la gestion des pipelines, nous ne recommandons pas l’utilisation de Glue ETL. Malgré sa compatibilité avec Airflow, les défis liés au versioning manuel et aux interdépendances rigides rendent son utilisation moins optimale. Nous recommandons d’évaluer ces aspects avant d’adopter Glue ETL ou de considérer ses alternatives.