Dataform

Dataform a été créé en 2018 en tant que framework open-source pour faciliter la création, l’exécution et l’orchestration de workflows SQL sur BigQuery, Snowflake, Redshift, et Synapse. Depuis son acquisition par Google Cloud en 2020, il a été optimisé et intégré dans BigQuery. À l’instar de dbt, Dataform permet de déclarer des sources, définir des transformations, des tests de data quality, et de documenter le tout dans une syntaxe proche du JSON. De plus, Dataform fournit un IDE intégré pour visualiser le lineage, compiler, tester et déployer son code en direct.

Dataform se distingue par son intégration native à l'écosystème Google Cloud, facilitant l'interaction avec d'autres services. L’outil est inclus gratuitement avec BigQuery, seuls les coûts de calcul étant facturés. Sa mise en place et sa gestion d’environnements sont extrêmement simples. Son templating en JavaScript permet de réduire la duplication de code avec beaucoup de flexibilité, même si ce langage est moins maîtrisé par les data engineers.

Ces fonctionnalités font de Dataform un concurrent sérieux à dbt, mais l’outil manque encore de maturité. L’expérience développeur est moins agréable en raison de l’impossibilité de tester en local et de la gestion réduite de Git dans l’IDE. Bien que la documentation soit fournie, elle reste difficile à prendre en main, et le support de la communauté est limité en comparaison. De plus, alors que dbt s’intègre dans de nombreuses technologies open source comme Elementary, Airflow ou Airbyte, Dataform manque d’outils similaires dans l’écosystème Google Cloud.

Le point de vue Theodo

Bien que Dataform offre une intégration solide avec l'écosystème Google Cloud, il présente des limitations par rapport à des alternatives plus matures comme dbt. La faiblesse de l'expérience développeur et l'écosystème réduit rendent Dataform moins attrayant pour des projets d’envergure ou évolutifs. À part pour des petites équipes travaillant avec BigQuery, nous préconisons donc de favoriser dbt pour sa complétude et son évolutivité.