Medaillon architecture

La medallion architecture est un framework introduit par Databricks pour structurer les flux de données dans les Data Lakes et mieux séparer les cycles de qualité de donnée. Cette structure consiste en trois couches successives de transformations :

• Bronze, pour l’ingestion des données brutes ;
• Silver, pour le nettoyage des données et leur mise en conformité ;
• Gold, pour l’agrégation et les transformations métier. Ce concept simple permet d’améliorer significativement la qualité d’une série de transformations de données, que ce soit dans une plateforme data ou dans un gros fichier Excel.

En garantissant le découplage des données brutes (bronze) et des données consommées (gold), elle permet de maintenir une forte évolutivité des flux de données. L’architecture en médaillon incite à limiter les responsabilités de chaque table, ce qui facilite la compréhension et la modification des règles de calcul, ou même la migration d’une source de données vers une autre.

Toutefois, dans une architecture en médaillon, la donnée est souvent dupliquée (donnée brute, nettoyée, filtrée…), ce qui peut engendrer des coûts non négligeables pour des organisations stockant des volumes de données déjà élevés. Certains flux peuvent être moins optimisés que s’ils se faisaient en une seule étape, et l’augmentation du nombre de tables et de dépendances peut rallonger les durées des workflows. On notera que ces coûts sont en général largement compensés par le gain en temps de main-d’œuvre.

Finalement, ce framework est devenu un standard de l’industrie, au même titre que le modèle staging / intermédiaire / datamart poussé par dbt.

Le point de vue Theodo

Nous recommandons chaudement l’utilisation de l’architecture en médaillon sur vos projets data, afin de garantir leur évolutivité et faciliter la collaboration. Chez Theodo, nous adaptons également ce framework en re-découpant chaque couche en plusieurs niveaux de qualité pour en tirer encore plus de bénéfices.