One Big Table

La modélisation de données One Big Table (OBT) consiste à stocker toutes les données pertinentes dans une seule grande table dénormalisée, plutôt que réparties dans plusieurs, ce qui simplifie les modèles de données et facilite leur exploitation. Nous utilisons OBT pour simplifier l'accès aux données, ce qui est bénéfique pour les analyses rapides ou pour les équipes moins techniques, n’ayant pas à gérer la complexité des jointures ou des relations entre tables.

Avec l'avènement des LLMs (Large Language Models), nous avons recours à l’approche OBT pour traiter efficacement de vastes ensembles de données, facilitant notamment le Text-to-SQL (voir page 68) en simplifiant les requêtes à créer.

Les redondances causées par la dé normalisation ne sont pas un problème majeur avec l’utilisation de bases orientées colonnes comme Snowflake et BigQuery, et le stockage peu coûteux permet de se concentrer sur la réduction du coût de calcul (compute).

Cependant, l’inconvénient en termes de maintenance réside dans la gestion d’une table unique et massive, ce qui peut devenir complexe, surtout lorsque les données évoluent fréquemment ou que de nouvelles sources sont ajoutées. La dé normalisation peut également entraîner des incohérences si elle n'est pas gérée avec soin, nécessitant la mise en place de processus robustes pour assurer la cohérence des données.

Le point de vue Theodo

Nous recommandons de bien considérer l'impact à long terme : les défis liés à la maintenance et à la qualité des données peuvent devenir complexes. One Big Table peut être combiné avec des structures normalisées en fonction des cas d'utilisation. Cela permet de bénéficier de la simplicité d'accès tout en conservant la flexibilité et la maintenabilité offertes par une base de données relationnelle traditionnelle.

Le point de vue MDN

“One Big Table” simplifie l’accès à la donnée pour rendre les équipes métiers autonomes. C’est une solution essentielle pour améliorer l’adoption et l’usage de la couche sémantique (gold layer). En choisissant de faire des OBTs, on évite les jointures et on calcule les indicateurs à la granularité la plus fine nécessaire à leur consommation.