Kibana for Data Quality

Kibana est un outil de monitoring principalement utilisé pour analyser et visualiser des logs et des métriques. Il fait partie intégrante de la suite Elastic Stack (anciennement ELK Stack), au même titre qu’Elasticsearch et Logstash. Kibana permet de créer des graphiques, des tableaux de bord interactifs et des rapports basés sur les données indexées dans Elasticsearch, offrant ainsi une interface puissante pour explorer et analyser des logs en temps réel.

Kibana est donc efficace pour la gestion des logs, et il est tentant de vouloir l’utiliser pour faire du suivi de qualité de données. Cependant, cela présente des limitations :

• Variété limitée de graphiques : Kibana propose un nombre restreint de visualisations. Pour des tableaux de bord plus parlants et personnalisés, il peut être nécessaire de recourir à des outils tiers.
• Absence de prétraitement des données : Kibana ne permet pas de manipuler les données ou de réaliser des agrégations avancées sans passer par des transformations externes.
• Montée en compétences : L'apprentissage de Vega, du Kibana Query Language (KQL), ainsi que l'absence de support pour SQL, peut représenter un obstacle pour les utilisateurs novices.

Pour un suivi plus efficace de la qualité des données, des alternatives comme Elementary, qui visualise automatiquement les tests dbt, ou Sifflet avec ses dashboards prêts à l’emploi, peuvent être plus adaptées. Pour des besoins spécifiques, un tableau de bord personnalisé avec un outil de BI est aussi une option à envisager.

Le point de vue Theodo

Il y a quelques années, nous avons utilisé Kibana en tant qu’outil de suivi de la qualité des données. Si cet outil était efficace pour des métriques simples, il a montré ses limites en termes de flexibilité face à des besoins plus complexes. Nous recommandons donc Kibana uniquement pour l’analyse et la visualisation des logs applicatifs.