Dremio

Dremio est un moteur d’exécution SQL innovant conçu pour optimiser la gestion des données en permettant aux organisations de tirer parti de leurs data lakes et autres sources de données.

Côté technique, Dremio optimise l'accès et l'analyse des données directement à partir de diverses sources en proposant une couche de virtualisation qui permet aux utilisateurs de requêter les données sans avoir besoin de les déplacer, tout en offrant la possibilité de combiner des sources provenant de différents environnements de production. Il se concentre sur l'accélération des requêtes sur les data lakes grâce à l'utilisation de technologies telles qu'Apache Arrow, ce qui améliore considérablement les performances et permet d'exécuter des requêtes sur des tables contenant des millions de lignes en moins d'une seconde.

De plus, Dremio intègre un catalogue de données doté de fonctionnalités de sécurité au niveau des lignes, permet de créer un wiki et de suivre le lineage des données. Enfin, Dremio offre la possibilité de créer des vues virtuelles personnalisables pour chaque utilisateur. Ces vues peuvent être mises en cache pour accélérer le traitement des requêtes.

Côté métier, Dremio permet d'effectuer de nombreuses actions via une interface graphique intuitive, sans recourir au SQL : ajout de colonnes via des règles métiers, agrégations, jointures et filtres de colonnes.

Le point de vue MDN

Si vous recherchez un outil qui vous permet de virtualiser les données sans impacter la source, tout en adoptant une approche orientée métier, Dremio est la solution idéale.