Databricks Data Platform

Lors de sa création en 2013, Databricks s’est donné pour mission de démocratiser l’accès aux traitements big data. Pour cela, Databricks a développé la Databricks Data Platform, un service SaaS propriétaire s’installant au-dessus d’un cloud et rendu disponible en 2015. La plateforme a ensuite été enrichie par du machine learning avec MLFlow, un data catalog avec Unity Catalog et un orchestrateur avec Delta Live Tables. Avant Databricks, un data engineer devait configurer lui-même son cluster, Hadoop ou autre, pour utiliser Spark.

Il ne pouvait pas explorer sa donnée directement avec Spark (voir page 53) et devait passer par des outils supplémentaires comme Zeppelin. Grâce à Databricks, les data engineers peuvent mettre en place des transformations Spark sans se préoccuper de l’infrastructure. Une fois la plateforme installée et les clusters type configurés, les data engineers sont autonomes pour exécuter leurs transformations. Les Databricks Notebooks permettent également d’explorer leurs données directement sur la plateforme.

Enfin, il est possible de documenter et de contrôler les accès aux données grâce à Unity Catalog. Databricks est idéal pour les entreprises devant traiter un fort volume de données mais aussi pour permettre aux data engineers et data scientists de collaborer au mieux. C’est aussi une solution de data platform clé en main, ce qui facilite la maintenance, et s’avère judicieux lorsqu’il est complexe d’installer des nouveaux outils dans le SI existant. Néanmoins, la plateforme Databricks est très liée à Spark, et ne révèle son plein potentiel que lorsque les volumes de données traitées deviennent assez importants pour que le calcul parallélisé soit intéressant.

LE POINT DE VUE THEODO

Chez Theodo, nous recommandons Databricks Data Platform, en particulier pour traiter de fortes volumétries : c’est une technologie mature, performante et complète.