DuckDB

Créé en 2019 à Amsterdam, DuckDB peut être utilisé comme moteur analytique mono-nœud, pouvant remplacer Spark, ainsi que comme base de données mutable orientée colonne. Compatible avec les principaux langages (Python, Java, R, Node, ODBC) et utilisable en backend ou frontend via WASM, c’est une technologie open-source qui est non seulement une base de données, mais aussi un outil de calcul. DuckDB est devenu mature avec sa version 1.0, apportant des innovations qui sont en train de changer l’écosystème data. La technologie s’inscrit dans la mouvance du “big data is dead” : la plupart des jeux de données ne sont pas suffisamment larges pour justifier des technologies de calcul distribué. DuckDB enlève la nécessité d’une communication client <> serveur, qui selon les créateurs est une des raisons de la latence des bases de données traditionnelles, et ses performances sont alléchantes. Couplé à la puissance des ordinateurs personnels récents, cela signifie que beaucoup de traitements peuvent dès aujourd’hui se faire en local plutôt que dans le cloud.

Il est important de noter la limitation principale de DuckDB : c'est une technologie single node (sur une seule machine) et mono-connexion (un seul utilisateur à la fois peut se connecter).

Le point de vue MDN
DuckDB est ma technologie favorite des deux dernières années : là où la philosophie “modern data stack” pousse à exécuter du SQL sur une connexion cloud, avec DuckDB tout tourne en local de manière simple et performante. DuckDB vient avec des limitations, mais pourra vous permettre de réduire vos coûts de traitement.