Airbyte

Créé en 2020, Airbyte est une solution permettant d’ingérer et de charger des données dans une plateforme data, facilitant ainsi le déplacement des données en standardisant les sources et les destinations. Il n’y a pas de connecteurs end-to-end (par exemple un connecteur GCS → BigQuery), mais plutôt une liste de connecteurs source et une autre de connecteurs destination, n’importe quelle source pouvant être mise en face de n’importe quelle destination. Cette flexibilité est permise par le protocole Airbyte, qui définit strictement le contrat que doivent remplir les sources et les destinations.

La principale différence avec Fivetran, acteur historique de l’ingestion par connecteurs modulaires, réside dans le fonctionnement open-source : plus de 350 connecteurs sont mis à disposition, en majorité développés par la communauté. Le développement de connecteurs custom est grandement simplifié par l’existence de ce protocole, ainsi que par la mise à disposition de SDKs. Ainsi, on peut assez facilement créer un connecteur source adapté à une API spécifique, par exemple. Il sera alors compatible avec l’ensemble des connecteurs destination existants.

Airbyte est disponible sous différentes formes, adaptées à différents cas d’usage :

• Airbyte OSS (open-source) : ne comporte aucun coût de licence et permet une grande flexibilité dans la manière d’installer et de configurer votre instance, mais impose de gérer soi-même le déploiement et l’hébergement. Ceux-ci sont relativement complexes, car ils nécessitent de gérer séparément la machine exécutant Airbyte et la base de données associée.
• Airbyte Cloud : version managée offrant sensiblement les mêmes fonctionnalités, avec en plus l’accès à un support technique, mais sans les contraintes liées à la gestion d’une instance on-premise. Le coût est calculé en fonction du volume de données déplacé et du nombre de lignes traitées.
• PyAirbyte : un package Python donnant accès à la majorité des connecteurs source d’Airbyte directement au sein de scripts, en se passant des fonctionnalités d’orchestration proposées par les autres solutions. PyAirbyte sert de point d’entrée pour le traitement des données, et pas de solution bout en bout comme Airbyte OSS ou Airbyte Cloud. On peut donc l’utiliser conjointement avec un orchestrateur, comme Airflow.

Malgré ses atouts, Airbyte n’est pas dénué de défauts : le protocole a le mérite d’être généralisé, mais impose un transfert séquentiel de l’information, parfois insuffisamment efficace sur des ingestions volumineuses. Airbyte peut être déployé et configuré automatiquement, mais cela reste expérimental, en particulier pour les connecteurs custom.

Le point de vue Theodo

Nous vous recommandons d’essayer Airbyte, que ce soit en cloud ou en managé, si vous n’ingérez pas de forts volumes de données : même si la technologie présente certaines faiblesses, elle est robuste et bien conçue, et profite d’une communauté dynamique qui assure une évolution rapide du produit, ainsi qu’un support précieux en cas de difficultés.