Apache Airflow

Apache Airflow est une plateforme de gestion de workflow open source créée par des ingénieurs d'AirBnB en 2014. Les utilisateurs peuvent créer, planifier et surveiller des workflows complexes, tandis qu'une interface graphique fournit de puissants outils de visualisation.

Les flux de travail sont créés sous forme de graphe orienté acyclique (anglais « directed acyclic graph » ou DAG) dans des scripts Python, mettant en œuvre le principe de "configuration en tant que code". Cette approche permet l'itération rapide des pipelines de données et un haut degré d'évolutivité.

Airflow a été accepté en tant que projet Apache Incubator en mars 2016 et est devenu un projet de premier niveau Apache depuis janvier 2019. Il s'est imposé comme une norme de facto dans la gestion des workflows et est utilisé par des ingénieurs de données dans le monde entier.

En savoir plus
Site officiel

Articles associés

Automatisation d'un workflow Spark sur GCP avec GitLab

Automatisation d'un workflow Spark sur GCP avec GitLab

Catégories : Big Data, Cloud computing, Orchestration de conteneurs | Tags : Enseignement et tutorial, Airflow, Spark, CI/CD, GitLab, GitOps, GCP, Terraform

Un workflow consiste à automiatiser une succéssion de tâche qui dont être menée indépendemment d’une intervention humaine. C’est un concept important et populaire, s’appliquant particulièrement à un…

DE BAECQUE Ferdinand

Par DE BAECQUE Ferdinand

16 juin 2020

Premier pas avec Apache Airflow sur AWS

Premier pas avec Apache Airflow sur AWS

Catégories : Big Data, Cloud computing, Orchestration de conteneurs | Tags : PySpark, Enseignement et tutorial, Airflow, Oozie, Spark, AWS, Docker, Python

Apache Airflow offre une solution répondant au défi croissant d’un paysage de plus en plus complexe d’outils de gestion de données, de scripts et de traitements d’analyse à gérer et coordonner. C’est…

COINTEPAS Aargan

Par COINTEPAS Aargan

5 mai 2020

Maitrisez vos workflows avec Apache Airflow

Maitrisez vos workflows avec Apache Airflow

Catégories : Big Data, Tech Radar | Tags : DevOps, Airflow, Cloud, Python

Ci-dessous une compilation de mes notes prises lors de la présentation d’Apache Airflow par Christian Trebing de chez BlueYonder. Introduction Use case : comment traiter des données arrivant…

BEREZOWSKI César

Par BEREZOWSKI César

17 juil. 2016

Canada - Maroc - France

Nous sommes une équipe passionnée par l'Open Source, le Big Data et les technologies associées telles que le Cloud, le Data Engineering, la Data Science le DevOps…

Nous fournissons à nos clients un savoir faire reconnu sur la manière d'utiliser les technologies pour convertir leurs cas d'usage en projets exploités en production, sur la façon de réduire les coûts et d'accélérer les livraisons de nouvelles fonctionnalités.

Si vous appréciez la qualité de nos publications, nous vous invitons à nous contacter en vue de coopérer ensemble.

Support Ukrain