Automatisation Airflow avec n8n : gestion des exécutions de DAG

Ce workflow n8n a pour objectif de gérer les exécutions de DAG dans Airflow, permettant ainsi une automatisation efficace des processus de données. Dans un contexte où la gestion des flux de travail est cruciale pour les entreprises, ce workflow s'avère particulièrement utile pour les équipes techniques et les data engineers qui souhaitent surveiller et contrôler l'état de leurs tâches automatisées. En intégrant des appels HTTP pour interagir avec l'API d'Airflow, ce workflow permet de vérifier l'état des DAG et de réagir en conséquence, garantissant ainsi une gestion fluide des opérations. Étape 1 : Le workflow débute par un appel HTTP à l'API d'Airflow pour déclencher un DAG. Étape 2 : Ensuite, il vérifie l'état du DAG en cours d'exécution. Si l'état est 'queued', le workflow attend un certain temps avant de vérifier à nouveau. Étape 3 : Si le DAG prend trop de temps à s'exécuter, une erreur est générée. Étape 4 : En cas de succès, le workflow récupère les résultats de l'exécution. Les noeuds 'if' et 'switch' permettent de gérer les différentes conditions et de prendre des décisions basées sur l'état du DAG. Les bénéfices business de ce workflow incluent une réduction des temps d'attente et une meilleure visibilité sur l'état des processus, ce qui permet aux équipes de réagir rapidement en cas de problème. En automatisant la gestion des DAG, les entreprises peuvent améliorer leur efficacité opérationnelle et réduire les risques d'erreurs humaines.

À qui s'adresse ce workflow ?

Ce que ce workflow résout

Comment ça fonctionne

Visualisation du workflow n8n

Schéma des nœuds et connexions de ce workflow n8n, généré à partir du JSON n8n.

Importer dans n8n en un clic

Inscris-toi gratuitement pour télécharger le fichier .json, puis fais Import from File dans n8n pour déployer le workflow en quelques secondes.

{
  "id": "Y5URlIlbX4HDzWKA",
  "meta": {
    "instanceId": "6ae0aa8b6c9099f1f8ed1265281802eab47aaf5b2845f317791e4ac7ee5b7279",
    "templateCredsSetupCompleted": true
  },
  "name": "airflow dag_run",
  "tags": [
    {
      "id": "YSelDQ3zfWB0LeVn",
      "name": "airflow",
      "createdAt": "2025-02-25T04:17:21.943Z",
      "updatedAt": "2025-02-25T04:17:21.943Z"
    }
  ],
  "nodes": [
    {
      "id": "0d4457ef-7a88-4755-8bd2-b0e8148f86f4",
      "name": "Airflow: dag_run",
      "type": "n8n-nodes-base.httpRequest",
      "position": [
        380,

Personnaliser ce workflow

Détail des nœuds n8n

• 01

  Airflow: dag_run

  Ce noeud envoie une requête HTTP pour déclencher un DAG dans Airflow.

• 02

  Airflow: dag_run - state

  Ce noeud effectue une requête HTTP pour obtenir l'état d'un DAG dans Airflow.

• 03

  count

  Ce noeud exécute un code JavaScript pour compter ou traiter des données.

• 04

  dag run fail

  Ce noeud arrête le workflow et génère une erreur avec un message spécifique.

• 05

  if state == queued

  Ce noeud évalue une condition pour vérifier si l'état est 'queued'.

• 06

  dag run wait too long

  Ce noeud arrête le workflow et génère une erreur si le temps d'attente est trop long.

• 07

  Airflow: dag_run - get result

  Ce noeud envoie une requête HTTP pour obtenir le résultat d'un DAG dans Airflow.

• 08

  Switch: state

  Ce noeud permet de diriger le flux en fonction de règles définies sur l'état.

• 09

  in data

  Ce noeud déclenche l'exécution d'un autre workflow avec des entrées spécifiques.

• 10

  Wait

  Ce noeud introduit une pause dans le workflow pour une durée spécifiée.

• 11

  If count > wait_time

  Ce noeud évalue une condition pour vérifier si le compte est supérieur à un temps d'attente donné.

• 12

  airflow-api

  Ce noeud définit des valeurs ou des options à utiliser dans le workflow.