Automatisation de scraping web avec n8n : collecte de données en temps réel

Ce workflow n8n a pour objectif d'automatiser le processus de scraping de données web en utilisant les outils Bright Data et Google Gemini. Dans un contexte où la collecte d'informations précises et à jour est cruciale pour les entreprises, ce workflow permet de récupérer des données de manière efficace et structurée. Les cas d'usage incluent la surveillance de la concurrence, l'analyse de marché et l'enrichissement de bases de données. Étape 1 : le workflow est déclenché manuellement via un nœud de type 'Manual Trigger'. Étape 2 : il utilise un agent AI pour traiter les données et interagir avec les outils de scraping. Étape 3 : les nœuds 'MCP Client' sont utilisés pour interagir avec Bright Data, permettant de lister les outils disponibles et de configurer le scraper. Étape 4 : les données sont ensuite envoyées à un webhook pour être traitées et formatées en Markdown ou HTML. Étape 5 : enfin, les résultats sont écrits sur disque pour une utilisation ultérieure. Les bénéfices business incluent une réduction significative du temps consacré à la collecte de données, une amélioration de la précision des informations et une capacité accrue à réagir rapidement aux évolutions du marché.

À qui s'adresse ce workflow ?

Ce que ce workflow résout

Comment ça fonctionne

Visualisation du workflow n8n

Schéma des nœuds et connexions de ce workflow n8n, généré à partir du JSON n8n.

Importer dans n8n en un clic

Inscris-toi gratuitement pour télécharger le fichier .json, puis fais Import from File dans n8n pour déployer le workflow en quelques secondes.

{
  "id": "U6cY7PPR0vaRl1I0",
  "meta": {
    "instanceId": "885b4fb4a6a9c2cb5621429a7b972df0d05bb724c20ac7dac7171b62f1c7ef40",
    "templateCredsSetupCompleted": true
  },
  "name": "Scrape Web Data with Bright Data, Google Gemini and MCP Automated AI Agent",
  "tags": [
    {
      "id": "ZOwtAMLepQaGW76t",
      "name": "Building Blocks",
      "createdAt": "2025-04-13T15:23:40.462Z",
      "updatedAt": "2025-04-13T15:23:40.462Z"
    },
    {
      "id": "ddPkw7Hg5dZhQu2w",
      "name": "AI",
      "createdAt": "2025-04-13T05:38:08.053Z",
      "updatedAt": "2025-04-13T05:38:08.053Z"
    }
  ],
  "nodes": [

Personnaliser ce workflow

Détail des nœuds n8n

• 01

  AI Agent

  Ce noeud utilise un agent AI pour traiter du texte selon des options et un type de prompt spécifiés.

• 02

  When clicking ‘Test workflow’

  Ce noeud déclenche manuellement l'exécution du workflow lorsque l'utilisateur clique sur 'Test workflow'.

• 03

  MCP Client list all tools for Bright Data

  Ce noeud récupère la liste de tous les outils disponibles pour Bright Data via le client MCP.

• 04

  Sticky Note1

  Ce noeud crée une note autocollante avec des paramètres de couleur, de taille et de contenu spécifiés.

• 05

  MCP Client List all tools

  Ce noeud interroge le client MCP pour obtenir la liste de tous les outils disponibles.

• 06

  MCP Client Bright Data Web Scraper

  Ce noeud utilise le client MCP pour exécuter un scraper web avec des paramètres d'outil spécifiés.

• 07

  Webhook for web scraper

  Ce noeud envoie une requête HTTP à une URL spécifiée pour le scraper web.

• 08

  Set the URLs

  Ce noeud définit des URL en utilisant des options et des affectations spécifiées.

• 09

  MCP Client to Scrape as Markdown

  Ce noeud utilise le client MCP pour scraper des données au format Markdown avec des paramètres d'outil spécifiés.

• 10

  MCP Client to Scrape as HTML

  Ce noeud utilise le client MCP pour scraper des données au format HTML avec des paramètres d'outil spécifiés.

• 11

  Google Gemini Chat Model for AI Agent

  Ce noeud utilise le modèle de chat Google Gemini pour interagir avec l'agent AI.

• 12

  Sticky Note

  Ce noeud crée une note autocollante avec des paramètres de couleur, de taille et de contenu spécifiés.

• 13

  Simple Memory

  Ce noeud gère une mémoire simple pour stocker des informations contextuelles dans une fenêtre de mémoire.

• 14

  Webhook for Web Scraper AI Agent

  Ce noeud envoie une requête HTTP à une URL spécifiée pour l'agent AI du scraper web.

• 15

  Set the URL with the Webhook URL and data format

  Ce noeud définit l'URL en utilisant l'URL du webhook et le format de données spécifiés.

• 16

  Create a binary data

  Ce noeud crée des données binaires à l'aide d'un code de fonction spécifié.

• 17

  Write the scraped content to disk

  Ce noeud écrit le contenu récupéré sur le disque selon les options et le nom de fichier spécifiés.

• 18

  Sticky Note2

  Ce noeud crée une note autocollante avec des paramètres de taille et de contenu spécifiés.

• 19

  Sticky Note3

  Ce noeud crée une note autocollante avec des paramètres de couleur, de taille et de contenu spécifiés.