Workflow n8nManual

Automatisation de la récupération de données web avec n8n

Ce workflow n8n a pour objectif d'automatiser la récupération et le traitement des données à partir de sites web. Dans un contexte où les entreprises cherchent à optimiser leur veille concurrentielle et à enrichir leurs bases de données, ce workflow permet de collecter des informations pertinentes sur des entreprises, notamment leurs noms et sites web. En utilisant des outils comme Supabase pour la gestion des données et OpenAI pour l'analyse, ce processus devient fluide et efficace. Étape 1 : le déclencheur manuel permet de lancer le workflow à la demande. Étape 2 : le nœud 'Get companies' interroge la base de données Supabase pour récupérer les informations des entreprises. Étape 3 : les nœuds 'Set' et 'Filter' sont utilisés pour préparer et nettoyer les données, en éliminant les doublons et les URLs invalides. Étape 4 : les données sont ensuite agrégées et formatées en Markdown pour une meilleure lisibilité. Étape 5 : enfin, les résultats sont insérés dans Supabase pour un accès futur. Grâce à cette automatisation n8n, les entreprises peuvent réduire le temps consacré à la collecte de données tout en améliorant la qualité des informations recueillies, ce qui se traduit par une meilleure prise de décision.

38Nœuds05Intégrations05ÉtapesPrêt à l'emploi

automatisation n8n web scraping Supabase OpenAI

Pour qui

À qui s'adresse ce workflow ?

Ce workflow s'adresse aux entreprises de taille petite à moyenne, aux équipes marketing et aux analystes de données qui cherchent à automatiser la collecte d'informations sur des concurrents ou des partenaires. Un niveau technique intermédiaire est recommandé pour personnaliser et adapter le workflow à des besoins spécifiques.

Le problème

Ce que ce workflow résout

Ce workflow résout le problème de la collecte manuelle d'informations sur les entreprises, qui peut être chronophage et sujette à des erreurs. En automatisant ce processus, les utilisateurs peuvent gagner un temps précieux tout en s'assurant que les données sont à jour et fiables. Cela réduit également le risque d'erreurs humaines et permet une analyse plus rapide des données collectées.

Les étapes

Comment ça fonctionne

Étape 1 : le workflow est déclenché manuellement.

01Étape 1 : les informations des entreprises sont récupérées via Supabase.
02Étape 2 : les données sont préparées et nettoyées pour éliminer les doublons et les URLs invalides.
03Étape 3 : les données sont agrégées et formatées en Markdown.
04Étape 4 : les résultats finaux sont insérés dans Supabase pour un accès ultérieur.

Besoin d'aide

On adapte ce workflow à votre stack.

CRM, outils internes, briques métier — on connecte tout via n8n et on vous livre une automatisation prête à l'emploi.

Audit gratuit · 48h

Schéma visuel

Visualisation du workflow n8n

Schéma des nœuds et connexions de ce workflow n8n, généré à partir du JSON n8n.

React Flow

Besoin d'aide ?

JSON n8n

Importer dans n8n en un clic

Inscris-toi gratuitement pour télécharger le fichier .json, puis fais Import from File dans n8n pour déployer le workflow en quelques secondes.

automatisation-de-la-recuperation-de-donnees-web-avec-n8n.json· 1023 lignes

Réservé membres

{
  "nodes": [
    {
      "id": "6cdc45e5-1fa4-47fe-b80a-0e1560996936",
      "name": "Text",
      "type": "@n8n/n8n-nodes-langchain.toolWorkflow",
      "position": [
        1460,
        980
      ],
      "parameters": {
        "name": "text_retrieval_tool",
        "source": "parameter",
        "description": "Call this tool to return all text from the given website. Query should be full website URL.",
        "workflowJson": "{\n  \"nodes\": [\n    {\n      \"parameters\": {},\n      \"id\": \"05107436-c9cb-419b-ae8a-b74d309a130d\",\n      \"name\": \"Execute workflow\",\n      \"type\": \"n8n-nodes-base.manualTrigger\",\n      \"typeVersion\": 1,\n      \"position\": [\n        2220,\n        620\n      ]\n    },\n    {\n      \"parameters\": {\n        \"assignments\": {\n          \"assignments\": [\n            {\n              \"id\": \"253c2b17-c749-4f0a-93e8-5ff74f1ce49b\",\n              \"name\": \"domain\",\n              \"value\": \"={{ $json.query }}\",\n              \"type\": \"string\"\n            }\n          ]\n        },\n        \"options\": {}\n      },\n      \"id\": \"bb8be616-3227-4705-8520-1827069faacd\",\n      \"name\": \"Set domain\",\n      \"type\": \"n8n-nodes-base.set\",\n      \"typeVersion\": 3.3,\n      \"position\": [\n        2440,\n        620\n      ]\n    },\n    {\n      \"parameters\": {\n        \"assignments\": {\n          \"assignments\": [\n            {\n              \"id\": \"ed0f1505-82b6-4393-a0d8-088055137ec9\",\n              \"name\": \"domain\",\n              \"value\": \"={{ $json.domain.startsWith(\\\"http\\\") ? $json.domain : \\\"http://\\\" + $json.domain }}\",\n              \"type\": \"string\"\n            }\n          ]\n        },\n        \"options\": {}\n      },\n      \"id\": \"bdf29340-f135-489f-848e-1c7fa43a01df\",\n      \"name\": \"Add protocool to domain\",\n      \"type\": \"n8n-nodes-base.set\",\n      \"typeVersion\": 3.3,\n      \"position\": [\n        2640,\n        620\n      ]\n    },\n    {\n      \"parameters\": {\n        \"assignments\": {\n          \"assignments\": [\n            {\n              \"id\": \"2b1c7ff8-06a7-448b-99b7-5ede4b2e0bf0\",\n              \"name\": \"response\",\n              \"value\": \"={{ $json.data }}\",\n              \"type\": \"string\"\n            }\n          ]\n        },\n        \"options\": {}\n      },\n      \"id\": \"9f0aa264-08c1-459a-bb99-e28599fe8f76\",\n      \"name\": \"Set response\",\n      \"type\": \"n8n-nodes-base.set\",\n      \"typeVersion\": 3.3,\n      \"position\": [\n        3300,\n        620\n      ]\n    },\n    {\n      \"parameters\": {\n        \"url\": \"={{ $json.domain }}\",\n        \"options\": {}\n      },\n      \"id\": \"cec7c8e8-bf5e-43d5-aa41-876293dbec78\",\n      \"name\": \"Get website\",\n      \"type\": \"n8n-nodes-base.httpRequest\",\n      \"typeVersion\": 4.2,\n      \"position\": [\n        2860,\n        620\n      ]\n    },\n    {\n      \"parameters\": {\n        \"html\": \"={{ $json.data }}\",\n        \"options\": {\n          \"ignore\": \"a,img\"\n        }\n      },\n      \"id\": \"1af94fcb-bca3-45c4-9277-18878c75d417\",\n      \"name\": \"Convert HTML to Markdown\",\n      \"type\": \"n8n-nodes-base.markdown\",\n      \"typeVersion\": 1,\n      \"position\": [\n        3080,\n        620\n      ]\n    }\n  ],\n  \"connections\": {\n    \"Execute workflow\": {\n      \"main\": [\n        [\n          {\n            \"node\": \"Set domain\",\n            \"type\": \"main\",\n            \"index\": 0\n          }\n        ]\n      ]\n    },\n    \"Set domain\": {\n      \"main\": [\n        [\n          {\n            \"node\": \"Add protocool to domain\",\n            \"type\": \"main\",\n            \"index\": 0\n          }\n        ]\n      ]\n    },\n    \"Add protocool to domain\": {\n      \"main\": [\n        [\n          {\n            \"node\": \"Get website\",\n            \"type\": \"main\",\n            \"index\": 0\n          }\n        ]\n      ]\n    },\n    \"Get website\": {\n      \"main\": [\n        [\n          {\n            \"node\": \"Convert HTML to Markdown\",\n            \"type\": \"main\",\n            \"index\": 0\n          }\n        ]\n      ]\n    },\n    \"Convert HTML to Markdown\": {\n      \"main\": [\n        [\n          {\n            \"node\": \"Set response\",\n            \"type\": \"main\",\n            \"index\": 0\n          }\n        ]\n      ]\n    }\n  },\n  \"pinData\": {}\n}",
        "requestOptions": {}
      },
      "typeVersion": 1.1
    },
    {
      "id": "af8efccb-ba3c-44de-85f7-b932d7a2e3ca",
      "name": "URLs",

JSON complet réservé membres

Inscris-toi gratuitement pour télécharger le workflow et l'importer dans n8n.

Télécharger gratuitement

Inscription en 30 secondes · Sans CB

Guide

Personnaliser ce workflow

Pour personnaliser ce workflow, vous pouvez modifier les paramètres du nœud 'Get companies' pour cibler des tables spécifiques dans Supabase. Il est également possible d'ajuster les conditions des nœuds 'Filter' pour affiner les données récupérées. Si vous souhaitez intégrer d'autres sources de données, vous pouvez ajouter des nœuds supplémentaires pour les interroger. Assurez-vous de sécuriser les accès à votre base de données et de monitorer les performances du workflow pour garantir son bon fonctionnement.

Les nœuds

Détail des nœuds n8n

01
Text
Ce noeud traite des données textuelles en utilisant un workflow Langchain.
02
URLs
Ce noeud gère les URLs dans un workflow Langchain.
03
OpenAI Chat Model
Ce noeud interagit avec le modèle de chat OpenAI pour générer des réponses.
04
JSON Parser
Ce noeud analyse et structure les données JSON selon un schéma défini.
05
Map company name and website
Ce noeud assigne des noms d'entreprise et des sites web à des variables.
06
Execute workflow
Ce noeud déclenche manuellement l'exécution d'un workflow.
07
Get companies
Ce noeud récupère des données d'entreprises à partir d'une base de données Supabase.
08
Select company name and website
Ce noeud sélectionne les noms d'entreprise et les sites web à partir des données.
09
Set social media array
Ce noeud crée un tableau pour les réseaux sociaux à partir des données existantes.
10
Merge all data
Ce noeud fusionne toutes les données provenant de différents noeuds.
11
Insert new row
Ce noeud insère une nouvelle ligne dans une table de la base de données Supabase.
12
Convert HTML to Markdown
Ce noeud convertit du contenu HTML en format Markdown.
13
Sticky Note
Ce noeud crée une note autocollante avec des paramètres de couleur et de taille.
14
Sticky Note1
Ce noeud crée une seconde note autocollante avec des paramètres de couleur et de taille.
15
Sticky Note2
Ce noeud crée une troisième note autocollante avec des paramètres de couleur et de taille.
16
Retrieve URLs
Ce noeud récupère des URLs à partir d'une page HTML en utilisant des valeurs d'extraction.
17
Split out URLs
Ce noeud sépare les URLs d'un champ spécifique dans les données.
18
Remove duplicated
Ce noeud élimine les doublons dans les données en fonction de critères définis.
19
Set domain to path
Ce noeud assigne un domaine à un chemin dans les données.
20
Filter out invalid URLs
Ce noeud filtre les URLs invalides selon des conditions spécifiées.
21
Aggregate URLs
Ce noeud agrège les URLs selon des critères définis.
22
Filter out empty hrefs
Ce noeud filtre les hrefs vides dans les données.
23
Set domain (text)
Ce noeud assigne un domaine à un texte spécifique.
24
Add protocool to domain (text)
Ce noeud ajoute un protocole à un domaine sous forme de texte.
25
Get website (text)
Ce noeud assigne un domaine à une URL.
26
Sticky Note4
Ce noeud crée une cinquième note autocollante avec des paramètres de taille.
27
Sticky Note5
Ce noeud crée une sixième note autocollante avec des paramètres de taille.
28
Sticky Note6
Ce noeud crée une septième note autocollante avec des paramètres de taille.
29
Sticky Note7
Ce noeud crée une huitième note autocollante avec des paramètres de taille.
30
Add protocool to domain (URL)
Ce noeud ajoute un protocole à un domaine sous forme d'URL.
31
Sticky Note8
Ce noeud crée une neuvième note autocollante avec des paramètres de couleur et de taille.
32
Sticky Note9
Ce noeud crée une dixième note autocollante avec des paramètres de couleur et de taille.
33
Crawl website
Ce noeud effectue un crawl sur un site web en utilisant Langchain.

Dernière étape

Vous n'avez pas besoin de plus de canaux.
Vous avez besoin d'un pilote.

Audit gratuit · 48h

GratuitRésultats en 48 hSans engagement

06 17 12 54 284,9Google4,96Sortlist4,3Trustpilot40+ clients B2B