Workflow n8nManual

Automatisation n8n : extraction et traitement de données web

Ce workflow n8n est conçu pour automatiser l'extraction et le traitement de données provenant de sites web. Il est particulièrement utile pour les entreprises qui souhaitent collecter des informations sur des entreprises, des produits ou des services en ligne. Grâce à ce workflow, les utilisateurs peuvent facilement récupérer des URL, extraire des données pertinentes et les structurer pour une utilisation ultérieure. L'automatisation n8n permet de gagner du temps et d'améliorer l'efficacité des processus de collecte de données. Le workflow commence par un déclencheur manuel, permettant à l'utilisateur de lancer le processus à tout moment. Ensuite, il utilise des noeuds pour récupérer des informations à partir d'une base de données Supabase, où les entreprises sont stockées. Les noeuds 'Get website (text)' et 'Get website (URL)' effectuent des requêtes HTTP pour obtenir le contenu des sites web. Les données extraites sont ensuite nettoyées et filtrées à l'aide de noeuds comme 'Filter out invalid URLs' et 'Remove duplicated'. Enfin, les données sont agrégées et formatées, notamment grâce à la conversion HTML en Markdown, ce qui facilite leur intégration dans d'autres systèmes ou leur présentation. En utilisant ce workflow, les entreprises peuvent réduire les erreurs humaines, améliorer la qualité des données collectées et optimiser leur processus de prise de décision. L'agence d'automatisation Uclic propose ce type de solution pour aider les entreprises à tirer le meilleur parti de leurs données en ligne.

38Nœuds05Intégrations06ÉtapesPrêt à l'emploi

automatisation n8n extraction de données web scraping Supabase

Pour qui

À qui s'adresse ce workflow ?

Ce workflow s'adresse aux entreprises de toutes tailles qui cherchent à automatiser la collecte de données en ligne. Il est particulièrement adapté aux équipes marketing, aux analystes de données et aux développeurs souhaitant intégrer des données web dans leurs systèmes. Un niveau technique intermédiaire est recommandé pour une personnalisation optimale.

Le problème

Ce que ce workflow résout

Ce workflow résout le problème de la collecte manuelle de données sur le web, qui peut être chronophage et sujet à des erreurs. En automatisant ce processus, les utilisateurs peuvent réduire le temps passé à rechercher des informations, minimiser les risques d'erreurs et obtenir des données structurées prêtes à l'emploi. Cela permet également d'améliorer la réactivité de l'entreprise face aux évolutions du marché et aux besoins des clients.

Les étapes

Comment ça fonctionne

Étape 1 : L'utilisateur déclenche manuellement le workflow.

01Étape 1 : Le système récupère les entreprises à partir de la base de données Supabase.
02Étape 2 : Les noeuds 'Get website (text)' et 'Get website (URL)' effectuent des requêtes HTTP pour extraire le contenu des sites web.
03Étape 3 : Les données sont nettoyées et filtrées pour éliminer les URL invalides et les doublons.
04Étape 4 : Les données sont agrégées et converties en Markdown pour une utilisation ultérieure.
05Étape 5 : Les résultats finaux sont disponibles pour être intégrés dans d'autres systèmes ou analysés.

Besoin d'aide

On adapte ce workflow à votre stack.

CRM, outils internes, briques métier — on connecte tout via n8n et on vous livre une automatisation prête à l'emploi.

Audit gratuit · 48h

Schéma visuel

Visualisation du workflow n8n

Schéma des nœuds et connexions de ce workflow n8n, généré à partir du JSON n8n.

React Flow

Besoin d'aide ?

JSON n8n

Importer dans n8n en un clic

Inscris-toi gratuitement pour télécharger le fichier .json, puis fais Import from File dans n8n pour déployer le workflow en quelques secondes.

automatisation-n8n-extraction-et-traitement-de-donnees-web.json· 1023 lignes

Réservé membres

{
  "nodes": [
    {
      "id": "6cdc45e5-1fa4-47fe-b80a-0e1560996936",
      "name": "Text",
      "type": "@n8n/n8n-nodes-langchain.toolWorkflow",
      "position": [
        1460,
        980
      ],
      "parameters": {
        "name": "text_retrieval_tool",
        "source": "parameter",
        "description": "Call this tool to return all text from the given website. Query should be full website URL.",
        "workflowJson": "{\n \"nodes\": [\n {\n \"parameters\": {},\n \"id\": \"05107436-c9cb-419b-ae8a-b74d309a130d\",\n \"name\": \"Execute workflow\",\n \"type\": \"n8n-nodes-base.manualTrigger\",\n \"typeVersion\": 1,\n \"position\": [\n 2220,\n 620\n ]\n },\n {\n \"parameters\": {\n \"assignments\": {\n \"assignments\": [\n {\n \"id\": \"253c2b17-c749-4f0a-93e8-5ff74f1ce49b\",\n \"name\": \"domain\",\n \"value\": \"={{ $json.query }}\",\n \"type\": \"string\"\n }\n ]\n },\n \"options\": {}\n },\n \"id\": \"bb8be616-3227-4705-8520-1827069faacd\",\n \"name\": \"Set domain\",\n \"type\": \"n8n-nodes-base.set\",\n \"typeVersion\": 3.3,\n \"position\": [\n 2440,\n 620\n ]\n },\n {\n \"parameters\": {\n \"assignments\": {\n \"assignments\": [\n {\n \"id\": \"ed0f1505-82b6-4393-a0d8-088055137ec9\",\n \"name\": \"domain\",\n \"value\": \"={{ $json.domain.startsWith(\\\"http\\\") ? $json.domain : \\\"http://\\\" + $json.domain }}\",\n \"type\": \"string\"\n }\n ]\n },\n \"options\": {}\n },\n \"id\": \"bdf29340-f135-489f-848e-1c7fa43a01df\",\n \"name\": \"Add protocool to domain\",\n \"type\": \"n8n-nodes-base.set\",\n \"typeVersion\": 3.3,\n \"position\": [\n 2640,\n 620\n ]\n },\n {\n \"parameters\": {\n \"assignments\": {\n \"assignments\": [\n {\n \"id\": \"2b1c7ff8-06a7-448b-99b7-5ede4b2e0bf0\",\n \"name\": \"response\",\n \"value\": \"={{ $json.data }}\",\n \"type\": \"string\"\n }\n ]\n },\n \"options\": {}\n },\n \"id\": \"9f0aa264-08c1-459a-bb99-e28599fe8f76\",\n \"name\": \"Set response\",\n \"type\": \"n8n-nodes-base.set\",\n \"typeVersion\": 3.3,\n \"position\": [\n 3300,\n 620\n ]\n },\n {\n \"parameters\": {\n \"url\": \"={{ $json.domain }}\",\n \"options\": {}\n },\n \"id\": \"cec7c8e8-bf5e-43d5-aa41-876293dbec78\",\n \"name\": \"Get website\",\n \"type\": \"n8n-nodes-base.httpRequest\",\n \"typeVersion\": 4.2,\n \"position\": [\n 2860,\n 620\n ]\n },\n {\n \"parameters\": {\n \"html\": \"={{ $json.data }}\",\n \"options\": {\n \"ignore\": \"a,img\"\n }\n },\n \"id\": \"1af94fcb-bca3-45c4-9277-18878c75d417\",\n \"name\": \"Convert HTML to Markdown\",\n \"type\": \"n8n-nodes-base.markdown\",\n \"typeVersion\": 1,\n \"position\": [\n 3080,\n 620\n ]\n }\n ],\n \"connections\": {\n \"Execute workflow\": {\n \"main\": [\n [\n {\n \"node\": \"Set domain\",\n \"type\": \"main\",\n \"index\": 0\n }\n ]\n ]\n },\n \"Set domain\": {\n \"main\": [\n [\n {\n \"node\": \"Add protocool to domain\",\n \"type\": \"main\",\n \"index\": 0\n }\n ]\n ]\n },\n \"Add protocool to domain\": {\n \"main\": [\n [\n {\n \"node\": \"Get website\",\n \"type\": \"main\",\n \"index\": 0\n }\n ]\n ]\n },\n \"Get website\": {\n \"main\": [\n [\n {\n \"node\": \"Convert HTML to Markdown\",\n \"type\": \"main\",\n \"index\": 0\n }\n ]\n ]\n },\n \"Convert HTML to Markdown\": {\n \"main\": [\n [\n {\n \"node\": \"Set response\",\n \"type\": \"main\",\n \"index\": 0\n }\n ]\n ]\n }\n },\n \"pinData\": {}\n}",
        "requestOptions": {}
      },
      "typeVersion": 1.1
    },
    {
      "id": "af8efccb-ba3c-44de-85f7-b932d7a2e3ca",
      "name": "URLs",

JSON complet réservé membres

Inscris-toi gratuitement pour télécharger le workflow et l'importer dans n8n.

Télécharger gratuitement

Inscription en 30 secondes · Sans CB

Guide

Personnaliser ce workflow

Pour personnaliser ce workflow, vous pouvez modifier les paramètres des noeuds 'Get website (text)' et 'Get website (URL)' pour cibler des sites spécifiques. Ajustez les conditions dans les noeuds de filtrage pour affiner les données extraites. Vous pouvez également changer la structure des données dans le noeud 'JSON Parser' pour répondre à vos besoins spécifiques. Enfin, n'hésitez pas à intégrer d'autres services ou outils via des appels API pour enrichir encore plus votre flux de travail.

Les nœuds

Détail des nœuds n8n

01
Text
Ce noeud traite du texte en utilisant un workflow Langchain.
02
URLs
Ce noeud gère les URLs dans un workflow Langchain.
03
OpenAI Chat Model
Ce noeud utilise le modèle de chat OpenAI pour générer des réponses.
04
JSON Parser
Ce noeud analyse et structure les données JSON selon un schéma défini.
05
Map company name and website
Ce noeud assigne des noms d'entreprise et des sites web à des variables.
06
Execute workflow
Ce noeud déclenche manuellement l'exécution d'un workflow.
07
Get companies
Ce noeud récupère des entreprises à partir d'une base de données Supabase.
08
Select company name and website
Ce noeud sélectionne les noms d'entreprise et les sites web à partir des données.
09
Set social media array
Ce noeud définit un tableau pour les réseaux sociaux à partir des données.
10
Merge all data
Ce noeud fusionne toutes les données collectées en un seul ensemble.
11
Insert new row
Ce noeud insère une nouvelle ligne dans une table de la base de données Supabase.
12
Convert HTML to Markdown
Ce noeud convertit du HTML en Markdown.
13
Sticky Note
Ce noeud crée une note autocollante avec des paramètres de couleur et de contenu.
14
Sticky Note1
Ce noeud crée une deuxième note autocollante avec des paramètres de couleur et de contenu.
15
Sticky Note2
Ce noeud crée une troisième note autocollante avec des paramètres de couleur et de contenu.
16
Retrieve URLs
Ce noeud récupère des URLs à partir d'une page HTML.
17
Split out URLs
Ce noeud sépare les URLs en fonction d'un champ spécifié.
18
Remove duplicated
Ce noeud élimine les doublons dans les données.
19
Set domain to path
Ce noeud définit le domaine à partir d'un chemin spécifié.
20
Filter out invalid URLs
Ce noeud filtre les URLs invalides selon des conditions définies.
21
Aggregate URLs
Ce noeud agrège les URLs selon des critères spécifiques.
22
Filter out empty hrefs
Ce noeud filtre les hrefs vides dans les données.
23
Set domain (text)
Ce noeud définit le domaine à partir d'un texte spécifié.
24
Add protocool to domain (text)
Ce noeud ajoute un protocole à un domaine sous forme de texte.
25
Get website (text)
Ce noeud récupère le contenu d'un site web à partir d'une URL.
26
Set response (text)
Ce noeud définit la réponse d'une requête HTTP sous forme de texte.
27
Set domain (URL)
Ce noeud définit le domaine à partir d'une URL spécifiée.
28
Get website (URL)
Ce noeud récupère le contenu d'un site web à partir d'une URL.
29
Set response (URL)
Ce noeud définit la réponse d'une requête HTTP sous forme d'URL.
30
Sticky Note3
Ce noeud crée une quatrième note autocollante avec des paramètres de couleur et de contenu.
31
Sticky Note4
Ce noeud crée une cinquième note autocollante avec des paramètres de taille et de contenu.
32
Sticky Note5
Ce noeud crée une sixième note autocollante avec des paramètres de taille et de contenu.
33
Sticky Note6
Ce noeud crée une septième note autocollante avec des paramètres de taille et de contenu.
34
Sticky Note7
Ce noeud crée une huitième note autocollante avec des paramètres de taille et de contenu.
35
Add protocool to domain (URL)
Ce noeud ajoute un protocole à un domaine sous forme d'URL.
36
Sticky Note8
Ce noeud crée une neuvième note autocollante avec des paramètres de couleur et de contenu.
37
Sticky Note9
Ce noeud crée une dixième note autocollante avec des paramètres de couleur et de contenu.
38
Crawl website
Ce noeud permet de crawler un site web en utilisant Langchain.

Dernière étape

Vous n'avez pas besoin de plus de canaux.
Vous avez besoin d'un pilote.

Audit gratuit · 48h

GratuitRésultats en 48 hSans engagement

06 17 12 54 284,9Google4,96Sortlist4,3Trustpilot40+ clients B2B