Automatisation n8n : récupération de pages web en temps réel
Ce workflow n8n est conçu pour automatiser la récupération de pages web, facilitant ainsi l'accès aux données en ligne pour divers cas d'usage. Que ce soit pour surveiller des contenus spécifiques, collecter des informations pour des analyses ou alimenter des bases de données, cette automatisation répond aux besoins des entreprises cherchant à optimiser leur flux de travail. Le premier déclencheur est un 'Execute Workflow Trigger', qui initie le processus. Ensuite, le noeud 'FireCrawl' effectue une requête HTTP pour récupérer le contenu de la page web spécifiée. Les données sont ensuite traitées par le noeud 'Edit Fields', qui permet de modifier ou d'ajuster les informations récupérées selon les besoins de l'utilisateur. Enfin, le noeud 'Sticky Note' peut être utilisé pour afficher ou stocker les résultats de manière visuelle. Grâce à cette automatisation n8n, les utilisateurs peuvent gagner un temps précieux en évitant les tâches manuelles répétitives, tout en garantissant une collecte de données précise et efficace. En intégrant ce workflow dans leur stratégie, les entreprises peuvent améliorer leur efficacité opérationnelle et prendre des décisions basées sur des données fiables.
Workflow n8n data marketing, web scraping : vue d'ensemble
Schéma des nœuds et connexions de ce workflow n8n, généré à partir du JSON n8n.
Workflow n8n data marketing, web scraping : détail des nœuds
Inscris-toi pour voir l'intégralité du workflow
Inscription gratuite
S'inscrire gratuitementBesoin d'aide ?{
"id": "7DPLpEkww5Uctcml",
"meta": {
"instanceId": "75d76ac1fb686d403c2294ca007b62282f34c3e15dc3528cc1dbe36a827c0c6e"
},
"name": "get_a_web_page",
"tags": [
{
"id": "7v5QbLiQYkQ7zGTK",
"name": "tools",
"createdAt": "2025-01-08T16:33:21.887Z",
"updatedAt": "2025-01-08T16:33:21.887Z"
}
],
"nodes": [
{
"id": "290cc9b8-e4b1-4124-ab0e-afbb02a9072b",
"name": "Execute Workflow Trigger",
"type": "n8n-nodes-base.executeWorkflowTrigger",
"position": [
-460,
-100
],
"parameters": {},
"typeVersion": 1
},
{
"id": "f256ed59-ba61-4912-9a75-4e7703547de5",
"name": "FireCrawl",
"type": "n8n-nodes-base.httpRequest",
"position": [
-220,
-100
],
"parameters": {
"url": "https://api.firecrawl.dev/v1/scrape",
"method": "POST",
"options": {},
"jsonBody": "={\n \"url\": \"{{ $json.query.url }}\",\n \"formats\": [\n \"markdown\"\n ]\n} ",
"sendBody": true,
"sendHeaders": true,
"specifyBody": "json",
"authentication": "genericCredentialType",
"genericAuthType": "httpHeaderAuth",
"headerParameters": {
"parameters": [
{}
]
}
},
"credentials": {
"httpHeaderAuth": {
"id": "RoJ6k6pWBzSVp9JK",
"name": "Firecrawl"
}
},
"typeVersion": 4.2
},
{
"id": "a28bdbe6-fa59-4bf1-b0ab-c34ebb10cf0f",
"name": "Edit Fields",
"type": "n8n-nodes-base.set",
"position": [
-20,
-100
],
"parameters": {
"options": {},
"assignments": {
"assignments": [
{
"id": "1af62ef9-7385-411a-8aba-e4087f09c3a9",
"name": "response",
"type": "string",
"value": "={{ $json.data.markdown }}"
}
]
}
},
"typeVersion": 3.4
},
{
"id": "fcd26213-038a-453f-80e5-a3936e4c2d06",
"name": "Sticky Note",
"type": "n8n-nodes-base.stickyNote",
"position": [
-480,
-340
],
"parameters": {
"width": 620,
"height": 200,
"content": "## Send URL got Crawl\nThis can be reused by Ai Agents and any Workspace to crawl a site. All that Workspace has to do is send a request:\n\n```json\n {\n \"url\": \"Some URL to Get\"\n }\n```"
},
"typeVersion": 1
}
],
"active": false,
"pinData": {
"Execute Workflow Trigger": [
{
"json": {
"query": {
"url": "https://en.wikipedia.org/wiki/Linux"
}
}
}
]
},
"settings": {
"executionOrder": "v1"
},
"versionId": "396f46a7-3120-42f9-b3d5-2021e6e995b8",
"connections": {
"FireCrawl": {
"main": [
[
{
"node": "Edit Fields",
"type": "main",
"index": 0
}
]
]
},
"Execute Workflow Trigger": {
"main": [
[
{
"node": "FireCrawl",
"type": "main",
"index": 0
}
]
]
}
}
}Workflow n8n data marketing, web scraping : pour qui est ce workflow ?
Ce workflow s'adresse aux entreprises et équipes marketing qui souhaitent automatiser la collecte de données à partir de pages web. Il est particulièrement utile pour les professionnels du marketing digital, les analystes de données et les développeurs, quel que soit leur niveau technique.
Workflow n8n data marketing, web scraping : problème résolu
Ce workflow résout le problème de la collecte manuelle de données sur le web, qui peut être chronophage et sujette à des erreurs. En automatisant ce processus, les utilisateurs éliminent les frustrations liées à la recherche d'informations et réduisent le risque d'inexactitudes. Après mise en place, ils obtiennent des données précises et à jour, prêtes à être utilisées pour des analyses ou des rapports.
Workflow n8n data marketing, web scraping : étapes du workflow
Étape 1 : Le workflow est déclenché manuellement via 'Execute Workflow Trigger'.
- Étape 1 : Le noeud 'FireCrawl' envoie une requête HTTP pour récupérer le contenu de la page web spécifiée.
- Étape 2 : Les données récupérées sont ensuite traitées par le noeud 'Edit Fields', permettant d'ajuster les informations selon les besoins.
- Étape 3 : Enfin, le noeud 'Sticky Note' affiche ou stocke les résultats de manière visuelle.
Workflow n8n data marketing, web scraping : guide de personnalisation
Pour personnaliser ce workflow, commencez par modifier l'URL dans le noeud 'FireCrawl' pour cibler la page web souhaitée. Vous pouvez également ajuster les paramètres d'authentification si nécessaire. Dans le noeud 'Edit Fields', adaptez les champs à vos besoins spécifiques en définissant les informations que vous souhaitez extraire. Enfin, le contenu du noeud 'Sticky Note' peut être modifié pour afficher les résultats de manière plus pertinente pour votre équipe. Assurez-vous de tester le workflow après chaque modification pour garantir son bon fonctionnement.