Automatisation Web Scraper avec n8n : extraction de données en temps réel

Ce workflow n8n est conçu pour automatiser le processus de scraping de sites web en utilisant Jina.ai. Dans un contexte où la collecte de données précises et à jour est cruciale pour les entreprises, ce workflow permet d'extraire efficacement des contenus web et de les sauvegarder dans Google Drive. Les cas d'usage incluent la recherche de tendances, l'analyse de la concurrence et la collecte de contenu pour le marketing digital. Le workflow débute avec un déclencheur manuel, permettant à l'utilisateur de lancer le processus à tout moment. Ensuite, il récupère une liste d'URLs de sites web via une requête HTTP, puis les traite en les convertissant en format JSON. Une fois les données récupérées, le workflow les filtre selon des thèmes ou des pages spécifiques, garantissant que seules les informations pertinentes sont extraites. Les contenus des pages sont ensuite sauvegardés dans Google Drive, facilitant leur accès et leur partage. Les bénéfices de cette automatisation n8n sont multiples : elle réduit le temps consacré à la collecte manuelle de données, minimise les erreurs humaines et permet une mise à jour rapide des informations. En intégrant ce workflow, les entreprises peuvent améliorer leur efficacité opérationnelle et prendre des décisions basées sur des données fiables et actualisées.

À qui s'adresse ce workflow ?

Ce que ce workflow résout

Comment ça fonctionne

Visualisation du workflow n8n

Schéma des nœuds et connexions de ce workflow n8n, généré à partir du JSON n8n.

Importer dans n8n en un clic

Inscris-toi gratuitement pour télécharger le fichier .json, puis fais Import from File dans n8n pour déployer le workflow en quelques secondes.

{
  "id": "xEij0kj2I1DHbL3I",
  "meta": {
    "instanceId": "31e69f7f4a77bf465b805824e303232f0227212ae922d12133a0f96ffeab4fef",
    "templateCredsSetupCompleted": true
  },
  "name": "💡🌐 Essential Multipage Website Scraper with Jina.ai",
  "tags": [],
  "nodes": [
    {
      "id": "3a503859-ef0a-492d-81c6-37e4f0c4c25e",
      "name": "Sticky Note",
      "type": "n8n-nodes-base.stickyNote",
      "position": [
        -840,
        0
      ],
      "parameters": {
        "color": 3,
        "width": 340,
        "height": 320,
        "content": "## Jina.ai Web Scraper\n### No API Key Required\n"

Personnaliser ce workflow

Détail des nœuds n8n

• 01

  Sticky Note

  Ce noeud crée une note autocollante avec des paramètres de couleur, largeur, hauteur et contenu.

• 02

  When clicking ‘Test workflow’

  Ce noeud déclenche manuellement l'exécution du workflow lorsque l'utilisateur clique sur 'Test workflow'.

• 03

  Loop Over Items

  Ce noeud permet de traiter les éléments en les divisant en plusieurs lots.

• 04

  Wait

  Ce noeud met le workflow en pause pendant une durée spécifiée.

• 05

  Limit

  Ce noeud limite le nombre d'éléments traités à un maximum défini.

• 06

  Get List of Website URLs

  Ce noeud effectue une requête HTTP pour obtenir une liste d'URLs de sites web.

• 07

  Convert to JSON

  Ce noeud convertit des données XML en format JSON.

• 08

  Create List of Website URLs

  Ce noeud crée une liste d'URLs de sites web en fonction des options et du champ à extraire.

• 09

  Filter By Topics or Pages

  Ce noeud filtre les éléments selon des sujets ou des pages spécifiés.

• 10

  Set Website URL

  Ce noeud définit une URL de site web en utilisant des options et des affectations.

• 11

  Jina.ai Web Scraper

  Ce noeud effectue une requête HTTP pour extraire des données à partir d'un scraper Jina.ai.

• 12

  Save Webpage Contents to Google Drive

  Ce noeud enregistre le contenu d'une page web dans Google Drive avec des paramètres spécifiés.

• 13

  Extract Title & Markdown Content

  Ce noeud exécute un code JavaScript pour extraire le titre et le contenu en Markdown.

• 14

  Sticky Note1

  Ce noeud crée une note autocollante avec des paramètres de couleur, largeur, hauteur et contenu.

• 15

  Sticky Note2

  Ce noeud crée une note autocollante avec des paramètres de couleur, largeur, hauteur et contenu.

• 16

  Sticky Note3

  Ce noeud crée une note autocollante avec des paramètres de largeur, hauteur et contenu.