Automatisation Google Cloud Storage avec n8n : upload de données en batch

Ce workflow n8n a pour objectif d'automatiser le processus d'upload de données en batch vers Qdrant à partir de Google Cloud Storage. Il est particulièrement utile pour les entreprises qui gèrent des ensembles de données volumineux, comme celles du secteur agricole, souhaitant détecter des anomalies dans leurs cultures. Grâce à cette automatisation n8n, les utilisateurs peuvent facilement intégrer des images de cultures dans leur base de données Qdrant, ce qui permet d'optimiser l'analyse des données et de gagner un temps précieux. Le workflow commence avec un déclencheur manuel, permettant à l'utilisateur de tester le flux à la demande. Ensuite, il utilise le service Google Cloud Storage pour récupérer les données nécessaires. Une fois les données récupérées, le workflow procède à la création d'une collection dans Qdrant, après avoir vérifié si celle-ci existe déjà. Les images de cultures sont ensuite intégrées via une requête HTTP, suivie d'un traitement pour générer des identifiants uniques pour chaque point de données. Les données sont ensuite préparées au format requis par l'API de Qdrant avant d'être uploadées en batch. Les bénéfices business de ce workflow incluent une réduction significative des erreurs humaines lors de l'upload de données, une amélioration de la rapidité d'accès aux informations et une meilleure gestion des ressources. En intégrant ce type d'automatisation, les entreprises peuvent se concentrer sur l'analyse des données plutôt que sur des tâches répétitives.

À qui s'adresse ce workflow ?

Ce que ce workflow résout

Comment ça fonctionne

Visualisation du workflow n8n

Schéma des nœuds et connexions de ce workflow n8n, généré à partir du JSON n8n.

Importer dans n8n en un clic

Inscris-toi gratuitement pour télécharger le fichier .json, puis fais Import from File dans n8n pour déployer le workflow en quelques secondes.

{
  "id": "pPtCy6qPfEv1qNRn",
  "meta": {
    "instanceId": "205b3bc06c96f2dc835b4f00e1cbf9a937a74eeb3b47c99d0c30b0586dbf85aa"
  },
  "name": "[1/3 - anomaly detection] [1/2 - KNN classification] Batch upload dataset to Qdrant (crops dataset)",
  "tags": [
    {
      "id": "n3zAUYFhdqtjhcLf",
      "name": "qdrant",
      "createdAt": "2024-12-10T11:56:59.987Z",
      "updatedAt": "2024-12-10T11:56:59.987Z"
    }
  ],
  "nodes": [
    {
      "id": "53831410-b4f3-4374-8bdd-c2a33cd873cb",
      "name": "When clicking ‘Test workflow’",
      "type": "n8n-nodes-base.manualTrigger",
      "position": [
        -640,
        0

Personnaliser ce workflow

Détail des nœuds n8n

• 01

  When clicking ‘Test workflow’

  Déclenche le workflow lorsque l'utilisateur clique sur 'Tester le workflow'.

• 02

  Google Cloud Storage

  Interagit avec Google Cloud Storage pour gérer des fichiers selon les paramètres spécifiés.

• 03

  Get fields for Qdrant

  Prépare les champs nécessaires pour interagir avec Qdrant.

• 04

  Qdrant cluster variables

  Définit les variables du cluster Qdrant pour une utilisation ultérieure.

• 05

  Embed crop image

  Envoie une requête HTTP pour intégrer une image en utilisant les paramètres fournis.

• 06

  Create Qdrant Collection

  Crée une collection dans Qdrant en envoyant une requête HTTP avec les données nécessaires.

• 07

  Check Qdrant Collection Existence

  Vérifie l'existence d'une collection dans Qdrant via une requête HTTP.

• 08

  Batches in the API's format

  Prépare les lots de données au format requis par l'API.

• 09

  Batch Upload to Qdrant

  Télécharge des lots de données vers Qdrant en utilisant une requête HTTP.

• 10

  Split in batches, generate uuids for Qdrant points

  Divise les données en lots et génère des identifiants uniques pour les points Qdrant.

• 11

  If collection exists

  Évalue si une collection existe en fonction des conditions spécifiées.

• 12

  Sticky Note

  Affiche une note autocollante avec des dimensions et un contenu spécifiés.

• 13

  Payload index on crop_name

  Envoie une requête HTTP pour indexer un payload sur le champ 'crop_name'.

• 14

  Sticky Note1

  Affiche une note autocollante avec un contenu et une hauteur spécifiés.

• 15

  Sticky Note2

  Affiche une note autocollante avec un contenu spécifié.

• 16

  Sticky Note3

  Affiche une note autocollante avec une hauteur et un contenu spécifiés.

• 17

  Sticky Note4

  Affiche une note autocollante avec une hauteur et un contenu spécifiés.

• 18

  Sticky Note5

  Affiche une note autocollante avec une hauteur et un contenu spécifiés.

• 19

  Sticky Note6

  Affiche une note autocollante avec une hauteur et un contenu spécifiés.

• 20

  Sticky Note7

  Affiche une note autocollante avec un contenu spécifié.

• 21

  Sticky Note9

  Affiche une note autocollante avec une hauteur et un contenu spécifiés.

• 22

  Sticky Note11

  Affiche une note autocollante avec une largeur, une hauteur et un contenu spécifiés.

• 23

  Filtering out tomato to test anomalies

  Filtre les données pour exclure les tomates afin de tester les anomalies.

• 24

  Sticky Note8

  Affiche une note autocollante avec des dimensions et un contenu spécifiés.

• 25

  Sticky Note10

  Affiche une note autocollante avec une couleur, une largeur, une hauteur et un contenu spécifiés.