Automatisation Google Cloud Storage avec n8n : upload de données en lot

Ce workflow n8n a pour objectif d'automatiser le processus de téléchargement de jeux de données vers Qdrant à partir de Google Cloud Storage. Idéal pour les entreprises qui manipulent des images de cultures, ce workflow permet de gérer efficacement les données en lot et de les préparer pour l'analyse d'anomalies. Les cas d'usage incluent l'intégration de données pour des projets d'apprentissage automatique ou de détection d'anomalies dans des systèmes de reconnaissance d'images. Le workflow commence par un déclencheur manuel, permettant à l'utilisateur de tester le flux à la demande. Ensuite, il récupère les fichiers depuis Google Cloud Storage, avant de configurer les variables nécessaires pour Qdrant. L'étape suivante consiste à intégrer les images des cultures via une requête HTTP, suivie de la création d'une collection dans Qdrant. Le workflow vérifie ensuite l'existence de la collection et prépare les données en lot pour le téléchargement. Enfin, il utilise des scripts pour générer des identifiants uniques pour chaque point de données et télécharge les données vers Qdrant. Cette automatisation n8n offre un gain de temps considérable et réduit les erreurs humaines, tout en permettant une gestion fluide des données.

À qui s'adresse ce workflow ?

Ce que ce workflow résout

Comment ça fonctionne

Visualisation du workflow n8n

Schéma des nœuds et connexions de ce workflow n8n, généré à partir du JSON n8n.

Importer dans n8n en un clic

Inscris-toi gratuitement pour télécharger le fichier .json, puis fais Import from File dans n8n pour déployer le workflow en quelques secondes.

{
  "id": "pPtCy6qPfEv1qNRn",
  "meta": {
    "instanceId": "205b3bc06c96f2dc835b4f00e1cbf9a937a74eeb3b47c99d0c30b0586dbf85aa"
  },
  "name": "[1/3 - anomaly detection] [1/2 - KNN classification] Batch upload dataset to Qdrant (crops dataset)",
  "tags": [
    {
      "id": "n3zAUYFhdqtjhcLf",
      "name": "qdrant",
      "createdAt": "2024-12-10T11:56:59.987Z",
      "updatedAt": "2024-12-10T11:56:59.987Z"
    }
  ],
  "nodes": [
    {
      "id": "53831410-b4f3-4374-8bdd-c2a33cd873cb",
      "name": "When clicking ‘Test workflow’",
      "type": "n8n-nodes-base.manualTrigger",
      "position": [
        -640,
        0

Personnaliser ce workflow

Détail des nœuds n8n

• 01

  When clicking ‘Test workflow’

  Ce noeud déclenche le workflow manuellement lorsque l'utilisateur clique sur 'Test workflow'.

• 02

  Google Cloud Storage

  Ce noeud interagit avec Google Cloud Storage pour récupérer ou gérer des fichiers selon les paramètres spécifiés.

• 03

  Get fields for Qdrant

  Ce noeud définit des champs spécifiques pour Qdrant en utilisant des options et des affectations.

• 04

  Qdrant cluster variables

  Ce noeud définit des variables de cluster pour Qdrant avec des options et des affectations.

• 05

  Embed crop image

  Ce noeud envoie une requête HTTP pour intégrer une image recadrée à partir d'une URL donnée.

• 06

  Create Qdrant Collection

  Ce noeud crée une collection dans Qdrant en envoyant une requête HTTP avec les données nécessaires.

• 07

  Check Qdrant Collection Existence

  Ce noeud vérifie l'existence d'une collection dans Qdrant en effectuant une requête HTTP.

• 08

  Batches in the API's format

  Ce noeud définit des lots au format requis par l'API en utilisant des options et des affectations.

• 09

  Batch Upload to Qdrant

  Ce noeud télécharge un lot de données vers Qdrant via une requête HTTP.

• 10

  Split in batches, generate uuids for Qdrant points

  Ce noeud exécute un code Python pour diviser des données en lots et générer des UUID pour les points Qdrant.

• 11

  If collection exists

  Ce noeud évalue une condition pour déterminer si une collection existe dans Qdrant.

• 12

  Sticky Note

  Ce noeud crée une note autocollante avec un contenu spécifié et des dimensions données.

• 13

  Payload index on crop_name

  Ce noeud envoie une requête HTTP pour indexer un payload basé sur un nom de recadrage.

• 14

  Sticky Note1

  Ce noeud crée une note autocollante avec un contenu spécifié.

• 15

  Sticky Note2

  Ce noeud crée une note autocollante avec un contenu donné.

• 16

  Sticky Note3

  Ce noeud crée une note autocollante avec un contenu et une hauteur spécifiés.

• 17

  Sticky Note4

  Ce noeud crée une note autocollante avec un contenu et une hauteur spécifiés.

• 18

  Sticky Note5

  Ce noeud crée une note autocollante avec un contenu et une hauteur spécifiés.

• 19

  Sticky Note6

  Ce noeud crée une note autocollante avec une hauteur et un contenu spécifiés.

• 20

  Sticky Note7

  Ce noeud crée une note autocollante avec un contenu donné.

• 21

  Sticky Note9

  Ce noeud crée une note autocollante avec une hauteur et un contenu spécifiés.

• 22

  Sticky Note11

  Ce noeud crée une note autocollante avec une largeur, une hauteur et un contenu spécifiés.

• 23

  Filtering out tomato to test anomalies

  Ce noeud filtre les données pour exclure les tomates afin de tester des anomalies.

• 24

  Sticky Note8

  Ce noeud crée une note autocollante avec une largeur, une hauteur et un contenu spécifiés.

• 25

  Sticky Note10

  Ce noeud crée une note autocollante avec une couleur, une largeur, une hauteur et un contenu spécifiés.