🕸️Collecter des données
Lancer des jobs scrapper sur les plateformes sociales, comprendre leurs statuts et surveiller la file de tâches.
Lancer un job scrapper
Objectif
Déclencher la collecte de données sur une plateforme sociale (X, LinkedIn, TikTok, Reddit, etc.) en liant le job à une importation existante.
Prérequis
- Avoir créé une importation.
- Disposer du quota API suffisant pour la plateforme (vérifiez l'onglet Quotas API du dashboard).
Étapes
- 1
Dans la barre latérale, cliquez sur Collecter des données.
- 2
Sélectionnez en cascade le Client, puis le Projet, puis l'Importation cible.
- 3
Sélectionnez la Plateforme sur laquelle vous souhaitez collecter.
- 4
Sélectionnez le Scénario de collecte adapté à votre besoin :
Champ Description Exemple Scénario Définit le mode de collecte : par mots-clés, par profil, par liste de comptes, etc. Chaque plateforme propose ses propres scénarios. keywords / account_tweets / trending - 5
Renseignez les paramètres spécifiques au scénario (mots-clés, noms de comptes, période, etc.) puis cliquez sur Lancer le job.
- 6
Un message de confirmation s'affiche avec l'identifiant du job créé. Vous pouvez suivre son avancement dans Monitoring.
✓ Résultat attendu
Un job est créé dans la file Cloud Tasks. L'onglet Monitoring affiche désormais un nombre de tâches pour le service concerné.
Erreurs fréquentes
| Erreur | Cause probable | Solution |
|---|---|---|
| Quota insuffisant | La plateforme a atteint son quota d'appels API pour la période en cours. | Vérifiez l'onglet Quotas API du dashboard. Attendez le renouvellement du quota ou utilisez un autre compte API. |
| Aucune importation disponible | Le filtre Client/Projet ne renvoie aucune importation, ou les importations existantes ont un type incompatible. | Créez une importation avec le bon type de plateforme ou vérifiez le filtre sélectionné. |
| Job en statut FAILED | Erreur lors de la collecte : token d'accès expiré, paramètre invalide ou plateforme indisponible. | Consultez le détail de l'erreur dans Monitoring et relancez le job après correction. |
Surveiller la file de tâches (Monitoring)
Objectif
Consulter et gérer les tâches Cloud Tasks en cours ou terminées pour tous les jobs lancés depuis SDS Manager.
Prérequis
- Avoir lancé au moins un job scrapper ou d'analyse.
Étapes
- 1
Dans la barre latérale, cliquez sur Monitoring.
- 2
La page affiche la liste des tâches avec : nom de la tâche, type (scrapper / analyse), statut, date de création et durée d'exécution.
- 3
Utilisez les filtres Statut et Type pour cibler les tâches d'intérêt.
- 4
Pour voir le détail d'une tâche (paramètres, logs d'erreur), cliquez sur son nom pour ouvrir la modale de détail.
✓ Résultat attendu
Vous avez une vue en temps réel de toutes les tâches actives et de leur statut, avec la possibilité d'annuler les tâches indésirables.
Erreurs fréquentes
| Erreur | Cause probable | Solution |
|---|---|---|
| La liste est vide alors que des jobs ont été lancés | Les tâches terminées depuis plus de 24h ne sont plus visibles par défaut. | Ajustez le filtre de période ou consultez directement le dashboard GCP Cloud Tasks si vous avez un accès admin. |