Configuration du fichier robots.txt
1. Présentation
Le système génère automatiquement un fichier robots.txt à la racine de votre domaine de tracking (ex : https://subdomain.yourdomain.com/robots.txt). Ce fichier est utilisé pour donner des instructions aux robots d'indexation des moteurs de recherche sur le contenu qu'ils sont autorisés à explorer.
2. Configuration via l'interface
Le comportement du fichier peut être modifié directement depuis la console d'administration dans la section "Search engine robots" (ou "Robots des moteurs de recherche").
Trois options sont disponibles dans le menu déroulant :
A. Accès limité / Limited access (recommandé)
Il s'agit de la configuration par défaut générée par le système. Elle permet l'accès aux ressources techniques nécessaires tout en protégeant le reste de l'arborescence.
Comportement : Autorise spécifiquement les fichiers
.jset.html, mais interdit l'accès à tout le reste.Contenu du fichier :
HTTP
User-agent: *
Allow: /*.js$
Allow: /*.js?*$
Allow: /*/js$
Allow: /*/js?*$
Allow: /*.html$
Allow: /*.html?*$
Disallow: /B. Bloquer / Block
Cette option est utilisée pour empêcher toute indexation et exploration par les robots.
Comportement : Les crawlers n'ont pas le droit de visiter le domaine.
Contenu du fichier :
HTTP
C. Autoriser / Allow
Cette option est l'inverse de la précédente et lève toutes les restrictions d'exploration.
Comportement : Tout le contenu est autorisé à l'indexation.
Contenu du fichier :
HTTP
3. Synthèse des options
Option UI
Visibilité pour les robots
Usage recommandé
Limited access
Partielle (Scripts et HTML uniquement)
Configuration standard pour assurer le fonctionnement technique sans indexation inutile.
Block
Aucune
Confidentialité stricte ou environnements de test fermés.
Allow
Totale
Besoins d'indexation spécifiques ou debug complet.
Les modifications sont appliquées dynamiquement au fichier
robots.txtdès que l'option est enregistrée dans l'interface en ligne.
Mis à jour