Configuration du fichier robots.txt

1. Présentation

Le système génère automatiquement un fichier robots.txt à la racine de votre domaine de tracking (ex : https://subdomain.yourdomain.com/robots.txt). Ce fichier est utilisé pour donner des instructions aux robots d'indexation des moteurs de recherche sur le contenu qu'ils sont autorisés à explorer.

2. Configuration via l'interface

Le comportement du fichier peut être modifié directement depuis la console d'administration dans la section "Search engine robots" (ou "Robots des moteurs de recherche").

Trois options sont disponibles dans le menu déroulant :

A. Accès limité / Limited access (recommandé)

Il s'agit de la configuration par défaut générée par le système. Elle permet l'accès aux ressources techniques nécessaires tout en protégeant le reste de l'arborescence.

• Comportement : Autorise spécifiquement les fichiers .js et .html, mais interdit l'accès à tout le reste.

• Contenu du fichier :

HTTP

User-agent: *
Allow: /*.js$
Allow: /*.js?*$
Allow: /*/js$
Allow: /*/js?*$
Allow: /*.html$
Allow: /*.html?*$
Disallow: /

B. Bloquer / Block

Cette option est utilisée pour empêcher toute indexation et exploration par les robots.

• Comportement : Les crawlers n'ont pas le droit de visiter le domaine.

• Contenu du fichier :

HTTP

User-agent: *
Disallow: /

C. Autoriser / Allow

Cette option est l'inverse de la précédente et lève toutes les restrictions d'exploration.

• Comportement : Tout le contenu est autorisé à l'indexation.

• Contenu du fichier :

HTTP

User-agent: *
Allow: /

---

3. Synthèse des options

Option UI	Visibilité pour les robots	Usage recommandé
Limited access	Partielle (Scripts et HTML uniquement)	Configuration standard pour assurer le fonctionnement technique sans indexation inutile.
Block	Aucune	Confidentialité stricte ou environnements de test fermés.
Allow	Totale	Besoins d'indexation spécifiques ou debug complet.

Les modifications sont appliquées dynamiquement au fichier robots.txt dès que l'option est enregistrée dans l'interface en ligne.