Qu'est-ce que robots.txt ?

robots.txt est un fichier en texte brut situé à la racine de votre site web, qui indique aux robots des moteurs de recherche (comme Googlebot et Bingbot) quelles parties de votre site ils peuvent explorer et lesquelles ils ne doivent pas explorer. Vous pouvez accéder au robots.txt de n'importe quel site en saisissant https://www.votresite.com/robots.txt dans la barre d'adresse.

Vous pouvez considérer ce fichier comme un « portier » : il guide les robots par courtoisie. Il y a toutefois un point important à retenir ; robots.txt n'est pas un outil de sécurité. Bloquer une page ici ne signifie pas qu'elle n'apparaîtra jamais dans Google, et ne garantit pas non plus que la page reste cachée.

À quoi sert robots.txt ?

L'objectif principal de robots.txt est d'aider les moteurs de recherche à utiliser efficacement leur budget d'exploration. En fermant à l'exploration les zones sans valeur SEO — telles que les panneaux d'administration, les pages de résultats de recherche, les pages de panier et de paiement — vous permettez aux robots de se concentrer sur le contenu qui compte vraiment. Vous pouvez également aider les moteurs de recherche à trouver facilement votre plan en indiquant l'adresse de votre sitemap dans ce fichier.

Commandes de base de robots.txt

Le fichier se compose de commandes simples :

  • User-agent : Indique à quel robot les commandes s'appliquent. Le signe * signifie « tous les robots ».
  • Disallow : Empêche l'exploration du chemin indiqué.
  • Allow : Autorise un chemin spécifique à l'intérieur d'un dossier bloqué.
  • Sitemap : Déclare l'adresse complète de votre sitemap.

Exemples de fichiers robots.txt

La structure recommandée pour un site WordPress standard :

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.siteniz.com/sitemap_index.xml

Cette structure ferme le panneau d'administration à l'exploration tout en autorisant le fichier admin-ajax.php dont les thèmes et les extensions ont besoin pour fonctionner correctement.

La structure la plus simple, qui ouvre tout le site à l'exploration :

User-agent: *
Disallow:

La commande Disallow vide signifie ici « ne rien bloquer ».

Attention — la structure dangereuse qui bloque tout le site :

User-agent: *
Disallow: /

Un simple signe / bloque l'exploration de l'intégralité de votre site. Lorsque cette ligne est ajoutée par erreur, elle peut faire disparaître complètement votre site de Google ; soyez donc très prudent.

Comment créer robots.txt ?

Sous WordPress

WordPress génère par défaut un robots.txt virtuel. Vous pouvez consulter et modifier ce fichier depuis la section « Outils > Éditeur de fichiers » de l'extension Yoast SEO ou Rank Math. L'extension enregistre les modifications pour vous et les place au bon endroit.

Le créer manuellement

Ouvrez un éditeur de texte tel que le Bloc-notes, saisissez les commandes et enregistrez le fichier sous le nom robots.txt (avec l'extension .txt). Téléversez-le ensuite à la racine de votre site (public_html) via FTP ou le gestionnaire de fichiers de votre hébergement. Le fichier doit se trouver à la racine ; un robots.txt placé dans un sous-dossier est considéré comme invalide.

Tester robots.txt

Après avoir publié votre fichier, vérifiez votre syntaxe avec l'outil de test robots.txt de la Google Search Console. Cet outil vous montre les commandes erronées et les pages importantes que vous avez bloquées par accident. Nous vous recommandons vivement de tester avant la mise en ligne, car même une petite faute de frappe peut faire disparaître l'intégralité de votre site des résultats de recherche.

robots.txt et son rapport avec le SEO

Le rôle de robots.txt dans le SEO est souvent mal compris. Ce fichier n'améliore pas directement votre classement ; sa véritable fonction est de gérer le budget d'exploration. Google alloue une ressource d'exploration limitée à chaque site. Si les robots passent leur temps sur des adresses sans valeur telles que des résultats de recherche filtrés, des pages de calendrier interminables ou des zones d'administration, votre contenu vraiment important est exploré plus tard. Un robots.txt correctement configuré dirige les robots vers des pages de valeur et procure ainsi un avantage SEO indirect.

Cela est particulièrement crucial pour les grands sites de commerce électronique. Les innombrables URL paramétrées créées par les filtres de couleur, de taille et de tri peuvent rapidement épuiser le budget d'exploration. Gérer ce type d'adresses paramétrées avec robots.txt garantit que votre site est exploré efficacement.

Exemples d'utilisation avancée

Au-delà des commandes de base, il existe quelques modèles utiles. Vous pouvez utiliser un caractère générique (wildcard) pour bloquer un type de fichier précis :

User-agent: *
Disallow: /*.pdf$

Cette commande bloque l'exploration de tous les fichiers PDF. Pour bloquer les adresses contenant un paramètre précis :

Disallow: /*?filtre=

Vous pouvez également définir des règles différentes pour différents robots. Par exemple, si vous souhaitez bloquer uniquement un robot d'images, vous ciblez la ligne « User-agent » correspondante. Mais souvenez-vous : les règles ne sont pas appliquées de haut en bas, mais selon la correspondance la plus spécifique, et une seule erreur peut affecter l'ensemble de votre site. C'est pourquoi vous devriez toujours essayer les règles avancées dans l'outil de test avant la mise en ligne.

Points à surveiller dans la gestion de robots.txt

robots.txt est un fichier puissant, et utilisé correctement il garantit que votre site est exploré efficacement ; cependant, une seule ligne erronée peut compromettre toute votre visibilité. Pour cette raison, vous devez suivre quelques règles de base : gardez toujours le fichier à la racine, indiquez clairement les chemins que vous souhaitez bloquer, n'oubliez pas d'ajouter l'adresse de votre sitemap, et vérifiez toujours avec l'outil de test après chaque modification. Gardez aussi à l'esprit que si vous voulez qu'une page bloquée disparaisse complètement de la recherche, vous devez utiliser la balise noindex plutôt que robots.txt.

Foire aux questions (FAQ)

robots.txt est-il un outil de sécurité ?

Non. robots.txt guide seulement les robots par courtoisie et n'est pas un outil de sécurité. Bloquer une page ici ne garantit pas qu'elle reste cachée ni qu'elle n'apparaîtra jamais dans Google. Une véritable protection nécessite des méthodes telles qu'un mot de passe ou noindex.

Où le fichier robots.txt doit-il se trouver ?

Le fichier doit se trouver à la racine de votre site (public_html) et être accessible à l'adresse https://www.votresite.com/robots.txt. Un robots.txt placé dans un sous-dossier est considéré comme invalide.

robots.txt améliore-t-il mon classement ?

Pas directement. Sa véritable fonction est de gérer le budget d'exploration. En éloignant les robots des pages sans valeur et en les orientant vers un contenu de valeur, il procure un avantage SEO indirect.

Conclusion

robots.txt est un fichier petit mais essentiel qui guide correctement les robots des moteurs de recherche à travers votre site. Bien configuré, il concentre votre budget d'exploration sur les pages de valeur ; une seule ligne erronée, en revanche, peut faire disparaître l'intégralité de votre site de la recherche. Gardez les commandes simples, ajoutez votre sitemap et ne sautez jamais le test après chaque modification.

Articles connexes