Le robots.txt est un fichier qui donne des indications aux robots d’exploration des moteurs de recherche. Ce fichier permet notamment de refuser l’accès à certaines pages pour tous les agents, ou bien une liste d’agents que vous avez au préalablement identifiée. Aussi appelé protocole d’exclusion des robots, le robots.txt est un fichier essentiel à créer et à déposer à la racine de votre site.
Inventés en 1994 par Martijn Koster, les robots.txt sont rapidement devenus la norme pour ce qui concerne l’exploration des sites web par les moteurs de recherche.
Pourquoi utiliser un robots.txt ?
Un robots.txt permet d’informer les robots d’exploration d’un moteur de recherche les URL auxquelles il peut accéder. Il est dans votre intérêt de créer un tel fichier, il permet en effet de réduire le nombre de requêtes effectuées par les robots. Ils se focaliseront sur l’exploration des pages dans votre robots.txt, pensez donc à indiquer votre sitemap.
Le robots.txt donne donc des règles à suivre aux robots qui explorent votre site internet, néanmoins, ce fichier ne peut pas les contraindre. Ainsi, si les robots sont de mauvaises natures (dans le but de chercher des failles, d’attaquer votre contenu), le fichier ne vous protège pas. Pas d’inquiétude vis-à-vis des robots des moteurs de recherche, ils sont réglos.
Il est important de rappeler qu’un robots.txt ne permet pas d’empêcher l’indexation de vos pages. Si vous souhaitez empêcher cette indexation, il est nécessaire d’ajouter dans la balise meta de votre page un noindex. Exemple qui suit :
<meta name="robots" content="noindex">L’utilisation d’un fichier robots.txt n’est pas obligatoire, en effet si vous souhaitez que l’ensemble de votre contenu soit référencé, l’utilisation de ce fichier ne sert à rien. Néanmoins, si vous souhaitez faire du référencement naturel (SEO), l’utilisation d’un tel fichier permet d’économiser le budget crawl (ou budget d’exploration). C’est un bon moyen de focaliser le crawl des robots sur vos pages ou articles à haute valeur ajoutée et d’éviter de diluer ce contenu dans un lot de moyenne qualité.
Créer un robots.txt avec un plugin
WordPress offre la possibilité à tout le monde de développer des sites web, et même sans connaissances techniques. Les plugins sont le meilleur moyen d’obtenir des solutions à vos problèmes. C’est notamment le cas pour la création du robots.txt. Nous ne vous conseillons pas d’utiliser spécifiquement un plugin pour faire cette tache. C’est pour cela que nous allons vous conseiller un plugin qui ne se limite pas à cette simple utilisation.
Le plugin Yoast Seo
Yoast SEO permet d’ajouter des meta à vos pages et à vos articles, tout en vous donnant accès à quelques méthodes et outils pour améliorer votre référencement naturel. C’est un plugin très populaire sur WordPress.
Il donne la possibilité d’ajouter et/ou modifier votre fichier .txt. Pour ce faire rendez-vous sur votre site web >> Yoast SEO >> Outils >> Éditeur de fichiers. Dans cette section vous êtes amenés à devoir le créer ou bien à le modifier.
Comment créer un robots.txt sans plugin sur WordPress ?
Il est également possible d’ajouter très facilement votre fichier à la racine de votre installation. Soit directement par votre prestataire d’hébergement ou par le réseau FTP. Nous allons prendre notre exemple et notamment notre plateforme d’hébergement Hostinger qui facilite grandement la manœuvre.
Procédure avec Hostinger
Dans votre tableau de bord Hostinger, rendez-vous dans la section Fichiers et cliquez sur Gestionnaire de fichiers (bêta), vous pouvez également vous rendre dans Gestionnaire de fichiers.
Vous êtes maintenant à la racine de votre site, vous pouvez dès lors créer un fichier, avec un clic droit, ou bien en passant par le bouton dans la colonne de gauche intitulé « Nouveau fichier », il est essentiel de le nommer comme suit : robots.txt pour que tout fonctionne correctement.
Procédure avec FileZilla
Ce logiciel est un client FTP, FTPS et SFTP, vous pouvez vous connecter à votre site web grâce aux informations qui vous ont été transmises durant la création de celui-ci, ou via votre tableau de bord. Sur Hostinger ces informations sont disponibles dans la section Fichiers de votre tableau de bord.
Une fois connecté, la procédure est la même que pour Hostinger. Vous devez créer votre fichier robots.txt puis y ajouter du contenu.
Que dois-je ajouter dans mon fichier robots.txt ?
Le contenu de votre fichier est relativement simple, nous vous offrons la possibilité de découvrir notre configuration du robots.txt, mais aussi de le réaliser vous-même avec les informations qui suivent.
Les règles élémentaires du robots.txt :
1 - User-agent: Googlebot
2 - Disallow: /nogooglebot/
3 -
4 - User-agent: *
5 - Allow: /
6 -
7 - Sitemap: http://www.example.com/sitemap.xmlLa première ligne permet de parler exclusivement au Googlebot. La seconde ligne interdit l’accès à l’URL /nogooglebot/ au Googlebot. La quatrième et cinquième lignes permettent d’autoriser tous les robots d’accéder au site. La septième ligne permet de faciliter l’accès à votre sitemap.
