Qu'est-ce qu'un fichier robots.txt ?

Robots.txt est un fichier texte créé par les webmasters pour indiquer aux robots Web (généralement les robots des moteurs de recherche) comment indexer les pages de leur site. Le fichier robots.txt fait partie du Robot Exclusion Protocol (REP), un groupe de normes Web qui régissent la façon dont les robots parcourent le Web, accèdent et indexent le contenu, et le mettent à la disposition des utilisateurs. Le REP comprend également des directives telles que les méta-robots, ainsi que des instructions sur la page, le sous-répertoire ou l'ensemble du site sur la manière dont les moteurs de recherche doivent traiter les liens (tels que dofollow ou nofollow). En pratique, les fichiers robots.txt indiquent si certains programmes utilisateurs (logiciels de recherche web) peuvent ou non explorer des parties du site. Ces instructions d'indexation sont spécifiées en interdisant ou en autorisant le comportement de certains (ou de tous) des programmes utilisateur.

• Foire aux questions (FAQ)