Glossaire Opquast : robots.txt

robots.txt

Le fichier robots.txt est placé à la racine du site. Il signale aux outils d’indexation une liste de ressources du site (pages ou images par exemple) qui ne doivent pas être parcourues et qui ne doivent pas être indexées par les moteurs de recherche. Il indique également aux robots d’indexation l’adresse du fichier sitemap du site.

Ces indications ne sont pas obligatoirement suivies par les robots.

Attention ! Ce fichier ne doit en aucun cas mentionner des répertoires ou des pages protégées pour des raison de sécurité : il ne ferait alors que révéler leur emplacement 😉

Pour plus d’information, voir robots-txt.com ou The Web Robots Pages.