Robots.txt
Le fichier robots.txt indique aux robots quelles parties d’un site ils peuvent explorer.
Ce que cela veut dire
Il se place à la racine du site. Il sert à gérer l’exploration, mais ne garantit pas qu’une page n’apparaîtra jamais dans les résultats : pour cela, on utilise plutôt la directive noindex.
Une ligne mal écrite peut bloquer tout un site. Il faut donc le vérifier avec soin.
Un exemple concret
Une entreprise peut empêcher l’exploration d’un espace technique inutile aux moteurs de recherche, sans y cacher pour autant d’information confidentielle.
Termes liés
Crawl
Le crawl est l’exploration automatique du web par les robots des moteurs, qui suivent les liens pour découvrir et revisiter les pages.
Indexation
L’indexation est l’étape où un moteur de recherche analyse une page et l’enregistre dans sa base, afin de pouvoir l’afficher dans ses résultats.
Sitemap
Un sitemap est un fichier qui liste les pages d’un site pour aider les moteurs de recherche à les découvrir.
Vous préparez un site ou une refonte ? Je vous aide à faire les bons choix, de la conception au référencement.
