Référencement Google : les règles changent pour le noindex

Demander à Googlebot de ne pas indexer une page ? Il y a l’instruction « noindex » pour ça, mais évitez de la mettre dans le fichier robots.txt.

Google donne ce conseil aux webmasters. Et leur recommande de privilégier la mise en œuvre du noindex soit en tant que balise meta, soit sous forme d’en-tête de réponse HTTP.

Le 1^er septembre 2019, une étape supplémentaire sera franchie : Googlebot ne prendra tout simplement plus en compte le noindex dans les fichiers robots.txt.

Cette démarche fait écho à la mise en open source de la bibliothèque logicielle sur laquelle le robot d’exploration de Google s’appuie pour interpréter les fichiers robots.txt.

Objectif : aller vers un standard qui évite des implémentations variables en fonction des robots d’indexation*. Dans ce cadre, Google mise sur une architecture extensible qui permette d’implémenter à loisir des instructions non documentées dont le noindex – mais aussi le « nofollow » ou le « crawl-delay ». Ces instructions ne seront ainsi plus prises en charge par défaut.

Effets secondaires

Pour faire en sorte qu’une page ne soit pas indexée, il existe d’autres techniques, dont la protection par mot de passe et l’utilisation du code de statut HTTP 404.

Au contraire, affirme Google, le recours au noindex dans le fichier robots.txt peut avoir des effets indésirables.

« Si nous trouvons un lien sur un site tiers qui dirige vers votre page et qui s’accompagne d’un texte descriptif, un résultat de recherche peut en ressortir », nous explique-t-on entre autres.
Dans ce cas, si une balise noindex était bel et bien incluse sur la page, Googlebot ne pourrait la voir, l’exploration étant bloquée par le fichier robots.txt.

* Les instructions de fichiers robots.txt doivent être considérées comme des consignes et non des règles, assure Google. Il est possible que certains robots ne les suivent pas. Et tous ne les interprètent pas de la même façon.

Photo d’illustration © Google