Le processus de crawl et d’indexation est la première étape nécessaire pour pouvoir espérer du trafic sur les pages de son site. Mais qu’en est-il réellement ? Une page qui n’a pas été crawlée peut-elle remonter dans les pages de résultats de Google avec de bonnes positions ?
Dans cet article un certain nombre de questions relatives au crawl et à l’indexation d’URL par Google vont être abordées, et les réponses à ces questions ne sont pas toujours évidentes…
Du suivi ou non des liens dans les pages en 404, au crawl ou non de liens en nofollow, le décorticage de ces mythes ou réalités devrait vous permettre d’y voir plus clair sur le fonctionnement de Googlebot et de son index.
➜ Découvrez la formation Crawl et indexation par Olivier Andrieu
Mythes et réalités autour du crawl
Google n’explore-t-il que les liens <a href…> ? Respecte-t-il la balise nofollow ? Le robots.txt est-il si restrictif ?
Nous allons tenter de répondre à ces quelques affirmations autour de ces mythes et réalités sur l’exploration de Googlebot.
Une URL qui est derrière un lien « nofollow » peut-elle être suivie ?
Oui, c’est une réalité, et elle le sera dès qu’une référence de l’url indiquée dans un lien disposant de l’attribut rel="nofollow" sera accessible via un autre biais. Cela peut être en provenance d’un sitemap ou bien d’un autre site qui ferait un lien vers cette URL sans attribut nofollow.
Tenter de restreindre le crawl de certaines URL à l’intérieur d’un site via le nofollow des liens sera donc vain.
Au-delà de l’aspect crawl, cet attribut sert également à stopper la diffusion de pagerank. Il n’est malheureusement pas rare de constater que certains sites l’utilisent encore à tort, en appliquant un attribut rel="nofollow" vers des liens de certains pages (pages de pagination, page de contact, page des mentions légales, etc.), ce qui est contre-productif : cela génère une fuite de popularité au sein du site, puisque la popularité envoyée vers ces liens sera perdue et ne sera pas répartie entre les autres liens de la page. Il est plutôt recommandé d’opter pour de l’obfuscation de liens dans le cadre d’une stratégie de pagerank sculpting, et non l’attribut nofollow.
Aymeric Bouillat
Directeur technique SEO - Havas Market France