Comment détecter le passage des robots via Google Analytics

Par défaut, les outils de WebAnalytics permettent d’analyser en temps réel et sur le long terme le trafic des visiteurs sur un site web : on y analyse par exemple le canal d’acquisition, leur comportement ou encore les URL visitées. En référencement naturel, on peut également s’intéresser au trafic des robots (spiders, crawlers) de Google et des autres moteurs de recherche pour mieux comprendre leur indexation et trouver des leviers d’amélioration SEO. Nous allons voir ainsi comment détourner les scripts des outils de Webanalytics pour analyser les visites de Googlebot et de ses « collègues », sans pour autant avoir besoin d’analyser les logs de son serveur.

Début de l'article :

L’intérêt de suivre les bots des moteurs de recherche

La première question à se poser est de savoir quels sont les avantages d’une telle analyse. Lorsqu’on liste les étapes pour positionner une page dans Google, elles suivent un ordre logique :

• Le crawl : Google découvre une de vos pages et l’analyse ;
• L’indexation : Google ajoute cette URL à son index ;
• Google affiche ensuite cette page lors d’une requête de l’internaute, en utilisant différents critères de pondération pour son positionnement : pertinence du contenu, popularité, qualité du code HTML…

Le fait d’analyser le passage des bots va ainsi permettre de comprendre différents éléments pour chaque page du site :

• Google connaît-il et crawle-t-il cette page ?
• Revient-il souvent sur cette dernière ?
• Quelles sont les pages les plus crawlés (donc les pages les plus populaires ou pertinentes à ses yeux) ?
• Quelles sont les pages peu crawlées (donc celles peu populaires ou peu pertinentes) ?
• Les bots crawlent-ils des pages inutiles ?
• Etc.

Pour cela, on peut utiliser différentes méthodes ou outils :

• L’analyse des logs de son serveur ;
• L’utilisation d’un outil dédié :
o Watussi : http://box.watussi.fr/ ;
o Botify : https://www.botify.com/ ;
o Screaming Frog : http://www.screamingfrog.co.uk/seo-spider/
o Etc.
• Un développement sur-mesure d’un outil de suivi ;
• L’utilisation d’un outil de webanalytics.

C’est vers cette dernière solution que nous allons nous tourner.
...