Le contenu des User agents des robots : comment le comprendre et l’analyser ?

Le User Agent permet de mieux comprendre la nature d’une visite sur un site, que ce soit un robot ou un visiteur réel. Comprendre le fonctionnement de cette donnée et savoir l’analyser peut ensuite permettre d’agir au niveau SEO, et plus globalement au niveau de tous les aspects d’un site. Nous allons voir dans cet article à quoi ressemble un User Agent, comment on peut le détecter, l’analyser, et ensuite comment l’utiliser dans une stratégie de référencement naturel.

Début de l'article :

Qu’est-ce qu’un User Agent ?

Lorsqu’un internaute ou un robot automatisé navigue sur un site, ils transmettent des informations au serveur visité. Parmi celles-ci, se trouve le User Agent. Cette dernière permet d’identifier le logiciel utilisé par le visiteur ou la nature du robot. On peut ainsi connaître différentes informations comme :
• Le nom et la version du navigateur ou du robot ;
• La compatibilité éventuelle avec certaines technologies ;
• Le système d’exploitation de l’internaute.

Pour mieux comprendre à quoi cela ressemble, voici un exemple de User Agent pour un internaute : Mozilla/5.0 (Windows NT 5.1; rv:31.0) Gecko/20100101 Firefox/31.0.

Détecter un User Agent

Votre User Agent

La première façon de comprendre et de détecter cela est de tout simplement vérifier quel est son propre User Agent. Visitez donc le site suivant pour connaître votre User Agent actuel : http://www.whoishostingthis.com/tools/user-agent/.

Dans les logs

Le meilleur endroit pour trouver tous les User Agents qui naviguent sur votre serveur est le fichier de logs généré par ce dernier, et qui va lister minute par minute la liste complète des robots et internautes qui consultent votre site. L’analyse de ce type de fichier est chronophage (à moins de disposer d’un outil dédié), mais peut être une réelle source d’informations à la fois pour le SEO, mais aussi pour d’autres aspects de votre site (sécurité, temps de chargement, etc.).

Pour ce type d’analyse, il faut dans un premier temps télécharger les logs sur votre ordinateur. Chaque hébergeur étant différent, vous devrez vous renseigner auprès de lui pour trouver leur emplacement. Une fois cette étape réalisée, il vous suffira d’importer dans Excel le fichier de logs. Dans notre exemple, nous importons les logs de l’hébergeur Infomaniak dans Microsoft Excel. Nous effectuons donc les actions suivantes :
• Téléchargement des logs depuis le serveur ;
• Importation des logs avec le menu « Données > Fichier Texte » d’Excel ;
• Lors de l’import, nous avons choisi le séparateur " pour séparer chaque information dans une colonne spécifique.

Excel affiche alors le détail des logs : adresse IP, heure de connexion, URL concernée sur le serveur, Etc. Ce n’est que dans la dernière colonne que le User Agent est précisé.