WordPress, c’est 43% du web mondial. Ce CMS très prisé est donc souvent analysé par les robots des moteurs de recherche, parfois sans aucune difficulté, parfois avec un désastre à la clé. Quelle différence entre ces deux cas de figure : l’optimisation du crawl et de l’indexation. Voyons cela en détail.
➜ Découvrez la formation Crawl & Indexation par Olivier Andrieu
Rappels
Qu’est-ce que le crawl ?
Le crawl, c’est le fait pour un moteur de recherche de parcourir le web. Google et les autres moteurs de recherche vont ainsi :
- Trouver un contenu ;
- En extraire les liens ;
- Les suivre ;
- Puis recommencer.
Sans crawl de vos URL, il est impossible pour les moteurs de recherche d’en avoir connaissance.
Qu’est-ce que l’indexation ?
Après le crawl vient l’indexation : c’est le fait pour un moteur de recherche d’analyser votre contenu. Grâce à cela, Google, Bing et les autres moteurs peuvent déterminer si une URL est pertinente ou non lors de la recherche d’un internaute.
Lorsque son analyse est terminée, le contenu est ajouté à la base de données de Google : il est « indexé ».
A vrai dire, cela se passe en deux phases. Dans un premier temps, les moteurs de recherche analysent le code HTML brut pour en extraire le texte et l’analyser.
Fig. 1. Voici à quoi ressemblent vos pages pour un moteur
Dans un second temps, Google va aussi analyser le reste des ressources de la page (fichiers CSS et JavaScripts, polices d’écriture, etc.). Cela lui permet alors d’affiner son index :
Fig. 2. Le fonctionnement du crawl et de l’indexation chez Google
Pour information, cette seconde phase est bien moins fréquente. Pour donner un ordre de grandeur, Google peut facilement passer 10 à 20 fois sur un contenu HTML avant d’analyser une seule les ressources associées.
Pourquoi est-ce important ?
C’est la base de toute stratégie de visibilité :
- Sans crawl, impossible pour un moteur de recherche de connaître vos contenus.
- Sans indexation, impossible non plus de comprendre chaque URL.
Ainsi, sans crawl et indexation, il est impossible d’être visible.
