Depuis plusieurs mois, des outils d’aide à l’indexation fleurissent pour aider les référenceurs à ajouter leurs URL dans le moteur de recherche Google, celui-ci se débattant autour d'innombrables problèmes d'indexation, notamment sur des sites récents. Mais à quelles problématiques répondent ces outils d'aide à l'indexation ? Quand doit-on les utiliser ? Sont-ils efficaces ? Y a-t-il d’autres solutions ? Début de réponse dans cet article...

La situation actuelle

Depuis des mois maintenant, de nombreux référenceurs et webmasters se plaignent de voir l’indexation de leurs pages devenir bien plus lente qu’avant. Sur certains sites, on peut ainsi devoir attendre plusieurs semaines pour que Google puisse indexer certaines URL (lorsqu'il y a indexation), sans pour autant avoir de soucis techniques particuliers.

La problématique de l’indexation est donc de plus en plus récurrente, et de nombreux outils voient le jour pour essayer d’y apporter une solution.

Ne pas confondre avec d’autres problématiques

Attention à ne pas tomber dans le piège : la raison de la non-indexation d’un contenu peut parfois être logique et avoir une vraie origine technique.

Savoir patienter

Tout d’abord, il est possible que Google n’ait pas encore découvert votre contenu, et il suffit parfois de lui laisser le temps pour qu’il le fasse (quelques heures ou quelques jours en général). C’est notamment le cas lorsque l’on publie un très grand nombre de contenus d’un seul coup, par exemple au lancement d’un site ou lors de la refonte d’un site existant. C’est aussi le cas sur des sites « jeunes » n’ayant pas ou peu de popularité.

Gardez donc en tête qu’il faut parfois laisser un peu plus de temps aux moteurs de recherche pour indexer chaque URL.

Attention par contre : en règle générale, si au bout de quelques jours à 2-3 semaines vous n’avez toujours pas d’indexation, il vous faudra peut-être agir.

Le crawl

Seconde possibilité : vous avez peut-être des problématiques de crawl sur votre site. Parfois, les moteurs de recherche ne connaissent pas vos contenus, ou alors découvrent vos URL mais ne parviennent pas correctement à aller dessus et à en comprendre le contenu. Et sans crawl efficace de la part d’un moteur de recherche, vous n’aurez pas d’indexation. De même, il peut parfois crawler vos pages mais ne pas les indexer à cause d’éléments techniques incorrects ou incomplets.

Sur ces points, les sources du problème peuvent être multiples :

  • Blocage des robots via le fichier robots.txt ;
  • Demande de non indexation via la balise meta robots noindex (ou via les entêtes HTTP équivalents X-robots-tag) ;
  • Erreur dans le code de vos pages (HTML) ;
  • Mauvaises balises canoniques ;
  • Mauvais balisage hreflang ;
  • Temps de chargement trop long ;
  • Erreurs dans le balisage schema.org ;
  • URL dont vous avez demandé manuellement la suppression dans votre Search Console ;
  • Contenu dupliqué sur une autre URL ;
  • Protection du serveur trop abrupt (par exemple avec des IP de Google qui seraient blacklistées) ;
  • Utilisation de plateforme Javascript augmentant quasi systématiquement le délai de crawl ;
  • Etc.

N’hésitez donc pas à faire une analyse technique de vos URL pour voir si le blocage de l’indexation ne serait pas lié à l’un de ces points.

Les pénalités

Point plus bloquant, le nom de domaine a pu subir une pénalité, et ce pour de multiples raisons : liens entrants factices, site piraté, plaintes DMCA, etc.

Allez donc dans le menu dédié de la Search Console « Sécurité et Actions Manuelles » pour vérifier si aucun message n’y est présent.

Le cloaking

Enfin, vos pages peuvent être la source d'une pratique de cloaking, c’est-à-dire que les internautes et les moteurs de recherche vont voir un contenu différent. En général, c’est une technique utilisée par certains référenceurs « Black Hat » pour contourner l’algorithme de Google.

Mais parfois, vous allez provoquer le cloaking de vos contenus sans le vouloir. C’est par exemple le cas quand vous redirigez l’utilisateur vers sa langue. Google peut alors être systématiquement rediriger vers la version anglaise, sans jamais pouvoir crawler et indexer les autres langues d’un site.

Ne pas oublier le plus important : la « qualité »

Enfin, Google peut aussi délibérément ne pas indexer une URL qu’il ne jugerait pas assez qualitative (mais si ce terme est très ambigu quand on parle d’un moteur de recherche). Gardez toujours en tête les critères de bases du SEO qu’il faut appliquer :

  •  Il faut publier un contenu :
    • Qui répond au besoin de l'internaute ;
    • Unique ;
    • Et un minimum long.
  • Il doit être publié sur un site :
    • Techniquement sans problème majeur ;
    • Fiable pour le moteur de recherche (critères E.A.T.) ;
    • Et populaire (avec des liens vers votre nom de domaine).

En respectant ces critères pour chaque contenu, on règle souvent une grande partie des problèmes d’indexation.

Malgré cela, votre URL peut correspondre à ces critères SEO, mais ne pas s’indexer, alors que dans le même temps une page peu qualitative peut se retrouver dans l’index de Google.

Se poser les bonnes questions

Les outils d’aide à l’indexation peuvent donc être très pratiques. Mais avant d’en passer certains en revue, posez-vous les bonnes questions.

Ma page est-elle crawlée ?

Pour vérifier cela, le moyen le plus fiable mais contraignant, ce sont les logs de votre serveur. Il vous suffira de télécharger les logs d’accès de votre site, puis de regarder si GoogleBot est passé sur votre URL. Vous pouvez faire manuellement ce travail à l’aide de plusieurs informations :

Vous pouvez aussi les lire via des outils dédiés, comme Screaming Frog Log File Analyzer qui va vous mâcher le travail.

 

Screaming Frog Log File Analyser permet l’analyse du crawl de Google.

 

Autre méthode : la Search Console, notamment avec le menu un peu caché sur les statistiques de crawl dans : « Paramètres > Exploration > Statistiques sur l’exploration > Ouvrir le rapport » puis en cliquant sur les différents codes de réponses pour voir si vos URL peuvent s’y trouver.

En cliquant sur chaque intitulé du rapport d’exploration, vous aurez ensuite le détail des URL concernées.

 

Ma page est-elle indexée ?

Si l’URL est crawlée, il faut vérifier si elle est dans l’index. Et donc vous saurez si oui ou non vous aurez besoin d’outils ou si vous aurez besoin de corriger vos URL.

Pour cela, vous pouvez utiliser la commande site:URL ou inurl:URL pour une vérification rapide et efficace de la présence de votre contenu dans Google.

 

Un test simple pour voir si notre URL est dans l’index de Google.

 

Le menu « Couverture » de la Search Console permettra aussi de vérifier comment est considérée votre URL par le moteur de recherche : indexée, explorée, etc.

Enfin, il existe aussi des outils en ligne gratuits, par exemple :

 

Un exemple de test d’indexation sur une URL avec Linkody.

 

C’est très pratique pour tester rapidement une ou plusieurs URL. Mais cela part du principe que vous connaissiez déjà vos URL actuelles.

Sachez aussi qu’il existe des outils payants, comme isindexed.com (crédits gratuits au départ, payants ensuite).

Un exemple de test d’indexation avec Isindexed.

 

Ma page a-t-elle des problèmes ?

Si votre contenu n’est pas indexé, il vous faudra vérifier si la problématique n’est pas technique, comme nous l’avions expliqué auparavant. Pour cela, vous pourrez utiliser :

Pour ce dernier d’ailleurs, Screaming Frog intègre la connexion API à la Search Console. Si vous vous connectez à votre compte et que vous cochez la case « Activer l’inspection d’URL », l’outil vous dira non seulement si l’URL est indexée, mais aussi les éventuelles problématiques liées.

 

Screaming Frog donne des informations très utiles sur l’indexation dans Google.

 

Comment les outils d'indexation fonctionnent-ils ?

Les méthodologies

La plupart des outils d'indexation n’indiquent pas clairement leurs méthodes précises, notamment pour ceux qui sont payants. Il existe cependant plusieurs façons de procéder, connues par les référenceurs :

  • Le travail SEO classique :
    • L’amélioration du contenu (mieux répondre au besoin, étoffer le texte, ajouter des médias, etc.) ;
    • L’amélioration du maillage interne ;
    • La création de backlinks ;
    • Les corrections ou optimisations techniques.
  • L’afflux de visiteurs utilisant Chrome. Selon un nombre grandissant de tests de référenceurs, faire venir des visiteurs sur son URL aurait tendance à fortement accélérer son indexation. Vous pouvez le faire de plusieurs façons :
    • Une bonne stratégie de communication (c’est de loin la meilleure méthode) ;
    • L’achat de trafic ;
    • Etc.
  • Pour Bing ou encore Yandex, le nouveau protocole Indexnow fonctionne très bien (https://www.indexnow.org/) ;
  • Dans la Search Console :
    • La soumission de l’URL via son fichier sitemap.xml ;
    • L’envoi manuel pour indexation (pour cela, faites une recherche « Inspection de l'URL » sur l’URL concernée, puis cliquez sur le bouton « Demander une indexation ») ;
  • L’utilisation détournée de l’API d’indexation de Google (https://developers.google.com/search/apis/indexing-api/v3/quickstart). Attention cependant à plusieurs points :
    • L’outil n’est censé être utilisé que pour des contenus du type « Jobs » ou « Broadcast Event ». Le risque est donc à terme d’être pénalisé, ou de voir carrément disparaître cette API ;
    • Elle est complexe à utiliser pour les néophytes car il faut se créer un accès API via Google Cloud Plateform (un tutoriel est donné ici par exemple https://rankmath.com/blog/google-indexing-api/) ;
    • Selon des retours récents, son efficacité serait de moins en moins forte (Google aurait-il mis le frein sur ce procédé, au vu de certains abus ?).

Quelle efficacité ?

C’est là où le bât blesse. Dans nos tests, aucun outil n’assurait 100% de réussite. Cependant, tous ont permis l’indexation d’URL qui étaient bloquées depuis des semaines.

Quels outils existent à l'heure actuelle ?

Les outils gratuits

Pour Bing et Yandex, il existe pour chaque CMS des extensions qui vont vous permettre de soumettre à l’indexation vos contenus via le protocole Indexnow. C’est le cas dans les grandes extensions SEO comme RankMath, All in One SEO ou SEOPress (pas encore Yoast à ce jour), ou dans des extensions dédiées comme ici pour WordPress : https://wordpress.org/plugins/indexnow/

De même, l’API de Google sur son indexation Jobs et Broadcast peut se faire via des modules (par exemple RankMath pour WordPress), ou via des outils en ligne comme Foudroyer : https://www.foudroyer.com/fr/

 

L’interface de l’outil Foudroyer.

 

Les outils payants

Il en existe plusieurs, plus ou moins efficaces en fonction de nos tests. On trouve notamment :

Indexation.fr

Dans nos tests, c’est ce dernier qui a été le plus efficace. Attention cependant, c’est très subjectif : ce qui a fonctionné pour un site pourrait très bien ne pas fonctionner sur un autre (et inversement).

Le principe est simple : vous achetez des crédits, et vous soumettez les URL qui ne sont pas indexées en appuyant sur le bouton en forme d’avion en papier.

 

L’interface affiche les URL indexée, non indexées et en cours de test.

 

Après envoi, l’outil vérifiera à plusieurs reprise l’indexation ou non : 20 minutes plus tard, à J+1, J+2, J+3, J+4, J+5 et J+9.

 

Entre J+1 et J+3, nos URL se sont indexées.

 

L’outil ne donne cependant pas d’explication précise sur son fonctionnement, mais les résultats sont plutôt bons :

 

Les résultats d’indexation.fr au bout de 3-4 jours via l’outil de Linkody.

 

OmegaIndexer

Cet autre outil vous permet là aussi de soumettre vos URL pour indexation. Il vous affiche notamment via quel adresse IP (et son reverse DNS) la soumission a été faite. Par contre, l’outil ne vous affiche pas immédiatement le statut de l’indexation, juste le fait que l’URL a été soumise. Il faut donc utiliser un outil tiers pour le voir.

 

L’interface d’OmegaIndexer.

 

L’indexation semble moins efficace, mais donne quand même des résultats (il faudrait cependant tester sur le plus long terme pour s’en assurer) :

 

Les résultats d’OmegaIndexer au bout de 3-4 jours via l’outil de Linkody.

Indexmenow

Dernier outil testé, Indexmenow. Là encore, on peut soumettre une liste d’URL pour indexation avec notamment une vue globale efficace et ergonomique. Le gros atout de ce dernier, c’est le remboursement si l’URL n’est pas indexée. Et il existe aussi une API pour s’y connecter via son propre code.

 

L’interface globale d’IndexMeNow.

Le détail sur les URL soumises dans IndexMeNow.

 

Au niveau des résultats, plusieurs URL se sont indexées rapidement, et le reste est encore en attente.

 

Les résultats d’IndexMeNow au bout de 3-4 jours via l’outil de Linkody.

Conclusion

Depuis des mois, les problèmes d’indexation sont multiples chez Google et celui-ci semble avoir du mal à ajouter à son index certaines URL, voire certains sites entiers. Paradoxalement, une fois indexées, ces mêmes URL peuvent parfois très bien se positionner.

Si l’URL n’est pas indexée par Google, il faut donc d’abord se poser les bonnes questions :

  • Le moteur de recherche parvient-il à crawler mes contenus ?
  • Ai-je supprimé toutes les problématiques techniques de mon site ?
  • Ai-je réellement créé un contenu optimisé pour le SEO (réponse au besoin, maillage interne, backlinks, etc.) ?

Si la réponse est oui aux trois questions, il vous faudra alors peut-être utiliser des outils dédiés pour forcer ou accélérer l’indexation de vos URL, sans pour autant avoir une garantie parfaite de l’indexation. Et nous vous suggérons fortement de suivre l'indexation dans le temps des pages ainsi soumises, car il peut arriver qu'une fois indexées par ce biais, Google les déréférence quelques jours plus tard. Ce n'est donc pas une panacée absolue !

Et le pire dans tout ça, c’est que l’indexation seule n’est qu’une étape : ce qui compte réellement, c’est le positionnement sur des mots clés pertinents... Mais sans indexation préalable, c'est impossible...


Daniel Roch, consultant WordPress, Référencement et Webmarketing chez SeoMix (https://www.seomix.fr)

 

 

Articles similaires :