Fabrice Canel occupe le poste de Principal Program Manager Crawling, Processing and Indexing au sein des équipes gérant le moteur de recherche Bing. Chez Microsoft depuis 1997, il a travaillé sur les différentes version du moteur (MSN Search, Live search puis Bing) depuis 2006 et supervise donc tous les aspects de crawl du moteur et notamment le dernier projet, IndexNow, mis en place en octobre dernier et qui occupe assez fortement l'actualité depuis son lancement.

Nous avons donc posé quelques questions à Fabrice au sujet d'IndexNow, pour qu'il nous explique comment ce projet a été imaginé et quels sont objectifs à plus long terme. Voici ses réponses...

Bing a annoncé en octobre dernier, conjointement avec Yandex, le protocole IndexNow. Quelle a été la genèse de ce protocole ? Pourquoi l'avoir créé ?

IndexNow est un nouveau protocole annoncé en octobre 2021 qui permet aux sites Web d'informer facilement les moteurs de recherche de la création, de la mise à jour ou de la suppression du contenu sur leur site. À l'aide d'une API, une fois que les moteurs de recherche sont informés des mises à jour, ils reflètent les modifications dans les résultats de recherche. Historiquement, l'un des plus gros problèmes pour les propriétaires de sites Web a été de faire en sorte que les moteurs de recherche découvrent et prennent en compte rapidement les dernières modifications apportées à leur site. Il faut parfois des jours, voire des semaines, pour que le nouveau contenu soit découvert et indexé, ce qui entraîne une perte de trafic potentiel, de clients, voire de ventes. Vous trouverez de plus amples informations dans cet article sur notre blog (en anglais).

Pourquoi l'avoir créé avec Yandex ? Une conjonction de bonnes volontés, des rencontres ? Ou autre motivation ?

Bing a créé ce protocole en tant qu'évolution de l'API de soumission d'URL dans Bing Webmaster Tools et nous avons pensé que d'autres moteurs de recherche et les acteurs de l’Internet devraient en bénéficier. Nous sommes heureux de constater que le soutien à IndexNow continue de croître, Google ayant récemment annoncé qu'ils étaient en phase de test (voir l'article sur Abondance). Nous espérons que d'autres moteurs de recherche adopteront ce protocole au fil du temps.

La situation actuelle en Russie a-t-elle influencé dernièrement les relations entre Bing (Microsoft) et Yandex ?

La position de Microsoft sur la situation actuelle est définie par ces deux articles (en anglais) : Microsoft suspends new sales in Russia et Microsoft On the Issues et Digital technology and the war in Ukraine - Microsoft On the Issues.

Quelle a été l'organisation pour la mise en place du cahier des charges du protocole ?

Les moteurs de recherche se réunissent parfois pour fournir des solutions standard pour aider les référenceurs et les webmasters. Ce fut le cas pour les fichiers Sitemaps XML, pour les balises de données structurées Schema.org, pour le fichier robots.txt et maintenant pour IndexNow. IndexNow est proposé selon les termes de la licence Attribution-ShareAlike Creative Commons.

Combien de personnes ont travaillé sur le projet ?

À l'exception de moi, je ne peux pas vous le dire.

Quelles ont été les principaux obstacles à résoudre pour créer IndexNow ?

Le principal obstacle était de créer un protocole ouvert, facile à adopter, qui puisse durer pendant les décennies à venir.

Combien de partenariats ont été signés à ce jour pour intégrer le protocole ? Cela représente combien de sites différents qui l'utilisent ?

IndexNow est un protocole ouvert et ne nécessite donc pas d'accord formel pour être adopté : tout site web, tout Système de gestion de contenu (CMS), tout réseau de diffusion de contenu (CDN) peut l'adopter.

Pouvez-vous faire un premier bilan provisoire, 5 mois après son lancement ? Est-ce que ça s'est passé comme vous l'imaginiez, au niveau technique, partenariat, etc. ? Avez-vous eu des surprises (bonnes ou mauvaises) ?

Nous sommes heureux qu'IndexNow ait été adopté par des acteurs clés du secteur tels que CloudFlare (article sur Abondance), qui met en cache une grande partie de l'Internet, des sites web de premier plan, qui représentent un véritable défi en raison de leur taille, des solutions de gestion de contenu comme Duda. Nous avons maintenant une visibilité sur des milliards d'URLs qui changent chaque jour. De plus en plus de sites web et d’outils adoptent cette solution... C'est formidable, car cela aide les moteurs de recherche à atteindre leurs objectifs d'exhaustivité et de fraîcheur de leur index.

Plusieurs plugins WordPress ont intégré IndexNow. Qu'en est-il de Yoast ? J'imagine qu'il y a des discussions avec eux actuellement ? Avez-vous également entendu parler de SEO Key, en version alpha à l'heure actuelle ?

Nous avons publié WordPress IndexNow Plugin (article sur Abondance), un plugin WordPress gratuit et open source, afin que tous les webmasters puissent l'adopter et que tous les plugins de référencement existants puissent intégrer IndexNow dans leur offre de référencement. Une demi-douzaine de plugins WordPress ont déjà intégré IndexNow dans leur solution, et d'autres sont à venir.

Quid des autres plateformes ? Drupal, Prestashop, Magento, Shopify, Wix et tant d'autres ?

Duda a été le premier système de gestion de contenu (CMS), à intégrer IndexNow dans son offre. À l'heure actuelle, certains des CMS que vous avez cités travaillent pour intégrer IndexNow dans leur solution SEO. CloudFlare a été le premier réseau de diffusion de contenu (CDN), à intégrer IndexNow dans son offre.

Je me fais l'avocat du Diable : on pourrait dire qu'un protocole comme IndexNow est une illustration de la difficulté des moteurs de recherche actuels à crawler le Web de façon efficace (la catastrophique situation de Google à ce niveau actuellement en est d'ailleurs une preuve). Qu'en pensez-vous ?

Nous voulons changer le paradigme : au lieu que les moteurs de recherche tirent, vous devez pousser les changements vers les moteurs de recherche. Veuillez noter que si vous informez un moteur de recherche qui utilise IndexNow, vous informez tous les moteurs de recherche IndexNow car les URLs sont automatiquement partagées avec tous les autres moteurs de recherche participants à IndexNow (article sur Abondance). Tout le monde en profite donc.

Question importante : IndexNow est-il spammable ? Existe-t-il des « garde-fous », par exemple pour se prémunir contre un nombre trop important de soumissions ?

IndexNow est en quelque sorte comme les Sitemaps XML, le protocole liste les URLs comme les Sitemaps XML. Alors que les moteurs de recherche lisent généralement les Sitemaps XML une fois par jour, occasionnellement une fois par semaine, les moteurs de recherche vont regarder immédiatement les URLs soumises avec IndexNow ! Si les moteurs de recherche aiment votre URL, ils tenteront de l'explorer immédiatement pour obtenir rapidement le dernier contenu, en fonction de leur logique de programmation d'exploration et du quota d'exploration de votre site. Si les moteurs de recherche n'aiment pas vos URLs, ils ne vont pas l’indexer immédiatement et pourront les prendre en compte ultérieurement. Notez également que les moteurs n'ont pas une capacité infinie : ils s'adaptent en permanence et, au fil du temps, ils peuvent exploiter davantage les URLs provenant d’IndexNow pour vos sites, lorsque l’apprentissage automatique (Machine Learning) estime qu'il s'agit d'un signal utile pour vos sites.

Et bien sûr, une question importante : on ne va pas se le cacher, IndexNow se trouvera énormément boosté si un moteur comme Google l'intègre (ce qui pourrait d'ailleurs résoudre bon nombre de ses problèmes d'indexation actuels). J'imagine, là aussi, qu'il existe des discussions entre vous. Où en est la situation ? Point mort ? Évolution lente ? Rapide ?

En effet, cela va aider. Je parle avec tous les principaux moteurs de recherche, y compris Google. Comme nous l'avons déjà dit, Google a annoncé qu'ils effectuaient des tests, nous devons donc nous attendre à d'autres annonces de leur part.

Et pour terminer, Considérez-vous le lancement comme réussi dans un premier temps ? Quels sont les objectifs à court, moyen et long termes pour IndexNow ?

Oui, nous sommes très heureux jusqu'à présent, la plupart des sites web adoptant le protocole y voient des avantages clairs et chez Bing, nous sommes heureux de satisfaire les webmasters et les clients de Bing en ayant la dernière version du contenu rapidement indexée. Les millions de sites qui ont adopté les plugins nous aident à améliorer notre apprentissage automatique (Machine Learning) et à tirer partie d'IndexNow pour refléter plus rapidement les changements de contenu et minimiser la charge d'exploration (crawl) des sites Web de Bing et de tous les moteurs de recherche qui ont adopté IndexNow.

Merci Fabrice, pour vos réponses à nos questions !

 

Interview réalisée par Olivier Andrieu Rédacteur en chef du site Réacteur.

 

 

 

Articles similaires :