Fabrice Canel est l'une des "têtes pensantes" du moteur de recherche Bing chez Microsoft. Lors de récentes conférences SEO, en France ou ailleurs, il a eu dernièrement l'occasion de dire que "Javascript était le nouveau Flash", expliquant sous cette formule "punchline" que de nombreux sites utilisant actuellement énormément le Javascript pouvaient avoir des problèmes d'analyse de leurs contenus par les moteurs de recherche. Il nous explique dans cet article son point de vue et, surtout, nous donne quatre conseils indispensables pour améliorer la situation si c'est le cas de votre plateforme web...
Par Fabrice CanelLors de récentes conférences SEO j'ai eu l'occasion de déclarer : « JavaScript is the new FLASH ! » (« JavaScript est le nouveau FLASH !»). Ce slogan a été assez apprécié et repris par de nombreux participants et sites web par la suite. En effet, de nos jours, certains sites ont des problèmes pour être indexés par Bing et les autres moteurs de recherches, problèmes similaires aux soucis SEO rencontrés il y a quelques années à l'apogée de l'utilisation d'Adobe Flash. Aussi, permettez-moi de saisir l'occasion de cet article pour partager quelques conseils permettant de mieux gérer les problèmes actuels et futurs.
Parfois, notre robot d'indexation (crawler) Bingbot rencontre des sites web qui utilisent JavaScript pour acquérir et afficher leur contenu. Certains de ces sites ont des pages web nécessitant des appels HTTP (ou HTTPS, bien sûr) pour permettre la visualisation du contenu. Dans cette configuration, au lieu de ne faire qu'une seule requête HTTP par page, Bingbot doit faire plusieurs requêtes HTTP. Certains sites deviennent alors rapidement des pièges pour robots, avec des dizaines d'appels HTTP requis pour visualiser chaque page… Et demandant alors beaucoup trop de requêtes HTTP pour l'ensemble du site.
Aussi je vous suggère ci-dessous quelques conseils pour optimiser vos sites actuels et futurs.
Conseil numéro 1 : Utiliser le rendu dynamique
Pour les sites utilisant JavaScript pour afficher le contenu web à grande échelle, nous recommandons, comme les autres moteurs des recherches, le rendu dynamique, qui constitue une excellente alternative aux sites Web qui font largement appel à JavaScript. Le rendu dynamique consiste à détecter l'agent utilisateur (user-agent) et à rendre le contenu différemment pour les humains et les robots d'exploration des moteurs de recherche. Nous vous encourageons à détecter notre agent utilisateur Bingbot, à présélectionner le contenu côté serveur et à générer du code HTML statique pour ces sites, ce qui nous permet de réduire le nombre de requêtes HTTP et de nous assurer d'obtenir la version la meilleure et la plus complète de vos pages Web à chaque fois que Bingbot visite votre site.
Dès que nous parlons de rendre du contenu spécialement pour les robots des moteurs de recherche, on nous demande inévitablement s'il s'agit ou non d'un cloaking (masquage)... Et rien n'est plus effrayant pour la communauté SEO que d'être sanctionné pour avoir masqué son contenu ! La bonne nouvelle est que tant que vous faites un effort de bonne foi pour renvoyer le même contenu à toutes les visiteuses et tous les visiteurs, que celui renvoyé à Bingbot, vos actions ne seront pas considérées comme du cloaking.
Conseil numéro 2 : Eviter les pages web trop compliquées
De nos jours, la bande passante est suffisante dans certains pays pour faire des pages beaucoup plus riches, ou des mini-applications. Mais quand JavaScript permet d'ajouter de l'interactivité à vos pages, les crawlers des moteurs de recherche ont généralement tendance uniquement à suivre des liens, ils évitent des remplir des formulaires, d'interagir avec les pages pour faire afficher des menus dynamiques créés en fonction de la position de la souris, et de jouer à des jeux ;-). Aussi, évitez les pages web trop compliquées et affichez le contenu de la page et les liens qui seront utiles pour découvrir tous les liens, idéalement dès la première requête HTTP, au moins lors du chargement de la page.
Conseil numéro 3 : Permettre au crawler d'accéder à vos fichiers
Il est bon de rappeler que pour nous permettre de visualiser des pages utilisant des fichiers JavaScript liés, des fichiers de style et images liés, il est nécessaire de donner accès à ces ressources aux moteurs de recherche. Aussi, vérifiez le contenu de votre fichier robots.txt à la racine de votre site, vérifiez qu'il donne à Bingbot accès à l'ensemble des ressources de vos sites, et vos fichiers .css et .js notamment.
Conseil numéro 4 : Guidez-nous vers le contenu et ayez votre contenu indexé en quelques minutes
Quel que soit le site, et en particulier pour les sites proposant des milliers et des millions de liens, typiques des sites utilisant massivement Javascript, il est vraiment utile de donner aux moteurs de recherche un gros coup de pouce nous permettant de découvrir rapidement et aisément l'ensemble des liens de vos site. C'est si simple ! Il vous suffit d'avoir un fichier Sitemap listant l'ensemble des URLs de votre site et un fichier RSS listant en temps réel les dernière URL publiées sur votre site, et d'enregistrer les deux sur nos outils Bing pour Webmasters pour nous permettre d'être rapidement et continuellement au courant de l'ensemble des vos URL. Nous permettre de découvrir les liens, c'est autant de requêtes en moins nécessaires pour découvrir vos pages.
En outre, nous venons d'annoncer la possibilité d'indexer des pages web beaucoup rapidement en soumettant jusqu'à 10 000 URL par jour à Bing. Il s'agit d'une augmentation significative du nombre d'URL qu'un webmaster peut soumettre par jour et un signal important pour nos algorithmes de crawl permettant d'indexer le contenu plus rapide.
Nous vous encourageons à intégrer les API Bing Webmaster dans vos systèmes de gestion de contenu pour nous informer en temps réel de vos modifications de contenu et vous permettre de dormir tranquillement, tout en étant sûr que Bing est au courant des nouveaux liens et que votre contenu est indexé.
Vous pouvez tester tout cela en deux étapes très simples :
- Étape 1 : Obtenez un API ID pour votre site via nos outils pour Webmasters.
- Étape 2 : Soumettez de nouvelles URL pour votre site en utilisant l'API de soumission d'URLs.
Exemple utilisant wget : Remplacez l'ID par votre ID API, l'URL siteUrl par l'URL de votre site et l'URL bing par l'URL dans votre site :
En résumé, si votre site utilise beaucoup de JavaScript nécessitant des appels à votre site web pour visualiser le contenu et que vous souhaitez améliorer votre indexation dans les moteurs des recherche, examinez le rendu dynamique : vous en bénéficierez certainement énormément chez Bing et ailleurs. Sinon, continuez comme aujourd'hui, mais évitez juste des interfaces web trop complexes et vérifiez que vous permettez d'accéder à votre contenu au travers de votre fichier robots.txt.
De plus, nos outils Bing pour Webmasters vous permettent non seulement d'obtenir des informations sur votre site via le rapport "Tableau de bord > outils d'investigation et notifications". Ils vous permettent aussi d'informer Bing directement des liens les plus utiles et d'avoir votre contenu indexé généralement en quelques minutes via nos nouvelles APIs. Quel responsable SEO de site n'a jamais rêvé de cela ? 😉
Fabrice Canel
Gestionnaire de programme principal, Bing, Microsoft.