Comment faire de l’A/B Testing en SEO ?

Ce ne sont bien entendu là que des exemples basiques, mais il s'agit de la base fondamentale de tout test A/B.

Un test précis et unique

En général, on a tendance à faire de l’A/B Testing de manière globale : un design A versus un design B. La problématique d’un tel test est qu’il peut vite être faussé. Dans une charte graphique entièrement nouvelle, certains éléments peuvent améliorer la conversion et d’autre la diminuer. On peut donc se retrouver avec un résultat similaire entre la version A et B. Et dans ce cas, rien ne nous permettra de choisir alors que certains éléments étaient réellement meilleurs dans l'une des versions.

Là où le test A/B est réellement utile et fiable, c’est lorsque l’on teste un élément précis, comme indiqué juste avant. On teste donc une hypothèse précise. Et pour cela, il ne faut JAMAIS tester plusieurs hypothèses en même temps, car cela fausse immédiatement les résultats. Ce sera par exemple le cas si on testait une formulation A pour une fiche produit avec la couleur rouge et une seconde formulation en bleu. Nous ne pourrions pas savoir ce qui a réellement influé sur les résultats du test entre la couleur et la formulation.

Il faut donc bien comprendre qu’un test A/B est une technique « One-Shot » : on teste un élément précis et un seul ! Si ce test doit évoluer, par exemple avec l’ajout d’une nouvelle hypothèse, il faudrait recommencer à zéro pour ne pas fausser nos résultats.

Un test A/B fiable repose également sur des hypothèses non corrélées. En d’autres termes, elles ne doivent pas être dépendantes d’un autre élément, ou être dépendante l’une de l’autre.

L’échantillon représentatif et homogène

C’est souvent là que les tests A/B sont faussés. Il faut que les visiteurs et utilisateurs qui représentent le test correspondant à la « population » ciblée.

En d’autres, termes, si mes visiteurs sont en général des hommes de 30 à 45 ans, CSP+, passionnés de football et qu’ils se connectent en général sur mon site depuis un ordinateur fixe sur le navigateur Firefox entre 18h et 21h, il faudra que l’échantillon de personnes utilisé pour mon test corresponde lui aussi à ces critères.

Le trait est grossi mais l'idée est là : les personnes présentes dans votre A/B Testing doivent ressembler au plus près à vos utilisateurs habituels. C’est d’ailleurs le cas de toutes les études statistiques (sondages politiques, résultats pour les effets d’un médicament, etc.).

Fig. 2. Le principe de l’échantillon représentatif.
Source image : http://docplayer.fr/319264-Echantillonnage-introduction-module-1.html

Cela implique ensuite un autre élément important : la taille de cet échantillon. Plus celui-ci est petit, plus le risque de fausser les résultats est grand. Toute analyse statistique prouve en effet qu’il existe un delta entre les résultats de l’enquête et le résultat réel. Parfois, l’écart est minime, parfois ce dernier est grand (il suffit de voir les sondages en politique pour le constater).

Il faut donc prendre en compte cette marge d’erreur. Il vous faudra ainsi avoir un échantillon suffisamment grand pour réduire celle-ci. Si vous utilisez un outil dédié, il vous l’indiquera souvent de lui-même, comme sur la figure 3 avec celui de Google :

Fig. 3. Un exemple de résultat de test A/B sur l’outil dédié de Google.

Partez tout d’abord du principe que chaque variante doit avoir au strict minimum une centaine d’utilisateurs différents pour être crédible. Souvent, ce chiffre devra être bien plus élevé. Si cela vous intéresse, nous vous conseillons la lecture d’articles plus poussés sur la question, avec les formules adéquates pour calculer la taille idéale de cet échantillon représentatif :

• https://fr.wikipedia.org/wiki/%C3%89chantillon_(statistiques)
• https://freres.peyronnet.eu/ab-testing-et-bandits-manchots/

Une période bien précise

Pour des résultats probants, il vous faudra analyser vos données sur une période de temps limitée, et non coupée. Ne stoppez jamais un test A/B pour le relancer ensuite : cela fausse systématiquement les résultats.

Il faut donc anticiper les dates de ses tests pour s’assurer de ne pas avoir à les couper, et de pouvoir les laisser fonctionner suffisamment longtemps pour avoir un échantillon représentatif. Il faudra aussi vous assurer qu’aucun événement ne vienne fausser vos données pendant la période du test.

L’effet Flicker

Il existe un autre défaut important sur beaucoup de tests A/B : l’effet « Flicker ». Ce problème est simple à comprendre : l’utilisateur voit s’afficher la page de référence juste avant de voir la variante à tester.

C’est très souvent le cas quand vous faites un A/B Testing sur plusieurs variantes, mais que vous utilisez un simple code JavaScript pour rediriger l’utilisateur. L’internaute va donc charger la page A (la page de référence), puis le script s’enclenche pour éventuellement le rediriger vers la variante B ou C. Cet effet  va alors avoir plusieurs effets :

• Cela augmente le temps de chargement pour l’utilisateur ;
• Cela peut fausser les résultats finaux du test A/B en cours car il voit quand même apparaître la page de référence.

Dans l’idéal, il faudra donc aussi vérifier que cet effet n’est pas présent afin de ne pas nuire à l’expérience utilisateur ni diminuer la fiabilité des résultats obtenus ainsi.

Des outils pour faire de l’A/B Testing

Il existe plusieurs possibilités pour faire de l’A/B Testing : le coder soi-même (ce que l’on déconseille), ou bien utiliser des outils dédiés dont voici une liste non exhaustive :

• https://www.optimizely.com/
• https://vwo.com/
• https://www.abtasty.com/fr/
• Google Analytics Content Experiments https://support.google.com/analytics/answer/1745147
• Etc.

Chaque outil possède ses propres atouts et inconvénients quant à l’analyse des données, leur ergonomie ou encore à l’effet Flicker dont nous avons parlé juste avant. Au-delà de ces aspects, ce sera surtout à vous de bien paramétrer votre test pour que ce dernier n’ait pas un impact négatif sur votre référencement naturel (nous en parlerons plus loin dans cet article).

Et la technique des bandits manchots ?

Pour terminer sur le concept même des tests A/B, il faut aussi savoir qu’il existe une autre solution (qui pourra elle aussi parfaitement s’appliquer dans les passages liés au SEO) : la technique des bandits manchots.

Le nom de cette technique statistique provient des casinos et des machines à sous. Contrairement aux tests A/B où les variantes sont réparties de manière équitables (50%, 33,33%, etc.), cette technique consiste à conserver un groupe d’individus important ayant la page de référence, et à appliquer les variantes à des groupes réduits (par exemple, 80% sur la page de référence et 10% pour chaque variante). Ensuite, au fur et à mesure que les données seront collectées, l’idée est de basculer progressivement cette répartition en fonction de la variante qui a les meilleurs résultats (par rapport à l’hypothèse et aux objectifs fixées auparavant).

C’est ce que font d’ailleurs un nombre important de joueurs de casinos. Ces derniers font face à X machines à sous. A chaque action sur une machine, ils peuvent en estimer la rentabilité. Ils auront tendance ainsi à utiliser principalement la machine la plus rentable, tout en testant ponctuellement d’autres machines pour en évaluer la rentabilité.

En statistiques, c’est ce que l’on appelle la phase d’exploration/exploitation. Si on estime que 10% des visiteurs auront accès à la variante B, la figure 4 explique le principe de fonctionnement.

Fig. 4. Le concept du Bandit Manchot.
Source image : https://freres.peyronnet.eu/ab-testing-et-bandits-manchots/

L’explication ici est bien entendu simplifiée. Il existe des formules bien plus complexes pour calculer et mettre cela en place correctement. Voir : https://www.twenga-solutions.com/fr/insights/ab-test-vs-bandit-manchot/c

Peut-on faire de l’A/B Testing en SEO ?

La réponse à cette question est complexe, car on peut tout à faire y répondre par un "oui" tout comme par un "non".

Non, on ne peut pas faire de réels tests A/B en SEO !

Si l’on prend les tests A/B tels que nous les avons décrits auparavant, il est malheureusement impossible de mettre en place un test fiable en référencement naturel. Ceci est vrai pour plusieurs raisons. La première est liée au fonctionnement même de Google et des autres moteurs de recherche. Pour eux, chaque URL est un contenu unique. Si l’on teste plusieurs variantes d’une même publication (tant sur le fond que sur la forme), Google risque :

• soit de considérer ces contenus comme étant dupliqués (car souvent proches) ;
• soit de les ignorer et de ne pas les mesurer avec efficacité (par exemple si elles ont une balise Canonical), impossible donc de connaître la plus-value d’un point de vue SEO ;
• soit de ne pas savoir quelle URL positionner car elles traitent du même sujet (ce que l’on appelle en SEO la « cannibalisation de mots clés  »).

La seconde raison est qu’il est impossible techniquement d’indiquer au moteur de recherche que l’on mène un test A/B dans une même page ou sur plusieurs URL différentes. Impossible d’envoyer à Google l’information comme quoi les pages A, B et C sont des variantes d’un même test, et qu’il devrait utiliser la version la plus optimisée.

La troisième raison est quant à elle liée aux tests sur des URL différentes. Cela entraîne un biais important car la page de référence « A » possède peut-être plus de liens et d’ancienneté que les variantes en cours de tests. On risque alors de se retrouver systématiquement avec des pages de référence ayant de meilleurs résultats.

Oui, on peut faire des tests AB en SEO !

Puisqu’on ne peut pas faire de réel test A/B pour optimiser son référencement, il existe deux autres points importants à aborder : tester un critère SEO commun sur un ensemble de contenus et faire des tests A/B traditionnels en évitant un impact négatif sur le référencement naturel.

Des tests de masse sur un critère de référencement naturel

Il s'agit de l'un des « tests A/B » possibles : modifier un élément commun sur certaines pages et pas sur d’autres, puis mesurer au bout de quelques jours ou semaines l’impact que cela a pu avoir. On pourrait par exemple tester :

• l’impact de l’ajout ou du retrait du nom du site dans la balise Title ;
• la longueur des textes alternatifs des images (une partie d’entre eux seraient courts, d’autres longs) ;
• Etc.

C’est par exemple ce que Distilled a fait sur les H1 d’un site. Dans ce test, il modifie 50% des H1 selon un critère commun, puis analyse ensuite l’impact que cela a pu avoir sur le SEO : https://www.distilled.net/resources/testing-titles-and-h1s-seo-impact/
Même si de tels tests peuvent permettre de mettre en avant des critères de positionnement qui sont meilleurs que d’autres, il faut faire très attention à ce type de résultat :

• Des critères externes peuvent avoir impacté le site (maillage interne et externe, erreurs 404, nouveaux contenus, déclassement ou progression des concurrents sur certains contenus, etc.) ;
• L’échantillon doit être suffisamment grand pour être fiable ;
• Un seul critère devrait être testé à la fois ;
• Il faut réussir à avoir un échantillon représentatif, c’est-à-dire que chaque variante :
  • a autant de pages situées dans les mêmes sections du site ;
  • possède une popularité similaire ;
  • ne contienne pas d’autres critères qui seraient trop différents (certains contenus bien plus longs par exemple) ;
  • possède autant de liens internes que les autres ;
  • Etc.

Le test de Distilled analyse un échantillon important (plus de 20 000 contenus), mais il commet l’erreur de changer à la fois le Title et le H1. Ils faussent ainsi immédiatement tous les résultats qu’ils pourraient obtenir.

Les outils

Sachez qu’il existe quelques rares outils pour faire ce type de test. Leurs tests A/B pour le SEO testent un changement global de design ou d’un élément commun sur une partie des contenus du site afin de voir quel est le changement ayant le plus d’impact (avec tous les biais que cela comporte et dont nous venons de parler).

Fig. 5. Et 6. Le fonctionnement des outils d'A/B Testing SEO.

Voici certains de ces outils :

• https://www.rankscience.com/
• https://odn.distilled.net/

Les tests avant/après

Une façon détournée de faire des tests A/B est également de mesurer pendant une période longue le positionnement d’un contenu, puis, sur une période identique, d'en modifier un élément. C’est ce que font de très nombreux SEO. Par exemple, on change une balise Title pour mesurer l’impact entre avant et après la modification.

Attention cependant, ceci n’est pas un test A/B. Faire ce type de test et de mesure peut vous indiquer si vos modifications ont eu un impact positif ou non. Mais sachez que les résultats peuvent très facilement être faux, et ceci pour toutes les raisons expliquées précédemment sur les bonnes pratiques pour faire un vrai test A/B.

Faire des tests A/B sans nuire au SEO de son site web

Vous l’aurez donc compris : faire un test A/B pour mesurer uniquement un aspect SEO est impossible. A l’inverse, faire un test A/B est une action très pertinente à faire pour d’autres sources de trafic (Adwords, emailing, etc.) ou encore pour augmenter de manière globale les conversions d’un site webt, d’un e-mail ou d’une application mobile.

Mais pour que cela n’ait pas d’impact négatif sur le positionnement, il est important de respecter certaines règles, à savoir :

Prévenir

La première règle est simple : informez toujours toutes les personnes travaillant sur le site lorsqu’un test A/B est en cours, que ce soit le référenceur, le développeur ou encore l’administrateur système. Cela permettra à chacun d’intervenir si nécessaire pour justement appliquer les règles suivantes. Ceci est également vrai pour éviter de fausser un test, car un utilisateur aurait agi sur l’un des contenus faisant partie du test.

Ne pas exclure Googlebot du test

Quand votre test porte sur plusieurs URL différentes, il est inutile d’exclure Googlebot du test. Les attributs noindex sont en effet contreproductifs. Cet attribut dédié aux robots n’empêche en effet pas l’ajout de l’URL dans l’index de Google, mais uniquement son analyse. L’idéal est de ne jamais avoir à forcer une désindexation. Inutile donc de bloquer l’accès par le fichier robots.txt ou par la méta robots NoIndex (à condition de respecter les consignes qui suivent).

Ne pas faire de liens en dur

C’est la base : ne faites jamais un lien direct vers une variation. Par essence même, cette dernière est une URL temporaire. Si elle est plus performante, la modification sera apportée sur l’URL réelle. Vous ne devez donc jamais faire de liens vers une variation, même si ce lien est en nofollow.

Canonical sur la variation

Autre étape très importante, il faut toujours avoir une balise "Canonical" sur toutes les URL des variations. Cette balise aura pour valeur la page de référence, par exemple sous cette forme :

<link rel="canonical" href=""https://www.seomix.fr/consultant-seo-necessite-detre-transparent-avec-ses-prospects-et-ses-clients/" />

En faisant cela, on indique l’URL réelle du contenu et on demande donc à Google de l’ignorer purement et simplement. La balise méta NoIndex est alors inutile et notre test ne provoquera pas l’indexation de contenus dupliqués.

Bien rediriger les internautes

Si votre solution d’A/B Testing utilise du JavaScript pour rediriger l’utilisateur, faites toujours des redirections 302 afin d’indiquer que cette dernière est une bel et bien une redirection temporaire.

Le conseil est d’ailleurs valable aussi pour tout autre système de redirection (par le fichier .htaccess du serveur, par PHP, etc.) : toute redirection vers une variante d’un test A/B doit être en 302 (temporaire), jamais en 301 (permanente).

Supprimer et rediriger les variantes une fois les tests finis

Enfin, dernière étape importante mais régulièrement oubliée : pensez à bien supprimer toutes vos variantes quand le test A/B est terminé. Pensez aussi à rediriger chaque URL de variante vers la page de référence, cette fois-ci en 301 afin de vous assurer que Google ne tente jamais de les indexer par la suite.

Les tests mineurs

Si, en revanche, vous faites de petites modifications, comme par exemple la couleur d’un bouton, une phrase d’accroche, l’apparence d’un logo, etc., on peut conserver une URL unique sans aucune redirection ni des utilisateurs ni de Google.
Pensez alors à exclure GoogleBot de ce type de test afin de ne pas complexifier son crawl et son indexation car il risquerait de voir constamment des modifications sur un même contenu.

Conclusion

Les tests A/B sont difficilement possibles pour mesurer l’impact d’une modification sur le positionnement. Ceci est d’autant plus frustrant que cela permettrait de pouvoir mesurer l’impact réel de certains éléments (Title, H1, etc.). On peut bien entendu faire des tests, mais le nombre de biais est tellement important qu’ils sont peu fiables.

A l’inverse, les tests A/B ont un véritable intérêt en marketing afin de maximiser l’expérience utilisateur et les conversions. On peut ainsi réussir à augmenter ses ventes, ses prises de contact ou encore ses abonnements. Mais cela ne peut fonctionner qu'à la seule condition de correctement le paramétrer pour ne pas nuire à son propre référencement naturel.