L’évaluation des SERP par le monitoring du comportement des utilisateurs

Un point stratégique indispensable pour un moteur de recherche consiste à mesurer la pertinence de son algorithme au travers de la satisfaction (ou non) de ses utilisateurs. Pour cela, plusieurs méthodes sont utilisées, soit en faisant intervenir des experts dédiés à cette tâche (quality raters), soit en mesurant directement le comportement des visiteurs du site. Voici une petite revue d'effectif des différents tests le plus souvent mis en place à l'heure actuelle...

Début de l'article :

Dans cet article, nous allons aborder un sujet important dans la mise en place des moteurs de recherche : l’évaluation humaine de la qualité des classements mis en place algorithmiquement. Comme nous allons le voir, il existe de nombreuses méthodes pour évaluer cette qualité, mais pour de multiples raisons, il est important de prendre en compte l’avis des utilisateurs réels du moteur (qui peut être différent de l’avis des utilisateurs experts que sont par exemple les quality raters professionnels). Prendre en compte les avis des utilisateurs lors de leur usage standard du moteur de recherche, c’est faire ce que l’on appelle de l’évaluation dynamique ou en-ligne (online evaluation en anglais).

Nous allons tout d’abord définir précisément quel est la question à laquelle répondent les méthodes d’évaluation, quelles soient statiques ou dynamiques. Nous verrons ensuite ce qu’est l’évaluation statique ou non connectée (offline evaluation en anglais) . Enfin nous présenterons les principales méthodes d’évaluation dynamique.

Il est important de noter que, même si le grand public en entend rarement parler, cette problématique de l’évaluation des SERP (page de résultats des moteurs de recherche) sest au cœur de tous les moteurs de recherche, car c’est pour eux le seul moyen de s’assurer que l’algorithmique mis en place fournit réellement des résultats qui sont considérés comme pertinents par les utilisateurs.

Une partie du contenu de cet article est largement inspiré d’un tutoriel de Filip Radlinski et Katja Hofmann à la conférence SIGIR 2011 (liens et sources disponibles à la fin de cet article).

...