ChatGPT peut-il détrôner Google ?

Cela fait maintenant plus de 20 ans que je travaille dans le domaine des algorithmes. Mon sujet de toujours est celui de la prise de décision en présence d'incertitudes, et dans un contexte de grande masse de données. Une partie des algos sur lesquels j’ai travaillé sont maintenant dans ce que l'on appelle couramment l'intelligence artificielle.

Pourtant, je n’aurais jamais pu envisager ce que les dernières années ont permis de voir en matière de machine learning, de traitement du langage naturel, d’analyse des images et autres. On vit une période où des résultats exceptionnels sont présentés de manière quasi hebdomadaire. Pour être honnête, j’ai un peu l’impression de revivre les premières belles années du Web...

Le sujet du moment est bien entendu le fameux chatGPT. Le dernier né de chez openAI fait beaucoup parler de lui et rencontre un succès populaire grâce à sa capacité à dialoguer avec les humains. Personne ne peut nier que l’outil est vraiment bluffant, même si bien entendu, on voit aussi ses limites dès les premières utilisations.

Pour les professionnels du SEO, la révolution de l'intelligence artificielle est à la fois une opportunité et un risque. C'est un risque pour les rédacteurs web, mais c'est une opportunité pour ceux qui faisaient appel à eux et qui voient peut-être un moyen d'obtenir pour moins cher ce qu'il payait par ailleurs. Pour un moteur de recherche comme Google, c'est visiblement un risque puisque Sundar Pichai, patron de Google, a même mis en place une nouvelle organisation interne pour essayer de ne pas se faire doubler sur le terrain de l’IA par openAI.

Dans cet article, je vais vous parler de chatGPT. Qu’est-ce que c’est vraiment ? Quelles sont ses limites techniques ? Combien ça coûte ? Je vais également tenter de donner quelques éléments de réponse à la question qui nous taraude tous : est-ce que chatGPT est un danger potentiel pour Google ?

ChatGPT, qu’est-ce que c’est ?

ChatGPT (référence [1]) est un modèle de la langue qui a été conçu - comme son nom l'indique - pour être conversationnel. Cela signifie qu'il est capable de suivre des instructions qui sont données par un être humain via un prompt (une question). Pour suivre ces instructions, le modèle possède la capacité à dialoguer et à utiliser une forme de bon sens qu'un être humain peut avoir et qu'on ne trouve pas dans d'autres modèles (comme GPT3 par exemple).

Un autre point fort du modèle, pour mimer le comportement humain, est sa capacité de continuité mémorielle : chatGPT est capable de se souvenir de ce que vous lui avez dit dans les précédentes questions, et d’élaborer des réponses basées sur cette historique de discussion. Cet aspect est celui qui est le plus anthropomorphique : on a parfois l’illusion de discuter avec une personne réelle, qui va d’ailleurs se tromper de temps en temps dans ses réponses.

ChatGPT, c'est le dernier modèle d’une longue lignée de modèle de la langue. Tout a débuté avec word2vec de Tomas Mikolov (alors chez Google), puisd fastText du même chercheur (alors chez Facebook) et bien d'autres encore comme Ernie en 2019 (chez Baidu), BERT en 2018 (Google), Grover et Elmo en 2018 et 2019 (Allen institute). Il existe également des modèles en France (chez Lighton).

Au fur et à mesure du temps, ces modèles sont devenus de plus en plus gros et expressifs. Mais la vraie rupture a été l’émergence des modèles à base de transformers chez openAI. C’est maintenant l’opérateur leader sur le sujet, qui est devant tous les autres, que ce soit pour les applications sur l’image ou sur le texte. Leur premier modèle date de 2018, il s’agit de GPT. Mais le grand public a commencé à s’intéresser à eux avec GPT2, premier très gros modèle alors qu’il n’avait « que » 1,5 milliards de paramètres et un dataset d'entraînement de 8 millions de pages web. On se rend compte maintenant que GPT2 n’était finalement qu’une preuve de concept, et la vraie rupture est GPT3 (voir la référence [3]), modèle à 175 milliards de paramètres, entraîné sur un dataset de plusieurs milliards de pages de contenu.

GPT3 est une innovation de rupture, et un vaste mouvement s’est mis en route dans le webmarketing et chez les SEOs, avec la génération de textes en cible principale. Mais le modèle (et les nombreux outils qui l’utilisent) permet de trouver des sujets, écrire des plans d’articles, faire de la traduction, etc. Le seul problème de ce modèle est en fait la difficulté qu'éprouve un humain non spécialiste à le « faire travailler ». C’est pour cela que de nombreux outils ont émergé, et il est assez incroyable de voir qu’ils se font en partie ubériser eux aussi par le nouveau modèle qui arrive.

Cela nous amène à chatGPT, le premier modèle de grande taille avec une réelle capacité à dialoguer avec l’humain, ce qui ouvre la voie à une nouvelle UX intuitive : la discussion (et oui, vieux concept 🙂 ). Au coeur de chatGPT se trouvent deux innovations : une concernant la mémoire du système, l’autre concernant sa capacité à écrire des réponses qui plaisent aux humains. Nous allons maintenant voir comment on fabrique un tel modèle.

Sylvain Peyronnet, concepteur de l'outil SEO Babbar.