Impossible de ne pas parler de ChatGPT à l'heure actuelle tant le buzz médiatique est fort autour de l'outil conversationnel d'OpenAI. Mais comment cet outil fonctionne-t-il ? Quels sont les mécanismes qui œuvrent dans le « ventre de la bête » ? Quelles sont ses limites potentielles ? Et surtout, question qui domine aujourd'hui dans le landerneau des moteurs de recherche : cet outil peut-il concurrencer Google à terme ? Sylvain Peyronnet, spécialiste éminemment reconnu du domaine, donne ici son analyse et ses prévisions à ce sujet.
Impossible de ne pas parler de ChatGPT à l'heure actuelle tant le buzz médiatique est fort autour de l'outil conversationnel d'OpenAI. Mais comment cet outil fonctionne-t-il ? Quels sont les mécanismes qui œuvrent dans le « ventre de la bête » ? Quelles sont ses limites potentielles ? Et surtout, question qui domine aujourd'hui dans le landerneau des moteurs de recherche : cet outil peut-il concurrencer Google à terme ? Sylvain Peyronnet, spécialiste éminemment reconnu du domaine, donne ici son analyse et ses prévisions à ce sujet.➜ Découvrez la formation ChatGPT par Baptiste Guiraud
Cela fait maintenant plus de 20 ans que je travaille dans le domaine des algorithmes. Mon sujet de toujours est celui de la prise de décision en présence d'incertitudes, et dans un contexte de grande masse de données. Une partie des algos sur lesquels j’ai travaillé sont maintenant dans ce que l'on appelle couramment l'intelligence artificielle.
Pourtant, je n’aurais jamais pu envisager ce que les dernières années ont permis de voir en matière de machine learning, de traitement du langage naturel, d’analyse des images et autres. On vit une période où des résultats exceptionnels sont présentés de manière quasi hebdomadaire. Pour être honnête, j’ai un peu l’impression de revivre les premières belles années du Web...
Le sujet du moment est bien entendu le fameux chatGPT. Le dernier né de chez openAI fait beaucoup parler de lui et rencontre un succès populaire grâce à sa capacité à dialoguer avec les humains. Personne ne peut nier que l’outil est vraiment bluffant, même si bien entendu, on voit aussi ses limites dès les premières utilisations.
Pour les professionnels du SEO, la révolution de l'intelligence artificielle est à la fois une opportunité et un risque. C'est un risque pour les rédacteurs web, mais c'est une opportunité pour ceux qui faisaient appel à eux et qui voient peut-être un moyen d'obtenir pour moins cher ce qu'il payait par ailleurs. Pour un moteur de recherche comme Google, c'est visiblement un risque puisque Sundar Pichai, patron de Google, a même mis en place une nouvelle organisation interne pour essayer de ne pas se faire doubler sur le terrain de l’IA par openAI.
Dans cet article, je vais vous parler de chatGPT. Qu’est-ce que c’est vraiment ? Quelles sont ses limites techniques ? Combien ça coûte ? Je vais également tenter de donner quelques éléments de réponse à la question qui nous taraude tous : est-ce que chatGPT est un danger potentiel pour Google ?
ChatGPT, qu’est-ce que c’est ?
ChatGPT (référence [1]) est un modèle de la langue qui a été conçu - comme son nom l'indique - pour être conversationnel. Cela signifie qu'il est capable de suivre des instructions qui sont données par un être humain via un prompt (une question). Pour suivre ces instructions, le modèle possède la capacité à dialoguer et à utiliser une forme de bon sens qu'un être humain peut avoir et qu'on ne trouve pas dans d'autres modèles (comme GPT3 par exemple).
Un autre point fort du modèle, pour mimer le comportement humain, est sa capacité de continuité mémorielle : chatGPT est capable de se souvenir de ce que vous lui avez dit dans les précédentes questions, et d’élaborer des réponses basées sur cette historique de discussion. Cet aspect est celui qui est le plus anthropomorphique : on a parfois l’illusion de discuter avec une personne réelle, qui va d’ailleurs se tromper de temps en temps dans ses réponses.
ChatGPT, c'est le dernier modèle d’une longue lignée de modèle de la langue. Tout a débuté avec word2vec de Tomas Mikolov (alors chez Google), puisd fastText du même chercheur (alors chez Facebook) et bien d'autres encore comme Ernie en 2019 (chez Baidu), BERT en 2018 (Google), Grover et Elmo en 2018 et 2019 (Allen institute). Il existe également des modèles en France (chez Lighton).
Au fur et à mesure du temps, ces modèles sont devenus de plus en plus gros et expressifs. Mais la vraie rupture a été l’émergence des modèles à base de transformers chez openAI. C’est maintenant l’opérateur leader sur le sujet, qui est devant tous les autres, que ce soit pour les applications sur l’image ou sur le texte. Leur premier modèle date de 2018, il s’agit de GPT. Mais le grand public a commencé à s’intéresser à eux avec GPT2, premier très gros modèle alors qu’il n’avait « que » 1,5 milliards de paramètres et un dataset d'entraînement de 8 millions de pages web. On se rend compte maintenant que GPT2 n’était finalement qu’une preuve de concept, et la vraie rupture est GPT3 (voir la référence [3]), modèle à 175 milliards de paramètres, entraîné sur un dataset de plusieurs milliards de pages de contenu.
GPT3 est une innovation de rupture, et un vaste mouvement s’est mis en route dans le webmarketing et chez les SEOs, avec la génération de textes en cible principale. Mais le modèle (et les nombreux outils qui l’utilisent) permet de trouver des sujets, écrire des plans d’articles, faire de la traduction, etc. Le seul problème de ce modèle est en fait la difficulté qu'éprouve un humain non spécialiste à le « faire travailler ». C’est pour cela que de nombreux outils ont émergé, et il est assez incroyable de voir qu’ils se font en partie ubériser eux aussi par le nouveau modèle qui arrive.
Cela nous amène à chatGPT, le premier modèle de grande taille avec une réelle capacité à dialoguer avec l’humain, ce qui ouvre la voie à une nouvelle UX intuitive : la discussion (et oui, vieux concept 🙂 ). Au coeur de chatGPT se trouvent deux innovations : une concernant la mémoire du système, l’autre concernant sa capacité à écrire des réponses qui plaisent aux humains. Nous allons maintenant voir comment on fabrique un tel modèle.
Comment fabriquer un modèle comme ChatGPT ?
ChatGPT est au final une forme de démonstrateur, mais cela reste une vraie prouesse industrielle et algorithmique. Il y a plusieurs points intéressants à noter sur ce modèle, le premier étant qu’en réalité il est moins puissant que GPT3 ou GPT3.5 (qui est GPT3 avec un fine-tuning).
Un autre point crucial est sa capacité à garder en mémoire les interactions avec l’utilisateur. Pour cela, le modèle va faire un encodage vectoriel (j’ai déjà abordé cette notion dans Réacteur) de l’historique de la discussion, et le fournir en entrée au modèle, en plus de la question qui lui est posée. Ainsi, ce qui a été dit dans le passé contribue à la réponse proposée par le modèle. Cette astuce pour simuler une mémoire est une des limitations qui posera problème pour faire évoluer le modèle plus tard.
Enfin, le troisième point est l’utilisation d’algorithmes d’apprentissage par renforcement pour « éduquer » le modèle. C’est le point le plus important. Pour construire GPT3, les chercheurs ont entrainé le modèle en lui apprenant à prédire les mots qui suivaient un groupe de mots donné en entrée. Le système était donc en quelque sorte récompensé à chaque fois que sa prédiction correspondait à la réalité.
ChatGPT étant un modèle qui a pour but de plaire aux humains dans ses réponses, pour son entraînement il devait donc être récompensé quand une réponse plaisait aux humaines. Il est impossible de demander à des humains de valider ou invalider des milliards de réponses lors du processus d’apprentissage. C’est John Schulman (référence [4]) qui, chez openAI, va avoir l’idée d’utiliser un algorithme d’apprentissage par renforcement. Un premier algorithme va donc apprendre auprès de quelques humains (la rumeur dit 40 000 tout de même) si des réponses de calibration plaisent ou non. Cet algorithme va ensuite être capable de répondre à la place des humains pour entraîner le modèle sur un dataset bien plus grand. Techniquement, le modèle tente une réponse, l’algorithme d’apprentissage par renforcement lui dit si c’est OK ou non. Dans un cas, il continue sa « vie », dans l’autre il se modifie et recommence.
Cette idée a d’abord été appliquée pour créer un premier modèle (instructGPT, voir la référence [2]). ChatGPT est un modèle similaire, deuxième itération du processus chez openAI.
Bien entendu, qui dit modèle entraîné par un feedback humain dit modèle qui peut souffrir de plus de biais. OpenAI explique qu’ils ont fait ce qu’il fallait pour que ça ne soit pas le cas, personne n’est dupe que ce n’est sans doute pas totalement vrai, mais les réponses plaisent au plus grand nombre, ce qui est visiblement suffisant pour la « hype » du moment.
Le problème de biais est visible dès qu’on demande des informations sur des sujets très complexes et techniques : les réponses sont assez molles, moins bonnes que ce que donnerait GPT3, c’est principalement parce que les humains qui ont validés le dataset n’avaient pas le niveau requis pour comprendre et valider des réponses complexes.
Les limites actuelles et futures de chatGPT
Si on fait abstraction de la problématique des biais, il reste deux limites fortes associées à chatGPT.
La première est celle de la mémoire simulée : on ne peut pas faire des embeddings pour stocker la donnée sur de très longues interactions. À un moment donné, le modèle va oublier le passé, et de manière brutale. Pas comme un humain qui va garder les choses les plus importantes en mémoire et oublier le reste. Pour progresser vers un meilleur outil, openAI devra trouver d’autres mécanismes de mémorisation des contextes (et ça ne parait pas du tout insurmontable).
La seconde est celle du coût. Il y a bien sûr le coût de fabrication. Je rappelle ici que le coût de fabrication de GPT3 à sa sortie était estimé à environ 12 millions de dollars, mais on estime qu’un niveau de qualité approchant est aujourd’hui accessible pour beaucoup moins (probablement de 6 à 8 millions de dollars). Pour chatGPT, on part de GPT3, et on va finalement lui enlever une partie de ses réponses possibles et adoucir les autres. Le coût algorithmique est forcément lourd, mais il faut aussi prendre en compte les coûts humains (si il y a bien eu 40 000 personnes pour l'entraînement, ce n’est pas anodin). On parle donc encore une fois de quelques millions.
Mais le plus gros du coût n’est pas dans la fabrication du modèle mais bien dans son exploitation, ce que l’on appelle l’inférence. Pour estimer les coûts opérationnels il faut sortir le doigt mouillé, mais des sources diverses convergent vers certaines estimations (voir référence [5]). Je vais retenir celle de 1 cent tous les 30 mots. Il y a un million d’utilisateurs actuellement, si chacun pose 50 questions par jour à chatGPT, avec des réponses moyennes de 50 mots, on est à 2500 mots par jour et par utilisateur, soit 83 cents par jour pour chacun, 830k$ en tout ! Et je pense que si l’usage devient massif l’hypothèse de 2500 mots par jour est loin du compte.
Cela pose beaucoup de questions, dont celle du modèle économique.
Est-ce que cette dernière limite empêchera au moins pour un temps que cette technologie remplace tout un ensemble de produits déjà existants ? C’est très compliqué à dire, et nous allons évoquer le cas particulier du search et de Google pour finir cet article.
Est-ce la mort du Search ? et de Google ?
La première question qui me semble importante est celle de la mort de la recherche « classique ». La recherche sur Internet est vue par tout le monde comme simplement une interface de recherche, alors que c’est en fait un dispositif d’interaction (la page web du moteur) et tout une machinerie invisible pour l’utilisateur (crawler, index, algorithmes divers).
Pour remplacer complètement un moteur, il faudrait que l’IA soit capable de trouver toutes les sources, de trier parmi elles celles qui sont intéressantes, populaires, de confiance, etc. Et qu’ensuite elle en fasse un résumé au bon niveau de compréhension de son utilisateur. Aujourd’hui cela paraît une possibilité assez éloignée. En revanche, se substituer à l’interface web du moteur pour toutes les requêtes « simples » est aujourd’hui largement possible.
Il faut imaginer l’IA pour le search comme un ami à qui vous poseriez des questions sur Whatsapp afin qu’il regarde le Web pour vous pour trouver une info. Ce que cet ami peut faire et vous communiquer comme information, ce sera en gros ce qu’une IA pourra également réussir à faire. Pour un très grand nombre de recherches cela peut fonctionner, mais pas pour toutes. En revanche, le moteur reste nécessaire pour que l’IA soit capable de vous répondre.
C’est assez amusant, car Google via Amit Singhal, pensait réaliser quelque chose de ce genre avec Google Now, à une autre époque (2015, voir la référence [6]).
Puisque l’on parle de Google, il y a une deuxième question, qui entretient les fantasmes : est-ce que chatGPT va être le début de la chute de Google ? C’est une question beaucoup plus complexe que la première.
En effet, à la première question la réponse de plus en plus probable est que les technologies qui émergent actuellement changeront le paysage du search et les usages associés. C’est donc valable pour Google qui devra sans doute en partie se réinventer.
Se réinventer, car pour mourir il faudrait que Google passe totalement à côté de la révolution IA, alors même qu’ils sont toujours une des entreprises leader sur le sujet. Par ailleurs l’histoire de Google est édifiante : ce n’est pas le premier moteur, ce n’est pas l’inventeur de la publicité en ligne, ce n’est pas l’inventeur des algorithmes de type learning to rank, etc. Mais c’est pourtant le leader incontesté du search. Pourquoi ? parce que Google a toujours su industrialiser la recherche et la technologie de rupture plus vite et mieux que les autres.
Regardons un peu le tableau actuel : d’un côté il y a openAI et les milliards de Microsoft, 10 pour être précis. OpenAI a GPT3, chatGPT et bientôt GPT4. Google fait un bénéfice de plus de 70 milliards par an (on imagine la trésorerie associée...), possède des datacenters partout, et a actuellement un modèle documenté (palm) 3 fois plus gros que GPT3 avec 540 milliards de paramètres.
Payer 40 000 ou même 200 000 personnes pour qualifier un dataset n’est même pas une question pour Google. Refaire un chatGPT, de plus grande dimension, est donc facile pour l’entreprise.
On rappellera d’ailleurs que Google a mis à la porte Black Lemoine qui soutenait que LaMDA, le modèle conversationnel de Google, était conscient. Google a donc peut-être déjà un modèle du même type que chatGPT. Ma prédiction complètement arbitraire est qu’en 6 mois maximum Google peut sortir un meilleur produit que chatGPT, si l’entreprise décide que c’est une priorité maximum.
La vraie problématique est en fait financière : aujourd’hui Google base ses revenus sur un modèle publicitaire qui reste très rentable. Un outil-assistant, qui ferait en partie le search, doit trouver sa monétisation. Mettre en place de la publicité dans un assistant conversationnel paraît compliqué, tandis qu’un modèle par abonnement paraît plus réaliste. Et sur la monétisation via abonnement, Microsoft est beaucoup plus avancé avec son abonnement au pack office.
Une autre question est de savoir ce qui se passera lorsque tout cela deviendra payant. Aujourd’hui chatGPT a 1 million d’utilisateurs - c’est beaucoup, mais ce n’est rien par rapport à la masse des utilisateurs de Google - et l'outil est en panne la moitié de la journée (j’exagère). Qui paiera 40 dollars par mois pour avoir accès à un outil qui fait la moitié du search ? Et qui devra se brancher sur un moteur (qui voudra aussi sa part, augmentant donc le prix).
En résumé pour cette deuxième question, je pense que Google est dans une position inconfortable avec des grosses décisions stratégiques à prendre, mais pas à risque comme on voudrait bien le croire. Et si le problème de la monétisation se résout, c’est Google qui reprendra le lead très rapidement.
Conclusion
En conclusion, il n’y a comme souvent plus grand chose à dire. Nous vivons actuellement un moment important en matière de technologie, et le premier secteur qui est disrupté, au moins en partie, est le Web, qui est notre gagne-pain et notre écosystème. De nombreux métiers vont subir des changements profonds, on parle du search, mais ce sont les métiers du webmarketing, du SEO et de la rédaction web qui devraient le plus réfléchir à leur avenir, c’est le moment de se réinventer (encore ?).
Références
[1] https://openai.com/blog/chatgpt/
[2] Ouyang, Long, et al. "Training language models to follow instructions with human feedback." arXiv preprint arXiv:2203.02155 (2022).
https://arxiv.org/abs/2203.02155
[3] Brown, Tom, et al. "Language models are few-shot learners." Advances in neural information processing systems 33 (2020): 1877-1901.
https://arxiv.org/pdf/2005.14165.pdf
[4] https://twitter.com/johnschulman2
[5] https://www.ciocoverage.com/openais-chatgpt-reportedly-costs-100000-a-day-to-run/
Sylvain Peyronnet, concepteur de l'outil SEO Babbar.
de nous rejoindre