Sylvain Peyronnet : « Google sait différencier un texte écrit par un humain d’un contenu généré automatiquement »

La notion de « contenu généré automatiquement par l’Intelligence Artificielle » commence à envahir nos écrans. Mais est-ce un fantasme total ou une réalité plus ou moins effrayante ? Et comment Google pourra-t-il faire face à une déferlante quasi infinie de tels contenus à l’avenir ? Pour en savoir plus, nous avons posé quelques questions à Sylvain Peyronnet, grand spécialiste du domaine, que nos lecteurs connaissent bien…

Sylvain, les lecteurs d’Abondance et de Réacteur te connaissent bien, on va donc passer les préliminaires de présentation… L’objectif de cet interview est de se poser la question suivante : « Comment Google se prépare-t-il à l’invasion de contenus générés automatiquement via des algorithmes de type GPT-3 dans les années qui viennent ? » D’où, dans un premier temps, cette question : peux-tu nous expliquer en quelques phrases où en sont ces technologies début 2022 ? Quel est l’état de l’art de la création automatique de contenus ?

Je vais commencer par remonter un peu le temps. Cela fait maintenant quelques années que les gros « opérateurs » de l’IA ont entamé un cycle de recherches sur le sujet de l’apprentissage de modèles de la langue de manière un peu générique (en pratique faire de l’apprentissage non supervisé pour apprendre un modèle générique, qui peut être ensuite rendu spécifique en faisant un apprentissage supplémentaire supervisé). C’est l’article scientifique Attention is all you need (https://arxiv.org/abs/1706.03762) qui va débuter ce cycle, avec la définition d’une architecture de réseau de neurones basées sur le mécanisme d’attention : le transformer.

Assez rapidement est alors sorti GPT-1, un premier modèle basé sur cette idée. Le modèle s’est montré plutôt pertinent, et capable de faire des tâches en zero-shot : résoudre des problèmes sans avoir vu d’exemples spécifiques du problème et de ses solutions.

Avec GPT-2 openAI, on a augmenté la taille du modèle et on a pu alors voir des premiers bons résultats émerger (au sens de bon pour l’humain). Le modèle restait cependant assez faible en termes de résumé automatique par exemple. Simultanément, d’autres modèles similaires sont sortis, notamment Megatron (NVidia) et Turing NLG (Microsoft).

Mais ce qui a totalement changé la donne, c’est GPT-3, qui en passant à une certaine taille critique, et avec plusieurs améliorations, montre actuellement des résultats assez impressionnants pour plusieurs tâches du NLP, dont la génération de textes.

GPT-3, c’est le modèle qui est caché derrière la plupart des outils de génération comme jarvis.ai et bien d’autres.

OpenAI prépare déjà le futur avec un modèle GPT-4 500 fois plus gros, et évoque même déjà GPT-5… Bien entendu, les autres opérateurs ne sont pas en reste, avec par exemple un modèle commun Megatron-Turing NLG environ 3 fois plus gros que GPT-3, ou encore le modèle de AI21 Labs : jurassic-1 Jumbo (qui est un poil plus gros que GPT-3, environ 2% plus gros).

Même les plus petits sont de la partie : nous avons par exemple en partenariat avec la startup lighton des modèles propriétaires qui tournent dans yourtext.guru, avec dans les prochaines semaines la mise en place de nouveaux modèles de grande taille en anglais et français.

Voilà par exemple ce que peuvent générer de tels modèles (la question est ce que l’humain a saisi) sur deux exemples (naked mole rat est le nom anglais du rat-taupe nu) :

Rejoignez la communauté Réacteur

Apprenez auprès des meilleurs experts, grâce à leurs partages de connaissances et leurs retours d’expérience.

• Accès immédiat à tous les contenus
• 7 articles d'experts partagés chaque mois
• Des réponses concrètes à vos problématiques de consultants

Je m'abonne

Interview menée par Olivier Andrieu Rédacteur en chef de la lettre « Réacteur ».  Sylvain Peyronnet est concepteur de l’outil SEO Babbar.