Non, cet article ne vous décrit le dernier épisode de la série « Black Mirror » mais des outils très avancés de recherche de visage par reconnaissance faciale, disponibles quasiment pour tous et même parfois gratuitement. Les technologies émanant de Russie sont notamment très pointues dans ce domaine. Voici donc 5 moteurs de recherches d'ores et déjà disponibles, qui vous permettent de rechercher les photos d'une personne, de ses sosies ou tout du moins de gens qui lui ressemblent fortement. Des outils qui font parfois froid dans le dos et qui soulèvent bien sûr quelques interrogations en termes de respect des données personnelles. Quoi, ma gueule ?...

Par Christophe Deschamps


En quelques années, la reconnaissance faciale, basée sur la cartographie 3D et le deep learning, est entrée dans notre quotidien d’une manière étonnante. Grâce à ces technologies, il est désormais possible de déverrouiller son smartphone (iPhone X dès 2017), d’authentifier les passagers dans les aéroports (c’est déjà le cas à Orly et Roissy-Charles de Gaulle), d’ouvrir un compte bancaire à la Société Générale, de se rendre à un évènement sans billet (société Artefact - https://www.artefact.com/), de payer en ligne chez Amazon et Alibaba ou chez un commerçant avec MasterCard (« selfie pay ») et bientôt d’accéder aux services publics en ligne grâce à l’application ALICEM qui devrait être déployée cette année (Authentification en LIgne CErtifiée sur Mobile - https://www.interieur.gouv.fr/Actualites/L-actu-du-Ministere/Alicem-la-premiere-solution-d-identite-numerique-regalienne-securisee).

 

Et les évolutions s’annoncent prometteuses… Avant 2022, selon une étude du cabinet Allied Market Research, le secteur devrait générer 8,7 milliards d'euros de revenus annuels, avec un taux de croissance annuel moyen de 21,3 % sur la période 2016-2022 (https://www.alliedmarketresearch.com/press-release/facial-recognition-market.html). Si les trois secteurs les plus ciblés par cette technologie sont la sécurité, la santé et le commerce, la recherche sur Internet, notamment dans sa composante d’investigation ouverte (OSINT) pourrait aussi en tirer parti. Nous allons donc dans cet article voir quels sont les services orientés « grand public » permettant d’utiliser la reconnaissance faciale.

Pimeyes - https://pimeyes.com/en/

Pimeyes est un service proposé par une société polonaise du même nom. Il permet, après téléchargement d’une photo, de trouver d’autres photos similaires mais aussi, et c’est bien sûr tout l’intérêt de cette technologie, des photos différentes de la même personne. Il ne s’agit donc pas ici de recherche d’images inversée classique comme le proposent Google, Bing Images ou Tineye. Ces outils et fonctionnalités, très pratiques par ailleurs, permettent de trouver des images similaires à une image donnée, des copies en somme (voir des plagiats…), mais n’extrapolent pas, comme les outils présentés dans cet article.

Pour effectuer les tests de ces services j’ai choisi d’utiliser une photo de moi. Non par narcissisme, mais parce que je ne voulais pas publier un article ciblant une personne sans son autorisation.

Pour utiliser Pimeyes, il suffit de télécharger, à partir de leur page d’accueil, la photo de la personne qui vous intéresse. Il est également possible de prendre une photo à partir de la caméra de votre ordinateur (tablette, smartphone,…), ou de donner l’URL de l’image en question.


Fig. 1. Interface permettant d'ajouter des photos dans Pimeyes..

Une fois cela fait, l’outil va lancer ses algorithmes de reconnaissance puis vous proposer ses résultats. Dans notre test, Pimeyes a remonté huit bons résultats, classés en premier, et provenant de 3 clichés différents.


Fig. 2. Résultats de la recherche.

Dans sa version gratuite, le service ne permet malheureusement pas d’accéder aux pages découvertes. Il faut pour cela passer aux formules Premium (de 16€40 à 46,20€ par mois).

Pimeyes va plus loin, puisqu’il propose également un service d’alertes (et donc de veille) qui vous préviendra dès qu’une nouvelle photo de la personne cible (ou de quelqu’un qui lui ressemble) sera découverte par ses robots d’indexation et son algorithme.

Cet outil est plutôt impressionnant et permet de prendre conscience que nos photos, nos visages, sont bel et bien collectés en masse par toutes sortes de services (cf. le récent scandale Clearview https://www.lefigaro.fr/secteur/high-tech/reconnaissance-faciale-clearview-ai-fait-scandale-avec-ses-3-milliards-de-visages-aspires-20200124). Parmi les nombreuses questions que cela pose, l'une apparaît ici de manière flagrante : il faudrait en effet que je paye pour accéder aux liens des pages web qui publient une photo de moi sans que j’en sois toujours informé. Normal ou pas ?

Yandex - https://yandex.ru/images/

Le moteur russe est l’un des plus anciens outils de reconnaissance faciale accessible en ligne puisqu’il a ajouté cette fonctionnalité dès 2011. Pour le tester si vous n’êtes pas russophone, il est préférable d’utiliser Google Chrome et sa fonctionnalité native de traduction automatique (à activer dans la barre d’adresse).


Fig. 3. Fonctionnalité de traduction automatique dans Google Chrome.

Une fois sur la page d’accueil de Yandex Images :

  • Cliquez sur l’icône représentant un appareil photo. Deux possibilités s’offrent à vous :
    • Sélectionner un fichier sur votre disque dur ;
    • Coller l’url d’une image.
  • Yandex charge l’image puis vous propose ses résultats.


Fig. 4. Résultats de la recherche dans Yandex Images.

On ne trouve ici que trois bons résultats, mais le moteur les a classés en premier (et c’est aussi un bon moyen de trouver vos éventuels sosies !). Notez qu’à l’instar de Google Images, il propose également dans la fenêtre de droite les résultats similaires à la photo que vous avez chargée s’il en trouve, ainsi que des descripteurs.


Fig. 5. Proposition de formats différents pour la même image.

Enfin, en bas de page, on trouve une liste de l’ensemble des pages sur lesquelles la photo exacte a été découverte.


Fig. 6. Pages web sur lesquelles l'image a été détectée.

Notez que Yandex permet également de « zoomer » sur une partie d’une photo, par exemple un visage dans une photo de groupe, pour se focaliser sur celle-ci. Puissant… et gratuit ! Ce n’est pas pour rien que ce service est l’un des incontournables de l’investigation sur internet par l’image (IMINT).

Search4faces - https://search4faces.com/

Cet outil en langue russe utilise des bases de données de visages extraites du Facebook russe, VKontakte (https://vk.com/) et de son concurrent, Odnoklassniki (https://www.ok.ru). Il est donc pertinent pour les pays slaves et indique indexer plus de 280 millions de personnes. N’ayant pas créé de profil sur ces sites et afin de pouvoir les tester de manière pertinente, j’ai choisi d’utiliser la photo Wikipedia de Pavel Dourov, fondateur de VK.

  • Dans la version traduite de search4faces cliquez sur « Aller à ».
  • Cliquez sur le bouton bleu « Téléchargez » pour ajouter la photo. Vous avez ici 4 choix :
    • Chargez une image à partir de votre PC ;
    • Prendre une photo ;
    • Ajouter l’URL d’une image ;
    • Ajoutez l’URL de l’image d’un profil Instagram
  • Choisissez éventuellement :
    • le genre ;
    • le pays ;
    • le nombre de résultats ;
    • l’âge approximatif ;
    • la ville.
  • Cliquez sur le bouton bleu « Pour trouver ».

Les résultats sont présentés sous le titre « Allumettes » (« Match » 😊, je rappelle que les tests sur les sites russes ont été fait en mode traduction automatique) et au moins cinq photos différentes du personnage remontent, dont une renvoyant a priori vers son compte OK.ru.


Fig. 7. Résultats de la recherche.

La raison pour laquelle il y a autant de copies de la photo initiale est que beaucoup d’utilisateurs de ces services ont choisi d’illustrer leur profil avec un portrait qui n’est pas le leur.

Findclone - https://findclone.ru/

Ce site, qui se présente comme un service vous aidant à trouver vos sosies, est reconnu comme très puissant lui aussi. Je n’ai toutefois pas souhaité le tester car l’inscription ne peut se faire qu’en donnant son véritable numéro de téléphone.


Fig. 8. Interface de création de compte de FindClone.

On aura toutefois une bonne idée de ses possibilités puisqu’il a été testé et présenté dans deux billets très détaillés par les journalistes d’investigation de Bellingcat (https://www.bellingcat.com/resources/how-tos/2019/02/19/using-the-new-russian-facial-recognition-site-searchface-ru/).

Betaface : https://betaface.com/demo.html

La démonstration de Betaface est un peu plus expérimentale. Elle ne permet pas, dans cette version, de reconnaître ou comparer des photos d’inconnus mais travaille à partir d’une base de données de visages de stars. Elle est en revanche intéressante car elle permet de voir ce sur quoi les algorithmes sont en mesure de travailler et de répondre. J’ai choisi ici d’utiliser une photo de Bruce Willis jeune.

Notez en passant que rien ne vous empêche de charger votre portrait dans Betaface pour voir à quelle « star » vous ressemblez le plus, ou l’inverse.

Avant de charger l’image ou de donner son URL plusieurs options peuvent être cochées :

  • Détecter le contenu présent dans l’image ;
  • Classer le visage dans des catégories (âge, genre, « ethnicity », sentiment exprimé,…) ;
  • Détection de 22 points d’identification ;
  • Détection de 101 points d’identification ;
  • Prise en compte avancé des formes et couleurs (couleur de peau, coiffure,…) ;
  • Uniquement les meilleurs résultats.

Une fois la détection effectuée, il faut cliquer sur le visage pour obtenir des éléments complémentaires.


Fig. 9. Résultats proposés par Betaface.

On peut voir par exemple dans le menu déroulant tous les particularités détectées par l’outil :

  • Genre ;
  • Age approximatif ;
  • Forme des sourcils ;
  • Poches sous les yeux ;
  • Degré de calvitie ;
  • Taille du nez, des lèvres… ;
  • Présence de barbe, moustache… ;
  • Double menton ;
  • Couleurs des cheveux, des yeux ;
  • …

Mais ce n’est pas tout, puisque les boutons rouges permettent d’effectuer plusieurs actions à partir de cette image, dont les plus intéressantes sont :

    • Search celebrities : l’outil compare le visage avec ceux de sa base et vous donne des résultats classés. Un clic renvoie vers une recherche avec le nom de l’acteur sur Google.
    • Search Wikipedia : recherche de visages similaires dans la base d’images commons.wikimedia.org. On voit ici la puissance de l’outil puisque de nombreuses photos récentes de Bruce Willis sont détectées alors que j’avais volontairement choisi un cliché de lui beaucoup plus jeune (tiré du film Piège de cristal).


Fig. 10. Résultats comparatifs tirés de Commons.wikipedia.org.

  • Browse celebrities : accès à une interface graphique dans laquelle les résultats les plus similaires sont positionnés par proximité avec l’image initiale, au centre.


Fig. 11. Interface de comparaison graphique.

Là encore, il s'agit d'un service impressionnant qui permet de comprendre sur quels critères se basent les algorithmes de deep learning, mais également d’en saisir un peu mieux les mécanismes de mise en œuvre. Sans surprise, Betaface est vendu comme un Software Development Kit (SDK), c’est-à-dire un module logiciel capable de s’interfacer avec toute base de données de visages afin de lui appliquer les traitements présentés ci-dessus et d’autres (voir le détail ici : https://www.betaface.com/wpa/index.php/products).

Conclusion

Les services de reconnaissance faciale ne sont pour l’instant pas nombreux à pouvoir être utilisés par tout un chacun et s’il est probable que de nouveaux services s’adressent au plus grand nombre dans les mois qui viennent, il est évident qu’il y aura des contreparties fortes pour l’utilisateur en termes d’anonymat. FindClone, évoqué ci-dessus, donne le ton, mais on a aussi en tête le récent exemple de l’application FaceApp, qui génère des photos de vous plus jeune ou plus vieux et dont la société mère basée en Russie s’arroge les droits une fois téléchargés sur sa plateforme.

Si les bénéfices de ce type de technologies, déjà prouvés par plusieurs enquêtes menées par des sites d’investigation comme Bellingcat ou GIJN (https://gijn.org), sont indéniables, les questions qu’elles soulèvent en termes de respect de la vie privée le sont tout autant. Bien sûr, le pire n’est jamais sûr, mais la question de la sécurité et des technologies de contrôle qu’elle implique est susceptible de faire exploser le principe de liberté individuelle comme c’est déjà le cas en Chine. Leur encadrement sera à la fois indispensable et difficile à mettre en place, surtout au niveau international…

Pour aller plus loin sur ces questions :

 

Christophe Deschamps, Consultant-formateur : veille stratégique, intelligence économique, social KM, e-réputation, mindmapping, IST (http://www.outilsfroids.net/)

 

Articles similaires :