5 outils et fonctionnalités de recherche d’images innovants

Fig. 1. Identfication proposée par Wolfram Image Identification Project.

Vous pourrez ensuite lui indiquer s’il a réussi l’identification afin de l’aider à « apprendre ».

Si vous lui fournissez la photo d’une personne connue, le système ira plus loin et vous proposera des données supplémentaires la concernant.

Fig. 2. Données supplémentaires ajoutées à la recherche d'un personnage connu.

Google Image Analysis Tool (https://cloud.google.com/vision/#dmonstration-de-lapivision)

Bien évidemment, Google n’est pas en reste sur le sujet et a lancé en avril dernier un puissant service accessible via une API mais qu’il est toutefois possible de tester. La photo que vous lui soumettez va être analysée de 7 manières différentes. L’algorithme tentera d’identifier :

• Des visages ou des lieux (avec dans le premier cas une détection des sentiments exprimés) :

Fig. 3. Détection des émotions sur les visages présents dans la photographie.

• Des objets :

Fig. 4. Identification d'objets.

• Des labels : c’est-à-dire des éléments ou des concepts identifiés dans la photo mais qui n’en sont pas le sujet principal :

Fig. 5. Détection de concepts et éléments liés à la photographie.

• Des « web entities », c’est-à-dire les mots-clés qui ont été associés à l’image à travers sa réutilisation sur le Web (par exemple dans les titres qui lui ont été donnés dans les journaux l’ayant reprise).

Fig. 6. Mots-clés associés à la photographie dans des publications en ligne.

• Des propriétés : le panel des couleurs utilisées dans la photo.

Fig. 7. Panel des couleurs présentes dans la photographie.

• Safe search : indique si le contenu de l’image est, a priori, pour adultes, parodique, médical, violent, raciste.

Un outil extrêmement puissant, vous l’aurez compris, qui ouvre la porte à de très nombreuses applications, notamment dans le domaine de la reconnaissance faciale.

EveryPixel (https://labs.everypixel.com/api/demo)

EveryPixel est une société singapourienne qui propose une API intégrant quatre « outils ». Ainsi, après avoir soumis une photo, le service propose quatre types d’analyses :

• Image Keywording : présente les mots-clés thématiques qu’il associe à celle-ci.

Fig. 8. Présentation de mots-clés en rapport avec la photo.

• Stock photo scoring : un algorithme va ici analyser la qualité technique et esthétique de la photo et lui attribuer un score. Le produit est destiné aux banques d’images en ligne et doit leur permettre de faire rapidement le tri dans les clichés.

Fig. 9. Détection de la qualité technique et esthétique des images.

• UGC Photo scoring : l’idée est un peu la même ici, mais plutôt orientée vers les médias sociaux afin de leur permettre d’attribuer des notes aux photos soumises par leurs utilisateurs (User Generated Content) et de pouvoir ensuite proposer des classements ou des filtres.
• Age recognition : enfin, et toujours à l’aide d’algorithmes apprenants, le système va tenter de déterminer l’âge des personnes présentes sur une photo et les résultats sont plutôt probants (même s’il a rajeuni l’auteur de ces lignes de 3 ans 🙂 ).

PimEyes (https://pimeyes.com/en/search)

Ce service, lancé en 2019, permet de rechercher les photos dans laquelle une personne est présente à partir d’une photo originale, ce qui diffère des services de recherche par similarité  de type TinEye, qui recherchent les photos identiques à un original.  Le service dit indexer plus de 50 millions de sites web afin d’effectuer ces comparaisons.

Nous avons lancé le test avec une photo de l’auteur Joyce Carol Oates.

Fig. 10. Interface permettant d'ajouter les photos des personnes ciblées.

Notez d’ailleurs qu’il est possible d’ajouter plusieurs photos de la personne à rechercher afin de permettre à l’algorithme d’être plus précis.

On peut voir dans les résultats que PimEyes trouve sans problème des photos de l’écrivaine dans des contextes variés.

Fig. 11. Page de résultats de PimEyes.

On constate également que seule une partie des résultats est accessible dans la version gratuite de l’outil. Ils peuvent être filtrés par noms de domaine et période de publications. Enfin, la version payante propose un système d’alerte qui vous préviendra lorsqu’une nouvelle photo de la personne ciblée sera détectée. Un bel outil de veille sur l'image donc. La limite étant, comme toujours avec les services basés sur le Machine Learning, qu’il fonctionne très bien avec les personnes connues dont les nombreuses photos en ligne constituent un corpus d’apprentissage suffisant, mais beaucoup moins avec celles du quidam moyen. Quoiqu’il en soit, il s'agit là d'un service à suivre de près.

Bing Visual Search (https://www.bing.com/visualsearch)

Même si la fonctionnalité date de 2017, il serait dommage de ne pas terminer ce tour d’horizon sans évoquer  Bing Visual Search. Il s’agit d’une fonctionnalité qui, via Bing Images, permet de zoomer sur le détail  d’une photo et d’afficher des formes similaires ou proches, comme on peut le voir ci-dessous.

Fig. 12. Exemple de photographies aux formes proches de l'élément choisi.

Avec un peu de patience, on sera bientôt en mesure de mener des recherches à la manière de l’agent Deckard !

Fig. 13. Interface de recherche 3D tirée du film Blade Runner (1982).

On le voit, les fonctionnalités d’aide à la recherche d’images sont nombreuses et offrent des expériences  de plus en plus variées aux utilisateurs. Même si nombre d’entre elles sont déjà payantes ou le deviendront à terme, il est évident que les acteurs vont se multiplier dans ce domaine et il ne serait pas étonnant de voir bientôt des sociétés proposer aux marketeurs et enquêteurs en ligne (OSINT) des suites logicielles ou des services en cloud aux fonctionnalités avancées pour des tarifs de plus en plus dérisoires, comme on l’a souvent vu dans d’autres domaines.