Rechercher dans Google photos

Dans le billet Faire de l'OCR avec Google Keep j'avais partagé comment extraire du texte d'une image grâce à l'outil fourni par Google. 

En utilisant Google Photos, il s'avère que l'OCR est effectif donc que vous pouvez retrouver des images à partir de texte inclus dans la photo, mais pas que...

Contexte du billet Rechercher dans Google photos 

J'utilise Google Photos depuis des années, d'ailleurs les illustrations de ce blog y sont stockées.

J'avoue qu'il y a encore plein de fonctionnalités que je n'ai pas découvertes, mais cette faculté de retrouver une image à partir de texte photographié m'a laissé rêveur (je n'ose imaginer l'organisation des index qui permettent de retrouver tout ça).

Initialement je comptais juste faire la vidéo publiée sur Youtube que vous pouvez consulter ci-dessous, l'essentiel du message y est décrit, mais compte tenu des difficultés rencontrées pour en faire la capture, j'ai opté pour une capture de l'écran de l'Ipad à l'aide de l'application Quick Time Player qui permet justement de le faire.

Sauf que le scénario prévu et testé sur Chrome ne fonctionne pas tout à fait pareil dans l'application disponible sur IOS, j'ai donc opté pour un billet pour compléter la Vidéo que voici :

Principales fonctions décrites dans la vidéo

Recherche par identification d'objet dans l'image ou la vidéo

L'exemple de la recherche de Vélo est assez explicite. Les vélos ou morceaux de vélos sont bien identifiés et permettent la sélection des images.

Ce qui est plus surprenant c'est dans la vidéo le dessin du vélo sur le paillasson a permis de sélectionner la vidéo lors du filtre. Ca veut dire que la vidéo est analysée et les données extraites pour pouvoir justement les retrouver.

J'avais déjà remarqué que la reconnaissance faciale fonctionnait depuis des lustres, je ne pensais pas que c'était généralisé aux objets. 

Big brother ? Peut-être, comme mentionné dans la vidéo ça peut faire peur mais d'un autre côté c'est très pratique ! 

Recherche par identification de texte dans l'image ou sa description (en particulier localisation de la prise de vue)

L'exemple de l'étiquette de la bouteille de vin permettant de retrouver quand j'en avais bu, voire de retrouver l'adresse du producteur n'était pas vraiment une fonctionnalité mise en avant. 

J'imagine que vous pourrez en trouver d'autres, c'est le but de ce partage.

Spécificité non décrite dans la vidéo

En changeant d'application et d'ordinateur je me suis retrouvé avec une difficulté avec les guillemets, en effet pour le moteur de recherche : « Dutertre » et "Dutertre" n'ont pas la même signification.  

Avec IOS sur Ipad, les guillemets sont automatiquement du type « Dutertre » et là pas d'imposition de l'expression exacte, du tertre ou dutertre sont extraits.

Avec "Dutertre" la photo prise place du tertre n'est plus extraite, il faudra qu'à l'occasion je prolonge mes recherches pour voir si ce détail est contournable sans avoir à changer les paramètres généraux du terminal.

Il y a sûrement d'autres fonctionnalités à découvrir : j'ai maintenant un billet que je pourrai compléter au fil des découvertes ou éventuellement à partir de vos commentaires.

Billet publié par  Louis CHATEL le 2/07/2021