Réalité augmentée : Microsoft cherche vraiment les clés

Quelles ambitions pour Microsoft dans le domaine de la réalité augmentée ?

Un brevet déposé au mois de septembre et récemment publié donne quelques indications.

Attribué aux dénommés Mike Scavezze, Jason Scott, Jonathan Steed, Ian McIntyre, Aaron Krauss, Daniel McCulloch et Stephen Latta, il s’inscrit dans la continuité d’un autre brevet enregistré en 2012 sur le « suivi d’objets ».

On y trouve la description d’un système informatique mobile capable d’analyser son environnement, d’y détecter des objets déplaçables et d’en surveiller certains.

L’analyse en question peut se fait par l’intermédiaire de multiples capteurs : présence, profondeur, localisation, mouvements oculaires, etc.

Les schémas explicatifs présentent une paire de lunettes dotée d’une caméra. Microsoft donne plusieurs exemples dont celui de clés cachées sous un journal : en réponse à une demande de l’utilisateur, elles sont mises en avant sur les verres des lunettes.

Avec ou sans suivi

Le suivi peut se limiter à des objets considérés comme suffisamment « importants » compte tenu de différentes éléments contextuels. On parle là du nombre d’interactions réalisées avec cet objet, de son utilisation par d’autres personnes ou encore de sa proximité à d’autres objets suivis.

Le statut « surveillé » d’un objet peut être défini par le fournisseur du service ou par l’utilisateur, mais aussi se faire par apprentissage de la machine, sur la base d’un « score d’importance ».

Celui-ci évolue en fonction des situations. Il s’affine à mesure que l’ordinateur comprend les habitudes de l’utilisateur. Lequel a la possibilité de définir des contraintes spatiales et temporelles – par exemple, ne suivre un passeport que sur les périodes de congé ou uniquement lorsqu’il est hors du domicile.

Il reste du lait ?

Le brevet inclut un système de guidage vers les objets, par le biais de flèches ou de lignes. Il est possible, pour faciliter la recherche, de corréler les informations émanant d’autres personnes situées dans le même lieu et qui portent un dispositif compatible.

Stockables en local ou à distance, les données ne sont pas nécessairement traitées en temps réel. Elles peuvent ne l’être que lorsque l’utilisateur demande des informations. Une image de l’objet qu’il recherche peut alors lui être montrée pour lui permettre de faire la différence avec des objets semblables.

Au-delà du portefeuille qu’on oublie au restaurant ou du téléphone mobile qu’on laisse sur la table de nuit, Microsoft évoque le suivi du contenu d’un réfrigérateur… jusqu’à avertir du contenu d’une brique de lait, en reconnaissant éventuellement sa marque et sa contenance.