Jarvis : à quoi ressemble le majordome IA de Mark Zuckerberg ? (vidéo Facebook)

C’était l’une des résolutions de Mark Zuckerberg pour 2016 :  développer une intelligence artificielle sous la forme d’un assistant personnel.  Que devient la conception de « Jarvis » (en référence au majordome Edwin Jarvis, fidèle compagnon de Tony Stark dans la saga du super-héros Iron Man).

Un an après l’annonce de ce challenge, dans un billet de blog, le fondateur de Facebook a effectué un point d’étape de son projet IA. Il admet que cette tâche « a été plus facile que prévu » (comparé à sa deuxième résolution chronophage 2016 qui consistait à se remettre au jogging de manière régulière).

Pour ses besoins individuels, Mark Zuckerberg a développé une plateforme de reconnaissance vocale, visuelle et textuelle. En filigrane, il s’agissait de « connaître l’état d’avancement de l’intelligence artificielle ».

Un exercice stimulant selon le patron milliardaire du réseau social qui garde la main sur le code malgré ses responsabilités en termes de management. « Ces challenges m’ont toujours permis d’apprendre plus que ce que j’attendais. »

Concrètement, Jarvis s’adresse à son téléphone ou à son ordinateur pour contrôler sa maison (dont les lumières, la température, les appareils, le musique et la sécurité). Outre la dimension domotique nouvelle génération, la plateforme IA apprend ses goûts et peut apprendre les mots permettant de divertir sa petite fille Max.

Dans cette optique, il a eu recours à plusieurs techniques pour monter en expertise IA & machine learning : traitement du langage naturel, reconnaissance vocale et faciale. Le tout écrit en divers langages : Python, PHP et Objective C.

Mark Zuckerberg explique qu’il s’est attelé à écrire le code source pour connecter les différents systèmes qui « parlent ensemble » malgré l’écueil des langages et des protocoles différents.

Ainsi, le « touche-à-tout techo » déclare avoir exploité un système Crestron pour la lumière, le thermostat et les portes, un système Sonos avec Spotify pour la musique, une caméra Nest pour surveiller Max, un téléviseur Samsung. Et, bien entendu, le tout est interconnecté aux systèmes de Facebook (dont les serveurs).

Une exploration qui l’a conduit à effectuer du « reverse engineering » des API (connecteurs logiciels) pour arriver à ses fins. Mark Zuckerberg a ainsi pu constater que la domotique et les services connectés manquaient d’une cohérence globale.

Juste un challenger DIY (mais quand même)

Bien entendu, Jarvis souffre de la comparaison avec Alexa (Amazon), Google Assistant, Siri (Apple) ou encore Cortana (Microsoft). Mark Zuckerberg s’est plutôt positionné sous l’angle « DIY » (Do-It-Yourself), sans forcément rechercher un niveau de sophistication. Il s’agissait d’un challenger à titre individuel.

Ce projet personnel ne reflète bien entendu pas l’avance prise par son groupe Facebook dans le domaine de l’IA, qui dispose d’un laboratoire dédié.

Le groupe dispose ainsi de la division FAIR (Facebook AI Research inauguré en 2013), dirigée par le chercheur Français Yann LeCun, (titulaire de la chaire « Informatique et Sciences Numériques » du Collège de France) qui est à la pointe du deep learning, une expertise IA.

Petit vidéo de la vie quotidienne de la famille Zuckerberg et de l’usage de Jarvis (via le compte de Mark) :

(Crédit photo : @Facebook)