Caffe2Go : Facebook dévoile une étonnante plateforme d’intelligence artificielle

Lors du Web Summit de Lisbonne, Facebook a présenté les capacités mobiles de sa plateforme d’intelligence artificielle dénommée Caffe2Go.

Basé sur le deep learning (réseaux neuronaux), elle ouvre de nouvelles perspectives sur terminaux mobiles (sur iOS et Android).

« Nous pouvons créer des contrôles gestuels, où l’ordinateur peut voir où vous pointez et activer différents styles ou des commandes. Nous pouvons reconnaître les expressions faciales et effectuer des actions connexes, comme mettre un filtre ‘yay’ sur votre selfie quand vous souriez« , explique Mike Schroepfer, Chief Technology Officer de Facebook, dans un billet de blog.

Mais, Facebook a également fait la démonstration bluffante d’un traitement en temps réel sur une vidéo. En effet, de manière similaire à l’application d’origine russe Prisma, Caffe2Go permet de transférer différents styles d’artistes tels que Van Gogh ou Claude Monet sur une image en mouvement. La technique est appelée « transfert de style ».

A la différence de Caffe2Go, Prisma ne peut toutefois pas effectuer le traitement en temps réel et certains filtres nécessitent une connexion à internet pour un traitement déporté dans le cloud. Le système de Facebook peut fonctionner sans connexion à Internet et effectuer un rendu en temps réel.

De surcroît, le traitement se fait localement sur le smartphone, là où le deep learning nécessite normalement que le contenu « soit envoyé vers des data centers pour le traitement sur des serveurs pour le calcul à haute performance (big computing) ».

Le cas échant, le traitement sur une vidéo live nécessite d’être équipé d’un puissant PC. Facebook annonce « être capable de fournir le traitement IA sur certains smartphones en moins d’un 1/20ème de seconde ». Cela correspond au temps de clignement d’un oeil humain.

Le framework derrière Caffe2Go est maintenant embarqué dans les applications mobiles du groupe. Les filtres artistiques alimentés par cette voie seront mis à disposition du grand public.

Selon Wired, la fonctionnalité serait d’ores et déjà disponible sur l’application Facebook en Irlande et arriverait rapidement aux Etats-Unis.

Facebook prévoit également de rendre open source son framework Caffe2Go dans « les prochains mois ».

L’introduction de telles fonctionnalités de filtres live aussi ambitieuses dans des applications telles que Instagram, WhatsApp ou Facebook Messenger pourrait leur donner un avantage de taille sur la concurrence.

Facebook n’est pas le seul géant de la sphère IT à s’intéresser de près au deep learning. Google a développé le framework Tensorflow rendu open source tandis sur Microsoft a Microsoft Cognitive Toolkit (MCT), également open source mais plus orienté machine learning (apprentissage automatique).

(Crédit photos : @Facebook)