Un algorithme peut-il déjouer les retouches Photoshop ?

Dans quelle mesure peut-on créer un algorithme capable de détecter et éventuellement de restaurer les photos retouchées avec Photoshop ?

Des chercheurs d’Adobe se sont penchés sur la question. En association avec des pairs de Berkeley, il se sont plus précisément intéressés à l’outil « Modification des traits du visage ».

Cette composante du filtre Fluidité détecte automatiquement les caractéristiques faciales. Elle aide, pour reprendre les termes d’Adobe, à « les modifier pour embellir un portrait ou ajouter une touche amusante à une photo ».

Et Photoshop créa la data

Pour entraîner leur algorithme, les chercheurs ont récupéré 185 000 photos de visages sur Internet – principalement via OpenImage.

Ils ont tiré parti de la prise en charge du JavaScript dans l’outil « Modification des traits du visage » pour automatiser la retouche de l’ensemble des images. Chacune a subi six fois ce processus.

Un échantillon de test a été ajouté à cet ensemble. En l’occurrence, 50 images Flickr retouchées par un artiste. Avec dans la moitié des cas l’objectif de rendre le visage plus beau et dans l’autre moitié, de modifier son expression.

Un test a été réalisé auprès de 40 humains par l’intermédiaire du service Amazon Mechanical Turk. Chacun a eu 35 paires d’images à analyser. Six secondes étaient laissées à chaque fois pour détecter l’image modifiée.
Le taux de réussite s’est élevé à 53,5 %.

Au meilleur de son optimisation, l’algorithme a atteint 99,4 % de taux de réussite sur cet exercice. Il a réalisé la même performance – avec un paramétrage légèrement différent – sur le test à une seule image (question : est-elle ou non retouchée ?).

Ça marche… pour les visages

Approfondir l’entraînement de l’algorithme avec des données supplémentaires (variation du contraste, de la luminosité, de la saturation, de la compression jpeg…) ne relève pas le taux de réussite à une image. Il permet toutefois de déjouer assez efficacement les images imprimées et « renumérisées ».

Les photos en « haute résolution » (au moins 700 pixels de largeur) n’apportent pas de meilleures performances. Le résultat est même un peu moins bon sur le test à 2 images.

Qu’en est-il du potentiel de généralisation de l’algorithme ? On est sur la bonne voie pour ce qui est des visages : avec les photos retouchées par l’artiste, on en arrive à 94,7 % de réussite à 1 image et 96 % à 2 images (71,1 % pour l’humain).
L’algorithme ne peut cependant pas détecter la même technique appliquée à autre chose que le visage. Même si ses performances sont correctes (63 % à une image et 75,8 % à deux images).

Illustrations © Adobe