Sécurité IT : qui veut reprogrammer l’intelligence artificielle ?

Dans quelle mesure peut-on détourner des algorithmes d’apprentissage automatique pour les faire exécuter d’autres tâches que celles pour lesquelles ils ont été conçus ?

Trois chercheurs de l’équipe Google Brain ont abordé la question sous l’angle de la « reprogrammation » des réseaux de neurones artificiels.

Leurs travaux ont été menés dans le domaine de la vision par ordinateur. Ils s’inscrivent dans la continuité d’expériences basées sur l’introduction d’éléments « perturbateurs » dans les données fournies aux algorithmes.

Ces « éléments perturbateurs » peuvent aussi bien réduire les performances que produire des résultats arbitraires. Dans ce dernier cas, l’approche « traditionnelle » consiste à calculer les résultats escomptés avant de les transmettre à l’algorithme ; donc à réaliser les tâches d’apprentissage au préalable.

Les chercheurs sont parvenus à inverser la logique. Ils ont exploité les flux de données entrants non pas pour faire produire aux réseaux neuronaux des résultats précalculés, mais pour leur faire exécuter des tâches spécifiques.

Plus un réseau neuronal est profond, plus il est « flexible ». On peut lui confier des tâches d’autant plus complexes, sans qu’elles soient nécessairement liées à celle pour laquelle l’algorithme a été programmé à l’origine.

Même entraînés pour résister à la reprogrammation, les réseaux de neurones restent largement vulnérables, constatent les chercheurs.

Les six algorithmes manipulés par leurs soins étaient dédiés à la classification d’images. Ils ont été reconvertis pour dénombrer des carrés plutôt que de découvrir des objets ou encore pour identifier des formes dans un autre corpus que celui qu’ils auraient dû étudier.

Ces capacités de reprogrammation peuvent aussi bien fausser la détection de logiciels malveillants que transformer des assistants virtuels en espions, résoudre automatiquement des captchas ou encore miner des crypto-monnaies.

Crédit photo : A Health Blog via VisualHunt / CC BY-SA