Machine learning : les biais des algorithmes sont-ils une fatalité ?

Recommander des livres, simuler la propagation d’une maladie, piloter des automobiles, personnaliser un fil d’activité sur les réseaux sociaux…

Les algorithmes « sont partout » et leur développement pose des enjeux d’éthique.

La Cnil dressait ce constat dans un rapport rendu fin 2017. Elle recommandait notamment d’établir un principe de « loyauté » des algorithmes. Non seulement envers les individus, mais aussi vis-à-vis des « grands intérêts collectifs dont l’existence pourrait être directement affectée ».

La loyauté ne saurait, selon Patrice Bertail, David Bounie, Stéphan Clémençon et Patrick Waelbroeck, être confondue avec l’idée de neutralité. Cette dernière suppose que les algorithmes soient capables de restituer une représentation fidèle de la réalité. Ce qui semble incompatible avec le fait qu’ils trient des informations selon certains principes.

Ces quatre chercheurs (le premier étant de l’université Paris-Nanterre ; les trois autres, de Télécom ParisTech) se sont intéressés à la question de l’équité. En l’occurrence, la capacité des algorithmes à ne pas faire de distinction entre les personnes en fonction d’attributs protégés par la loi (âge, sexe, origine ethnique…).

Leurs travaux  sur les algorithmes d’apprentissage automatique, ceux qui déterminent des règles de décision à partir de l’analyse de données, ont révélé une tendance à reproduire les valeurs implicites des humains*. Et donc à guider parfois vers des décisions biaisées par rapport à un comportement rationnel ou à la réalité.

Des algorithmes qui nous ressemblent

Une partie des biais repérés sont dits « cognitifs ». Ils sont liés à la manière dont les algorithmes sont écrits.

Le programmeur peut avoir suivi des modélisations populaires sans s’assurer de leur exactitude (cas du « mouton de Panurge »). Il peut aussi favoriser sa vision du monde (biais d’anticipation et de confirmation) ou encore déceler des corrélations entre deux événements indépendants (biais de « corrélations illusoires »).

D’autres biais sont dits « statistiques ». Ils concernent en premier lieu les données d’entrée – en d’autres termes, celles sur lesquelles les algorithmes s’entraînent.

L’algorithme de recrutement d’Amazon est un cas emblématique de ces biais des données. Nourri avec des milliers de CV que le groupe américain avait reçus en l’espace de dix ans, le programme était chargé d’attribuer aux candidats une note de 1 à 5.

Les profils en adéquation avec des postes à pourvoir avaient fréquemment de mauvaises notes s’il s’agissait de femmes. En parallèle, étaient favorisés des mots-clés plus présents dans les CV des hommes.

Les profils en adéquation avec des postes à pourvoir avaient fréquemment de mauvaises notes s’il s’agissait de femmes. En parallèle, étaient favorisés des mots-clés plus présents dans les CV des hommes.

Les chercheurs donnent un autre exemple, dans le domaine de la médecine : la tendance à baser l’apprentissage sur des données relatives à un seul type de population. Ils notent en outre que l’effet « biais des données » est renforcé chez les algorithmes qui se nourrissent des données qu’ils produisent.

Du particulier au général

Dans la catégorie des biais statistiques figurent ceux dits de « variable omise ». Ils sont dus au fait que certains éléments ne sont pas toujours disponibles pour produire les résultats. La difficulté à codifier et à incorporer lesdits éléments dans des algorithmes peut en être le cause.

La législation est un autre obstacle potentiel. Le RGPD l’illustre : comment lutter contre la discrimination à l’égard des femmes ou des minorités sexuelles s’il est impossible de collecter des données sur le genre ?

Bertail et al. distinguent deux autres types de biais statistiques, respectivement dits « de sélection » et « d’endogénéité ».

Le premier apparaît lorsque les caractéristiques de la population étudiée sont différentes de celles de la population générale.

Le chatbot Tay de Microsoft, conçu pour apprendre de ses discussions avec les twitteurs, en a souffert. Quelques internautes sont parvenus à en modifier le comportement, jusqu’à lui faire tenir des propos racistes.

Les chercheurs donnent un autre exemple : le calcul du score de crédit pour l’attribution d’un prêt bancaire. Et mentionnent, à ce sujet, un algorithme qui, pour déterminer la catégorie de risque de l’emprunteur, ne se base que sur des personnes qui ont pu obtenir un emprunt dans le même établissement.

Le biais d’endogénéité repose sur le fait que pour expliquer les événements présents, les données historiques sont parfois moins utiles que l’anticipation de l’avenir.

Ce cas se présente entre autres sur les marchés financiers, où les prix reflètent plutôt les anticipations des profits futurs. Il se pose aussi eu égard au score de crédit : un prospect avec un mauvais historique de remboursement peut très bien changer de style de vie lorsqu’il décide de fonder une famille.

Biais économique : combien ça coûte ?

Les algorithmes peuvent également être biaisés pour des raisons de coût. Ce sont les biais économiques. Google favorisant ses propres services dans son moteur de recherche en est un exemple.

Il en va de même pour cet algorithme qui était censé diffuser des annonces publicitaires avec comme premier objectif d’attirer un public féminin vers les domaines des sciences, de la technologie, de l’ingénierie et des mathématiques (STEM). Pour optimiser le rapport coût-efficacité de la démarche, il a privilégié… les hommes, moins chers à cibler.

La massification des données disponibles (Web, IoT, réseaux sociaux…) n’est pas étrangère à ces biais : les collectes sont facilitées, mais se sont beaucoup plus souvent sans plan d’expérience.

Corriger les biais

Dans ce contexte, il peut être judicieux de compléter l’information par l’intermédiaire de modèles statistiques.

Une méthode courante consiste à remplacer les valeurs des populations manquantes par la valeur d’individus ou la moyenne de valeurs d’individus ayant des caractéristiques similaires. Elle n’est cependant pas sans risque si on utilise un modèle lui-même biaisé.

Autre piste : redresser l’algorithme d’apprentissage. Sur ce volet, la théorie des sondages entre en jeu. Elle consiste d’une part à comprendre pourquoi certaines classes d’individus sont peu représentées dans la base de données. Et d’autre part à modéliser la probabilité qu’un individu présentant certaines caractéristiques y figure (« probabilité d’inclusion »).

Si on constate que le phénomène ou le problème prédictif étudié est indépendant du mécanisme de sélection, les biais peuvent être ignorés. Sinon, une correction peut s’effectuer en incluant, dans l’analyse, des variables auxiliaires expliquant la sélection.

Alternativement, on pourra rééchantillonner l’algorithme d’apprentissage à travers la création de populations artificielles. Il peut s’agir de répliquer des individus comme d’en supprimer, mais aussi d’en créer, par exemple par interpolation.

Se pose aussi la question de la fenêtre temporelle sur laquelle doit se dérouler l’analyse des données. Trop restreinte, elle peut conduire à ignorer des tendances de long terme, des effets saisonniers…

Equité : une contrainte parmi d’autres

Qu’en est-il du principe d’équité ? Il peut être intégré aux algorithmes sous diverses formes de contrainte. Le problème, c’est que sa formalisation n’est pas harmonisée.

Bertail et al. ont retenu trois définitions formelles :

• Ne pas prendre en compte, dans les méthodes de classification ou de prédiction, les attributs protégés. La probabilité d’un résultat est ainsi égale pour tous les individus, indépendamment de leur appartenance à un groupe
• La probabilité d’un résultat est égale pour tous les individus appartenant à un même groupe
• Les résultats doivent être indépendants des attributs protégés après un contrôle du risque estimé

L’exemple des admissions dans un collège permet de constater que ces définitions sont incompatibles. L’équité de groupe stipulerait que les taux d’admission soient égaux pour des attributs protégés, alors que l’équité individuelle exigerait que chaque personne soit évaluée indépendamment de son genre.

Avec la biométrie se pose le même type de problème : l’équité pourrait conduire à souhaiter que le taux de faux positifs d’un logiciel de reconnaissance faciale soit comparable pour tous les groupes ethniques, indépendamment des performances pures.

Algorithmes, des boîtes noires…

Pour caractériser la loyauté et l’équité des algorithmes, encore faudrait-il en comprendre le fonctionnement même et savoir interpréter les règles de décision produites.

On touche là aux notions d’interprétabilité et d’explicabilité. Avec une fin souhaitable : apporter aux personnes concernées un éclairage tel qu’elles seraient en mesure de réfuter des résultats en cas de défaut.

L’article 22 du RGPD va dans ce sens. Il donne aux individus le droit de ne pas faire l’objet d’une décision fondée exclusivement sur un traitement automatisé (y compris le profilage) qui aurait sur eux des effets juridiques ou qui les affecterait « de manière significative de façon similaire ».

Un tel traitement peut avoir lieu sous certaines conditions (nécessaire à l’exécution d’un contrat, autorisé par le droit d’un État membre de l’UE…). Mais la personne concernée a le droit d’obtenir une intervention humaine de la part du responsable du traitement. Ainsi que d’exprimer son point de vue et de contester des décisions algorithmiques.

… délicates à ouvrir

Pour permettre la compréhension des algorithmes, une solution consisterait à les rendre publics ou à les mettre sous séquestre en vue de les auditer (la Cnil suggère de créer une plate-forme nationale à cet effet).

Cela suppose d’avoir accès aux données d’entrée et aux codes sources, mais aussi aux corrélations, inférences et autres variables intégrées aux algorithmes. Or, une telle approche pose des problèmes vis-à-vis du droit à la propriété intellectuelle, de la protection du secret des affaires, de la sécurité nationale et plus globalement des exigences légales de confidentialité.

Les discriminations que les algorithmes sont susceptibles d’engendrer soulèvent une autre question : à qui la responsabilité ? L’attribution peut se révéler délicate, tout particulièrement en cas de non-utilisation d’attributs protégés.

Autorégulation : la meilleure méthode pour tester ?

Les chercheurs invitent à considérer les enjeux de loyauté, d’équité, d’explicabilité et de responsabilité au même niveau que la recherche d’efficacité. Ils en appellent à la diffusion d’une « culture des données et des algorithmes », et pas uniquement dans des cursus universitaires spécialisés.

En France, l’Inria s’est vu confier, dans la lignée d’un rapport du Conseil général de l’économie, la mission d’établir les « normes » définissant un algorithme dit « loyal » entendu comme non discriminatoire. Il en a résulté la plate-forme collaborative TransAlgo, créée pour favoriser le développement de méthodes de test d’algorithmes.

Au niveau européen, il y a notamment cette résolution du Parlement qui prévoit un « code de conduite éthique pour les ingénieurs en robotique ».

Chez les intéressés, la tendance est à éviter la réglementation à travers une approche autorégulatoire. Celle-ci est symbolisée notamment par des chartes généralement non contraignantes et reposant sur l’adhésion volontaire.

SAP a suivi cette voie, tout en montant un comité consultatif externe dédié à « l’intelligence artificielle éthique ».

Du côté d’IBM, on a développé un service cloud destiné à analyser les décisions que prennent les algorithmes, à détecter les éventuels biais et, les cas échéant, les éliminer. Le groupe américain est allé plus loin en promettant d’indiquer clairement quand et comment ses technologies d’IA sont utilisées. La communication portera aussi bien sur les sources de données que sur les méthodes utilisées pour l’apprentissage.

En France, les démarches du législateur se heurtent à un obstacle de taille : l’absence de définition fixée du « traitement algorithmique ».

L’algorithme, lui, a une définition inscrite à un arrêté de 1989 relatif à l’enrichissement du vocabulaire de l’informatique : « Étude de la résolution de problèmes par la mise en œuvre de suites d’opérations élémentaires selon un processus défini aboutissant à une solution ».

* Thomas Kuhn l’affirmait dans « La Structure des révolutions scientifiques », paru en 1962 : les faits scientifiques constituent des représentations subjectives de la nature, en tant que produits d’un travail socialement conditionné tout comme le reste des activités humaines. Il en voulait pour preuve parmi d’autres le cas de l’hypothèse héliocentrique.