Les algorithmes : un nouvel enjeu pour la lutte contre les discriminations

Le Défenseur des droits et la CNIL ont publié conjointement un rapport sur les algorithmes, portant chacun leurs expertises au service des droits fondamentaux des personnes. Si le recours aux algorithmes n’est pas nouveau, l’utilisation devient de plus en plus massive : au sein du secteur privé et des administrations (prestations sociales, police, justice, hôpitaux, accès aux services publics, procédures d’embauches) conditionnant l’accès aux droits des personnes accompagnées par le secteur social et médico-social. Sujet resté longtemps dans l’angle mort des débats publics, un travail de vigilance doit être mené afin de prévenir les discriminations qui pourraient découler de ces technologies.

Pour rappel :

Un algorithme c’est : la description d’une suite d’étapes permettant d’obtenir un résultat à partir d’éléments fournis. Par exemple, une recette de cuisine est un algorithme permettant d’obtenir un plat à partir de ses ingrédients. Pour qu’un algorithme puisse être mis en œuvre par un ordinateur, il faut qu’il soit exprimé dans un langage informatique et prend la forme d’un logiciel : une application.¹

Une discrimination c’est : la discrimination consiste à favoriser ou défavoriser un individu, en raison de certaines de ses caractéristiques ou de certains de ses choix personnels. Ce traitement différencié des personnes influe sur leurs droits fondamentaux : l’accès aux droits, à un service, à une fonction, etc. ²

Les deux autorités indépendantes font part de leurs préoccupations sur l’effet de ces technologies sur les droits fondamentaux étant conçus par des humains et pouvant donc être biaisés. Les trois formes de discriminations peuvent être à l’œuvre par l’intermédiaire des algorithmes :

Discrimination directe³ : parfois de manière intentionnelle avec l’incorporation d’un biais discriminatoire interdit (sexe, origine, etc.) dans l’algorithme.

Discrimination indirecte⁴ :

• Par un manque de représentativité dans les données mobilisées dans l’algorithme. Par exemple, au niveau du recrutement dans le stock de données d’emploi disponibles, les femmes sont moins représentées et occupent certaines filières de métiers et des postes et rémunérations moindres. Un algorithme utiliser pour le recrutement pourrait déduire que les femmes ne sont pas aussi productives que les hommes et n’accèdent pas autant à des postes à responsabilité. Un recruteur pourrait donc participer à une discrimination indirecte en se fiant à l’algorithme et en ne sélectionnant pas de femmes pour un poste à responsabilité.
• Les algorithmes peuvent aussi mobiliser des critères qui semblent neutres mais qui discriminent une partie de la population. Par exemple, Parcours Sup demande l’établissement d’origine pour postuler, ce qui apparaît comme neutre mais qui devient un facteur discriminant pour les jeunes d’origine immigrée à cause de la ségrégation résidentielle, que l’on connait par exemple en Ile-de-France.

A noter que la combinaison des critères neutres peuvent tendre vers de la discrimination.

–          Discrimination systémique⁵ : L’application de biais discriminatoires dans un algorithme se fait de manière automatique et cette répétition parfois à grande échelle pourrait systématiser les discriminations. Ceci risquant de renforcer la stigmatisation envers certaines populations. Car, le but d’un algorithme est de repérer des comportements ou des caractéristiques de groupe afin de dire les actions à adopter. Ainsi, en incorporant des données discriminantes dans le système, celui-ci va proposer une marche à suivre « rationnelle » pouvant faire penser que ce sont des décisions objectives même si discriminantes.

« Ce risque de discrimination est d’autant plus grand pour les groupes sociaux qui font déjà l’objet de discriminations systémiques majeures au sein de la société, par exemple, les femmes, les personnes en situation de handicap ou les personnes issues de l’immigration. »

La CNIL et le Défenseur des Droits ont donc formulé les recommandations suivantes :

• Appliquer le droit à la non-discrimination aux algorithmes.

– La non-discrimination n’est pas une option mais bien un cadre juridique. Les biais discriminatoires dans les algorithmes devraient pouvoirs être repérés et corrigés et les auteurs de ces biais devraient pouvoir être sanctionnés

– Il y a un enjeu pour que les victimes fassent valoir leurs droits. Le problème étant que les effets discriminatoires des algorithmes ne sont souvent mesurables qu’à l’échelle des groupes. Ils risquent de rester tout à fait invisibles pour les victimes.

• Former et sensibiliser les professionnels : métiers de l’informatique, de l’analyse de données mais aussi les acheteurs et consommateurs de ces algorithmes.
• Soutenir la recherche : Dans l’Union Européenne et en France et faire des algorithmes répondant à des objectifs d’égalité et d’explicabilité et pas seulement de performance.
• Renforcer l’obligation d’information, de transparence et d’explicabilité : il y a un vrai problème quand le recours à un algorithme conditionne l’accès aux droits et aux services publics et que les personnes ne sont pas informées sur la manière dont fonctionnent ces technologies. Une information doit aussi être donnée aux salariés et agents publics pour faciliter la compréhension du fonctionnement de telles technologies.
• Réaliser des études d’impact en s’inspirant de l’AIPD prévue par le RGPD, afin de mesurer concrètement l’impact de ces technologies sur les droits fondamentaux des personnes.

Pour rappel, les 25 types de discriminations sont :

• L’apparence physique
• L’âge
• L’état de santé
• L’appartenance ou non à une prétendue race
• L’appartenance ou non à une nation
• Le sexe
• L’identité de genre
• L’orientation sexuelle
• La grossesse
• Le handicap
• L’origine
• La religion
• La domiciliation bancaire
• Les opinions politiques
• Les opinions philosophiques
• La situation de famille
• Les caractéristiques génétiques
• Les mœurs
• Le patronyme
• Les activités syndicales
• Le lieu de résidence
• L’appartenance ou non à une ethnie
• La perte d’autonomie
• La capacité à s’exprimer dans une langue étrangère
• La vulnérabilité résultant de sa situation économique

¹ Définition de la CNIL https://www.cnil.fr/fr/definition/algorithme

² Voir le Défenseur des droits et la CNCDH sur ce sujet

³ C’est lorsqu’une personne est choisie ou rejetée délibérément par rapport à une autre sur le fondement d’un ou de plusieurs des 25 critères listés.

⁴ C’est lorsqu’une pratique ou une règle mise en place semble neutre, mais qu’en réalité, cela entraine un désavantage pour une certaine catégorie de personnes.

⁵ Elle est intégrée et issue d’un jeu d’acteurs ou du système de la société. Elle se rapproche de la discrimination indirecte mais se produit de manière massive.