News

Les algorithmes promettaient une efficacité. Mais ils ont aggravé les inégalités

Les enseignants de l’école Philip’s West London ont prédit qu’il gagnerait 2 notes A et un B à ses examens, ce qui aurait confortablement obtenu sa place pour étudier le droit à l’Université d’Exeter.

Le 13 août, l’étudiant s’est assis à la maison pour essayer d’accéder au site Web qui confirmerait s’il avait ou non une place à l’université.

“J’étais à l’étage en train d’essayer d’obtenir [the website] à charger et ma mère était en bas pour faire la même chose », a-t-il dit à CNN.« Elle l’a ouvert et a crié. Et ils m’avaient refusé.

“Je ne me sentais pas trop bien”, a ajouté Philip. “Ouais, j’étais assez contrarié à ce sujet. Mais tout le monde avec qui j’étais était dans une situation similaire.”

Le modèle a attribué à Philip une note B et 2 Cs. L’adolescent n’était pas seul; près de 40% des notes en Angleterre ont été rétrogradées par rapport aux notes prédites par les enseignants, les élèves des écoles financées par l’État étant plus durement touchés par le système que leurs pairs des écoles privées. Beaucoup ont par la suite perdu leur place à l’université.

Un tollé a suivi, certains adolescents manifestant devant le ministère britannique de l’éducation. Les vidéos des manifestations étudiantes ont été largement partagées en ligne, y compris celles dans lesquelles des adolescents scandaient: “F ** k l’algorithme!”

Après plusieurs jours de manchettes négatives, le secrétaire à l’Éducation, Gavin Williamson, a annoncé que les élèves se verraient attribuer des notes prédites par les enseignants, au lieu des notes attribuées par le modèle.

L’algorithme choisi visait à garantir l’équité, en veillant à ce que la distribution des notes pour la cohorte 2020 suive le modèle des années précédentes, avec un nombre similaire de notes élevées et faibles. Il s’est appuyé sur les notes prédites par les enseignants et sur le classement des élèves des enseignants pour déterminer les notes. Mais surtout, il a également pris en compte les performances historiques des écoles, qui ont profité aux élèves issus de milieux plus aisés.

Ecoles privées en Angleterre, qui facturent des frais aux parents, ont généralement des classes plus petites, avec des notes qui ne pourraient pas facilement être normalisées par le modèle. L’algorithme a donc donné plus de poids aux notes prédites par les enseignants pour ces cohortes, qui sont souvent plus riches et plus blanches que leurs pairs déclassés dans les écoles publiques.

«L’une des complexités que nous avons est qu’il existe de nombreuses façons dont un algorithme peut être équitable», a déclaré Helena Webb, chercheuse principale au département d’informatique de l’Université d’Oxford.

“Vous pouvez voir un argument où [the government] m’a dit [it] voulait obtenir des résultats similaires à ceux de l’année dernière. Et au niveau national, cela pourrait être considéré comme [being] juste. Mais il manque complètement ce qui était juste pour les individus.

“De toute évidence, cet algorithme reflète et reflète ce qui s’est passé les années précédentes”, a-t-elle ajouté. “Donc ce n’est pas [reflect] le fait que les écoles pourraient [improve.] Et bien sûr, cela aura des effets pires sur les écoles publiques que sur les écoles privées très connues qui ont des notes constamment plus élevées. “

“Ce qui m’a mis en colère, c’est la façon dont [they] ont traité les écoles publiques “, a déclaré Josh Wicks, 18 ans, un élève de Chippenham dans le Wiltshire, dans l’ouest de l’Angleterre. Ses notes ont été rétrogradées de 2 A * et de A à 3 As.

“L’algorithme pensait que si l’école n’avait pas atteint [high grades] avant, [pupils] Je ne peux pas les obtenir maintenant “, a-t-il déclaré à CNN.” Je pense simplement que c’est condescendant. “

La tempête politique a laissé les ministres du gouvernement de Boris Johnson se démener pour obtenir des explications, à la suite de vives critiques sur sa gestion de la pandémie de coronavirus. Covid-19 a tué plus de 41 000 personnes au Royaume-Uni, ce qui en fait le pays le plus touché d’Europe.

Pourquoi certains algorithmes sont-ils accusés de biais?

Les algorithmes sont utilisés dans toutes les parties de la société aujourd’hui, des réseaux sociaux et des systèmes de demande de visa à la technologie de reconnaissance faciale et à la notation des examens.

La technologie peut être libératrice pour l’argentles gouvernements à court et pour les entreprises qui recherchent l’innovation. Mais les experts ont longtemps mis en garde contre l’existence d’un biais algorithmique et, à mesure que les processus automatisés se généralisent, les accusations de discrimination se répandent également.

“Le truc des niveaux A est la pointe de l’iceberg”, a déclaré Cori Crider, cofondatrice de Foxglove, une organisation qui conteste les abus présumés de la technologie numérique. Crider a déclaré à CNN que les algorithmes reproduisaient les biais trouvés dans les données brutes utilisées.

Mais Crider a mis en garde contre l’impulsion de simplement blâmer les questions de politique sur la technologie.

“Quiconque vous dit que c’est un problème technique est [lying],” dit-elle.

“Qu’est-il arrivé [with the exams] est qu’un choix politique a été fait pour minimiser l’inflation des notes. C’est un choix politique, pas technologique. “

Foxglove et le Joint Council for the Welfare of Immigrants ont récemment contesté le Home Office britannique au sujet de son utilisation d’un algorithme conçu pour diffuser les demandes de visa. Les groupes d’activistes ont allégué que l’algorithme était biaisé contre les candidats de certains pays, ce qui rendait automatiquement plus probable que ces candidats se voient refuser un visa.

Foxglove a allégué que le système de dépistage souffrait d’une boucle de rétroaction, “où les préjugés et la discrimination passés, introduits dans un programme informatique, renforcent les préjugés et la discrimination futurs.”

“Nous avons examiné le fonctionnement de l’outil de streaming des demandes de visa et nous allons repenser nos processus pour les rendre encore plus rationalisés et sécurisés”, a déclaré à CNN un porte-parole du Home Office britannique.

“Mais nous n’acceptons pas les allégations du Conseil conjoint pour le bien-être des immigrants formulées dans leur demande de révision judiciaire et tant que le litige est toujours en cours, il ne serait pas approprié que le ministère fasse davantage de commentaires.”

Crider a déclaré que les problèmes que Foxglove avait trouvés avec les données passées conduisant à des algorithmes biaisés étaient évidents ailleurs, mettant en évidence le débat sur les programmes de police prédictive aux États-Unis.

En juin, la ville californienne de Santa Cruz a interdit la police prédictive au motif que les agents du programme de logiciel analytique utilisés dans leur travail étaient discriminatoires à l’égard des personnes de couleur.

“Nous avons une technologie qui pourrait cibler les personnes de couleur dans notre communauté – c’est une technologie dont nous n’avons pas besoin”, a déclaré le maire Justin Cummings à l’agence de presse Reuters en juin.

“Une partie du problème est que les données sont introduites”, a déclaré Crider.

“Les données historiques sont introduites [to algorithms] et ils reproduisent le [existing] biais. “

Webb est d’accord. “Beaucoup de [the issue] concerne les données dont l’algorithme apprend “, a-t-elle déclaré.” Par exemple, de nombreuses technologies de reconnaissance faciale sont sorties … le problème est que beaucoup de [those] les systèmes ont été formés sur un grand nombre de visages masculins blancs.

“Donc, lorsque le logiciel est utilisé, il est très bon pour reconnaître les hommes blancs, mais pas très bien pour reconnaître les femmes et les personnes de couleur. Et cela vient des données et de la façon dont les données ont été introduites dans l’algorithme.”

Webb a ajouté qu’elle pensait que les problèmes pourraient être en partie atténués par “une plus grande attention à l’inclusivité dans les ensembles de données” et une poussée pour ajouter une plus grande “multiplicité de voix” autour du développement d’algorithmes.

Une réglementation accrue?

Des activistes et des experts ont déclaré à CNN qu’ils espéraient que les récents débats autour des algorithmes conduiraient à une plus grande surveillance de la technologie.

«Il y a un manque de surveillance réglementaire sur la façon dont ces systèmes sont utilisés», a déclaré Webb, ajoutant que les entreprises pourraient également choisir de s’autoréguler.

Certains entreprises sont de plus en plus vocaux sur la question.

«Certaines technologies risquent de répéter les modèles développés par nos sociétés biaisées», a écrit Adam Mosseri, PDG d’Instagram, dans un communiqué en juin sur les efforts de diversité de l’entreprise. «Alors que nous faisons beaucoup de travail pour aider à prévenir les préjugés subconscients dans nos produits, nous devons examiner de plus près les systèmes sous-jacents que nous avons construits et les domaines dans lesquels nous devons faire plus pour éviter les préjugés dans ces décisions.

Facebook, propriétaire d’Instagram, a ensuite créé de nouvelles équipes pour examiner les biais dans les systèmes de l’entreprise.

“Je voudrais voir une répression démocratique sur [the use of algorithms]”, A déclaré Crider.” Y a-t-il des domaines de la vie publique où il n’est pas acceptable du tout d’avoir ces systèmes? “

Alors que le débat se poursuit dans les salles de conférence et dans les universités, ces systèmes automatisés continuent de déterminer la vie des gens de façons nombreuses et subtiles.

Pour Philip, l’abandon par le gouvernement britannique de l’algorithme des examens l’a laissé dans les limbes.

“Nous avons envoyé un e-mail à Exeter [University] et ils ont téléphoné et ils sont dans une sorte de gâchis », a-t-il dit, ajoutant qu’il espérait pouvoir regagner sa place. “Je pense que je vais simplement reporter maintenant de toute façon.”

Il a dit qu’il était reconnaissant de recevoir ses notes prévues, mais a déclaré que l’expérience s’était «plutôt mal passée».

“[The government] eu des mois pour régler ce problème », a-t-il déclaré.« Je comprends qu’il se passe beaucoup de choses dans le domaine de la santé, mais […] c’est une assez mauvaise performance. “

Afficher plus

Articles similaires

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Bouton retour en haut de la page