Technology

La police prédictive fondée sur les données a été qualifiée de moins biaisée. C’est ça?

Lorsque George Floyd a été tué en mai après qu’un policier a enfoncé un genou dans le cou de l’homme, des millions d’Américains ont protesté, exigeant que les dirigeants civiques démantèlent les pratiques policières de longue date et réinventent fondamentalement la sécurité publique.

Un chœur de PDG et d’entreprises s’est rapidement joint à eux. Les fournisseurs de technologie policière, petits et grands, de la société de police prédictive PredPol et de la société d’alerte par balle Shotspotter à Jeff Bezos d’Amazon, ont exprimé leur soutien à la justice raciale.

Le directeur marketing de PredPol, Emmy Rey, a qualifié la tragédie de Minneapolis de «rupture du contrat social entre le protecteur et le protégé». Et elle a proposé la technologie de prédiction du crime de PredPol comme solution.

«PredPol a été fondé sur la prémisse audacieuse que nous pourrions contribuer à améliorer la pratique de la police en Amérique. Par «mieux», nous entendons fournir moins de biais, plus de transparence et plus de responsabilité », a écrit Rey dans un article de blog de l’entreprise en juin.

PredpPol fait partie d’une gamme de technologies de police prédictive – une autre, appelée Hunchlab, a été acquise par Shotspotter, et IBM, Microsoft et Palantir ont développé leurs propres outils, tout comme certains services de police. Ils utilisent diverses techniques pour tenter de prévenir le crime.

[Read: Who’s allowed to track my kids online?]

Certains permettent aux agents de créer une liste de personnes qui, selon eux, présentent un risque élevé de commettre ou d’être victimes d’actes criminels. D’autres, comme PredPol, prennent les données des rapports de criminalité locaux et les alimentent dans un algorithme pour générer des prédictions des futurs points chauds de la criminalité afin que les agences patrouillent dans ces zones et, idéalement, préviennent la criminalité avant qu’elle ne commence. La société a été exploitée par les services de police à travers le pays, notamment à Los Angeles, Birmingham, Ala., Et Hagerstown, Md.

«Aucun crime ne signifie pas de victime, pas d’enquête ni d’arrestation, et personne à soumettre au système de justice pénale», a écrit Rey de PredPol. «Tout le monde en profite.»

Les premières versions de la police basée sur les données ont été utilisées dans les années 1990, mais elles sont devenues plus populaires et la technologie plus sophistiquée au cours de la dernière décennie. En 2017, environ un tiers des grandes agences utilisaient un logiciel d’analyse prédictive, selon un rapport financé par le ministère américain de la Justice. Encore plus prévu de l’adopter.

La technologie a été vendue aux organismes d’application de la loi comme objectif, mais un nombre croissant de recherches suggèrent qu’elle ne peut que renforcer davantage les services de police biaisés.

Cet été, plus de 1400 mathématiciens ont signé une lettre boycottant les efforts de police prédictive et suggérant à d’autres de faire de même: «Compte tenu du racisme structurel et de la brutalité dans la police américaine, nous ne pensons pas que les mathématiciens devraient collaborer avec les services de police de cette manière. Il est tout simplement trop facile de créer un vernis «scientifique» pour le racisme. »

Certains services de police ont cessé d’utiliser ces méthodes après avoir soulevé des problèmes d’efficacité.

Les «données sales» donnent des prédictions biaisées

La technologie «perpétue et, dans certains cas, dissimule certaines des pratiques biaisées au sein du service de police», a déclaré Rashida Richardson, directrice de la recherche sur les politiques à AI Now, un institut de l’Université de New York qui explore les effets de l’intelligence artificielle sur la société. a examiné les programmes de police prédictive dans tout le pays.

«Des données sales», dit-elle, font de mauvaises prédictions.

Les données de la police sont sujettes à l’erreur par omission, a-t-elle déclaré. Les témoins qui se méfient de la police peuvent être réticents à signaler les coups de feu, et les victimes de viol ou de violence domestique peuvent ne jamais dénoncer leurs agresseurs.

Puisqu’elles sont basées sur des rapports sur la criminalité, les données introduites dans le logiciel peuvent être moins une image objective de la criminalité qu’un miroir reflétant les priorités d’un service de police donné. Les forces de l’ordre peuvent sévir contre les délits mineurs contre les biens tout en n’effleurant guère la surface des entreprises criminelles en col blanc, par exemple. Les agents peuvent intensifier les arrestations de drogue autour des logements sociaux tout en ignorant la consommation de drogue sur les campus universitaires.

Récemment, Richardson et ses collègues Jason Schultz et Kate Crawford ont examiné les organismes d’application de la loi qui utilisent une variété de programmes prédictifs.

Ils se sont penchés sur les services de police, notamment à Chicago, à la Nouvelle-Orléans et dans le comté de Maricopa, en Arizona, qui ont eu des problèmes avec des pratiques policières controversées, telles que les arrêts et fouilles, ou des preuves de violations des droits civils, y compris des allégations de profilage racial.

Ils ont constaté que, étant donné que «ces systèmes reposent sur des données produites pendant des périodes documentées de pratiques et de politiques défectueuses, à caractère raciste et parfois illégales», cela augmentait «le risque de créer des données inexactes, biaisées ou systématiquement biaisées».

Une étude fondamentale de quelques années plus tôt montre comment cela pourrait se produire avec un type particulier de crime – dans ce cas, le crime lié aux drogues.

À l’aide d’une simulation, les chercheurs Kristian Lum, maintenant à l’Université de Pennsylvanie, et William Isaac, maintenant chez DeepMind, une société d’intelligence artificielle, ont examiné si les prédictions de PredPol dirigeraient de manière disproportionnée les agents dans les quartiers minoritaires d’Oakland, en Californie.

Lum et Issac avaient estimé la consommation de drogues dans la ville sur la base des résultats d’une enquête nationale et ont constaté qu’elle serait probablement répartie assez uniformément dans la ville diversifiée.

Pourtant, lorsqu’ils ont introduit les données d’arrestation dans l’algorithme accessible au public de PredPol, ils ont constaté que les points chauds qu’ils auraient prédit n’étaient pas du tout uniformément répartis.

Les chercheurs ont découvert que l’algorithme aurait envoyé la police dans les quartiers noirs à environ deux fois le taux des quartiers blancs. L’outil crachait des zones à risque où vivaient des minorités – en se fondant non pas sur la consommation de drogues, mais plutôt sur des endroits où des crimes liés à la drogue avaient déjà été déclarés par la police.

«La surveillance excessive impose des coûts réels à ces communautés», ont conclu Lum et Issac dans leur rapport de 2016. «Le contrôle et la surveillance accrus de la police ont été liés à une détérioration de la santé mentale et physique; et, à l’extrême, des contacts supplémentaires avec la police créeront des opportunités supplémentaires de violence policière dans les zones surdimensionnées. »

Les entreprises disent que les allégations de partialité nécessitent une attention particulière

PredPol n’a pas répondu aux demandes de commentaires. Mais les fondateurs de la société, le professeur d’anthropologie de l’UCLA Jeffrey Brantingham et George Mohler, maintenant professeur d’informatique à l’Université de l’Indiana-Université Purdue d’Indianapolis, ont réalisé leur propre étude, qui, selon eux, indique que leurs méthodes ne se traduisent pas par des taux d’arrestation des minorités plus élevés.

En 2018, ils ont publié un article qui a commencé par reconnaître leurs critiques, y compris Lum et Issac: «Bien que toutes ces études traitent de scénarios hypothétiques ou d’expériences de pensée, elles réussissent à démontrer qu’une attention particulière doit être accordée à la question de savoir si la police prédictive produit des biais arrestations. »

Brantingham, Mohler et leur co-auteur, Matthew Valasik, ont mené une expérience réelle avec le département de police de Los Angeles.

Ils ont comparé les résultats entre deux groupes: des agents envoyés aux points chauds du crime prédits par PredPol et des agents envoyés aux points chauds choisis par des analystes criminels, qui ont servi de groupe de contrôle. Ils ont varié les groupes auxquels chaque officier était assigné au jour le jour.

Brantingham, Mohler et Valasik ont ​​trouvé le taux des arrestations de minorités était à peu près le même, que le logiciel ou les analystes aient fait les prédictions. Ce qui a changé, c’est le nombre d’arrestations dans les hotspots PredPol. Ce nombre était plus élevé.

L’augmentation des arrestations, ont-ils écrit, est «peut-être compréhensible étant donné que les prédictions algorithmiques de la criminalité sont plus précises».

Ils ont reconnu, cependant, que leurs conclusions «ne fournissent aucune indication sur la question de savoir si les arrestations sont elles-mêmes systématiquement biaisées» et ont appelé à «l’élaboration de politiques prudentes» pour éviter les biais dans la police prédictive.

Ni Brantingham ni Mohler n’ont répondu aux demandes de commentaires.

Robert Cheetham, PDG d’Azavea, qui a développé Hunchlab, a déclaré qu’il était important de reconnaître le biais dans les données et que leur logiciel cherchait à espacer géographiquement les prévisions afin que les patrouilles de police ne soient pas aussi concentrées sur un quartier particulier. Il a déclaré que Hunchlab incluait également des informations au-delà des rapports sur la criminalité, telles que l’éclairage, les événements majeurs, les horaires scolaires et les emplacements des bars – qui peuvent tous être liés à la criminalité mais ne sont pas basés sur une source unique de données potentiellement biaisées par la police.

Le produit évite également de prévoir certains crimes. Les crimes liés à la drogue et la prostitution ont été supprimés, car ils sont davantage influencés par les personnes que la police choisit de cibler. Et ils ne pensaient pas que les outils pouvaient être utilisés pour le viol, qui n’est souvent pas signalé et qui ne sera probablement pas dissuadé par les patrouilles de police.

On ne sait pas si cette approche a conduit à des patrouilles plus équitables.

Certaines villes ont abandonné des programmes

Au-delà des plaintes concernant le racisme, certains chiens de garde de la police ont une autre critique: le logiciel peut ne pas être utile.

Plus tôt cette année, l’inspecteur général de Chicago a publié une enquête sur les modèles internes de police prédictive, la liste des sujets stratégiques et le modèle de risque de criminalité et de victimisation, qui sont tous deux conçus pour prédire le risque d’une personne d’être victime ou délinquant par balle.

Une enquête antérieure sur la liste des sujets stratégiques par le Chicago Sun-Times avait révélé que 85 pour cent des personnes ayant le score le plus élevé étaient des hommes afro-américains et certains n’avaient aucun casier judiciaire violent.

Le service de police de Chicago a déclaré au journal que les scores étaient basés sur divers facteurs, notamment le nombre de fois où la personne avait été abattue ou agressée et les arrestations pour violence ou drogue et appartenance à un gang, et que dans l’ensemble, les scores de risque aidaient la police à déterminer qui pour émettre des avertissements ou offrir de l’aide.

Mais l’inspecteur général a constaté que les scores de risque n’étaient pas fiables et pourraient potentiellement conduire à des décisions d’inculpation plus sévères par les procureurs.

Chicago a fini par abandonner le programme.

Le LAPD a également mis fin à l’un de ses efforts de police prédictive cette année après que son propre examen interne a jeté le doute sur son efficacité.

Le LAPD a été le premier à adopter PredPol, en partenariat avec des chercheurs il y a dix ans pour aider à développer la technologie. Mais l’inspecteur général de la commission de police, Mark Smith, a trouvé que les données relatives au programme étaient si peu fiables qu’il était difficile de tirer des conclusions.

«Malheureusement, les données étaient un peu faussées», a déclaré Smith à The Markup. Lorsqu’ils sont allés mesurer si PredPol fonctionnait, il a dit: «Nous ne pouvions vraiment pas le dire.

Un an après la publication du rapport, le ministère a annoncé qu’il abandonnerait PredPol. L’annonce est intervenue quelques semaines à peine avant que la nation n’éclate en signe de protestation après le meurtre de Floyd.

«Les projections de coûts de centaines de milliers de dollars à dépenser pour le moment par rapport à trouver cet argent et à diriger cet argent vers d’autres activités plus centrales, c’est ce que je dois faire», a déclaré le chef de la police Michael Moore.

Cet article a été initialement publié sur The Markup par et a été republié sous la licence Creative Commons Attribution-NonCommercial-NoDerivatives.

Lire la suite:

Pourriez-vous remplir 10 To de stockage dans le cloud? Avec un abonnement Degoo Premium, vous pourriez découvrir

Afficher plus

Articles similaires

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Bouton retour en haut de la page