Varios eurodiputados han sido perfilados como “en riesgo” de comportamiento delictivo después de utilizar una herramienta de predicción de delitos simulada creada por la organización no gubernamental Fair Trials para resaltar la naturaleza discriminatoria e injusta de los sistemas policiales predictivos.
La herramienta en línea, que hace preguntas a los usuarios diseñadas para extraer los tipos de información que la policía en toda Europa está utilizando para “predecir” si alguien cometerá un delito, se lanzó el 31 de enero de 2023 y ha sido utilizada por eurodiputados y miembros del público. de toda la Unión Europea (UE).
Los sistemas policiales predictivos se pueden usar para perfilar y hacer “predicciones” sobre la criminalidad tanto en individuos como en lugares, lo que, según Fair Trials, está determinado por una variedad de datos sobre educación, vida familiar y antecedentes, compromiso con servicios públicos como beneficios sociales y vivienda. , etnia, nacionalidad, puntajes de crédito y si alguien ha estado previamente en contacto con la policía, incluso como víctima.
Las personas perfiladas como “en riesgo” sobre la base de esta información se enfrentan a una variedad de consecuencias graves, desde ser objeto de paradas y registros regulares hasta que los servicios sociales se lleven a sus hijos. Los perfiles y las predicciones también se utilizan para informar las decisiones sobre detención preventiva, enjuiciamiento, sentencia y libertad condicional.
Como resultado del uso de la herramienta, Fair Trials dijo que miembros del público enviaron posteriormente más de 1,000 correos electrónicos a los eurodiputados pidiéndoles que prohibieran los sistemas de vigilancia predictiva en la próxima Ley de Inteligencia Artificial (IA) de la UE.
“Nuestra herramienta predictiva interactiva muestra cuán injustos y discriminatorios son estos sistemas. Puede parecer increíble que las autoridades encargadas de hacer cumplir la ley y la justicia penal hagan predicciones sobre la criminalidad en función de los antecedentes, la clase, el origen étnico y las asociaciones de las personas, pero esa es la realidad de lo que está sucediendo en la UE”, dijo Griff Ferris, oficial principal de políticas y asuntos legales. en juicios justos.
“Hay pruebas generalizadas de que estos sistemas predictivos de policía y justicia penal conducen a la injusticia, refuerzan la discriminación y socavan nuestros derechos. La única forma de proteger a las personas y sus derechos en toda Europa es prohibir estos sistemas de elaboración de perfiles y predicción de delitos contra personas y lugares”.
El eurodiputado de los Socialistas y Demócratas (S&D), Petar Vitanov, quien fue perfilado por la herramienta simulada con un “riesgo medio” de cometer un delito en el futuro, dijo que no hay lugar para sistemas tan poco confiables, sesgados e injustos en la UE.
“Nunca pensé que viviríamos en una distopía de ciencia ficción donde las máquinas ‘predecirían’ si estamos a punto de cometer un crimen o no”, dijo. “Crecí en un barrio de bajos ingresos, en un país pobre de Europa del Este, y el algoritmo me perfiló como un delincuente potencial”.
La eurodiputada de Renew y miembro del comité de asuntos legales, Karen Melchior, quien fue perfilada como “en riesgo”, agregó que la evaluación automatizada del comportamiento de las personas conducirá a la discriminación y alterará irrevocablemente la vida de las personas.
“No podemos permitir que los fondos se desvíen del trabajo policial adecuado y de tribunales independientes y bien financiados a tecnología sesgada y aleatoria”, dijo. “La eficiencia prometida se perderá en la limpieza después de decisiones equivocadas, cuando las atrapemos. Lo peor de todo es que corremos el riesgo de destruir vidas de personas inocentes. Debe prohibirse el uso de mecanismos policiales predictivos”.
Otros eurodiputados perfilados como un riesgo por la herramienta, y que posteriormente expresaron su apoyo a la prohibición de los sistemas policiales predictivos, incluyen Cornelia Ernesto, Tiemo Wölken, Petar Vitanov, Birgit Sippel, Kim van Sparrentak, tineke-strik y Mónica Semedo.
Grupos de la sociedad civil como Fair Trials, European Digital Rights (EDRi) y otros han argumentado durante mucho tiempo que debido a que la información subyacente utilizada en los sistemas de vigilancia predictiva se extrae de conjuntos de datos que reflejan los sesgos estructurales históricos y las desigualdades en la sociedad, el uso de tales sistemas resultará en que las personas y comunidades racializadas sean desproporcionadamente objeto de vigilancia, interrogatorio, detención y, en última instancia, encarcelamiento por parte de la policía.
En marzo de 2020, las pruebas presentadas a las Naciones Unidas (ONU) por la Comisión de Igualdad y Derechos Humanos (EHRC) del Reino Unido indicaron que el uso de vigilancia predictiva podría replicar y magnificar “patrones de discriminación en la vigilancia, al tiempo que otorga legitimidad a procesos sesgados”.
Los legisladores han llegado a conclusiones similares. En el Reino Unido, por ejemplo, una investigación de la Cámara de los Lores sobre el uso policial de tecnologías algorítmicas señaló que las herramientas policiales predictivas tienden a producir un “círculo vicioso” y “afianzar patrones preexistentes de discriminación” porque dirigen las patrullas policiales a lugares de bajo nivel. ingresos, áreas ya sobre-vigiladas según datos históricos de arrestos.
“Debido al aumento de la presencia policial, es probable que se detecte una mayor proporción de los delitos cometidos en esas áreas que en aquellas áreas que no tienen un exceso de vigilancia. Los datos reflejarán esta mayor tasa de detección como una mayor tasa de criminalidad, que se incorporará a la herramienta y se integrará en el próximo conjunto de predicciones”, dijo.
Aunque los dos eurodiputados a cargo de supervisar y modificar la Ley de IA de la UE dijeron en abril de 2022 que el uso de herramientas policiales predictivas impulsadas por IA para hacer “evaluaciones de riesgo individualizadas” debería prohibirse sobre la base de que “viola la dignidad humana y la presunción de inocencia”, la prohibición propuesta solo se extendía a las evaluaciones individualizadas y no a los sistemas predictivos basados en el lugar utilizados para perfilar áreas o ubicaciones.
Sarah Chander, asesora principal de políticas de EDRi, le dijo a Computer Weekly en ese momento que perfilar vecindarios por riesgo de delincuencia tiene un efecto similar a perfilar individuos, ya que “puede aumentar las experiencias de vigilancia policial discriminatoria para comunidades racializadas y pobres”.
Por lo tanto, los grupos de la sociedad civil han pedido, en múltiples ocasiones, que se prohíban por completo los sistemas policiales predictivos.
Si bien la Ley de AI se modifica constantemente, la prohibición limitada de los sistemas policiales predictivos aún no se ha extendido a los sistemas basados en el lugar. La próxima votación de los eurodiputados sobre la ley se realizará en algún momento a fines de marzo de 2023, y la fecha exacta aún no se ha confirmado.