Los legisladores de la UE proponen una prohibición limitada de los sistemas policiales predictivos

Dos eurodiputados encargados conjuntamente de supervisar y modificar la próxima Ley de Inteligencia Artificial (AIA) de la Unión Europea han dicho que el uso de herramientas policiales predictivas impulsadas por IA para hacer “evaluaciones de riesgo individualizadas” debería prohibirse sobre la base de que “viola la dignidad humana”. y la presunción de inocencia”.

Ioan-Dragoş Tudorache, coponente en nombre de la Comisión de Libertades Civiles, Justicia y Asuntos de Interior (LIBE), y Brando Benifei, coponente en nombre de la Comisión de Mercado Interior y Protección del Consumidor (IMCO), confirmaron su apoyo a una prohibición parcial de los sistemas de IA de vigilancia predictiva en un informe preliminar.

“La vigilancia predictiva viola la dignidad humana y la presunción de inocencia, y conlleva un riesgo particular de discriminación. Por lo tanto, se inserta entre las prácticas prohibidas”, dice el informe de 161 páginas.

Tal como está actualmente, la AIA enumera cuatro prácticas que se consideran “un riesgo inaceptable” y, por lo tanto, están prohibidas, entre ellas: sistemas que distorsionan el comportamiento humano; sistemas que explotan las vulnerabilidades de grupos sociales específicos; sistemas que proporcionan “puntuación” de individuos; y la identificación biométrica remota y en tiempo real de personas en lugares públicos.

Los críticos le dijeron previamente a Computer Weekly que, si bien la propuesta proporciona una “prohibición horizontal amplia” de estas prácticas de IA, tales usos aún están permitidos en un contexto de aplicación de la ley.

Aunque la prohibición de vigilancia policial predictiva sugerida por los relatores limita el uso de dichos sistemas por parte de las fuerzas del orden, la prohibición solo se extendería a los sistemas que “predicen la probabilidad de que una persona física delinque o reincida”, y no a los sistemas predictivos basados ​​en el lugar utilizados para perfiles de áreas y ubicaciones.

Sarah Chander, asesora principal de políticas de European Digital Rights (EDRi), dijo a Computer Weekly: “Prohibir la vigilancia predictiva es un paso histórico en la política digital europea: nunca antes la discriminación racial basada en datos había ocupado un lugar tan alto en la agenda de la UE. Pero la prohibición de la vigilancia predictiva no se ha extendido a los sistemas de vigilancia predictiva que perfilan los vecindarios según el riesgo de delincuencia, lo que puede aumentar las experiencias de vigilancia policial discriminatoria para las comunidades racializadas y pobres”.

La organización no gubernamental (ONG) Fair Trials también recibió con beneplácito la propuesta, pero también discrepó con la exclusión del análisis predictivo basado en el lugar.

“Una y otra vez, hemos visto cómo el uso de estos sistemas exacerba y refuerza las acciones policiales y de justicia penal discriminatorias, alimenta la desigualdad sistémica en la sociedad y, en última instancia, destruye la vida de las personas”, dijo Griff Ferris, oficial legal y de políticas de Fair Trials. . “Sin embargo, la prohibición también debe extenderse para incluir sistemas policiales predictivos que se dirijan a áreas o ubicaciones, que tengan el mismo efecto.

“Hacemos ahora un llamado a todos los eurodiputados para que se mantengan fieles a su mandato de proteger los derechos de las personas apoyando y votando a favor de la prohibición de todos los usos de la IA predictiva en la vigilancia y la justicia penal”.

El 1 de marzo de 2022, Fair Trials, EDRi y otras 43 organizaciones de la sociedad civil pidieron colectivamente a los legisladores europeos que prohibieran los sistemas policiales predictivos impulsados ​​por IA, argumentando que se dirigen de manera desproporcionada a las personas más marginadas de la sociedad, infringen los derechos fundamentales y refuerzan la discriminación estructural.

Fair Trials también pidió una prohibición total del uso de IA y sistemas automatizados para “predecir” el comportamiento delictivo en septiembre de 2021.

Además de las enmiendas relacionadas con la vigilancia predictiva, el texto del proyecto de informe sugiere una serie de cambios adicionales en la AIA.

Estos incluyen extender la lista de aplicaciones de alto riesgo para cubrir casos de uso de IA en evaluación médica, seguros, falsificaciones profundas y aquellas diseñadas para interactuar con niños; y crear un enfoque de dos niveles mediante el cual la Comisión Europea asumirá una mayor responsabilidad en la evaluación de los sistemas de IA cuando haya “infracciones generalizadas”, es decir, cuando un sistema afecte a personas en tres o más estados miembros.

Los relatores también han ampliado los mecanismos de reparación al incluir el derecho de las personas a reclamar ante las autoridades de control y buscar reparación tanto individual como colectiva cuando sus derechos han sido violados. Por ejemplo, los grupos de consumidores podrían iniciar procedimientos legales en virtud de la Directiva sobre acciones representativas.

El borrador del informe también propone enmiendas para reconocer a las personas “afectadas” por la IA, mientras que la AIA actualmente solo reconoce a los “proveedores” (aquellos que ponen un sistema de IA en el mercado) y a los “usuarios” (aquellos que implementan el sistema de IA).

Esto está en línea con las recomendaciones publicadas por el Instituto Ada Lovelace el 31 de marzo de 2022, que decía que la AIA debería reconocer a las “personas afectadas” como actores distintos.

El Instituto Ada Lovelace también recomendó remodelar el significado de “riesgo” dentro de la AIA para juzgar los sistemas en función de su propósito “razonablemente previsible”, que el informe Tudorache-Benifei ahora ha escrito en sus enmiendas sugeridas.

En términos de gobernanza, el informe propone una serie de obligaciones para las autoridades públicas, pero no para las entidades comerciales privadas, incluida la necesidad de realizar evaluaciones de impacto en los derechos fundamentales, informar a las personas afectadas por sistemas de IA de alto riesgo y registrar cualquier alto riesgo. casos de uso de riesgo en la base de datos pública definida en el artículo 60 de la AIA.

“Los negociadores del Parlamento Europeo llenan un vacío importante: el derecho de las personas afectadas a quejarse cuando los sistemas de IA violan nuestros derechos”, dijo Chander de EDRi. “Sin embargo, pueden ir más allá y exigir que todos los usuarios de IA de alto riesgo, no solo las autoridades públicas, sean transparentes sobre su uso”.

El informe Tudorache-Benifei establecerá los términos del debate en torno a la AIA, con los comités LIBE e IMCO listos para discutir sus conclusiones el 11 de mayo antes de votar finalmente las enmiendas a fines de noviembre de 2022.

Sin embargo, actualmente no está claro si los comités adoptarán las enmiendas propuestas del informe debido a las opiniones divergentes de los legisladores europeos sobre el tema de la vigilancia predictiva.

El 5 de octubre de 2021, por ejemplo, el Parlamento Europeo aprobó un informe del comité LIBE sobre el uso de la IA por parte de la policía en Europa, que se opuso al uso de la tecnología para “predecir” el comportamiento delictivo y pidió la prohibición de la vigilancia biométrica masiva.

Pero dos semanas después, el Parlamento votó a favor de una propuesta del comité LIBE para extender el mandato de la agencia internacional contra el crimen Europol, lo que le permitiría intercambiar información con empresas privadas más fácilmente y desarrollar herramientas policiales impulsadas por IA.

Los grupos de derechos civiles dijeron en ese momento que el mandato propuesto representaba un “cheque en blanco” para que la policía creara sistemas de inteligencia artificial que corren el riesgo de socavar los derechos humanos fundamentales.

También hay puntos de divergencia entre los propios Benifei y Tudorache. Por ejemplo, no pudieron ponerse de acuerdo sobre puntos relacionados con la identificación biométrica remota, por lo que se ha dejado fuera del informe.

Nuestro objetivo fué el mismo desde 2004, unir personas y ayudarlas en sus acciones online, siempre gratis, eficiente y sobre todo fácil!

¿Donde estamos?

Mendoza, Argentina

Nuestras Redes Sociales