El uso de inteligencia artificial (IA) por parte de la policía del Reino Unido podría socavar los derechos humanos y exacerbar aún más las desigualdades existentes sin suficientes garantías, supervisión y precaución, según ha descubierto una investigación de la Cámara de los Lores.
Luego de una investigación de 10 meses sobre el uso de tecnologías algorítmicas avanzadas por parte de la policía del Reino Unido, incluido el reconocimiento facial y varias herramientas de “predicción” de delitos, el Comité de Justicia y Asuntos Internos de los Lores (HAJC) describió la situación como “un nuevo Salvaje Oeste” caracterizado por una falta de estrategia, rendición de cuentas y transparencia de arriba hacia abajo.
En un informe publicado el 30 de marzo de 2022, el HAJC dijo: “El uso de tecnologías avanzadas en la aplicación de la ley plantea un riesgo real y actual para los derechos humanos y el estado de derecho. A menos que esto se reconozca y se aborde, los beneficios potenciales del uso de tecnologías avanzadas pueden verse superados por el daño que se producirá y la desconfianza que creará”.
En el caso de las tecnologías de “vigilancia predictiva”, el HAJC señaló su tendencia a producir un “círculo vicioso” y “afianzar patrones preexistentes de discriminación” porque dirigen patrullas policiales a áreas de bajos ingresos que ya están sobre-vigiladas en base a antecedentes históricos. datos de arresto.
“Debido al aumento de la presencia policial, es probable que se detecte una mayor proporción de los delitos cometidos en esas áreas que en aquellas áreas que no tienen un exceso de vigilancia. Los datos reflejarán esta mayor tasa de detección como una mayor tasa de criminalidad, que se incorporará a la herramienta y se integrará en el próximo conjunto de predicciones”, dijo.
En cuanto al reconocimiento facial, la otra tecnología algorítmica importante que está implementando la policía, el informe señaló que podría tener un efecto paralizante en las protestas, socavar la privacidad y conducir a resultados discriminatorios.
“El uso de tecnologías avanzadas en la aplicación de la ley representa un riesgo real y actual para los derechos humanos y el estado de derecho. A menos que esto se reconozca y se aborde, los beneficios potenciales del uso de tecnologías avanzadas pueden verse superados por el daño que se producirá y la desconfianza que creará”
Informe HAJC
“Si bien encontramos mucho entusiasmo sobre el potencial de las tecnologías avanzadas en la aplicación de la ley, no detectamos un compromiso correspondiente con una evaluación exhaustiva de su eficacia”, dijo el informe de HAJC.
Agregó que, además de que “no existen estándares científicos o éticos mínimos que una herramienta de IA deba cumplir antes de que pueda ser utilizada en el ámbito de la justicia penal”, la gran mayoría de los organismos públicos involucrados en el desarrollo y despliegue de estas tecnologías carecían de la experiencia y los recursos para llevar a cabo evaluaciones adecuadas de nuevos equipos.
“Como resultado, corremos el riesgo de implementar tecnologías que podrían ser poco confiables, desproporcionadas o simplemente inadecuadas para la tarea en cuestión”, dijo el HAJC, y agregó que el sistema necesita “racionalización urgente y reformas a la gobernanza” porque “tal como está, los usuarios son en efecto, inventándolo a medida que avanzan”.
La conclusión del comité estuvo en línea con los comentarios de Karen Yeung, profesora interdisciplinaria de derecho, ética e informática en la Facultad de Derecho de Birmingham, quien le dijo al HAJC en octubre de 2021 que las autoridades policiales habían comenzado a usar nuevas tecnologías “solo porque podemos… sin claridad”. evidencia” sobre su eficacia o impactos.
Esto incluye los juicios “muy poco rigurosos” y el uso de reconocimiento facial, así como herramientas de predicción de delitos como la Matriz de pandillas de Met Police o la Herramienta de evaluación de riesgos de daños de Durham Constabulary.
La presidenta de HAJC, la baronesa Hamwee, resumiendo las 55 contribuciones escritas del comité y las 20 entrevistas con testigos, dijo: “Tuvimos una fuerte impresión de que estas nuevas herramientas se están utilizando sin cuestionar si siempre producen un resultado justificado. ¿’La computadora’ siempre tiene la razón? Era una tecnología diferente, pero mira lo que les pasó a cientos de gerentes de correos”.
El informe HAJC hace una serie de recomendaciones sobre cómo abordar las preocupaciones planteadas por su investigación. Esto incluye el establecimiento de un organismo nacional único para establecer estándares científicos mínimos para el uso de nuevas tecnologías por parte de los organismos encargados de hacer cumplir la ley, certificar cada nueva solución tecnológica según estos estándares y auditar periódicamente su implementación.
Este organismo nacional también debe establecerse sobre una base estatutaria independiente, tener su propio presupuesto y el poder de implementar moratorias.
Prácticas de contratación dudosas y transparencia
Con respecto a la adquisición de nuevas tecnologías, el HAJC señaló una serie de “prácticas de venta dudosas” derivadas de un conflicto de intereses entre las fuerzas policiales, que están obligadas bajo el Deber de Igualdad del Sector Público (PSED) a considerar cómo sus políticas y prácticas podrían ser discriminatorias. y proveedores del sector privado, que a menudo quieren proteger su propiedad intelectual y sus secretos comerciales.
“Escuchamos sobre empresas que se niegan a comprometerse constructivamente con clientes como las fuerzas policiales por motivos de confidencialidad. [The Birmingham Law School’s] A Yeung le preocupaba que algunos proveedores de tecnología pudieran invocar los derechos de propiedad intelectual para hacer ‘promesas vacías’ sobre la representatividad de los datos de capacitación, ocultándolos de sus clientes, revisores externos y tribunales”, dice el informe.
“El Servicio de Policía Metropolitana también nos informó sobre ‘los proveedores que se muestran reacios a compartir información, citando razones de confidencialidad comercial'”.
En agosto de 2020, el Tribunal de Apelación consideró ilegal el uso de la tecnología de reconocimiento facial en vivo (LFR) por parte de la Policía de Gales del Sur (SWP), en parte porque la fuerza no cumplió con su PSED.
En la sentencia se señaló que el fabricante en ese caso, la firma biométrica japonesa NEC, no divulgó los detalles de su sistema a SWP, lo que significa que la fuerza no pudo evaluar completamente la tecnología y sus impactos.
“Por razones de confidencialidad comercial, el fabricante no está dispuesto a divulgar los detalles para que pueda ser probado. Eso puede ser comprensible, pero en nuestra opinión no permite que una autoridad pública cumpla con su propio deber, indelegable, bajo la sección 149”, dijo el fallo.
Para hacer frente a estos y otros problemas de adquisición, el HAJC recomendó que, si bien las fuerzas deben tener libertad para adquirir cualquier solución tecnológica certificada por el organismo nacional, se debe brindar apoyo adicional para que puedan convertirse en “clientes competentes” de las nuevas tecnologías.
“La certificación previa a la implementación podría, en sí misma, tranquilizarlos sobre la calidad de los productos que están adquiriendo. También se necesitan pautas de adquisición mejoradas”, dijo, y agregó que también se deben establecer comités de ética locales y regionales sobre una base estatutaria para investigar si los usos reales y propuestos de una tecnología determinada son “legítimos, necesarios y proporcionados”.
En el frente de la transparencia, el HAJC señaló que si bien actualmente “no había obligaciones sistémicas” en los organismos encargados de hacer cumplir la ley para divulgar información sobre su uso de tecnologías avanzadas, se debe establecer un “deber de franqueza”, junto con un registro público de algoritmos policiales. para que tanto los reguladores como el público en general puedan entender exactamente cómo se implementan las nuevas herramientas.
Se necesita legislación explícita
Hablando con Computer Weekly, Hamwee de HAJC dijo que los miembros del comité estaban “perplejos y ansiosos” cuando comenzaron a comprender el alcance de cómo se implementan las tecnologías avanzadas en el sistema de justicia, y quedaron con “muchas preocupaciones” sobre las implicaciones. por los derechos humanos y las libertades civiles.
“No pudimos averiguar quién era responsable de qué: más de 30 cuerpos (que identificamos, y es posible que nos hayamos perdido algunos) con algún tipo de papel sugirieron que si las cosas salían mal, sería casi imposible pedir cuentas a nadie. ,” ella dijo. “Y si las cosas salen mal, podrían salir muy mal, incluso podrías ser condenado y encarcelado sobre la base de pruebas que no entiendes y no puedes impugnar”.
Hamwee agregó que si bien el comité reconoció que la IA podría traer “beneficios considerables”, por ejemplo, en eficiencia y nuevas formas de trabajar, las decisiones finales siempre deben ser tomadas por un ser humano y se necesita una nueva legislación para controlar cómo la policía del Reino Unido utiliza las tecnologías. .
“Dudo que algún miembro del comité piense que las nuevas leyes son la respuesta a todo, pero necesitamos legislación, como base para la regulación por parte de un organismo nacional, con un registro de algoritmos utilizados en herramientas relevantes y la certificación de cada herramienta”, dijo. “Los lectores de Computer Weekly no serían deferentes con la tecnología, pero para muchas personas a menudo es una cuestión de ‘la computadora lo dice’. Los estándares estrictos significarán que el público puede confiar en cómo la policía, en particular, usa tecnologías avanzadas, como lo hace ahora y como lo hará en el futuro”.
“Dudo que algún miembro del comité piense que las nuevas leyes son la respuesta a todo, pero necesitamos legislación. Los estándares estrictos significarán que el público puede confiar en cómo la policía usa tecnologías avanzadas, tal como son ahora y como pueden ser en el futuro”.
Baronesa Hamwee, HAJC
Por lo tanto, el HAJC también recomendó que “el gobierno presente una legislación primaria que incorpore principios generales y que esté respaldada por regulaciones detalladas que establezcan estándares mínimos” porque “este enfoque lograría el equilibrio adecuado entre las preocupaciones de que una ley demasiado prescriptiva podría sofocar la innovación y la necesidad de garantizar el uso seguro y ético de las tecnologías”.
Computer Weekly se puso en contacto con el ministro de policía, Kit Malthouse, para comentar sobre los hallazgos de la investigación, pero no recibió respuesta.
Malthouse dijo anteriormente durante un seminario web sobre los desafíos y el futuro de la vigilancia que la adquisición y el uso de tecnologías digitales serían una prioridad importante en el futuro, y le dijo al HAJC en enero de 2022 que el uso de nuevas tecnologías por parte de la policía debería probarse en los tribunales en lugar de que la definida por la nueva legislación, que argumentó podría “sofocar la innovación”.
Esto está en línea con afirmaciones anteriores del gobierno sobre la tecnología policial. Por ejemplo, en respuesta a un informe del Comité de Ciencia y Tecnología de julio de 2019, que pedía una moratoria sobre el uso policial de la tecnología de reconocimiento facial en vivo hasta que se estableciera un marco legal adecuado, el gobierno afirmó en marzo de 2021, después de un retraso de dos años. – que “ya existía un marco legal integral para la gestión de la biometría, incluido el reconocimiento facial”.
Paul Wiles, ex comisionado para la retención y el uso de material biométrico, también le dijo al Comité de Ciencia y Tecnología en julio de 2021 que, si bien actualmente existe un “marco legal general” que rige el uso de tecnologías biométricas, su naturaleza generalizada y rápida proliferación significaba se necesitaba un marco jurídico más explícito.
En marzo de 2022, la Revisión estratégica de la vigilancia policial en Inglaterra y Gales confirmó el papel central que desempeñaría la tecnología en la vigilancia policial en el futuro, pero también advirtió sobre la necesidad de un mayor escrutinio ético para garantizar la confianza del público.
Aunque la revisión se centró en la vigilancia en su conjunto, y señaló la necesidad de una “reforma radical” para abordar la crisis actual de confianza pública, varias de sus 56 recomendaciones se ocuparon específicamente del papel de la tecnología.
Una de las recomendaciones de la revisión fue que el Ministerio del Interior presentara una legislación para introducir un deber de franqueza en las fuerzas policiales.
