Los compradores de TI policiales deben obligar a los proveedores a probar las afirmaciones de IA

Los organismos del sector de la justicia penal (CJS) que adquieren tecnologías de inteligencia artificial (IA) deben usar su poder adquisitivo para exigir acceso a los sistemas de los proveedores para probar y probar sus afirmaciones sobre la precisión y el sesgo, dijo un testigo experto en una investigación de la Cámara de los Lores.

Lanzada en mayo de 2021 por el Comité de Justicia y Asuntos Interiores de Lords, la investigación analiza el uso de nuevas tecnologías por parte de las fuerzas del orden, incluida la inteligencia artificial y el reconocimiento facial.

En declaraciones al Comité sobre la adquisición de tecnologías algorítmicas avanzadas por parte de las fuerzas policiales y los organismos del CJS, Sandra Wachter, profesora asociada e investigadora principal de la Universidad de Oxford, dijo que debe haber mucha mayor transparencia sobre cómo los sistemas comprados por las fuerzas del orden público. trabajar internamente.

Wachter ha trabajado anteriormente junto a Brent Mittelstadt, investigador senior en ética de datos en el Oxford Internet Institute, y Chris Russell, líder de grupo en IA segura y ética en el Alan Turing Institute, para desarrollar una prueba contra la discriminación conocida como Conditional Demographic. Disparity (CDD), que ayuda a los desarrolladores a buscar sesgos en sus sistemas de IA.

“Cuando la gente no quiere decirte cómo [an algorithm] está funcionando, es porque no quieren o porque no saben. No creo que ninguno de los dos sea aceptable, especialmente en el sector de la justicia penal ”, dijo, y agregó que si bien se debe lograr un equilibrio entre los intereses comerciales y la transparencia, las personas tienen derecho a saber cómo se toman las decisiones que les cambian la vida. .

“Cuando la gente dice que se trata solo de secretos comerciales, no creo que sea una respuesta aceptable. Alguien tiene que entender lo que realmente está pasando. La idea de que la libertad y la libertad pueden ser superadas por intereses comerciales, creo, sería irresponsable, especialmente si hay una manera de encontrar un buen término medio en el que puedas entender completamente lo que hace un algoritmo … sin revelar todos los secretos comerciales. “

Más contenido para leer:  Most Influential Women in UK Tech: The 2021 longlist

En el Reino Unido, las autoridades públicas están obligadas en virtud del deber de igualdad del sector público a considerar cómo sus políticas y prácticas podrían ser discriminatorias. Sin embargo, debido a que las empresas privadas de las que estas autoridades adquieren tecnologías a menudo quieren proteger su propiedad intelectual y secretos comerciales, puede haber intereses en competencia.

Uso ilícito

En agosto de 2020, por ejemplo, el Tribunal de Apelación consideró ilegal el uso de la tecnología de reconocimiento facial en vivo por parte de la Policía de Gales del Sur, en parte debido al hecho de que la fuerza no cumplió con su PSED.

Se señaló en la sentencia que el fabricante en ese caso, la firma japonesa de biometría NEC, no divulgó los detalles de su sistema a SWP, lo que significa que la fuerza no pudo evaluar completamente la tecnología y sus impactos.

“Por razones de confidencialidad comercial, el fabricante no está dispuesto a divulgar los detalles para que pueda ser probado. Eso puede ser comprensible, pero en nuestra opinión, no permite que una autoridad pública cumpla con su propio deber indelegable en virtud del artículo 149 ”, dijo el fallo.

Dirigiéndose al Comité, Wachter dijo que los desarrolladores de inteligencia artificial a menudo afirman que han eliminado cualquier sesgo de sus conjuntos de datos a través de varias técnicas de “desvanecimiento”: “Siempre que alguien dice eso, probablemente sea una mentira. La única forma de debias de datos es debias de humanos y recopilar los datos que están produciendo … así que cuando las personas reclaman ese tipo de cosas, tenemos que ser muy críticos “.

Agregó que era lo mismo cuando los desarrolladores hacen afirmaciones sobre la precisión de sus sistemas de inteligencia artificial, que están esencialmente diseñados para hacer predicciones sobre el comportamiento futuro que son intrínsecamente difíciles de verificar.

“Hacer afirmaciones sobre la precisión puede ser bastante irresponsable, ya que hay una desconexión entre lo que estoy prediciendo y lo que estoy usando para predecir. Siempre estoy usando un proxy porque no conozco realmente el futuro ”, dijo. “Creo que si un organismo público está pensando en comprar la tecnología, entonces debería usar su poder adquisitivo para exigir acceso – ‘muéstrame el trabajo, si realmente puedes hacer eso, muéstramelo’ – si no pueden, es una bandera roja.

“Entiendo que a veces tal vez no haya recursos internos o tiempo disponible, pero hay oportunidades para trabajar con investigadores, investigadores independientes, que no están en la nómina de nadie y no tienen interés en cuál es el resultado en realidad”.

Wachter agregó que una vez que se haya proporcionado acceso a los sistemas y los datos, los investigadores independientes podrían probarlo para ver si pueden reproducir todo lo que se ha afirmado, de modo que los compradores de las fuerzas del orden puedan tomar decisiones informadas.

El Comité fue advertido previamente el 7 de septiembre de 2021 sobre los peligros del uso de inteligencia artificial y algoritmos para predecir, perfilar o evaluar el riesgo o la probabilidad de comportamiento delictivo de las personas, también conocido como “vigilancia policial predictiva”.

Rosamunde Elise van Brakel, codirectora de la Red de Estudios de Vigilancia, por ejemplo, señaló que los datos “que se utilizan a menudo son datos de arrestos, y ha quedado muy claro que estos datos están sesgados, especialmente como resultado de la elaboración de perfiles étnicos por parte de la policía ”, Y que todo el tiempo“ estos datos tienen este sesgo social incorporado, el software siempre estará sesgado ”.

Añadió: “El primer paso aquí no es una cuestión tecnológica, es una cuestión de cómo las prácticas policiales y sociales ya son discriminatorias o ya están sesgadas. No creo que pueda resolver este problema ajustando la tecnología o tratando de encontrar IA para detectar sesgos “.

En declaraciones al Comité, David Lewis, ex subdirector de policía y ex líder de ética en el Consejo del Jefe de la Policía Nacional para la Policía de Dorset, estuvo de acuerdo en que, como compradores, la policía y otros organismos del CJS no deberían permitir soluciones de caja negra “donde nosotros no saber lo que hay dentro de la caja… eso no sería negociable ”.

Añadió: “Cuando tienes algo que necesita un escrutinio pero que no se puede exponer a la mirada del público, el servicio de policía tiene bastante experiencia en acercar a la gente al uso de tácticas sensibles o temas encubiertos.

“Podemos utilizar algunas de las prácticas que hemos desarrollado allí, trayendo especialistas, personas independientes que entienden, pero están debidamente examinadas y, por lo tanto, no van a traicionar, en este caso, secretos comerciales”.

Nuestro objetivo fué el mismo desde 2004, unir personas y ayudarlas en sus acciones online, siempre gratis, eficiente y sobre todo fácil!

¿Donde estamos?

Mendoza, Argentina

Nuestras Redes Sociales