Los eurodiputados de dos comités del Parlamento Europeo votaron abrumadoramente a favor de una serie de enmiendas a la Ley de Inteligencia Artificial (AIA), incluidas varias prohibiciones de los sistemas “intrusivos y discriminatorios”, pero aún existen preocupaciones sobre las lagunas persistentes y la posibilidad de extralimitación estatal. .
La lista de sistemas prohibidos que se considera que representan “un nivel de riesgo inaceptable para la seguridad de las personas” ahora incluye el uso de reconocimiento facial en vivo en espacios de acceso público; sistemas de categorización biométrica utilizando características sensibles; y el uso del reconocimiento de emociones en la aplicación de la ley, la gestión de fronteras, el lugar de trabajo y las instituciones educativas.
Los miembros de las Comisiones de Mercado Interior y Protección del Consumidor (IMCO) y de Libertades Civiles, Justicia y Asuntos de Interior (LIBE) también optaron por prohibir por completo los sistemas policiales predictivos (incluidos los perfiles individuales y basados en el lugar, este último anteriormente no incluido), y el raspado indiscriminado de datos biométricos de las redes sociales o imágenes de CCTV para crear bases de datos de reconocimiento facial.
Si bien los sistemas retrospectivos de identificación biométrica remota ahora están prohibidos, los eurodiputados mantuvieron excepciones para la aplicación de la ley, pero dijeron que solo serían para el enjuiciamiento de delitos graves y solo después de la autorización judicial oficial.
Además de las prohibiciones, los eurodiputados también votaron para ampliar la definición de lo que se considera “de alto riesgo” para incluir sistemas de IA que dañan la salud, la seguridad, los derechos fundamentales o el medio ambiente de las personas, así como medidas para impulsar la responsabilidad y la transparencia de la IA. implementadores.
Esto incluye la obligación de realizar evaluaciones de impacto sobre los derechos fundamentales antes de implementar sistemas de alto riesgo, que las autoridades públicas tendrán que publicar, y ampliar el alcance de la base de datos públicamente visible de AIA de sistemas de alto riesgo para incluir también los implementados por organismos públicos.
También se han introducido medidas completamente nuevas en torno a los modelos “fundamentales” y los sistemas de IA generativa, cuyos creadores estarán obligados a evaluar una serie de riesgos relacionados con sus sistemas, incluido el potencial de daño ambiental y si sus sistemas garantizan la protección de los derechos fundamentales. – y obligado a divulgar “un resumen suficientemente detallado del uso de datos de capacitación protegidos” por las leyes de derechos de autor.
“Es crucial generar confianza entre los ciudadanos en el desarrollo de la IA, establecer el camino europeo para hacer frente a los cambios extraordinarios que ya están ocurriendo, así como dirigir el debate político sobre la IA a nivel mundial”, dijo AIA co. -ponente Brando Benifei. “Confiamos en que nuestro texto equilibre la protección de los derechos fundamentales con la necesidad de brindar seguridad jurídica a las empresas y estimular la innovación en Europa”.
Sin embargo, las enmiendas solo representan un “borrador de mandato de negociación” para el Parlamento Europeo, y todavía están sujetas a una votación plenaria de todo el Parlamento a mediados de junio de 2023. Después de esta votación, comenzarán negociaciones a tres bandas a puerta cerrada entre los El Parlamento Europeo, el Consejo Europeo y la Comisión Europea, todos los cuales han adoptado posiciones diferentes.
Daniel Leufer, analista principal de políticas de Access Now, dijo, por ejemplo, que la posición del consejo es que haya una gama mucho más amplia de exenciones para el uso de IA por parte de las autoridades policiales y de inmigración, y agregó: “Es difícil saber qué es un posición real de la que alguien no se va a mover.”
Reacciones iniciales
En respuesta a las enmiendas, la Asociación de la Industria de la Computación y las Comunicaciones (CCIA Europa), entre cuyos miembros se encuentran empresas como Meta, Google, Amazon, BT, Uber, Red Hat e Intel, entre muchas otras empresas tecnológicas, dijo que aunque había algunas “ mejoras útiles”, como la alineación de la definición de IA con la de la Organización para la Cooperación y el Desarrollo Económicos (OCDE), “otros cambios introducidos por el Parlamento marcan una clara desviación del objetivo real de la Ley de IA, que es promover la adopción de la IA en Europa”.
Afirmó específicamente que “las aplicaciones útiles de IA ahora enfrentarían requisitos estrictos, o incluso podrían prohibirse” debido a la “amplia extensión” de los casos de uso prohibidos y de alto riesgo: “Al abandonar la estructura de la ley basada en el riesgo, los miembros de el Parlamento Europeo abandonó la ambición de apoyar la innovación de la IA”.
El gerente de políticas de CCIA Europa, Boniface de Champris, agregó que la asociación ahora pide a los “legisladores de la UE que mantengan el enfoque basado en el riesgo de la Ley de IA para garantizar que la innovación de IA pueda florecer en la Unión Europea.
“La mejor manera de que la UE inspire a otras jurisdicciones es garantizar que la nueva regulación permita, en lugar de inhibir, el desarrollo de prácticas útiles de IA”.
Tim Wright, socio regulador de tecnología e inteligencia artificial en el bufete de abogados londinense Fladgate, señaló de manera similar que la AIA “podría quitarle ventaja” a las capacidades de innovación de las empresas europeas de inteligencia artificial.
“Los desarrolladores de IA con sede en EE. UU. probablemente se adelantarán a sus competidores europeos dada la noticia de que los comités parlamentarios de la UE han dado luz verde a su innovadora Ley de IA, donde los sistemas de IA deberán clasificarse de acuerdo con su potencial de daño desde el principio. ,” él dijo.
“El enfoque tecnológico de los EE. UU. (piense en Uber) es típicamente experimentar primero y, una vez que se establece el ajuste del mercado y el producto, adaptarse a otros mercados y su marco regulatorio. Este enfoque fomenta la innovación, mientras que los desarrolladores de IA con sede en la UE deberán tomar nota de las nuevas reglas y desarrollar sistemas y procesos que puedan reducir su capacidad de innovación.
“El Reino Unido está adoptando un enfoque similar al de los EE. UU., aunque la proximidad del mercado de la UE significa que es más probable que los desarrolladores con sede en el Reino Unido se ajusten al conjunto de reglas de la UE desde el principio; sin embargo, el potencial para experimentar en un espacio seguro, un sandbox regulatorio, puede resultar muy atractivo”.
Los grupos de la sociedad civil que han estado haciendo campaña en torno a la AIA, por otro lado, dieron la bienvenida a varias de las nuevas enmiendas, pero advirtieron que todavía hay una serie de problemas, particularmente en torno a la autoevaluación de la industria y las excepciones para la seguridad nacional o la aplicación de la ley. .
Griff Ferris, oficial sénior de políticas y asuntos legales de la organización no gubernamental Fair Trials, que desde septiembre de 2021 ha pedido explícitamente la prohibición del uso de IA y otros sistemas automatizados para “predecir” el comportamiento delictivo, describió la prohibición de la vigilancia predictiva como un “resultado histórico” que protegerá a las personas de una práctica “increíblemente dañina, injusta y discriminatoria”.
“Hemos visto cómo el uso de estos sistemas criminaliza repetidamente a las personas, incluso a comunidades enteras, etiquetándolas como delincuentes en función de sus antecedentes. Estos sistemas automatizan la injusticia, exacerban y refuerzan el racismo y la discriminación en la policía y el sistema de justicia penal, y alimentan la desigualdad sistémica en la sociedad”, dijo.
“El Parlamento de la UE ha dado un paso importante al votar por la prohibición de estos sistemas, y les instamos a terminar el trabajo en la votación final de junio”.
Ella Jakubowska, asesora principal de políticas de European Digital Rights (EDRi), agregó: “Estamos encantados de ver a los miembros del Parlamento Europeo dar un paso adelante para prohibir muchas de las prácticas que equivalen a la vigilancia biométrica masiva. Con este voto, la UE demuestra que está dispuesta a poner a las personas por encima de las ganancias, la libertad por encima del control y la dignidad por encima de la distopía”.
Leufer también acogió con beneplácito las enmiendas de los dos comités, que según dijo protegen mejor los derechos de las personas: “Se han realizado cambios importantes para detener aplicaciones dañinas como la vigilancia biométrica peligrosa y la vigilancia policial predictiva, así como aumentar los requisitos de responsabilidad y transparencia para los implementadores de sistemas de inteligencia artificial de alto riesgo. .
“Sin embargo, los legisladores deben abordar las brechas críticas que quedan, como una laguna peligrosa en el proceso de clasificación de alto riesgo del Artículo 6”.
Autoevaluación
Hablando con Computer Weekly antes de la votación, Leufer dijo que el Artículo 6 fue enmendado previamente por el Consejo Europeo para eximir a los sistemas de la lista de alto riesgo (contenida en el Anexo Tres de la AIA) que sería “puramente accesorio”, lo que esencialmente permitiría Los proveedores de IA pueden optar por no participar en la regulación en función de una autoevaluación de si sus aplicaciones son de alto riesgo o no.
“No sé quién está vendiendo un sistema de IA que hace una de las cosas del Anexo tres, pero eso es puramente accesorio para la toma de decisiones o los resultados”, dijo. “El gran peligro es que si deja que un proveedor decida si su sistema es ‘puramente accesorio’ o no, está muy incentivado para decir que lo es y optar por no seguir la regulación”.
Leufer dijo que el texto del Parlamento votado por los dos comités incluye “algo mucho peor… que es permitir que los proveedores hagan una autoevaluación para ver si realmente representan un riesgo significativo”.
EDRi compartió preocupaciones similares sobre el Artículo 6, señalando que incentivaría la subclasificación y proporcionaría una base para que las empresas argumenten que no deberían estar sujetas a los requisitos de la AIA para sistemas de alto riesgo.
“Desafortunadamente, el Parlamento está proponiendo algunos cambios muy preocupantes relacionados con lo que cuenta como IA de ‘alto riesgo’”, dijo Sarah Chander, asesora principal de políticas de EDRi. “Con los cambios en el texto, los desarrolladores podrán decidir si su sistema es lo suficientemente ‘significativo’ para ser considerado de alto riesgo, una importante señal de alerta para la aplicación de esta legislación”.
Sobre las clasificaciones de alto riesgo en general, Conor Dunlop, el líder de política pública europea en el Instituto Ada Lovelace, le dijo a Computer Weekly que los requisitos impuestos a los sistemas de alto riesgo, incluida la necesidad de conjuntos de datos de calidad, documentación técnica, transparencia, recursos humanos supervisión, etcétera, ya deberían ser prácticas estándar de la industria.
“Ha habido mucho rechazo por parte de la industria para decir que esto es demasiado oneroso”, dijo, y agregó que una solución sería simplemente abrir más sistemas a evaluaciones de terceros y verificaciones de conformidad: “Creo que eso obligaría a un desarrollo más seguro. y despliegue”.
extralimitación estatal
Con respecto a las prohibiciones del reconocimiento facial en vivo y retrospectivo, Leufer agregó que si bien el Parlamento ha eliminado todas las exenciones del primero, no lo ha hecho con el segundo, que aún puede ser utilizado por las fuerzas del orden con autorización judicial.
“Cualquier excepción significa que la infraestructura debe estar allí para su uso en esas circunstancias excepcionales. O eso requiere la instalación de infraestructura permanente en un espacio público, o requiere la compra de infraestructura móvil”, dijo. “No lo dejarán sentado durante tres años y no lo usarán, se incentivará para mostrar resultados de que fue una inversión que valió la pena y conducirá a un uso excesivo”.
Señalando una opinión conjunta sobre la AIA publicada por dos autoridades de protección de datos paneuropeas, Leufer agregó que esos organismos pidieron la prohibición de la identificación biométrica remota en cualquier contexto, y establecieron claramente que tanto el reconocimiento facial en vivo como el retrospectivo son incompatibles con los datos de Europa. leyes de proteccion
“Ya es ilegal, nosotros [at Access Now] He estado diciendo eso durante mucho tiempo, por lo que sería bueno que la Ley de IA lo dejara de lado y tuviera una prohibición explícita”, dijo. “Cualquier cosa menos que una prohibición total es en realidad peor que no tener nada, porque podría verse como una base legal para algo que ya es ilegal”.
Leufer agregó que parte del problema es que los legisladores han caído en la trampa de ver el reconocimiento facial en vivo como algo más peligroso que el reconocimiento facial retrospectivo: “Hay algo visceral en ser emparejado en el acto por esta cosa y luego tener la intervención instantánea, pero Realmente creo que la retrospectiva es mucho más peligrosa, ya que utiliza imágenes históricas de CCTV, fotos, todo este contenido que está por ahí, para destruir el anonimato”.
También existe la preocupación de que la AIA permita el desarrollo y despliegue de la IA con fines militares o de seguridad nacional sin excepciones en su uso.
En una conversación con Computer Weekly sobre las justificaciones éticas de la IA militar, Elke Schwarz, profesora asociada de teoría política en la Universidad Queen Mary de Londres y autora de Máquinas de muerte: la ética de las tecnologías violentas – por ejemplo, describió el enfoque de la AIA sobre la IA militar como “un poco confuso”.
Esto se debe a que, si bien los sistemas militares de IA están exentos de los requisitos si están diseñados específicamente para fines militares, la gran mayoría de la IA…