La introducción de la autonomía en los sistemas de armas aumentará la imprevisibilidad del conflicto armado debido a la incapacidad técnica de los algoritmos de inteligencia artificial (IA) para analizar factores contextuales complejos, se le ha dicho a Lords.
Durante la última sesión del comité de armas de IA de la Cámara de los Lores, que se estableció a fines de enero de 2023 para explorar la ética del desarrollo y despliegue de sistemas de armas autónomos (AWS), expertos legales e ingenieros de software le dijeron a Lords que los sistemas de IA actuales son no puede evaluar si una determinada acción militar es apropiada o proporcionada, y probablemente nunca podrá hacerlo.
Agregaron que si bien la IA nunca será lo suficientemente autónoma como para asumir la responsabilidad de las decisiones militares, incluso una autonomía limitada introduciría nuevos problemas en términos de mayor imprevisibilidad y oportunidades para que ocurra un “sesgo de automatización”.
En cambio, argumentaron que siempre debe haber un “control humano significativo” de los sistemas de armas impulsados por IA. “Una vez que está ocurriendo la autonomía, has traído otro tipo de actor al sistema. Los seres humanos se comportan de varias maneras que suelen ser sensibles al contexto en el que operamos”, dijo Laura Nolan, ingeniera de software principal de Stanza Systems y miembro de la campaña Stop Killer Robots, y agregó que si bien los humanos pueden adaptarse fácilmente entre sí y con el contexto de una situación, incluso los sistemas de IA más avanzados actualmente no pueden hacerlo.
“Tienes que escribir lo que deben hacer en qué contexto, y los componentes de aprendizaje automático suelen tratar de detectar el entorno, detectar un perfil de destino, pero la decisión no es apropiada para el contexto”.
Agregó que las armas autónomas también hacen que sea “extremadamente difícil” para los operadores y comandantes controlar la ubicación y el momento de los ataques y, por lo tanto, anticipar si fue proporcionado o si habrá daños colaterales.
“Le estás pidiendo a los comandantes que anticipen los efectos de un ataque que no controlan por completo o que no pueden anticipar por completo”, dijo. “Un principio básico de la teoría de sistemas complejos dice que cuando tienes sistemas con múltiples componentes, múltiples actores interactuando… la cantidad de resultados potenciales crece exponencialmente. Entonces se vuelve muy, muy difícil predecir esos efectos”.
Sesgo de automatización
Luego está el problema adicional del sesgo de automatización (refiriéndose a la tendencia de los humanos a confiar en los resultados de los sistemas automatizados más de lo que confiarían en la información de otra fuente), cuya eliminación completa, según Nolan, sería un “sueño imposible”.
“Es un área extremadamente activa y de larga duración de la investigación de factores humanos sobre cómo reducir el sesgo de automatización o eliminarlo, y no sabemos cómo”, dijo.
Sobre si un arma impulsada por IA podría alguna vez evaluar de manera autónoma la proporcionalidad de las decisiones de combate, Nolan dijo que cree que es “absolutamente imposible” que una máquina tome ese tipo de determinaciones, ya que solo un ser humano podría evaluar el contexto estratégico general.
“Necesita saber el valor militar estratégico anticipado de la acción, y no hay forma de que un arma pueda saber eso”, dijo. “Hay un arma en el campo, mirando quizás algunas imágenes, algún tipo de aprendizaje automático y cosas de percepción. No sabe nada. Solo está haciendo algunos cálculos que realmente no ofrecen ninguna relación con el valor militar”.
Al explicar cómo los modelos de IA asignan matemáticamente píxeles para identificar el contenido de las imágenes, lo que cualquier AWS tendría que hacer en el campo a partir de una transmisión en vivo, Taniel Yusef, investigador visitante en el Centro para el Estudio del Riesgo Existencial de la Universidad de Cambridge, dijo que aunque el las matemáticas subyacentes podrían ser “precisas”, eso no significa necesariamente que los resultados serán “correctos”.
Dando el ejemplo de cuando probó un algoritmo diseñado para distinguir entre imágenes de gatos y perros, Yusef dijo que incluso tareas simples como esta pueden salir mal y salen mal.
“Decidió que el gato era un perro”, dijo. “Lo que me preocupa es que, cuando esto suceda en el campo, habrá gente en el terreno diciendo que estos civiles fueron asesinados, y tendrá un informe del arma que retroalimenta, ‘Pero mire las matemáticas’.
“Las matemáticas dicen que era un objetivo que era una base militar… porque las matemáticas lo dicen, y nos remitimos mucho a las matemáticas porque las matemáticas son muy específicas, y las matemáticas serán correctas. Hay una diferencia entre correcto y exacto. Hay una diferencia entre preciso y exacto. Las matemáticas serán correctas porque se codificó correctamente, pero no serán correctas sobre el terreno”, dijo Yusef.
“Así que cuando haces la pregunta sobre la proporcionalidad y si es técnicamente posible [to delegate responsibility to AI]no, no es técnicamente posible, porque no puedes saber el resultado de un sistema, cómo logrará el objetivo que has codificado, hasta que lo haya hecho, y no sabes cómo llegó ahí”, dijo. dicho.
Interjección de compañeros
Cuando un compañero intervino para decir que los humanos podían cometer errores similares, como “el otro día, vi un perro que pensé que era un gato”, Yusef respondió: “No le disparaste”.
Christian Enemark, profesor de relaciones internacionales en la Universidad de Southampton, dijo: “El desempeño autónomo de [discrimination and proportionality] a una entidad no humana es una tontería filosófica, posiblemente”.
Agregó que siempre debe ser un agente humano el que toma las decisiones y se responsabiliza por ellas, y que la conversación general sobre AWS debe expandirse para incluir otras áreas prácticas en las que podrían usarse.
“Las armas se pueden usar fuera de los conflictos armados y, sin embargo, la conversación se ha dirigido principalmente hacia los conflictos armados y la ley que rige los conflictos armados, que es el derecho internacional humanitario”, dijo. “Pero no es necesario que esté tan restringido, y podría decirse que debería expandirse para incluir el uso de la violencia por parte del estado, por ejemplo, con fines de aplicación de la ley; debemos pensar en cuáles podrían ser las implicaciones de la incorporación de la IA en ese contexto.
“Y una vez que salimos del contexto del conflicto armado, no estamos restringidos a hablar de derecho humanitario. Ahora también estamos abiertos a inspirarnos y guiarnos por el derecho internacional de los derechos humanos”.
En su primera sesión de pruebas, el comité escuchó que los beneficios potenciales del uso de IA en sistemas de armas y operaciones militares no deben combinarse con un mejor cumplimiento del derecho internacional humanitario, sobre la base de que acelerar la guerra más allá de las capacidades cognitivas ordinarias de los humanos limitaría la capacidad de las personas. capacidad de prevenir un ataque ilegal o innecesario.
Los testigos expertos en esa sesión también señalaron que el despliegue de armas de IA también podría hacer que el uso de la violencia fuera más frecuente en lugar de menos frecuente, porque el umbral de recurrir a la fuerza sería significativamente más bajo.