En la segunda cumbre mundial sobre inteligencia artificial (IA) celebrada en Corea del Sur, decenas de gobiernos y empresas redoblaron sus compromisos para desarrollar la tecnología de forma segura e inclusiva, pero persisten dudas sobre quién exactamente está incluido y a qué riesgos se les da prioridad.
Hablando con Computer Weekly sobre los desarrollos durante la Cumbre de AI en Seúl, expertos en tecnología y grupos de la sociedad civil dijeron que si bien hubo un énfasis positivo en expandir la investigación de seguridad de AI y profundizar la cooperación científica internacional, les preocupa el dominio del campo de seguridad de AI por parte de corporaciones estrechas. intereses.
Dijeron que, si bien la cumbre terminó con algunos resultados concretos que pueden avanzar antes de la Cumbre de Acción de IA que tendrá lugar en Francia a principios de 2025, todavía hay una serie de áreas en las que se necesita urgentemente más movimiento.
En particular, subrayaron la necesidad de que las empresas adopten compromisos obligatorios en materia de seguridad de la IA; evaluaciones sociotécnicas de sistemas que toman en cuenta cómo interactúan con personas e instituciones en situaciones del mundo real; y una participación más amplia del público, los trabajadores y otras personas afectadas por los sistemas impulsados por IA.
Sin embargo, también dijeron que “aún es temprano” y resaltaron la importancia de los eventos de la Cumbre de Seguridad de la IA para crear un diálogo abierto entre países y sentar las bases para catalizar acciones futuras.
Si bien hubo un consenso general entre los asistentes a la primera Cumbre de Seguridad de la IA, celebrada por el gobierno del Reino Unido en Bletchley Park en noviembre de 2023, de que era un buen paso adelante, particularmente debido a la participación de China en medio de las crecientes tensiones con los gobiernos occidentales. muchos otros estaban preocupados por lo que vendrá después y si se incluirán perspectivas más diversas en el futuro.
En el transcurso de los dos días de la Cumbre AI de Seúl, los gobiernos y empresas asistentes firmaron una serie de acuerdos y compromisos.
Para los gobiernos, esto incluye a la Unión Europea (UE) y un grupo de 10 países que firman la Declaración de Seúl, que se basa en la Desaceleración de Bletchley firmada hace seis meses por 28 gobiernos y la UE en la Cumbre inaugural de Seguridad de la IA en el Reino Unido. También incluye la Declaración de Intención de Seúl hacia la Cooperación Internacional en la Ciencia de la Seguridad de la IA, en la que los institutos de investigación con respaldo público se unirán para garantizar la “complementariedad e interoperabilidad” entre su trabajo técnico y los enfoques generales de la seguridad de la IA.
La Declaración de Seúl, en particular, afirmó “la importancia de la colaboración activa de múltiples partes interesadas” en esta área y comprometió a los gobiernos involucrados a incluir “activamente” una amplia gama de partes interesadas en los debates relacionados con la IA.
Un grupo más grande de más de dos docenas de gobiernos también se comprometió a desarrollar umbrales de riesgo compartidos para los modelos fronterizos de IA para limitar sus impactos dañinos en la Declaración Ministerial de Seúl, que destacó la necesidad de salvaguardias efectivas y regímenes de pruebas de seguridad de IA interoperables entre países.
Los acuerdos y compromisos hechos por las empresas incluyen que 16 empresas globales de IA firmen los Compromisos de Seguridad de IA de Frontier, que es un conjunto voluntario específico de medidas sobre cómo desarrollarán la tecnología de forma segura, y 14 empresas que firmen el Compromiso Empresarial de IA de Seúl, que es similar. conjunto de compromisos asumidos por una combinación de empresas tecnológicas surcoreanas e internacionales para abordar el desarrollo de la IA de manera responsable.
Uno de los compromisos voluntarios clave asumidos por las empresas de IA fue no desarrollar ni implementar sistemas de IA si los riesgos no pueden mitigarse lo suficiente.
En línea con los compromisos de avanzar en la cooperación internacional en materia de seguridad de la IA, incluso mediante el establecimiento de líneas rojas compartidas en torno a umbrales de riesgo aceptables y la creación de una red colaborativa de institutos de investigación, el gobierno del Reino Unido también anunció un programa de financiación de £8,5 millones, que será administrado por el El Instituto de Seguridad de la IA (AISI) del Reino Unido se estableció en el período previo a la última Cumbre de Seguridad de la IA.
El gobierno del Reino Unido dijo que las subvenciones se otorgarían a investigadores que estudian cómo proteger mejor a la sociedad de los riesgos asociados con la IA, incluidos los deepfakes y los ataques cibernéticos, y que el programa general había sido diseñado para ampliar el mandato del AISI para incluir el campo de la “sistémica”. Seguridad de la IA”, cuyo objetivo es comprender y mitigar el impacto de la IA a nivel social.
Impulsar la cooperación internacional
El consenso entre las personas con las que habló Computer Weekly es que los mayores logros de la Cumbre de Seúl fueron los compromisos de proliferar los organismos de investigación de seguridad de la IA y hacer que cooperen más allá de las fronteras nacionales.
Estamos empezando a ver surgir un consenso sobre la importancia de los institutos de seguridad de la IA… [specifically] la importancia de la colaboración entre ellos
Ima Bello, Instituto Futuro de la Vida
“Estamos empezando a ver surgir un consenso sobre la importancia de los institutos de seguridad de la IA, pero en realidad no es un consenso sobre los institutos, es un consenso sobre la importancia de la colaboración entre los institutos de seguridad”, dijo Ima Bello, Future of Life. Representante de la cumbre de IA del Instituto, quien describió una cooperación más profunda entre los organismos de investigación ya existentes como “un resultado muy práctico” de la Cumbre de Seúl.
Dijo que para fortalecer estos esfuerzos, el siguiente paso sería establecer algún tipo de coordinador para la red de seguridad.
Bello también destacó que el informe provisional internacional sobre el estado de la ciencia, que evalúa las investigaciones existentes sobre los riesgos y las capacidades de la IA de frontera, y que los países acordaron en Bletchley debería ser encabezado por el académico de IA Joshua Bengio, fue bien recibido unánimemente por los gobiernos que participaron en el cumbre. “Podemos utilizar eso como base para recomendaciones políticas informadas y formulación de políticas informadas”, dijo.
Bello dijo que las Cumbres de IA también deberían ser elogiadas porque representan el único foro internacional donde la seguridad de la IA domina la agenda, así como uno de los pocos foros donde rivales geopolíticos como Estados Unidos y China se sientan juntos para discutir estos temas.
Jamie Moles, gerente técnico senior de la firma de seguridad cibernética ExtraHop, dijo que si bien puede no parecer gran cosa, la aparición de más institutos de seguridad a nivel internacional y su acuerdo para trabajar juntos “es probablemente lo más grande y significativo que surja”. este”.
Comprometerse con la inclusión
Si bien las personas con las que habló Computer Weekly elogiaron el énfasis en la cooperación científica, también sintieron que se debe hacer más para garantizar que la investigación y la cooperación en IA se amplíen para incluir perspectivas y visiones del mundo más diversas.
Eleanor Lightbody, directora ejecutiva de Luminance, por ejemplo, dijo que si bien los compromisos de 16 empresas de inteligencia artificial y 27 países eran un “comienzo prometedor”, es necesario hacer más para garantizar una gama más amplia de voces en la mesa fuera de las grandes tecnologías.
“De hecho, estas empresas tienen la piel en juego y no se puede esperar que hagan sus propios deberes”, dijo. “Si bien las empresas de IA más grandes pueden adaptarse rápidamente a las regulaciones, es posible que las empresas de IA más pequeñas no tengan esa capacidad. Por eso es tan importante incorporar empresas emergentes y en expansión de IA en estas conversaciones”.
Al señalar los compromisos de los institutos de seguridad de IA de colaborar con los desarrolladores de IA, así como la cantidad de talento que estos organismos buscan contratar de la industria, Adam Cantwell-Corn, jefe de campañas y políticas de Connected by Data, dijo que existe una educación. canal de conexión al empleo en el sector tecnológico que sólo permite el paso de un conjunto limitado de ideas.
Al describir esto como una “forma insidiosa y generalizada de [regulatory] captura que es necesario abordar”, dijo, las empresas de tecnología desempeñan un papel muy importante en la configuración de las agendas de investigación académica sobre IA a través de financiación y acceso a la computación que solo ellas tienen.
“Las empresas determinan en gran medida lo que sucede en los círculos académicos y, por lo tanto, las personas que realmente llegan a ese nivel de experiencia, su conjunto intelectual y de conocimientos ha sido moldeado por un conjunto bastante limitado y estrecho de perspectivas e intereses”, dijo, y agregó que esto conduce a que se favorezcan los enfoques “técnicos y tecnocráticos” sobre los enfoques “sociotécnicos” que tienen en cuenta los efectos sociales más amplios de los sistemas de IA en los contextos específicos en los que se implementan.
Añadió que es necesario que haya una pluralidad de voces y perspectivas al considerar preguntas sobre si se introducirá nueva IA y cómo: “Eso incluye a la sociedad civil, incluye a las comunidades afectadas, incluye a los trabajadores que la implementarán, pero también a los trabajadores que vamos a ser los más afectados”.
Para solucionar estos problemas, Cantwell-Corn dijo que los gobiernos deben fomentar experiencia independiente que no dependa de la financiación o el patrocinio de las empresas. “Aquí corremos el riesgo de crear un pensamiento de grupo, [so] Necesitamos galvanizar y desarrollar la capacidad de la sociedad civil para impugnar eso”, afirmó.
Bello estuvo de acuerdo en gran medida, señalando que si bien hay muchas “personas increíblemente talentosas” en el sector de la IA que “estarían encantadas de trabajar por el interés común”, los mecanismos de financiación independientes que les permitan hacerlo simplemente no existen en este momento.
Añadió que, por lo tanto, el gobierno debería centrarse en crear “condiciones para su libertad de pensamiento y libertad de maniobra”, pero señaló que esto sería un proceso y no un cambio de la noche a la mañana.
Matt Davies, líder de políticas públicas del Reino Unido en el Instituto Ada Lovelace, dijo que si bien los compromisos y acuerdos firmados en la cumbre ayudan a marcar una dirección y envían señales sobre la necesidad de una IA responsable, segura e inclusiva, los problemas en el último momento cumbre en torno a la falta de representación de los sindicatos y de la sociedad civil siguen muy presentes.
“Realmente nos gustaría ver una mayor participación pública y de la sociedad civil en estos procesos. Esta fue una gran crítica que nosotros y otros hicimos a la Cumbre de Bletchley, y esta vez no necesariamente se ha remediado”, dijo.
“Esto también se aplica a los institutos que se están creando. Hasta ahora, ha habido un compromiso relativamente limitado de la sociedad civil con los líderes de esos institutos, o una presencia a nivel de junta que podría ayudar a establecer prioridades y garantizar que las preocupaciones públicas estén realmente centradas”.
Davies también dijo que existe una necesidad urgente de aportar más experiencia sociotécnica a la red global de organismos de investigación de seguridad que se está creando, que luego puede trabajar con “reguladores y agencias de aplicación de la ley en la evaluación contextual posterior y cómo funcionan realmente estos sistemas”. en sociedad”.
Davies compartió su esperanza de que el dinero reservado por el gobierno del Reino Unido para financiar la investigación sobre los riesgos sistémicos de la IA sea un paso hacia la adopción de un enfoque más sociotécnico para la seguridad de la IA.
Considerando los riesgos sistémicos
Un tema importante en torno a la última Cumbre de IA en Bletchley Park fue el equilibrio de los riesgos que se discutieron, que fue criticado por voces tanto de la industria como de la sociedad civil por centrarse demasiado estrechamente en futuros riesgos especulativos sobre los daños en el mundo real que ya están ocurriendo.
Al comentar sobre el balance de riesgos que se está discutiendo esta vez, Bello dijo que cada riesgo, ya sea especulativo o ya ocurrido, debe ser discutido: “Debemos hablar de todo este riesgo de una manera realmente seria, y para eso necesitamos agilidad mental. … necesitamos todas las visiones”.
Para Cantwell-Corn, el principal aspecto positivo de la Cumbre de Seúl fue cómo se ampliaron los marcos de referencia para incorporar daños más conocidos en lugar de centrarse tanto en la especulación.
Cantwell-Corn señaló las subvenciones para investigación de seguridad de la IA anunciadas por el gobierno del Reino Unido, que contienen su primer compromiso de examinar los “riesgos sistémicos” de los sistemas de IA, y dijo que esto abre la oportunidad de considerar cómo la IA afectará el presente y el futuro del trabajo. , la capacidad de las personas para ejercer eficazmente derechos y protecciones, la distribución de servicios públicos, la concentración del mercado y la gobernanza corporativa.
“Esto tiene menos que ver con la IA per se y más con conversaciones de larga data sobre monopolios y oligopolios, y cómo distorsionan los mercados y crean malos resultados sociales”, dijo. “También se trata de decisiones políticas sobre cómo se adoptan las tecnologías de IA, quiénes son los ganadores y perdedores, y quién lleva la carga de cosas como la disrupción y el reciclaje profesional”.
En cuanto al riesgo sistémico, Moles destacó de manera similar los impactos de la IA en la vida diaria de las personas, y particularmente en sus empleos, si la tecnología llega a la etapa en la que pueda reemplazar de manera confiable una gama más amplia de trabajo humano.
“Si llegamos a la etapa en la que la IA puede anular muchos, muchos puestos de trabajo y hacer que no necesiten un ser humano, entonces tendremos desempleo masivo, disturbios civiles masivos y toda una generación o más de personas que,…
