Tres empresas que están trabajando en un proyecto para detectar material de abuso sexual infantil (CSAM, por sus siglas en inglés) antes de que llegue a entornos encriptados como parte de un desafío del gobierno, afirman que se pueden realizar escaneos previos al encriptado de dicho contenido sin comprometer la privacidad.
Lanzado en septiembre de 2021, el Safety Tech Challenge Fund está diseñado para impulsar la innovación en inteligencia artificial (IA) y otras tecnologías que pueden escanear, detectar y marcar imágenes ilegales de abuso infantil sin romper el cifrado de extremo a extremo (E2EE).
Los cinco proyectos ganadores se anunciaron en noviembre de 2021 y cada uno recibirá £85 000 para ayudarlos a avanzar en sus propuestas técnicas.
El fondo de desafío es parte del esfuerzo más amplio del gobierno para combatir los comportamientos dañinos en línea y promover la seguridad en Internet a través del proyecto de ley de seguridad en línea, que tiene como objetivo establecer un “deber de cuidado” legal en las empresas de tecnología obligándolas legalmente a identificar, eliminar y limitar la difusión de contenido ilegal y legal pero nocivo, incluido el MASI.
En respuesta al desafío, la plataforma de cifrado de correo electrónico de extremo a extremo Galaxkey, la empresa de biometría Yoti y el proveedor de software de moderación de contenido basado en inteligencia artificial Image Analyzer están colaborando en un sistema que podrá escanear el contenido en busca de MASI en los dispositivos de los usuarios antes de su cifrado. . Afirman que el escaneo en el dispositivo sería la mejor manera de proteger la privacidad de los usuarios.
Las empresas desarrollarán su sistema hasta marzo de 2022, cuando presentarán su prueba de concepto al Departamento de Digital, Cultura, Medios y Deporte (DCMS). Luego, se pondrán a disposición fondos adicionales de £ 130,000 para los proyectos más fuertes.
El proyecto propuesto
Según un comunicado de prensa del gobierno, las tres empresas trabajarán “para desarrollar un software que se centre en la privacidad del usuario, la detección y prevención del abuso sexual infantil y abuso sexual infantil, y la verificación de la edad para detectar el abuso sexual infantil antes de que llegue a un entorno E2EE, evitando que se cargue. y compartida”.
Las empresas han dicho que cualquier CSAM detectado por el sistema se informará a los moderadores para que se tomen medidas adicionales. Cuando el algoritmo de IA descubre MASI, la información proporcionada a los moderadores será rastreada y auditada para evitar cualquier uso indebido.
Los desarrolladores afirman que actualmente no hay productos en el mercado que proporcionen este tipo de filtrado previo al contenido con cifrado de extremo a extremo.
En declaraciones a Computer Weekly, el CEO de Galaxkey, Randhir Shinde, dijo que la arquitectura existente de la compañía está construida de tal manera que cuando los usuarios, en su mayoría clientes empresariales, configuran la infraestructura, pueden generar y mantener las claves de cifrado dentro de sus propios entornos, lo que les brinda mayor seguridad. y control que otros métodos.
“Cuando hablas de claves de encriptación, la persona que controla la clave controla efectivamente los datos”, dijo. “Entonces, toda la arquitectura de Galaxkey se basa en resolver ese problema. La arquitectura Galaxkey está construida de tal manera que las empresas, cuando configuran la infraestructura, tienen las claves con ellas en su propio entorno, lo que brinda un cifrado completo de extremo a extremo”.
Shinde dijo que esto significaba que Galaxkey no podía acceder por completo a ninguna de las claves, y la seguridad se mantuvo aún más dentro de las organizaciones de los clientes mediante el uso adicional de un modelo de cifrado basado en la identidad, mediante el cual cada usuario final debe presentar la identidad y autorización correctas para acceder a cualquier clave. datos cifrados dentro del entorno más amplio.
Galaxkey ha creado previamente productos de cifrado de correo electrónico, cifrado de archivos e intercambio de archivos usando esta arquitectura, y ya estaba construyendo su propia plataforma de mensajería instantánea cifrada, conocida como Lock Chat, antes del anuncio del fondo de desafío en septiembre.
Shinde agregó que debido a que Galaxkey ya tenía una relación de larga data con Image Analyzer y Yoti, que proporcionan algoritmos de detección de CSAM y verificación de edad impulsados por IA, respectivamente, tenía sentido que colaboraran en el desafío del gobierno.
Según el director ejecutivo de Image Analyzer, Cris Pikes, la empresa trabajó anteriormente con las fuerzas policiales del Reino Unido para entrenar su algoritmo de detección de CSAM.
Sin embargo, el escaneo del lado del cliente (CSS) de las comunicaciones antes de su cifrado plantea una serie de preocupaciones, principalmente que haría que el cifrado no tuviera sentido porque el contenido ya se habría escaneado.
¿Socavando el cifrado?
En agosto de 2021, Apple anunció su plan para introducir escaneos de CSAM en los dispositivos de sus clientes de EE. UU., lo que funcionaría mediante la comparación en el dispositivo con una base de datos de hashes de imágenes de CSAM conocidas proporcionadas por el Centro Nacional para Niños Desaparecidos y Explotados (NCMEC). y otras organizaciones de seguridad infantil.
“Antes de que una imagen se almacene en iCloud Photos, se realiza un proceso de comparación en el dispositivo para esa imagen con los hashes CSAM conocidos”, dijo la compañía. “Este proceso de coincidencia está impulsado por una tecnología criptográfica llamada intersección de conjunto privado, que determina si hay una coincidencia sin revelar el resultado.
“El dispositivo crea un comprobante de seguridad criptográfico que codifica el resultado de la coincidencia, junto con datos cifrados adicionales sobre la imagen. Este cupón se carga en iCloud Photos junto con la imagen”.
Cuando se le preguntó si la capacidad de escanear contenido antes de su encriptación haría que la encriptación fuera fundamentalmente inútil, Shinde de Galaxkey dijo que ese solo sería el caso si la información se enviara a un servidor de back-end. Agregó que con la arquitectura actual de Galaxkey, a diferencia de la propuesta de Apple, no existe ningún mecanismo que permita que esto suceda.
“Eso se debe a que no hay un servidor de control en el back-end”, dijo. “Todo está en el dispositivo. Y ahí es donde surge el potencial de Image Analyzer, ya que puede escanear con IA en el propio teléfono”.
Agregar el algoritmo de Image Analyzer solo transmitirá a los moderadores la probabilidad de que un mensaje contenga MASI como un porcentaje, dijo Shinde. “Tenemos un mecanismo en el que creará disparadores, pero no revelará ninguna información; eso no será posible debido a la arquitectura”.
En un documento sobre los riesgos de CSS escrito en respuesta a la propuesta de Apple, 14 expertos en criptografía, incluidos Ross Anderson y Bruce Schneier, dijeron: “Técnicamente, CSS permite el cifrado de extremo a extremo, pero esto es discutible si el mensaje ya ha sido enviado”. escaneado en busca de contenido específico. En realidad, CSS es interceptación masiva, aunque automatizada y distribuida”.
Los expertos agregaron que, si bien los productos de escaneo de dispositivos existentes, como el software antivirus o los bloqueadores de anuncios, actúan para proteger al usuario, CSS hace lo contrario. “Sus capacidades de vigilancia no se limitan a los datos en tránsito; al escanear los datos almacenados, lleva la vigilancia a un nuevo nivel”, escribieron.
“Solo las decisiones políticas evitan que el escaneo se expanda de imágenes de abuso ilegal a otro material de interés para los gobiernos, y solo la falta de una actualización de software evita que el escaneo se expanda de imágenes estáticas a contenido almacenado en otros formatos, como voz, texto o video. ”
Cuando se le preguntó qué medidas técnicas podrían implementarse para evitar la vigilancia del gobierno, Shinde dijo: “Los gobiernos deshonestos han usado tecnología para monitorear la comunicación. Lo que podemos hacer es limitar o restringir eso agregando capas de protección. hemos trabajado con [British signal intelligence agency] GCHQ y una de las mayores preocupaciones que teníamos es que no damos [encryption] llaves a nadie, y tampoco las tenemos, ¿obtendremos aprobación?
“Nos sorprendió mucho que dijeran ‘no, no queremos las llaves, pero queremos un mecanismo en el que podamos acercarnos al usuario final y decirle mira, danos las llaves ahora mismo’. Hemos empujado esa responsabilidad al usuario final, por lo que si el usuario final siente que ‘sí, estoy seguro dando mi llave al gobierno’, puede hacerlo”.
Preocupación por la reutilización
Otra preocupación planteada por los críticos de CSS es que podría reutilizarse fácilmente para buscar otros tipos de contenido.
“Si bien las propuestas generalmente se formulan como dirigidas a contenido específico, como MASN, o contenido compartido por los usuarios, como mensajes de texto utilizados para la preparación o el reclutamiento de terroristas, sería un cambio mínimo reconfigurar el escáner en el dispositivo para informar cualquier contenido dirigido, independientemente de cualquier intención de compartirlo o incluso hacer una copia de seguridad en un servicio en la nube”, escribieron Anderson, Schneier y otros.
“Eso permitiría búsquedas globales de dispositivos personales en busca de contenido arbitrario en ausencia de una orden judicial o sospecha. Venga el próximo susto terrorista, un pequeño empujón será todo lo que se necesita para reducir o eliminar las protecciones actuales”.
En cuanto a la reutilización, Shinde dijo: “No hay forma de detener eso. Obviamente, el gobierno siempre intentará pedir más, pero son las empresas responsables las que tienen que retroceder”.
Pikes de Image Analyzer dijo que la compañía ha tenido herramientas en el mercado desde 2017 para detectar armas, drogas y autolesiones en imágenes. “Los pusimos como una solución para usar de manera positiva, para detectar y eliminar estas cosas”, dijo. “Obviamente, siempre consideramos que podrían usarse para cosechar otro material, pero no otorgamos licencias de nuestra tecnología por esos motivos.
“Controlamos a los clientes a los que suministramos. Ciframos en gran medida nuestros modelos para que haya niveles de protección allí, pero en última instancia… sí, podrían usarse de manera negativa, pero desafortunadamente ese es el mundo en el que vivimos hoy”.
Pikes agregó: “Siempre encontrará que, como dentro de cualquier mercado o geografía, siempre habrá quienes abusen de él. Obviamente tienes que mitigar eso tanto como puedas. Por eso existe la legislación”.
Dada la naturaleza altamente centralizada de la arquitectura de las empresas de redes sociales y las obligaciones legales que les impondrá la Ley de seguridad en línea para monitorear el CSAM, aún no está claro si los usuarios de servicios como Facebook aún podrán controlar el descifrado. claves si se implanta el sistema que están desarrollando las tres firmas.
Shinde, por ejemplo, dijo que corresponde al gobierno ordenar cómo las empresas de redes sociales, en el contexto de la Ley de seguridad en línea, usan el sistema. “No podemos controlar eso, es un problema muy grande”, dijo.