La Agencia para el Cumplimiento de la Ley de la Unión Europea, o Europol, ha hecho una serie de recomendaciones a la comunidad de aplicación de la ley que debe prepararse para los impactos positivos y negativos que tienen los modelos de lenguaje extenso (LLM): los modelos de inteligencia artificial (IA) que sustentan productos como ChatGPT. ese proceso, manipular y generar texto- tendrá en el panorama criminal.
en el informe ChatGPT: el impacto de los grandes modelos de lenguaje en la aplicación de la leyel laboratorio de innovación de Europol recopiló los resultados de una serie de talleres y criminólogos expertos para explorar cómo los delincuentes, no solo los ciberdelincuentes, pueden abusar de los LLM en su trabajo y cómo los LLM podrían ayudar a los investigadores en el futuro.
“El objetivo de este informe es crear conciencia sobre el posible uso indebido de los LLM, abrir un diálogo con las empresas de IA para ayudarlas a construir mejores salvaguardas y promover el desarrollo de sistemas de IA seguros y confiables”, dijo Europol.
Los investigadores de Europol describieron las perspectivas de explotación potencial de LLM e IA por parte de delincuentes como “sombrías”. Al igual que otros investigadores que han analizado la tecnología, encontraron tres áreas clave de preocupación:
- La capacidad de los LLM para reproducir patrones de lenguaje y suplantar el estilo de individuos o grupos específicos ya significa que pueden redactar textos muy realistas a escala para generar señuelos de phishing convincentes.
- La capacidad de los LLM para producir texto de apariencia auténtica a gran velocidad y escala lo hace ideal para la explotación para crear propaganda y desinformación.
- La capacidad de los LLM para producir código potencialmente utilizable en diferentes programas hace que sea potencialmente interesante para los ciberdelincuentes como herramienta para crear nuevos malwares y ransomware lockers. Tenga en cuenta que la comunidad de seguridad cibernética considera que este impacto es un poco más a largo plazo en este momento, aunque esto puede cambiar a medida que se desarrolla la tecnología.
Europol hizo una serie de recomendaciones para que los profesionales encargados de hacer cumplir la ley las incorporen a su pensamiento para estar mejor preparados para el impacto de los LLM:
- Dado el potencial de daño, las agencias deben comenzar a crear conciencia sobre los problemas para garantizar que se encuentren y cierren las posibles lagunas de uso con fines delictivos;
- Las agencias también deben comprender el impacto de los LLM en todas las áreas de delincuencia potencialmente afectadas, no solo los delitos habilitados digitalmente, para predecir, prevenir e investigar diferentes tipos de abuso de IA;
- También deben comenzar a desarrollar las habilidades internas necesarias para aprovechar al máximo los LLM, obteniendo una comprensión de cómo dichos sistemas pueden usarse de manera útil para generar conocimiento, ampliar la experiencia existente y extraer la respuesta requerida. Los oficiales de policía en servicio deberán recibir capacitación sobre cómo evaluar el contenido producido por los LLM en términos de precisión y sesgo;
- Las agencias también deben comprometerse con las partes interesadas externas, es decir, el sector tecnológico, para asegurarse de que se consideren los mecanismos de seguridad y estén sujetos a un proceso de mejora continua durante el desarrollo de tecnologías habilitadas para LLM;
- Finalmente, las agencias también pueden desear explorar las posibilidades de LLM privados personalizados capacitados en datos que ellos mismos poseen, lo que lleva a casos de uso más personalizados y específicos. Esto requerirá una amplia consideración ética, y será necesario adoptar nuevos procesos y salvaguardas para evitar que los oficiales de policía en servicio abusen de los LLM.
Julia O’Toole, CEO de MyCena Security Solutions, dijo: “No sorprende que Europol haya emitido este nuevo informe advirtiendo a las organizaciones y consumidores sobre los riesgos asociados con ChatGPT, ya que la herramienta tiene el potencial de reformar completamente el mundo del phishing, a favor de los chicos malos.
“Cuando los delincuentes usan ChatGPT, no hay barreras de idioma o cultura. Pueden hacer que la aplicación recopile información sobre organizaciones, los eventos en los que participan, las empresas con las que trabajan, a una velocidad fenomenal.
“Luego, pueden solicitar a ChatGPT que use esta información para escribir correos electrónicos fraudulentos altamente creíbles. Cuando el objetivo recibe un correo electrónico de su banco, director ejecutivo o proveedor ‘aparente’, no hay señales que indiquen que el correo electrónico es falso.
“El tono, el contexto y la razón para realizar la transferencia bancaria no ofrecen evidencia que sugiera que el correo electrónico es una estafa. Esto hace que los correos electrónicos de phishing generados por ChatGPT sean muy difíciles de detectar y peligrosos”, agregó.