En los últimos meses, hemos visto una serie de pruebas de concepto (PoC) que demuestran las formas en que ChatGPT y otras plataformas generativas de IA se pueden usar para realizar muchas tareas involucradas en una cadena de ataque típica. Y desde noviembre de 2022, los investigadores de sombrero blanco y los usuarios de foros de piratería han estado hablando sobre el uso de ChatGPT para producir ladrones de información basados en Python, herramientas de encriptación, criptoclippers, drenadores de criptomonedas, encriptadores, código VBA malicioso y muchos otros casos de uso.
En respuesta, OpenAI ha tratado de evitar violaciones de los términos de uso. Pero debido a que las funciones del software malicioso a menudo son indistinguibles del software legítimo, se basan en la identificación de la supuesta intención en función de las indicaciones enviadas. Muchos usuarios se adaptaron y desarrollaron enfoques para eludir esto. El más común es la “ingeniería rápida”, el proceso de prueba y error en el que los usuarios legítimos y maliciosos adaptan el lenguaje utilizado para lograr la respuesta final deseada.
Por ejemplo, en lugar de usar un comando descaradamente malicioso como “generar malware para eludir la plataforma EDR del proveedor X”, se ingresan varios comandos aparentemente inocentes. Luego, las respuestas del código se agregan para crear malware personalizado. Esto fue demostrado recientemente por el investigador de seguridad codeblue29, quien aprovechó con éxito ChatGPT para identificar una vulnerabilidad en el software de un proveedor de EDR y producir un código de malware: esta fue la primera recompensa por errores de ChatGPT.
Se ha logrado un éxito similar a través de estrategias orientadas a la fuerza bruta. En enero de 2023, los investigadores de CyberArk publicaron un informe que demuestra cómo se pueden eludir los filtros de contenido de ChatGPT “insistiendo y exigiendo” que ChatGPT lleve a cabo las tareas solicitadas.
Otros han encontrado formas de explotar las diferencias en los mecanismos de aplicación de políticas de contenido en los productos de OpenAI.
Recientemente se observó a los usuarios del foro de ciberdelincuentes que anuncian el acceso a un bot de Telegram que, según afirman, aprovecha el acceso directo a la API GPT-3.5 de OpenAI como un medio para eludir las restricciones más estrictas impuestas a los usuarios de ChatGPT.
Varias publicaciones realizadas en los foros de piratería rusos XSS y Nulled promueven la capacidad de la herramienta para enviar mensajes a la API GPT-3.5 directamente a través de Telegram. Según la publicación, este método permite a los usuarios generar código de malware, correos electrónicos de phishing y otras salidas maliciosas sin necesidad de realizar esfuerzos de ingeniería rápidos, complejos o que consumen mucho tiempo.
Podría decirse que los ejemplos más preocupantes de malware habilitado para el modelo de lenguaje grande (LLM) son los producidos a través de una combinación de las tácticas anteriores. Por ejemplo, un PoC publicado en marzo de 2023 por HYAS demostró las capacidades de un registrador de teclas habilitado para LLM, BlackMamba, que incluye la capacidad de eludir las herramientas estándar de detección y respuesta de puntos finales (EDR).
Sin embargo, a pesar de sus impresionantes habilidades, ChatGPT todavía tiene problemas de precisión. Parte de esto se debe a la forma en que funcionan los transformadores preentrenados generativos (GPT). Son motores de predicción y no están entrenados específicamente para detectar errores fácticos, por lo que simplemente producen la respuesta estadísticamente más probable según los datos de entrenamiento disponibles.
Esto puede conducir a respuestas que son evidentemente falsas, a menudo denominadas “alucinaciones” o “repetición estocástica”, una barrera clave para la implementación de servicios habilitados para GPT en entornos no supervisados. Las preocupaciones son las mismas sobre la calidad del código producido por ChatGPT, tanto que los comentarios generados por ChatGPT fueron prohibidos en el foro de intercambio de código Stack Overflow casi inmediatamente después del lanzamiento inicial.
Los modelos de GPT de la generación actual no validan de forma eficaz e independiente el código que generan, independientemente de si las indicaciones se envían a través de la GUI de ChatGPT o directamente a través de una llamada a la API. Este es un problema para los posibles desarrolladores de malware polimórfico, que deberían tener la habilidad suficiente para validar todos los escenarios de modulación posibles para producir un código de explotación capaz de ejecutarse.
Esto hace que las barreras de entrada para los actores de amenazas menos calificados sean prohibitivamente altas. Como argumenta Bharat Mistry de Trend Micro, “Aunque ChatGPT es fácil de usar en un nivel básico, manipularlo para que sea capaz de generar malware potente puede requerir habilidades técnicas más allá de muchos piratas informáticos”.
El NCSC también evalúa que es probable que incluso aquellos con una capacidad significativa desarrollen código malicioso desde cero de manera más eficiente que el uso de IA generativa.
Otras iteraciones de los modelos GPT ya han comenzado a expandir las capacidades de los productos habilitados para LLM disponibles comercialmente. Estos desarrollos futuros pueden disminuir el umbral técnico requerido para que los actores de amenazas motivados realicen operaciones antagónicas por encima de su nivel de habilidad natural.
Sin embargo, en la actualidad, aunque los LLM de la generación actual presentan una promesa y un riesgo considerables, sus impactos de seguridad más amplios aún se ven silenciados por las limitaciones de la tecnología subyacente. El ritmo de la innovación y la mejora es rápido y los avances futuros ampliarán las posibilidades disponibles para el usuario promedio de IA generativa, aumentando el potencial de un uso indebido adicional.