A principios de año, el 72 % de los líderes de ciberseguridad reconocieron que les preocupaba que los ciberdelincuentes utilizaran la IA para mejorar sus correos electrónicos y campañas de phishing. Los chatbots, en particular, pueden ser utilizados por los ciberdelincuentes para crear rápida y fácilmente correos electrónicos de phishing bien redactados y gramaticalmente correctos.
Poco después del lanzamiento de ChatGPT, uno de nuestros analistas lo puso a prueba y pidió escribir un correo electrónico solicitando los datos personales de alguien.
El correo electrónico resultante estaba bien escrito, incluido el saludo y la despedida; tenía buena gramática; y estaba libre de errores tipográficos. ChatGPT también humanizó el tema, con frases como “¡Ha pasado tanto tiempo desde que nos vimos!”, “Los buenos viejos tiempos” y “Sé que ha pasado un tiempo”. Fácilmente podría creer que este correo electrónico fue escrito por una persona.
El siguiente mensaje se alineó más estrechamente con un correo electrónico de phishing, creando una oferta promocional para ganar dos premios buscados. Luego, el aviso se perfeccionó para pedirle a ChatGPT que inserte un enlace a un sitio web para que las personas ingresen. Puede ver cómo esto puede generar fácilmente una campaña de phishing.
Si bien los chatbots como ChatGPT están programados para advertir a los usuarios que no usen los resultados para actividades ilegales, aún pueden usarse para generarlos.
Entonces, como era de esperar, los titulares de este año han incluido afirmaciones sobre aumentos repentinos en los ataques de phishing basados en texto. ¿La realidad? Actualmente, nadie puede saber con certeza si estos ataques fueron escritos por un chatbot o por una persona. Si bien se han logrado avances en las herramientas para detectar contenido generado por IA, actualmente no existe un mecanismo a prueba de fallas. La clave API de OpenAI, por ejemplo, necesita al menos 1000 palabras para funcionar, por lo que es probable que no se detecte un breve correo electrónico de phishing. La herramienta tampoco es siempre 100% precisa.
El equipo de Egress Threat Intelligence también ha observado este aumento, pero comenzó antes del lanzamiento de ChatGPT, con el poder de la ingeniería social que resultó en mayores pagos para los ciberdelincuentes. Para corroborar esto, solo tenemos que observar el aumento de los compromisos de correo electrónico comercial (BEC), que se basan predominantemente en texto y dependen de cambios en los procesos (por ejemplo, nuevos datos bancarios) y facturas fraudulentas, en lugar de las tradicionales cargas útiles de malware. y sitios web de phishing. Las estadísticas del último Informe de investigaciones de violación de datos de Verizon muestran que los ataques BEC se han duplicado desde 2017.
Los primeros indicios muestran que es probable que la IA generativa esté acelerando esta tendencia, pero por ahora, solo podremos demostrarlo mediante la correlación de estadísticas; por ejemplo, un aumento en los ataques basados en texto en 2023 se correlacionó con el salto adelante en la tecnología generativa. AI que ha tenido lugar desde noviembre de 2022.
Entonces, sí, es probable que los ciberdelincuentes utilicen la IA para crear correos electrónicos y campañas de phishing. Sin embargo, la industria de la ciberseguridad ha estado desarrollando tecnología para detectar y prevenir estos ataques, porque de todos modos han aumentado en los últimos años. Y si no puede distinguir si un correo electrónico de phishing fue escrito por un ser humano o un bot, si tiene la tecnología adecuada para detectar el ataque, en última instancia, ¿importa cómo se creó?
Las soluciones integradas de seguridad de correo electrónico en la nube (ICES) son esta evolución de la detección antiphishing y utilizan modelos de IA para detectar ataques de phishing avanzados. El procesamiento del lenguaje natural (NLP) y la comprensión del lenguaje natural (NLU), por ejemplo, se pueden utilizar para analizar mensajes de correo electrónico para detectar signos de ingeniería social. Del mismo modo, el aprendizaje automático también se puede utilizar como parte de la detección de anomalías, lo que permite que las soluciones antiphishing inteligentes detecten ataques de phishing heterogéneos, donde se realizan pequeños cambios en diferentes correos electrónicos de phishing para eludir las soluciones de seguridad de correo electrónico tradicionales.
Hay una advertencia cuando se trata de soluciones de seguridad cibernética basadas en IA: no todas son iguales. Algunos modelos pueden ser explotados por ciberdelincuentes, por lo que los correos electrónicos de phishing finalmente eluden la detección. En los ataques de inundación, los ciberdelincuentes envían grandes volúmenes de correos electrónicos, a menudo benignos, para manipular la IA y los modelos de aprendizaje automático, incluidos los gráficos sociales y la PNL. Los empleados también pueden envenenar sin darse cuenta los modelos de IA si los comentarios de los usuarios influyen en las capacidades de detección de la solución. Por lo tanto, es importante evaluar cómo una solución utiliza la IA y las medidas de seguridad que tiene para evitar estos resultados.
Cuatro preguntas iniciales que puede hacer al buscar soluciones son:
- ¿Cómo se protegen los modelos de ser manipulados?
- ¿Cómo funciona la entrada de datos? ¿Puede confiar en los datos?
- ¿Puede la gente entender los resultados? (es decir, ¿alguien entiende los resultados y cómo llegó a ellos la solución?)
- ¿Qué capacitación necesitan las personas para usar el producto?
Actualmente, la IA es lo que hacemos de ella, y puede usarse como una fuerza tanto para el bien como para el mal. Con las capacidades de detección correctas, los líderes de seguridad cibernética no necesitan preocuparse por el uso de IA para crear correos electrónicos de phishing más de lo que les preocupa el phishing como un área de riesgo para su organización.
Jack Chapman es vicepresidente de inteligencia de amenazas en Egress.