Poco después del lanzamiento de los modelos de IA DeepSeek y Qwen, Check Point Research fue testigo de cómo los cibercriminales cambiaban rápidamente de ChatGPT a estas nuevas plataformas para desarrollar contenido malicioso. Los actores de amenazas están compartiendo cómo manipular los modelos y mostrar contenido sin censura, lo que en última instancia permite a los piratas informáticos y delincuentes utilizar la IA para crear contenido malicioso. Existen muchos métodos para eliminar los censores de los modelos de IA, lo que se conoce como jailbreaking. Sin embargo, ahora vemos guías detalladas sobre métodos de jailbreaking, eludir las protecciones antifraude y desarrollar malware en sí.

El panorama de amenazas

Tanto Qwen como DeepSeek han demostrado potencial como herramientas poderosas para crear contenido malicioso con restricciones mínimas. Si bien ChatGPT ha invertido sustancialmente en disposiciones anti-abuso durante los últimos dos años, estos modelos más nuevos parecen ofrecer poca resistencia al uso indebido, lo que atrae un aumento del interés de diferentes niveles de atacantes, especialmente los poco capacitados: personas que explotan scripts o herramientas existentes sin un conocimiento profundo de la tecnología subyacente.

Es fundamental destacar que, a pesar de los mecanismos anti-abuso de ChatGPT, ya hay versiones sin censura de ChatGPT disponibles en varios repositorios en Internet. A medida que estos nuevos modelos de IA ganen popularidad, se prevé que surjan instancias similares sin censura de DeepSeek y Qwen, lo que aumentará aún más los riesgos involucrados.

Ejemplos del mundo real

A continuación, se muestran algunos ejemplos de cómo se utilizan estos motores de IA con fines maliciosos y luego se comparten en la web abierta para el uso de actores de amenazas adicionales.

Desarrollando programas para el robo de información

Se ha informado que los actores de amenazas crean ladrones de información utilizando Qwen, centrándose en capturar información confidencial de usuarios desprevenidos.

Indicaciones para hacer jailbreak

El jailbreak se refiere a métodos que permiten a los usuarios manipular modelos de IA para generar contenido sin censura ni restricciones. Esta táctica se ha convertido en una técnica preferida por los cibercriminales, ya que les permite aprovechar las capacidades de la IA con fines maliciosos.

En la siguiente captura de pantalla, los cibercriminales comparten indicaciones para hacer jailbreak a DeepSeek que pueden manipular las respuestas del modelo, incluidos métodos como el enfoque «Do Anything Now» y técnicas de explotación como el método «Plane Crash Survivors».

Cómo evadir las protecciones bancarias

Se han encontrado múltiples discusiones y técnicas compartidas sobre el uso de DeepSeek para evadir las protecciones antifraude del sistema bancario, lo que indica la posibilidad de un robo financiero significativo.

Distribución masiva de spam

Los cibercriminales utilizan tres modelos de IA (ChatGPT, Qwen y DeepSeek en conjunto) para solucionar problemas y optimizar los scripts de distribución masiva de spam, mejorando así la eficiencia de sus actividades maliciosas.

Amenazas cibernéticas emergentes: el lado oscuro de las herramientas avanzadas de IA

El auge de modelos como Qwen y DeepSeek marca una tendencia preocupante en el panorama de las amenazas cibernéticas, en el que se explotan cada vez más herramientas sofisticadas con fines maliciosos. A medida que los actores de amenazas utilizan técnicas avanzadas como el jailbreaking para eludir las medidas de protección y desarrollar ladrones de información, robo financiero y distribución de spam, la urgencia de que las organizaciones implementan defensas proactivas contra estas amenazas en evolución garantiza defensas sólidas contra el posible uso indebido de las tecnologías de IA. En medio de la carrera por desarrollar y lanzar nuevos modelos GenAI, se debe priorizar la seguridad, o las organizaciones seguirán estando expuestas a riesgos inaceptables.

Check Point Research seguirá monitoreando las formas en que los actores de amenazas están aprovechando GenAI y otras tecnologías emergentes para causar daños.

Acerca de Check Point Research

Check Point Research proporciona inteligencia de ciberamenazas líder a los clientes de Check Point Software y a la comunidad de inteligencia en general. El equipo de investigación recopila y analiza datos globales de ciberataques almacenados en ThreatCloud para mantener a raya a los piratas informáticos, al tiempo que garantiza que todos los productos de Check Point estén actualizados con las últimas protecciones. El equipo de investigación está formado por más de 100 analistas e investigadores que cooperan con otros proveedores de seguridad, las fuerzas de seguridad y varios CERT.