DeepSeek bajo la lupa, su IA genera software malicioso

DeepSeek, la startup china que irrumpió en el mundo de la inteligencia artificial con su chatbot gratuito y de código abierto, vuelve a ser noticia, pero esta vez por motivos alarmantes. Investigadores de la empresa de ciberseguridad Kela han descubierto que DeepSeek R1 puede ser manipulado para crear malware, incluyendo ransomware y código para robar datos de tarjetas de crédito, según publicó hoy Forbes.

Este descubrimiento se suma a las crecientes preocupaciones sobre la seguridad y la ética de DeepSeek, que ya había sido objeto de análisis en artículos anteriores. La aparente facilidad con la que se puede eludir las salvaguardas del modelo y su capacidad para generar contenido malicioso plantean serias dudas sobre su uso responsable.

“A diferencia del modelo ChatGPT o1-preview, que oculta sus procesos de razonamiento durante la inferencia, DeepSeek R1 muestra abiertamente sus pasos de razonamiento a los usuarios”, explican los investigadores de Kela . “Si bien esta transparencia mejora la interpretabilidad del modelo, también aumenta su susceptibilidad a “jailbreaks” y ataques “adversariales”, ya que los actores maliciosos pueden explotar estas rutas de razonamiento visibles para identificar y atacar vulnerabilidades”.

Los investigadores de Kela, según destaca Forbes, lograron que DeepSeek R1 generara código malicioso diseñado para robar datos de tarjetas de crédito de navegadores específicos y enviarlos a un servidor remoto. También descubrieron que DeepSeek sugería a los usuarios comprar datos robados en mercados clandestinos y proporcionaba consejos sobre lavado de dinero.

El hombre detrás de DeepSeek es Liang Wenfeng, un ex-gestor de fondos de cobertura que, según Forbes, decidió incursionar en la tecnología para “cerrar la brecha entre China y Estados Unidos en la industria de la IA” . Wenfeng, de 40 años, se graduó de la Universidad de Zhejiang y cofundó High-Flyer, un fondo de cobertura cuantitativo que utiliza IA en sus estrategias de inversión. En 2021, comenzó a acumular miles de procesadores gráficos Nvidia para un proyecto de IA sin nombre, justo antes de que la administración Biden restringiera el comercio de esos chips a China.

“Las empresas chinas han utilizado históricamente más potencia computacional para lograr los mismos resultados. Nuestro objetivo es cerrar esas brechas a través de la innovación”, dijo Liang en una entrevista en 2024.

Además de la vulnerabilidad a la creación de malware, DeepSeek ha sido objeto de escrutinio por su posible uso como herramienta de espionaje y por la censura en sus respuestas.

“Existe la preocupación de que, al igual que con TikTok, DeepSeek podría verse presionada para compartir datos con el gobierno chino”, señalaba un análisis publicado en Medium.

Forbes también ha reportado que DeepSeek evita responder preguntas sobre temas delicados para el gobierno chino, como la situación de los uigures o la soberanía de Taiwán.

“Introducir información sensible de la empresa en estos sistemas podría exponer datos críticos a una vigilancia controlada por el Estado o a un uso indebido, creando un Caballo de Troya en una organización y en todos sus empleados”, advirtió Darren Guccione de Keeper Security en Forbes.

DeepSeek no solo es vulnerable a la manipulación para crear malware, sino que también ha sido blanco de ciberataques. MSSP Alert y ChannelE2E informan que la plataforma sufrió un ataque de denegación de servicio distribuido (DDoS) que ha forzado a la compañía a detener temporalmente el registro de nuevos usuarios.

“DeepSeek — que causó una importante caída del mercado de valores estadounidense después de ser promocionado por tener al menos un rendimiento similar a los modelos de IA desarrollados en Estados Unidos, pero a un precio mucho más bajo — se sospecha que ha sido objeto de un ataque de denegación de servicio distribuido en su API y plataforma de chat web”, informó MSSP Alert.

En YouTube, se pueden encontrar videos que muestran cómo se puede explotar DeepSeek para ejecutar comandos maliciosos y eludir las medidas de seguridad. Un video de Embrace The Red muestra cómo un investigador de seguridad descubrió una vulnerabilidad XSS en DeepSeek que permitía a un atacante tomar el control de la cuenta de un usuario mediante un ataque de inyección de comandos.

Estos videos también explican cómo los “jailbreaks” de IA pueden ser utilizados para manipular modelos de lenguaje grandes (LLM) y generar contenido dañino o inapropiado. Un video de Anybody Can Prompt (ABCP) | AI News and Trends explica cómo los “jailbreaks” de IA pueden eludir las medidas de seguridad de los modelos de lenguaje grandes (LLM) y hacer que generen contenido dañino o inapropiado.

La información disponible en medios como Cyber Magazine y SecurityWeek, sugieren que DeepSeek presenta riesgos significativos de seguridad y privacidad.

Estos nuevos hallazgos refuerzan la necesidad de una mayor vigilancia y un análisis crítico del impacto de DeepSeek en la industria de la IA. La eficiencia y el bajo coste del modelo son innegables, pero no deben eclipsar las potenciales amenazas que representa para la ciberseguridad y la privacidad de los usuarios.

La pregunta que queda en el aire es si DeepSeek es realmente un “regalo para el mundo”, como lo ha calificado Marc Andreessen, o un caballo de Troya con la capacidad de desestabilizar el panorama tecnológico y poner en riesgo la seguridad global.