OpenAI revela que las alucinaciones en ChatGPT persisten por incentivos en entrenamiento, poniendo en riesgo la fiabilidad en educación, salud y

El fenómeno de las «alucinaciones» en ChatGPT persiste debido a incentivos en el entrenamiento

El reciente informe de OpenAI revela que las llamadas “alucinaciones” en modelos de lenguaje como ChatGPT continúan siendo un problema importante. Estas manifestaciones, que consisten en respuestas plausibles pero falsas, se mantienen incluso en las versiones más avanzadas, como GPT-5. La causa principal, según la investigación, radica en los incentivos estructurales durante el proceso de entrenamiento y evaluación, que favorecen respuestas especulativas en lugar de admitir incertidumbre. Esta situación pone en duda la fiabilidad de estos sistemas en ámbitos donde la precisión es fundamental, como la educación, la salud y la atención al cliente.

## ¿Qué son las «alucinaciones» en los modelos de lenguaje?

Para OpenAI, las “alucinaciones” son afirmaciones que parecen plausibles pero que en realidad son falsas, generadas por los modelos de lenguaje. Incluso en preguntas sencillas, estos sistemas pueden producir errores significativos. Un ejemplo citado en el estudio muestra cómo un chatbot inventó títulos para una tesis doctoral y proporcionó fechas erróneas para el cumpleaños de un investigador del propio equipo de OpenAI. Estos errores no son incidentales, sino que reflejan cómo se entrenan y evalúan estos modelos, lo que contribuye a su persistencia.

¿Por qué ocurren estas alucinaciones?

Durante su fase de preentrenamiento, los modelos aprenden a predecir la próxima palabra en una secuencia de texto, sin tener en cuenta la veracidad de la información. Este método estadístico es efectivo para generar un lenguaje coherente, pero presenta dificultades cuando se trata de hechos poco frecuentes, como fechas o nombres específicos. La falta de datos consistentes sobre estos detalles hace que los modelos recurran a conjeturas, aumentando la probabilidad de errores.

OpenAI explica que, a diferencia de fallos ortográficos o de sintaxis, que pueden corregirse con más datos, los hechos raros o arbitrarios no pueden deducirse únicamente de patrones estadísticos, convirtiéndose en una fuente constante de “alucinaciones”. Además, los sistemas de evaluación actuales favorecen respuestas rápidas y precisas, incentivando a los modelos a arriesgarse en sus respuestas en lugar de reconocer su desconocimiento o incertidumbre.

## Impacto de los métodos de evaluación y posibles soluciones

La forma en que se evalúan estos modelos agrava la problemática. La mayoría de las métricas priorizan la exactitud, lo que motiva a los modelos a apostar por respuestas arriesgadas. Como resultado, en pruebas comparativas, GPT-5 mostró una tasa de abstención del 52 % y solo un 26 % de errores, mientras que modelos anteriores tenían una tasa de abstención insignificante, pero un alto porcentaje de errores.

El informe de OpenAI sugiere que la solución pasa por rediseñar los sistemas de evaluación. Se propone penalizar más severamente los errores seguros y reconocer parcialmente las respuestas que expresen incertidumbre de manera adecuada. “Las alucinaciones persisten en parte porque los métodos actuales establecen incentivos equivocados”, señala el informe. Aunque las evaluaciones no causan directamente las alucinaciones, sí influyen en la forma en que los modelos aprenden a responder, promoviendo la suposición en lugar de la honestidad sobre lo que no saben.

## Conclusión: un desafío que requiere cambios en la evaluación

El equipo de OpenAI, que incluye a expertos como Adam Kalai y Santosh Vempala, concluye que abordar estadísticamente el origen de las alucinaciones es crucial para mejorar la fiabilidad de estos sistemas. La clave radica en modificar los criterios de evaluación para que recompensen la prudencia y la expresión de incertidumbre, en lugar de premiar solo respuestas correctas y rápidas. Solo así será posible reducir la frecuencia de estas alucinaciones y aumentar la confianza en los modelos de lenguaje en aplicaciones críticas para la sociedad.