Las alucinaciones de los LLM no son errores misteriosos, sino el resultado natural de cómo los entrenamos y evaluamos.

Es una conclusión que ya venía rumiándose de lejos, y que ahora OpenAI expone con claridad en un artículo publicado recientemente..

Tanto en el preentrenamiento como en los benchmarks de evaluación, al modelo se le «empuja» a responder aunque no sepa. Se castiga la abstención y se premia el «decir cualquier cosa».

Se pueden reducir las alucinaciones si el modelo es más conservador al responder, aunque eso podría afectar su utilidad en algunos casos si se vuelve demasiado cauteloso.

Las alucinaciones, como veníamos anunciando desde que surgieron estos modelos, son inherentes al mecanismo de funcionamiento de los mismos.