如何看待《Science》称大模型「幻觉」难根除？

\n \n \n\n 《Science》的一篇新文章指出，大模型存在一个先天难解的软肋：幻觉难以根除。AI厂商让大模型在不确定性情况下说「我不知道」，虽然有助于减少模型幻觉，但可能因此影响用户留存与活跃度，动摇商业根本。\n\n 就在OpenAI完成重组，解除上市限制的当天，《Science》一篇热文曝出大模型的一个先天致命软肋，这一软肋导致大模型难以彻底摆脱幻觉。\n \n 文章指出，虽然OpenAI完成了期待已久的重组，但它的核心产品仍会出现幻觉。\n 以往我们经常将这种幻觉主要归因于训练数据质量，但这一解释并不充分。\n 上个月OpenAI与佐治亚理工学院的研究团队在一篇预印本论文中指出：\n 就像学生在考试遇到难题时会「蒙」答案一样，大模型在不确定的情况下也会倾向于「猜」，生成看似合理但其实错误的回答，而不是承认自己不知道。\n \n 论文：https://arxiv.org/abs/2509.04664《大模型为何会产生幻觉》\n 在不确定时选择「我不知道」，可显著降低幻觉，但为什么模型设计者们没有这么做？\n 研究人员认为问题主要出在大模型的训练和评估机制上：\n 在大模型的训练和评估过程中更倾向于「奖励猜测」，而不是「鼓励承认不确定性」。\n 但要改变这一点并不容易。\n 让大模型学会说「我不知道」，也可能动摇AI厂商的商业根基。\n 比如，有人就质疑OpenAI是否会真心让自家模型更重视「真实性」而不是「吸引力」。\n 这是一个极大的挑战。\n 如果ChatGPT经常回答「我不知道」，用户可能就会流失到竞争对手那里。\n大模型幻觉为何难以根除？\n 「如果把幻觉彻底修好，将会杀死这个产品」。\n 谢菲尔德大学的AI研究员魏星曾发文称OpenAI的「反幻觉」方案会杀死ChatGPT。\n \n OpenAI的研究人员认为幻觉并不神秘，他们分析了大模型在预训练阶段可能导致的错误，发现即使训练数据无误，预训练目标也可能使模型产生错误。 研究人员进一步指出，幻觉之所以在后续阶段持续存在，是因为主流评估体系的评分方式鼓励模型像学生考试一样去「猜」，而不是诚实地表达不确定性。 OpenAI曾探讨过幻觉难以根除的原因，认为其源头在于预训练的「下一个词预测」：模型通过学习海量文本，掌握如何根据统计规律预测下一个词。 但这种预测就像是囫囵吞枣，每个语句都没有通过「真/假」标签进行优化，当缺乏标记为错误的示例时，有效语句与无效语句的区分就显得尤为困难，因此会出现幻觉。 以图片识别举例，若数百万张猫狗照片被标注为「猫」或「狗」，算法便能可靠分类。 但如果改为按宠物生日标注照片，由于生日数据本质上随机，无论算法多么先进，此任务必然产生错误。 在语言模型的预训练中也存在类似机制。 比如拼写和括号遵循固定模式，因此随规模扩大错误会消失。 而像宠物生日这类任意低频事实无法仅凭模式预测，因此容易导致幻觉。 OpenAI澄清了几种关于模型「幻觉」的误解：\n 改掉幻觉=杀死AI？Science曝光大模型「先天死穴」