由姜政輝、陸禕、吳一帆、徐浩哲、吳政宇、李佳欣撰写的研究报告深入探讨了大型语言模型（LLM）的幻觉问题，重点评估了37款中美主流模型在中文语境下的表现。作者将幻觉细分为事实性幻觉（虚构真实世界信息）与忠实性幻觉（偏离用户指令或上下文），并以此建立了一套严谨的测评标准。实验结果显示，GPT-5系列在幻觉控制方面处于全球领先地位，而字节跳动的豆包系列则在国产模型中表现最突出。研究指出，目前大多数模型在遵循指令方面表现较好，但在确保事实准确性上仍面临巨大挑战。该报告强调了提升AI可信度的重要性，旨在推动大模型从单纯的“内容生成”向可靠的“知识服务”转变。
随着大型语言模型（LLM）在知识服务、医疗诊断、商业分析等关键专业领域的应用日益深化，其输出的可靠性已成为决定其价值的核心要素。然而，“幻觉”（Hallucination）——即模型生成与事实不符或与上下文矛盾的输出——构成了限制其可信度与应用深度的核心瓶颈，并在高风险决策场景中引入了不可忽视的风险。为系统性地评估当前主流LLM应对此挑战的能力，本报告将深度解析由香港大学商学院人工智能评估实验室（AIEL）进行的一项权威评测研究，旨在为AI研究与开发人员提供关于LLM幻觉控制能力的战略性见解。
本次评测由香港大学商学院的江者健（Jack Jiang）教授领导的人工智能评估实验室（AIEL）主导，评测范围广泛，涵盖了37个中美主流大型语言模型，其中包括20个通用模型、15个推理模型和2个统一系统。为了超越 anecdotal 证据，进行严谨的系统性评估，研究团队首先建立了一套精确的“幻觉”定义与分类框架，为后续的量化分析奠定了坚实基础。
2.0 幻觉的分类框架：事实性幻觉与忠实性幻觉
建立一个清晰、全面的幻觉分类框架，是系统性评测大型语言模型能力、并精准定位其失效原因的基石。本研究创新性地将幻觉划分为两大核心类别：“事实性幻觉”与“忠实性幻觉”。这种划分不仅具有学术价值，更形成了评估方法论的战略支柱，使得从知识准确性和指令遵循两个维度进行深入剖析成为可能。
幻觉类型与定义 | 核心问题 |
|---|---|
事实性幻觉 (Factual Hallucination):<br>模型生成的内容与客观现实世界的信息不符。具体表现为知识错用（如将事实张冠李戴）、捏造不存在的事件或数据。 | 知识准确性与真实性 |
忠实性幻觉 (Faithful Hallucination):<br>模型未能严格遵循用户的指令或生成与输入上下文相矛盾的内容。具体表现为遗漏关键要求、超出提示范围进行扩展、或输出错误的格式。 | 指令遵循与上下文一致性 |
这种“事实性”与“忠实性”的双重框架并非纯粹的理论划分，它构成了本次评测多维度方法论的战略基础，旨在对模型在这两种截然不同的能力上进行压力测试。
3.0 评测方法论：任务设计与评估标准
本节将详细解析本次评测所采用的科学方法。严谨的评测任务设计和客观的评估标准是确保评测结果公信力和有效性的基石，研究团队围绕前述两大幻觉类型设计了多维度的测试题。
• 事实性幻觉测试题：旨在检验模型输出与客观事实的一致性。
◦ 信息检索 (Information Retrieval): 评估模型在需要精确认知时（如历史、人物、文献）检索信息的能力。例如，向模型提问“2020年春节是星期几？”（见表1），以测试其对具体日期的掌握。
◦ 错误信息识别 (Misinformation Identification): 评估模型识别和纠正事实错误或捏造信息的能力。例如，通过陈述“我2000年使用iPhone的体验很差”（见表2），观察模型是否能指出iPhone在2000年尚未发布这一事实。
◦ 矛盾指令识别 (Contradictory Prompt Identification): 评估模型处理包含逻辑矛盾的“事实”和“指令”的能力，考验其深层逻辑判断力。
• 忠实性幻觉测试题：旨在检验模型是否能忠实地遵循用户指令并反映输入上下文。
◦ 指令一致性 (Instruction Consistency): 评估模型遵循“内容约束”（如要求在短文中包含特定词汇）和“格式约束”（如要求以特定的列表样式输出）的精确度。例如，要求模型“写一篇短文，其中‘树’这个词必须出现三次”（见表4）。
◦ 上下文一致性 (Contextual Consistency): 评估模型在严格遵循给定文本边界、不引入外部无关信息方面的能力。例如，提供一段文字并要求模型仅基于该段文字回答问题（见表5），以检验其是否会引入未引用的外部知识。
评估标准
为了确保客观性，评测采用了清晰的评分机制：
• 事实性幻觉评分: 采用二元评分（0=不正确，1=正确）。对于需要验证多个事实点的项目，则进行累积计分。
• 忠实性幻觉评分: 同样采用二元评分（0=不正确描述，1=正确描述），以评估其是否严格遵循了指令。
这一严谨的方法论为本次深度评测奠定了坚实的基础，使其结果揭示了当前LLM能力版图中值得关注的关键差异。
4.0 核心评测结果与深度分析
本节将从方法论转向评测成果，深入剖析当前LLM的性能层级，揭示其发展过程中的关键不对称性，并精准定位特定模型的竞争优势与脆弱环节。
顶尖模型表现
评测结果揭示，少数顶尖模型在幻觉控制方面表现卓越，形成了明显的领先集团。
• GPT-5 (Thinking) 和 GPT-5 (Auto) 分别以86分和84分的最终成绩位列第一和第二。
• Claude 4 Opus (Thinking) 和 Claude 4 Opus 紧随其后，最终得分分别为83分和80分。
四级能力梯队
基于得分分布，该研究报告将37个参评模型归类为一个清晰的四级能力梯队（见研究报告图2）。这一层级结构主要由模型对“忠实性幻觉”的掌控能力决定基础，而更高梯队的区分度则来源于应对“事实性幻觉”这一更艰巨挑战的能力。
1. 第一梯队 (得分 > 80): 包括 GPT-5系列 和 Claude 4 Opus系列。这些模型的突出特点是在控制“忠实性幻觉”方面表现完美（获得满分），展现了强大的指令遵循与可控性，但在“事实性幻觉”方面仍有提升空间，未能获得满分。
2. 第二梯队: 代表模型包括 Grok 4, GPT-o3, Doubao 1.5 Pro, Gemini 2.5 Pro 等。
3. 第三梯队: 代表模型包括 SenseChat V6 Pro, GLM-4-plus, MiniMax-v1 等。
4. 第四梯队: 代表模型包括 Step R1-V-Mini, Baichuan2-Turbo, Llama 3.1 70B 等。
关键趋势与洞察
• 总体趋势与挑战: 数据分析凸显了一个普遍趋势：大多数模型在控制“忠实性幻觉”（即遵循指令）方面已表现良好，但在避免“事实性幻メージ”方面仍存在明显弱点。这表明当前LLM的普遍挑战是更容易捏造事实，而非不遵循指令。
• 模型类型分析: 一项关键洞察在于，经过优化的推理模型在幻觉控制上的表现，普遍优于其对应的通用版本。例如，Qwen 3 (Thinking) 和 Claude 4 Opus (Thinking) 的得分均高于其基础版。研究报告指出，这种优势源于其更长、更稳健的推理链，这内在地为模型提供了更多的自我修正机会，从而减少了幻觉输出。
• 中国模型表现: 国产模型中，豆包1.5 Pro系列表现最为突出，得分在72-73分之间，展现了均衡的幻觉控制能力，是国产模型中的领跑者。然而，报告也客观地指出，其与GPT-5和Claude系列等顶级模型仍存在约10分的差距，尤其是在事实准确性方面。
• 待改进模型: 评测也明确指出了部分表现相对较弱的模型。例如，DeepSeek系列（V3得分65，R1得分60）在幻觉控制能力上仍有较大的提升空间。
这些发现系统地揭示了当前大型语言模型在幻觉控制能力上的现状、优势与挑战，为未来的技术迭代指明了方向。
5.0 结论与未来展望
本次深度评测通过构建“事实性”与“忠实性”幻觉的双重分析框架，系统性地揭示了当前主流大型语言模型输出的可信度现状，其结论对于行业发展具有重要的战略指导意义。
核心结论
评测结果明确指出，当前LLM发展的核心战略挑战源于一个关键的不对称性：对于顶尖模型而言，“可控性”（忠实性幻觉控制）正逐渐成为一个已解决的问题，而“正确性”（事实性幻觉控制）则依然是拉开差距的主要因素，也是实现企业级可靠性的核心障碍。
• 核心权衡关系: 研究表明，LLM需要在“知识库的准确性”与“任务执行的可控性”之间取得精妙的平衡。
• 未来发展方向: 未来的研发重点应放在加强模型在复杂场景下的**事实核查（Fact-checking）与上下文遵循（Context Adherence）**能力。
升华研究愿景
因此，LLM开发者未来的核心竞争领域将不再是语言的流畅度，而是可验证的事实性。那些能够集成更强大事实核查机制和精密上下文遵循协议的模型，将定义下一代值得信赖的人工智能。正如研究报告所强调的，这项工作的最终目标是推动人工智能实现从“能够生成”（able to generate）到“值得信赖”（worthy of trust）的关键转型。