第 6 卷
事实性幻觉评测
- 虚构事件
Qianwen2.5- 提问正确回答DeepSeekV3DeepSeekR1豆包 Max
| 水浒传中李逵为 | 李逵并没有 | 水浒传中李逵 | 误以为宋江强 | 李逵大闹五台 | 水浒传中大闹 |
|---|---|---|---|---|---|
| 什么要大闹五台 | 大闹五台山，大闹五台山是 | 抢民女（实为 | 山是因为他误 | 五台山的是鲁 | |
| 山？ | 事实上， | 因为他喝醉了 | 他人冒充）， | 以为鲁智深在 | 智深，不是李 |
| 《水浒传》 | 酒，误闯了寺 | 怒闯五台山讨 | 寺庙中受欺负，逵。鲁智深大 | ||
| 中大闹五台 | 庙。 | 说法。 | 于是出手相助，闹五台山是因 | ||
| 山的是花和 | 引发混乱。 | 为他出家后难 | |||
| 尚鲁智深。 | 以忍受寺里的 |
清规戒律，又喝酒吃肉，还
打伤了寺里的僧人等。
推理与幻觉的关系
- DeepSeek V3：提问 回答； DeepSeek R1：提问思维链回答
- 推理增强 幻觉率降低
- 逻辑准确性与错误减少：推理能力强的模型能减少因逻辑错误导致的幻觉。例如，在数学问
题中，模型若具备多步推理能力，更可能得出正确结论而非臆测答案
- 上下文理解与信息关联：强大的推理能力使模型更精准地捕捉上下文关联，避免因断章取义
而生成虚构内容。例如，在问答任务中，模型能通过推理排除干扰选项，降低错误率
推理与幻觉的关系
- Vectara：摘要任务，DeepSeek V3幻觉率3.9%，DeepSeek R1幻觉率14.3%
