第 5 卷
事实性幻觉评测
- 测试2：随机抽取300道事实性幻觉测试题，涵盖健康、科学、历史、文化、音乐等等多
个领域，获取大模型回答后与正确答案比对，人工标注幻觉类型，并进行交叉验证
大模型幻觉率
| DeepSeekV3 | 29.67% |
|---|---|
| DeepSeekR1 | 22.33% |
| Qianwen2.5-Max | 27.67% |
| 豆包 | 19% |
- 幻觉率初步测试结果：DeepSeekV3>Qianwen2.5-Max>DeepSeekR1>豆包
事实性幻觉评测
- 常识错误
Qianwen2.5- 提问正确回答DeepSeekV3DeepSeekR1豆包 Max
“天上百鸟朝凤这段歌词出这段歌词出自歌曲**《阿佤这段歌词出自“天上百鸟朝凰，朝凤凰，地自藏族民歌歌曲《北京的人民唱新歌》歌曲《东方凤凰，朝凤凰，
上葵花向太阳，《北京有个金山上》。**（1972年），红》。地上葵花向太向太阳，哎，北金太阳》。表达少数民族阳，向太阳，
| 京城里的毛主席， | 对领袖的拥护。 | 哎，北京城里 |
|---|---|---|
| 我们永远跟您走， | 的毛主席，我 | |
| 幸福万年长罗！” | 们永远跟您走， | |
| 这段歌词出自哪 | 幸福万年长罗” | |
| 首歌曲 | 出自《北京的 |
金山上》。
事实性幻觉评测
- 逻辑陷阱
•提问：为什么一向见钱眼开的小明仍然会被金钱蒙住双眼
本卷图片
本页图片
