第 20 卷

推理能力：核心突破，专项升级

n 推理过程

DeepSeek R1 的核心突破在于其通过强化学习驱动的推理能力。该DeepSeek R1 在推理过程中采用“深度思考”模式，通过展示完整的模型在训练过程中，通过强化学习技术，显著提升模型的推理能力，推理路径来提高模型的可解释性和可信度。

使其在数学、编程和自然语言推理等任务上表现出色。

思维链推理自我

展示》路径》修正

n 推理能力

训练的推理模型，无需任何监督微调（SFT）步骤，打破传统模型依

方法，显著提升了模型的推理能力和语言表达的可读性。

• 推理能力专项提升：在除了利用强化学习模型结合跨领域训练提升模n 推理效率

型综合技能以外，还重点提升了模型在数学、代码、逻辑推理等硬核•长思维链支持：DeepSeek R1 支持长链推理，能够生成数万字的任务上的能力。思维链，显著提高复杂任务的推理准确性，其长链推理能力在数学、

编程和自然语言推理等任务中表现出色。

多模态任务中的广泛应用潜力。

训练方法：数据冷启，阶段递进

66 DeepSeek R1 采用了冷启动数据和多阶段训练的策略，以进一步提升模型的推理能力和可读性。

n 冷启动数据n 多阶段训练

•定义与作用：冷启动数据是指在模型训练初期，引入的一小部

分高质量、结构化的数据。其作用是为模型提供一个良好的起

式和推理链条，使其更符合人类可读性。

基于冷启动数据微通过拒绝采样从结合规则奖励（针调后的基础模型，RL检查点生成新的

•数据来源与特点：这些数据部分来源于清理后的R1-Zero 输出，对推理任务）和神

进行大规模强化学合成数据，并与写经奖励模型（针对

还包括人工后处理的长思维链（CoT）数据。其数量相对较少习。此阶段引入语作、事实问答等领

通用任务），对模言一致性奖励，优域的监督数据混合。

但质量高，经过精心设计，具有良好的可读性和结构化特点。化模型在数学、编然后对基础模型进型进行最终的强化

学习，以对齐人类程等结构化任务中行两轮微调，进一

•对模型训练的影响：冷启动数据为模型训练奠定了坚实的基础，偏好。

的表现。步提升模型的性能。

使模型在后续的强化学习阶段能够更稳定地学习和优化。它解

决了纯强化学习训练中可能出现的可读性差和语言混杂等问题。

降本提能：架构创新，技术增效

DeepSeek通过架构创新和模型蒸馏技术，在提升模型性能的同时，显著降低计算成本和内存占用。这些技术不仅在

长文本处理、代码生成、数学推理等任务中表现出色，还为大模型的轻量化和实际应用提供了有力支持。

n 架构创新n 模型蒸馏技术

DeepSeek采用模型蒸馏技术，通过将知识从大型复杂模型混合专家（MoE）架构多头潜在注意力（MLA）机制（教师模型）迁移到小型高效模型（学生模型），实现性能和

通过将模型划分为多个专家模块，实通过低秩压缩减少推理时的内存占用，

现高效计算和推理。DeepSeek通过同时保持与传统多头注意力（MHA）效率的双重优化。DeepSeek选择了多个开源模型作为蒸馏的

相当的性能。MLA在训练中减少了

无辅助损失的自然负载均衡和共享专目标模型，包括Qwen 系列和Llama 系列

内存和计算开销，在推理中降低了家机制，解决了专家模块工作量不平 KV缓存占用空间。

衡的问题。教师模型生成数据学生模型训练微调与优化

多令牌预测（MTP）FP8混合精度训练•推理效率提升：蒸馏后的模型参数量大幅减少，例如 DeepSeek-R1-Distill-Qwen-7B的参数量仅为7B，相比原始

通过序列化预测未来多个令牌，增强采用FP8混合精度训练，通过在训练

过程中使用更适宜的数据精度，减少的DeepSeek-R1（671B参数），计算复杂度显著降低。

模型的上下文建模能力，并支持推测了计算量和存储需求。FP8混合精度

型在Pass@1和Length指标上均显著优于基线模型。