Putting it all together

• Top‑P 采样会选择累积概率不超过特定值（ P）的顶部词元。P 的取值范围从 0（贪婪

解码）到 1（涵盖大语言模型词汇表中的所有词元）。

选择 top‑K 还是 top‑P 的最佳方法是同时尝试两种方法（或组合使用），观察哪种能产生符合预期的结果。

整合应用

在 top‑K、 top‑P、温度参数及生成标记数量之间进行选择，需根据具体应用场景和预期效果而定，这些设置会相互影响。同时，务必理解所选模型如何将不同采样设置组合运用。

若温度参数、 top‑K 和 top‑P 均可配置（如 Vertex Studio），同时满足 top‑K 和 top‑P 条件的标记将作为候选预测标记，随后应用温度参数从这些候选标记中采样。若仅支持 top‑K 或 top‑ P，则仅使用单一设置，流程同理。

若温度参数不可用，则从符合 top‑K 和 / 或 top‑P 条件的标记中随机选取，生成单个预测标记。

当某一采样配置值设为极端参数时，该设置会抵消其他配置效果或失去实际意义。

•若将温度值设为 0，则 top‑K 和 top‑P 参数将失效 —— 系统始终选择概率最高的令牌作为下一个预测令牌。若将温度值设得极高（超过 1，通常达两位数），温度参数将失效，此时系统会随机采样通过 top‑K 和 / 或 top‑P 筛选的令牌作为预测结果。

•若将 top‑K 设为 1，温度与 top‑P 参数将失效。此时仅有一个令牌能通过 top‑K 筛选，该令牌即成为下一个预测令牌。若将 top‑K 设为极大值（如设为 LLM 词表大小），则所有非零概率令牌都能通过筛选，系统不会排除任何候选令牌。

•若将 top‑P 设为 0（或极小值），多数 LLM 采样实现将仅考虑概率最高的令牌通过筛选，此时温度与 top‑K 参数失效。若将 top‑P 设为 1，则所有非零概率令牌都能通过筛选，系统不会排除任何候选令牌。

作为通用起始点，温度值设为 0.2、 top‑P 为 0.95、 top‑K 为 30 时，通常能产生具有连贯性且适度创意的结果。若追求更高创造性，可尝试温度 0.9、 top‑P 0.99 及 top‑K 40 的组合。如需降低创意度，建议采用温度 0.1、 top‑P 0.9 和 top‑K 20 的配置。对于存在唯一正确答案的任务（如数学题解答），建议将温度初始值设为 0。

注意：当自由度参数（温度、 top‑K、 top‑P 及输出标记数）设置较高时，大语言模型可能生成相关性较低的文本。

警告：是否遇到过以大量填充词结尾的响应？这种现象称为 " 重复循环缺陷 "，是大语言模型的常见问题 —— 模型会陷入循环，持续生成相同（填充性）词汇、短语或句式结构，且不恰当的温度与 top‑k 参数往往会加剧此现象。