Prompting techniques
top‑p 设置问题。这种现象在低温和高温设置下都可能发生,但原因不同。低温时模型会过度确定性地遵循最高概率路径,若该路径重复已生成文本则导致循环;高温时模型输出过于随机,大量可选词中偶然选择先前状态的概率增加,同样形成循环。两种情况下采样过程都会 " 卡住 ",产生单调无用的输出直至填满窗口。通常需精细调整温度值和 top‑k/top‑p 参数,在确定性与随机性间找到平衡点。
提示技巧
大语言模型经过指令微调并基于海量数据训练,能理解提示并生成回答。但模型并非完美 —— 提示文本越清晰,模型预测后续文本的效果越好。此外,利用大语言模型训练原理和工作机制的特定技巧,能帮助您获得更相关的结果。
既然我们已经了解了什么是提示工程及其所需条件,接下来让我们深入探讨一些最重要的提示技术示例。
通用提示 / 零样本
5
zero-shot ~ 提示是最简单的提示类型。它仅提供任务描述和一些供 LLM 开始的文本。这个输入可以是任何内容:一个问题、一个故事的开头或指令。零样本的名称代表 “ 无示例 ”。
让我们使用 Ve ex AI Studio(语言版)中的 Ve ex AI6,它提供了一个测试提示词的 playground。在表 1 中,您将看到一个用于电影评论分类的零样本提示示例。
如下所示的表格格式是记录提示词的绝佳方式。您的提示词在进入代码库前可能会经历多次迭代,因此以规范、结构化的方式跟踪提示工程工作非常重要。关于此表格格式、跟踪提示工程工作的重要性以及提示开发流程的更多内容,请参阅本章后续 “ 最佳实践 ” 部分中的 “ 记录各类提示尝试 ”。
模型温度应设置为较低数值,因为不需要创造性,我们使用 gemini‑pro 默认的 top‑K 和 top‑ P 值(这实际上禁用了这两项设置,参见前文 ‘LLM 输出配置 ’)。请密切关注生成内容。
词汇 disturbing 和 masterpiece~ 会使预测稍显复杂,因为这两个词出现在同一句子中。
全站分卷索引 · 34 卷
- 1Introduction
- 2Prompt engineering
- 3LLM output configuration
- 4Sampling controls
- 5Top-K and top-P
- 6Putting it all together
- 7Prompting techniques
- 8One-shot & few-shot
- 9System, contextual and role prompting
- 10System prompting
- 11Role prompting
- 12Contextual prompting
- 13Step-back prompting
- 14Chain of Thought (CoT)
- 15Self-consistency
- 16Tree of Thoughts (ToT)
- 17ReAct (reason & act)
- 18Automatic Prompt Engineering
- 19Code prompting
- 20Prompts for explaining code
- 21Prompts for translating code
- 22Prompts for debugging and reviewing code
- 23What about multimodal prompting?
- 24Design with simplicity
- 25Be specific about the output
- 26Control the max token length
- 27Experiment with input formats and writing styles
- 28Adapt to model updates
- 29JSON Repair
- 30Working with Schemas
- 31Experiment together with other prompt engineers
- 32CoT Best practices
- 33Summary
- 34Endnotes