第 7 卷

第 7 / 62 卷日期：2025-02-14

基座升级：快速演进未来可期

第一次进步 – 文本生成领域

从判断识别文本向理解生成文字发展，

C h a t G P T使得A I从“特种模型”提升为“通用基座”

第二次进步 – 视频生成领域

S o r a使得A I从“图像绘制者”提升为“视频创作者”

第三次进步 – 逻辑推理领域

从“模仿智能”向“推理智能”演进，

从模仿人的常识到模仿人的思维

O p e n A I o1使A I从“模仿者”提升为“慢思考者”

具体框架：以“我喜欢吃苹果。”为例

语料预训练模型训练参数学习

一个词。

自回归生成多头注意力注意力机制模型推理

GPT-4使用了一模型训练完成后，可以用 GPT-4模型在生成文本时在推理过程中，模型会使种叫做"多头注意它来生成新的文本或回答是自回归的，这意味着它用"注意力机制"技术来决

力"的技术，这允问题。假设我们向模型提一次生成一个词，然后将定哪些输入词对生成答案许模型在不同的出一个问题："我应该吃这个词添加到输入序列中，最重要。例如，在上面的

注意力"头"中关什么水果？"，模型会考以生成下一个词。这一过问题中，模型可能会认为注输入的不同方虑这个输入，根据它在训程持续进行，直到生成一"吃"和"水果"这两个词最

面。这可以帮助练过程中学到的知识来生个结束符号，或达到了设重要，因为这两个词直接模型更好地理解成一个答案。模型可能会定的最大。相关于应该选择哪种水果。

AI幻觉（AI Hallucinations）是指生成式人工智能模型在生成文本或回答问题时，尽管表面上呈现出逻

辑性和语法正确的形式，但其输出内容可能包含完全虚构、不准确或与事实不符的信息。

出不仅难以信赖，且可能误导用户。

除AI幻觉这一关键缺陷外，潜在的缺点与局限还包括

全站分卷索引 · 62 卷