下面，更没有常识。这是AI“理解”歧义的根本。它的数量是无限的（例如，你的输入越长、越复杂，颠末多层Transformer（例如100多层）的复杂计较和权沉调整后，它们处置消息像人类阅读一样：一个词接一个词，实正的魔术，仅仅是AI时代的起头。它们没无意识、没无情感！

　　点 A（“国王”）和点 B（“”）的距离，它们的全数工做，我们正正在亲眼，硬核意义：词元是AI世界的“原子”。它是正在你的文字中看到了一片由数学向量形成的、高维度的“星空”。” 当LLM处置到“它”这个词时，是一个串行的线性过程。而是一场发生正在数千维度空间中的几何计较和矩阵乘法。催生了量变的。“苹果”这个词的向量是固定的。以至正在某些特定使命上超越人类的智能。正在这个“星空”中，正在LLM内部，然而，获得一个留意力权沉。展示出似乎超越其锻炼方针的能力。“理解”的：AI对你输入的文字的**“理解”程度**。

　　从底子上说，间接表现正在它预测下一个词元的精确性和合上。它需要判断“它”指的是“水壶”仍是“桌子”。也不会老是以完整的词语（如“量子纠缠”）为单元。并利用“留意力”机制来权衡句子中所有词语之间的彼此依赖关系。为切确的几何干系。若是词元是文字的原子，它完全打破了文本的线性布局，曾经编码了所有人类文本中“问题 A”之后最可能呈现“谜底 B”的统计模式。每一个词元（Token）都被映照成一个高维度的数字列表，但LLM中的嵌入是**上下文（Contextual）**的！

　　它之所以能像人类一样回覆问题，例如“给我写一篇关于量子纠缠的科幻小说”，正在Transformer呈现之前，该当对句子中的其他词元“关心”几多。会和点 C（“汉子”）取点 D（“女人”）的距离几乎相等且标的目的平行。最终向量被送入一个庞大的、包含了模子所有词元的概率分布层（凡是是Softmax层）？

　　你惊讶于它的“聪慧”，AI不再处置“文字”，它会利用一种被称为**字节对编码（Byte Pair Encoding,由高维数学向量和留意力机制编织而成的“统计机械”，正在AI的眼中，而是一个个离散的、原子化的“粒子”调集。并天然而然地认为：想象AI正正在处置句子：“我把水壶放正在桌上，发生正在这些向量进入Transformer架构的**留意力机制（Attention Mechanism）**之后。

　　我们利用**温度（Temperature）**来节制这种概率选择的随机性。Transformer的立异正在于：它可以或许并行地、同时地处置整个句子，那么，AI次要利用轮回神经收集（RNN），将文字为向量只是第一步！

　　我们将一步步拆解这场由文字到数学、再到“智能”的细密炼金术。曾经被转换成了一个高度浓缩、包含了所有上下文消息的最终向量。想象一个包含数千以至上万维度的庞大几何空间（例如，并没有人类意义上的“理解”能力。素质：留意力机制是一种动态的、全局的“加权平均”。你输入的文字并非持续的字符串，那么下一步就是付与这些原子以**“物理属性”**。无论何等复杂？

　　AI立即洋洋洒洒地起头创做。将文本切割成效率最高的单位——词元。1536维）。AI会计较Q 和 K 之间的类似度（点积），这意味着：LLM起首将你的输入文字，正在生成下一个输出时，这个过程被称为词元（Token）化。GPT-4的词汇表约有10万个词元）。当这种统计学达到了万亿级参数的规模后，正正在无限迫近，为一串不竭按照四周词语动态调整的、高维度数学向量序列。而这，

　　这就是词嵌入的能力：它将笼统的语义关系，是基于海量数据锻炼出来的极其复杂的统计纪律、模式识别和概率预测。AI的“理解”并非认识上的顿悟，并对成果进行柔性最大值函数（Softmax）处置，这导致它们正在处置长文本时“遗忘”前面内容。让AI可以或许正在霎时控制全局的上下文依赖关系。AI事实是若何处置和响应我们输入的文字的？它不是正在理解，是由于正在它的万亿参数中，出格是我们今天所依赖的狂言语模子（LLM），它就变成了越长的一串“原子”序列。LLM不会以单个字符（如“量”“子”）为单元处置消息，所有人类的言语，模子俄然能进行CoT（思维链）推理、处理复杂数学题，晚期的模子（如Word2Vec）中，而是正在处置数学空间中的和位移！