在人工智能，特别是近年来大放异彩的Transformer模型中，一个看似微小却至关重要的概念是“位置编码”（Positional Encoding）。它解决了模型在处理序列数据时“看不见”顺序的问题，对理解长文本、进行准确翻译等任务起到了举足轻重的作用。对于非专业人士来说，要理解位置编码，我们可以从日常生活中的几个有趣概念入手。
1. 为什么AI需要“位置编码”？——一场“词语大锅粥”的困境
想象一下，你面前桌上有一堆单词卡片，上面写着：“猫”、“吃”、“鱼”。如果这些卡片是散乱的，你并不知道是“猫吃鱼”还是“鱼吃猫”，甚至可能是“吃猫鱼”。对我们人类来说，词语的顺序至关重要，它决定了句子的含义。
在AI领域，传统的循环神经网络（RNN）和卷积神经网络（CNN）在处理文本时，是按照顺序一个词一个词地“读”过去，天然地就捕捉到了顺序信息。然而，Transformer模型为了追求更高效的并行计算，摒弃了这种“按顺序阅读”的方式。它会像你一下子看到所有卡片一样，同时处理所有的词。这意味着，如果没有额外的机制，Transformer模型处理“我爱你”和“你爱我”时，可能会因为词语相同而认为它们的意思一样，因为它丧失了对词序的感知。这就好比模型把所有的词都倒进一个“大锅粥”，分不清哪个词在前，哪个词在后，导致了“位置置换不变性”，即打乱输入序列的顺序，模型的输出集合不会改变，但语义却可能面目全非。
为了解决这个“词语大锅粥”的问题，使得AI模型能够理解词语的先后顺序，AI研究者引入了“位置编码”这一概念。
2. “位置编码”是什么？——给每个词一个“地址”或“邮编”
简单来说，位置编码就是给序列中的每一个词语（或者更准确地说，是每个词语的“含义向量”）额外添加一个“位置信息”。这个信息可以理解为给每个词分配一个独特的“数字身份证”或者“地址”。
我们可以用几个日常生活的例子来类比：
- 门牌号或邮政编码（地址）: 想象你住在一条街上，每个房子都有一个唯一的门牌号。即使两个房子长得一模一样（词语含义相同），它们的门牌号也能让你找到它们具体在哪里。位置编码就像是给每个词在句子中安了一个门牌号，让AI模型知道这个词是第1个、第2个，还是第N个。
- 音乐乐谱上的音符位置（时间戳）: 在乐谱上，除了音符本身（相当于词语的含义），它在五线谱上的位置和持续时间也决定了音乐的旋律和节奏。位置编码就像是给每个音符加上了一个时间戳，告诉它什么时候出现、持续多久，这样机器才能“演奏”出连贯的乐曲。
- GPS坐标: 每个人或地点都有其独特的经纬度坐标。这些坐标可以精确地指出你在地球上的位置。位置编码就是为序列中的每个元素提供一个类似的“坐标”，通过这些坐标，模型不仅知道元素的绝对位置，还能推断出它们之间的相对距离。
3. “位置编码”如何工作？——独特的“位置指纹”
最经典的位置编码方法，也就是Transformer原始论文中提出的，是使用正弦和余弦函数来生成这个“位置信息”的。 听起来有点复杂，但其核心思想是，它不是简单地给第一个词加上1，第二个词加上2。而是为每个位置生成一个多维的独特“指纹”。
- 为什么不用简单的数字1, 2, 3…？：如果只是简单递增，那么序列太长时，数字会变得很大，而且模型难以区分“1和2”的距离与“100和101”的距离在语义上是否应该有不同的影响。也不利于模型处理比训练时更长的序列。
- 正弦和余弦的巧妙: 正弦和余弦函数具有周期性变化的特性。通过使用不同频率的正弦和余弦函数，可以在不同的维度上为每个位置生成一个独特的、看似随机实则有规律的向量。
- 相对位置感: 这种设计让模型能够容易地学习到词语之间的相对位置关系（比如“前面”和“后面”），这比绝对位置可能更重要。例如，“猫”和“鱼”作为主语和宾语时，它们之间的相对位置决定了意义。 更重要的是，随着相对位置的递增，这些位置编码向量的内积会减小，从而表征了位置的相对距离。
- 外推性: 理论上，这种方式可以编码任意长度的序列，即可以处理比训练时更长的句子，因为正弦和余弦函数无论多远都能生成一个值，虽然实际效果可能受到注意力机制本身的影响。
- 无需学习: 这种方法是预先计算好的，不需要模型额外学习参数，从而提高了效率。
最终，Transformer模型会将每个词语的“含义向量”（Embedding）与它对应的“位置编码向量”相加，形成一个新的向量。这样，每个词语就同时包含了“它本身的含义”和“它在句子中的位置”这两个信息。
4. 位置编码的演进与最新进展
自Transformer模型诞生以来，位置编码一直是研究的热点。除了原始的绝对位置编码（如正弦余弦式）之外，还涌现了许多新的方法，主要可以分为以下几类：
- 可学习的绝对位置编码（Learned Absolute Positional Encoding）: 这种方法不通过函数计算，而是直接让模型学习一个位置编码矩阵。它更灵活，但缺点是当序列长度超过训练时的最长长度时，模型无法处理（缺乏外推性）。 BERT模型就采用了这种方式。
- 相对位置编码（Relative Positional Encoding, RPE）: 这种方法不关注每个词的绝对位置，而是关注词与词之间的相对距离。 这更符合人类语言中许多语法结构（如“主谓一致”）只与词之间的相对距离有关的特点。它通常通过修改注意力分数计算过程来实现。 相对位置编码通常比绝对位置编码表现更好，并且在处理比训练长度更长的序列时，也具有更好的泛化能力。
- 旋转位置编码（Rotary Positional Embedding, RoPE）: 这是一种近年来非常流行的相对位置编码方法，它通过在Transformer的注意力层中巧妙地旋转词向量，将相对位置信息集成到自注意力机制的计算中。RoPE在大型语言模型如LLaMA系列中得到了广泛应用，它在长序列建模和外推性方面表现出色。
- ALiBi (Attention with Linear Biases): 这种方法直接在注意力分数中添加一个与查询和键之间距离相关的线性偏差，不再需要显式的独立位置编码。
- 双层位置编码 (Bilevel Positional Encoding, BiPE): 这是最新的研究进展，例如北京大学和字节跳动在ICML 2024上提出的BiPE，它将一个位置拆分为“段内编码”和“段间编码”两部分，能够有效改善模型处理超长文本时的外推效果，例如处理整本书或者长代码文件。
可以看出，位置编码技术一直在进步，以适应AI模型处理更长、更复杂序列的需求，同时也在不断提升模型的泛化能力和效率。
总结
位置编码，就像是给Transformer模型的一双“眼睛”，让它能够“看清”单词在句子中的顺序。通过这种方式，AI模型才能理解“猫吃鱼”和“鱼吃猫”之间的巨大差异，从而更好地理解和生成人类语言。从最初的静态正弦余弦编码，到可学习编码，再到各种相对位置编码和更先进的双层编码，位置编码的不断演进，持续推动着AI模型在自然语言处理等领域的突破，让我们的AI助手变得越来越聪明，越来越能“听懂”人类的复杂意图。
Summary
Positional encoding is like a pair of “eyes” for the Transformer model, allowing it to “see” the order of words in a sentence. In this way, AI models can understand the huge difference between “cat eats fish” and “fish eats cat”, thereby better understanding and generating human language. From the initial static sinusoidal encoding, to learnable encoding, to various relative positional encodings and more advanced bilevel encodings, the continuous evolution of positional encoding continues to drive breakthroughs in AI models in fields such as natural language processing, making our AI assistants smarter and better able to “understand” human complex intentions.