注意力机制（Attention）（2026.08.25）

概念编号：074

一句话理解

Attention 是模型在处理当前内容时，为不同输入位置分配不同关注权重的计算机制。

具体解释

模型会比较当前位置与其他位置的关系，再把更相关的信息组合进当前表示。自注意力可以让一句话中的词彼此建立关系，因此模型能够处理较长距离的语义依赖。

边界与易混淆概念

• 注意力不是人的注意力或意识：它是数学计算。
• 权重不是永久重要性排名：不同输入、层和位置会产生不同权重。
• Attention 是机制，不是完整模型：Transformer 还包含其他组件。

例子

在“苹果发布了新手机”中，模型处理“发布”时可能需要同时关注“苹果”和“新手机”来判断关系。

相关概念

• Transformer（2026.08.25）
• 向量表示（Embedding）（2026.08.25）
• 上下文窗口（Context Window）（2026.08.24）

来源

• Attention Is All You Need

概念卡更新日志

• 2026.08.25｜创建概念卡：依据 Attention 原始论文和 AI 概念框架，登记为 074。