Kimi Attention Residuals：彻底重写 Transformer 残差连接的新底层框架

残差连接自 2015 年 ResNet 诞生以来，始终是深度神经网络的"地基"，十年间几乎无人撼动。Kimi 团队在 2026 年 3 月发表的论文 Attention Residuals 正面挑战了这一惯例——用深度方向的 Softmax 注意力机制，替换掉"所有层等权相加"的固定残差累加，让每一层都能动态、按需地检索历史表征。在 48B 参数、1.4T Tokens 的工业级预训练验证下，Block AttnRes 等效于基线模型使用 1.25× 计算量的效果，GPQA-Diamond 推理基准提升 7.5 分。

📌 核心论文：Attention Residuals（arXiv:2603.15031）

📌 适合人群：对 Transformer 架构有基础认知的 AI 学习者、模型研究者、工程开发者

🎧 更喜欢听？试试本文的音频版本

# Attention Residuals
## 为什么残差连接需要被改造
- 固定等权累加导致隐状态无限膨胀
- PreNorm 稀释问题：深层贡献被淹没
- 梯度分布不均，训练不稳定
## 核心机制：深度方向的注意力
- 用 Softmax 注意力替代固定累加
- 每层持有可学习的伪查询向量 w_l
- RMSNorm 归一化的键值对
- 与 RNN→Transformer 的范式迁移同构
## Block AttnRes 的工程化实现
- 分块分组降低显存 O(Ld)→O(Nd)
- 缓存流水线通信消除冗余传输
- 两阶段推理策略摊薄计算开销
- 8 个块是效果与开销的最优甜蜜点
## 规模化验证：Kimi Linear 48B 上的实测
- 1.25× 计算等效优势
- GPQA-Diamond +7.5，HumanEval +3.1
- 输出量级周期有界，梯度分布更均匀
## AttnRes vs mHC：两条并行路线的本质差异
- mHC 扩宽管道：n 流并行 + Birkhoff 双随机约束
- AttnRes 换调度：单流保留 + 深度注意力检索
- 内存 I/O：34d（mHC）vs 5.5d（AttnRes）
- 历史跨距：仅相邻层（mHC）vs 任意历史块（AttnRes）

关于本文档 ​

本文从"为什么十年不变的残差连接需要改造"出发，逐层拆解 Attention Residuals 的核心原理、工程化路径与真实性能表现，并与 DenseFormer、Hyper-Connections、mHC 等前沿方案横向对比，最后提供可运行的 PyTorch 代码供读者复现。

• ✅ 残差连接的工作原理与 PreNorm 稀释问题（PreNorm Dilution）的根因
• ✅ AttnRes 的核心数学公式与深度-序列二维对偶性直觉
• ✅ Block AttnRes 的工程化设计：分块、缓存流水线、两阶段推理
• ✅ mHC（DeepSeek）Birkhoff 流形投影原理与 AttnRes 的正面对决
• ✅ Kimi Linear 48B 实测 Benchmark 数据与扩展律分析

1. 十年不变的残差连接，到底隐藏着什么问题？ ​

1.1 残差连接的工作原理：梯度的"高速公路" ​

2015 年，何恺明等人在 ResNet 论文中提出残差连接（Residual Connection），彻底解决了深层网络的梯度消失问题。其核心思想极其简洁：每一层的输出等于当前变换加上输入本身的直通项。

展开后，第 $l$ 层的隐状态其实是所有前驱层输出的累加：

这条公式的关键在于：每一项的权重都是固定的 1。无论是第 1 层的输出还是第 99 层的输出，对当前隐状态的贡献权重完全相同，没有任何差异化。

这一机制的优势显而易见：梯度可以从输出层直接流向输入层而无需经过任何变换，彻底消解了深层网络的训练困难。然而，正是这种简洁性，埋下了一个十年后才被充分重视的隐患。

1.2 PreNorm 稀释问题：深层信息的"鸡尾酒会"困境 ​

现代大语言模型几乎都采用 PreNorm 架构：在每层变换 $f_l$ 之前先做归一化（LayerNorm 或 RMSNorm）。这本来是为了训练稳定性而设计的，但与残差累加叠加后，产生了一个不可忽视的副作用——PreNorm Dilution（预归一化稀释问题）。

问题的逻辑链条如下：

1. 随着层数增加，残差流 $h_l$ 是所有前层输出的等权和，绝对量级随深度单调递增（接近 $O(\sqrt{L})$ 的增长趋势）
2. PreNorm 在进入每层前对 $h_l$ 归一化到固定尺度，这意味着归一化后的激活相对于原始嵌入 $h_0$ 在量级上越来越小
3. 越深的层，其变换输出 $f_l$ 必须越大才能在残差流中产生可见影响
4. 深层输出被迫"大声喊叫"，浅层的精细特征被淹没在噪音中，最终梯度分布高度不均匀，训练不稳定

1.3 时间轴 vs 深度轴：一个被忽视的对称性 ​

Kimi 团队在论文中提出了一个极具洞察力的类比：深度方向的残差累加，与序列方向的 RNN 递归，在数学结构上高度同构。

回想历史：在 Transformer 出现之前，RNN 面临的核心问题是——处理第 100 个 token 时，必须将前 99 个 token 的信息压缩进一个固定大小的隐向量。长距离信息在传递过程中被逐渐稀释。Transformer 通过引入 Self-Attention，让每个 token 都能直接"看"到序列中的任意位置，以输入依赖的权重检索最相关的历史信息，彻底解决了这一问题。

2. Attention Residuals 的核心原理 ​

2.1 Full AttnRes：把残差累加变成深度注意力 ​

Attention Residuals（AttnRes）的核心思想一句话即可概括：让每一层以可学习的、输入依赖的注意力权重，对所有前驱层的输出进行加权聚合，而不是固定等权相加。

数学形式如下：

其中注意力权重 ${\alpha }_{i\to l}$ 由 Softmax 归一化计算：

这里几个关键设计值得仔细品味：

2.2 Full AttnRes 的显存瓶颈与 Block AttnRes 的解法 ​

Full AttnRes 的优雅是有代价的。要对所有前驱层进行注意力计算，必须在内存中保留所有历史隐状态 $\{v_0,v_1,\dots ,v_{l-1}\}$，内存开销为 $O(L\cdot d)$——对于层数 $L$ 高达数百的大型模型，这几乎是不可接受的。

Block AttnRes 的解法是：将 $L$ 层分成 $N$ 个块（Block），每个块内部依然使用标准残差累加，跨块之间才使用注意力聚合。

这一设计将内存开销从 $O(L\cdot d)$ 降低至 $O(N\cdot d)$，当 $N=8$（论文推荐默认值）时，即便有数百层，也只需维护 8 个块摘要向量——对工程实现而言完全可接受。

实验结果证实，块数 $N$ 对性能影响呈现"甜蜜点"特征：

2.3 两阶段推理策略：把开销压到极致 ​

在推理阶段，朴素实现方案会在每一层都重新计算跨块注意力，造成重复计算。Kimi 团队设计了两阶段推理策略来避免这一问题：

3. Full AttnRes 与 Block AttnRes 的变体详解 ​

3.1 Full AttnRes：理论上限，研究价值高 ​

Full AttnRes 是最纯粹的实现——每一层直接注意到所有前驱层的完整输出。

适用场景：中小规模实验、消融研究、验证理论性质。 核心优势：实现最简洁，提供理论性能上界，适合对比实验。 核心局限：内存开销 $O(L\cdot d)$，在大规模模型（如 48B 参数、54 层）上几乎不可行。

3.2 Block AttnRes：工程落地，性能保留 ​

Block AttnRes 是实际部署的核心方案，通过分块分组平衡性能与效率。

3.3 AttnRes 对 PreNorm Dilution 的根治机制 ​

标准残差的隐状态量级随深度单调递增，而 AttnRes 通过 Softmax 归一化（权重和为 1）在每个聚合点重置了量级的累积。具体体现在：

• 块内：依然是标准残差累加，量级在块内线性增长
• 块边界：跨块注意力以 Softmax 权重进行凸组合，强制将量级"归位"到合理范围
• 整体效果：输出量级呈现有界的周期性波动，而非单调增长

4. 规模化验证：Kimi Linear 48B 上的真实性能 ​

4.1 扩展律实验：跨模型规模的一致性优势 ​

Kimi 团队在 5 个不同规模的模型上进行了扩展律（Scaling Law）实验，每个规模分别训练 3 个变体：PreNorm 基线、Full AttnRes、Block AttnRes（≈8 blocks）。

拟合结果（验证损失 $L$ vs 计算量 $C$）：

在最大测试规模下，Block AttnRes 的验证损失为 1.692，而基线为 1.714，等效于用同样的算力，获得了基线训练 1.25 倍算力才能达到的效果。

4.2 Kimi Linear 48B 下游任务全面提升 ​

在 Kimi Linear MoE 架构（48B 总参数 / 3B 激活参数）、1.4T Tokens 预训练规模上，Block AttnRes 在所有评测基准上均优于或持平于基线：

多步推理任务（GPQA-Diamond +7.5、Math +3.6）和代码生成任务（HumanEval +3.1）的提升最为显著，与"改善深度信息流后，后层能更精准地检索前层表征从而提升组合推理能力"的理论假设完全一致。

4.3 训练动态分析：为什么 AttnRes 更稳定？ ​

在同等条件下，Kimi 团队对比了两个 48B 模型在 1T Tokens 训练过程中的动态指标：

5. 残差连接进化史：AttnRes 与前辈方案的横向对比 ​

5.1 残差连接家族谱系 ​

过去十年，改造残差连接的尝试从未停止，但大多数方案在理论优雅性或工程可行性之间只能二选一：

5.2 深度聚焦：mHC（DeepSeek）的原理与挑战 ​

mHC 是与 AttnRes 最具可比性的同期方案，两者都在 2025-2026 年间直面"标准残差已不够用"的同一命题，却走出了截然不同的技术路径，值得深入拆解。

Hyper-Connections 的出发点与暗伤

Hyper-Connections（HC，字节跳动 Seed，2025）的核心思想是将单一残差流扩展为 $n$ 条并行流（默认 $n=4$），用三个可学习混合矩阵控制信息在流之间的路由：

其中 $H_l^{res}\in {\mathbb{R}}^{n\times n}$ 控制残差流之间的混合，$H_l^{pre}$、$H_l^{post}$ 分别控制流的汇聚与分发。这一设计让网络拥有了更丰富的多流表征能力，在小规模实验中性能提升显著。

然而，HC 存在一个在扩展时才显现的致命缺陷：混合矩阵 $H_l^{res}$ 是无约束的，谱范数可能大于 1。在单层看来 1–7 倍的增益无害，但乘以 60 层后复合增益可达 $3^{60}\approx {10}^{28}$，在 DeepSeek 内部实验中确实观察到约 3000× 的激活放大，导致训练在 12k 步左右出现损失 spike 和梯度范数骤增的灾难性发散。

mHC 的核心解法：Birkhoff 流形投影

mHC 的解法出人意料地优雅——将混合矩阵 $H_l^{res}$ 投影到 Birkhoff 多面体（双随机矩阵流形）上。双随机矩阵满足两个约束：所有元素非负，且所有行和、列和均等于 1。

这一约束带来三重数学保证：

投影通过 Sinkhorn-Knopp 算法在前向传播中实时完成：从任意正矩阵出发（对学习参数取指数），交替将行和归一化为 1，再将列和归一化为 1，迭代 20 次后收敛至双随机矩阵。

# mHC 核心：Sinkhorn-Knopp 投影到 Birkhoff 多面体
# 依赖：pip install torch

def sinkhorn_projection(H_raw: torch.Tensor, iterations: int = 20) -> torch.Tensor:
    """
    将任意矩阵投影到双随机矩阵（Birkhoff 多面体）
    Args:
        H_raw: [n, n] 可学习参数矩阵（未约束）
        iterations: Sinkhorn-Knopp 迭代次数（论文使用 20）
    Returns:
        H_ds: [n, n] 双随机矩阵，所有行和列和均为 1，所有元素 ≥ 0
    """
    # 步骤 1：指数化以保证所有元素非负
    M = torch.exp(H_raw)  # [n, n], 所有元素 > 0
    # 步骤 2：交替归一化行和列（Sinkhorn-Knopp 核心迭代）
    for _ in range(iterations):
        M = M / M.sum(dim=1, keepdim=True)  # 行归一化：每行和 = 1
        M = M / M.sum(dim=0, keepdim=True)  # 列归一化：每列和 = 1
    # 迭代后 M 近似满足双随机约束（谱范数 ≤ 1）
    return M


# mHC 层更新（简化版，省略系统级优化）
class mHCLayer(nn.Module):
    def __init__(self, hidden_dim: int, n_streams: int = 4):
        super().__init__()
        self.n = n_streams
        # 三个混合矩阵的可学习参数（未约束原始值）
        self.H_res_raw = nn.Parameter(torch.eye(n_streams))    # 残差流混合
        self.H_pre_raw = nn.Parameter(torch.ones(1, n_streams) / n_streams)  # 流聚合
        self.H_post_raw = nn.Parameter(torch.ones(n_streams, 1))              # 流分发

    def forward(self, x: torch.Tensor, layer_fn) -> torch.Tensor:
        # 投影到双随机矩阵（保证训练稳定）
        H_res = sinkhorn_projection(self.H_res_raw)   # 双随机矩阵
        H_pre = torch.relu(self.H_pre_raw)            # 非负约束（简化）
        H_post = torch.relu(self.H_post_raw)          # 非负约束（简化）
        # mHC 层更新公式
        x_next = H_res @ x + H_post.T @ layer_fn(H_pre @ x)
        return x_next

mHC 的验证规模与基准数据

mHC 在 DeepSeek-V3 架构基础上，在 3B、9B、27B 三个规模上进行了系统验证：

值得注意的是，mHC 不仅优于基线，还优于 HC——双随机约束在稳定训练的同时，通过强制凸组合混合，反而提升了特征融合的质量。

5.3 AttnRes 与 mHC 的正面对决 ​

两者同根同源（都从"标准残差不够用"出发），却代表了两种截然不同的设计哲学：

5.4 全方案综合对比 ​

6. 总结 ​

Attention Residuals 的价值不仅在于提升了 Benchmark 数字，更在于它揭示了一个更深刻的规律：深度方向的信息传递一直处于和序列方向 RNN 时代类似的局限中，而 AttnRes 完成了深度维度上的"Attention 化"。

参考资料 ​

核心论文 ​

推荐资源 ​

• Attention Residuals 官方 GitHub
• 论文 PDF 全文（arXiv）
• Kimi 官方 X 发布公告