Residual Learning

Residual Learning（残差学习）是 ResNet 的核心思想。

为什么需要 Residual Learning

随着网络加深，模型性能出现饱和甚至下降——这不是过拟合，而是优化困难。深层网络难以学习恒等映射（即 F(x) = x），导致深层不如浅层。

核心变换

传统学习:        H(x) = 直接学习目标映射
残差学习:        F(x) = H(x) - x,  H(x) = F(x) + x

当网络需要恒等映射时：

• 传统网络需要学习 H(x) = x（困难）
• 残差网络只需学习 F(x) = 0（容易——将权重趋向于 0）

优势

• 梯度直通：梯度可以通过快捷连接直接回传
• 易于优化：偏差更小的初始化
• 天然集成：多个残差块的隐式集成