Reparameterization Trick

Reparameterization Trick（重参数化技巧）解决了 VAE 训练中采样操作不可微的问题。

问题

VAE 需要从编码器输出的分布中采样来生成潜在变量：

z ∼ N(μ, σ²)   ← 采样操作不可微！梯度无法回传

解法

将随机采样拆解为确定性变换 + 独立随机噪声：

原始: z = 从 N(μ, σ²) 采样        （不可微 ❌）
新:   z = μ + σ × ε              （可微 ✅）
      其中 ε ∼ N(0, I)           （独立于模型参数）

为什么可行

• μ 和 σ 是由编码器输出的确定性值
• ε 是独立于模型参数的随机噪声
• 梯度可以沿 μ 和 σ 的路径反向传播到编码器

意义

重参数化技巧让 VAE 可以使用标准的 SGD/Adam 优化器进行端到端训练，无需复杂的蒙特卡洛梯度估计。