FP8

8-bit Floating Point（8 位浮点数）是一种低精度数值格式。

相比 FP16（16 位）可减少 50% 显存占用，相比 FP32 减少 75%。DeepSeek-V3 全程使用 FP8 混合精度训练，显著降低了训练成本（仅 $5.6M）。

FP8 需要硬件支持（NVIDIA H800 等），训练时需要特殊的缩放策略防止精度丢失。