KunLun AI Space 基于华为昇腾实现 DeepSeek V3.1 FP8 推理

IT之家 10 月 28 日消息，近期发布的 DeepSeek V3.1 大模型，因搭载了 FP8 精度格式（UE8M0 FP8）引发业界关注。据华为计算今日消息，河南昆仑技术有限公司（简称“昆仑技术”）基于昇腾 AI 的 Ascend C 算子编程语言，研发出软 FP8 解决方案。

据介绍，FP8 精度格式对比传统的 FP16 / BF16 精度能让模型的显存需求直接减半，降低服务器硬件压力；对比常见的 INT8 量化精度，推理精度更高、数据表示范围更广，解决了“降成本”与“保效果”的矛盾。

▲ 图源：KunLun AI Space 官网截图

该方案实现了“精度无损、成本减半”双重核心突破：

• 将 FP8 权重模型输入昇腾硬件，通过精准的反量化算子，转化为 BF16 格式参与计算，既保障了计算过程的准确性，又为后续新 FP8 权重模型的快速适配预留了灵活空间，无需权重格式的多次转换；
• 在模型精度几乎无损的前提下，单台 KunLun G8600 即可流畅运行满血版 DeepSeek V3.1 模型；即便在 KunLun G5500V2、KunLun G5580 等标卡机型上，也能实现模型参数规模翻番，同时大幅提升并发处理能力，让不同硬件配置的用户都能享受到 FP8 推理的技术红利。




昆仑技术的软 FP8 解决方案拥有三大核心技术：自研 FP8 反量化算子，显存与内存带宽双减半；算子整图下发，推理效率提升 32%；生态级兼容：主流模型无缝支持。

IT之家从华为计算获悉，KunLun AI Space 软 FP8 解决方案全面兼容 DeepSeek V3.1、DeepSeek-V3 / R1、Qwen3 等主流 FP8 量化模型。同时，该方案具备很好的扩展性，可以快速支持后续新出的模型。