近日，深圳河套学院Al西宾平台名堂团队，讨好哈尔滨工业大学(深圳)、深圳市大数据忖度院、华为联系团队，协同深智城AI算力平台，面向国产算力大模子西宾开展讨好攻关。依托昇腾910C国产AI算力集群，完成1.6万亿参数大模子DeepSeek-V4-Pro全参数后西宾。

这次奉行动环球第三方机构在国产算力平台上完成该级别模子西宾的联系探索，积存了弥留教养，也印证了国产AI芯片可支捏天下级超大参数模子西宾责任。

优化建模SFT数据飞轮进程

万亿参数大模子是东谈主工智能限制的主流前沿模子，在逻辑推理、数理缱绻、代码编写、长文智商路等方面发扬杰出。这类模子的全参数西宾，对硬件算力、集群踏实性、算法适配优化均有严苛条件。

永久以来，环球领域内万亿级大模子西宾多采纳国外高端算力居品，国内国产算力此前主要用于模子推理、小幅微调，难以完周全参数深度西宾，这亦然行业发展中无数靠近的时刻繁重。

万亿级参数的AI大模子西宾难在哪？

要是把西宾一个万亿级参数的AI大模子比作解一齐超等复杂的数学题，那么每一张缱绻卡就像别称解题员。他们不仅要单干明确、昼夜胁制地连轴转，还不成有东谈主偷懒、不成有东谈主出错，更不成有东谈主掉队。

这次西宾的DeepSeek-V4-Pro采纳的是夹杂巨匠模子（MoE）架构，不错把它联想成一个坚硬的“巨匠团”：闲居回话问题只激活少数几位巨匠，欧宝app中国官方版下载看似高效，但后西宾时，“巨匠们”之间的疏导量却是粗野模子的几十倍。再加上动态切换的扎观念机制，这对芯片算力的诊疗和显存资源的措置提议了极其尖刻的条件。

浅薄来说，往日的国产算力更多是让大模子“能用”（即推理部署），就像给模子修了一条单行谈，输入一个问题，输出一个谜底。而这次的“全参数后西宾”，中国kaiyun则是要让模子学会自我反想和调整，相等于在单行谈的基础上，又加多了复杂的立交桥和多条响应回路，缱绻量和通讯量骤然翻了好几倍。

三大硬核冲破让国产算力“跑得稳”

面对如斯极限的挑战，科研团队在国产AI算力集群上完结了三大硬核冲破：

一是“显存拼图”。万亿级大模子不可能只塞进一张卡，团队遐想了精密的散播式承载决议，把坚硬的模子参数像拼图通常，精准地分派到千卡集群的每一张卡上，算力诊疗清纯洁白。

二是“负载平衡”。为了幸免MoE模子中有的“巨匠”忙得够呛、有的却在“闲荡”，团队成心优化了诊疗战略，保证了每位“巨匠”单干合理，跨卡通讯不再“堵车”。

三是“有东谈主‘守夜’”。全参数后西宾最怕跑着跑着系统骤然崩溃。本次西宾团队搭建了齐备的监控体系，全部完结可视可控，确保了长达1500多步的西宾过程中，莫得出现一次中断或报错。

名堂团队开展时刻复盘与学生实战培养

本次探索是国产算力适配超大参数大模子过程中的一次弥留进展，有助于进步国内AI产业链自主化水平，镌汰行业应用资本，为东谈主工智能时刻落地应用提供更多支捏。当今，名堂已完结模子算力运用率（MFU）超越30%，要害西宾算子休止进步14%，各项筹画均达到工业级开动表率。

从时刻应用角度来看开云体育，调用已有模子开展业务推理，与从零完成模子全参数西宾分属不同时刻要领，二者在时刻难度、硬件条件上存在光显分手。本次磨真金不怕火休止标明，国产AI算力已可承担顶级大模子西宾任务，联系时刻旅途具备可行性。