9月21日 信息,此前我们 综合了中秋国庆双节前后国内外要发的10多款大模型,其中最受等待的还得是DeepSeek V4.1 Pro 。

跑得 比较快的Theinformation网站又爆料了新的 信息,DeepSeek正在训练2万亿参数量的大模型, 将来还会 扩充到8万亿参数量 。

并且DeepSeek的大模型训练 将来会押注国产AI芯片,尤其是华为的昇腾系列,不过具体状况就没有细节流出了 。

将来的8万亿参数量大模型不好说是哪年推出,但报导中的这个2万亿参数量的大模型极有可能便是快要公布的DeepSeek V4.1 Pro了,便是不晓得梁历哪个月发了,节前 指望不是很大,10月中旬到下旬可能性更高 。

从之前公布DeepSeek V4.1 Flash的信息中 能够看出V4.1 Pro会连续崭新的架构设计,包含CED+Engram、Prefill与Decode拆分、非对称式激活 构造等技术,让AI来估算的话, 比较 正当的参数如下所示：

训练这样2万亿参数量的大模型差不多需求50-60万亿Token,依照当前的显卡算力估算的话,H100/H200这样的卡需求3万张,B200需求1.5万张,910C这样的要6万张,但假如是昇腾950系列,也便是3万张,跟H200差不多 。

DeepSeek新一代大模型的进展方向也是跟国产AI芯片深度绑定的,华为的昇腾950系列有PR和DT两个系列, 合适的工作也是分为训练及推理的,也把Prefill与Decode两个过程拆分了,DeepSeek的新架构显然是跟昇腾走软硬件协同优化AI训练、推理的 。

用国产AI芯片训练万亿级别的大模型已经有过报导和实例了,然而2万亿规模的还没有确认的,当前超过2万亿参数量的国产大模型重要有文心一言5.0、Kimi K3、千问Qwen 3.8 Max,没公布的还有MiniMax M3等,都没宣传过是用国产AI芯片训练的 。

DeepSeek V4.1 Pro假如用了国产AI芯片进行2万亿参数量的大模型训练, 即便不是所有训练过程,那也是里程碑性质的 遍及 。

明年华为的昇腾960系列还会提前1-3个季度面市,困扰国产大模型进展的算力问题 将来几年会大幅缓解,那就有机会跟OpenAI、Anthropic正面竞争了 。