10万亿参数会做些什么?让我来告诉你几个秘密!

2026-10-08

听说DeepSeek即将冲刺10万亿参数这个天文数字,简直比小朋友的零花钱还要大得多!你知道吗,DeepSeek-R1的参数量只有6710亿,10万亿的参数量,简直像是在说:“来吧,我是天王,别提那些微不足道的数字了!”而阿里巴巴的Qwen 3.8-Max也只有2.4万亿,连DeepSeek现役的V4-Pro也只有1.6万亿。换句话说,10万亿就像是超级英雄中的超级英雄,要比国产模型的数量多出整整四倍,还能给它们一个“你们的脸上有个牛角”的嘲讽!

最近,华为CANN社区搞了一份名为《基于昇腾950超节点的万亿MoE模型预训练系统参考实践》的技术文档,听起来就像是在开一个“谁是最强大模型”的比赛,结果DeepSeek竟然在这次公开中首次触及了10万亿的参数大关。我花了个晚上,把这些技术细节翻了个遍,真的,里面的内容让人眼花缭乱,但普通人其实最关心的,只有三件事!

首先,10万亿的模型究竟能做点什么?这就得先给大家普及一下MoE的概念,听起来有点学术,但实际上很简单。想象一下,稠密模型就像一个全能运动员,什么问题都得亲自上场,而MoE模型就像是一支出色的团队,里面有擅长写代码的、擅长翻译的,还有擅长做数学题的。当你问代码问题时,只有代码专家出场,其他人就躺着休息。这种“只招合适的人”的方式,真是高效得令人发指。 6686体育

不过,DeepSeek的总参数虽大,但每次实际运作的“参与者”却不一定是全员出动,这就让模型的能力大幅提高,而推理成本却没有跟着乘坐“火箭”,飙升得没边儿。说白了,10T的模型就像是一座宝库,藏着更强的推理能力和复杂的任务链,但你的钱包可不会因此受重伤。

接下来,让我们看华为的方案到底解决了什么问题。别以为把更多芯片堆在一起就能训练一个10万亿参数的模型,实际情况可不是这样。越大的模型黑科技,越需要解决显存不够用、芯片间通信变慢的问题,就像你请了10个厨师,却要在一口锅里做出大餐,这才是一个大挑战!

about image

华为的设计方案里,有个FSDP、EP、CP三层并行策略,这就像分配工作,避免有人忙得团团转,有人却在椅子上玩手机。接着是 FlexMuon分布式优化器和GraphTrainer,真是听起来高端得让人怀疑这些技术是从外星球带来的。 6686体育

现在,关于训练成本,咱们来说说现实。在训练一个10万亿参数的MoE模型时,得用几万条AI加速卡,训练周期可长得出奇,光算力硬件的投入就得花掉百亿以上。听说用英伟达的GB200/GB300集群的话,光硬件成本可能就能让人哭出声,达到180亿美元。可别担心,这些天文数字跟你的API账单没什么关系。MoE架构的妙处在于,10万亿的模型并不是别每次推理都要走到10万亿次的计算,影响你使用成本的,主要是激活参数,而非总参数。

最近DeepSeek的V4-Pro价格在高峰时段已经从6元涨到了27元/百万次。哎,要说这一轮涨价,就让我们思考一下吧,咳,让我不自觉想到我去菜市场的经验,价格总是那么“喜人”!

所以,总而言之,10万亿参数不是简单的数字游戏,而是开启了无数可能的大门,让我们一起期待这些新能力的到来吧! 6686体育

最新文章

  • 波帅首秀竟成红牌派对,曼联防线简直是家欢乐!
    波帅首秀竟成红牌派对,曼联防线简直是家欢乐!

    直播吧11月23日讯 英超第11轮,曼联客场0-4不敌利物浦,波切蒂诺执教红魔首秀遭遇失利。此前连续3场比赛送点的曼联,本场又早早出现减员,防线接连犯错的难题摆在新帅面前。 本场开局阶段,约罗在禁区外放倒形成单刀机会的伊萨克,被主裁判直接出示红牌罚下。波切蒂诺上任后的首场比赛,便不得不让球队长时间以十人应战。 此前客战切尔西,利桑德罗·马丁内斯因肘击福法纳送点,同时吃到第二张黄牌被罚下;随后欧冠对...

  • 从0比2到翻盘逆袭,勇敢的巴萨从未放弃信念
    从0比2到翻盘逆袭,勇敢的巴萨从未放弃信念

    巴塞罗那在主场以 3比2 逆转比利亚雷亚尔,赛后后卫埃里克·加西亚(Eric Garcia)接受采访时说,球队“从未停止相信”。 这场比赛巴萨一度 0比2 落后。加西亚坦言球队开局不好,但他强调:“除了那两个进球,他们几乎没对我们构成威胁。”下半场,杰拉德·马丁(Gerard Martin)和费尔明·洛佩斯(Fermin Lopez)先后破门扳平比分,随后一记快速到来的乌龙球帮助球队锁定三分。 谈...

  • 油价要“缩水”了,车主们快放松吧!
    油价要“缩水”了,车主们快放松吧!

    最新油价调整消息:车友别心急加满汽车油箱,11月国际油价暴跌超18%,国内油价两连跌要来了。 最新国际油价变化率查询:本轮国内油价调整周期,三地原油价格平均值下跌7.34%,国际市场原油价格跌幅连续五个工作日扩大。 在国家发改委现行成品油价格形成机制下,11月26日国内油价下调幅度每吨460元,油价下调十拿九稳,折合柴油汽油价格下调0.4元/升,调价后加满50升汽车油箱节省20元。#油价调整最新消...