春招刚过,一家创业公司死在算力调度上
2026年三月,我跟一个大模型创业圈的朋友吃饭,他说圈里刚没了一个拿到B轮的项目。不是模型效果不好,不是没订单,是栽在一件大多数人都不在意的小事上——算力调度。
这个项目做端侧大模型推理,给头部电商做直播AI导购,为了降本,租了三家供应商的异构算力:有批量拿到的英伟达A100余货,有华为昇腾910的政务云闲置配额,还有寒武纪思元590的测试额度,本来算下来成本压得很低,也够扛住直播高峰的流量,结果呢?
大促高峰期流量砸进来,A100的卡直接跑满炸了,昇腾和寒武纪的卡还空着一半,系统根本调不过去。用户提问的响应延迟直接从100ms跳到400ms以上,买家嫌卡,直接走了,电商客户二话不说撤了三个核心订单,现金流直接断了,撑了不到一个月,团队散了,项目卖了,只留下一堆没还清的算力账单。
这家公司三个月花了1200万算力租金,实际利用率才不到32%。相当于一线城市核心地段整租一层写字楼,一半工位空着还要全额付租金,换谁扛得住?

这真不是个例。现在谁家的算力池不是一堆不同架构的杂牌子芯片?大模型厂商要降本,不可能全砸钱买最贵的英伟达卡,必然是混着用不同厂商的异构资源。可原来的调度系统,都是各家芯片厂商自己做的,各管各的池子,跨架构跨厂商调度,就是个没人愿意碰的烂摊子。
说实话,很多人喊现在算力不够,我看一半是闲死,一半是累死。空着的算力用不上,要算力的拿不到,说白了就是没有一张能把所有异构资源织起来的网。
技术早通了,难的是拆山头
我去年跟中国移动算力网络的技术团队聊过,他们早在2024年就跑通了跨厂商跨架构的算力网络异构资源统一调度,现在已经在12个省级智算中心落地。他们给我看的内部数据,调度之后,整体算力利用率从原来的28%拉到了61%,中小客户的算力成本直接降了47%。
我当时挺惊讶,这么好的事,为什么没有大面积推开?带队的总工叼着烟笑了笑,说你以为我们不想推?要统一调度,就得各个智算中心把自己的算力资源池完全开放出来,统一分配,收入也要重新核算,原来每个省公司自己的智算中心,赚的钱都是自己的KPI,现在你把我的闲算力调去给别的省用,功劳算谁的?钱归谁?对吧。
现在国内智算中心里,英伟达GPU占比不到四成,剩下六成都是国产的昇腾、寒武纪、海光这些不同架构的芯片。有个公开的数字你可以自己算:英伟达A100的采购单价是昇腾910的2.7倍,但处理大模型推理任务的时候,昇腾910的实际效率能达到A100的85%。这么算下来,用昇腾跑推理成本低一半都多,可为什么很多客户还是只能买到贵得离谱的A100?因为运营智算中心的玩家,靠卖贵的算力赚更多,谁愿意主动把便宜的异构资源放出来给你统一调度?

这个事儿,用合成旅作战打个比方就懂了。原来的算力格局,就像早年军阀混战,各个派系各守各的地盘,友军被围了,我明明就在几公里外,就是不肯发兵,因为救了你,我的实力就受损了,功劳轮不到我,好处也捞不着。现在要搞异构资源统一调度,就是要搞合成作战,统一指挥,哪里需要就把哪里的算力调过去,不管你是哪个派系哪个架构的,这就直接动了原来各个山头的核心利益。
说白了,技术上的适配问题,早就能解决了,现在就是利益谈不拢。有的厂商抱着自己的封闭算力池子当金饭碗,怎么可能愿意拿出来统一调度?我见过不少喊着做统一调度的项目,其实就是包装一下拿政府补贴,骨子里还是封着自己的池子赚差价,这个方向,我认为走偏了。
风已经吹到了普通从业者这里

不管利益盘得有多复杂,趋势挡不住。最先感受到变化的,不是顶层的资本,也不是做规划的大佬,是底层的普通从业者。
我认识一个在上海做算法工程师的小孩,去年之前,他的主要工作就是给同一个模型做不同架构的适配,给英伟达写一遍,给昇腾改一遍,给寒武纪再调一遍,每个月要耗半个月在重复适配上面,天天熬夜掉头发,连找对象的时间都没有。今年他们公司接上了统一调度的算力网络,底层已经做好了全架构统一适配,他现在只需要写一遍模型,剩下的调度适配底层自动搞定,每个月能多出来十天半个月做产品优化,准点下班的次数多了,上个月刚跟交往半年的女友见了家长。
说实话,这才是技术进步该有的样子,把从业者从无意义的重复劳动里解放出来,去做真正有价值的事。
对中小创业者来说,这个变化更直接。原来你要创业做大模型,一开始就得搞定稳定的算力,拿不到上游资源,你连训练都搞不定,门槛直接把九成玩家挡在外面。现在异构统一调度能把各个地方散着的闲算力拼起来,成本直接砍半,原来训练一个7B参数的大模型要六十万,现在不到三十万就能搞定,相当于给中小玩家开了一道新的门,原来卷不动的,现在也敢进去试一试。
不过话说回来,有人欢喜就有人愁。原来靠倒买倒卖算力差价赚快钱的贩子,现在日子不好过了,原来把算力捂在自己池子里抬价的玩家,也不得不跟着降价抢客户,那些专门给不同芯片做适配的外包团队,订单也少了一大半。市场就是这样,总有旧的生意死去,新的玩家站起来,对吧?
当所有异构算力都能被统一调度盘活,那些花了几百亿建了封闭智算中心的玩家,真的愿意亲手砸掉自己的一亩三分地吗?