停批GPU机房的背后，藏着一本没说出口的账
2026年一季度，国内三大顶流云厂商同时停批了新建通用型GPU机房。所有预算，全部倾斜给现有机房的冷热分离架构改造。
说实话，年初听到这个消息我还愣了半天。去年全行业还在疯抢GPU产能，抢得头破血流，连二手矿卡都炒到上万一块，怎么突然就不急着买新卡了？
后来跟某头部云的技术负责人吃饭，喝了两杯他才交底。他们内部做过测算，改之前，全网 idle 状态的GPU占比达到35%。这些卡占着机位、耗着电费，一天产生的请求还不到峰值的1%。每年光是浪费的电费就超过12亿度，相当于厦门岛全年居民用电总量。
这还不算卡本身的成本。一颗H100大几十万，放在那里空转，本质就是把几百万的现金扔在机房落灰。换谁当老板都心疼。
之前所有人都在追更高的算力，更强的芯片，没人愿意回头挤自己架构里的水分。大家都觉得，能抢到卡就是本事，浪费一点算什么？
直到英伟达去年又涨了一波价，GPT-4o的推理成本降不下来，中小AI客户都开始用脚投票退订全价GPU，云厂商才突然反应过来：原来比缺卡更可怕的，是卡买来了用不起来，钱套死在里面动不了。
冷热分离这四个字，突然就从实验室里的论文概念，变成了全行业活下去的刚需。
架构改造的本质，是分蛋糕的游戏
很多人觉得冷热分离就是把热数据放快卡，冷数据放慢卡，没什么技术含量。其实根本不是这么回事，这里面的商业模式博弈，比技术本身有意思多了。
国内最早大规模落地冷热分离的是字节跳动，早在2023年给抖音短视频推荐系统改架构的时候就做了。抖音上90%的播放量集中在发布不到一周的10%内容里，三个月之前的长尾内容，可能好几个月都没人点一次。原来不管新老内容全放在A100卡上，相当于最贵的工位全都用来堆闲置快递包裹，太浪费。
改完之后，热门内容放在H100、A100这类高端卡上当热算力，三个月以上的长尾内容，全都挪到廉价的二手消费级显卡上当冷算力。算下来，H100单卡采购价是二手翻新RTX3090的8倍还多，但跑长尾冷数据推理的QPS仅高出不到10%，这笔账傻子都能算明白。
这个逻辑本质上就像朝鲜战场的坑道战术：前沿阵地只留少数精干的侦查班应对日常袭扰，大部队全都藏在后方坑道里养精蓄锐，只有等到总攻的时候才会拉出来，既不浪费兵力，也能顶住长期消耗。
不过话说回来，为什么早没人做？核心还是利益问题。原来云厂商卖GPU，是按卡卖，你租一张卡一个月，不管你用不用，钱都得照付。卡越贵，云厂商赚的毛利越高，堆的卡越多，报表上的算力规模越好看，投资人给的估值越高。
冷热分离一搞，同样的成本能接三倍的客户，原来卖一张卡的钱，现在能拆分给三个客户用，看起来总营收没降，甚至还涨，但本质是把原来闲置的水分挤出来了，再也没法靠堆卡撑规模讲故事了。得罪了硬件厂商，也戳破了行业里原来的皇帝新衣。
我跟那个技术负责人聊的时候，他说内部吵了大半年，反对派说改架构要动原来的系统，太麻烦，还容易得罪上游，最后还是CEO拍板：再不改，明年我们的利润就要全给英伟达交保护费了，还谈什么增长？
这个方向我认为没走偏，只是动了很多人的蛋糕而已。
挤完水分，最先活下来的是谁
冷热分离改造，最先受益的根本不是云厂商，是普通的中小AI从业者和产业链底层的玩家。
你要是个做垂直AI应用的小创业者，之前上线一个大模型应用，每个月得花几万块租全规格GPU，哪怕90%的时间你的用户没那么多，钱也得照付。很多小项目刚上线有点流量，赚的钱还不够交GPU租金，做着做着就死了。
现在上了冷热分离，把用户不怎么访问的旧数据、低频请求挪去冷算力节点，每个月成本直接砍70%还多，相当于多出来的钱能多招两个工程师，能多试两个新方向，对吧？
产业链下游更有意思。珠三角原来做矿卡翻新的一帮老板，去年比特币跌的时候差点死绝了，今年突然活过来了，订单排到三季度。原来淘汰下来的消费级显卡，品质差点没关系，跑冷数据不需要多高的稳定性，只要能存能算就行，一张翻新完三千块，比买新的便宜十倍，云厂商抢着要。上个月深圳的那个老板跟我吹，现在他一个月出十万张卡，利润比当年挖比特币还高。
反过来呢，那些前两年融了大笔钱，一口气囤了上百颗H100撑门面，靠“大算力”讲故事的创业公司，现在日子越来越难过了。投资人尽调的时候第一句就问，你的算力做冷热分离了吗？你的实际利用率能到多少？答不上来的，直接pass，再也没人愿意为你闲置的算力买单。
整个AI行业从抢产能的野蛮扩张，终于走到了抠效率的精细化运营阶段。原来大家比谁拿的卡多，现在比谁把卡用得更透。
当整个行业都开始给算力挤水分，那些靠堆高端GPU讲故事的公司，还能融到下一轮钱吗？
