被云厂商吹了十年的冷热分离,为什么现在才摸到赚钱的门?

上周帮朋友整理他攒了8年的网盘文件,3.2T的杂七杂八的东西——从2016年的考研政治网课,到2019年去云南玩拍的 raw 格式照片,再到前公司离职时导出的所有工作文档。

他要找一张2018年帮猫拍的疫苗证明,找了22分钟才加载出来。

我当时就吐槽,你这3个多T的文件,要是全存在你那台天天开机的2T NVMe固态上,光一年的电费都够你买个新的移动硬盘了。

这其实就是最朴素的冷热分离。

先搞懂:冷热分离从来不是“把冷数据扔去角落”那么简单



很多人对冷热分离的理解,还停留在“常用的东西放桌面,不常用的塞柜子”的阶段。太浅了。

真正的技术边界,从来不是按“你觉得哪个常用”来分层的,是按三个核心维度算的:第一是访问延迟要求,热数据必须做到毫秒级响应,比如你刷短视频的推荐流、企业正在跑的交易日志,要是延迟超过100毫秒,用户直接就划走了;第二是访问频率,行业里通用的阈值是,7天内被调取超过5次的算热数据,30天到1年被调取次数低于10次的算温数据,1年以上访问概率低于0.1%的算冷数据;第三是合规要求,有些数据哪怕十年没人看,也必须存在符合监管要求的存储节点上,不能随便扔去最便宜的介质里。

数据存储冷热分层访问频率与成本对应示意图
数据存储冷热分层访问频率与成本对应示意图


之前行业里踩过的最大的坑,就是把“冷”和“便宜”直接划等号。我见过最离谱的案例,某区域券商把10年前的客户开户资料全存在离线磁带柜里,去年监管要求抽查3份合规文件,两个工程师花了48小时才找出来——光磁带头的校准、索引的重新挂载就耗了一整天。省的那点存储费,够赔罚款的零头吗?

谁亏谁知道。

说白了,冷热分离的核心不是省成本,是在满足业务和合规要求的前提下,把每一分存储成本花在刀刃上。你不能为了省那点钱,把需要随时调取的文件塞到离你八丈远的冷柜里,那是本末倒置。

卷了十年,行业终于把“分错层”的损耗打下来了



最早的冷热分离,靠的是人工写规则。比如规定“超过1年的文件自动迁到冷存储”,死板得很。

经常出的问题就是误判。比如某类冷数据突然因为政策要求需要高频访问,系统还按之前的规则把它存在低速的冷介质里,结果业务刚跑起来就卡成PPT。之前某电商大促的时候,就出过这么一档子事:因为大促要查3年前的用户历史订单做风控,结果这批订单全被自动迁去了冷存储,接口延迟从10毫秒涨到了2秒,直接导致风控系统漏了好几个薅羊毛的账号。

这几年的关键进展,是AI驱动的动态分层算法。

不再靠固定的时间阈值拍脑袋分层,而是实时计算每个数据块的访问概率、业务优先级、合规要求,动态调整存储位置。比如某条3年前的用户通话记录,最近因为反诈协查连续3天被调取2次,系统会自动把它从冷存储捞到温存储层,等过了协查周期,访问频率降下来了,再慢慢迁回去。

现在头部厂商的这套自动分层方案,整体存储成本能比全固态部署低70%-80%,同时因为误分层导致的访问延迟上升,能控制在业务可接受的1%以内。

云存储自动冷热分层数据流转路径图
云存储自动冷热分层数据流转路径图


产业链的变化也很有意思。之前做存储的厂商,营收90%靠卖硬盘、卖服务器,一锤子买卖。现在呢?国内几个做分布式存储的创业公司,去年的营收里,分层运维服务的占比已经超过了硬件销售。说白了,之前大家是卖“容器”,现在是帮你管“容器里装的东西”,赚长期的订阅费。这才是真的摸到赚钱的门了。

看起来完美的方案,还有三个没填上的坑

看起来完美的方案,还有三个没填上的坑
看起来完美的方案,还有三个没填上的坑


别光听厂商吹得天花乱坠。现在的冷热分离,远没到成熟的地步。

第一个坑,是合规边界的模糊。很多自动分层的系统,为了压低成本,会自动把冷数据迁到地域更偏远、电价更便宜的节点,甚至是境外的节点。等企业要做数据出境合规审查的时候,才发现自己的冷数据根本没有做存储位置的台账,系统默默迁走的那些数据,直接踩了监管的红线。

第二个坑,是冷存储的安全防护缺位。因为冷数据的访问频率低,很多厂商的冷存储节点,安全防护等级比热存储低好几个档次:热存储的节点每季度做一次渗透测试,冷存储的可能一年才扫一次漏洞;热存储的访问日志实时监控,冷存储的日志可能攒半个月才同步一次。之前出过的案例,某云厂商的冷存储桶因为权限配置错误,被人爬走了几百万份用户的历史病历,因为是冷数据,监控系统过了半年都没发现异常。

第三个坑,是冷数据的“生命周期遗忘”。很多企业把数据扔去冷存储之后,就再也不管了。既不做定期的可用性校验,也不按法规要求做到期销毁。比如按《个人信息保护法》的要求,用户的非必要数据最多存5年,结果因为冷数据没人管,存了10年还在节点上放着。等用户过来要求删除的时候,找都不知道数据存在哪个介质上,反而要花几十万的成本去做全链路的溯源。

说实话,我之前一直觉得冷热分离是个没什么技术含量的生意。不就是把数据按温度放不同架子上吗?

但这两年跑了几十家存储厂商、互联网公司、金融机构才发现,这个事的天花板比大家想的高多了。

未来3年,冷热分离的颗粒度会从“文件级”细化到“分片级”。比如一个10G的历史监控视频,前面9G是没人会看的空镜头,最后1G是当时的事件发生片段,系统会自动把这1G捞到温层,剩下9G直接高压缩存到最低成本的冷介质里,整体存储成本还能再降40%。

未来5年,冷热分离会跳出纯存储的场景,变成企业数据资产管理的核心入口。你想知道自己手里到底有多少数据、哪些是有核心价值的、哪些是可以合规销毁的、哪些是要长期留存的,根本不需要做耗时半年的全量数据盘点,只要看分层系统里的温度标签就够了。

真的,它根本不是什么能改变行业的技术革命。

就是把过去十年,企业在数据存储上浪费的那笔糊涂账,慢慢算明白而已。之前大家预算够,全上高速存储,反正没人在乎那点电费和硬件钱。现在每一分钱都要算到小数点后两位,这时候冷热分离的价值,才真的落地。

作者|大讲堂

排版|大讲堂

审核|白杨

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:被云厂商吹了十年的冷热分离,为什么现在才摸到赚钱的门?
文章链接:https://lfdjt.com/info_23_28553.html