张阿姨说,怎么都想不通,明明菜的进价和以前一样新鲜,怎么就没人买了。品牌那边说,都是AI自动推荐,不会错,肯定是你这边位置不好。
凌晨三点的报警短信,谁在盯着菜柜里的烂叶子
直到上周,运维小哥小李过来检修设备,熬到凌晨三点,给张阿姨发了一屏截图。满屏的红色告警晃眼睛,全是数据错误。错得离谱。上周二有人买了一盒车厘子,柜门锁老化卡壳,传感器没录上出库记录,系统就一直显示车厘子还在柜里,保质期还剩三天,天天推给附近的用户,人家点进来找半天找不到,转头就给投诉。理货的兼职小姑娘是暑假工,把生菜的保质期输成了三个月,明明三天就坏,系统还标着当日新鲜,卖出去就是半棵烂叶子,换谁不生气。
这些错攒了三个多月,没人管。总部的大数据团队天天盯着日活、总GMV这些漂亮数字,没人低头看一眼底层的数据对不对。小李说,要不是这次投诉太多被问责,谁也想不到问题出在这。

说实话,我听完第一反应也愣了。原来我们天天说大数据、说AI,最基础的坎居然还是这个。
看不见的筛子:数据质量监控才是所有智能应用的底子
说白了,数据质量监控干的就是挑烂叶子的活。你去菜地收一筐菜,总得先把烂的、坏的、掉地上沾泥的挑出来,才能拿去卖对吧?数据也是一个道理,你收集一万条数据,里面可能有三四千条是错的、漏的、重复的、标错标签的,带着这些脏数据训练AI、做决策,就像把一筐混了烂菜的原料直接下锅,能做出什么好东西?
我之前认识一个做算法的朋友,在某外卖平台做时效预测,刚接项目的时候准确率死活上不去,整个团队熬了一个月调模型,改参数,试了各种新架构,还是不对。最后翻到底层数据一看,十分之一的商家填地址的时候,把城市填错了——北京朝阳区的店,被填成了河北石家庄,系统算路线的时候直接从石家庄派骑手,能准才怪。
这么低级的错误,要是一开始就有数据质量监控盯着,异常值一上来就触发告警,根本不用费那么大劲。朋友说,那之后他们团队花了三个月补监控规则,准确率一下涨了十二个点,成本还降了三分之一。
不过话说回来,现在有多少公司愿意干这个活?大家都盯着炫技的部分,比谁的模型参数多,比谁的概念新,数据质量这种脏活累活,谁都不想碰。就像你买房子,售楼处给你看的全是豪华装修效果图,没人告诉你卫生间的防水没做,瓷砖空鼓了一半,等你住进去漏水了,才知道问题出在哪。
沉默的清洁工,永远不会站在聚光灯下

张阿姨那三台智能菜柜,最后解决方案说出来你可能不信,品牌只是加了一层最基础的监控规则:保质期超出合理范围自动告警,出库记录和库存不匹配自动触发人工核查,用户上报坏品之后自动反向修正商品数据,前后花了不到两万块,改了不到一千行代码。
结果呢?半个月,投诉降了八成,单量涨回了原来的水平。张阿姨现在逢人就说,原来不是大家不爱买柜里的菜,是原来的烂菜没人挑啊。
我最近翻行业新闻,看到好多大模型项目出来,说自己准确率多少,参数多少,能做这个能做那个,底下没人提一句自己的数据质量怎么做的,训练数据有没有做清洗监控。之前不是有大模型把历史事件说错,把两个人的生平混在一起,说白了,还不是训练数据本身就错得一塌糊涂,又没人筛,模型能不瞎编吗?
我们总说,未来是数据驱动的世界,所有的决策都要交给数据,所有的服务都要智能化。可你连自己手里的数据是对是错都不管,那开错了药方、走错了路,该怪谁呢?怪模型不好?怪AI不靠谱?
昨天我又路过巷口,张阿姨坐在菜柜旁边择小油菜,太阳晒着,她还哼着越剧。那三台银灰色的智能柜安安静静的,没人知道它后台每十分钟就跑一次数据校验,出一点错就会立刻推告警给小李。
它不会上发布会,不会拿融资,不会上新闻头条。可就是这一个个沉默的数据质量监控,撑着我们每天买的菜、叫的外卖、走的马路,撑着整个所谓的智能世界,不会一下子塌掉。
至于有多少人会记得它?谁知道呢。
作者|大讲堂
排版|大讲堂
审核|白杨
大讲堂