大讲堂
一开始我妈把这台旧平板淘汰给外婆的时候，全家都觉得新鲜。外婆是教了四十年小学语文的退休老师，之前连老年机的按键都按不利索，拿到平板的头一个月，天天攥着个手写笔戳屏幕，就为了跟深圳的舅舅家的小表弟连麦，看他写暑假作业。
那台被外婆改了参数的旧平板
最开始外婆用平板，只会打视频电话。后来她学会刷短视频，没半个月就开始生气。
说平台天天给她推假养生广告，什么”老人天天吃这个能活到一百岁”，什么”床垫里藏着治病的磁场”，她连着点了七八次”不感兴趣”，转头刷到的还是同类内容，越推越离谱。
那时候我刚从互联网公司加班回家，瘫在沙发上啃外卖，听外婆坐在旁边骂了半天，顺嘴提了一句，说现在的推荐算法都靠奖励模型调，就是人给内容打分，分高的就多推，分低的就压下去。
外婆听完愣了两秒，突然拍了下大腿。
她以为这个奖励模型跟家里那只三花橘猫是一个道理。哦对了，那只橘猫是三年前从楼下垃圾桶边捡的，现在胖得跳不上厨房的灶台，每次外婆给它喂猫条，它就把尾巴竖得像个小旗杆，蹭得外婆满裤腿的猫毛。
外婆说，这不就是养学生的道理吗。你上课天天表扬坐得端正的孩子，其他人就会跟着坐端正；你天天批评上课传纸条的孩子，其他人就不敢传了。什么模型不模型的，本质都是一样的——你给什么奖励，大家就往什么方向走。
说干就干。外婆戴着老花镜，花了整整三个晚上，把平板上所有她觉得烦的内容，全部点了”不感兴趣”：卖劣质养生床垫的，哭天抢地的家庭伦理短剧，假得离谱的专家科普，甚至连那种配着伤感音乐的流浪猫视频她都点了——不是她不喜欢猫，是那种刻意卖惨的视频看了闹心。点完之后她还专门找了平台的在线客服，说自己是退休的小学语文老师，平时喜欢听评弹，看老南京城墙的考古纪录片，看人家怎么腌雪里蕻和萝卜，麻烦把她的账号标签往这方面调。
我那时候笑她，说你这就是手动给平台喂数据呢，真把自己当标注员了。
外婆翻个白眼，把剥好的一瓣橘子塞我嘴里。
奖励模型最朴素的逻辑，从来不是实验室里的冰冷参数，就是普通人攒了一辈子的“什么好什么坏”的判断。
被改乱的标注库
那时候我在公司的团队，刚好在做面向老年用户的大模型功能。说穿了，我们的日常工作就是给大模型生成的回答打分，从0到10分，分越高的内容，模型就会越倾向于生成同类回答——这就是我们说的奖励模型。
那段时间团队的状态很糟。我们花了两个多月调的模型，一测就跑偏：老人问怎么腌萝卜，它给推”米其林浅渍萝卜的摆盘技巧”；老人问怎么用智能门锁，它给讲”三级蓝牙验证的操作步骤”；甚至有个老人问，楼下的蒸儿糕多少钱一个，它给搜出来全市最贵的那家网红店的地址。
我们天天加班到十点多，改标注标准，调权重，怎么都不对。
有天我下班回家，坐在餐桌边吐槽，说我们团队的标注员都是二十出头的年轻人，根本不知道老人真实的需求是什么，打出来的分跟实际的需求差了十万八千里。
外婆那时候在旁边择青菜，听我吐槽了半天，插了一句，说你们这打分的人，是不是都没跟老人一起生活过？
我问她怎么知道的。
她就说，上次来我办公室玩，看见你们那个戴黑框眼镜的小年轻，给”老人怎么跟子女沟通”的回答打满分，那个回答里说”要建立非暴力沟通机制，定期开家庭会议明确权责边界”。我看了都头疼，我跟你外公过了一辈子，就是他买的鱼不新鲜我骂他两句，他嫌我腌的菜太咸，哪来那么多机制啊。
我当时愣了半天。
后来我把外婆拉进了我们的标注群当临时顾问。一开始团队的小年轻还不服，说一个退休老太太懂什么大模型。结果外婆第一天来，就把我们之前打了满分的三个回答全部挑出来打了零分。
她的标准特别简单：字要大，步骤不能超过三步，不要说听不懂的专业词，能让老人看完不用问第二遍的，就是10分；要是看完还得琢磨半天什么是”非暴力沟通”，什么是”蓝牙验证”，直接给零分。
我们按照这个标准，把之前的标注库全部重新筛了一遍。跑了半个月的测试，模型终于不跑偏了。有次给外婆测生成内容，推出来的腌萝卜教程写着”老下关家庭版，用白醋加冰糖，封坛二十一天，配白粥最好吃”，外婆看完直接给打了10分，说这个回答才是懂南京人的。
藏在算法里的私人偏好
过了大概一个月，算法组的工程师找过来，说我们的奖励模型好像被”污染”了。
他说现在测出来的内容，推荐权重最高的全是南京本地的老年生活内容：评弹片段，城墙考古，老下关的蒸儿糕，腌雪里蕻的教程，甚至连老南京话的段子权重都比别的内容高。这是明显的偏差，得把这些参数拉回来，不然模型的适用范围太窄了。
我当时跟他吵了一架。
我说什么叫偏差？奖励模型本来就是收集真实用户的偏好啊。你要是把这些普通人攒了一辈子的生活细节全部删掉，那模型做出来有什么用？你给一个从来没在老下关住过的人推腌萝卜教程，他可能根本不知道蒸儿糕是什么味道，但是你给外婆推这个，她看完就会觉得，这个东西是懂我的。
吵完架我坐32路公交回出租屋，过长江大桥的时候，风从窗户吹进来，带着江水的味道，我突然就想起外婆点了几百次”不感兴趣”的那个晚上，她的手指因为老年颤巍巍的，点错了好几次，又退回去重新点。
之前我总觉得，奖励模型是很宏大的技术，是要改变世界的东西。那天我突然反应过来，哪有那么多宏大的东西啊。它落到普通人的生活里，就是外婆刷到评弹的时候，不用再划半天才能找到自己想听的片段；就是楼下的王奶奶问智能门锁怎么用的时候，得到的回答是”按密码，转把手，三步就好”，而不是一堆听不懂的专业词。
前几天舅舅从深圳回来，看到外婆平板上的推荐栏，皱着眉头说，你这推荐的东西怎么全是老南京的，一点都不国际化，你要多看看外面的世界啊。
外婆戴着耳机听评弹，头都没抬。
我都快八十了，为什么要去看外面的世界。我看我喜欢的东西，过我熟悉的日子，怎么就不对了。
那台旧平板现在就放在外婆的茶几上，屏幕裂了的地方贴了个我之前给她买的卡通贴纸，是个小橘猫，刚好把那个蜘蛛纹的裂缝挡住。
前几天公司发了新的测试报告，说老年用户的满意度涨了快三十个百分点。我把报告截图发给外婆，外婆回了个竖大拇指的表情，后面跟着一句，记得周末回来吃我腌的萝卜。
我看着屏幕笑了半天。
没人知道这个涨上来的满意度背后，藏着一个老太太几百次点”不感兴趣”的耐心，藏着我们跟工程师吵了三次的标注标准，藏着老下关街头飘着的腌萝卜的咸香味。
以后的奖励模型会变成什么样，没人说得准。
但我总觉得，那些能让人觉得”被懂了”的参数，永远不会是凭空从实验室里长出来的。
作者|fawen
排版|fawen
审核|柚子