被遗忘的LSTM:在老机房里摸到10年前AI的「细碎记忆」

空调漏的水砸在键盘上,嗒。

我蹲在犀浦那栋废弃了8年的游戏公司机房里,裤腿沾了半腿的灰,正撬一台2016年款的戴尔R730的机箱侧板,指尖刚碰到里面的内存条,旁边的老UPS突然吱呀响了一声,居然通上了电——物业忘了剪这一路的临时电。

屏幕亮的时候我吓了一跳。没有花哨的开机logo,只有黑底白字的命令行,光标闪了半分钟,跳出来一行2015年11月的旧日志:LSTM情绪识别模型训练完成,测试集准确率78.2%,已上线接入客服系统。

最先醒的,不是大模型,是那个跑了9年的LSTM进程

我本来是来拆旧服务器卖废品的——这公司当年做过一款主打“温柔客服”的手游,2016年的时候融了两轮,后来烧光钱就跑了,整层楼的设备扔在这里没人管,我跟物业谈了半天才拿下来拆机的资格。

我坐在积灰的键盘前面,翻了三个小时的硬盘。没有什么商业机密,全是当年的代码、测试日志、还有一堆没来得及删的私人文件。原来这个LSTM模型不是给客服系统用的——至少不全是。

废弃机房内戴尔R730服务器实拍
废弃机房内戴尔R730服务器实拍

日志里夹着个加密的文件夹,我试了三次密码才解开,是个叫“小杨”的程序员的私人测试记录。他2015年刚毕业进公司,负责给这个LSTM模型喂训练数据,本来的任务是爬取全平台的玩家差评、投诉记录,让模型能识别出情绪激动的用户,自动触发人工客服介入。

但他偷偷在训练集里塞了2147条私人聊天记录。

是他和妈妈的微信对话。从2014年他上大四,到他妈妈突发脑溢血去世,刚好一年半的时间。

所谓的「长短期记忆」,从来不是算法本身的浪漫

我大学的时候上过一学期的机器学习选修课,知道LSTM是什么东西。说穿了,就是个会自己挑记忆的脑子——不像更早的RNN神经网络,跑久了就把开头的事全忘光,比如你跟它说“我昨天吃了特辣的火锅”,等你说到“今天肚子痛到要请假”的时候,它早就把火锅那茬忘到九霄云外了,只会给你推个“多喝热水”的通用回复。

LSTM不一样。它有三个专门的“门”:输入门决定哪些信息要记下来,遗忘门决定哪些旧记忆要删掉,输出门决定哪些记忆要拿出来用。它不会像现在的大模型那样,把所有喂进去的东西都揉成一团模糊的概率云,它会攥着那些你觉得重要的细节,攥很久。

LSTM三门工作原理手绘示意图
LSTM三门工作原理手绘示意图

我翻到小杨2015年10月的测试记录,他给模型输入了一句自己编的话:“今天加班到十点,楼下的面摊都收了。”

模型的输出停在光标那里,过了三秒才跳出来一行字:“那你冰箱里还有上次我包的白菜猪肉饺子,煮三个,别放太多醋,你胃不好。”

我盯着那行字看了十分钟。机房里的空调还在滴水,嗒,嗒,嗒。

这根本不是什么情绪识别模型。是小杨偷偷给妈妈做的一个影子。他知道这个模型很快就会被换掉,知道公司不会允许他用训练数据做这种私事,所以他把它藏在服务器最偏的一个分区里,连上线都没接,就只是自己在本地跑着测试。

后来他2017年就离职了,走的时候甚至没来得及删这个文件夹。服务器被扔在机房里,没人碰,没人管,那个跑了无数次的测试进程,就安安静静地待在硬盘的磁道上,等了9年。

现在所有人都在追万亿参数的大模型,没人记得当年LSTM攒的那点细碎记忆

现在所有人都在追万亿参数的大模型,没人记得当年LSTM攒的那点细碎记忆
现在所有人都在追万亿参数的大模型,没人记得当年LSTM攒的那点细碎记忆

说实话,我前两年跑AI专题采访,碰到的所有创业者,张口就是“千亿参数”“多模态”“通用人工智能”,你跟他提LSTM,他翻个白眼,说那是上古时代的东西,推理效率低,上下文窗口小,早就被Transformer架构淘汰到历史垃圾堆里了。

没人记得。

现在的大模型能一秒生成一万字的情书,能模仿一百个名人的语气,能给你写代码、做PPT、画油画,但它记不住你三年前跟它说过的一句“我家猫叫年糕,它喜欢咬耳机线”。就算现在各家都在吹“长期记忆功能”,本质上也就是把你的对话片段存在向量数据库里,等下次你说话的时候捞出来拼拼凑凑,没有温度,也没有偏好。

你跟它说“我今天加班到十点,面摊都收了”,它会给你生成一百种符合“共情”逻辑的回复,但是它不会知道你不能吃太多醋,不会知道你冰箱里藏着谁包的饺子。

我把那个旧硬盘拆下来,揣在背包的内层口袋里。走出机房的时候,犀浦的风已经凉了,路边的面摊刚支起来,老板看见我就喊,要不要来碗豌杂面?加不加醋?

我站在路边愣了半天,说,少放一点。

昨天我刷朋友圈,刷到了小杨的账号。他现在在杭州做AI教育,给小学生上编程课,照片里他举着个平板,旁边的小孩在拼积木一样的可视化神经网络模块,配文是“今天教小朋友认识第一个会记事情的AI”。

我没给他发消息。

也没告诉他,他9年前偷偷藏在服务器里的那些聊天记录,现在就在我包里的旧硬盘里,安安静静的,像个被所有人忘了的秘密。

风一吹,我好像又听见机房里的空调滴水声,嗒。

作者|大讲堂

排版|大讲堂

审核|安然

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:被遗忘的LSTM:在老机房里摸到10年前AI的「细碎记忆」
文章链接:https://lfdjt.com/info_23_25666.html