旧平板上的推理加速

上周六整理外婆留在老房子的樟木箱，翻到底层的时候碰着个硬邦邦的东西。

是她那台用了快五年的平板，边框的金属漆磨得发白，钢化膜翘了三个角，是当年她自己拿厨房剪刀剪的，边缘留着歪歪扭扭的剪痕。按开机键的时候我都没抱希望，居然亮了。屏幕还停在三年前的界面，社区医院的远程问诊APP，加载条还在慢慢转。

卡到让人冒冷汗的加载条

2023年冬天的事儿我到现在都记得清楚。那时候外婆慢阻肺急性发作，咳得腰都直不起来，社区说开了AI初诊通道，不用跑十几公里去三甲排队，把平板架在她枕头边，对着摄像头说话就行。我当时蹲在床边，看着屏幕上的加载条一圈一圈转。

一圈。两圈。

四分钟过去了。

我攥着手机的手心全是汗，120的号码都已经拨出去准备按通话键了，诊断结果才慢悠悠弹出来：建议立即前往急诊排查肺部感染。

说实话我当时气得想把平板扔出去。

那时候我在公司做端侧大模型的优化，天天跟同事聊推理加速，聊模型量化压缩，聊KV cache的命中率，总觉得这些都是实验室里的事儿，是给那些几千万参数的大模型凑跑分用的，跟我外婆那台内存只有6G的旧平板半毛钱关系都没有。她那台平板啊，开个微信都要等三秒，能跑个啥大模型？

那天等120来的时候，我坐在床边给外婆拍背，看着那个转得慢悠悠的加载条，突然觉得有点荒诞——我们花了那么多钱建机房，调模型，说AI能帮人省时间，结果到了真正需要它的老人这儿，它慢得像个上了年纪的老头，连等四分钟都成了奢侈。

没打招呼的系统更新

后来2024年春天，平板弹了个系统更新的红标，我本来想点忽略，毕竟老设备的系统更新向来是越更越卡，上次更新完连外婆最爱听的越剧APP都闪退。外婆靠在床头织毛衣，头都没抬说更就更呗，反正也存不了几个钱，坏了我就听收音机。

更新完的第三天，社区的网格员小周上门，说给大家测新的AI问诊功能，免费的。我半信半疑把平板架好，对着摄像头故意模仿之前外婆发病的状态，说自己最近咳嗽，胸闷，爬个二楼喘得厉害。

我都做好等加载的准备了。

不到两秒。

屏幕上直接弹出了外婆的既往病历，连她上个月开的吸入剂剂量都标了红，旁边一行小字：您近一周漏吸两次噻托溴铵，请注意按时用药。

我当时愣在那儿。

小周靠在门框上笑，说这东西现在快多了，听你们互联网公司的人说，叫啥推理加速？以前所有的问诊数据都要传到远端的机房，排着队等大模型算完再传回来，现在把最常用的老年呼吸科问诊模块，直接压缩了塞到平板本地，不用来回传数据，自然就快了。

哦。

原来我之前熬了那么多大夜，改了十几版的量化参数，把原本需要4G内存的模型压缩到不到500M的那些工作，最后真的落到了外婆的旧平板上。

那天风从阳台吹进来，带着楼下玉兰花的香味，我摸着平板掉漆的边框，突然觉得之前那些因为调参调错了被领导骂的时刻，那些凌晨三点在公司楼下买烤串的时刻，都有了点实在的意义。

没人会说出口的技术细节

后来跟之前的同事聚餐，大家聊起现在的推理加速卷到什么程度，什么投机解码，什么张量并行，什么稀疏注意力，说出去全是听不懂的黑话。没人会跟小区里的老太太讲这些。就像你给家里的老冰箱换了个新压缩机，你不会跟老人说能效比提升了多少，你只会说现在放进去的西瓜，半小时就能冰得透凉。

外婆后来跟楼下张阿姨聊天，总说现在的平板灵得很，上次她对着平板打了个喷嚏，系统就提醒她记得加衣服，比我这个当外孙的记得还牢。她不知道的是，为了让这个功能在她那台老平板上跑的不卡，我们把所有跟老年日常问诊无关的模型模块全删了，甚至为了适配她平板上的老款芯片，把几个核心算子重新写了三遍，就为了省那几百毫秒的加载时间。

当然也有出bug的时候。

有次外婆对着平板说自己想吃糖醋排骨，AI居然一本正经给她推了半页慢阻肺饮食指南，说做排骨要少放油，盐要减半，最好把排骨换成清蒸鲈鱼。外婆当时笑得毛衣针都掉在地上，说这个小平板管得比我妈还宽。

不过话说回来，这点小bug真的算不了什么。比起之前要等四分钟的加载条，这点小错位根本不影响用。

前几天我把那台平板充好电，放在老房子的窗台上。窗外的梧桐树已经长了满枝的新叶，阳光落在屏幕上，那个问诊APP的图标安安静静待在桌面。

很多人说推理加速是为了让大模型更聪明，是为了给企业降本，是为了做更酷的、能上热搜的AI产品。可我总觉得，技术最实在的落点，从来都不是那些飘在发布会上的宏大叙事。

是82岁的老人，不用在咳得直不起腰的时候，盯着转圈圈的加载条心慌。

是你不用为了用一个方便的AI功能，特意花大价钱换个新手机。

是那些藏在系统更新里的、没人特意跟你打招呼的小改动，悄悄把等待的时间缩短，把原本飘在天上的技术，揉进了你日常的呼吸里。