
旧硬盘里的BERT
上周六我蹲在出租屋的地板上理纸箱。 纸箱是从老家拉过来的,我妈走了之后剩下的旧物件。笔记本电脑就在最上层,套着磨起毛的藏蓝色绒布套,是当年我攒了三个月实习工资给她换的。 开机转了三分钟。 风扇响得像要起飞。桌面乱七八糟,一半是她跳广场舞的凤...

上周六我蹲在出租屋的地板上理纸箱。 纸箱是从老家拉过来的,我妈走了之后剩下的旧物件。笔记本电脑就在最上层,套着磨起毛的藏蓝色绒布套,是当年我攒了三个月实习工资给她换的。 开机转了三分钟。 风扇响得像要起飞。桌面乱七八糟,一半是她跳广场舞的凤...

上周跟某大模型厂的算法负责人喝酒。 他吐槽了句——现在招的应届生,能把Transformer公式倒背如流,问他多头注意力为啥非要拆成8头,16头,答不上来。 别笑。这不是个例。 这话真的戳中了现在整个AI行业的痛点:所有人都在说大模型,说T...

2026年3月我在苏州工业园区管委会的开标室蹲了整整三天,空气里飘着打印纸和速溶咖啡的味道,连走廊的消防栓上都贴满了智能制造设备的投标广告。那天开的是某头部消费电子代工厂的SMT产线检测系统采购标,总预算1200万。 烟点反了。 做了11年...

上周三回鼓楼老小区,楼下的梧桐树遮了半条路,夏天卖冰棒的推车还停在单元门门口,我蹲在储物间整理外婆留下的旧红米。充上电的瞬间屏幕亮起来,跳出来127条未读推送,壁纸是去年春天在玄武湖拍的,她举着半块梅花糕,糖稀流到手腕上,笑的皱纹都挤成一团...

去年冬天在乌镇碰到一个做了12年NLP的老工程师,酒喝到半酣的时候突然拍桌子,说2017年那篇《Attention Is All You Need》他第一次看的时候,只扫了两段就关了PDF——觉得又是个换汤不换药的注意力模块改良,哪想到5年...
