你大概看过MDM产品的演示：供应商、客户、产品，几个统一的视图。界面干净，汇报时闪闪发光。可当我真把一个1000万级的客户库塞进去，那玩意儿跑起来像台老式拖拉机。说实话，我对“刷界面式”MDM已经忍无可忍了！这篇不是什么高屋建瓴，就讲讲底层那些算法硬骨头。
实体解析：MDM真正的“内燃机”
主数据管理的终极目标是生成黄金记录——每条真实世界实体的一份额校准。这个过程有个技术名字：实体解析（Entity Resolution）。它不是简单的属性拼接，而是一个贝叶斯概率的烧脑游戏。
想象你手上两条记录：一条来自CRM的“张三”，地址是“北京市朝阳区某号”；一条来自ERP的“张先生”，地址是“朝阳区某号”。该不该合并？传统做法是套规则：姓名相同？地址类似？但规则撞上大规模异构数据就失灵了。
核心模型是Fellegi-Sunter（FS）。它把每次记录比较映射成一个特征向量。设一条特征为真，意味着两条记录在某个属性上一致。FS模型定义了两种概率：m概率——两条记录真的是同一实体的条件下，这个特征为真的概率；u概率——两条记录压根无关，单纯巧合相同的概率。比值m/u组成似然比。取对数相加，就能得到一个累加得分。设定两个阈值：上阈值归为“合并”，下阈值归为“不合并”，中间这个区间？挂起，等人审。
听起来像什么？像警察给目击者证词打分——不同证词有不同权重。这不是玄学，是概率统计的精彩之处。
除了统计模型，工程上还要保命。最粗暴的嵌套循环，全量两两比较，复杂度O(N^2)。N=1000万就是10^14次比较，超算也救不了。
所以工程上必须做分块（Blocking）。把记录按多个关键字段的哈希值塞进不同的桶，只允许桶内两两比较。相当于图书馆不让你全馆找书，而是先按“计算机大类”再到“算法”书号找，效率天差地别。
[IMG_MDM实体解析分块与配对流程图]压测数据：不信你就跑一遍
纸上谈兵没劲。我把自己的一个零售业主数据资产拿出来测试。数据规模：约1079万条客户记录，来自渠道的销售、售后、营销三个系统。硬件是24核CPU，128GB内存。
方案A：过去那个商业MDM工具默认配置，基于规则+简单索引。全量构建花了11小时46分钟，内存峰值91.6GB。匹配准确率用人工标注好的样本集测大概是92.3%。
方案B：我重写了一套基于微分区（组合字段分块）的办法。分块字段包括手机号、身份证号MD5、姓氏+出生日期等。每块容量限定在200条内，再把相似度计算用向量化指令集改写成SIMD版本。同样硬件上，总耗时3分27秒。内存峰值15.2GB。准确率多少？96.8%！假阳性率直接降低三分之二。
为什么差这么多？因为方案A的索引只做了单字段分块，比如按邮箱域分，但很多记录邮箱是空的。我的方法把六个弱特征做联合分块，再用加权布隆过滤器预判候选集。复杂度从O(N^2k)降到近O(N·b^2)，这个b是平均每块大小，压到一两百之后，收益是爆炸性的。
还有，人少的时候可以串行，数据量大就得要并行。我用了Rust写核心库，通过FFI调用。语言之争没意义，但数据本身会说话。计算时间从9小时级别往分钟级别迈，不是靠单线程孤勇，是并行度、索引和概率模型的叠加。
[IMG_MDM全量与增量压测对比耗时表图]三个坑，我替你踩过了
落地MDM不是写个demo，尤其是想推全公司的时候。我总结三个最让我抓狂的坑。
坑一：阈值照抄。 某供应商文档里写着0.8以上合并，0.6以下拒绝。我的数据里0.75的匹配全被拒之门外。原因很简单——不同数据源的质量差异导致似然比分布完全不同。解决方法是画DET曲线，用已标注的小样本做校准，把阈值放在曲线拐点。而且要用工程手段记录人工审核的结果，定期反馈。阈值不是常量，它是个随时间变化的随机变量。 坑二：全量重刷带来的“数据海啸”。 每次订阅源端一更新，就触发全量匹配。结果脚本跑得比业务还勤快。1000万的数据，每天全量跑一遍，你别说压测，运维都要崩溃。方案：用事件流（比如Debezium做CDC）捕获增量更新，放到Kafka里做窗口聚合。例如3分钟内到达的所有变更打包成一个批次，只重算受影响的分块。我们的实测下，增量处理平均时延从全量的30分钟降到1.2秒。 坑三：只管实体，不管关系。 黄金记录算是做完了，客户合并了。可是客户和账号、家庭、地址之间的关联呢？如果只是炸平成一个巨大的宽表，后面的风控和推荐都得扑街。最佳实践是把实体解析结果存成属性图模型，实体节点+关系边。查询“某地址下所有潜在关联客户”从十几次join变成一跳图遍历。响应时间从秒级降为毫秒级。别小看这一层，业务方看的是结果，工程人看的是结构。MDM的工程美学是什么？不是豪华界面，嗯…而是让每条记录在同态变换后仍保持可追溯性。每一个合并决策，都有数学期望背书。这套系统的优雅，藏在分块索引和概率阈值一次次计算的细节里。像什么？像组装一台精密钟表，齿轮之间，是数据在安静地流动。
好了，别再跟我说“MDM就是买套软件”了。
