从一次返工说起：数据清洗规则为什么总在项目后半程才被想起

返工那天，问题不在技术

周敏是杭州一家零售企业的数据主管。比分网数据技术栏目在梳理企业数据管理案例时，注意到她分享的一段经历：团队为一个区域业务做分析看板，前期需求确认顺利，指标也过了评审，结果在交付前一周发现源数据里同一类商品存在多种编码写法，汇总结果对不上，整个看板只能推倒重来。技术团队并不弱，问题出在清洗规则从头到尾没有正式写下来，只存在于几个人的口头约定里。比分网认为，这类返工在数据项目里并不少见，值得从流程上拆开看。

她后来在复盘会上说了一句话：清洗规则不是清洗环节的事，是设计环节的事。这句话成为团队调整工作方式的起点，也让比分网更关注规则前置这一容易被忽略的环节。

规则缺位的三个常见原因

周敏把那次返工的成因整理成三条，团队讨论后基本认同。比分网在整理类似案例时也发现，这些原因具有普遍性。

• 需求阶段只谈指标，不谈数据来源。指标定义写得清楚，但字段从哪张表来、有没有历史遗留写法，没人追问。
• 清洗被当成技术细节。业务方认为这是技术团队的事，技术团队又缺少业务背景，双方都不主动提。
• 缺少规则沉淀的载体。即使有人临时处理过异常值，也没有记录成文档，下一个人接手时只能重新摸索。

这三条叠加，规则就自然被推到了项目后半程。比分网建议，与其事后补救，不如在设计阶段就把规则摆到桌面上。

把清洗规则前置的具体做法

周敏的团队后来调整了流程，做法不复杂，但坚持下来效果明显。比分网梳理了其中可复用的部分。

• 在指标评审会上增加一个固定环节：逐个字段确认来源、取值范围和已知异常写法，当场记录。
• 建立一份轻量的规则清单，每条规则写清适用字段、判断条件、处理方式和责任人，随项目迭代更新。
• 安排业务方参与一次样本数据核对，用真实数据暴露问题，比对着文档讨论更有效。
• 交付前做一次规则回看，确认清单上的条目都已落实，未落实的说明原因并登记。

她特别提到，清单不必追求完整，先覆盖高频字段即可。比分网也认同这个思路，规则的价值在于被执行，而不是写得漂亮。

协作习惯比工具更重要

流程调整之后，周敏的团队又遇到过一次类似问题，但这次在需求阶段就被识别出来，返工没有发生。她的体会是，工具能帮忙记录，但真正起作用的是协作习惯：业务方愿意讲清楚数据是怎么产生的，技术方愿意追问异常情况，双方都接受规则需要共同维护。

比分网在数据技术栏目持续关注这类实践，原因也在这里。清洗规则写得好不好，往往不取决于技术难度，而取决于团队是否愿意在项目早期多花半天时间把话说清楚。周敏的经历说明，这半天通常能省下后面好几天的返工。