你从某处导出一个列表:同一个邮箱出现三次,或者 400 个名字乱序。做任何有用的事之前——先去重,再排序。这两个操作修好大多数凌乱的文本数据。
为什么去重重要
重复项虚增计数、重复发信、扭曲一切分析。一万行的列表里有 300 个重复就是 3% 的错误——而用肉眼找出这 300 个,是一个下午的损失。
为什么排序重要
排序后的数据可检索、可比较:二分查找、合并对比、“有没有漏人”检查都依赖顺序。无序列表无法和另一份列表做有意义的 diff。
工作流
重要的注意事项
- 去重是精确匹配:“alex@site.com” 和 “Alex@site.com” 是两行。数据源马虎时,先去重前规范化大小写(和行尾空格)。
- 排序和语言环境有关:数字按文本排会错(“10” 排在 “9” 前)。数字用数字排序。
- 保留原件:去重会毁掉“重复了多少次”的信息。计数重要就先导出副本。
天天出现的地方
邮件列表、日志文件、导出的 ID、问卷回复、抓取数据——任何来自机器拼接而非数据库的列表。
清理不性感,但它是“可信的数据”和“反复核对的数据”之间的差别。十秒的去重加排序,胜过一小时的“这个我是不是见过了?”