清理文本数据:去重与排序

清理文本数据:去重与排序

你从某处导出一个列表:同一个邮箱出现三次,或者 400 个名字乱序。做任何有用的事之前——先去重,再排序。这两个操作修好大多数凌乱的文本数据。

为什么去重重要

重复项虚增计数、重复发信、扭曲一切分析。一万行的列表里有 300 个重复就是 3% 的错误——而用肉眼找出这 300 个,是一个下午的损失。

为什么排序重要

排序后的数据可检索、可比较:二分查找、合并对比、“有没有漏人”检查都依赖顺序。无序列表无法和另一份列表做有意义的 diff。

工作流

  1. 用重复行移除工具去重——保留每行首次出现,去掉重复。可选统计去掉了多少;这个数字本身就是诊断信息。
  2. 用列表排序工具排序——字母序或数字序,升序或降序。

重要的注意事项

  • 去重是精确匹配:“alex@site.com” 和 “Alex@site.com” 是两行。数据源马虎时,先去重前规范化大小写(和行尾空格)。
  • 排序和语言环境有关:数字按文本排会错(“10” 排在 “9” 前)。数字用数字排序。
  • 保留原件:去重会毁掉“重复了多少次”的信息。计数重要就先导出副本。

天天出现的地方

邮件列表、日志文件、导出的 ID、问卷回复、抓取数据——任何来自机器拼接而非数据库的列表。

清理不性感,但它是“可信的数据”和“反复核对的数据”之间的差别。十秒的去重加排序,胜过一小时的“这个我是不是见过了?”