先看差在哪里:如果报告页数大于实际对象数量,绝大多数情况是同一对象被不同入口、不同参数或历史快照重复计入;如果报告页数小于实际对象数量,则更可能是分页截断、筛选条件过窄或对象尚未被采集。两种情况的去重动作完全不同,下面按这两种前提分别说。
页数偏多时,不要急着批量删除,先确认重复属于哪一类,因为不同来源对应不同的保留规则。
判断依据可以看一个信号:重复记录的标题、主体内容或唯一标识是否一致。如果唯一标识相同而入口不同,基本可以判定为同一对象;如果唯一标识缺失,就只能靠规范化后的地址比对。
页数少于实际对象数量时,去重通常不是原因,因为去重只会让数字变小、不会让它凭空缺项。更常见的解释有三种:
此时正确的动作是回到采集环节核对,而不是在报告里做合并。可以先抽查缺失对象在原系统中的标识是否存在,再确认报告导出时的筛选和分页设置。如果缺失对象集中在某一类地址或某一时间段,问题多半出在采集规则而非去重逻辑。
假设某报告显示 1200 页,而业务系统里实际对象为 1000 个。先不删任何数据,导出两边的唯一标识列表做交集比对,结果可能有三种:
这个比对的关键是先有唯一标识,再谈去重。没有稳定标识时,任何按标题或地址的模糊合并都可能误删不同对象。
两种处理方式各自成立的条件并不相同:
一个实际动作是:在去重前先给每个对象打上“对象类型”和“采集口径”两个字段,按这两个字段分组后再决定合并范围。这样做的影响是,后续再出现页数波动时,可以直接定位到是哪一类口径变化导致的,而不必重新全量比对。
有几种情况不适合强行去重:对象本身处于合并或拆分过程中;报告用于对外交付且要求保留原始采集痕迹;同一对象在不同设备或地区下确实需要分开看。遇到这些情况,更稳妥的做法是保留原始报告,另建一份去重后的分析视图,而不是改动源数据。
最后提醒一点:页数归零或某项统计突然下降,不能单独证明去重做对了,也可能是采集失败、权限变更或筛选条件被改动。确认去重是否正确的依据,始终是唯一标识的比对结果,而不是页数本身的变化。