01
身份:SKU 与外部商品可追溯
02
时间:采集时间和生效时间分开
03
状态:无货、空值和失败不混为 0
04
异常:跳变、重复和缺失需告警
先保证可比,再谈自动分析
竞品价格、排名和评论来自不断变化的页面。只有商品身份、规格、地区、会员状态和采集时间一致,数据才具有可比性。直接把页面数字交给 AI,容易把促销、缺货或页面异常当作趋势。
每条记录保留来源 URL、采集时间、原始值、解析值和任务状态,质量规则应在分析前执行。
建立可审核的商品映射
为内部 SKU 与外部商品建立映射,记录规格、组合装、渠道和生效时间。模型可以辅助候选匹配,但低置信度结果必须人工确认。
把未匹配、多个候选、规格不一致作为独立状态,不要塞进“其他”,这样运营人员才知道需要补数据还是改规则。
把页面变化当作数据事件
页面结构变化、登录要求、限制和字段改名都会让任务部分成功。区分未采到、页面无货、字段为空和解析失败,不要统一写成 0。
BI0 的公开方向包括网站数据采集与结构化分析。具体站点、频率、字段支持和合规边界必须逐项确认,并遵守目标站点条款。
用异常规则保护下游决策
设置价格跳变、排名越界、重复记录和连续缺失规则;页面结构变化时暂停下游结论。异常记录带原始页面和解析日志,方便复核。
验收要比较身份匹配、状态分类、数值解析和异常召回,也要观察失败恢复后是否产生重复数据。
