采集多个资源网重复采集重名视频解决方法

显示全部楼层 · 2024-8-21 21:07:14

本帖最后由 wujin 于 2024-8-21 21:09 编辑

当我们苹果CMS爬取很多数据时，会发现有名字相同的视频，那我们如何处理，才会避免掉重名视频呢？
首先我们进入我们苹果CMS管理后台：进入【系统】-【采集参数配置】
入库重复规则：勾选"标题"和"分类"(意思同一个视频名称，同一分类的视频，采集时只保留一条数据)
二次更新规则：勾选“播放地址”“下载地址”和“备注”（意思是同一个视频名称，只更新播放地址和下载地址，“备注”是对连续剧的集数更新。其他未勾选的就不更新）

【温馨提示】资源网数据不规范会导致此类事情的发生，请尽量避免采集资料不规范的资源网，避免此类问题