采集到的數據重復怎么辦？

問題：

采集到的數據重復怎么辦？

回答：

1. 請確認你已經看過視頻教程，你的采集任務沒有頁面類型的設置問題，即錯把單頁類型設置為列表類型，或是你錯誤地理解了循環采集的使用方法。

2. 軟件本身也有數據去重的功能?？梢詥釉摴δ苤罂纯辞闆r是否有好轉。

關于數據去重的設置請參考教程：

如何設置數據去重

3. 請確定你是多次反復采集數據出現重復還是某一次單獨采集出現了重復數據。

在未修改采集任務時，每一次運行采集任務都是從頭開始采集，所以每一次采集的數據都是重復的，這是正常的。

如果是在單次采集時出現了重復數據，請確認是否滿足以下情況：

第一種：重復數據均為最后一頁的數據，這種有可能是翻到最后一頁未能停止翻頁，請嘗試修改采集范圍，然后看是否還會出現重復數據的情況。

第二種：重復數據為中間頁的數據，這種情況無法直接得出結論。

以上兩種情況下，都請上傳你的采集任務到幫助中心，我們的客服會幫您進行測試分析。