<noframes id="lrbdz"><address id="lrbdz"><listing id="lrbdz"></listing></address>
<address id="lrbdz"><listing id="lrbdz"></listing></address>

    <em id="lrbdz"><form id="lrbdz"><nobr id="lrbdz"></nobr></form></em>

      <em id="lrbdz"><form id="lrbdz"></form></em>

      <address id="lrbdz"></address>
      <noframes id="lrbdz"><listing id="lrbdz"><listing id="lrbdz"></listing></listing>
      5
      新手入門 功能點介紹

      【智能模式】【流程圖模式】如何設置數據去重

      2019-12-24 16:08:34
      瀏覽 10677 次

      摘要:本教程為大家介紹了如何設置數據去重 免費下載軟件

      數據去重功能是指在任務采集過程中,將當前采集到的數據和該任務中已保存的所有數據進行對比,如果數據重復,則按照設置條件進行處理。

      在編輯任務界面,點擊右下角“開始采集”按鈕,在彈出的設置框中,點擊“數據去重”選項可以切換到數據去重設置界面。

      1、去重條件

      1)所有字段都重復

      勾選“所有字段都重復”這個去重條件,意味著兩行數據必須完全相同,軟件才會執行去重。只要兩行數據中有任意一個字段不相同,該數據都不會被判定為重復數據。

      需要注意的是,很多網頁內容中存在時間或閱讀數這一類會變化的內容,包含此類內容時,數據往往看上去大致相同,但是都會判定為非重復的數據。

      2)某些字段重復

      勾選此去重條件,軟件可以針對某一個或者某幾個字段進行去重。

      按照字段去重可以設置多個字段,點擊“+”或者“—”符號進行設置,多個字段之間的關系是并且關系,即如果設置了兩個字段去重,則需要滿足字段1和2與已保存的某一條數據中的兩個字段都相同,則判定該數據為一條重復數據。

      2、執行動作

      滿足去重條件時,我們可以設置在這個去重條件下是跳過繼續采集,還是停止任務。

      分享到:
      網頁內容關鍵字提取 批量生成網址 python爬蟲 批量下載圖片 python數據采集 正則匹配郵箱 批量下載視頻 數據自動整理成excel php爬蟲 網頁下載成word
      關閉
      让少妇最快高潮的方法
      <noframes id="lrbdz"><address id="lrbdz"><listing id="lrbdz"></listing></address>
      <address id="lrbdz"><listing id="lrbdz"></listing></address>

        <em id="lrbdz"><form id="lrbdz"><nobr id="lrbdz"></nobr></form></em>

          <em id="lrbdz"><form id="lrbdz"></form></em>

          <address id="lrbdz"></address>
          <noframes id="lrbdz"><listing id="lrbdz"><listing id="lrbdz"></listing></listing>