網站抓取頻次過大怎么辦?

  • A+

    抓取頻次是百度搜索引擎下的一個百度蜘蛛程序,是用來按天抓取網站的優質頁面和內容,圖片等,使用戶能在搜索引擎里快速找到你網站的內容,那么百度蜘蛛究竟是怎樣抓取的呢,是什么樣的頻率抓取呢,接下來咱們就來了解。


    什么是抓取頻次


    抓取頻次是搜索引擎在單位時間內(天級)對網站服務器抓取的總次數,假如搜索引擎對站點的抓取頻次過高,很有或許形成服務器不穩定,Baiduspider會依據網站內容更新頻率和服務器壓力等要素主動調整抓取頻次。


    什么情況下能夠進行抓取頻次上限調整


    首要,Baiduspider會依據網站服務器壓力主動進行抓取頻次調整。其次,假如Baiduspider的抓取影響了網站穩定性,站長能夠通過此東西調理Baiduspider每天抓取您網站的頻次上限。

微信截圖_20190318160107.

    著重1:調整抓取頻次上限不等于調高抓取頻次。著重2:主張您穩重調理抓取頻次上限值,假如抓取頻次過小則會影響Baiduspider對網站的收錄。


    當時抓取頻次過大怎樣辦?


    您能夠按照如下辦法順次進行排查及解決頻次過大問題:


    1、假如您覺得Baiduspider抓取了您以為的無價值鏈接,請更新網站robots.txt進行屏蔽抓取,然后到robots東西頁面操作收效。


    2、假如Baiduspider的抓取影響了您網站的正常訪問,請到抓取頻次上限調整頁面進行抓取頻次上限下調。


    3、若以上辦法均不能解決問題,請到百度站長渠道反應中心反應。


    當時抓取頻次過小怎樣辦?


    您能夠按照如下辦法順次進行排查及解決頻次過小問題:


    1、若您已設置了抓取頻次上限,主張您先取消抓取頻次上限設置或到抓取頻次上限調整頁面上調抓取頻次上限。


    2、若您未設置抓取頻次上限,主張先使用抓取反常東西檢查是否為抓取反常導致。


    3、若您仍覺得抓取量較小,或許是您有新鏈接未提交,請到鏈接提交頁面進行數據提交。


    4、若以上辦法均不能解決問題,請到百度站長渠道反應中心反應。


    


發表評論

目前評論:0