Baiduspider 根據上述網站設定的協議對站點頁面進行抓取,但是不可能做到對所有站點一視同仁,會綜合考慮站點實際情況確定一個抓取配額,每天定量抓取站點內容,即我們常說的抓取頻次。那麼百度搜尋引擎是根據什麼指標來確定對一個網站的抓取頻次的呢,主要指標有四個:
1 、網站更新頻率:更新快多來,更新慢少來,直接影響 Baiduspider 的來訪頻率 2 、網站更新質量:更新頻率提高了,僅僅是吸引了 Baiduspier 的注意,Baiduspider 對質量是有嚴格要求的,如果網站每天更新出的大量內容都被 Baiduspider 判定為低質頁面,依然沒有意義。 3 、連通度:網站應該安全穩定、對 Baiduspider 保持暢通,經常給 Baiduspider 吃閉門羹可不是好事情 4 、站點評價:百度搜尋引擎對每個站點都會有一個評價,且這個評價會根據站點情況不斷變化,是百度搜尋引擎對站點的一個基礎打分(絕非外界所說的百度權重),是百度內部一個非常機密的資料。站點評級從不獨立使用,會配合其它因子和閾值一起共同影響對網站的抓取和排序。 抓取頻次間接決定著網站有多少頁面有可能被建庫收錄,如此重要的數值如果不符合站群站長預期該如何調整呢?百度站群站長平臺提供了抓取頻次工具(http://zhanzhang.baidu.com/pressure/index),並已完成多次升級。該工具除了提供抓取統計資料外,還提供 “頻次調整” 功能,站群站長根據實際情況向百度站群站長平臺提出希望 Baiduspider 增加來訪或減少來訪的請求,工具會根據站群站長的意願和實際情況進行調整。