【站羣站長學院】從近幾周收到的提問看,大家對死鏈越來越關注,畢竟死鏈直接關係到網站的抓取收錄和流量轉化。於是我們整合了學院之前的內容,又專門對 Baiduspider 工程師進行了諮詢,給大家一個完整的系列答覆。  問:robots 遮蔽對阻止百度抓取死鏈是否有效  答:當然有效,百度嚴格遵守 robots 協議,若發現百度依然抓取,先確認是否為 Baiduspider,若確認,可以通過反饋中心進行投訴。  問:已被百度抓取的死鏈,可以通過 robots 遮蔽的方式讓百度刪除嗎?  答:不建議您這樣做,快有效的方法是通過百度站羣站長平台死鏈提交工具進行處理。  問:我已經通過死鏈工具進行提交了,可是通過日誌發現百度還是在抓我們的死鏈。  答:您提交規則後,spider 為了驗證連結是否真的死掉,需要抓一部分回來驗證。  問:百度對死鏈的抓取,對正常文章抓取的影響會有多大。  答:這個沒有統一的標準,如果您沒有設定 robots 也沒有向百度提交,死鏈量還特別巨大的時候,有可能會佔用您網站大量抓取配額,導致正常內容無法抓取。如果僅僅是 spider 為了驗證死鏈規則抓一部分,那麼對正常內容不會造成影響。  問:百度對死鏈的要求是什麼?怎麼設定死鏈效果知名?  答:目前百度支持協議死鏈、內容死鏈和跳轉死鏈,其中效果知名的是協議死鏈。
  參考連結:《百度標準死鏈官方文件》  問:百度站羣站長平台是否有工具幫助我們發現網站內的未知死鏈?  答:可以通過連結分析工具中的死鏈分析功能,還有抓取異常工具進行發現分析。