造成 Baiduspider 抓取異常的原因

造成 Baiduspider 抓取異常的原因　　有一些網頁，內容優質，多用户也可以正常訪問，但是 Baiduspider 卻無法正常訪問並抓取，造成搜索結果覆蓋率缺失，對百度搜索引擎對站點都是一種損失，百度把這種情況叫 “抓取異常” 。對於大量內容無法正常抓取的網站，百度搜索引擎會認為網站存在多用户體驗上的缺陷，並降低對網站的評價，在抓取、索引、排序上都會受到一定程度的負面影響，終影響到網站從百度獲取的流量。　　下面向站羣站長介紹一些常見的抓取異常原因：　　1，服務器連線異常　　服務器連線異常會有兩種情況：一種是站點不穩定，Baiduspider 嘗試連線您網站的服務器時出現暫時無法連線的情況；一種是 Baiduspider 一直無法連線上您網站的服務器。　　造成服務器連線異常的原因通常是您的網站服務器過大，超負荷運轉。也有可能是您的網站執行不正常，請檢查網站的 web 服務器（如 apache 、 iis）是否安裝且正常執行，並使用瀏覽器檢查主要頁面能否正常訪問。您的網站和主機還可能阻止了 Baiduspider 的訪問，您需要檢查網站和主機的防火牆。　　2，網絡運營商異常：網絡運營商分電信和聯通兩種，Baiduspider 通過電信或網通無法訪問您的網站。如果出現這種情況，您需要與網絡服務運營商進行聯絡，或者購買擁有雙線服務的空間或者購買 cdn 服務。　　3，DNS 異常：當 Baiduspider 無法解析您網站的 IP 時，會出現 DNS 異常。可能是您的網站 IP 地址錯誤，或者域名服務商把 Baiduspider 封禁。請使用 WHOIS 或者 host 查詢自己網站 IP 地址是否正確且可解析，如果不正確或無法解析，請與域名註冊商聯絡，更新您的 IP 地址。　　4，IP 封禁：IP 封禁為：限制網絡的出口 IP 地址，禁止該 IP 段的多用户進行內容訪問，在這裏特指封禁了 BaiduspiderIP 。當您的網站不希望 Baiduspider 訪問時，才需要該設定，如果您希望 Baiduspider 訪問您的網站，請檢查相關設定中是否誤新增了 BaiduspiderIP 。也有可能是您網站所在的空間服務商把百度 IP 進行了封禁，這時您需要聯絡服務商更改設定。　　5，UA 封禁：UA 即為多用户代理（User-Agent），服務器通過 UA 識別訪問者的身份。當網站針對指定 UA 的訪問，返回異常頁面（如 403，500）或跳轉到其他頁面的情況，即為 UA 封禁。當您的網站不希望 Baiduspider 訪問時，才需要該設定，如果您希望 Baiduspider 訪問您的網站，useragent 相關的設定中是否有 BaiduspiderUA，並及時修改。　　6，死鏈：頁面已經無效，無法對多用户提供任何有價值資訊的頁面就是死連結，包括協議死鏈和內容死鏈兩種形式：　　協議死鏈：頁面的 TCP 協議狀態/HTTP 協議狀態明確表示的死鏈，常見的如 404 、 403 、 503 狀態等。　　內容死鏈：服務器返回狀態是正常的，但內容已經變更為不存在、已刪除或需要許可權等與原內容無關的資訊頁面。　　對於死鏈，我們建議站點使用協議死鏈，並通過百度站羣站長平台– 死鏈工具向百度提交，以便百度更快地發現死鏈，減少死鏈對多用户以及搜索引擎造成的負面影響。　　7，異常跳轉：將網絡請求重新指向其他位置即為跳轉。異常跳轉指的是以下幾種情況：　　1）當前該頁面為無效頁面（內容已刪除、死鏈等），直接跳轉到前一目錄或者頁，百度建議站羣站長將該無效頁面的入口超連結刪除掉　　2）跳轉到出錯或者無效頁面　　注意：對於長時間跳轉到其他域名的情況，如網站更換域名，百度建議使用 301 跳轉協議進行設定。　　8，其他異常：　　1）針對百度 refer 的異常：網頁針對來自百度的 refer 返回不同於正常內容的行為。　　2）針對百度 ua 的異常：網頁對百度 UA 返回不同於頁面原內容的行為。　　3）JS 跳轉異常：網頁載入了百度無法識別的 JS 跳轉代碼，使得多用户通過搜索結果進入頁面後發生了跳轉的情況。　　4）壓力過大引起的偶然封禁：百度會根據站點的規模、訪問量等資訊，自動設定一個合理的抓取壓力。但是在異常情況下，如壓力控制失常時，服務器會根據自身負荷進行保護性的偶然封禁。這種情況下，請在返回碼中返回 503(其含義是 “ServiceUnavailable”)，這樣 Baiduspider 會過段時間再來嘗試抓取這個連結，如果網站已空閒，則會被成功抓取。