造成 Baiduspider 抓取异常的原因

造成 Baiduspider 抓取异常的原因　　有一些网页，内容优质，多用户也可以正常访问，但是 Baiduspider 却无法正常访问并抓取，造成搜索结果覆盖率缺失，对百度搜索引擎对站点都是一种损失，百度把这种情况叫 “抓取异常” 。对于大量内容无法正常抓取的网站，百度搜索引擎会认为网站存在多用户体验上的缺陷，并降低对网站的评价，在抓取、索引、排序上都会受到一定程度的负面影响，终影响到网站从百度获取的流量。　　下面向站群站长介绍一些常见的抓取异常原因：　　1，服务器连线异常　　服务器连线异常会有两种情况：一种是站点不稳定，Baiduspider 尝试连线您网站的服务器时出现暂时无法连线的情况；一种是 Baiduspider 一直无法连线上您网站的服务器。　　造成服务器连线异常的原因通常是您的网站服务器过大，超负荷运转。也有可能是您的网站执行不正常，请检查网站的 web 服务器（如 apache 、 iis）是否安装且正常执行，并使用浏览器检查主要页面能否正常访问。您的网站和主机还可能阻止了 Baiduspider 的访问，您需要检查网站和主机的防火墙。　　2，网络运营商异常：网络运营商分电信和联通两种，Baiduspider 通过电信或网通无法访问您的网站。如果出现这种情况，您需要与网络服务运营商进行联络，或者购买拥有双线服务的空间或者购买 cdn 服务。　　3，DNS 异常：当 Baiduspider 无法解析您网站的 IP 时，会出现 DNS 异常。可能是您的网站 IP 地址错误，或者域名服务商把 Baiduspider 封禁。请使用 WHOIS 或者 host 查询自己网站 IP 地址是否正确且可解析，如果不正确或无法解析，请与域名注册商联络，更新您的 IP 地址。　　4，IP 封禁：IP 封禁为：限制网络的出口 IP 地址，禁止该 IP 段的多用户进行内容访问，在这里特指封禁了 BaiduspiderIP 。当您的网站不希望 Baiduspider 访问时，才需要该设定，如果您希望 Baiduspider 访问您的网站，请检查相关设定中是否误新增了 BaiduspiderIP 。也有可能是您网站所在的空间服务商把百度 IP 进行了封禁，这时您需要联络服务商更改设定。　　5，UA 封禁：UA 即为多用户代理（User-Agent），服务器通过 UA 识别访问者的身份。当网站针对指定 UA 的访问，返回异常页面（如 403，500）或跳转到其他页面的情况，即为 UA 封禁。当您的网站不希望 Baiduspider 访问时，才需要该设定，如果您希望 Baiduspider 访问您的网站，useragent 相关的设定中是否有 BaiduspiderUA，并及时修改。　　6，死链：页面已经无效，无法对多用户提供任何有价值资讯的页面就是死连结，包括协议死链和内容死链两种形式：　　协议死链：页面的 TCP 协议状态/HTTP 协议状态明确表示的死链，常见的如 404 、 403 、 503 状态等。　　内容死链：服务器返回状态是正常的，但内容已经变更为不存在、已删除或需要许可权等与原内容无关的资讯页面。　　对于死链，我们建议站点使用协议死链，并通过百度站群站长平台– 死链工具向百度提交，以便百度更快地发现死链，减少死链对多用户以及搜索引擎造成的负面影响。　　7，异常跳转：将网络请求重新指向其他位置即为跳转。异常跳转指的是以下几种情况：　　1）当前该页面为无效页面（内容已删除、死链等），直接跳转到前一目录或者页，百度建议站群站长将该无效页面的入口超连结删除掉　　2）跳转到出错或者无效页面　　注意：对于长时间跳转到其他域名的情况，如网站更换域名，百度建议使用 301 跳转协议进行设定。　　8，其他异常：　　1）针对百度 refer 的异常：网页针对来自百度的 refer 返回不同于正常内容的行为。　　2）针对百度 ua 的异常：网页对百度 UA 返回不同于页面原内容的行为。　　3）JS 跳转异常：网页载入了百度无法识别的 JS 跳转代码，使得多用户通过搜索结果进入页面后发生了跳转的情况。　　4）压力过大引起的偶然封禁：百度会根据站点的规模、访问量等资讯，自动设定一个合理的抓取压力。但是在异常情况下，如压力控制失常时，服务器会根据自身负荷进行保护性的偶然封禁。这种情况下，请在返回码中返回 503(其含义是 “ServiceUnavailable”)，这样 Baiduspider 会过段时间再来尝试抓取这个连结，如果网站已空闲，则会被成功抓取。