使用说明
 
    抓取诊断工具,可以让站长从百度蜘蛛的视角查看抓取内容,自助诊断百度蜘蛛看到的内容和预期是否一致。每个站点每周可使用200次,抓取结果只展现百度蜘蛛可见的前200KB内容。抓取诊断可能受到网络影响造成抓取失败,如遇到抓取失败情况,可重新检测,并自查网站是否可正常访问。
 
1:服务器连接错误处理方案:
 
(1)少动态网页请求的过多网页加载。如果网站为多个网址提供相同内容,则会被视为动态提供内容(例如,www.example.com/shoes.php?color=red&size=7与www.example.com/shoes.php?size=7&color=red提供的内容相同)。动态网页的响应时间可能会很长,并会因此导致超时问题。或者,服务器可能会返回超载状态,要求百度spider放慢抓取该网站的速度。一般来说,我可以尽量使用简短的参数并谨慎使用。
 
(2)必须确保网站的托管服务器没有停止运行、超载或配置不当等情况发生。如果连接问题、超时问题或响应问题仍然存在,那么就需要和的网站托管服务提供商联系,并考虑增强我们的网站处理流量的能力。
 
(3)检查网站是否不小心屏蔽了百度spider的IP。我们可能会由于系统级问题而阻止了百度访问,例如DNS配置问题、配置不当的防火墙或DoS防护系统、内容管理系统配置问题。防御系统是保证托管服务正常运行的关键因素之一,并且这些系统通常会配置为自动阻止超量的服务器请求。由于百度spider发出的请求通常要比普通用户多,因此可能会触发这些防御系统,导致它们阻止百度spider访问并抓取我们的网站。要解决此类问题,我们需要确定网站基础架构中的哪个部分在阻止百度spider,然后取消该阻止。如果我们没有控制防火墙的权限,就需要与我们的托管服务提供商联系解决此问题。
 
2:robots封禁了造成抓取异常或者失败怎么办?
 
    在抓取诊断工具中如果返回的抓取失败结论是robots封禁,这个时候就需要检查是否对该网址设置了robots,阻止百度spider抓取网站的某些内容,如果我们未使用robots文件屏蔽百度,那么可以点击旁边的报错链接,百度会立即更新我们站点的robots信息;如果是我们的错误操作导致了封禁,需要及时修改robots文件,避免造成我们的网站在百度收录量和流量的下降。
 
3:DNS错误问题:
 
    DNS错误是指由于服务器停止运行或DNS到您网域的路由存在问题,导致百度spider无法与DNS服务器通信。
 
    如何处理DNS错误?为了确保百度能够正常抓取我们的网站,我们需要对网站网页进行测试。首先我们可以对重要网页(例如网站的首页)采用抓取诊断工具,如果它能顺利返回网站的首页内容,那么我们就可以认为百度能够正常访问您的网站。
 
    当然,万一持续性的或反复出现的DNS错误,那么只有和空间商或者是服务器商联系解决。通常情况下,DNS提供商就是空间服务器供应商。配置我们的服务器,使其能够以404或500等HTTP错误代码对不存在的主机名作出响应。
 
4:404错误:
 
    一般来说,只有当百度spider访问到不存在的网页时,会出现404 HTTP状态代码。那么这种情况正常是我们自身问题,例如:我们网站更改了url或者删除了某个网页,而且没有做好301重定向而造成的死链接。当然,在做网站改版的时候,没有做好301 的话也会出现大量的死链接404。
 
5:访问遭拒绝:
 
    一般情况下,百度会通过跟踪网页间的链接来查找内容。百度spider必须能够访问某个网页才能抓取该网页。如果您意外地看到了“访问遭拒”错误,可能是由于以下几种原因导致的:
 
(1)百度spider无法访问我们网站上的网址,因为我们网站上的所有或部分内容要求用户登录后才能查看,这时候需要解除设置登录权限。
 
(2)我们的服务器要求用户使用代理进行身份验证,或者我们的空间提供商阻止百度spider访问我们的网站,出现这种情况也要及时和相关服务商联系解决。
 
6:参数错误:
 
    由于请求的语法格式有误,不符合服务器对请求的某些限制,或者请求本身存在一定的错误,服务器无法理解此请求,导致抓取失败。
 
7:socket读写错误:
 
    当百度spider访问服务器,进行tcp通信的时候,socket读写发生异常,导致数据不能正常返回。需要检查服务器连接状况和防火墙设置是否符合预期。
 
8:读取http头或者页面内容时失败:
 
    服务器收到了百度spider的完整请求,但是返回信息时不完整,http头或者响应正文发生了截断,导致网页内容不能正常读取。