百度站长平台:如何识别Baiduspider 保证网站被正常抓取
  0 条讨论   发布日期: Apr 29, 2014   文章位于: SEO工具  
  

A5广州SEO的站长网(.admin5)4月24日消息,有不少网站出现过误封Baiduspider的行为,对网站的收录造成影响。甚至有网站反映百度蜘蛛行为异常光顾过于频繁。近期百度广州SEO的站长广州SEO的平台表示Baiduspider对该站点的抓取并无异常,并发布教程帮助广州SEO的站长识别Baiduspider,并加入白名单。
  上周百度广州SEO的站长广州SEO的平台接到某广州SEO的站长求助,表示误封禁了Baiduspider的IP,询问是否有办法获得Baiduspider的所有IP,打算放入白名单加以保护,防止再次误封。在此要告诉各位广州SEO的站长,Baiduspider的IP池是不断变动的,我们无法提供IP全集。
  除此之外,之前还有广州SEO的站长发来质疑说Baiduspider光顾过于频繁,已超越服务器承受能力。而百度广州SEO的站长广州SEO的平台追查发现,Baiduspider对该站点的抓取并无异常,那只spider极有可能是个李鬼。
  那么,广州SEO的站长该如何通过IP来判断此spider是不是来自百度搜索引擎的呢?
  可以通过DNS反查方式来解决这个问题。根据广州SEO的平台不同验证方法不同,如linux/windows/os三种广州SEO的平台下的验证方法分别如下:
  1,在linux广州SEO的平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu 或 *.baidu.jp 的格式命名,非 *.baidu 或*.baidu.jp 即为冒充。

  2,在windows广州SEO的平台或者IBM OS/2广州SEO的平台下,您可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以 *.baidu 或*.baidu.jp 的格式命名,非 *.baidu 或 *.baidu.jp 即为冒充。
  3,在mac os广州SEO的平台下,您可以使用dig 命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以 *.baidu 或 *.baidu.jp 的格式命名,非 *.baidu 或*.baidu.jp 即为冒充。

Comments are closed.

欢迎订阅本站

网站已运行: 10年2月21日7时55分12秒