教你识破google，百度蜘蛛--伪装术

时代在发展，技术在更新。现在一些采集系统，为了伪装自己，竟然伪装成google(百度)蜘蛛，来肆无忌惮的采集原创作品。笔者近日就发现了一次，现在 介绍怎样用工具识破伪装术。------------文章原创-----链接:http://www.juexiang.com (乐吧淘)
      首先，要会对日志进行分析。可以借助一些工具----日志分析工具。这里不再赘述。有图有真相。
仔细看上图可以发现次ip有些异样。然后可针对此ip 进行分析。这里要介绍一下。
目前中文互联网上有少量spider冒充Baiduspider抓取网页，周六madcon会上，发现很多同学不知道如何判断Baiduspider的真假，再次说明一下：

中文互联网上，Baiduspider ip的hostname以 *.baidu.com的格式命名，非 *.baidu.com即为冒充，建议您使用DNS反查方式来确定抓取来源的ip是否属于百度。

例如，在linux平台下，您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。
$ host 125.90.88.96
96.88.90.125.in-addr.arpa domain name pointer
baiduspider-125-90-88-96.crawl.baidu.com.

在windows平台下，可以用nslookup命令反解ip来判断是否来自Baiduspider的抓取。

点击“开始”-“运行”-“cmd”-“输入nslookup IP地址”-“回车”
C:Documents and Settingswangtao>nslookup 125.90.88.96

Name:     baiduspider-125-90-88-96.crawl.baidu.com
Address:   125.90.88.96

这里笔者系统平台为window。因此 点击“开始”-“运行”-“cmd”-“输入nslookup IP地址”-“回车”
结果显示 ：
大家一看就知道，这个肯定是伪蜘蛛。---------------------文章原创链接:http://www.juexiang.com (乐吧淘 )