怎么确定一个ip是否为百度蜘蛛?-pg电子网站

2014-08-19 来源:www.0579es.com 作者:宇讯科技 阅读 1896


建议你使用dns反查方式来确定抓取来源的ip是否属于百度,根据平台不同,验证方法不同,如linux/windows/os三种平台下分别验证如下。
在linux平台下,你可以使用host ip命令反解ip来判断是否来自baiduspider的抓取。
baiduspider 的hostname以*.baidu.com ,*.baidu.jp ,非*.baidu.com ,*.baidu.jp即冒充。
$host 123.125.66.120
120.66.125.123 in-addr.arpa domain pointer
baiduspider-123-125-66-120.crawl.baidu.com
host 119.63.195.254
254.195.63.119 in-addr.arpa domain name pointer
baidu mobaider-119-63-195-254.crawl.baidu.jp
在windows 平台或者ibm os/2平台下,你可以使用nslookup ip命令反解ip来判断是否是来自baiduspider 的抓取。
在mac os平台下,你可以使用dig命令反解ip来判断是否来自baiduspider 的抓取。打开命令处理器输入 dig ip地址,就能解析ip判断是否百度抓取。


相关文章推荐

网站地图