建议你使用dns反查方式来确定抓取来源的ip是否属于百度,根据平台不同,验证方法不同,如linux/windows/os三种平台下分别验证如下。
在linux平台下,你可以使用host ip命令反解ip来判断是否来自baiduspider的抓取。
baiduspider 的hostname以*.baidu.com ,*.baidu.jp ,非*.baidu.com ,*.baidu.jp即冒充。
$host 123.125.66.120
120.66.125.123 in-addr.arpa domain pointer
baiduspider-123-125-66-120.crawl.baidu.com
host 119.63.195.254
254.195.63.119 in-addr.arpa domain name pointer
baidu mobaider-119-63-195-254.crawl.baidu.jp
在windows 平台或者ibm os/2平台下,你可以使用nslookup ip命令反解ip来判断是否是来自baiduspider 的抓取。
在mac os平台下,你可以使用dig命令反解ip来判断是否来自baiduspider 的抓取。打开命令处理器输入 dig ip地址,就能解析ip判断是否百度抓取。