百度蜘蛛和谷歌蜘蛛ip真假判断
seoer要会看网站日志,日志里面有很多ip有的是个人的,有的是搜索引擎蜘蛛的ip,还有一些是冒充搜索引擎来采集网站内容的,如果判断一个ip是不是真正的搜索引擎蜘蛛ip呢?
我从网站搜集了一些蜘蛛爬虫的程序:
百度蜘蛛: baiduspider
Baiduspider-mobile (抓取wap)
Baiduspider-image (抓取图片...