二、第二种方法是百度官方说的方法,就是使用DNS反查方式来确定抓取来源的IP是否属于百度,根据平台不同,验证方法不同,如Linux/Windows/OS三种平台下的验证方法分别如下:
1、在Windows平台或者IBM OS/2平台下,你可以使用nslookup ip命令反解IP来判断是否是来自BaiduSpider的抓取。打开命令处理器输入nslookup xxx.xxx.xxx.xxx (ip地址)就能解析IP,来判断是否来自BaiduSpider的抓取,BaiduSpider的hostname以*.baidu.com或*.baidu.jp的格式命名,非*.baidu.com或*.baidu.jp即为冒充。
2、在Linux平台下,你可以使用host ip命令反解IP来判断是否来自BaiduSpider的抓取。BaiduSpider的hostname以*.baidu.com或*.baidu.jp的格式命名,非*.baidu.com或*.baidu.jp即为冒充.
$host 123.125.66.120
120.66.125.123.in-addr.arpa domain name pointer
baiduSpider-123-125-66-120.crawl.baidu.com.
host 119.63.195.254
254.195.63.119.in-addr.arpa domain name pointer
BaiduMobaider-119-63-195-254.crawl.baidu.jp.
3、在Mac OS平台下,你可以使用dig命令反解IP来判断是否来自BaiduSpider的抓取。打开命令处理器输入dig xxx.xxx.xxx.xxx (ip地址)就能解析IP,来判断是否来自BaiduSpider的抓取,BaiduSpider的hostname以*.baidu.com或*.baidu.jp的格式命名,非*.baidu.com或*.baidu.jp即为冒充。
4、
121.14.89.*,此ip段为新站考察蜘蛛,通常有它光顾的时候,网站基本上是没有排名的。
123.125.66.*:代表百度蜘蛛IP拜访,预备抓取你工具。
123.125.68.*:这个蜘蛛每天都来,另外其它的来的少,示意网站大概要进入沙盒了,或被者降权。
123.125.71.*,此ip段为低权重蜘蛛,可作为收录判定。
123.125.71.*:抓取内页收录的,权重较低,爬过此段的内页文章不会很快放出来,因不是首创或收罗文章。
125.90.88.*:广东茂名市电信也属于百度蜘蛛IP重要形成身分,是新上线站较多,另有运用过站长东西,或SEO综合检测形成的。
203.208.60.*:此ip段为异常蜘蛛,通常由于网站服务器问题或其他违规行为会引起它来爬取。。
210.72.225.*,此ip段为日常巡逻蜘蛛,只要网站没有问题,没有违规操作就行。
220.181.68.*:每天这个IP段只增不减很有大概进沙盒或K站。
220.181.7.*:代表百度蜘蛛IP拜访,预备抓取你工具。
220.181.108.*,此ip段为权重蜘蛛,如果此蜘蛛频繁光顾,那么网站收录会有提高。如果频繁光顾网站却不收录,那么要注意是否网站质量不高,内容是否很差。
220.181.108.95:这个是百度抓取首页的公用IP,如是220.181.108段的话,根本来说你的网站会每天隔夜快照
220.181.108.92:同上98%抓取首页,大概还会抓取其他(不是指内页)220.181段属于权重IP段此段爬过的文章或首页根本24小时放出来。
220.181.108.91:属于综合的,重要抓取首页和内页或其他,属于权重IP段,爬过的文章或首页根本24小时放出来。
220.181.108.75:重点抓取更新文章的内页到达90%,8%抓取首页,2%其他。权重IP段,爬过的文章或首页根本24小时放出来。
220.181.108.86:公用抓取首页IP权重段,普通前往代码是30400代表未更新。
220.181.108.89:公用抓取首页IP权重段,普通前往代码是30400代表未更新。
220.181.108.94:公用抓取首页IP权重段,普通前往代码是30400代表未更新。
220.181.108.97:公用抓取首页IP权重段,普通前往代码是30400代表未更新。
220.181.108.80:公用抓取首页IP权重段,普通前往代码是30400代表未更新。
220.181.108.77:公用抓首页IP权重段,普通前往代码是30400代表未更新。
220.181.108.83:公用抓取首页IP权重段,普通前往代码是30400代表未更新。
下面的百度蜘蛛IP造访,准备抓取你东西,抓取网页的百度蜘蛛。
60.172.229.61
61.129.45.72
61.135.162.*
百度竞价蜘蛛
61.135.165.134
117.34.74.66
118.122.188.194
119.63.196.9
125.39.78.185
(百度联盟爬虫)百度统计。
61.135.186.*
站长工具模仿的百度蜘蛛。
61.147.98.146
61.188.39.16
113.98.254.245
117.21.220.245
117.28.255.42
114站长工具箱(这个是你的网站不稳定时常来的)
119.147.114.213
121.10.141.*
百度图片爬虫
123.15.**.**
60.28.22.0-60.28.22.255 天津市 百度蜘蛛
61.135.162.0-61.135.169.255 北京市 百度蜘蛛
61.135.186.0-61.135.190.255 北京市 百度蜘蛛
119.188.14.13-119.188.14.35 山东省济南市 百度蜘蛛
123.125.66.0-123.125.71.255 北京市 百度蜘蛛
159.226.50.0-159.226.50.255 北京市 百度蜘蛛
162.105.207.0-162.105.207.255 北京市 百度蜘蛛
180.149.133.0-180.149.133.255 北京市 百度蜘蛛
202.108.249.0-202.108.250.255 北京市 百度蜘蛛
220.181.19.0-220.181.19.255 北京市 百度蜘蛛
220.181.32.0-220.181.38.255 北京市 百度蜘蛛
220.181.108.0-220.181.108.255 北京市 百度蜘蛛
猜你喜欢
点击排行
联络方式:
电话:173 1266 2225
邮箱:network@z03.net
-
笔记本电脑连不上WIFI、这些操作教你完美解决问题
使用自己的笔记本电脑连接无线WIFI进行联网办公是职场人员最常见的办公方式,奈何在实际使用中经常有一些人会出现连接不上无线WIFI的情况,小编对连接不上WIFI的情况进行了一笔记本电脑连不上WIFI、这些操作教你完美解决问题...
-
什么是垂直网站有哪些特点
相信很多人都听说过垂直领域,垂直管理,那么你了解什么是垂直网站吗?垂直网站有哪些优势?一、什么是垂直网站?垂直网站就是垂直某一项服务或者某一项领域,注意力集中在某些特定的领域或某种特定的需求,提供有关这个领域或需求的全部深度信息和相关服务。如:教育网、育儿网,这些都更加专注于为特定的人群提供相应的服务。细化下:教育网只为传授有用知识。育儿网更多为了家有孩子的用户群体。安卓手机网这样的网站就为网站相...
-
网站外链对于SEO还有多大帮助
第一,先了解一下外链具体有哪些作用?1、提升营销型网站权重、提升关键词排名;2、吸引搜索引擎蜘蛛爬行网站,抓取营销型网站的内容;3、利用外链推广做长尾关键词排名获取目网站外链对于SEO还有多大帮助...
-
苹果cmsv10模板标签限制输出内容长度的要领
例如:影片简介限制输出长度?{$obj.vod_content} 这个是影片简介标签,限制它输出长度的方法是 {$obj.vod_content|mac_substring=50} 这样就限制长度为50个字符了苹果cmsv10模板标签限制输出内容长度的方法...
-
租用香港服务器的网站如何更换IP
IP 是一个网站的身份证,也可以称为互联网地址,是用来唯一标识互联网上计算机的逻辑地址。通过IP地址,用户可以准确的找到网站。很多用户在进行香港服务器租用或者香港服务器托管过程中,经常会因为业务、客户等问题导致更换IP或者重新增加IP,那么有没有什么需要注意的?香港服务器租用更换IP的操作步骤有哪些?步骤一、首先确认香港服务器新IP是否安全你能从空间商那里得到要更换到的新IP,可以通过一些IP反查...