二、第二种方法是百度官方说的方法,就是使用DNS反查方式来确定抓取来源的IP是否属于百度,根据平台不同,验证方法不同,如Linux/Windows/OS三种平台下的验证方法分别如下:
1、在Windows平台或者IBM OS/2平台下,你可以使用nslookup ip命令反解IP来判断是否是来自BaiduSpider的抓取。打开命令处理器输入nslookup xxx.xxx.xxx.xxx (ip地址)就能解析IP,来判断是否来自BaiduSpider的抓取,BaiduSpider的hostname以*.baidu.com或*.baidu.jp的格式命名,非*.baidu.com或*.baidu.jp即为冒充。

2、在Linux平台下,你可以使用host ip命令反解IP来判断是否来自BaiduSpider的抓取。BaiduSpider的hostname以*.baidu.com或*.baidu.jp的格式命名,非*.baidu.com或*.baidu.jp即为冒充.
$host 123.125.66.120
120.66.125.123.in-addr.arpa domain name pointer
baiduSpider-123-125-66-120.crawl.baidu.com.
host 119.63.195.254
254.195.63.119.in-addr.arpa domain name pointer
BaiduMobaider-119-63-195-254.crawl.baidu.jp.
3、在Mac OS平台下,你可以使用dig命令反解IP来判断是否来自BaiduSpider的抓取。打开命令处理器输入dig xxx.xxx.xxx.xxx (ip地址)就能解析IP,来判断是否来自BaiduSpider的抓取,BaiduSpider的hostname以*.baidu.com或*.baidu.jp的格式命名,非*.baidu.com或*.baidu.jp即为冒充。
4、
121.14.89.*,此ip段为新站考察蜘蛛,通常有它光顾的时候,网站基本上是没有排名的。
123.125.66.*:代表百度蜘蛛IP拜访,预备抓取你工具。
123.125.68.*:这个蜘蛛每天都来,另外其它的来的少,示意网站大概要进入沙盒了,或被者降权。
123.125.71.*,此ip段为低权重蜘蛛,可作为收录判定。
123.125.71.*:抓取内页收录的,权重较低,爬过此段的内页文章不会很快放出来,因不是首创或收罗文章。
125.90.88.*:广东茂名市电信也属于百度蜘蛛IP重要形成身分,是新上线站较多,另有运用过站长东西,或SEO综合检测形成的。
203.208.60.*:此ip段为异常蜘蛛,通常由于网站服务器问题或其他违规行为会引起它来爬取。。
210.72.225.*,此ip段为日常巡逻蜘蛛,只要网站没有问题,没有违规操作就行。
220.181.68.*:每天这个IP段只增不减很有大概进沙盒或K站。
220.181.7.*:代表百度蜘蛛IP拜访,预备抓取你工具。
220.181.108.*,此ip段为权重蜘蛛,如果此蜘蛛频繁光顾,那么网站收录会有提高。如果频繁光顾网站却不收录,那么要注意是否网站质量不高,内容是否很差。
220.181.108.95:这个是百度抓取首页的公用IP,如是220.181.108段的话,根本来说你的网站会每天隔夜快照
220.181.108.92:同上98%抓取首页,大概还会抓取其他(不是指内页)220.181段属于权重IP段此段爬过的文章或首页根本24小时放出来。
220.181.108.91:属于综合的,重要抓取首页和内页或其他,属于权重IP段,爬过的文章或首页根本24小时放出来。
220.181.108.75:重点抓取更新文章的内页到达90%,8%抓取首页,2%其他。权重IP段,爬过的文章或首页根本24小时放出来。
220.181.108.86:公用抓取首页IP权重段,普通前往代码是30400代表未更新。
220.181.108.89:公用抓取首页IP权重段,普通前往代码是30400代表未更新。
220.181.108.94:公用抓取首页IP权重段,普通前往代码是30400代表未更新。
220.181.108.97:公用抓取首页IP权重段,普通前往代码是30400代表未更新。
220.181.108.80:公用抓取首页IP权重段,普通前往代码是30400代表未更新。
220.181.108.77:公用抓首页IP权重段,普通前往代码是30400代表未更新。
220.181.108.83:公用抓取首页IP权重段,普通前往代码是30400代表未更新。
下面的百度蜘蛛IP造访,准备抓取你东西,抓取网页的百度蜘蛛。
60.172.229.61
61.129.45.72
61.135.162.*
百度竞价蜘蛛
61.135.165.134
117.34.74.66
118.122.188.194
119.63.196.9
125.39.78.185
(百度联盟爬虫)百度统计。
61.135.186.*
站长工具模仿的百度蜘蛛。
61.147.98.146
61.188.39.16
113.98.254.245
117.21.220.245
117.28.255.42
114站长工具箱(这个是你的网站不稳定时常来的)
119.147.114.213
121.10.141.*
百度图片爬虫
123.15.**.**
60.28.22.0-60.28.22.255 天津市 百度蜘蛛
61.135.162.0-61.135.169.255 北京市 百度蜘蛛
61.135.186.0-61.135.190.255 北京市 百度蜘蛛
119.188.14.13-119.188.14.35 山东省济南市 百度蜘蛛
123.125.66.0-123.125.71.255 北京市 百度蜘蛛
159.226.50.0-159.226.50.255 北京市 百度蜘蛛
162.105.207.0-162.105.207.255 北京市 百度蜘蛛
180.149.133.0-180.149.133.255 北京市 百度蜘蛛
202.108.249.0-202.108.250.255 北京市 百度蜘蛛
220.181.19.0-220.181.19.255 北京市 百度蜘蛛
220.181.32.0-220.181.38.255 北京市 百度蜘蛛
220.181.108.0-220.181.108.255 北京市 百度蜘蛛
猜你喜欢
点击排行



-
夸女人的经典语句 夸人女人的句子
1、你是那样地美,美得象一首抒情诗。你全身充溢着少女的纯情和青春的风采。留给我印象最深的是你那双湖水般清澈的眸子,以及长长的、一闪一闪的睫毛。像是探询,像是关切,像是问候。2、春花秋月,是诗人们歌颂的情景,可是我对于它,却感到十分平凡。只有你嵌着梨涡的笑容,才是我眼中最美的偶象。3、桔红色的西服自然敞开,展现出红白相间的绒衣,湖蓝色的紧身长裤,衬托出修长的腿,既蒲洒又富有美感。你的装扮是成功的!...
-
谁既不是质数也不是合数 什么是质数什么是合数
1、0与1既不是质数也不是合数。2、质数的定义是除了1之外的自然数,如果不能够被其他的自然数(不包括本身)所整除,我们就认为这个自然数是质数,否则就是合数,又因为0不能当除数,所以不是质数也不是合数的只有0和1。...
-
夏天肉怎样储存 夏天怎样储存肉
1、贮存:可将鲜猪肉洗净,用保鲜薄膜袋包好,贮入冰箱冷藏柜。一时吃不了的鲜猪肉,可切成大块,放在盛器内。然后将酱油烧开,待凉后浇在肉上,数量以淹没猪肉为宜,然后加盖。用这种方法保存鲜猪肉,一般可存放两三个月,而且味道好。2、夏天气温高,鲜肉最易变质。可将米醋浸没一块干净的白纱布,然后用白纱布将鲜肉包起。这种方法可使鲜肉保鲜12小时。...
-
用黄瓜片敷脸有什么效果 用黄瓜片敷脸的效果有哪些
1、补水:将黄瓜切成薄片状,记住最好切的时候均匀,然后敷在脸上,因为大家都知道黄瓜有很非常充足的水分,这样我们就能给肌肤喝上充足的水分了。2、美白:除了,富含很多的水分,黄瓜还能美白呢,相信很多小伙伴们都不知道吧,另外黄瓜中有很多的维生素C可是美白的好东西,在不知不觉中就让你的肌肤变的很白。3、控油:对于油性皮肤的朋友来说这是最合适不过的东西了。其实脸部出油的根本原因就是因为肌肤缺水导致的,所以黄...
-
固态硬盘分区好还是不分区好
固态硬盘简称SSD,又称固态驱动器,是用固态电子存储芯片阵列制成的硬盘。那么固态硬盘分区好还是不分区好?固态硬盘分区好还是不分区好 1、128以下不必分区。但如果是只有一个SSD,那建议分出一个小点的区,比如20G左右,做ghost还原用。256以上应该分区。128G及以下的没必要。下面简述理由。2、固态盘的特殊机制,要求硬盘不能用满,必须空一些空间用来trim及加速。根据大量测试,空闲空间在25...