怎样查看百度蜘蛛是否来过自己的网站?

2020-05-01 23:15:29 204 0 编辑:亿网科技有限公司 来源:本站原创
一、这种方法也是最常用的而且非常方便,就是通过百度的站长平台等类似的工具查询,把自己的站点添加到百度站长平台,可以通过网页抓取下面的索引量,简单的说,索引量就是百度搜索引擎抓取网页的数量,也就表示百度蜘蛛来过自己的网站。

二、第二种方法是百度官方说的方法,就是使用DNS反查方式来确定抓取来源的IP是否属于百度,根据平台不同,验证方法不同,如Linux/Windows/OS三种平台下的验证方法分别如下:

1、在Windows平台或者IBM OS/2平台下,你可以使用nslookup ip命令反解IP来判断是否是来自BaiduSpider的抓取。打开命令处理器输入nslookup xxx.xxx.xxx.xxx (ip地址)就能解析IP,来判断是否来自BaiduSpider的抓取,BaiduSpider的hostname以*.baidu.com或*.baidu.jp的格式命名,非*.baidu.com或*.baidu.jp即为冒充。
怎样查看百度蜘蛛是否来过自己的网站?
2、在Linux平台下,你可以使用host ip命令反解IP来判断是否来自BaiduSpider的抓取。BaiduSpider的hostname以*.baidu.com或*.baidu.jp的格式命名,非*.baidu.com或*.baidu.jp即为冒充.

$host 123.125.66.120

120.66.125.123.in-addr.arpa domain name pointer

baiduSpider-123-125-66-120.crawl.baidu.com.

host 119.63.195.254

254.195.63.119.in-addr.arpa domain name pointer

BaiduMobaider-119-63-195-254.crawl.baidu.jp.

3、在Mac OS平台下,你可以使用dig命令反解IP来判断是否来自BaiduSpider的抓取。打开命令处理器输入dig xxx.xxx.xxx.xxx (ip地址)就能解析IP,来判断是否来自BaiduSpider的抓取,BaiduSpider的hostname以*.baidu.com或*.baidu.jp的格式命名,非*.baidu.com或*.baidu.jp即为冒充。

4、
121.14.89.*,此ip段为新站考察蜘蛛,通常有它光顾的时候,网站基本上是没有排名的。
123.125.66.*:代表百度蜘蛛IP拜访,预备抓取你工具。
123.125.68.*:这个蜘蛛每天都来,另外其它的来的少,示意网站大概要进入沙盒了,或被者降权。
123.125.71.*,此ip段为低权重蜘蛛,可作为收录判定。
123.125.71.*:抓取内页收录的,权重较低,爬过此段的内页文章不会很快放出来,因不是首创或收罗文章。
125.90.88.*:广东茂名市电信也属于百度蜘蛛IP重要形成身分,是新上线站较多,另有运用过站长东西,或SEO综合检测形成的。
203.208.60.*:此ip段为异常蜘蛛,通常由于网站服务器问题或其他违规行为会引起它来爬取。。
210.72.225.*,此ip段为日常巡逻蜘蛛,只要网站没有问题,没有违规操作就行。
220.181.68.*:每天这个IP段只增不减很有大概进沙盒或K站。  
220.181.7.*:代表百度蜘蛛IP拜访,预备抓取你工具。
220.181.108.*,此ip段为权重蜘蛛,如果此蜘蛛频繁光顾,那么网站收录会有提高。如果频繁光顾网站却不收录,那么要注意是否网站质量不高,内容是否很差。
220.181.108.95:这个是百度抓取首页的公用IP,如是220.181.108段的话,根本来说你的网站会每天隔夜快照
220.181.108.92:同上98%抓取首页,大概还会抓取其他(不是指内页)220.181段属于权重IP段此段爬过的文章或首页根本24小时放出来。
220.181.108.91:属于综合的,重要抓取首页和内页或其他,属于权重IP段,爬过的文章或首页根本24小时放出来。
220.181.108.75:重点抓取更新文章的内页到达90%,8%抓取首页,2%其他。权重IP段,爬过的文章或首页根本24小时放出来。
220.181.108.86:公用抓取首页IP权重段,普通前往代码是30400代表未更新。
220.181.108.89:公用抓取首页IP权重段,普通前往代码是30400代表未更新。
220.181.108.94:公用抓取首页IP权重段,普通前往代码是30400代表未更新。
220.181.108.97:公用抓取首页IP权重段,普通前往代码是30400代表未更新。
220.181.108.80:公用抓取首页IP权重段,普通前往代码是30400代表未更新。
220.181.108.77:公用抓首页IP权重段,普通前往代码是30400代表未更新。
220.181.108.83:公用抓取首页IP权重段,普通前往代码是30400代表未更新。

下面的百度蜘蛛IP造访,准备抓取你东西,抓取网页的百度蜘蛛。
60.172.229.61
61.129.45.72
61.135.162.*

百度竞价蜘蛛
61.135.165.134
117.34.74.66
118.122.188.194
119.63.196.9
125.39.78.185

(百度联盟爬虫)百度统计。
61.135.186.*

站长工具模仿的百度蜘蛛。
61.147.98.146
61.188.39.16
113.98.254.245
117.21.220.245
117.28.255.42

114站长工具箱(这个是你的网站不稳定时常来的)
119.147.114.213
121.10.141.*

百度图片爬虫
123.15.**.**

60.28.22.0-60.28.22.255     天津市 百度蜘蛛
61.135.162.0-61.135.169.255     北京市 百度蜘蛛
61.135.186.0-61.135.190.255     北京市 百度蜘蛛
119.188.14.13-119.188.14.35     山东省济南市 百度蜘蛛
123.125.66.0-123.125.71.255     北京市 百度蜘蛛
159.226.50.0-159.226.50.255     北京市 百度蜘蛛
162.105.207.0-162.105.207.255     北京市 百度蜘蛛
180.149.133.0-180.149.133.255     北京市 百度蜘蛛
202.108.249.0-202.108.250.255     北京市 百度蜘蛛
220.181.19.0-220.181.19.255     北京市 百度蜘蛛
220.181.32.0-220.181.38.255     北京市 百度蜘蛛
220.181.108.0-220.181.108.255     北京市 百度蜘蛛
本站文章均为<亿网科技有限公司>网站建设摘自权威资料,书籍,或网络原创文章,如有版权纠纷或者违规问题,请即刻联系我们删除,我们欢迎您分享,引用和转载,我们谢绝直接复制和抄袭!
我们猜你喜欢