为什么谷歌蜘蛛那么多,有效屏蔽谷歌蜘蛛的方法吗
最近发现自己的一个网站,资源使用的非常大,经过排查发现谷歌蜘蛛每天的爬取频率达到了一百多万次,对服务器造成了比较大的资源浪费。
因为谷歌在国内的访问障碍,消耗这么大服务器资源的同时,谷歌带来的访问量是不成比例的,每天平均差不多只有20个访客。
那么,如何限制谷歌蜘蛛的爬取频率对服务器的影响呢?
1、如果可以彻底不需要国外ip的访问,可以直接一次性屏蔽掉所有国外ip对服务器的访问;
2、记录谷歌蜘蛛的IP段(我发现爬取超级频繁的就那两三个ip段,在服务器禁止就完全可以解决问题)
3、如果需要让国外用户访问,可以用robots文件禁止谷歌蜘蛛爬取;
4、如果还需要保持一定的谷歌优化,可以在谷歌站长工具中进行限制(google search console),
访问,https://www.google.com/webmasters/tools/home?hl=zh-CN
先验证站点权限,然后访问老版本地址,把下面网址中的网站地址换成你的网址,
https://www.google.com/webmasters/tools/settings?siteUrl=https://www.dalianseo.com/
然后选择滑道到最低即可,一般次日生效。
最后,我推荐用第2或第4种方法。
1、本文内容由网友自发贡献,版权归原作者所有。
2、本站仅提供文章发布平台,文章的内容与本站无关,请真伪自辩,本站不承担相应法律责任。
3、如果发现本站有涉嫌抄袭侵权的内容,欢迎举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。
4、转载请注明本文地址:http://www.19zh.com/artinfo/538.html
推荐资讯
推荐站点
- 自学ps教程网
分享原创ps图文教程:从新手零基础入门ps教程,到ps设计实战经验,以及很多网友要学的ps抠图教程,都会通过图文的方式,展示给大家,用简洁的语言,到位的图示,让您轻松查阅,快速get到要点,新知识、新图例,尽在taoxuemei.com!
www.taoxuemei.com - 189d下载网
189d下载网是一个资源下载中心,为用户提供最新的手机游戏下载、最好用的安卓app下载,以及各种最新的电脑软件和单机游戏的免费下载,还有各种热门游戏的攻略和软件使用教程。
www.189d.com - 全球工厂网
全球工厂网是专注企业信息化的综合电子商务服务平台,汇集各行业供求信息,为客户提供高标准的一站式服务
https://www.gc1288.com/ - 38健康网-专业女性健康知识网站
38健康网(www.ni38.com)专业的女性健康网站,提供女性健康小常识、心理健康、生理健康、亚健康、女性保健、女性孕育、健康食谱、妇科疾病等的综合女性健康网站.
www.ni38.com - 1080影视大全
【1080影视大全】为您提供好看的电影、全新电视剧、全新动漫、全新综艺节目排行榜,免费在线观看lunli电影、动作片、 喜剧片、爱情片、搞笑片等全新电影,更多电影高清在线观看尽在1080影视大全(www.ki65.com)。
www.ki65.com - 简书
简书是一个优质的创作社区,在这里,你可以任性地创作,一篇短文、一张照片、一首诗、一幅画……我们相信,每个人都是生活中的艺术家,有着无穷的创造力。
www.jianshu.com