版权声明：
1、本文内容由网友自发贡献，版权归原作者所有。
2、本站仅提供文章发布平台，文章的内容与本站无关，请真伪自辩，本站不承担相应法律责任。
3、如果发现本站有涉嫌抄袭侵权的内容，欢迎举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。
4、转载请注明本文地址：http://www.19zh.com/artinfo/538.html
为什么谷歌蜘蛛那么多，有效屏蔽谷歌蜘蛛的方法吗
来源:19站目录库 浏览：666次 时间：2021-12-19
最近发现自己的一个网站，资源使用的非常大，经过排查发现谷歌蜘蛛每天的爬取频率达到了一百多万次，对服务器造成了比较大的资源浪费。
因为谷歌在国内的访问障碍，消耗这么大服务器资源的同时，谷歌带来的访问量是不成比例的，每天平均差不多只有20个访客。
那么，如何限制谷歌蜘蛛的爬取频率对服务器的影响呢？
1、如果可以彻底不需要国外ip的访问，可以直接一次性屏蔽掉所有国外ip对服务器的访问；
2、记录谷歌蜘蛛的IP段（我发现爬取超级频繁的就那两三个ip段，在服务器禁止就完全可以解决问题）
3、如果需要让国外用户访问，可以用robots文件禁止谷歌蜘蛛爬取；
4、如果还需要保持一定的谷歌优化，可以在谷歌站长工具中进行限制（google search console），
访问，https://www.google.com/webmasters/tools/home?hl=zh-CN
先验证站点权限，然后访问老版本地址，把下面网址中的网站地址换成你的网址，
https://www.google.com/webmasters/tools/settings?siteUrl=https://www.dalianseo.com/
然后选择滑道到最低即可，一般次日生效。
最后，我推荐用第2或第4种方法。
推荐资讯
推荐站点
38健康网-专业女性健康知识网站
38健康网(www.ni38.com)专业的女性健康网站，提供女性健康小常识、心理健康、生理健康、亚健康、女性保健、女性孕育、健康食谱、妇科疾病等的综合女性健康网站.
www.ni38.com1080影视大全
【1080影视大全】为您提供好看的电影、全新电视剧、全新动漫、全新综艺节目排行榜，免费在线观看lunli电影、动作片、 喜剧片、爱情片、搞笑片等全新电影，更多电影高清在线观看尽在1080影视大全(www.ki65.com)。
www.ki65.com简书
简书是一个优质的创作社区，在这里，你可以任性地创作，一篇短文、一张照片、一首诗、一幅画……我们相信，每个人都是生活中的艺术家，有着无穷的创造力。
www.jianshu.com有缘网婚恋交友
有缘网是国内领先的大众婚恋交友移动互联网平台，专注于为最广泛的年轻单身男女婚恋交友创造更多机会和可能。找对象，上有缘网！
www.youyuan.com生活_YNET.com北青网
北青网生活频道：北青网下属子频道，包含潮流服饰，美容美体，健康亲子等内容
life.ynet.com唯品电影网
唯品电影网(www.vip800.cn)为您提供最新好看的电影、最新电视剧、影视动漫、热播综艺节目等，免费在线观看高清电影、动作片、喜剧片、爱情片、恐怖片、搞笑电影等视频内容，更多高清电影免费在线观看尽在电影网。
www.vip800.cn
