欢迎您加入19站目录库!网站推广流程:注册会员 -> 提交网站 -> 快速审核 -> 带来无限流量和外链。( 点入和点出一次可获排名第一位!
数据统计:143个主题分类,1974个优秀站点,6个站点正在排队审核,242篇站长资讯
网站快速审核:免费请联系: 点击这里给我发消息
当前位置:19站目录库 » 站长资讯 » 综合资讯 » 文章详细 订阅RssFeed

警惕:新网站谨慎设置robots屏蔽

来源:网络 浏览:98次 时间:2015-06-24


      众所周知,SEO优化中robots机器人是用来抓取网站内容的,而robots.txt文件则是放在我们网站根目录下面的一个文本文件,用来规定什么蜘蛛(机器人)可以抓取什么文件,不可以抓取什么文件。我们通常用robots来告诉搜索引擎,这个目录你可以进,那个目录你不可以进;这个文件你可以访问,那个文件你不能访问。但是有些时候,robots文件,我们还是要谨慎使用的好。


       事情还得从年初开始。年初我负责的一个网站因为网站刚建好,内容还没填充完整,大家的观点不都是没建好的网站不要给搜索引擎抓取嘛。我用robots.txt文件把网站根目录屏蔽所有搜索引擎抓取,等到一个月之后,填充得已经差不多了,我就开放蜘蛛抓取。我不仅有提交首页网址给百度,提交网址诊断,而且还发了不少外链,但一天一天过去,在百度上面SITE网站就是一个收录都没有。我就纳闷了,是不是我什么地方设置错误了呢?结果在谷歌上面site了一下已经有上百个收录了,306,搜狗上面也有少则几个多则十几个收录了。于是我不得不认为是robots屏蔽,百度长时间未反应过来导致的。


       前两个月,我又有一个新站重新建好开始填充内容,也是把网站屏蔽着,结果到现在都两个月过去了,可是还是不收录,首页还是提示“由于该网站的robots.txt文件存在限制指令,系统无法提供该页面的内容描述。”而谷哥收录了93条,搜狗收录了1条,360收录了45条。这次我这次彻底对度娘的robots文件反应速度是无语了。



    前两天在群里与伙伴们讨论,一位叫乌鸦的大神说自己之前也遇到过几次这样的情况。
在此蜗牛SEO慎重的提醒各位朋友,新建的网站,千万不要先把网站文件上传到空间后加个robots.txt,然后填充信息,填充好了才开放抓取。如果可以在本地把网站建好,填充好内容再上传最好,否则上传到空间加robots禁止抓取,等开放抓取的时候,百度蜘蛛很可能又会几个月时间都反应不过来。几个月后网站才被收录,对网站优化的周期影响无疑是巨大的。

【本篇文章由“19站目录库http://www.19zh.com”编辑收录】

转载请注明-原文链接:警惕:新网站谨慎设置robots屏蔽

推荐站点

  • 看看影院看看影院

    看看影院(www.k-yy.com)是一个免费公益的高清电影电视剧网站,每日更新电影电视剧排行榜中优秀的影视作品,让各位网友无需VIP、无需注册即可免费观看最新好看的电影电视剧。您娱乐生活中必不可少影视大全网站-看看影院!

    www.k-yy.com
  • 唯品电影网唯品电影网

    唯品电影网(www.vip800.cn)为您提供最新好看的电影、最新电视剧、影视动漫、热播综艺节目等,免费在线观看高清电影、动作片、喜剧片、爱情片、恐怖片、搞笑电影等视频内容,更多高清电影免费在线观看尽在电影网。

    www.vip800.cn
  • VIP免费电影网VIP免费电影网

    VIP免费电影网为您免费提供最新好看的电影、热播电视剧、新番动漫、热门综艺节目等,涵盖爱情片、动作片、喜剧片、悬疑片、记录片、战争片、恐怖片等电影及电视剧内容,以及海量最新电影图文影视资讯,看电影就上VIP免费电影网vip.19zh.com。

    vip.19zh.com
  • 央视网_世界就在眼前央视网_世界就在眼前

    央视网(www.cctv.com)由中央广播电视总台主办,是以视频为特色的中央重点新闻网站,是央视的融合传播平台,是拥有全牌照业务资质的大型互联网文化企业。秉承“融合创新、一体发展”的理念,以新闻为龙头,以视频为重点,以用户为中心,建成“一网一端多平台多渠道”融媒体传播体系。

    www.cctv.cn
  • 爱奇艺爱奇艺

    爱奇艺(iQIYI.COM)是拥有海量、优质、高清的网络视频的大型视频网站,专业的网络视频播放平台。爱奇艺影视内容丰富多元,涵盖电影、电视剧、动漫、综艺、生活、音乐、搞笑、财经、军事、体育、片花、资讯、微电影、儿童、母婴、教育、科技、时尚、原创、公益、游戏、旅游、拍客、汽车、纪录片、爱奇艺自制剧等剧目。视频播放清晰流畅,操作界面简单友好,真正为用户带来“悦享品质”的在线观看体验。

    www.iqiyi.com
  • 优酷视频优酷视频

    视频服务平台,提供视频播放,视频发布,视频搜索,视频分享

    www.youku.com
Powered by 19站目录F2.02021版 官方网站:19站目录库
Processed in 0.021558 second(s), 21 Queries, Gzip Enabled