欢迎您加入19站目录库!网站推广流程:注册会员 -> 提交网站 -> 快速审核 -> 带来无限流量和外链。( 点入和点出一次可获排名第一位!
数据统计:143个主题分类,2275个优秀站点,5个站点正在排队审核,257篇站长资讯
网站快速审核:免费请联系: 点击这里给我发消息
当前位置:19站目录库 » 站长资讯 » 建站经验 » 文章详细 订阅RssFeed

WordPress网站如何配置robots.txt文件

来源:本站原创 浏览:58次 时间:2021-09-25


robots.txt介绍

robots.txt是一个纯文本文件,在这个文件中网站管理者可以声明该网站中不想被robots访问的部分,或者指定搜索引擎只收录指定的内容,当一个搜索机器人(有的叫搜索蜘蛛)访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,那么搜索机器人就沿着链接抓取,robots.txt必须放置在网站根目录且名称必须为小写

使用robots.txt的好处

  • 防止搜索蜘蛛抓取网站无关紧要的页面,以免服务器压力过大
  • 避免搜索引擎索引重复页面,集中网站权重
  • 屏蔽网站内的死链接,死链会影响搜索引擎对网站的评估
  • 屏蔽搜索引擎蜘蛛抓取站点内重复内容和页面
  • 阻止搜索引擎索引网站隐私性的内容

WordPress应该怎样布置robots.txt

下面是19站目录库使用的robots.txt

User-agent: *
Disallow: /player/url=*
Disallow: /?s=*
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /author/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
sitemap:https://www.19zh.com/wp-sitemap.xml

参数说明

  • /player/url=*这是小洪博客禁止索引本站视频解析的参数,这条无需使用
  • /?s=*禁止索引博客的搜索页面,无需索引,因为很多灰产会利用搜索页面来推广
  • /cgi-bin/禁止索引服务器cgi目录
  • /wp-admin/禁止索引wordpress后台
  • /wp-includes/禁止索引wordpress程序运行的必须库
  • /wp-content/目录中plugins,cache,themse无需索引,可根据需求决定
  • /author/禁止索引作者文章列表,重复内容,可根据需求决定
  • /trackback/重复内容,无需索引
  • /feed/重复内容,无需索引
  • /comments/重复内容,无需索引
  • sitemap声明自己的网站sitemap地址


可根据自己站点特性来修改文件内容,然后保存为robots.txt放置在网站根目录

【本篇文章由“19站目录库http://www.19zh.com”编辑收录】

转载请注明-原文链接:WordPress网站如何配置robots.txt文件

推荐站点

  • 1080影视大全1080影视大全

    【1080影视大全】为您提供好看的电影、全新电视剧、全新动漫、全新综艺节目排行榜,免费在线观看lunli电影、动作片、 喜剧片、爱情片、搞笑片等全新电影,更多电影高清在线观看尽在1080影视大全(www.hd1080.vip)。

    www.hd1080.vip
  • 简书简书

    简书是一个优质的创作社区,在这里,你可以任性地创作,一篇短文、一张照片、一首诗、一幅画……我们相信,每个人都是生活中的艺术家,有着无穷的创造力。

    www.jianshu.com
  • 有缘网婚恋交友有缘网婚恋交友

    有缘网是国内领先的大众婚恋交友移动互联网平台,专注于为最广泛的年轻单身男女婚恋交友创造更多机会和可能。找对象,上有缘网!

    www.youyuan.com
  • 生活_YNET.com北青网生活_YNET.com北青网

    北青网生活频道:北青网下属子频道,包含潮流服饰,美容美体,健康亲子等内容

    life.ynet.com
  • 看看影院看看影院

    看看影院(www.k-yy.com)是一个免费公益的高清电影电视剧网站,每日更新电影电视剧排行榜中优秀的影视作品,让各位网友无需VIP、无需注册即可免费观看最新好看的电影电视剧。您娱乐生活中必不可少影视大全网站-看看影院!

    www.k-yy.com
  • 唯品电影网唯品电影网

    唯品电影网(www.vip800.cn)为您提供最新好看的电影、最新电视剧、影视动漫、热播综艺节目等,免费在线观看高清电影、动作片、喜剧片、爱情片、恐怖片、搞笑电影等视频内容,更多高清电影免费在线观看尽在电影网。

    www.vip800.cn
Powered by 19站目录F2.02021版 官方网站:19站目录库
Processed in 0.028019 second(s), 21 Queries, Gzip Enabled