如何编写WordPress博客的robots.txt

博客或者网站一般都会有robots.txt，设置适当的robots.txt一定程度上利于SEO，毕竟你的WordPress总会有那么一些页面不希望让爬虫抓取，比如博客的登录页面wp-admin或者wp-login等等。

什么是robot.txt？

这里引用百度百科的说明：

搜索引擎通过robot（又称spider），自动访问互联网上的网站并获取网页信息。在网站根目录创建一个纯文本文件robots.txt，在这个文件中编写一些命令告诉robot 不要抓取和访问的这些部分，防止这些内容不被搜索引擎收录了，或者指定搜索引擎只收录指定的内容。更详细说明

使用robots.txt阻止爬虫抓取博客没必要被收录的内容是相当有必要的，毕竟这些内容仅需网站管理员知道即可，搜索引擎收录了相反不利于博客内容的真实反映。通过“Disallow”命令限制spider访问博客的部分页面，这也是SEO工作的一部分。

优秀博客的robots.txt举例

如果你不知道如何编写你博客的robots.txt，你可以参考一些优秀的博客，再结合自己的实际情况编写即可。

Labnol.org

Sitemap: http://www.labnol.org/sitemap.xml

User-Agent: *
Disallow: /wp/wp-admin/
Disallow: /wp/wp-includes/
Disallow: /wp/wp-content/
Disallow: /wp/wp-
Disallow: /go/
Disallow: /translate.php

Dailyblogtips.com

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /feed/
Disallow: /trackback/
Disallow: /cgi-bin/

williamlong.info（月光博客） 注：月光用的是z-blog

User-agent: *

Disallow: /ads/
Disallow: /function/
Disallow: /FCKeditor/
Disallow: /CACHE/
Disallow: /SCRIPT/
Disallow: /ADMIN/
Disallow: /google/ADMIN/
Disallow: /google/CACHE/
Disallow: /google/function/
Disallow: /blog/function/
Disallow: /info/function/
Disallow: /anni/function/
Disallow: /wap.asp
Disallow: /cmd.asp
Disallow: /google/wap.asp
Disallow: /google/cmd.asp
Disallow: /blog/wap.asp
Disallow: /blog/cmd.asp
Disallow: /info/wap.asp
Disallow: /info/cmd.asp
Disallow: /anni/wap.asp
Disallow: /anni/cmd.asp

Sitemap: http://www.williamlong.info/sitemap.xml

appinn.com（小众软件）

User-agent: *
Disallow: /*/feed
Disallow: /*/trackback
Disallow: /page/
Disallow: /down/
Disallow: /wap/
Disallow: /out/
Disallow: /gc/

Sitemap: http://www.appinn.com/sitemap.xml

你会发现大部分的robots.txt中会包含Sitemap.xml，目的是为了搜索引擎更好的抓取博客内容。你可以通过安装All in One SEO Pack插件生成博客的Sitemap.xml。在10 个必备的WordPress插件和20个优秀WordPress SEO插件都有较详细的介绍。

如何编辑robots.txt文件：

一般情况下，robots.txt文件包含三个部分，分别是User-agent: *、Disallow:和Sitemap:。一般地，robots.txt存放在http://www.x-berry.com/robots.txt，你可以手动编写robots.txt上传至网站根目录即可。

相关日志

• 2010/07/15 — 10 个必备的WordPress插件 (25)
• 2012/04/20 — 关于SEO技术的一些常见问题 (5)
• 2012/04/16 — 浅谈搜索引擎排名原理 (2)
• 2012/03/20 — 走出SEO优化五大误区 (3)
• 2012/01/15 — 关于图片的SEO优化建议 (4)
• 2011/11/03 — SEO视频:Matt Cutts 定义针对搜索引擎的“伪装” (0)
• 2011/06/09 — WordPress超强SEO插件All In One SEO Pack PRO破解版 (12)
• 2011/03/12 — 5点关于文章内容优化的SEO指南 (10)