| robots.txt 网址 | http://soft.whsjsoft.com/robots.txt |
| 最新下载 | 2007年9月25日 上午02时24分03秒 |
| 状态 | 200 （成功） |
这是google网站管理员工具提供的最新报告。 robots.txt文件内容可当一个robots的参考范例：
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
几乎所有搜索引擎都尊从robots协议，并按网站根目录下的robots.txt文件进行网站的抓取。 这个例子的意思是：允许所有搜索引擎抓取，并且/wp-admin/、/wp-content/、 /wp-includes/这三个目录不可以抓取。有关 robots.txt 语法的更多信息，请参阅 robotstxt.org。谷歌对有关robots.txt的设置信息请参考：http://www.google.com/support/webmasters/bin/answer.py?answer=40364&topic=8846&hl=zh_CN
在robots.txt文件无法访问或按要求验证时，提交的sitemap都会提示有相关错误，比如：robots.txt文件无法访问等。我提交了两次都失败了，可能是不存在robots.txt文件的问题，后来一查这个文件是存在的，又提交了一次终于成功了。不知道这个robots.txt文件是不是YO2后来生成的，这个问题无法考证了。
按谷歌帮助文档的说法，robots.txt文件是可以不存在的，但在提交sitemap时又必须先检查robots.txt文件，如果返回404错误，则会在以后重新访问网站并开始抓取。后来我要检查时robots.txt又存在了，sitemap才通过。如果这个文件真的不存，那谷歌是不是按照帮助文档的说法呢？不得而知了。
相关文章：google应用：如何写sitemap.xml文件？
快速链接:http://soft.whsjsoft.com/go/417964.html
09月 26th, 2007 at 10:59 am
太技术了。。
我只会用插件做这个
09月 26th, 2007 at 4:44 pm
哈哈，如果有服务器的FTP权限，自己就可以写了。
按照谷歌帮助的说法：大约每天检查一次是否有新的 robots.txt 文件。
最新下载 2007年9月25日 下午11时19分08秒
状态 503 （服务不可用）
郁闷死了！可能在那个时候服务器出问题了。那么在提交sitemap文件的时候，必须要保证robots.txt文件的状态是正常的，否则提交sitemap时肯定返回错误。
04月 18th, 2008 at 9:32 am
现在访问yo2的robots.txt会出现404错误，不知道怎么解决这个问题？
04月 21st, 2008 at 8:43 pm
我也测了，确实如此，以前我手工访问是没有问题的。这个东西不要也没多少关系。