如何生成robots.txt文件?

robots.txt是一个文本文件,可以对抓取网络的搜索引擎蜘蛛进行限制,设置允许它抓取的范围、文件及目录,这是一个简单且重要的工具,下面跟大家介绍一下怎样写robots.txt文件。

robots.txt必须放在网站根目录下,且文件名必须小写,下面看一个例子:

# robots.txt file start

# Exclude Files From All Robots:

User-agent: *
Disallow: /security/
Disallow: /admin/
Disallow: /admin.htm

# End robots.txt file

禁止访问写法:
Disallow: /
User-agent: badbat

有#号的都是注释,方便阅读。
User-agent是搜索引擎的蜘蛛,后面用了*号,表示允许所有的蜘蛛访问,也可以建一个空的robots.tx文件。
Disallow是表示不允许抓取目录或者文件,/admin.htm是文件,/admin/是站点目录,表示禁止抓取的范围。
Disallow: /是表示禁止所有搜索引擎访问。
User-agent: badbat是表示禁止某个搜索引擎访问。

如果你有一些文件或者目录,比如后台程序,或者一些私人隐秘的内容,不希望公开的话,就用这个Disallow来阻止蜘蛛抓取。

转载请注明出处http://www.seo-xm.cn,谢谢!

最后编辑于:2008/07/07作者: 厦门SEO

发表评论