robots.txt的语法规则

2007-12-05 12:58:19  来源:网页教学网 站长整理

Webjx.Com提示:介绍网站中使用robots.txt的注意事项。

robots.txt文件

  robots.txt只能存放于网站的根目录下,置于除此之外的任何地方均不会被Spider发现。

  每个网站,或每个域名(包括子域名),只能有一个robots.txt。

  文件名“robots.txt”为小写字母,其他如Robots.txt或robots.Txt是不正确的,命名错误将会被Spider忽略。

  正如上篇文章中介绍的,Spider在网站内找不到robots.txt时将会被重定向到404 错误页面,这便有可能阻碍Spider抓取和收录页面。虽然这并不一定会发生,但很多时候我们没必要冒这样的风险,一般来说,即使我们对网站的所有内容都没有限制,对所有的搜索引擎Spider 都欢迎,最好也在根目录下创建一个robots.txt文件:

User-agent: *
Disallow:

robots.txt的语法规则

  在Disallow项中使用小写字母,即文件名和目录名使用小写字母,特别在对大小写敏感的Unix下更要注意。

  robots.txt惟一支持的通配符是在User-agent使用的“*”,其代表所有的Spider。除此之外,别的通配符均不可用。这方面的错误常见于在文件名或目录名中使用通配符。

  robots.txt的限定项

  在User-agent和Disallow项的设定中,每行只允许有一个设定值,同时,注意不要有空行。至于行数,则没有限制,理论上说可以根据需要创建具有无数行的robots.txt。

  下面即是一个错误的例子

User-agent: *
Disallow: /dir1/ /dir2/ /dir3/

  正确设置应为:

User-agent: *
Disallow: /dir1/
Disallow: /dir2/
Disallow: /dir3/

  robots.txt中的文件与目录

  既定某个文件拒绝索引时,格式为文件名(包括扩展名),其后无“/”,而限定目录时,则需在目录名后加“/”。如下面的示例:

User-agent: *
Disallow: /file.html
Disallow: /dir/

  特别注意的是,不要省略掉目录名后的“/”,不然,Spider便极有可能误读相应的设置。

  robots.txt中限定项的顺序

  请看下方的示例:

User-agent: *
Disallow: /
User-agent: Googlebot
Disallow:

  该设定本意是想允许Google访问所有页面,同时禁止其他Spider的访问。但在这样的设置下,Googlebot在读取前2行后便会离开网站,后面对其的“解禁”完全失去了意义。正确的格式应为:

User-agent: Googlebot
Disallow:
User-agent: *
Disallow: /

  robots.txt中的注释

  尽管在robots.txt的标准中,可以在限定项的后面使用“#”添加注释,如下面的例子

User-agent: Googlebot #这是对Google的设置
Disallow:

  但很多研究与测试表明,不少Spider对这样格式的解读存在问题。为确保其能更好地工作,最好采用如下设置:

#这是对Google的设置
User-agent: Googlebot
Disallow:

更多