站群机robots.txt的几个关键语法

站群机robots.txt的几个关键语法【艾娜】

a、User-agent: 应用下文规则的漫游器，比如Googlebot,Baiduspider等。

b、Disallow: 要拦截的网址,不允许机器人访问。

c、Allow: 允许访问的网址

d、”*” : 通配符—匹配0或多个任意字符。

e、”$” : 匹配行结束符。

f、”#” : 注释—说明性的文字,不写也可。

g、Googlebot: 谷歌搜索机器人(也叫搜索蜘蛛)。

h、Baiduspider: 百度搜索机器人(也叫搜索蜘蛛)。

i、目录、网址的写法:都以以正斜线 (/) 开头。

如

Disallow:/

Disallow:/images/

Disallow:/admin/

Disallow:/css/
----------------------

新上的美国站群服务器8C 现货 限量特价 速定! cn2限量一人3台
E5 16G 1T 8C 232IP
E5*2 32G 1T 8C 232IP
E5*2 32G 2T 8C 232IP
E5*2 32G 3T 8C 232IP
美国站群服务器 特价欢迎联系在线客服  QQ 4001886560 482986990