robots文档是一个纯文本文档，在这个文档中网址领导者可以申明该网址中不愿被robots浏览的一部分，或是特定百度搜索引擎只百度收录特定的內容。因而，robots的提升会同时危害到百度搜索引擎对网址的百度收录状况。

1、robots详细介绍：

百度搜索引擎智能机器人又叫检索搜索引擎蜘蛛，在浏览一个网站时，它会最先查验该网站根目录下是不是存有robots.txt文件。假如存有，百度搜索引擎智能机器人便会依照该文件中的信息来明确浏览范畴；假如该文件未找到，那麼百度搜索引擎智能机器人便会顺着连接去爬取。

robots.txt务必放到一个网站的根目录下，并且文件夹名称务必所有小写字母。

仅有在必须严禁爬取一些內容时，写robots.txt才更有意义。有的端口设置有什么问题，robots文档未找到的时候会回到200状态码及一些错误报告，而不是404状态码，这有可能是检索智能机器人不正确讲解robots文档信息内容，因此提议即使容许爬取全部內容，也需要建一个空的robots文档。

2、robots创作英语的语法：

user-agent后边为检索智能机器人名字，如果是“*”号，则特指全部的百度搜索引擎智能机器人；Disallow后边是不允许浏览文件名称，假如文件目录为空则不起一切严禁功效。

下边列举一些robots.txt的实际使用方法。

容许全部的检索智能机器人浏览，文件格式如下所示：

user-agent:*

Disallow:

或是还可以建立一个空的robots.txt文件。

严禁全部百度搜索引擎浏览网址的一切一部分，文件格式如下所示：

user-agent:*

Disallow:/

严禁全部百度搜索引擎浏览网址的某好多个一部分，例如必须禁止访问a、b、c、文件目录：

user-agent:*

Disallow:/a/

Disallow:/b/

Disallow:/c/

严禁某一百度搜索引擎的浏览，如严禁百度搜索浏览：

user-agent:Baiduspider

Disallow:/

只容许某一百度搜索引擎的浏览，如只对百度搜索浏览

user-agent:Baiduspider

Disallow:

user-agent:*

Disallow:/

3、robotsmeta书写：

此外，必须开展扩展表明，对robotsmeta采取一些详细介绍：

robotsmeta标识中沒有大小写字母之分，mame=”robots”表明全部百度搜索引擎，可以对于某一实际百度搜索引擎写成：mame=”baiduspider”。content一部分有四个命令选择项：index、noidex、follow、nofollow，命令间以“，”分离出来。

index命令告知百度搜索引擎智能机器人爬取该网页页面

follow命令表明检索智能机器人可以顺着该网页页面上的地址再次爬取下来；

robotsmeta标识的缺省值是index和follow，仅有inktomi（初期发生的百度搜索引擎）以外，针对它，缺省值是index,nofollow。

现阶段来看，绝大部分的百度搜索引擎智能机器人都遵循robots.txt的标准，而针对robotsmeta标识，现阶段适用的并不是很多，可是已经慢慢提升。Googie是彻底遵循的。