Robots文件：网站Robots.txt设置Robots协议该怎么写，看这

Robots文件
相信做网站的人们多少都有接触过，Robots文件就是我们网站根目录里的Robots.txt
文件，Robots.txt文件是一种搜索协议，被简称为“Robots协议
”，搜索引擎蜘蛛进入我们网站以后会第一时间查看Robots.txt文件里面的Robots协议，这个Robots协议就是用来告诉搜索引擎蜘蛛我的网站那些东西看以收录回去，那些东西他们不可以收录，简单的说就是“我的网站我做主”，我允许的你才可以抓取。

Robots文件屏蔽搜索引擎蜘蛛抓取的典型案例

给大家举个例子吧，大家都知道淘宝吧？而淘宝就使用Robots文件屏蔽了大部分的搜索引擎蜘蛛抓取，因此我们在白肚搜索淘宝的时候，看到就是下面这样的情况，淘宝之所以要使用Robots协议屏蔽搜索引擎蜘蛛的抓取，是因为淘宝不希望自己的商业信息被窥探，而且这样也可以让用户更加依赖淘宝内部的搜索，停留在淘宝内部。