Robots文件：网站Robots.txt设置Robots协议该怎么写，看这(2)

具体淘宝为啥要使用Robots去屏蔽搜索引擎蜘蛛抓取我们在这就不妄自揣测了，相信肯定是有原因的，我们从上图可以清楚的看到红色箭头指示的类目的内容是被淘宝设置了Robots协议禁止抓取的，而蓝色箭头所指示的类目是淘宝没有在Robots.txt文件里面写明禁止抓取的，因此我们可以看到蓝色框里面有一些淘宝网的文字介绍。

网站必须设置Robots文件吗？六六站长觉得未必

前面我们也说了Robots文件是用来约束搜索引擎蜘蛛的，但是这个Robots.txt文件我们网站真的必须设置吗？大家都知道我们的网站流量主要还是来自搜索引擎，而我们又不像淘宝，而且搜索引擎蜘蛛现在也高度的智能化，他所抓取回去的东西也会进行筛选，符合要求后才会在搜索引擎进行建库索引。