Robots文件：网站Robots.txt设置Robots协议该怎么写，看这(3)

既然我们依靠搜索引擎的流量，那么我们就应该对搜索引擎敞开怀抱，让他在我们的网站自由的爬行，他尽可能多的将我们网站的内容抓取走才符合我们的需要，知道了这一点我们就知道Robots文件的存在有没有必要了，当然了这也需要我们对我们自己的网站足够了解，如果我们网站确实有些内容或者页面不希望被搜索引擎抓取，那么我们就可以通过设置Robots协议去禁止搜索引擎的抓取。

我们在从另一方面说说我们网站需不需要设置Robots文件吧，Robots.txt里面的Robots协议是有规范的书写形式的，例如：Disallow: 是禁止抓取，Allow: 是可以抓取，所以有很多新手站长就会搜索“Robots协议怎么写
”这样的问题去学习，反而网站设置Robots文件成了一个麻烦，写不好的可以导致网站出现各种问题，所以网站设置Robots文件还不如删除掉。不知道大家的网站有没有设置熊掌号，如果设置了不知道大家有没有留意他的任务中心里有一个答题任务就是关于Robots文件的，回答正确的话就是网站不设置Robots文件。