我们可以在网站根目录下放一个robots.txt文件，里面是robots协议规则，可以指定搜索引擎能抓取哪些网页，也可以禁止抓取哪些网页。当您的网站有不希望被搜索引擎收录的内容时，才需要使用robots.txt文件，如果您希望搜索引擎收录网站上所有内容，就可以不用建立robots.t...
关于robots.txt协议文件的详细写法，已经在《robots文件协议怎么写》的博文里有详细的介绍过程，故在此不多叙述，而本篇文章仅对robots协议中，Disallow和Allow后带斜杠/和不带的区别进行讨论，这正是学习robots协议写法中最容易产生混淆的地方。1、 User-AgentUser-Age...
