本文将从robots.txt文件的概念、robots文件的建议以及要点来详细说明。
一、概念：
它是网站与搜索引擎蜘蛛的一个协议（关于robots协议可以参考这个：http://www.didiaoseo.com/seojiaocheng/20170789.html），而这个协议做成的文件就是robots.txt文件。
robots.txt文件是一个文本文件，使用任何一个常见的文本编辑器就可以创建和编辑它。
二、说明：
搜索引擎的蜘蛛在访问网站时，会先查看有没有robots文件，这时候会出现两种情况：
1、存在robots.txt文件，蜘蛛就会按照该文件中的内容来确定访问的范围；
2、不存在robots.txt文件，蜘蛛将能够访问网站上所有没有被口令保护的页面；
三、建议大家：
1、仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。
2、如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。
四、robots.txt文件的要点：
它是一个协议，而不是一个命令。
它是搜索引擎中访问网站的时候要查看的第一个文件。
它会告诉蜘蛛我们的网站上什么文件是可以被查看的、那些是不能查看的。