本文将从robots.txt文件的概念、robots文件的建议以及要点来详细说明。
一、概念:
它是网站与搜索引擎蜘蛛的一个协议(关于robots协议可以参考这个:http://www.didiaoseo.com/seojiaocheng/20170789.html),而这个协议做成的文件就是robots.txt文件。
robots.txt文件是一个文本文件,使用任何一个常见的文本编辑器就可以创建和编辑它。
二、说明:
搜索引擎的蜘蛛在访问网站时,会先查看有没有robots文件,这时候会出现两种情况:
1、存在robots.txt文件,蜘蛛就会按照该文件中的内容来确定访问的范围;
2、不存在robots.txt文件,蜘蛛将能够访问网站上所有没有被口令保护的页面;
三、建议大家:
1、仅当您的网站包含不希望被搜索引擎收录的内容时,才需要使用robots.txt文件。
2、如果您希望搜索引擎收录网站上所有内容,请勿建立robots.txt文件。
四、robots.txt文件的要点:
它是一个协议,而不是一个命令。
它是搜索引擎中访问网站的时候要查看的第一个文件。
它会告诉蜘蛛我们的网站上什么文件是可以被查看的、那些是不能查看的。