瑞蚁一站式服务平台
充值有礼
充值有礼

为什么要设置robots文件?

发布时间:2019/12/29 来源:瑞蚁 点击次数:32

个人或者企业建站中,网站优化是一项重要的工作,那么瑞蚁建站工具中设置的robots文件上传入口是怎么用的?首先先让我们了解下什么是robots文件。

搜索引擎蜘蛛在访问网站时会先看网站根目录下有没有robots文件,该文件主要用途是告诉蜘蛛哪些内容是网站要屏蔽收录的,禁止蜘蛛抓取该页内容。

一般而言如果没有需要屏蔽的网站链接就不需要上传robots文件,但是有的服务器设置与搜索引擎要求不一致,当网站内不存在robots文件时会返回200状态码以及一些错误信息,而不是大家常见的404状态码,搜索引擎蜘蛛可能会错误解读这段信息,结果就在收录上出了差错。

robots文件由记录组成,记录之间以空行分开。

格式: <域>:<可选空格><域值><可选空格>

所以,为了确保网站被准确的抓取,即便没有要屏蔽的网站内文章链接也需要建一个空的robots文件放在跟目录下更好。
分享: