先看一下我写的robots.txt 文件

User-agent: *

Allow: /

Sitemap: http://**/cms_sitemap.xml   这一行是给蜘蛛提供网站地图，方便蜘蛛抓取网站内容。

Sitemap: http://**/cms_sitemap.txt     这一行是给蜘蛛提供网站地图，方便蜘蛛抓取网站内容。

Disallow: /ap                                       这一行是禁止蜘蛛爬行ap开头的后台目录

Disallow: /admin.php                          这一行是禁止蜘蛛爬行后台登录界面

关于百度收录，抓取齐博X1的robots.txt文件设置问题

我发现齐博X1的robots.txt文件在/public/robots.txt 下面，

robots.txt的代码是

User-agent: *

Disallow:

根据我在百度收录里面查看百度官方的Robots的设置发现

百度官方让把robots.txt放在跟目录下，并且代码为：

1、允许所有搜索引擎访问网站的所有部分：

User-agent：*

Disallow：

2、禁止所有搜索引擎访问网站的所有部分:

User-agent：*

Disallow：/

根据百度的说明文件发现

Allow: / 是允许所有的robost访问

所以作为新手，不知道，怎么设置robots.txt了

我把robots.txt修改后，放到了网站跟目录，检测可以检测到

如果按照齐博X1的设置，不动的话，

Robots检测是检测不到Robots文件的

百度官方的说明：

https://ziyuan.baidu.com/college/courseinfo?id=267&page=12#h2_article_title29