自贡网站建设自贡建网站、网站建设公司定制属于您的高端个性化网站!

服务热线:0813-2305563
首页 > 建站资讯 > 网站营销

发现robots.txt文件存在的限制指令后怎么办?

  • 网站营销
  • 发表日期:2022-08-18
  • 浏览:
  • 返回列表

        当我们有时候site网址查看网站快照,可能会查看到百度结果会显示“由于该网站的robots.txt文件存在限制指令,系统无法提供该页面的内容描述”,我们可能会觉得奇怪,怎么会出现这种问题呢?难道是搜索引擎的蜘蛛出问题了吗?当然不是的,出现这种情况,大多数时间是由于我们网站根目录下robots.txt的文件限制了网站的快照,搜索引擎蜘蛛为了遵循网站的robots.txt约定,没有将除title的其他内容展示出来。

       那么发现了这个问题我们应该怎么办呢?首先,找到根目录下的robots.txt,用记事本打开,将仔细查看里面的disallow语句,找到disallow:/,对这个就是限制了蜘蛛抓取整个网站目录的指令,把这行去掉,保存退出。然后我们要到百度站长工具里面,重新提交robots文件,目的是为了告诉搜索引擎,我的robots文件已经做了修改,目录限制抓取已经解除。这样,等下次快照更新,你的网站可能就会正常了,当然,有时候百度更新是很慢的,这时候你也不要着急,可能要过一段时间才能正常收录并抓取,只要耐心等待即可。

相关推荐



您值得信任的网站建设专家!

为其提供系统的基于互联网的品牌行销策略 、 创意执行 、 追踪运营服务 。