当前位置: 网站首页 >>新闻资讯 >>常见问答

海安网站优化robots.txt怎么设置

时间:2022-09-16 09:09:57 点击:13660次

  robots.txt是网站对搜索引擎的限制文件,一般存放于网站根目录,它的存在是告诉搜索引擎哪些目录文件可以查看,哪些不可以查看。

  关于robots.txt内容的写法比较简单,但是也不可大意,许多做优化排名的网站,然后发现该文件中禁止搜索引擎爬抓,犯了这种低级错误。

  User-agent:是标识针对的哪种搜索引擎,*号表示所有搜索引擎,Disallow:表示不允许爬抓,sitemap:填写网站地图的地址文件,方便蜘蛛爬行。

  如果没有特别要求,该文件夹保持为空即可,如果有后台页面不允许蜘蛛爬抓,可以在文件里写出来。

  该文件为网站优化的基础文件,虽然设置并不难,但是对于新网站来说,在上线后一步就要检查一下是否正确。


相关阅读
猜您喜欢

我们已经准备好了,你呢?

2023我们与您携手共赢,为您的企业形象保驾护航!

在线客服
联系方式

热线电话

15955381856

上班时间

周一到周五

公司电话

15955381856

二维码
线
在线留言