海之韵BLOG | 耿真的个人网站 | 鲁ICP备15001313号 | 本站永久网址:https://www.gengzhen.cn

网站运营中的robots.txt文件如何修改维护?

发布:耿真(GengZhen) 2009-12-10 17:23 分类: 技术文章 这篇文章没有标签

robots.txt是一个纯文本文件,网站管理者用该文件可以声明该网站中不想被(搜索引擎-蜘蛛)robots访问(抓取索引)的部分,或者指定搜索引擎只收录该文档里指定的内容。

 当一个搜索机器人(也叫蜘蛛)访问一个站点时,它会首先检查该站点根目录下是否有robots.txt这个文件,搜索机器人就会优先按照该文件中的内容来确定访问的范围;如果文件不存在,那么搜索机器人就沿着网站页面的链接抓取。

  robots.txt必 须放置在网站文件的根目录下,而且文件名需小写字母命名。

什么情况下需要修改维护robots.txt文件:

  当你在网站中新增加文件夹,且该文件夹不想被搜索引擎抓取时,可以通过记事本打开修改robots.txt文件,添加Disallow: /文件夹名称/即可。

  一般情况下使用robots.txt是网站考虑不让搜索引擎抓取多数出于保护隐私、增加数据安 全性、为搜索引擎关键词排名索引优化而进行的工作,蜘蛛可以通过robots.txt按照网站管理者的思路,哪些文件夹设置为拒绝抓取,哪些可以检索收录就一目了然了。

   当然,耿真seo在这里也给小白站长一点建议,不要太依赖robots.txt,尽量不要把后台以及涉及到很隐秘以及安全敏感的路径写在robots.txt文件里,如有可以单独保存该文件,需要的时候再次上传就可以,如果写在robots.txt里,不仅仅是蜘蛛机器人,也会被黑客利用哦。

嘻嘻大笑可怜吃惊害羞调皮鄙视示爱大哭开心偷笑嘘奸笑委屈抱抱愤怒思考日了狗胜利不高兴阴险乖酷滑稽
提交评论

清空信息
关闭评论
温馨提示本站内所有原创内容禁止转载,谢谢合作!

本页已获评论0/刷新90 次

关注耿真SEO微信公众号