海之韵BLOG | 耿真的个人网站 | 鲁ICP备15001313号 | 本站永久网址:https://www.gengzhen.cn

网站优化中的robots文件是否要放在根目录?

发布:耿真(GengZhen) 2021-2-8 2:54 分类: 技术文章 这篇文章没有标签

最近与分享网站优化相关的教程越来越少了,我主要是在忙于其他项目,所以我每天没有太多时间。今天,我谈到了有关网站优化中机器人文件的一些常见问题。机械手文件应该在网站优化的根目录中?

一、什么是robots,robots有什么用?

在解释机器人之前,让我介绍一下机器人是什么。该机器人借鉴了百度百科的描述,是网站与爬虫之间的合同。使用简单直接的txt格式文本来通知搜寻器权限是可以接受的。换句话说,robots.txt是您在搜索引擎访问站点时看到的第一个文件。搜索蜘蛛在访问网站时,会首先检查该网站的根目录中是否存在robots.txt。如果存在,搜索引擎会根据文件的内容确定访问范围。不存在,“搜索所有蜘蛛”可以访问站点上不受密码保护的任何页面。

用一句话解释。机器人是蜘蛛和网站之间的协议。

当涉及到使用机器人时,我认为认真阅读以上内容的小朋友仍然会从中受益。 Winter Mirror认为,理性的机器人仍然具有以下好处:

1.您可以防止蜘蛛爬网和收集您不希望其他人看到的页面。例如:网站后台地址,个人信息日志等。

2.减轻服务器压力。您可以通过允许漫游器通过机械手协议仅爬行部分页面来防止爬行器爬行某些无用的页面并占用服务器资源。

3.正确的机器人合同通过改善整个站点的质量并促进快速的包容性和排名来增加站点的权重

机械手文件应该在网站优化的根目录中?

我将向您展示创建

二、robots协议格式应该怎么写?

机器人文件的最简单方法。

用户代理: *

Disallow:/inc /

允许:/uqseo

Sitemap: .cn/tag/https" title="查看标签为 https 的文章">https://www.gengzhen.cn/.cn/tag/.cn/tag/.cn/tag/.cn/tag/.cn/tag/.cn/tag/sitemap" title="">sitemap" title="查看标签为 .cn/tag/sitemap" title="">sitemap 的文章">.cn/tag/sitemap" title="">sitemap" title="查看标签为 .cn/tag/sitemap" title="查看标签为 sitemap 的文章">sitemap 的文章">.cn/tag/sitemap" title="查看标签为 sitemap 的文章">sitemap" title="查看标签为 .cn/tag/sitemap" title="查看标签为 sitemap 的文章">sitemap 的文章">.cn/tag/sitemap" title="查看标签为 sitemap 的文章">sitemap" title="查看标签为 .cn/tag/sitemap" title="查看标签为 sitemap 的文章">sitemap 的文章">.cn/tag/sitemap" title="查看标签为 sitemap 的文章">sitemap" title="查看标签为 sitemap 的文章">.cn/tag/sitemap" title="查看标签为 sitemap 的文章">sitemapxq7jely9mgz。

上面的用户代理是指搜索引擎蜘蛛的名称。通常,*用于表示通配符。也就是说,该协议对所有搜索引擎蜘蛛都很有用。禁止是指不允许访问的对象。它由特定的CSS,Js,照片,视频,文件夹等表示。 Disallow:/inc /表示搜索引擎蜘蛛无法抓取和抓取inc文件夹中的任何文件。允许是指搜索引擎蜘蛛可以访问的路径。而Allow:/uqseo是指uqseo所在的文件或文件夹。 Sitemap通常代表该站点的地图。

提示:每个属性的冒号都是英语冒号,并且冒号后必须有一个空格。

三、robots只能放在根目录吗?

Winter Mirror可以清楚地看到,只能将漫游器文件放置在其网站的根目录中。这也是众所周知的。如前所述,robots文件是搜索引擎蜘蛛的合同(某些蜘蛛可能不一定跟随它)),因为搜索引擎蜘蛛首先从网站的根目录进入网站,因此,robot协议为。根目录,并且机械手文件必须具有以下名称: robots.txt,仅允许使用小写字母。

机械手文件应该在网站优化的根目录中?

四、robots协议的高级玩法

此游戏玩法需要php +伪静态或php +路由。如前所述,除了禁止和操作机器人外,还有非常重要的站点地图。有时您的网站上有很多站点地图,如果您使用机器人编写所有站点地图,它将变得非常肿。这次您可以从输出中看到,每次我使用PHP控件访问机器人时,它都会显示一个不同的地址,并且每个人的细节都不会太多。
嘻嘻大笑可怜吃惊害羞调皮鄙视示爱大哭开心偷笑嘘奸笑委屈抱抱愤怒思考日了狗胜利不高兴阴险乖酷滑稽
提交评论

清空信息
关闭评论
温馨提示本站内所有原创内容禁止转载,谢谢合作!

本页已获评论0/刷新133 次

关注耿真SEO微信公众号