冰点网络 阿菜的自留地

使用robots.txt 文件拦截或删除网页

robots.txt 文件限制抓取网络的搜索引擎漫游器对您的网站的访问。这些漫游器是自动的,它们在访问任意网站的网页之前,都会查看是否存在阻止它们访问特定网页的 robots.txt 文件。(虽然某些漫游器可能会以不同的方式解释 robots.txt 文件中的指令,但所有正规的漫游器都会遵循这些指令。然而,robots.txt 不是强制执行的,一些垃圾信息发送者和其他麻烦制造者可能会忽略它。因此,我们建议对机密信息采用密码保护。)

只有当您的网站中包含您不想让搜索引擎编入索引的内容时,才需要使用 robots.txt 文件。如果您希望搜索引擎将网站上的所有内容编入索引,则不需要 robots.txt 文件(甚至连空的 robots.txt 文件也不需要)。

尽管 Google 不会抓取 robots.txt 拦截的网页内容或将其编入索引,但如果我们在网络上的其他网页中发现这些内容,我们仍然会将这些网页的网址编入索引。因此,网页网址及其他公开的信息,如指向该网站的链接中的定位文字或开放式目录管理系统中的标题,有可能会出现在 Google 搜索结果中。

为了能使用 robots.txt 文件,您必须要有对您域的根目录的访问权限(如果您不能确定是否有该权限,请与您的网络托管商核实)。如果您没有对域的根目录的访问权限,可以使用 robots 元标记来限制访问。

留言列表
成都股票开户
成都股票开户 初次来访,觉得博主的博客很有特色,拜访一下!
发表留言
◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。