厦门SEO公司
欢迎评论文章留下链接脚印

枫林seo工具:百度Robots生成或禁止爬行和收录

枫林seo工具

枫林SEO讲堂禁止爬行和收录  百度Robots生成
一、Robots文件运用方法
查找引擎通过一种程序robot(又称spider),自动拜访互联网上的网页并获取网页信息。
您能够在您的网站中创立一个纯文本文件robots.txt,在这个文件中声明该网站中不想被robot拜访的部分,这样,枫林网站的部分或全部内容就能够不被查找引擎录入了,或者指定查找引擎只录入指定的内容。robots.txt文件应该放在网站根目录下。
当一个查找蜘蛛拜访一个站点时,它会首要查看该站点根目录下是否存在robots.txt,如果存在,查找机器人就会按照该文件中的内容来断定拜访的规模;如果该文件不存在,那么查找机器人就沿着链接抓取。

在服务器设置有问题的情况下,robots文件不存在时会回来200状况码及一些错误信息,而不是404状况码,这样可能会使查找引擎错误解读robots文件信息,所以就算答应抓取一切内容,也要建一个空的robots.txt文件放在根目录下;
robots.txt文件的格局:
“robots.txt”文件包括一条或更多的记载,这些记载通过空行分隔,每一条记载的格局如下所示:
<field>:<optionalspace><value><optionalspace>
<域>:<可选空格><域值><可选空格>
例1. 制止一切查找引擎抓取任何内容,该robots.txt文件:
User-agent: *
Disallow: /
例2. 制止某个查找引擎的拜访
User-agent: baiduspider
例3. 答应某个查找引擎的拜访
例4.通知蜘蛛不要抓取/cgi-bin/和/tmp/目录下的内容及文件/aa/index.html
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /aa/index.html
例5.Allow通知蜘蛛应该抓取某些文件,独自写没有意义,需求和Disallow合作运用,能够通知蜘蛛某个目录下大部分不答应抓取,只答应抓取一部分
Disallow: /ab/
Allow: /ab/cd/
例6.$通配符匹配URL结束的字符,如答应蜘蛛抓取以.htm为后缀的URL
Allow: .htm$
制止百度抓取一切.jpg文件
User-agent: Baiduspider
Disallow: .jpg$
例7.*通配符通知蜘蛛匹配恣意一段字符,如制止蜘蛛抓取一切htm文件
Disallow: /*.htm
只需有导入链接指向这个URL,查找引擎就知道这个URL的存在,尽管不抓取页面内容,但会以一下几种方式显现在查找引擎成果中:
1.只显现URL,没有标题,描绘;
2.显现敞开目录或yahoo等重要目录的标题和描绘;
3.导入链接的锚文字显现为标题和描绘;
4.要想使URL彻底不出现在成果中,需求运用页面上的meta robots标签;
干流查找引擎都支撑robots文件指令,robots.txt制止抓取的文件查找引擎将不拜访,不抓取。但注意的是,被制止抓取的URL仍是可能出现在成果中。只需有导入链接指向这个URL,查找引擎就知道这个URL的存在,尽管不抓取页面内容,但会以一下几种方式显现在查找引擎成果中:
要想使URL彻底不出现在成果中,需求运用页面上的meta robots标签;

二、Meta robots文件运用方法
Meta robots标签是页面head部分meta标签的一种,用于指令查找引擎制止索引本页内容
最简略的meta robots标签格局为:
<meta name=“robots” content=“noindex,nofollow”>
制止一切查找引擎索引本页面,制止盯梢本页面上的链接
标签不区别大小写
各标签运用方法:
1、NOINDEX:通知蜘蛛不要查找本页面
2、NOFOLLOW:通知蜘蛛不要盯梢本页面上的链接
3、NOSNIPPET:通知查找引擎不要在查找成果中显现阐明文字
4、NOARCHIVE:通知查找引擎不要显现快照
5、NOODP:通知查找引擎不要运用敞开目录中的标题和阐明
百度官方现在只支撑NOFOLLOW和NOARCHIVE
<meta name=“robots” content=“index,follow”>
没有意义。需求被录入、索引,链接需求被盯梢的页面,不必写meat robots标签
三、Nofollow文件运用方法
Nofollow特点只适用于本链接。
Nofollow代码方式为:
:<a href=“http://www.example.com” rel=“nofollow”>这里是锚文字</a>。
Nofollow标签常用于工具 博客、论坛、社会化网站、留言板等地方..

欢迎转载:厦门SEO公司_厦门SEO优化 » 枫林seo工具:百度Robots生成或禁止爬行和收录
分享到: 更多 (0)

SEO外链区 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址