客服电话:4001-543-345

当前位置:首页 > 网络营销知识 >

robots文件的写法

作者:Seo168    来源:未知    时间:2014-12-29 20:11
摘要:有时候我们不想网站上的一些页面被收录,那么怎么办呢?可能我们会想到用nofollow标签,但即使我们在站内不让搜索引擎跟踪链接,也有可能在其他网站出现导入链接,后让这个页
      有时候我们不想网站上的一些页面被收录,那么怎么办呢?可能我们会想到用nofollow标签,但即使我们在站内不让搜索引擎跟踪链接,也有可能在其他网站出现导入链接,后让这个页面被收录。所以有效的方法就是使用robots禁止收录。
      搜索引擎蜘蛛在访问网站前会先查看robots文件,看看是否允许对网站进行收录抓取。一般在robots文件不存在或是空文件时都默认为允许所有搜索引擎抓取所有内容。
      User-agent:*,Disallow:/  表示禁止所有搜索引擎抓取任何内容。其中*代表所有搜索引擎。User-agent:Baiduspider代表适用于百度蜘蛛,User-agent:Googlespider表示适用于谷歌蜘蛛。禁止的目录或文件必须分开写,每个一行如:
User-agent:*
Disallow:/abc/
Disallow:/def/
Disallow:/ab/c.html
上面的代码表示不允许所有搜索引擎蜘蛛抓取/abd/和/def/两个目录以及/ab/目录下的index.html文件。
      User-agent:*
      Disallow:   相当于允许所以搜索引擎抓取任何内容。
      我们也可以把Allow和Disallow一起使用
      User-agent:*
      Disallow:/ab/
      Allow:/ab/cd/
      表示让蜘蛛不抓取/ab/目录下的除/cd/目录下的其他内容。
      使用robots文件将有效的使蜘蛛明确哪些内容是可以抓取的或哪些是不可以的。
      
日本熟妇色在线视频