客服电话:4001-543-345

当前位置:首页 > 网络营销知识 >

搜索引擎爬行和抓取的过程

作者:Seo168    来源:未知    时间:2014-12-08 21:35
摘要:搜索引擎的工作原理是很复杂的过程,对于SEO人员来说可能我们没必要知道的非常透彻,但是基本的情况还是要了解一下的,毕竟我们是要和搜索引擎打交道,知己知彼才能百战百胜。
      搜索引擎的工作原理是很复杂的过程,对于SEO人员来说可能我们没必要知道的非常透彻,但是基本的情况还是要了解一下的,毕竟我们是要和搜索引擎打交道,知己知彼才能百战百胜。搜索引擎的工作过程大体分为三个阶段:爬行和抓取、预处理、排名。今天先来说说个,爬行和抓取。
      这是搜索引擎工作的步。搜索引擎先派出它的机器人,也就是蜘蛛,访问网站时发出页面访问请求,然后服务器返回代码,蜘蛛再把这些代码存入数据库。一般蜘蛛在访问网站前都会先去根目录下的robots.txt文件查看是否被禁止访问,如果你禁止某个蜘蛛访问,它就会直接离开网站。蜘蛛来到你的网站后会顺着页面间的链接爬行,这时蜘蛛会有两种爬行策略,深度优先和广度优先。深度优先是指蜘蛛沿着链接一直向前爬行,一直到前面没有链接再回到个页面沿着另一个链接开始爬行;广度优先是指蜘蛛在一个页面上把所有层链接爬一遍,然后在沿着第二层页面上的链接爬向第三层。
      但实际上蜘蛛是不能爬行和抓取所有页面的,所以SEO人员就要想办法来让他抓取,尤其是那些重要页面。一般认为质量高的网站蜘蛛会爬行的更深,收录的页面也会更多。页面经常更新内容也会吸引蜘蛛经常来访问,高质量的导入链接会增加让蜘蛛访问的几率,页面与首页的点击距离也是重要的因素,离首页的点击距离越近,被爬行的机会也越大。后蜘蛛抓取的页面会放被到搜索引擎建立的地址库中。
日本熟妇色在线视频