爬行和爬取是搜索引擎工作中的著名步，进行数据采集的工作。
搜索引擎用于爬行和浏览而面的程序流程被称作蜘蛛，也称作智能机器人
搜索引擎蜘蛛访问网站页面时类似一般用户应用的浏览器，蜘蛛程序流程传出页面浏览要求后，缺少对象HTML编码，蜘蛛程序流程把接到的编码存进初始页面数据库系统，搜索引擎为了提高爬行和爬取速率，都应用好几个蜘蛛并公布爬行。
蜘蛛浏览任何一个网址时，都是会先访问网站根目录下的robots.txt文件，假如robots.txt文件严禁搜索引擎爬取一些文件或目录，蜘蛛将遵循协议书，不爬取被禁止访问的网站。
和电脑浏览器一样，搜索引擎蜘蛛也是有标出自己身份的代理商名字，工作人员能够在日志文档中见到搜索引擎的特殊代理商名字，进而分辩搜索引擎蜘蛛。
2. 追踪连接
因为爬取在网上尽可能多的是页面，搜索引擎蜘蛛会追踪页面里的连接，从一个页面爬上去下一个页面，就像蜘蛛在蜘蛛在网上爬行那般，也便是搜索引擎蜘蛛这个名称的由来。
全部互联网是由互相连接的网址及页面构成的。从理论上来讲 ，蜘蛛从任何一个页面考虑，沿着连接都能够爬行到在网上的全部页面，自然，因为网址及页面连接构造出现异常繁杂，蜘蛛必须采用一定的爬行对策才可以解析xml在网上每一个页面。
较简单爬行解析xml对策分成二种，一种是深度优先，另一种是深度优先选择。
所说深度优先，是指蜘蛛顺着发觉的连接一直向前爬行，直至前边再也不会别的连接，随后回到到著名页面，顺着另一个连接一直向前爬行。
蜘蛛追踪连接，从A页面爬行到A1.A2.A3.A4.到A4页面后，现已并没有其他连接能够追踪就回到A页面，沿着页面里的另一个连接，爬行到B1,B2.B3.B4.在深度优先对策中，蜘蛛一直爬上去没法再往前，才回到爬另一条线。
深度广度优先选择就是指蜘蛛在一个页面上发觉好几个连接旮，并不是沿着一个连接姨直往前，反而是把页面上全部著名层连接都爬一遍，然后顺着第二层页面上发觉的连接爬向第三层页面。
如下图2－21所显示，蜘蛛从A页面沿着连接爬行到A1,B1,C1页面，直至A1页面里的全部连接都爬行完，随后再从A1页面发觉的下一层连接，爬行到A2.A3.A4.……。页面
从理论上来讲，不论是深度优先或是深度广度优先选择，只需给蜘蛛足够的时间，都可以爬完全个互联网技术。在现实工作上，蜘蛛的网络带宽网络资源，时间都并不是无尽的，也不太可能爬完每一个页面。事实上比较大的搜索引擎也只是爬行和收集了互联网的一小部分。
深度优先和深度广度优先选择一般是混和应用的，那样即可以照料到尽可能多的是网址（深度广度优先选择），也可以照料到一部分网址的内容页（深度优先）专业网站建设企业每日共享seo优化专业知识，我希望你能与您变成忠诚的好好朋友，一起学习讨论建网站技术性。
