一、搜索引擎蜘蛛
搜索引擎蜘蛛又称网页爬虫。目的:抓取高质量的网页内容。下面讲几个常见的搜索引擎蜘蛛分类:
1.1 Baiduspider(百度蜘蛛)
百度公司还有其它几个蜘蛛:Baiduspider-news(新闻)、Baiduspider-mobile(wap)、Baiduspider-image(图片)、Baiduspider-video(视频),站长经常见到的是Baiduspider和Baiduspider-image。
1.2 Googlebot(谷歌蜘蛛)
还发现一个Googlebot-Mobile,看名字应该是抓取wap内容的。
1.3 360Spider(360蜘蛛)
它是一个很“勤奋抓爬”的蜘蛛。
1.4 Sogou News Spider(搜狗蜘蛛)
还包括如下这些:Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou News Spider、Sogou Orion spider,看最权威的百度的robots.txt http://www.baidu.com/robots.txt 就为Sogou搜狗蜘蛛费了不少字节,占了一大块领地。
其它还有很多蜘蛛就不过多介绍,SEO优化主要针对这四个就可以,有兴趣可阅读搜索引擎蜘蛛大全这篇文章。
非常感谢您有耐心的读完商企云建站公司的这篇文章:"福州网站优化:搜索引擎蜘蛛大全",仅为提供更多信息供用户参考使用或为学习交流的方便。我们公司不仅提供:网站建设、网站制作、seo网站优化、网站推广、APP开发、快速排名、网页设计、建网站等服务,而且利用互联网营销手法,多平台,多样化进行品牌内容铺设,营造企业正面形象,诚挚为您服务,欢迎您的到来。