搜索引擎的爬行程序主要有Robot机器人、Spider蜘蛛、crawler爬行器这三种,这三种工作原理是大致的,只是命名不同。搜索引擎每天能搜索出海量页面,就是靠搜索引擎爬行程序无时无刻穿梭在各个页面中,进行爬取,索引,缓存,然后对爬取页面进行评估,最后展现在网民的面前,不过这3个爬行程序还是有区别的,我们在后面会介绍。
SEO理解
 百度蜘蛛
 百度蜘蛛BaiduSpider,将会是我们做seo时接触最多的搜索引擎爬行程序,因为它比360和搜狗的都要强大,算法也会更领先,所以通常我们做seo都是以向百度靠齐。
 
 有没有想过,为什么我们心里有疑问的时候,去百度,会搜索到我们想要的内容,其实这一切都是百度蜘蛛帮我们完成的。它会不断的在互联网找寻新的url页面和新的内容,然后暂存到百度的数据库中。百度蜘蛛每天的收录达到了千万亿的页面,所以百度蜘蛛是不工作的,是因为有了这个程序,我的金网才能被搜索引擎收录,才能有好的排名,所以对于seoer而言,网站优化的对百度蜘蛛很友好,那么你就成功了一半!百度蜘蛛抓到页面后对页面进行评估,是否符合算法,是否符合用户体验,有多大程度满足客户需求等,最后给页面打分,分数高的页面,就会排在前面。