“蜘蛛”并非动物
搜索引擎蜘蛛( Spider)是一个很形象的名字。如果把互联网看成一个蜘蛛网， 那么Spdr就是在网上爬来爬去的蜘蛛。搜索引擎蜘蛛通过网页的链接地址来寻找 网页，从网站的一个页面(通常是首页)开始读取网页的内容，找到网页中的其他 链接地址，然后通过这些链接地址寻找下一个网页，这样循环下去，直到抓取这个 网站的所有网页为止。如果把整个互联网看成一个网站，那么搜索引擎蜘蛛就能用 这个方法把互联网上所有网页的信息都抓取下来。
各大搜索引擎蜘蛛的名称
《百度蜘蛛：baiduspider》《google蜘蛛：googlebot》《yahoo蜘蛛：slurp》《alexa蜘蛛：ia_archiver》《man蜘蛛: msnbot》《soso蜘蛛: sosospider》《bing蜘蛛: bingbot》《altavista蜘蛛:scooter》《lycos蜘蛛:lycos_spider_(t-rex)》《alltheweb蜘蛛：fast-webcrawler/》《有道蜘蛛：yodaobot和 OutfoxBot》《inktomi蜘蛛:slurp》《搜狗蜘蛛：soguo spider》《热士蜘蛛：Adminrtspider》