在淄博网站优化中搜索引擎要抓取互联网上所有的网面几乎是不可能的。从目前公布 的数据来看，容量最大的搜索引学也不过抓取了整个互联因因页数量的40%左右 其中的原因，一方面是抓取技术的瓶颈，无法遍历所有的网页，许多网页无法从其 他面的链接中找到：另一方面是存储技术和处理技术的问题。如果按照每个页面 20KB计算(包含图片).100亿个网面的容量是100×2000。即使能够存储，下议 载也存在问题(按照一台机器每秒下载20KB计算，需要240台机器不停地下载 年，才能把所有网页下载完毕)。

同时，由于数据量太大，在提供搜索时也会有效率方面的影响。因此，许多搜 索引学的蜘蛛程序只抓取那些重要的网页，而在抓取时主要依据某个网页的链接深 度来评价其重要性。
在抓取网页的时候，搜索引擎蜘蛛一般有两种策略，分别是广度优先和深度优 先，广度优先是指搜索引擎蜘蛛会先抓取起始网页中链接的所有周 页，然后选择其中的一个链接网页，继续抓取在此网页中链接的所有网页。这是最 常用的方法，因为这个方法可以让搜索引擎蜘蛛并行处理，以提高其抓取速度。深 度优先是指搜索引擎蜘蛛会从起始页开始，一个链接一个链接跟踪下去，处理完 条线路之后再转入下一个起始页，继续跟踪链接。这个方法有个优点是搜索引擎蜘 蛛的设计比较简单。
由于不可能抓取所有的网页，所以有些搜索引擎蜘蛛对一些不太重要的网站设 置了访问的层数。A为起始网页，属于第0层，B、C、D、E、F 属于第1层，G、H属于第2层,1属于第3层。如果搜索引擎蜘蛛设置的访问层 数为2，网页1将不会被访间。这也导致有些网站的一部分网页能够在搜索引擎上 搜索到，而另外一部分无法搜索到。对于网站设计者来说，扁平化的网站结构设计 有助于搜索引擎抓取其更多的网页。 深度优先的抓取购序 广重优先的抓取 A-BCDEF-HG-I
搜索引擎蜘蛛在访问网站网页的时候，经常会遇到加密数据和网页权限的 问题，有些网页是需要会员权限才能访问的，当然，网站的所有者可以通过协 议让搜索引擎蜘蛛不去抓取，但对于一些出售报告的网站，它们希望搜索引擎能 搜索到它们的报告，但又不想让搜索者完全免费地查看，这样就需要给搜索引擎 蜘蛛提供相应的用户名和密码。搜索引擎蜘蛛可以通过所给的权限对这些网页进 行抓取，从而提供搜索，而当搜索者查看该网面的时候，同样需要进行相应的权 限验证。