（1）能找到目标网页 必须有外部链接指向网站首页，这样搜索引擎才能发现我们的网站并进行抓取，然后蜘蛛沿首页内部链接抓取更深层内容页，能很轻松的对网站内容进行遍历抓取。 （2）能抓取网页内容 网页内容符合搜索引擎蜘蛛的抓取条件，被搜索引擎蜘蛛发现的URL必须可以被抓取，url中尽量减少参数，避免蜘蛛陷阱。 （3）能提取有价值信息 网站内容要有价值（四个建立高质量页面的硬指标）——不抄袭，提高文章质量，搜索引擎能从已抓取的页面中提取有价值内容。