为什么搜索引擎要研究页面价值
为什么搜索引擎要研究页面价值
本文由北京seo部落收集
首先，互联网上的页面是无穷尽的，而搜索引擎的硬件资源是有限的，想用有限的资源去覆盖无穷尽的互联网，我们就需要对页面价值做出判断，不收录那些无检索价值的页面，少收录那些检索价值低的页面。这是页面价值在收录控制方面的应用。
第二，搜索引擎spider的抓取能力是有限的，出于访问友好性的考虑，对于一个网站或一个IP抓取速率需要有一个抓取速率的上限。在这一限制下，抓取或页面更新就需要有一个先后顺序，而这一排序的主要参考依据就是页面价值，或者说对页面价值的预测（未抓取时）。这是页面价值在spider调度方面的应用。
第三，对于某些页面，页面内容发生变化，导致它的检索价值从有到无，典型的就是变为“死链”，或者“被黑”。对于这些页面，好的搜索引擎会在第一时间将其排除出索引，或在检索时对其进行屏蔽，以保证返回给用户的结果是更多检索价值高的“好页面”。对于另一些页面，它不仅具有很高的检索价值，而且有很强的“时效性”，能够第一时间让用户检索到这些页面对搜索体验有很大的提升。对搜索引擎而言，越快的收录和索引页面意味着越多的额外资源开销，以多快的速度收录和以多短的周期更新索引，需要通过页面价值的分析来指导。这两方面是页面价值在死链率和时效性两大搜索引擎指标提升上的应用。
最后，普遍意义上的页面价值高低对搜索引擎返回给用户的结果排序上也存在着指导意义。理想情况下搜索引擎的结果是按照与查询请求的相关性进行排序的，在相关性大体相当的情况下，用户更倾向与浏览普遍意义上页面价值高的网页。这是页面价值在ranking方面的应用。
可以说，页面检索价值的研究是搜索引擎中的一项较为基础的工作，对页面价值的认识和判断的准确程度直接影响着搜索引擎的覆盖率、死链率、时效性等几大主要指标。
如何判断页面价值
前文中提到过一个小学生张三qzone日记的例子。我们认为这个页面是有价值的，对张三的同学，朋友，家人都有价值。与此类似的，百度CEO李彦宏在i贴吧上发表一条十几个字的i贴，也是有价值的，对李彦宏的上千万粉丝都有价值。虽然李彦宏的i贴长度可能远小于张三的日记，但就这两个页面的价值来说，我们都会有一个共同的认识，即从普遍意义上讲，李彦宏的i贴价值远大于张三的日记。（当然，对于张三的妈妈来说很可能这个价值的关系是相反的）
再举个例子，搜索某个人的手机号码，搜索引擎返回了一个结果，是这个人在某个论坛上的一个回复。虽然这个手机号码关心的人不多，但因为资源是绝对稀缺的，对于关心这个手机号码的查询需求，这个页面是完全不可替代的，因此具有极高的价值。
另外，页面检索价值，还受到页面质量的影响。相似的页面，对于满足用户需求来说，往往会有很大差异，比如资源下载速度，页面的布局，广告的多寡。这类差异，姑且称之为页面质量。
最后，有些页面具有明显的公众话题性质，且这些资源往往在刚刚产生时有非常高的关注度，随着时间的推移热度显著下降，有着“新闻”的特征。典型的像各种“门”事件，地震、火灾等大型的自然灾害。我们认为这类资源具有“时效性”特征。
