搜索引擎技术基础.ppt

1、搜索引擎原理搜索引擎原理目录目录目录目录一、一、搜索引擎总体介绍搜索引擎总体介绍二、爬虫技术介绍二、爬虫技术介绍三、中文分词和排序算法介绍三、中文分词和排序算法介绍四、查询四、查询/存储技术、存储技术、Cache Server介绍介绍一、搜索引擎总体介绍一、搜索引擎总体介绍(一一)搜索引擎定义搜索引擎定义“搜索引擎搜索引擎”技术，完全来源于历史悠久的全文检索技术。技术，完全来源于历史悠久的全文检索技术。“搜索引擎搜索引擎”从字面上可拆分为从字面上可拆分为“搜搜”、“索索”、“引擎引擎”三个含义。三个含义。“搜搜”就是大量信息的抓取，抓取回来后的信息进行智能提就是大量信息的抓取，抓取回来后的信息

2、进行智能提取、排重、质量分析等处理。取、排重、质量分析等处理。“索索”就是大量处理后信息的存储、信息排序、快速查询就是大量处理后信息的存储、信息排序、快速查询等。等。“引擎引擎”就是指系统不但能存储亿级的数据，而且还能有就是指系统不但能存储亿级的数据，而且还能有巨大的并发处理能力，这样的系统才有资格被叫着巨大的并发处理能力，这样的系统才有资格被叫着“引擎引擎”。一、搜索引擎总体介绍一、搜索引擎总体介绍(二二)搜索引擎主要核心技术：搜索引擎主要核心技术：搜索引擎主要核心技术为搜索引擎主要核心技术为:(1)中英文分词语言处理；中英文分词语言处理；(2)排序算法；排序算法；(3)网络爬虫；网络爬虫；

3、(4)查询查询/存储技术存储技术 （三）搜索引擎的组成部分（三）搜索引擎的组成部分 搜索引擎一般包括四个组成部分：搜索引擎一般包括四个组成部分：搜索器、索引器、检索器、用户接口搜索器、索引器、检索器、用户接口搜索器（爬虫搜索器（爬虫SPIDER）的功能是在）的功能是在Internet中漫游，发现和搜集信息。中漫游，发现和搜集信息。索引器索引器(INDEXER)的功能是理解搜索器所搜索的信息，从中抽取出索引的功能是理解搜索器所搜索的信息，从中抽取出索引项，用于描述文档以及生成文档集的索引表。项，用于描述文档以及生成文档集的索引表。检索器检索器(SEARCHER)的功能是根据用户的查询在索引库中快

4、速检出文档，的功能是根据用户的查询在索引库中快速检出文档，进行文档与查询的相关度评价，对将要输出的结果进行排序，并实现进行文档与查询的相关度评价，对将要输出的结果进行排序，并实现某种用户相关性反馈机制。某种用户相关性反馈机制。用用户户接接口口(USER INTERFACE)的的作作用用是是输输入入用用户户查查询询、显显示示查查询询结结果果、提提供供用用户户相相关关性性反反馈馈机机制制。主主要要的的目目的的是是方方便便用用户户使使用用搜搜索索引引擎擎，高高效率、多方式地从搜索引擎中得到有效、及时的信息。效率、多方式地从搜索引擎中得到有效、及时的信息。一、搜索引擎总体介绍一、搜索引擎总体介绍(四四

5、)系统图：系统图：二、爬虫技术介绍二、爬虫技术介绍(一一)爬虫技术总体介绍：爬虫技术总体介绍：网络爬虫是一个自动提取网页的程序，它为搜索引擎网络爬虫是一个自动提取网页的程序，它为搜索引擎从从Internet网上下载网页，是搜索引擎的重要组成。网上下载网页，是搜索引擎的重要组成。网络爬虫网络爬虫使用多线程技术，让爬虫具备更强大的抓取使用多线程技术，让爬虫具备更强大的抓取能力。能力。网络爬虫网络爬虫还要完成信息提取任务，对于抓取回来的网还要完成信息提取任务，对于抓取回来的网页提取出来页提取出来:新闻、电子图书、行业信息等。对于新闻、电子图书、行业信息等。对于MP3、图片、图片、Flash等各种不同

6、内容，要实现自动识等各种不同内容，要实现自动识别、自动分类及相关属性测试（例如：别、自动分类及相关属性测试（例如：MP3文件要包文件要包含的文件大小，下载速度等属性）。含的文件大小，下载速度等属性）。二、爬虫技术介绍二、爬虫技术介绍(二二)抓取对象：抓取对象：1.静态网页：爬虫从一个或若干初始网页的静态网页：爬虫从一个或若干初始网页的URL开始，获得初始网开始，获得初始网页上的页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列放入队列,直到满足系统的一定停止条件。直到满足系统的一定停止条件。2.动态网页动态网页:分析动态网页参

7、数，按照一定规章，分析动态网页参数，按照一定规章，“拼拼”出所有要被出所有要被抓取内容抓取内容URL，只抓取这些特定范围内动态网页。，只抓取这些特定范围内动态网页。3.特殊内容：比如特殊内容：比如RSS、XML数据，情况特殊需特殊处理。如新闻数据，情况特殊需特殊处理。如新闻的滚动新闻页面，需要爬虫不停地监控扫描，发现新内容马上就进的滚动新闻页面，需要爬虫不停地监控扫描，发现新内容马上就进行抓取。行抓取。4.文件对象：图片，文件对象：图片，MP3、Flash、视频等文件的抓取，都要特殊、视频等文件的抓取，都要特殊处理。比如说：图片抓取出来后，要知道图片文件类型、图片文件处理。比如说：图片抓取出来

8、后，要知道图片文件类型、图片文件的大小、图片的像素大小，还要转换出来缩略图。的大小、图片的像素大小，还要转换出来缩略图。二、爬虫技术介绍二、爬虫技术介绍(三三)抓取策略：抓取策略：1.深度优先策略：对于一些大网站及静态网页为主的抓取内容，深度优先策略：对于一些大网站及静态网页为主的抓取内容，采取深度策略抓取，便于在最短时间内获得最大量内容。采取深度策略抓取，便于在最短时间内获得最大量内容。2.广度优先策略广度优先策略:对于一些动态网页或小网站，采取广度策略抓对于一些动态网页或小网站，采取广度策略抓取，同时对多个网站进行抓取，减小对各个小网站的压力，避取，同时对多个网站进行抓取，减小对各个小网站

9、的压力，避免造成恶意攻击。免造成恶意攻击。3.合作抓取策略合作抓取策略:由被抓取网站，提供可被抓取内容的由被抓取网站，提供可被抓取内容的sitemap网站地图，双方协议好，只抓取这些特定内容，在抓取速度及网站地图，双方协议好，只抓取这些特定内容，在抓取速度及时间上双方前期进行协商。另外还可以完全由被抓取方，提供时间上双方前期进行协商。另外还可以完全由被抓取方，提供详细内容，抓取过程都可以省略一些步骤。详细内容，抓取过程都可以省略一些步骤。三、中文分词和排序算法介绍三、中文分词和排序算法介绍(一一)中文分词：中文分词：中文本身存在着很大的歧义性，同样一句话，不同的断句，表达中文本身存在着很大的歧

10、义性，同样一句话，不同的断句，表达的意思就不一样。这对于计算机去做机器分析，就带来了巨大的的意思就不一样。这对于计算机去做机器分析，就带来了巨大的困难。困难。下面的中文断句，来自百度广告宣传片下面的中文断句，来自百度广告宣传片:我知道你不知道我知道你不知道我知道你不知道我知道你不知道我知道你不知道我知道你不知道三、中文分词和排序算法介绍三、中文分词和排序算法介绍(一一)中文分词：中文分词：另外中文的具体含义，还必须放在具体的前后语言环境中去分析。另外中文的具体含义，还必须放在具体的前后语言环境中去分析。比如说：比如说：乒乓球拍卖完了乒乓球拍卖完了我去学校我去学校商店商店，发现乒乓，发现乒乓 球

11、拍球拍 卖卖 完完 了了在今天的在今天的慈善拍卖会慈善拍卖会上，世界冠军们夺冠时的乒乓球上，世界冠军们夺冠时的乒乓球 拍卖拍卖 完完 了了 中文分词，在具体的算法实现上分为三种：中文分词，在具体的算法实现上分为三种：1.字符串匹配字符串匹配(正序、逆序、最少切分、最大切分等正序、逆序、最少切分、最大切分等)2.基于理解（词法，句法等方式处理）基于理解（词法，句法等方式处理）3.基于统计基于统计在中文搜索引擎中，目前基本上是这三种算法混合使用。第二种的算在中文搜索引擎中，目前基本上是这三种算法混合使用。第二种的算法实现起来过于复杂，所以以第一种和第三种算法为主。法实现起来过于复杂，所以以第一种和

12、第三种算法为主。三、中文分词和排序算法介绍三、中文分词和排序算法介绍(一一)中文分词：中文分词：语言本身也是在不停的进化和发展的，新的词语层出不穷，一些老语言本身也是在不停的进化和发展的，新的词语层出不穷，一些老的词语渐渐被弃用。作为中文分词的基础的词语渐渐被弃用。作为中文分词的基础-词库，其新词补充和词库，其新词补充和老词删除就是非常重要的工作。老词删除就是非常重要的工作。“超级女声超级女声”、“超女超女”、“李宇春李宇春”、“八荣八耻八荣八耻”、“非典非典”，当这些新词的出现时，搜索引擎需要快速捕捉到，并且马上把其，当这些新词的出现时，搜索引擎需要快速捕捉到，并且马上把其添加到分词系统中去

13、。添加到分词系统中去。如何判断那些词是新词，这就全部倚靠算法来实现。新词捕捉主要如何判断那些词是新词，这就全部倚靠算法来实现。新词捕捉主要来源于新闻和网络来源于新闻和网络BBS论坛，主要机制是依靠统计程序，统计上升论坛，主要机制是依靠统计程序，统计上升速度最高的词。另外作为搜索引擎公司，对众多用户的搜索词进行速度最高的词。另外作为搜索引擎公司，对众多用户的搜索词进行“用户行为用户行为”分析，也能提高其分析，也能提高其“新词补充新词补充”效果。效果。三、中文分词和排序算法介绍三、中文分词和排序算法介绍(二二)排序算法：排序算法：搜索引擎的排序算法（搜索引擎的排序算法（ranking algori

14、thm），决定了各个网页、图），决定了各个网页、图片、片、MP3等数据的重要性排列顺序，也决定了最终用户查询到的数等数据的重要性排列顺序，也决定了最终用户查询到的数据排序。搜索引擎的据排序。搜索引擎的排序算法排序算法是人工智能的完满体现，它是对百亿是人工智能的完满体现，它是对百亿级数据进行重要性分析的数学实现。级数据进行重要性分析的数学实现。“PageRank”是是Google公司在排序算法上的专利技术，也是公司在排序算法上的专利技术，也是Google能从众多搜索引擎公司中脱颖而出的最核心技术，作为其搜索服务能从众多搜索引擎公司中脱颖而出的最核心技术，作为其搜索服务能够超过其他竞争对手最有力的

15、武器。能够超过其他竞争对手最有力的武器。不同搜索引擎公司不同搜索引擎公司排序算法排序算法的优劣，直接决定了广大搜索引擎用户的优劣，直接决定了广大搜索引擎用户对搜索服务的选择，在互联网上，一个普通用户更换搜索服务只需对搜索服务的选择，在互联网上，一个普通用户更换搜索服务只需要要5秒钟，所以秒钟，所以排序排序算法就成为了各个搜索引擎公司最核心机密。算法就成为了各个搜索引擎公司最核心机密。另外，每个搜索引擎公司也必须不停地改进其另外，每个搜索引擎公司也必须不停地改进其排序排序算法。算法。三、中文分词和排序算法介绍三、中文分词和排序算法介绍(二二)排序算法：排序算法：排序算法部分参考指标：排序算法部分

16、参考指标：指标指标加分加分减分减分网站硬件指标网站硬件指标网站网络好，系统稳定网站网络好，系统稳定网站系统不稳定，网络不好网站系统不稳定，网络不好网站包含网页数网站包含网页数总网页数目多总网页数目多总网页数目少总网页数目少网页大小网页大小网页大小适中网页大小适中网页多大或过小网页多大或过小其他网页链到本网页其他网页链到本网页数目多数目多数目少数目少网页内网页内URL数数数目适中数目适中过多或过少过多或过少网页相关性网页相关性URL连接网页是相关内容连接网页是相关内容URL连接网页不是相关内容连接网页不是相关内容网页更新网页更新/生成日期生成日期日期近的日期近的日期远的日期远的网页类型网页类型静

17、态网页静态网页动态网页动态网页网页内样式网页内样式网页设计样式中等网页设计样式中等网页设计样式过于复杂或简单网页设计样式过于复杂或简单网页具体内容网页具体内容分词后，各个词权重总和高分词后，各个词权重总和高分词后，各个词权重总和低分词后，各个词权重总和低用户访问行为用户访问行为点击多的网页点击多的网页点击少的网页点击少的网页三、中文分词和排序算法介绍三、中文分词和排序算法介绍(二二)排序算法：排序算法：排序算法虽然解决了网页排序的问题，但是有时候有些搜索结果还排序算法虽然解决了网页排序的问题，但是有时候有些搜索结果还是很难让用户满意。为此，搜索引擎排序算法一项重要改进：是很难让用户满意。为此，

18、搜索引擎排序算法一项重要改进：“聚聚类类”，就被引进来提高排序效果。，就被引进来提高排序效果。“聚类聚类”方法，是把网页分类成各种不同类型，比如说：分类为方法，是把网页分类成各种不同类型，比如说：分类为“体育体育”、“娱乐娱乐”、“军事军事”、“旅游旅游”、“金融金融”、“政治政治”、“汽车汽车”、“房产房产”等。针对每一种分类，各自有一套专用的排序等。针对每一种分类，各自有一套专用的排序算法。算法。当查询词为当查询词为“高尔夫高尔夫”时，查询结果为时，查询结果为“体育体育”+“汽车汽车”，排序，排序算法为通用算法；但当查询词为算法为通用算法；但当查询词为“高尔夫高尔夫 伍兹伍兹”时，其分类就

19、能确时，其分类就能确定为定为“体育体育”，其排序算法就采用，其排序算法就采用“体育体育”类别的算法。类别的算法。三、中文分词和排序算法介绍三、中文分词和排序算法介绍(二二)排序算法：排序算法：排序算法是决定了各个网页的排序，但是对于一些特殊情况，也需排序算法是决定了各个网页的排序，但是对于一些特殊情况，也需要要“人工干预人工干预”，毕竟一个通用算法并不能解决所有问题。，毕竟一个通用算法并不能解决所有问题。比如说：查询词为比如说：查询词为“北理北理”，其实含义是，其实含义是“北京理工大学北京理工大学”。在。在Google的搜索结果中，第一个就是的搜索结果中，第一个就是“北京理工大学北京理工大学”

20、，但在，但在“北京北京理工大学理工大学”网页中根本找不到网页中根本找不到“北理北理”两个字。以下是搜索结果：两个字。以下是搜索结果：北京理工大学北京理工大学以工为主，包含理工、管理、法律、外语的多科性全国重点大学。以工为主，包含理工、管理、法律、外语的多科性全国重点大学。 “人工干预人工干预”是排序算法，非常重要的一个补充，大大改进了搜索是排序算法，非常重要的一个补充，大大改进了搜索结果。搜索引擎公司的竞价排名和滚动排名，也都是结果。搜索引擎公司的竞价排名和滚动排名，也都是“人工干预人工干预”的范畴。的范畴。(二二)排序算法：排序算法：GOOGLE的的PageRank技术技术PageRank

21、技术是技术是Google 检索结果的一种排序算法检索结果的一种排序算法,中文通常译为页中文通常译为页面级别或页面等级面级别或页面等级,根据这个算法根据这个算法,Google 认为每个网页都有一个反认为每个网页都有一个反映其重要性的值映其重要性的值,值越高表明其页面级别越高值越高表明其页面级别越高,即网页越重要即网页越重要;网页的质量和重要性也可以通过其它网页对其超文本链接的数量来衡网页的质量和重要性也可以通过其它网页对其超文本链接的数量来衡量量,具体来说具体来说,假如网页假如网页A 有一个指向网页有一个指向网页B 的链接的链接,则意味着网页则意味着网页A 认为网页认为网页B 是重要的。是重要的

22、。Google 根据网页被链接的数量来评定其重要性。根据网页被链接的数量来评定其重要性。假如有假如有10 个网页指向网页个网页指向网页A,而指向网页而指向网页B 的链接却只有的链接却只有2 个个,则说明则说明网页网页A 比网页比网页B更加重要。更加重要。(二二)排序算法：排序算法：GOOGLE的的PageRank技术技术事实上事实上,在实际计算网页的在实际计算网页的PageRank 值时值时,Google 还考虑到网页还考虑到网页A 的的所有链入网页所有链入网页(链接到某网页的其它网页称为该网页的链入网页链接到某网页的其它网页称为该网页的链入网页)对它对它的推荐能力的推荐能力(即由于它们对网页

23、即由于它们对网页A的链接的链接,使人们认为网页使人们认为网页A 的重要程的重要程度度)和推荐程度和推荐程度(即它们认为网页即它们认为网页A 的重要程度的重要程度)。一个网页本身的一个网页本身的PageRank 值越高值越高,则它对其链出网页则它对其链出网页(从某个网页链从某个网页链出的网页称为该网页的链出网页出的网页称为该网页的链出网页)的推荐能力就越大的推荐能力就越大;一个网页的链一个网页的链出网页越少出网页越少,那么它对其中一个链出网页的推荐程度就越高。那么它对其中一个链出网页的推荐程度就越高。我们可以用以下公式来简要表达Google 关于网页PageRank 值的计算:PR(A)=(1-

24、d)+d(PR(T1)/C(T1)+.+PR(Tn)/C(Tn)其中,PR(A)是指网页A 的PageRank 值;T1,T2,.,Tn 是网页A 的链入网页;PR(T i)是指网页T i 的PageRank 值(i=1,2,.n);C(T i)是指网页T i 的链出网页的数量(i=1,2,.n);d 是一个衰减因子,0 d 1,通常取值为0.85。(二二)排序算法：排序算法：GOOGLE的的PageRank技术技术可见可见,一个网页的一个网页的PageRank 值值,主要取决于以下三个因素主要取决于以下三个因素:(1)该网页的链入数量该网页的链入数量;(2)该网页的链入网页本身的该网页的链入

25、网页本身的PageRank 值值;(3)该网页的链入网页本身的链出数量。该网页的链入网页本身的链出数量。显然显然,根据以上公式根据以上公式,一个网页的链入数量越多、这些链入网页的一个网页的链入数量越多、这些链入网页的PageRank 值越高、这些链入网页本身的链出数量越少值越高、这些链入网页本身的链出数量越少,则该网页的则该网页的PageRank 值越高。值越高。(二二)排序算法：排序算法：GOOGLE的超文本匹配分析技术的超文本匹配分析技术(Hypertext-Matching Analysis)不仅仅关注关键词在网页上出现的次数,它还对该网页的内容加以分析，如分析关键词的字体、字号以及关键

26、词在网页中出现的精确位置,并且对该网页以及该网页所链接的内容进行全面检查,从而判断该网页与检索需求的匹配程度。四、查询四、查询/存储技术、存储技术、Cache ServerCache Server介绍介绍(一一)查询查询/存储技术：存储技术：存储技术是搜索引擎在提供搜索服务时的关键技术，系统如何去存储存储技术是搜索引擎在提供搜索服务时的关键技术，系统如何去存储上百亿的网页数据，如何科学高效地提供搜索结果，这些都会影响用上百亿的网页数据，如何科学高效地提供搜索结果，这些都会影响用户的户的“搜索用时搜索用时”。搜索引擎之所以能够给同时给众多用户，在豪秒级的范围内就能提供搜索引擎之所以能够给同时给众

27、多用户，在豪秒级的范围内就能提供搜索结果，其技术秘密就是绝大部分查询结果都是提前完成运算，搜搜索结果，其技术秘密就是绝大部分查询结果都是提前完成运算，搜索结果早已存储在其服务器上。索结果早已存储在其服务器上。数据的存储，当然会受硬件条件的影响，不能够把所有数据都存储在数据的存储，当然会受硬件条件的影响，不能够把所有数据都存储在内存中，部分数据还需存储在硬盘中，这其中就有个存储策略。存储内存中，部分数据还需存储在硬盘中，这其中就有个存储策略。存储网页数据时，权值高的网页数据存储在内存，权值低的存储在硬盘。网页数据时，权值高的网页数据存储在内存，权值低的存储在硬盘。四、查询四、查询/存储技术、存储

28、技术、Cache ServerCache Server介绍介绍(一一)查询查询/存储技术：存储技术：搜索引擎的数据存储主要分为两部分：搜索引擎的数据存储主要分为两部分：第一部分：网页数据，包含：网页编号、第一部分：网页数据，包含：网页编号、URL、标题、内容摘要、标题、内容摘要、网页大小等。网页大小等。第二部分：词库索引数据，包含：中文词库中的字词、英文单词、每第二部分：词库索引数据，包含：中文词库中的字词、英文单词、每个字词对应网页编号队列等。个字词对应网页编号队列等。网页编号是唯一编号，不得重复。查询时，通过词库索引得到网页编网页编号是唯一编号，不得重复。查询时，通过词库索引得到网页编号，

29、然后在网页数据中，得到各自网页的相关数据。号，然后在网页数据中，得到各自网页的相关数据。四、查询四、查询/存储技术、存储技术、Cache ServerCache Server介绍介绍(一一)查询查询/存储技术：存储技术：对于每一个网页，包含：网页编号、对于每一个网页，包含：网页编号、URL、标题、内容摘要、网页、标题、内容摘要、网页大小等信息。可由下面结构体来描述：大小等信息。可由下面结构体来描述：(1)网页编号网页编号 char16(2)URLchar256(3)标题标题char56(4)内容摘要内容摘要 char256(5)网页大小网页大小 char8 这样一来，每个网页数据的存储大小为这

30、样一来，每个网页数据的存储大小为592字节。网页数据的字节。网页数据的网页网页编编号是连续的，所以网页数据的存储也可以连续存储。号是连续的，所以网页数据的存储也可以连续存储。四、查询四、查询/存储技术、存储技术、Cache ServerCache Server介绍介绍(一一)查询查询/存储技术：存储技术：“网页数据网页数据”的存储分为内存存储和硬盘文件存储两种方式的存储分为内存存储和硬盘文件存储两种方式:(1)内存存储方式时，因为每个网页数据都是大小一样的，再加上数据存内存存储方式时，因为每个网页数据都是大小一样的，再加上数据存储是连续的，所以在查询时，只要知道数据存储的起始位置，就可直接储是

31、连续的，所以在查询时，只要知道数据存储的起始位置，就可直接算出网页数据的开始及结束位置，从而获得网页数据信息。算出网页数据的开始及结束位置，从而获得网页数据信息。1G内存大内存大概能存储概能存储180万条网页信息（每条万条网页信息（每条592字节）。字节）。(2)硬盘文件方式存储，把连续一定数量的网页数据信息，写入到一个硬盘文件方式存储，把连续一定数量的网页数据信息，写入到一个文件中去，比如说文件中去，比如说10万条存储为一个文件，然后把全部硬盘存储的网页万条存储为一个文件，然后把全部硬盘存储的网页数据都存储到硬盘文件系统中去。这样一来，基于硬盘文件存储的网页数据都存储到硬盘文件系统中去。这样

32、一来，基于硬盘文件存储的网页数据在读取时，就要先算出来网页数据存储在那个文件，然后打开文件数据在读取时，就要先算出来网页数据存储在那个文件，然后打开文件读去出来该网页数据信息。硬盘文件方式存储，也是全文检索系统中最读去出来该网页数据信息。硬盘文件方式存储，也是全文检索系统中最主要的存储方式。主要的存储方式。内存存储查询速度快，但信息存储总量有限；硬盘文件方式存储查询速内存存储查询速度快，但信息存储总量有限；硬盘文件方式存储查询速度慢，高并发查询时还容易造成硬件快速损耗，但存储容量巨大。度慢，高并发查询时还容易造成硬件快速损耗，但存储容量巨大。四、查询四、查询/存储技术、存储技术、Cache S

33、erverCache Server介绍介绍(一一)查询查询/存储技术：存储技术：“词库索引数据词库索引数据”的存储采用内存存储方式的存储采用内存存储方式:对于每一篇网页内容，采用存储的分词算法进行处理，分出来的词为对于每一篇网页内容，采用存储的分词算法进行处理，分出来的词为最多的分法，方便对各个相关字词都能建立索引。最多的分法，方便对各个相关字词都能建立索引。所有的网页内容都以按照排序算法从大到小的顺序排列好，所以，每所有的网页内容都以按照排序算法从大到小的顺序排列好，所以，每个字词的网页索引队列也是按照排序算法从大到小的排列。个字词的网页索引队列也是按照排序算法从大到小的排列。词库中所有字词

34、，都是按照词库中所有字词，都是按照Hash分布来排列，便于查询词分词后能分布来排列，便于查询词分词后能够快速找个各个词库中字词对于的网页结果够快速找个各个词库中字词对于的网页结果ID队列。队列。四、查询四、查询/存储技术、存储技术、Cache ServerCache Server介绍介绍(一一)查询查询/存储技术：存储技术：搜索引擎常规存储搜索引擎常规存储/查询步骤如下：查询步骤如下：(1)对搜索词进行分词处理，看能分出来多少个字词；对搜索词进行分词处理，看能分出来多少个字词；举例说明：举例说明：比如说用户的搜索词为比如说用户的搜索词为“北大搜索引擎北大搜索引擎”，系统在接到这个查询语句，系统

35、在接到这个查询语句后，对其进行查询词分词处理，分词后为后，对其进行查询词分词处理，分词后为“北大北大”+“搜索引擎搜索引擎”。用户查询词用户查询词北大搜索引擎北大搜索引擎北大北大+搜索引擎搜索引擎查询词分词后查询词分词后四、查询四、查询/存储技术、存储技术、Cache ServerCache Server介绍介绍(一一)查询查询/存储技术：存储技术：搜索引擎常规存储搜索引擎常规存储/查询步骤如下：查询步骤如下：(2)通过通过Hash查找到步骤查找到步骤(1)中各个字词的网页中各个字词的网页ID队列；队列；举例说明：举例说明：系统得到系统得到“北大北大”和和“搜索引擎搜索引擎”各自的各自的Has

36、h值，比如说值，比如说Hash值值“北大北大”为为256，“搜索引擎搜索引擎”为为1024，然后找到这两个词各自的网，然后找到这两个词各自的网页页ID队列，如下图所示两个队列为队列，如下图所示两个队列为“网页网页ID队列队列2”和和“网页网页ID队列队列4”。北大北大256256北京北京北大北大网页网页ID序列序列1网页网页ID序列序列2搜索引擎搜索引擎10241024搜索搜索搜索引擎搜索引擎网页网页ID序列序列3网页网页ID序列序列4四、查询四、查询/存储技术、存储技术、Cache ServerCache Server介绍介绍(一一)查询查询/存储技术：存储技术：搜索引擎常规存储搜索引擎常规

37、存储/查询步骤如下：查询步骤如下：(3)对步骤对步骤(2)中找到个各个网页中找到个各个网页ID队列做队列做“与与”、“或或”、“非非”的逻辑运的逻辑运 算；算；(4)获得最后的搜索结果网页获得最后的搜索结果网页ID队列。队列。举例说明：举例说明：“北大北大”和和“搜索引擎搜索引擎”对应队列为对应队列为“网页网页ID队列队列2”和和“网页网页ID队队列列4”，对这两个队列做，对这两个队列做“与与”运算。运算。北大北大网页网页ID序列序列21,3,5,9,11搜索引擎搜索引擎网页网页ID序列序列41,2,5,8,11与运算与运算1,5,11网页网页ID序列序列四、查询四、查询/存储技术、存储技术、

38、Cache ServerCache Server介绍介绍(一一)查询查询/存储技术：存储技术：搜索引擎常规存储搜索引擎常规存储/查询步骤如下：查询步骤如下：(5)完成分页显示处理，计算出最后要显示的各个网页完成分页显示处理，计算出最后要显示的各个网页ID队列队列(互联互联网搜索网页时一般每页显示网搜索网页时一般每页显示10条条,所以所以,这个数目最多为这个数目最多为10)，通过这，通过这些网页些网页ID，查找到相关的网页结构体存储内容，显示搜索结果给用，查找到相关的网页结构体存储内容，显示搜索结果给用户。户。举例说明：举例说明：“北大北大”和和“搜索引擎搜索引擎”是用户查询词进行分词出来的两个

39、词，在具是用户查询词进行分词出来的两个词，在具体的网页标题和网页内容摘要中，分别对这两个词做红色醒目标记。体的网页标题和网页内容摘要中，分别对这两个词做红色醒目标记。四、查询四、查询/存储技术、存储技术、Cache ServerCache Server介绍介绍(二二)Cache Server：WebServer在接受到搜索请求后，对搜索结果完成查询时分词处理，在接受到搜索请求后，对搜索结果完成查询时分词处理，然后向然后向“索引服务器索引服务器”发出查询请求，发出查询请求，“索引服务器索引服务器”返回结果；返回结果；WebServer对结果进行必要处理，然后向对结果进行必要处理，然后向“网页内容

40、网页内容”服务器通信，服务器通信，获得各个网页内容；最后获得各个网页内容；最后WebServer给用户显示搜索结果。给用户显示搜索结果。WebServer索引服务器索引服务器Index Server网页内容服务器网页内容服务器Page Content Server用户用户四、查询四、查询/存储技术、存储技术、Cache ServerCache Server介绍介绍(二二)Cache Server：在对用户行为进行分析后发现，非常多的查询词经常被用户查询，这在对用户行为进行分析后发现，非常多的查询词经常被用户查询，这些词被称为些词被称为“搜索高频词搜索高频词”。为此，设计出来。为此，设计出来Ca

41、che Server(CS)用于存用于存储这些高频词的搜索结果，每当后台系统更新后，这些高频词先进行储这些高频词的搜索结果，每当后台系统更新后，这些高频词先进行查询，然后把查询结果放到查询，然后把查询结果放到CS中，从而减少系统后台压力。中，从而减少系统后台压力。WebServer用户用户 CS索引服务器索引服务器Index Server网页内容服务器网页内容服务器Page Content Server四、查询四、查询/存储技术、存储技术、Cache ServerCache Server介绍介绍(二二)Cache Server：CS还可以部署在还可以部署在“索引服务器索引服务器”、“网页内容服

42、务器网页内容服务器”和和WebServer之间，提高这两个后台服务器的效率。之间，提高这两个后台服务器的效率。WebServer CS CS索引服务器索引服务器Index Server网页内容服务器网页内容服务器Page Content Server四、查询四、查询/存储技术、存储技术、Cache ServerCache Server介绍介绍(二二)Cache Server：CS自我定期更新策略自我定期更新策略:CS在其设计中，重点考虑其拦截率，所以，在其设计中，重点考虑其拦截率，所以，CS的自我定期更的自我定期更新策略就特别重要。新策略就特别重要。CS在其初始化阶段，其存储数据主要来在其初始化阶段，其存储数据主要来源于原来的日志统计结果；在源于原来的日志统计结果；在CS运行后，运行后，CS要实时监控当前要实时监控当前数据流，并定期进行自我更新，把那些没有被访问过或低访数据流，并定期进行自我更新，把那些没有被访问过或低访问率的数据删除，增加新增数据。问率的数据删除，增加新增数据。CS虽然可以提高数据访问时的速度，但如果设计出来的虽然可以提高数据访问时的速度，但如果设计出来的CS命中率过低的话，对整个系统效率还反而带来降低，所以命中率过低的话，对整个系统效率还反而带来降低，所以CS不能滥用，要结合系统实际负荷来设计和部署不能滥用，要结合系统实际负荷来设计和部署CS系统。系统。