Database Archive

1. Sphinx简介

1.1. 什么是全文检索
全文检索是指以文档的全部文本信息作为检索对象的一种信息检索技术。检索的对象有可能是文章的标题，也有可能是文章的作者，也有可能是文章摘要或内容。

1.2. 介绍
Sphinx是一个基于SQL的全文检索引擎，可以结合MySQL,PostgreSQL做全文搜索，它可以提供比数据库本身更专业的搜索功能，使得应用程序更容易实现专业化的全文检索。Sphinx特别为一些脚本语言设计搜索API接口，如PHP,Python,Perl,Ruby等，同时为MySQL也设计了一个存储引擎插件。

1.3. Sphinx的特性
高速索引 (在新款CPU上,近10 MB/秒);
高速搜索 (2-4G的文本量中平均查询速度不到0.1秒);
高可用性 (单CPU上最大可支持100 GB的文本,100M文档);
提供良好的相关性排名
支持分布式搜索;
提供文档摘要生成;
提供从MySQL内部的插件式存储引擎上搜索
supports boolean, phrase, and word proximity queries;
支持每个文档多个全文检索域(默认最大32个);
支持每个文档多属性;
支持断词;
支持单字节编码与UTF-8编码;
supports English stemming, Russian stemming, and Soundex for morphology;
支持MySQ(MyISAM和InnoDB 表都支持);
支持PostgreSQL.
 

2. Sphinx安装(For MySQL)
2.1. Windows下安装
从http://dev.mysql.com上下载MySQL5.0.45版安装配置好MySQL，采用utf-8字符集
从Sphinx官网上http://www.sphinxsearch.com/downloads.html下载mysql-5.0.45-sphinxse-r871-win32.zip和sphinx-0.9.8-svn-r985-win32.zip
如果您的MySQL服务已启动请先停止掉
解压mysql-5.0.45-sphinxse-r871-win32.zip，将里面bin与share目录覆盖掉你的mysql安装目录下的相应目录
解压sphinx-0.9.8-svn-r985-win32.zip ，将里面的文件解压到D:\sphinx
sphinx的配置与实际应用是相关的，因此以下我以例子进行说明，至此sphinx安装部分结束
2.2. Linux下安装
下载mysql-5.1.22-rc.tar.gz解压至/root/mysql-5.1.22
下载sphinx-0.9.8-svn-r985.tar.gz，解压至/root/sphinx-0.9.8-svn-r985
将/root/sphinx-0.9.8-svn-r985/mysqlse下的文件复制至/root/mysql-5.1.22/storage/sphinx
在/root/mysql-5.1.22目录下运行 

然后进入mysql命令行，运行show engines，看是不是有一个叫sphinx的engine，有的话就表示sphinxSE（mysql的sphinx引擎）安装正常了
进入/root/sphinx-0.9.8-svn-r985，运行 

 

3. 实例说明
为更好说明如何应用Sphinx，现结合实例说明，我们以网站的新闻文章表为例。我们想要对新闻文章表进行全文检索（主要是标题与内容），新闻文章表的相关信息如下：

 

在这个表中，我主要想对标题（TITLE）与内容（CONTENTS）字段进行全文检索，在检索过程中可能我会根据文章的栏目(CATALOGID)，编辑（EDITUSERID），时间段（ADDTIME）进行条件性的全文检索，然后可能会根据主键ID（ARTICLESID），人气（HITS）进行排序显示，如何配置Sphinx来实现呢？

4. Sphinx配置
sphinx是以sphinx.conf为配置文件，索引与搜索均以这个文件为依据进行，要进行全文检索，首先就要配置好sphinx.conf，告诉sphinx哪些字段需要进行索引，哪些字段需要在where,orderby,groupby中用到。

安装完Sphinx后，在D:/sphinx目录有一个sphinx.conf.in，这个相当于sphinx的配置例子文件，我们以这个文件为蓝本，重新创建一个空白内容的sphinx.conf，存放在d:/sphinx根目录。
sphinx.conf的内容组成 

source 源名称1{
…
}
index 索引名称1{
source=源名称1
…
}
source 源名称2{
…
}
index 索引名称2{
source = 源名称2
…
}
indexer{
…
}
searchd{
…
}

提示：从组成我们可以发现sphinx可以定义多个索引与数据源，不同的索引与数据源可以应用到不同表或不同应用的全文检索。

根据前面的实例，我们配置出我们需要的sphinx.conf，如下： 

相关配置项说明： 
Source部分配置项说明 
#type 数据库类型，目前支持mysql与pgsql
#strip_html 是否去掉html标签
#sql_host 数据库主机地址
#sql_user 数据库用户名
#sql_pass 数据库密码
#sql_db 数据库名称
#sql_port 数据库采用的端口
#sql_query_pre 执行sql前要设置的字符集，用utf8必须SET NAMES utf8
#sql_query 全文检索要显示的内容，在这里尽可能不使用where或group by，将where与
 groupby的内容交给sphinx，由sphinx进行条件过滤与groupby效率会更高
#注意：select 出来的字段必须至少包括一个唯一主键(ARTICLESID)以及要全文检索的
  字段，你计划原本在where中要用到的字段也要select出来
#这里不用使用orderby
#sql_attr_开头的表示一些属性字段，你原计划要用在where,orderby,groupby中的字段要
 在这里定义
#根据我们原先的SQL:

#我们需要对catalogid,edituserid,addtime,hits进行属性定义(这四个字段也要在select的
字段列表中)，定义时不同的字段类型有不同的属性名称，具体可以见sphinx.conf.in中的说明

index部分配置项说明 
#source 数据源名
#path 索引记录存放目录，如d:/sphinx/data/cgfinal,实际存放时会存放在d:/sphinx/data目
录，然后创建多个cgfinal名称，不同扩展名的索引文件。
#其他的配置如min_word_len,charset_type,charset_table,ngrams_chars,ngram_len这些则是支
持中文检索需要设置的内容。
#如果检索的不是中文，则charset_table,ngrams_chars,min_word_len就要设置不同的内容，具
体官方网站的论坛中有很多，大家可以去搜索看看。

5. 运行Sphinx
 

首先要对数据进行索引或重建索引 
进入命令行，运行d:/sphinx/bin/release/indexer --config d:/sphinx/sphinx.conf cgfinal
如果您在sphinx.conf中配置了多个数据源，想一次性全部索引则d:/sphinx/bin/release/indexer --config d:/sphinx/sphinx.conf --all
如果只是想对某个数据源进行索引，则d:/sphinx/bin/release/indexer --config d:/sphinx/sphinx.conf 索引名称(这里的索引名称是你在sphinx.conf中定义的索引名称)
 

运行检索守护进程searchd进入命令行，运行d:/sphinx/bin/release/searchd --config d:/sphinx/sphinx.conf，此时系统会在3312端口侦听mysql的全文检索请求，所以如果您的mysql与sphinx不在同一台机器，要保证3312端口不被防火墙阻隔。
 

6. 搜索（翻译）

6.1. 匹配模式
 

SPH_MATCH_ALL，匹配所有查询词（缺省模式）
SPH_MATCH_ANY，匹配任意查询词
SPH_MATCH_PHRASE，短语匹配
SPH_MATCH_BOOLEAN，布尔表达式匹配
SPH_MATCH_EXTENDED，查询匹配一个Sphinx内部查询语言表达式
 

6.2. 布尔查询语法(Boolean query syntax)
布尔查询允许使用下面特殊操作符：

AND：hello & world
OR：hello | world
NOT：hello -world或hello !world
Grouping：(hello world)
举一个使用这些操作符的例子：

( cat -dog ) | ( cat -mouse)

AND是一个隐式操作符，“hello world”就相当于“hello & world”。

OR的优先级高于AND，所以“looking for cat | dog | mouse”的意思是“looking for (cat | dog | mouse)”而不是“(looking for cat) | dog | mouse”

象“-dog”这种隐式地包含了所有查询记录，是不会被执行的。这主要是考虑到技术上与性能上的原因，从技术上来说，sphinx不能总保持所有文章的ID列表，性能上来说，当结果集巨大（10-100M），执行这样的查询将费耗较长时间。

6.3. 扩展查询语法(Extended query syntax)
扩展查询允许合我下面特殊操作符：

操作符OR：hello | world
操作符NOT：hello -world或hello !world
字段搜索操作符：@title hello @body world
短语(phrase)搜索符："hello world"
临近(proximity)搜索符："hello world"~10
举例：

"hello world" @title "example program"~5 @body python -(php|perl)

AND是一个隐式操作符，"hello world"表示hello与world都要出现在匹配的记录中。

OR的优先级高于AND，所以“looking for cat | dog | mouse”的意思是“looking for (cat | dog | mouse)”而不是“(looking for cat) | dog | mouse”

临近距离在串中标明了，主要是用来调整单词数量，应用在引号中的所有查询字串。"cat dog mouse"~5表示包括这三个单词在内，总共不能多于8个单词的间隔。比如"CAT aaa bbb ccc DOG eee fff MOUSE"就不能匹配这个查询，因为单词间隔刚好是8个。

象aaa | ( bbb ccc | ( ddd eee ) )这样的括号嵌套查询目前还不支持，但以后会修正的。

否定（如NOT）只允许出现在顶层，不允许出现在括号内（如groups）。这点是不会改变的。因为支持否定嵌套查询会让短语排序(phrase ranking)的实现变得过于复杂。

6.4. 权重(匹配度，Weight)
采用什么权重功能取决于搜索模式（Search mode）

在权重函数中，有两个主要部分：（短语排名）phrase rank和statistical rank（统计排名）

短语排名是基于搜索词在文档和查询短语中的最长公共子序列(LCS)的长度。所以如果在记录中有切确的短语匹配，记录的短语排名将有可能是最高的，等于查询单词的总个数。

统计排名是建立在经典的BM25算法基础之上，它只考虑词频。词在全部文档集合中以低的频度出现或高频度出现在匹配的文档中，那么它获得的权重就越大，最终的BM25权重是一个介于0到1之间的小数。

好的子短语匹配得到好的排名,最好的匹配放到最顶端。Sphinx作者的经验是：基于排名的密切短语比其它任何单独的统计方式表现出较好的搜索质量。

在SPH_MATCH_BOOLEAN 模式中，不需要计算权重，每条匹配记录的权重都是1

在SPH_MATCH_ALL和SPH_MATCH_PHRASE模式中，最终的权重是短语排名权重的总和

（TOFIX:翻译不畅）在SPH_MATCH_ANY模式中，本质上是一样的，但它也增加了每个字段的匹配单词数量，在这之前，短语排名权重乘以一个足够大的值以保证在任意一个字段的较高短语排名可以匹配排名较高者，即使它的字段权重比较低。

在SPH_MATCH_EXTENDED模式中，最终的权重是短语权重和BM25权重的总和，再乘以1000取整。

7. 如何调用Sphinx
按上面配置，第5节点对数据库进行了索引，通过Sphinx自带的search（在bin/release目录）就可以在命令行进行搜索：

 

应用程序如果想调用Sphinx，可以从两个方面：

一是通过Sphinx官方提供的API接口（接口有Python，Java，Php三种版本）
二是通过安装SphinxSE（具体见1.2部分），然后创建一个中介sphinxSE类型的表，再通过执行特定的SQL语句实现。
通过官方API调用Sphinx（以PHP为例）在sphinx安装目录有一个API目录，里面有三个PHP文件：test.php，test2.php和sphinxapi.php。sphinxapi.php是sphinx调用接口封装文件，test.php是一个在命令行下执行的查询例子文件，test2.php是一个生成摘要的例子文件。
在命令下行运行test.php（Linux上没有API目录，需要从源程序包中复制api目录至/usr/local/sphinx）

Sphinx的API查询接口主要有这些内容(其实对照 一下sphinxapi.php就清楚了)：

$cl->Query()返回的内容print_r后大概是：

从上面可以看出Query并不能全部取得我们想要的记录内容，比如说Title,Contents字段就没有取出来，根据官方的说明是sphinx并没有连到mysql去取记录，只是根据它自己的索引内容进行计算，因此如果想用sphinxAPI去取得我们想要的记录，还必须将Query的结果为依据去查询MySQL才可以得到最终我们想要的结果集。

test2.php是一个摘要生成的例子文件，如果你的本地机器已装好sphinx，php运行环境，你可以通过浏览器看查看test2.php的运行效果。

假设我要搜索关键词"test"，通过sphinx可以取到搜索结果，在显示搜索结果时，我希望将含有"test"的进行红色或加粗显示，同时，我不希望全部都显示出来，只需要显示一段摘要，就象google或百度那样，搜出来的结果不是全篇显示，只是部分显示，这个就是摘要的作用。

以test2.php中为例，以下是test2.php的代码：