SQL Server全文索引的个人总结(上) -关于中文分词
(2005-11-14 04:29:44)
转载
分类：深度研究
大家都知道LIKE查询很慢，全文索引就是事先做好相关的索引，表示哪个主题词可以在哪些记录里找到，甚至事先计算好RANK，检索时可以把相关度高的先列出来，这可以大大提高检索的速度。
打个比方，你有很多的小抽屉，每个抽屉里面放一些杂物，假如你要找东西，最原始的方法就是一个个抽屉翻，这就是没有索引的情况。
假如聪明一点，给抽屉编号(唯一键)，把哪个号码的抽屉有什么东西记录在纸上，找东西先看看这张纸，这就是普通索引，假如你要知道哪个抽屉有什么，你可以在纸上迅速找到抽屉号码(大家知道这是使用查找树)，然后得到相关的信息，这种情况普通索引是很快的；但是要找到一个特定的东西哪些抽屉有，你就要把整张纸遍历一次，这就是LIKE查询，假如你要找哪些抽屉同时有2种甚至更多种物品，LIKE就更加繁琐了。假如一个表有上千万的纪录，大家可以想象查询的代价。
可以换一个思路，另外找张纸，记录一样东西存在于哪些抽屉：
夹子:1,3,4,5,6,9,12...
钱币:2,3,4,7,12...
药丸:1,3,5,6...
这样找到某样东西或者某几样东西都很容易。
全文索引和普通的SQL索引有很多的区别：
普通 SQL 索引
全文索引
存储时受定义它们所在的数据库的控制。
存储在文件系统中，但通过数据库管理。
每个表允许有若干个普通索引。
每个表只允许有一个全文索引。
当对作为其基础的数据进行插入、更新或删除时，它们自动更新。
将数据添加到全文索引称为填充，全文索引可通过调度或特定请求来请求，也可以在添加新数据时自动发生。
不分组。
在同一个数据库内分组为一个或多个全文目录。
使用 SQL Server 企业管理器、向导或 Transact-SQL 语句创建和除去。
使用 SQL Server 企业管理器、向导或存储过程创建、管理和除去。
使用全文索引的话，可以看看下面的帖子(感谢大力和lihonggen0)：
???? 如何在sqlserver中建立全文索引：
???? http://www.csdn.net/develop/Read_Article.asp?Id=17137
???
???? 如何使用image字段：
???? http://expert.csdn.net/Expert/topic/1594/1594455.xml
发现大家有一个常问的问题，就是关于以下的信息的:
查询子句只包含被忽略的词
这是因为使用一些很简单的词，比如'是'，进行查询的缘故。
提出的解决办法不外乎是把C:\Program Files\Microsoft SQL Server\MSSQL\FTDATA\SQLServe
/// <summary>
/// 过滤标记
/// </summary>
/// <param name="NoHTML">包括HTML，脚本，数据库关键字，特殊字符的源码 </param>
/// <returns>已经去除标记后的文字</returns>
&nbs ......
