SQL Server全文索引的个人总结(下) 关于中文分词
SQL Server全文索引的个人总结(下)-关于中文分词
(2005-11-14 04:32:01)
转载
分类：深度研究
在使用SQL Search的过程中，还发现了一个问题：它对中文，是按字分词的，下面我解释一下：
比如对'博客堂成员很多是MVP'这句话，假如一个个的字的作索引，会比使用'博客堂','成员',MVP'几个词作索引生成的索引大很多，这样不仅浪费空间，也影响索引的效率和准确度。假如英文是按照字母而不是单词作索引，估计世界上如今就没有全文索引，也没有google了。
但是中文在分词上，相比英文有天然的屏障，英文的单词之间有间隔，但是中文不是，必须使用计算机的人工智能把句子分成一个个的词，有些时候，根据句子本身还不够，还必须根据上下文，或者一些日常知识才能判断。比如 乒乓球拍/卖/完了 和 乒乓球/拍卖/完了 ，电脑咋能知道是哪个意思并正确分词呢！
根据使用的结果，SQL Search对中文使用的应该是按字分词(可能是因为原来是英文引擎的缘故)，比方说你要查'马克'，它会把'马克思'也给你倒腾出来。
我的一个123M的数据库，全文索引有55M，每次全文查询都比较慢(当然机器也很次)。
--------------------------------------------------------------------------------------------------
关于按字分词：
应该还是怡红公子的说法比较妥当，大家看看这个句子：
操作系统能否用汇骗语言改写限制它对每个端口的使用率
为了验证分词，故意使用错误的分词，假如都可以索引出该句子，就说明是按字分词的。比如使用 '用汇' ?查询，也可以查出句子，所以得出了SQLServer按字分词的结论，我没有进一步检查，但是现在发现使用'写限'，使用'统能'就无法查出来了，证明SQLServer中还是有简单分词的，只是分词结果不理想。
此外，SQLServer还可以使用第三方的产品增强分词的能力。
--------------------------------------------------------------------------------------------------
假如对分词有兴趣的朋友，这里有一些代码可以看，使用发现分词正确率还是很高的，不过要注册才可以得到：http://www.nlp.org.cn/project/project.php?proj_id=6
发表于 2004年3月19日 11:22
不光有，我们还可以在程序中使用（不过我记不太清楚SQL Server Fulltext用的索引是不是和Index Server一样了）：
using System;
using System.Runtime.InteropServices;
namespace FullTextAPI
{
[Flags]
public enum WordBreakType //
相关文档：
下列语句部分是Mssql语句，不可以在access中使用。
SQL分类：
DDL—数据定义语言(Create，Alter，Drop，DECLARE)
DML—数据操纵语言(Select，Delete，Update，Insert)
DCL—数据控制语言(GRANT，REVOKE，COMMIT，ROLLBACK)
首先,简要介绍基础语句：
1、说明：创建数据库
Create&nb ......
--Excel导入SQL SERVER中
--表结构不存在可以使用
--启用Ad Hoc Distributed Queries：
exec sp_configure 'show advanced options',1
reconfigure
exec sp_configure 'Ad Hoc Distributed Queries',1
reconfigure
select * into serv_user_bak1 from
OpenRowSet('microsoft.jet.oledb.4.0','Excel 8.0;HDR=yes;dat ......
一、数据库版本
数据压缩在Sql Server 2008上才支持，2005不行，并且还要是企业版。我常常忘了这一点，在2005的Studio上闹出语法错误的状况，折腾浪费了好一阵才醒悟过来。
二、压缩状况
大约可以节省20%-50%的空间，并且行压缩和页压缩有所区别。
但让我失望的是，像含有Varchar(max),xml这种字段类型的，反而似乎压 ......
定义操作员
SQL Server代理完成一个作业后，通知操作员的方法有多种。
例如，通过命令系统把相应的消息写入Windows NT事件日志中，以便通知系统管理员反复读取此日志。
另外一种更好的选择就是使用电子邮件、传呼机或网络传送把警报消息通知给操作员。操作员是SQL Server代理发送消息的接收者，操作员可以在一个作业之前 ......
警报管理
作业执行时，SQL Server错误消息的信息存放在Windows事务日志中。SQL Server代理读取这个日志，并比较存储的消息与为系统定义的警报，如果匹配，SQL Server代理激活该警报，所以，警报可以用于响应潜在的问题(如填满事务日志)。当警报被触发时，通过电子邮件或者寻呼通知操作员，从而让操作员了解系统中发生了什� ......
