SQL Server全文索引的个人总结(下) 关于中文分词
SQL Server全文索引的个人总结(下)-关于中文分词
(2005-11-14 04:32:01)
转载
分类：深度研究
在使用SQL Search的过程中，还发现了一个问题：它对中文，是按字分词的，下面我解释一下：
比如对'博客堂成员很多是MVP'这句话，假如一个个的字的作索引，会比使用'博客堂','成员',MVP'几个词作索引生成的索引大很多，这样不仅浪费空间，也影响索引的效率和准确度。假如英文是按照字母而不是单词作索引，估计世界上如今就没有全文索引，也没有google了。
但是中文在分词上，相比英文有天然的屏障，英文的单词之间有间隔，但是中文不是，必须使用计算机的人工智能把句子分成一个个的词，有些时候，根据句子本身还不够，还必须根据上下文，或者一些日常知识才能判断。比如 乒乓球拍/卖/完了 和 乒乓球/拍卖/完了 ，电脑咋能知道是哪个意思并正确分词呢！
根据使用的结果，SQL Search对中文使用的应该是按字分词(可能是因为原来是英文引擎的缘故)，比方说你要查'马克'，它会把'马克思'也给你倒腾出来。
我的一个123M的数据库，全文索引有55M，每次全文查询都比较慢(当然机器也很次)。
--------------------------------------------------------------------------------------------------
关于按字分词：
应该还是怡红公子的说法比较妥当，大家看看这个句子：
操作系统能否用汇骗语言改写限制它对每个端口的使用率
为了验证分词，故意使用错误的分词，假如都可以索引出该句子，就说明是按字分词的。比如使用 '用汇' ?查询，也可以查出句子，所以得出了SQLServer按字分词的结论，我没有进一步检查，但是现在发现使用'写限'，使用'统能'就无法查出来了，证明SQLServer中还是有简单分词的，只是分词结果不理想。
此外，SQLServer还可以使用第三方的产品增强分词的能力。
--------------------------------------------------------------------------------------------------
假如对分词有兴趣的朋友，这里有一些代码可以看，使用发现分词正确率还是很高的，不过要注册才可以得到：http://www.nlp.org.cn/project/project.php?proj_id=6
发表于 2004年3月19日 11:22
不光有，我们还可以在程序中使用（不过我记不太清楚SQL Server Fulltext用的索引是不是和Index Server一样了）：
using System;
using System.Runtime.InteropServices;
namespace FullTextAPI
{
[Flags]
public enum WordBreakType //
相关文档：
来自：http://www.cnblogs.com/morningwang/archive/2009/01/02/1367277.html
有关分页 SQL 的资料很多，有的使用存储过程，有的使用游标。本人不喜欢使用游标，我觉得它耗资、效率低；使用存储过程是个不错的选择，因为存储过程是经过预编译的，执行效率高，也更灵活。先看看单条 SQL 语句的分页 SQL 吧。
方法1：
适用 ......
SQLServer时间日期函数详解,SQLServer,时间日期,
1. 当前系统日期、时间
select getdate()
2. dateadd 在向指定日期加上一段时间的基础上，返回新的 datetime 值
例� ......
Load the SQL Server 2005 Driver for JDBC before you load the SQL Server 2000 Driver for JDBC. To do this, use the DriverManager class as in the following code example.
Class.forName("com.microsoft.sqlserver.jdbc.SQLServerDriver"); // 2005 version
Class.forName("com.microsoft.jdbc.sqlserver.SQLSe ......
下列语句部分是Mssql语句，不可以在access中使用。
SQL分类：
DDL—数据定义语言(Create，Alter，Drop，DECLARE)
DML—数据操纵语言(Select，Delete，Update，Insert)
DCL—数据控制语言(GRANT，REVOKE，COMMIT，ROLLBACK)
首先,简要介绍基础语句：
1、说明：创建数据库
Create&nb ......
从A表随机取10条记录,用SELECT TOP 10 * from ywle order by newid()
order by 一般是根据某一字段排序,newid()的返回值 是uniqueidentifier ,order by newid()随机选取记录是如何进行的
newid()在扫描每条记录的时候都生成一个值, 而生成的值是随机的, 没有大小写顺序. 所以最终结果再按这个排序, 排序的结果当然就是� ......
