中科院分词工具imdict chinese analyzer学习 java分词
下载链接http://ictclas.org/Down_OpenSrc.asp
简单介绍：
imdict-chinese-analyzer是 imdict智能词典的智能中文分词模块，作者高小平，算法基于隐马
尔科夫模型(Hidden Markov Model, HMM)，是中国科学院计算技术研究所的ictclas中文分词程序
的重新实现（基于Java），可以直接为lucene搜索引擎提供中文分词支持。
应用：
下到的压缩包解压后就是一个java工程，eclipse直接导入即可，但由于其开发的环境是UTF8所以
要将eclipse的工作空间的编码也设置为utf8，test包里面的AnalyzerTest就是其用法，看了以后
就可以直接用了
功能：中文分词、停止词过滤
优点：开源，分词速度快，效率高
缺点：不支持自己添加词库，不支持词性标注（开发人员自己说是为了提高速度），data文件夹仅
自带了两个字典coredict核心字典、bigramdict词关系字典，这是两个最重要的词典，没有地名和
人名的词典，所以要识别人名地名比较麻烦，据说要用层次hmm，先粗分在细分。
深入学习：主类是net.imdict.analysis.chinese中的ChineseAnalyzer.java它继承了lucene的
Analyzer类，有两个构造方法：public ChineseAnalyzer()、public ChineseAnalyzer
(Set<String> stopWords)第二个构造方法支持停用词，最重要的是tokenStream函数，它用了
SentenceTokenizer和new WordTokenizer，前一个是将文章分成句子，后一个是将句子分成单词，
单词和句子都是用Lucene的Token（词）的类存储的，（Token是一个抽象类，TokenStream是Token
类的子类，但也是一个抽象类，Tokenizer和TokenFilter则是TokenStream的具体实现，他们实现
了TokenStream的next()方法，Tokenizer的next方法返回的是原始的、切分出来的词，而
TokenFilter方法返回的是一个经过过滤的词条，他们结合起来形成Lucene分析器的核心结构）如
Token token = new Token()，然后通过token.reinit(buffer.toString(), tokenStart,
tokenEnd, "sentence");中间两个参数是Token存储的字符串的起止位置，以0开始计数，引用
token中字符串的函数是token.term()，真正调用分词核心算法的WordSegmenter的
segmentSentence方法对句子进行分词，在WordTokenizer类中调用它得到分词结果。在往下层的代
码我就没看了。
两个改动：
（1）ChineseAnalyzer只能对文件进行分词，如何对一个字符串进行分词，改动如下
/* TokenStream ts = ca.tokenStream("sentence", new InputStreamRe
相关文档：
2008 年 6 月 24 日
原文地址： http://www.ibm.com/developerworks/cn/data/library/techarticles/dm-0806wangys/
本文介绍 IBM FileNet P8 4.0 Platform 提供的 Content Java API。首先对 FileNet P8 Content Engine 和 API 进行概要介绍, 并说明了一些基本概念，随后详细介绍了 FileNet Content Engine提供的基于 EJB ......
答案隐藏了，Ctrl+A显示。建议先思考一下结果，然后运行代码试验。也许你会恍然大悟。
1、找奇数：
view plaincopy to clipboardprint?
public static boolean isOdd(int i){
return i % 2 == 1;
}
public static boolean isOdd(int i){
return i % 2 == 1;
}
上面的方法真的能找� ......
1、创建了一个对象后： （1）没有在适当的地方释放掉 （2）在应该释放的地方没有做释放操作 例如：下面一段程序： m_progressDlg = ProgressDialog.show(this, getString(R.string.market),getString(R.string.is_visiting), true);
new Thread() {
public void run() {
......
jdk/bin目录下native2ascii.exe文件可以直接将中文转成unicode.
cmd进到bin目录下，运行native2ascii.exe。输入中文回车后就生成了unicode编码。
直接双击运也行，我在CMD下运行主要是为了方便将转换后的编码拷贝出来。
例：
cmd
cd C:\Java\jdk1.5.0_17
C:\Java\jdk1.5.0_17>native2ascii
蝇埋藏 &nb ......
最近在学习java的框架，加深了对java一些设计模式的理解，例如模板方法模式、策略模式、代理模式和动态代理模式，发现学习理解servlet和jsp后很容易就学会了struts，学习jdbc后比较容易理解hibernate，本人还没开始学习spring。
对struts框架的理解：主要� ......
