中科院分词工具imdict chinese analyzer学习 java分词
下载链接http://ictclas.org/Down_OpenSrc.asp
简单介绍：
imdict-chinese-analyzer是 imdict智能词典的智能中文分词模块，作者高小平，算法基于隐马
尔科夫模型(Hidden Markov Model, HMM)，是中国科学院计算技术研究所的ictclas中文分词程序
的重新实现（基于Java），可以直接为lucene搜索引擎提供中文分词支持。
应用：
下到的压缩包解压后就是一个java工程，eclipse直接导入即可，但由于其开发的环境是UTF8所以
要将eclipse的工作空间的编码也设置为utf8，test包里面的AnalyzerTest就是其用法，看了以后
就可以直接用了
功能：中文分词、停止词过滤
优点：开源，分词速度快，效率高
缺点：不支持自己添加词库，不支持词性标注（开发人员自己说是为了提高速度），data文件夹仅
自带了两个字典coredict核心字典、bigramdict词关系字典，这是两个最重要的词典，没有地名和
人名的词典，所以要识别人名地名比较麻烦，据说要用层次hmm，先粗分在细分。
深入学习：主类是net.imdict.analysis.chinese中的ChineseAnalyzer.java它继承了lucene的
Analyzer类，有两个构造方法：public ChineseAnalyzer()、public ChineseAnalyzer
(Set<String> stopWords)第二个构造方法支持停用词，最重要的是tokenStream函数，它用了
SentenceTokenizer和new WordTokenizer，前一个是将文章分成句子，后一个是将句子分成单词，
单词和句子都是用Lucene的Token（词）的类存储的，（Token是一个抽象类，TokenStream是Token
类的子类，但也是一个抽象类，Tokenizer和TokenFilter则是TokenStream的具体实现，他们实现
了TokenStream的next()方法，Tokenizer的next方法返回的是原始的、切分出来的词，而
TokenFilter方法返回的是一个经过过滤的词条，他们结合起来形成Lucene分析器的核心结构）如
Token token = new Token()，然后通过token.reinit(buffer.toString(), tokenStart,
tokenEnd, "sentence");中间两个参数是Token存储的字符串的起止位置，以0开始计数，引用
token中字符串的函数是token.term()，真正调用分词核心算法的WordSegmenter的
segmentSentence方法对句子进行分词，在WordTokenizer类中调用它得到分词结果。在往下层的代
码我就没看了。
两个改动：
（1）ChineseAnalyzer只能对文件进行分词，如何对一个字符串进行分词，改动如下
/* TokenStream ts = ca.tokenStream("sentence", new InputStreamRe
相关文档：
jdk/bin目录下native2ascii.exe文件可以直接将中文转成unicode.
cmd进到bin目录下，运行native2ascii.exe。输入中文回车后就生成了unicode编码。
直接双击运也行，我在CMD下运行主要是为了方便将转换后的编码拷贝出来。
例：
cmd
cd C:\Java\jdk1.5.0_17
C:\Java\jdk1.5.0_17>native2ascii
蝇埋藏 &nb ......
有关Java对象的序列化和反序列化也算是Java基础的一部分，下面对Java序列化的机制和原理进行一些介绍。
Java序列化算法透析
Serialization（序列化）是一种将对象以一连串的字节描述的过程；反序列化deserialization是一种将这些字节重建成一个对象的过程。Java序列化API提供一种处理对象序列化的标准机制。在这� ......
JAVA核心技术观后感
这周大家都基本上买了一本《JAVA核心技术》来看，虽然我的书下周才能拿到，但是我还是翻了下别人的，大致了解了一下里面的内容。以下就是我粗糙的整理。
JAVA并不只是一种语言，而是一个完整的平台，有一个庞大的库，其中包含很多可以重用的代码和一个提供诸如安全性，跨操作系统的可移 ......
最近在学习java的框架，加深了对java一些设计模式的理解，例如模板方法模式、策略模式、代理模式和动态代理模式，发现学习理解servlet和jsp后很容易就学会了struts，学习jdbc后比较容易理解hibernate，本人还没开始学习spring。
对struts框架的理解：主要� ......
用spy和memcached for java两种方式对memcache进行操作
一、spy
package com.test.memcache;
import java.net.InetSocketAddress;
import java.util.concurrent.Future;
import net.spy.memcached.MemcachedClient;
/**
* 本类用的包是memcached-2.4.1.jar
* 下载地址： http://code.googl ......
