java 分析器解析
深未来技术
1、语汇单元的组成：
1）经过分析产生的基本单元。在索引时，Lucene使用特定的分析器来处理需要被语汇单元化的指定域，并将每个语汇单元以项的形式写入索引。
2）起点偏移量是指语汇单元文本的起始字符在原广西中的位置，而终点的偏移量则表示语汇单元终止字符的下一个位置。
3）文本被语汇单元化后，相对于前一语汇单元的位置信息被保存为位置增量值。所有的内置语汇单元将位置增量的默认值设置为1，表示所有语汇单元是连续的，位置上是一个紧接一个的。
2、语汇单元转换为项
1）当文本在索引过程中经过分析后，每个语汇单元做为一个项被传递给索引。
2）位置增量是语汇单元携带到索引中的惟一的附加元数据。
3）起点和终点偏移量和语汇单元类型都被抛弃了-这些元数据仅在分析过程中使用。
4）位置增量使得当前语汇单元和前一个语汇单元 联系起来。位置增量为1，表示每个单词存于域中唯一且连接的位置。
5）位置增量大于1，允许单词之间有空隙。比如说这些空隙上的被分析器删除
6）位置增量为0的语汇单元，会将该语汇单元放置在前一个语汇单元的位置上。通常用于表示单词的同义词。
3、TokenStream（基类包括next()和close()方法 ）
1）2个不同的子类
A)Tokenizer：将Reader对象中的数据切分为语汇单元。将String对象包装在StringReader中，进行语汇单元的切分。处理单个字符。
具体又有以下子类：
a)CharTokenizer：其他基于字符的Tokenizer类的父类，包含抽象方法isTokenChar()。当isTokenChar()==true时，输出连续的语汇单元块。该类能对字符规格化处理。Token对象限制的最大字符个数为255个
b)WhitespaceTokenizer：isTokenChar()值为true时的CharTokenizer子类，用于处理所有非空格的字符
c)LetterTokenizer:isTokenChar()值为true并且Character.isLetter()值为true时的CharTokenizer类
d)LowCaseTokenizer：将所有字符小写化的LetterTokenizer
e)StandardTokenier:复杂的基于语法的语汇单元切分器，用于输出高级类型的语汇单元，如E-MAIL地址等。每个输出的语汇单元标记为一个特殊类型，这些类型中的一部分需要使用StandardFilter类特殊处理。
B)TokenFilter：允许你将多个TokenStream对象连接在一起。一个TokenStream对象被传递给TokenFilter时，由TokenFilter对其进行增加、删除和更改等，用于处理单词。
a)LowerCaseFilter:将语汇单元文本转换为小写形式
b)StopFilter：移除指定集合中的信用词
c)PorterStemFilter
相关文档：
Java学习从入门到精通
一、 JDK (Java Development Kit)
JDK是整个Java的核心，包括了Java运行环境（Java Runtime Envirnment），一堆Java工具和Java基础的类库(rt.jar)。不论什么Java应用服务器实质都是内置了某个版本的JDK。因此掌握JDK是学好Java的第一步。最主流的J ......
一：准备 www.savarese.org download
1. rocksaw-1.0.0-src.tar.gz
2. vserv-tcpip-0.9.2-src.tar.gz
二：编译源文件得到jar包 使用Ant
1. build vserv-tcpip-0.9.2-src
在vserv-tcpip-0.9.2目录下面建一个tests目录，然后在cmd窗口下进入 ......
使用Java编写Telnet客户端
2009-12-24
Kagula
环境
[1]Eclipse3.4.2
[2]JDK 1.6.x
[3] jta26.jar
可从下面网址下载这个Jar包
http://javassh.org/space/start
概要
通过两个例子，介绍Telnet客户端的编写
正文
例子一：向OPhone虚拟机发送� ......
软回车（Soft Return）：软回车是在字处理程序中作为自动移行功能的一部分自动插入的，也叫换行符，在word中看不见。如果文本一行的长度超过文档所定义的右边距时，即当前行没有足够的空间放置下一个字符时，文字处理软件将在这一行文本的末尾自动插入一个软回车符，文本另起一行。这个软回车符是由编辑程序自动产生的，叫� ......
