简单的asp分词算法（正向最大匹配）

最近写站内搜索，所以研究了一下算法，该算法的原理如图显示。
以下是一个用asp写的简单的分词程序主要的代码，词库我已经用access建立好了。
如果要注重效率，MarLen的选取很是重要，否则效率会十分低下，这里MarLen我选取的是5。
 
dim faword : faword = ""
do while (len(fword) > 0)
tword = left(fword,5)
'response.write "tword--->" & tword & "<br />"
tlen = len(tword)
do while (tlen > 0)
fw = left(tword,tlen)
'response.write "fw--->" & fw & "<br />"
sql = "select fword from dict where fword='" & fw & "'"
set rsfff = connf.execute(sql)
if not rsfff.eof or tlen=1 then
faword = faword & fw & ","
'response.write fw & "<br />"
exit do
end if
tlen = tlen - 1
loop
'response.write "tlen--->" & tlen & "<br />"
fword = mid(fword,tlen+1)
'response.write "fword--->" & fword & "<br />"
loop
connf.close
dim querywords : querywords = split(faword,",")
querywords是保存关键词的数组。
分词就到这里了，对于如何利用分词的结果在数据库中查找结果也是值得研究的。
我这里用了清一色的“like”，“or” sql语句，效果不是很理想。
希望大家能够留言讨论。