Logo 知识与财富的链接
基于双数组Trie树中文分词研究

基于双数组Trie树中文分词研究

ISSN:1007-1032
2009年第36卷第5期
赵欢,朱红权 ZHAO Huan,ZHU Hong-quan

对双数组Trie树(Double—ArrayTrie)分词算法进行了优化:在采用Trie树构造双数组Trie树的过程中,优先处理分支节点多的结点,以减少冲突;构造一个空状态序列;将冲突的结点放入Hash表中,不需要重新分配结点.然后,利用这些方法构造了一个中文分词系统,并与其他几种分词方法进行对比,结果表明,优化后的双数组Trie树插入速度和空间利用率得到了很大提高,且分词查询效率也得到了提高.

关键词: 自然语言处理双数组Trie树词典分词
认领
收 藏
点 赞
认领进度
0 %

发表评论

ISSN:1007-1032
2009年第36卷第5期

用户信息设置