R语言中文分词 jiebaR
本文导语: "结巴"中文分词的R语言版本，支持最大概率法（Maximum Probability），隐式马尔科夫模型（Hidden Markov Model），索引模型（QuerySegment），混合模型（MixSegment），共四种分词模式，同时有词性标注，关键词提取，文本Simhash相似度比较...
"结巴"中文分词的R语言版本，支持最大概率法（Maximum Probability），隐式马尔科夫模型（Hidden Markov Model），索引模型（QuerySegment），混合模型（MixSegment），共四种分词模式，同时有词性标注，关键词提取，文本Simhash相似度比较等功能。项目使用了Rcpp和CppJieba进行开发。
特性
支持 Windows , Linux操作系统（Mac 暂未测试）。
通过Rcpp Modules实现同时加载多个分词系统,可以分别使用不同的分词模式和词库。
支持多种分词模式、中文姓名识别、关键词提取、词性标注以及文本Simhash相似度比较等功能。
支持加载自定义用户词库，设置词频、词性。
同时支持简体中文、繁体中文分词。
支持自动判断编码模式。
比原"结巴"中文分词速度快，是其他R分词包的5-20倍。
安装简单，无需复杂设置。
可以通过Rpy2，jvmr等被其他语言调用。
基于MIT协议。
目前该包还没有发布到CRAN，可以通过Github进行安装。Windows系统需要安装 Rtools，或者可以下载二进制包，进行安装：
library(devtools)
install_github("qinwf/jiebaR")使用示例分词jiebaR提供了四种分词模式，可以通过jiebar()来初始化分词引擎，使用segment()进行分词。
library(jiebaR) ## 接受默认参数，建立分词引擎 mixseg = worker() ## 相当于： ## jiebar( type = "mix", dict = "inst/dict/jieba.dict.utf8", ## hmm = "inst/dict/hmm_model.utf8", ### HMM模型数据 ## user = "inst/dict/user.dict.utf8") ### 用户自定义词库 mixseg
您可能感兴趣的文章:
本站(WWW.)站内文章除注明原创外，均为转载、整理或搜集自网络。欢迎任何形式的转载，转载请注明出处。