python入门之jieba库的使用

对于一段英文,如果希望提取其中的的单词,只需要使用字符串处理的split()方法即可,例如“China is a great country”。

然而对于中文文本,中文单词之间缺少分隔符,这是中文及类似语言独有的“分词问题”。

jieba(“结巴”)是python中一个重要的第三方中文分词函数库。jieba库是第三方库,不是python安装包自带的,因此,需要通过pip指令安装。

Windows 下使用命令安装:在联网状态下,在命令行下输入 pip install jieba 进行安装,安装完成后会提示安装成功 。

  • jieba分词的三种模式 

精确模式、全模式、搜索引擎模式 

精确模式:把文本精确的切分开,不存在冗余单词
         -  全模式:把文本中所有可能的词语都扫描出来,有冗余

搜索引擎模式:在精确模式基础上,对长词再次切分

  •  jieba库常用函数

  •  举例如下

jieba._lcut("中华人民共和国是一个伟大的国家")

jieba._lcut("中华人民共和国是一个伟大的国家",cut_all=True)

jieba._lcut_for_search("中华人民共和国是一个伟大的国家")

运行结果:

我来评几句
登录后评论

已发表评论数()

相关站点

热门文章