您好,欢迎来到五一七教育网。
搜索
您的当前位置:首页jieba—第三方中文分词函数库

jieba—第三方中文分词函数库

来源:五一七教育网

jieba是Python中一个重要的第三方中文分词函数库,能够将一段中文文本分割成中文词语的序列。

jieba安装命令,在cmd中输入pip install jieba

jieba共有三种模式:

1,精确模式:将句子最精确地切开,适合文本分析

2,全模式:把句子中所有可以成词的词语都扫描出来,速度非常快,但是不能解决歧义

3,搜索引擎模式:在精确模式基础上,对长词再次切分,提高召回率,适合用于搜索引擎分词

jieba常用的分词函数
函数描述
jieba.lcut(s)精确模式,返回一个列表类型
jieba.lcut(s,cut_all=True)全模式,返回一个列表类型
jieba.lcut_for_search(s)搜索引擎模式,返回一个列表类型
jieba.add_word(w)像分词词典中添加新词w

1,jieba.lcut(s)是最常用的中文分词函数,用于精确模式,即将字符串分割成等量的中文词组,返回结果是列表类型

 2,jieba.lcut(s,cut_all=True)用于全模式,即将字符串的所有分词可能均列出来,返回结果是列表类型,冗余性最大

 3,jieba.lcut_for_search(s)返回搜索引擎模式,该模式首先执行精确模式,然后再对其中长词进一步切分获得最终结果

4,jieba.add_word()函数,用来向jieba词库增加新的单词

因篇幅问题不能全部显示,请点此查看更多更全内容

Copyright © 2019- 517ttc.cn 版权所有 赣ICP备2024042791号-8

违法及侵权请联系:TEL:199 18 7713 E-MAIL:2724546146@qq.com

本站由北京市万商天勤律师事务所王兴未律师提供法律服务