Q1:为什么add_word添加词可以影响分词效果,而通过加载自定义词典不行?
A:举例说明。
方式一:
以“数据采集”为例,通过add_word添加方式如下:
jieba.add_word("数据采集")
result = jieba.lcut("我正在做数据采集的工作")
print(result)
输出:[‘我’, ‘正在’, ‘做’, ‘数据采集’, ‘的’, ‘工作’]
毫无疑问,其可以准确的对句子中的出现的“数据采集进行提取”。
方式二:
创建一个词典:其中保存下面的词条
数据采集 1000 None
# 加载公开词典
jieba.load_userdict("dict.txt")
# jieba.add_word("数据采集")
result = jieba.lcut("我正在做数据采集的工作")
print(result)
结果:
[‘我’, ‘正在’, ‘做’, ‘数据’, ‘采集’, ‘的’, ‘工作’]
此时词典中的词条没有生效?是因为词频的原因吗?不是!
原因分析:
add_word添加词条后能直接生效(同时还没有制定词频),说明不是词频的原因导致的;
根本原因是自定义词典中的格式不对:词性不能指定为None,可以不指定,但是要指定则不能为None,此时该词条实际上没有被添加。
扩展:jieba自定义词典个格式注意事项
(1)词语中默认不允许有空格和特殊符号(如-),若一定要有,则可以将整个词语包在双引号中,但此时jieba在分词时可能还是会失败;
(2)默认词语、词频、词性的分隔符为单个空格;
(3)词频可以无,但不能为None