初学者|一步步掌握FoolNLTK

本文介绍了FoolNLTK的使用 方法,是一个使用双向 LSTM 构建的便捷的中文处理工具包,该工具不仅可以实现分词、词性标注和命名实体识别,同时还能使用用户自定义字典加强分词的效果。

简介

FoolNLTK是一个使用双向 LSTM 构建的便捷的中文处理工具包,该工具不仅可以实现分词、词性标注和命名实体识别,同时还能使用用户自定义字典加强分词的效果。根据该项目所述,这个中文工具包可能不是最快的开源中文分词,但很可能是最准的开源中文分词。

Github地址: https://github.com/rockyzhengwu/FoolNLTK

实战

1.安装

# 基于神经网络(BiLSTM)训练
# 可能不是最快但是最精确的中文分词工具
# 高精度的分词,词性标注,实体识别
# Java版本:https://github.com/rockyzhengwu/JFoolNLTK
# 我的安装环境:- window10 - python 3.56
# pip install foolnltk -i https://pypi.tuna.tsinghua.edu.cn/simple

2.分词

import fool
sentence = "我爱自然语言处理!"
sen_cut = (fool.cut(sentence))
print(sen_cut)

[['我', '爱', '自然', '语言', '处理', '!']]

3.词性标注

sen_cut = (fool.cut(sentence))
print(fool.pos_cut(sentence))

[[('我', 'r'), ('爱', 'v'), ('自然', 'n'), ('语言', 'n'), ('处理', 'v'), ('!', 'wt')]]

4.命名实体识别

sentence = "我想去北京学习自然语言处理!"
words, ners = fool.analysis(sentence)
print(ners)

[[(3, 6, 'location', '北京')]]

代码已上传: https://github.com/yuquanle/StudyForNLP/blob/master/NLPtools/FoolNLTKDemo.ipynb

The End

长按二维码关注

AI小白入门

ID:StudyForAI

学习AI学习ai(爱)

期待与您的相遇~

我来评几句
登录后评论

已发表评论数()

相关站点

+订阅
热门文章