机器学习|TF-IDF提取文本特征词

01

TF-IDF主要做什么?

文本分类中大都用到 TF-IDF技术 ,比如扔给我们1篇新浪网推送的消息,让机器判断下属于新闻类,还是财经类,还是体育类,还是娱乐类;再比如,今日头条推送的1篇消息,如何提取出里面的关键词汇,以此推荐给符合我们胃口的文章。

02

TF-IDF主要思想

TF-IDF的主要思想是:如果某个词或短语在一篇文章中出现的频率 TF 高,并且在其他文章中很少出现(IDF值大),则认为此词或者短语具有很好的类别区分能力,适合用来分类。

03

TF-IDF全称叫什么?

TF-IDF( term frequency–inverse document frequency )是一种用于信息检索与数据挖掘的常用加权技术。TF意思是词频( Term Frequency ),IDF意思是逆向文件频率( Inverse Document Frequency )。

04

为什么叫逆向文件频率?

TF-IDF中词频的描述TF,我们好理解,不就是一篇文章中一个词在我们的语料库中出现的次数吗,但是逆向文件频率,该怎么理解?

拿我们的母语来说,比如,“的”,“我们”,类似的这种词语,大家觉得会对我们判断这篇文章是体育类,还是娱乐类的文章作用大吗?尽管它们的TF很大,但是实质对我们的分类没有帮助,所以,此时自然要想到对TF加一个权重影响因子:IDF,逆向文件频率,比如,一篇文章中如果出现了 “贝叶斯”这个词语,那么,我们去语料库,发现现有的1亿个网页中,有500个网页,出现了这个贝叶斯分类,而“的”这个词,有1亿个都出现了,这个时候,我们希望“贝叶斯”比“的”IDF要大,即权重要大,IDF的计算公式最终的确实现了这个效果,这个在下文中我们可以看出来。

05

TF,IDF的数学公式

一篇网页中的总词语数是100个,而词语“贝叶斯”出现了3次,那么“ 贝叶斯 ”一词在该文件中的词频就是 3/100=0.03,

对应的数学公式:

以上公式的字符含义,i是语料库中第i个单词,j是当前的这篇网页的编号。

分析语料库的1亿个网页时,发现有500个网页含有“贝叶斯”,所以贝叶斯这个词的IDF计算公式:

i依然是语料库中的第i个词(贝叶斯),D是语料库中所有的网页个数,分母的集合表示,贝叶斯出现在1亿个网页中的个数,如上所述为500个网页。最后,再取对数,可以得出贝叶斯的IDF比“的”的IDF大。

06

Get together

这个公式实现的效果:

某一特定文件内的高词语频率,以及该词语在整个文件集合中的低文件频率,可以产生出高权重的TF-IDF。

过滤掉常见的词语,比如“的”,“我们”,“吃”。

最终:提取了一篇文章中重要的词语。

算法channel会有系统地,认真地推送:机器学习(包含深度学习,强化学习等)的理论,算法,实践,源码实现。期待您的参与!

我来评几句
登录后评论

已发表评论数()

相关站点

+订阅
热门文章