短文本的LDA模型实现及应用(一)

欢迎大家来到IT世界,在知识的湖畔探索吧!

前段时间主要在进行基于微信聊天内容的分析，主要的思路是从聊天内容中提取出有价值的内容，作为运营分析的指导。实践应用了隐含狄利克雷分布(Latent Dirichlet Allocation，以下简称LDA)，采用的工具是Python、jupyter notebook,作为扩展对LightLDA也进行了一番试验，本文就是基于以上的总结。

这段时间主要在进行基于微信聊天内容的分析，主要的思路是从聊天内容中提取出有价值的内容，作为运营分析的指导。实践应用了隐含狄利克雷分布(Latent Dirichlet Allocation，以下简称LDA)，采用的工具是Python、jupyter notebook,作为扩展对LightLDA也进行了一番试验，本文就是基于以上的总结。

主题模型（Topic Model）在机器学习和自然语言处理等领域是用来在一系列文档中发现抽象主题的一种统计模型。直观来讲，如果一篇文章有一个中心思想，那么一些特定词语会更频繁的出现。比方说，如果一篇文章是在讲狗的，那“狗”和“骨头”等词出现的频率会高些。如果一篇文章是在讲猫的，那“猫”和“鱼”等词出现的频率会高些。而有些词例如“这个”、“和”大概在两篇文章中出现的频率会大致相等。但真实的情况是，一篇文章通常包含多种主题，而且每个主题所占比例各不相同。因此，如果一篇文章10%和猫有关，90%和狗有关，那么和狗相关的关键字出现的次数大概会是和猫相关的关键字出现次数的9倍。一个主题模型试图用数学框架来体现文档的这种特点。主题模型自动分析每个文档，统计文档内的词语，根据统计的信息来断定当前文档含有哪些主题，以及每个主题所占的比例各为多少。(摘自 维基百科)

David M. Blei

欢迎大家来到IT世界,在知识的湖畔探索吧!

这里附上LDA的创建者David M. Blei的论文《Introduction to Probabilistic Topic Models》的中文翻译，大牛就是大牛，我们后面才发现的这篇文章，强烈推荐阅读。

中文地址：概率主题模型简介 Introduction to Probabilistic Topic Models（https://www.cnblogs.com/siegfang/archive/2013/01/30/2882391.html）

本文主要是sklearn的LDA及可视化实现，下篇主要介绍LightLDA的相关内容：

一、LDA主题模型的通俗理解

假如有一篇文章text，通过里面的词，来确定他是什么类型的文章，如果文章中出现很多体育类的词，比如，篮球，足球之类的，那么主题模型就会把它划分为体育类的文章；

通俗点说：主题模型就是从一篇或多篇文章(文本)中，找出关键词，并依照关键词之间的相似度提炼成主题，而形成的一个：文章—-主题—关键词的模型，是不是很直白。具体的数学公式比较复杂，感兴趣的自行搜索。废话不说，直接上代码，下面是小白的完成步骤：

二、开发环境的部署（centos）：

1.anaconda 安装：

#官网下载后运行，默认安装到/root/anaconda3，python版本是 3.6.5 ./Anaconda3-5.2.0-Linux-x86_64.sh #增加环境变量 vim /root/.bashrc export PATH="/root/anaconda3/bin:$PATH" #保存后运行 source /root/.bashrc #测试运行： conda install packagename来安装，不要使用pip install 那样默认会安装到python环境下 conda list #注意看python的显示如：Python 3.6.5 |Anaconda, Inc.| (default, Apr 29 2018, 16:14:56)

欢迎大家来到IT世界,在知识的湖畔探索吧!

欢迎大家来到IT世界,在知识的湖畔探索吧!#生成jupyter配置文件,默认生成到/root/.jupyter/jupyter_notebook_config.py jupyter notebook --generate-config --allow-root #生成密码,密码保存在Wrote hashed password to /root/.jupyter/jupyter_notebook_config.json jupyter notebook password #修改配置文件 vi jupyter_notebook_config.py c.NotebookApp.ip='*' c.NotebookApp.password = u'sha:ce... #刚才复制的那个密文' c.NotebookApp.open_browser = False c.NotebookApp.allow_root = True c.NotebookApp.port =8888 #可自行指定一个端口, 访问时使用该端口 c.ContentsManager.root_dir = '/root' #指定启动文件根目录 #运行登录,浏览器运行http://ip:8888 ,输入密码 jupyter notebook

三、sklearn的LDA实现及可视化

1.python相关包的安装

conda install scikit-learn conda install -c conda-forge pyldavis conda install -c conda-forge jieba

2.主程序代码

欢迎大家来到IT世界,在知识的湖畔探索吧!import pandas as pd import jieba from sklearn.feature_extraction.text import TfidfVectorizer,CountVectorizer from sklearn.decomposition import LatentDirichletAllocation import pyLDAvis import pyLDAvis.sklearn df = pd.read_csv("/home/wx/person.csv", encoding='utf-8') # 创建停用词list def stopwordslist(filepath): stopwords = [line.strip() for line in open(filepath, 'r', encoding='utf-8').readlines()] return stopwords # 对句子去除停用词 def movestopwords(sentence): stopwords = stopwordslist('/home/wx/stop_words.txt') # 这里加载停用词的路径 outstr = '' for word in sentence: if word not in stopwords: if word != '\t'and'\n': outstr += word # outstr += " " return outstr # 分词函数 def chinese_word_cut(mytext): import jieba.posseg as psg checkarr = ['n'] returnmsg = "".join([(x.word) for x in psg.cut(mytext) if (x.flag in checkarr)]) return returnmsg # 分词结果 df["content"] = df.content.apply(chinese_word_cut) print(df.content.head()) #预览 #从文件导入停用词表 stpwrdpath = "/home/wx/stop_words_p.txt" stpwrd_dic = open(stpwrdpath, 'rb') stpwrd_content = stpwrd_dic.read().decode('utf-8')#将停用词表转换为list stpwrdlst = stpwrd_content.splitlines() stpwrd_dic.close() # 调用sklearn机器学习包进行向量化 n_features = 1000 # 指定特征关键词提取最大值 tf_vectorizer = CountVectorizer(strip_accents='unicode', # 去除raw document中的重音符号 max_features=n_features, #stop_words='english', # 停用词 stop_words=stpwrdlst, max_df=0.5, # 阈值如果某个词的document frequence大于max_df，不当作关键词.float，词出现的次数与语料库文档数的百分比，int出现次数 min_df=10) # 如果某个词的document frequence小于min_df，则这个词不会被当作关键词 tf = tf_vectorizer.fit_transform(df.content) # LDA操作 n_topics = 5 # 人为指定划分的主题数 lda = LatentDirichletAllocation(n_components=n_topics, learning_method='online', max_iter=50, learning_offset=50., random_state=0 ) lda.fit(tf) # 显示主题关键词函数 def print_top_words(model, feature_names, n_top_words): for topic_idx, topic in enumerate(model.components_): print('\nTopic Nr.%d:' % int(topic_idx + 1)) print(''.join([feature_names[i] + ' ' + str(round(topic[i], 2)) + ' | ' for i in topic.argsort()[:-n_top_words - 1:-1]])) n_top_words = 20 # 主题输出前20个关键词 tf_feature_names = tf_vectorizer.get_feature_names() #print_top_words(lda, tf_feature_names, n_top_words) pyLDAvis.enable_notebook() pyLDAvis.sklearn.prepare(lda, tf, tf_vectorizer)

3.显示效果

四、关于模型的应用

网上关于LDA的实现层面上的文章很多，从代码到可视化呈现都有相应的例子，但是在应用层面，大家谈的不多，在实际使用中对于短文本的主题模型，在实际中还是有几个难点的：

（2）工程化的整体思考：从数据来源抽取、整理输出、文本预处理，导入python工程、输出、停用词关联调整，输出；这是一个整体流程的工作，不能单纯用人工来解决，如果高效的工程化，是需要考虑的问题

(3) 对大数据量的考虑： 如果我们处理的文本量超过机器内存限制，如果处理，上面的方面对于小数据量的演示和测试，效果很直观，但是在实际工程中，如果对大数据量，例如处理50GB，甚至200GB的数据，这里就引入了后面的LightLDA的方式。

(4) 场景的考虑：由于我们分析的是微信群的内容，这里就有两个思路：对微信群的整体内容进行分析；对某个用户一定时期内的聊天内容的持续分析，其实这两个场景都有非常大的应用价值，如果工程化并与其他业务系统关联，产生直接价值，是一个需要考虑的问题，实际中我们在这两个思路上均进行了探索。

参考文章：