LDA模型是一种描述文档层与主题层、主题层与词汇层之间关系的三层贝叶斯模型。该模型以概率分布的形式,将每篇文档与特定主题相联系,并表示每个主题的词汇分布。其拓扑结构如以下图示所示:
图示1 LDA主题模型结构图
本文采用语义网络分析的方法,初步分析商品评论。从统计学习的视角出发,利用机器学习方法可以量化主题特征词的出现频率。通过建立LDA主题模型,我们能够在小米10手机的文本评论中挖掘出更多隐藏和潜在的信息,进而揭示小米10手机所具备的特殊属性。
1.1 LDA主题模型简介
Blei等学者在2003年通过大量研究,提出了一个名为潜在Dirichlet分配(LDA)的生成主题模型。此模型有效地从文本中提取主题,并对文本评论数据进行文本挖掘建模分析。LDA模型在传统空间矢量模型的基础上添加了概率信息,使其更加优化。通过LDA主题建模分析,我们可以挖掘文本信息背后的潜在主题,并进一步分析文本特征词。
LDA模型将每个文档视为单词频率向量,将其转化为数字信息,便于建模。此后,建立一个单词袋模型,其图示如下:
图示2 LDA模型图示
1.2 LDA主题模型实现过程
本研究建立LDA主题模型,采用Gibbs抽样来估计LDA主题模型的参数。在LDA模型中,需要确定Dirichlet函数的先验参数、两个变量的最佳参数以及主题数的值。经实证分析,我们将Dirichlet函数的先验参数β的经验值设为0.1,值设为50。
在处理手机评论数据文本时,我们将数据分为正面和两个文本,综合考虑分词粒度对文本主题抽取的影响。我们使用情感字典法对评论语句进行打分,将文本评论数据分为积极、消极和中性三种情感结果,并剔除中感结果。
随后,我们对正面和负面情感结果建立LDA主题模型,挖掘产品评论背后的隐藏和潜在信息。对两个文本进行分词处理,保存为积极情绪和消极情绪的文本文件。接着,编写LDA主题模型程序,并导入停用词文档。利用Python的Gensim库生成LDA主题模型的主题抽取结果。
使用Gensim库,我们将评论文本聚类为三个主题,并为每个主题生成十个词语及其在该主题下的概率。通过这种方式,我们挖掘出小米10手机正面和文本中的潜在主题。
对于小米10手机正面评价的三个潜在主题,我们得出以下结论:
主题一包含屏幕、速度、外观、运行等高频特征词,凸显了小米10手机屏幕大、外观漂亮、运行速度快的特点。
主题二涉及屏幕、效果、音效等词,反映小米10手机在屏幕表现、使用效果和音效方面的优势。
主题三则涵盖拍照、外观、屏幕等词,强调了小米10手机在拍照功能、外观和屏幕方面的突出表现。
对于小米10手机的三个潜在主题,我们分析得出:
主题一涉及摄像头、重启等高频特征词,主要反映的是小米10手机摄像头问题、屏幕质量不佳以及手机频繁重启等问题。
主题二则包括信号、、网络等词,突显了小米10手机信号差、问题以及网络连接问题。
主题三涉及待机时间、耳机、时不时等词,主要反映了小米10手机待机时间短、耳机故障以及偶尔出现的问题。