什么是主题模型?AI 如何从大量文档里找出共同话题
主题模型是什么?它如何把一批文档看成若干话题的混合,和文本分类、关键词提取有何不同,以及为什么主题名称仍要人工核对。
编辑部 ·
主题模型(Topic Modeling)从大量文档里找出反复一起出现的词,并把这些词组看成若干话题。一篇文档通常不只属于一个话题,而是多个话题按不同比例混在一起。
例如一批客服记录里,可能同时出现「物流延误」「退款进度」「账号登录」。模型不会先给出这些名字。它先找出常一起出现的词,人再判断这些词像不像同一个话题。
它和分类、关键词有什么不同?
文本分类要求事先定好类别,再把每篇归进去。主题模型不预设类别名称,适合还不知道文集里有哪些话题时先做探索。关键词提取是从单篇里抓重点,主题模型看的是整个文集里哪些词倾向一起出现。
主题不是事实,也不是稳定标签。换一批文档,或改主题数量,分出来的组就会变。
怎样用得更稳?
先由人给每个主题起名,并抽查代表文档,而不是直接用最高频的词当标题。主题数量不要一次设得很大。把结果当成整理线索:发现新话题后,再决定要不要做成正式分类。投诉、合规方面的具体结论,仍要回到原文。
小结
主题模型帮助人从一堆文档里看见反复出现的话题。它适合探索和归档,不适合代替已经定义好的业务类别。