什么是近重复检测？AI 如何发现几乎相同的文档

近重复检测（Near-Duplicate Detection）用来找出内容几乎相同、但并不是逐字一致的文档。转载时改了标题、删了一句广告、替换了几个错字，精确比对会认为它们不同，读者看起来却是同一篇。

它常用于搜索结果去重、知识库清理和转载识别。目标是把这些几乎相同的版本归到一起，而不是把所有话题相近的文章都算成重复。

它和语义相似度不是一回事

语义相似度看两段话的意思是否接近。两篇都在讲退款规则，意思可以很近，却是不同文档。近重复更严格：大段文字应能对齐，差异只是少量增删、替换或排版。文本匹配可以用来判断某两段是否对应，近重复检测则要在一整批文档里找出这些成对或成组的版本。

怎样少并错？

先用较低成本的方法找出候选，再核对较长的重合片段。标题相同、正文不同，不能直接合并。模板、页眉和免责声明会让很多文档看起来像，比较时应把这些固定文字分开。合并前保留每份原文的来源和时间，避免把较早的版本覆盖掉。

小结

近重复检测帮助清理几乎相同的副本。它适合去重和归档，不该把仅仅话题相近的文档当成同一篇。