息,可以实现高精度的文本相似度计算。bert 模型在多项自然语言处理任务中均取得了优异的表

现。

25 本章小结

本章主要介绍了本项目中使用的四种关键技术与模型。这些技术主要基于大型语言模型,并且

依赖于 rag 技术的原理。介绍了知识抽取技术,它利用先进的自然语言处理技术从文本中提取有意

义的信息和知识,随后讨论了文本处理中所使用的 rag 技术,该技术可以显著提高大型语言模型在

专业领域的性能,增强信息检索的准确性和效率。最后探讨了在文本比对过程中所需的相似度计算

方法,这对于评估文本之间的相似程度至关重要。

非结构化文本数据通常非常稀疏,即包含大量的词汇但每个文档只使用其中的一小部分。而结