第277章 延迟(第1/9页)
章节报错
本章介绍了研究所选文献数据的获取来源和途径。通过 python 爬取的方式获取大部分文献数
据与元数据，对元数据进行基本处理，为后续分析提供帮助，丰富向量知识库的数据储备。随后为
了最大程度提高向量知识库的可信程度，对文献数据进行筛选，选出带有流程图，数据，输入输出
的英文文献，作为最后使用的数据。精细筛选后，使用 unstructured 库进行数据预处理使其转化
为结构化数据。
42 向量知识库的构建
向量知识库构建是一个将处理过的数据嵌入向量知识库的过程，主要用于将不同类型的数据转
化为向量，并进行存储和检索。其流程如图 41 所示。
图 41 向量知识库构建流程
对收集到的数据进行清洗、去重、分类，提取分割文本，以确保数据的质量和有效性。消除噪