算法面试题库 | 大模型注入领域知识

大模型在通用语料上预训练后，虽具备广泛的语言和常识能力，但在特定领域（如医疗、金融、法律或工业）往往缺乏深度专业知识。为使其在垂直场景中可靠应用，需通过多种技术路径注入领域知识。这些方法可分为训练阶段注入和推理阶段注入两大类，各有适用边界与工程权衡。

训练阶段注入的核心是让模型参数内化领域知识。最直接的方式是继续预训练（Continued Pretraining）：在通用预训练模型基础上，使用高质量的领域语料（如医学论文、法律条文、企业文档）进行额外的自监督训练。此过程不改变模型结构，但通过语言建模任务迫使模型学习领域术语、实体关系和上下文模式。例如，在金融语料上继续预训练后，模型对“市盈率”“期权希腊值”等概念的理解显著增强。该方法效果扎实，但需大量领域数据和算力，且存在“灾难性遗忘”风险——过度训练可能导致通用能力退化，需通过混合通用语料或课程学习缓解。

另一种训练方式是领域监督微调（Domain SFT）。收集或构造领域内的指令-回答对（如“根据病历判断可能的诊断”→“考虑肺炎或支气管炎”），对模型进行有监督微调。这种方式不增加新知识，但教会模型如何调用已有知识解决领域任务。若结合继续预训练，可实现“知识+技能”双重提升。此外，高效微调方法（如 LoRA、QLoRA）可大幅降低资源开销，使中小团队也能完成领域适配。

推理阶段注入则避免修改模型参数，通过外部机制动态引入知识。典型代表是检索增强生成（Retrieval-Augmented Generation, RAG）：在用户提问时，先从领域知识库（如向量数据库）检索相关文档，再将检索结果作为上下文输入模型。这种方式能实时利用最新、最准确的信息，有效缓解幻觉，并支持知识更新而无需重新训练。RAG 尤其适合知识密集、时效性强的场景，如企业客服、医疗问答或合规审查。其效果高度依赖检索质量，需精心设计嵌入模型、索引策略和上下文融合方式。

此外，还有混合策略：例如在 SFT 数据中显式引用外部知识片段，引导模型学会“基于证据作答”；或在 RLHF 阶段加入领域专家偏好，强化对专业性和准确性的奖励。部分系统还会结合知识图谱，将结构化实体关系融入提示或微调过程，提升逻辑一致性。

选择哪种方案取决于多个因素：若领域知识稳定、数据充足且追求极致性能，继续预训练 + 领域 SFT 是首选；若知识频繁更新、标注成本高或需快速部署，RAG 更为灵活高效。实践中，常采用“RAG 保底 + 领域微调增强”的组合，兼顾准确性、时效性与响应速度。

注入领域知识不是单一技术问题，而是数据、训练、推理与系统设计的协同工程。关键在于明确需求边界：是要模型“记住”知识，还是“查到”知识？前者重训练，后者重架构。合理选择路径，方能在专业场景中释放大模型的真实价值。