推理速度慢延迟高‌：未做针对性优化会导致响应超时。解法：使用GPU推理搭配vLLM、LMDeploy等优化框架，用量化模型减少计算量。

2026-05-26 20

‌本地部署显存不足‌：大模型参数高，普通GPU无法承载。解法：优先用量化模型（如Q4_K_M量化可将70B模型压缩到35GB），也可选择小参数模型或CPU+GPU混合推理。

2026-05-26 18

‌训练/测试数据分布不一致‌：用公开数据集预训练后直接微调自有数据，容易导致效果差。解法：统一数据分布，补充自有场景数据做适配。

2026-05-26 21

‌检索匹配准确率低‌：向量检索对语义变化适应性差，提问措辞稍有变化就匹配失败。解法：为每个知识点生成多种提问表述，丰富检索词库，提升命中概率。

2026-05-26 20