中小企业低成本AI问答系统开发：三步落地法

先想清楚：中小企业做AI问答，重点不是模型，而是“够用”

很多中小企业一听说AI问答系统，第一反应是“是不是要招算法工程师”“是不是要买几十万的显卡”。实际上，过去两年LLM（大语言模型）的生态已经非常成熟，中小企业完全可以用很低甚至接近为零的软件成本，搭出一套“够用”的智能问答系统。所谓“够用”，指的是：能准确回答公司内部知识库的问题（如产品手册、售后FAQ、政策文件），响应速度在可接受范围内，并且维护起来不依赖专业算法团队。

这里分享的“三步落地法”，核心思路是：先私有化知识库，再选型推理方案，最后做效果调优。这三步不涉及从零训练模型，也不推荐一开始就上微调——除非你的业务场景非常垂直且数据量足够大。

第一步：用RAG（检索增强生成）搭建私有知识问答底座

RAG是目前中小企业做AI问答最务实的技术路线。它的原理不复杂：把公司文档（PDF、Word、网页等）切分成小块，用Embedding模型转成向量存入向量数据库。用户提问时，系统先检索出最相关的几个片段，再把片段和问题一起交给LLM生成答案。这样做的好处是，模型不需要“记住”你的私有知识，只需要“读懂”检索到的内容，既降低幻觉风险，也方便随时更新资料。

落地时，你需要的组件包括：

• 文档解析与切分：用开源的Unstructured或LangChain自带的Loader即可，中文文档建议按章节或固定长度（比如500字）加重叠切分。
• Embedding模型：中文场景推荐BAAI/bge-m3或M3E，都是免费开源的，几百MB级别，普通CPU服务器也能跑。
• 向量数据库：Chroma或Milvus Lite足够支撑中小规模（几十万条向量以内）。如果连数据库都不想装，直接用FAISS存成本地索引文件也是可以的。
• LLM服务：这一步选择非常多。可以调用国内大厂API（如通义千问、智谱GLM、DeepSeek），也可以本地部署7B~14B的开源模型（如Qwen2.5-7B-Instruct），取决于你的数据敏感度和预算。

这里有个关键建议：不要把RAG做成“一把梭”。先拿10~20个真实用户问题做测试，观察检索到的片段是否真的覆盖答案。如果检索不准，先调整切分策略和Embedding模型，而不是急着换大模型。

第二步：按预算和场景选推理方案，不必一步到位上GPU

这一步骤直接决定你的月成本。中小企业常见的选择有三种，各自适合不同状态：

• 方案A：纯API调用（成本最低，最快上线）。例如DeepSeek API或通义千问的qwen-plus。按Token计费，一个日活100人、每人20次问答的中小企业，月花费通常在几十到几百元之间。适合数据不敏感、对响应速度要求不高的场景。
• 方案B：本地部署开源模型（一次性成本，数据不出域）。如果客户是制造业或医疗行业，文档数据不能外发，那就用Ollama或vLLM部署Qwen2.5-7B或GLM-4-9B。一张消费级显卡（如RTX 3060 12G）就能流畅跑量化后的7B模型。没有显卡的话，用纯CPU跑7B模型也能做到20秒内出答案，对内部员工使用来说可以接受。
• 方案C：混合模式（推荐）。简单问题走本地小模型，复杂问题路由到云端大模型API。这需要一个小型路由逻辑（比如判断问题长度或关键词），但能显著降低平均成本。

重要的是一开始不要买高端GPU服务器。先用API跑通业务闭环，如果发现每月API费用超过一千元且调用量持续增长，再考虑买一台二手的RTX 3090（约几千元）进行本地化部署。很多企业去年买的GPU，今年可能价格减半还多，“先租后买”对现金流更友好。

第三步：用“黑盒调优”法提升回答质量，而不是盲目微调

当系统能跑通之后，下一步就是让答案更准确、更贴合企业语气。不少团队一遇到效果不好就想微调模型，这是一个误区。微调需要精心构建上万条高质量对话数据，并且每两三个月要重新训练一轮，成本远高于收益。对绝大多数中小企业，黑盒调优就够了。

具体操作上，有几个低成本技巧：

• 优化提示词（Prompt）。在RAG检索后，给LLM的提示词里写清楚“你是XX公司的客服助手，只能根据提供的资料回答，如果资料中没有答案，请明确说不知道”。这能显著减少胡编乱造。
• 调整检索参数。向量检索的TopK值、相似度阈值、是否做关键字混合检索（BM25+向量加权），这些参数往往比换模型更能影响最终回答质量。建议用测试集多跑几轮对比。
• 建立“拒答”规则。对不在知识库范围内的闲聊或敏感问题，直接设定礼貌的拒答话术，避免模型产生不可控回答。
• 记录badcase并反哺知识库。每两周看一次用户问题日志，把回答不好的问题对应的答案片段补进知识库——RAG模式下，改知识库比改模型容易得多。

只有当你做了以上所有工作后，效果仍不达标，再考虑用LoRA方式微调一个7B小模型，专精于你的行业术语。即便如此，也建议从很小的学习率、很小的数据集（几千条）开始试。

最后说几句实话

这套三步法本质上是“以知识库为核心，以模型为工具”的路线。它适合大多数贸易、服务、制造型中小企业，但不适合两种情况：一是你的问答内容动态极强且答案背后依赖复杂逻辑推理（此时RAG会显得吃力）；二是你的用户量巨大（比如几十万日活），可能需要更完整的工程架构和更强大的模型，那就不是“低成本”能覆盖的范畴了。

先跑通再优化，不要一开始就追求完美。你的企业需要的不是一个“懂所有事情”的超级AI，而是一个“知道你的产品、你的政策、你的客户常问问题”的合格数字员工。按这三步走，大概率两周内就能上线第一个可用的内部版本。