RAG 系统部署：检索与生成如何协同扩展

方舟智算团队2026/7/26

检索增强生成系统把外部知识注入模型上下文。生产部署时，应将文档处理、Embedding、向量检索、重排和生成拆成可独立观察的组件。

离线摄取流程负责解析、切分、去重和向量化，应记录文档版本与索引版本。在线请求先检索候选内容，再重排并构造上下文，最后调用生成模型。每一步都可能成为延迟或质量瓶颈。

Embedding 和重排模型通常可批处理，生成模型则更依赖 GPU 显存与连续批处理。为各环节设置超时和降级策略，例如检索失败时返回明确提示，而不是让模型凭空回答。

评估时同时观察检索召回率、答案引用准确性、端到端延迟和 Token 成本。只有把检索质量与生成质量分开测量，才能知道问题究竟来自知识库还是模型。

---

关于方舟智算：方舟智算提供按需 GPU 算力，支持训练、推理与图像生成等工作负载。可在算力市场比较可用节点与报价，或免费注册后创建第一个实例。