大模型推理成本优化：从 Token 到 GPU 利用率
大模型推理成本来自 GPU 空闲、无效 Token、低并发和错误的容量配置。优化要同时观察业务指标和基础设施指标。
减少不必要的 Token
裁剪历史对话、使用检索摘要、限制最大输出长度，能直接降低计算量与 KV Cache 占用。质量评估应基于真实用户任务，不能只追求更短答案。
提高有效并发
连续批处理能合并请求，但要在吞吐和首 Token 延迟之间平衡。分别为在线互动和离线批处理设置不同的队列与实例策略。
用弹性而非长期空转
低峰缩容，高峰按队列和延迟扩容。保留少量热实例应基于冷启动时间与 SLA，而不是固定维持大量闲置 GPU。
---
到方舟智算算力市场为推理负载选择 GPU，免费注册后开始成本基准测试。