图像生成 API 容量规划:并发、队列与显存
把图像生成工作流包装为 API 后,难点从“能生成”变成“在并发下稳定生成”。容量规划必须围绕最重的真实请求,而不是默认示例。
为每个工作流测量资源
记录不同分辨率、模型和 ControlNet 组合的峰值显存、平均耗时与失败率。用最重工作流设定并发上限,防止高峰时所有任务一起 OOM。
队列优于无限并发
请求先进入有上限的队列,Worker 按 GPU 容量取任务。用户需要获得明确的排队状态和超时反馈,而不是长时间无响应。
输出文件要有生命周期
生成图片和中间文件及时上传对象存储,并设置过期规则。容器本地盘只保留必要缓存,避免磁盘耗尽导致新请求失败。
---
在方舟智算选择 GPU 进行图像 API 压测,免费注册后即可部署。