A100 80GB 和 H100 怎么选：训练与推理的显存决策

A100 80GB 和 H100 都适合大模型训练与高并发推理。实际选择应先看模型能否装下，再评估吞吐是否足以抵消更高的小时成本。

先以显存确定候选

训练显存包含权重、梯度、优化器状态和激活值；推理还要为 KV Cache 预留空间。模型无法稳定装入时，先考虑量化、并行或更大显存，而不是只提高 GPU 算力。

H100 的价值来自吞吐

当任务大量使用 BF16、FP8 或 Tensor Core 时，H100 通常能缩短训练和推理时间。若数据读取、网络通信或请求量才是瓶颈，更换 GPU 的收益会明显下降。

用基准决定最终选择

在相同镜像、模型和参数下，分别记录每步训练时间、每秒 Token 和峰值显存。用完成一次真实任务的总费用做判断，才不会把更快或更便宜误当作更划算。

---

方舟智算提供按需 GPU 节点。先到算力市场查看可用配置，再免费注册启动测试实例。