如何选择 GPU
按任务类型和显存挑卡。
选卡先看显存，再看算力和带宽。推理任务显存放得下模型权重加每个并发的缓存即可；训练和微调则要看算力和多卡互联。
按任务推荐
| 任务 | 推荐卡型 | 说明 |
|---|---|---|
| 7B–14B 模型推理 | RTX 4090 / 5090、L20、vGPU-48GB | 单卡 24–48GB 够用，性价比最高 |
| 27B–70B 模型推理 | L20 ×2–4、RTX PRO 6000、H20 | 需要 80–96GB 级显存或多卡拆分 |
| QLoRA / LoRA 微调 | A800、RTX PRO 6000、L20 | A800 不支持 FP8，用 8-bit 或 4-bit 量化 |
| 全参数训练 / 强化学习 | H800、H100、H200、B200（海外区） | 8 卡 NVLink 整机，支持多机多卡 |
| 国产加速卡 | 昇腾 910B、摩尔线程 S4000、海光 K100-AI | 预装对应软件栈，部分框架需适配 |
供应说明
- 部分卡型库存有限，以算力市场显示的空闲卡数为准。
- H100、H200、B200 在新加坡A区与美西A区供应，适合大模型训练。
没有找到答案？发邮件到 support@bestagi.ai。常见问题