GPU 显存计算器
估算大模型在推理和训练时的显存需求
运行模式
推理模式 (Inference)
训练模式 (Training)
模型规模 (B 参数)
量化类型
显卡总显存 (GB)
是否为蒸馏模型
架构参数(留空则自动估算)
隐藏维度 (Hidden Dim)
层数 (Num Layers)
注意力头数 (Num Heads)
序列长度 (Seq Len, tokens)
并发请求数 (Concurrent)
计算显存需求