这是平台的配置方法说明。

权重估算 = 参数量 × 每参数位数 ÷ 8,再加量化元数据。

KV Cache 估算 = 2 × 层数 × KV 头数 × head dimension × 上下文 × 并发数 × 缓存字节数。

总内存还要加入运行时开销。Apple Silicon 需要为系统保留统一内存;GPU 部署需要留意是否发生 CPU 卸载。没有完整配置的测试,不计入真实速度统计。