这是平台的配置方法说明。
权重估算 = 参数量 × 每参数位数 ÷ 8,再加量化元数据。
KV Cache 估算 = 2 × 层数 × KV 头数 × head dimension × 上下文 × 并发数 × 缓存字节数。
总内存还要加入运行时开销。Apple Silicon 需要为系统保留统一内存;GPU 部署需要留意是否发生 CPU 卸载。没有完整配置的测试,不计入真实速度统计。
权重只是起点:上下文、KV Cache、量化与系统余量同样影响结果。

这是平台的配置方法说明。
权重估算 = 参数量 × 每参数位数 ÷ 8,再加量化元数据。
KV Cache 估算 = 2 × 层数 × KV 头数 × head dimension × 上下文 × 并发数 × 缓存字节数。
总内存还要加入运行时开销。Apple Silicon 需要为系统保留统一内存;GPU 部署需要留意是否发生 CPU 卸载。没有完整配置的测试,不计入真实速度统计。
讨论 0