🖥️ 你的硬件
⚙️ 使用偏好
📐 速度估算方法（roofline + 72 组实测校准）与误差说明
解码（decode）是内存带宽瓶颈：
本页效率系数不是拍脑袋：内置 72 组社区实测数据（llama.cpp 官方 CUDA/Vulkan/Apple-Silicon 三张 scoreboard 的 Llama-2-7B Q4_0 tg128 成绩，爬取自 HuggingFace 数据集 cn0303/local-llm-speed-benchmarks），按卡反推真实效率系数 eff = tok/s × 权重GB ÷ 标称带宽，逐卡代入预估；无实测的卡用同代卡中位 eff（NVIDIA 0.75-0.85 / Apple 0.5-0.8 / 老卡 0.55）。
· MoE 模型每 token 只读激活专家，按激活参数量计（专家卸载到内存时按内存带宽）
· 多卡张量并行：显存/带宽相加再打 0.9 折
· KV cache 按各模型 GQA/MLA 结构内置每 token 开销（fp16 计）
误差约 ±30%，受引擎（vLLM 连续批处理 > llama.cpp）、prompt 长度、驱动影响。
tok/s ≈ 显存带宽 × 效率系数 ÷ 每token读取GB数。本页效率系数不是拍脑袋：内置 72 组社区实测数据（llama.cpp 官方 CUDA/Vulkan/Apple-Silicon 三张 scoreboard 的 Llama-2-7B Q4_0 tg128 成绩，爬取自 HuggingFace 数据集 cn0303/local-llm-speed-benchmarks），按卡反推真实效率系数 eff = tok/s × 权重GB ÷ 标称带宽，逐卡代入预估；无实测的卡用同代卡中位 eff（NVIDIA 0.75-0.85 / Apple 0.5-0.8 / 老卡 0.55）。
· MoE 模型每 token 只读激活专家，按激活参数量计（专家卸载到内存时按内存带宽）
· 多卡张量并行：显存/带宽相加再打 0.9 折
· KV cache 按各模型 GQA/MLA 结构内置每 token 开销（fp16 计）
误差约 ±30%，受引擎（vLLM 连续批处理 > llama.cpp）、prompt 长度、驱动影响。
📊 实测数据支撑：你的卡上的 llama.cpp 实测成绩（Llama-2-7B Q4_0）
🔗 数据来源（本次爬取/汇编）
① 显卡规格（176 款显存/带宽）：midudev/canirun.ai（MIT，汇编自 NVIDIA/AMD/Intel 官方产品页）+ 手动补充 A30/A40/H200/MI 系列/Apple 全系
② 实测 tok/s（72 组）：cn0303/local-llm-speed-benchmarks（HF 数据集，含 llama.cpp CUDA 114 条 / Vulkan 226 条 / Apple-Silicon 52 条 scoreboard 记录）
③ 交叉验证：NeoAiLabs RX 7800 XT 实测、kreier Jetson 实测
④ 模型参数/KV 结构：各模型官方 repo（Qwen3、DeepSeek、Kimi K2、gpt-oss、Llama 3、Gemma 3 等）
⑤ 速度锚点：本机双 2080Ti Strata 125B-MoE 实测（224K ctx，长文 820-940 tok/s prefill）与 Qwen3-8B/32B 社区跑分
② 实测 tok/s（72 组）：cn0303/local-llm-speed-benchmarks（HF 数据集，含 llama.cpp CUDA 114 条 / Vulkan 226 条 / Apple-Silicon 52 条 scoreboard 记录）
③ 交叉验证：NeoAiLabs RX 7800 XT 实测、kreier Jetson 实测
④ 模型参数/KV 结构：各模型官方 repo（Qwen3、DeepSeek、Kimi K2、gpt-oss、Llama 3、Gemma 3 等）
⑤ 速度锚点：本机双 2080Ti Strata 125B-MoE 实测（224K ctx，长文 820-940 tok/s prefill）与 Qwen3-8B/32B 社区跑分