诺甘农圆盘

参考资料收集库

用户工具

站点工具

您的足迹:
linux:llama.cpp:bench:amd-ai9-365

差别

这里会显示出您选择的修订版和当前版本之间的差别。

到此差别页面的链接

linux:llama.cpp:bench:amd-ai9-365 [2026/04/11 10:10] – 创建 packingboxlinux:llama.cpp:bench:amd-ai9-365 [2026/05/07 19:43] (当前版本) – 增加cpu测试 packingbox
行 1: 行 1:
 +====== llama.cpp 性能测试对比表（ROCm vs Vulkan） ======
 +
 +**设备**：AMD Radeon Graphics (gfx1150/RADV STRIX1)，24GB VRAM**版本**：llama.cpp build e34f04215 (8740)，nGL=99，Q4_K_M 量化**测试项**：pp512 = 提示词处理速度，tg128 = 文本生成速度（t/s）
 +
 +表格
 +
 +^ **模型名称** ^ **大小** ^ **参数** ^ **后端** ^ **pp512 速度** ^ **tg128 速度** ^
 +| Qwen3.5-27B | 15.39 GiB | 26.90 B | ROCm | 102.70 ± 0.98 | 4.38 ± 0.03 |
 +| Qwen3.5-27B | 15.39 GiB | 26.90 B | Vulkan | 72.92 ± 0.19 | 4.58 ± 0.02 |
 +| Gemma-4-31B | 17.39 GiB | 30.70 B | ROCm | 86.15 ± 2.08 | 4.03 ± 0.01 |
 +| Gemma-4-31B | 17.39 GiB | 30.70 B | Vulkan | 60.68 ± 0.09 | 3.90 ± 0.01 |
 +| Gemma-4-26B-A4B | 15.63 GiB | 25.23 B | ROCm | 408.04 ± 10.59 | 24.91 ± 0.18 |
 +| Gemma-4-26B-A4B | 15.63 GiB | 25.23 B | Vulkan | 368.42 ± 9.55 | 25.94 ± 0.11 |
 +| Qwen3.5-35B-A3B | 20.49 GiB | 34.66 B | ROCm | 347.97 ± 15.11 | 22.15 ± 0.15 |
 +| Qwen3.5-35B-A3B | 20.49 GiB | 34.66 B | Vulkan | 348.96 ± 4.88 | 24.44 ± 0.07 |
 +
 +----
 +
 +==== 核心结论（一眼看懂） ====
 +
 +  - **常规大模型（27B/31B）**：**ROCm 提示词处理速度显著更快**，生成速度两者接近
 +  - **MoE 混合专家模型（26B-A4B/35B-A3B）**：**Vulkan 生成速度小幅领先**，处理速度几乎持平
 +  - **整体**：ROCm 更适合普通大模型推理，Vulkan 对 MoE 模型生成优化更好
 +
 +--------------{date}--------------------
 +
 +====== Windows CPU 本地 llama.cpp 测试汇总表 ======
 +
 +环境：llama.cpp b9050、Zen4 CPU、10 线程、Q4_K_M 量化
 +
 +表格
 +
 +^ **模型全称** ^ **模型大小** ^ **参数规模** ^ **推理后端** ^ **线程数** ^ **测试项** ^ **推理速度 (t/s)** ^
 +| Gemma-4-26B-A4B-it | 15.63 GiB | 25.23 B | CPU | 10 | pp512 | 136.33 ± 2.27 |
 +| Gemma-4-26B-A4B-it | 15.63 GiB | 25.23 B | CPU | 10 | tg128 | 22.77 ± 0.29 |
 +| Qwen3.6-27B-heretic-ARA | 15.40 GiB | 26.90 B | CPU | 10 | pp512 | 27.29 ± 0.05 |
 +| Qwen3.6-27B-heretic-ARA | 15.40 GiB | 26.90 B | CPU | 10 | tg128 | 4.11 ± 0.01 |
 +| Qwen3.6-35B-A3B-Uncensored | 19.70 GiB | 34.66 B | CPU | 10 | pp512 | 140.86 ± 10.32 |
 +| Qwen3.6-35B-A3B-Uncensored | 19.70 GiB | 34.66 B | CPU | 10 | tg128 | 21.79 ± 0.10 |
 +
 +===== 关键小结 =====
 +
 +  - **Qwen3.6-27B 稠密版**：CPU 下速度最慢，生成只有 **4.11 t/s**，日常写小说会卡
 +  - **Gemma-4-26B-A4B**：CPU 性能极强，生成 **22.77 t/s**
 +  - **Qwen3.6-35B-A3B MoE**：CPU 速度和 Gemma 接近，生成 **21.79 t/s**，文笔远强于 Gemma，写情爱小说首选
 +
  
linux/llama.cpp/bench/amd-ai9-365.txt · 最后更改: 由 packingbox