三张 A800 跑 AtomicChat,读完近 1M 文档后能以 32.49 tok/s 生成。单卡原版 1017 只有 19.43 tok/s,同一道冷文档检索却先答完,快了将近 7 分钟。决定这道题用多久的是模型何时开始输出。答案只有一百来个 token,生成阶段的提速补不回冷读的等待。
我的日常配置是单卡原版 1017 + FreeToken,512K 图文档。同一份文档要连续追问,或任务需要持续写代码时,Strata 双卡有优势。下文把两个阶段分开计时,也把每档占的卡和内存放在一起。
权重与部署组合
| 权重 | 本次发布文件 | 推理组合 |
|---|---|---|
| DeepSeek-V4-Flash-0731 | 166.90 GB,74 文件、48 个权重分片 | 单卡 FreeToken 0.2.1 |
| DeepSeek-V4.1-Flash-1017 原版 | 510.31 GB,83 文件、48 个权重分片 | 单卡 FreeToken 0.2.1 |
| GSQ-RCO Coder GGUF | 72.12 GB 主体,加 110.60 GB Engram | Strata 单、双、三卡 |
| AtomicChat IQ2_XS GGUF | 155.23 GB 文件,加 110.60 GB Engram | Strata 单、双、三卡,三卡另测 DSpark |
原版按各自的固定版本下载。Coder 删减了部分专家,AtomicChat 也改过模型行为。表里的速度对应整套部署。 0731 模型卡 · 1017 模型卡 · Coder 模型卡 · AtomicChat 模型卡
两套 GGUF 的 Engram 内容相同,在同一文件系统用硬链接共享,发布目录仍各自保留正确的分片布局。下载先核对 revision、清单、文件大小和哈希,再打包并检查 Strata 的 --pack-info。Engram 的磁盘大小和进程实际占用的内存要分别算。 Strata 打包说明
宿主使用 Ubuntu 22.04、CUDA 13 和 80 GiB 的 A800。早期所选 CUDA 13 组合在 560 系列驱动上无法运行,完成测试时的驱动为 580.178.04。Strata 实测使用 v0.2.11 的源码构建,单独编译 sm_80。FreeToken 0731 服务的主机内存硬限是 208 GiB,原版 1017 和 Strata 是 304 GiB,模型服务均关闭交换,1017 和 Strata 试验的 CPU 配额等效 32 个逻辑核。一次三卡试验启动前,MemAvailable 约 455 GiB,扣除虚拟机和系统预留后,模型预算为 326 GiB。硬限、入场预算和进程峰值分开记录。表中「—」表示该项没有实测记录。 FreeToken 安装说明
模型实际占用多少主机内存
宿主可见内存约 503.53 GiB。模型占用按服务的 cgroup 计,包含专家卸载用的共享内存。下表把整轮峰值、推理峰值和单点快照分开。
| 部署状态 | 模型主机内存(GiB) | 采样阶段 |
|---|---|---|
| 0731 单卡 256K / 512K / 1M | 142.69 / 143.25 / 143.93 | 推理阶段采样峰值 |
| 0731 单卡 64K / 256K / 512K / 1M | 约 192.00 | 各档从加载到推理的整轮采样峰值 |
| 0731 单卡常驻服务 | 143.72 | 一次运行中 cgroup 快照,其中共享内存 137.08 |
| 原版 1017 单卡 256K 初始档 | 280.31 | 一次运行中快照 |
| 原版 1017 单卡 512K 图文日常档 | 284.00 | 2026-11-08 的空闲快照,活动请求 0、交换 0 |
| 原版 1017 的 256K 调参、512K 和 1M 专项跑分 | — | 留存了显存记录,模型主机内存峰值未采样 |
| Strata Coder / AtomicChat 单、双、三卡 | — | 留存了各卡显存和入场预算,模型主机内存未采样 |
1017 的 284.00 GiB 中,匿名内存约 2.84 GiB,file 类内存约 279.95 GiB,其中 270.16 GiB 是共享内存。shmem 已计入 file。只看匿名内存会漏掉专家卸载占用。 Linux cgroup v2 内存统计
0731 单卡的窗口与资源
先用 14 输入、35 输出 tokens 的短计算题验通生成。首输出 7.12 秒,总时 9.11 秒。再用三标记文档逐档测试。下表的显存和主机 RAM 为整轮采样峰值,启动时间单列。1M 回执把分块记作请求的 8192,运行态有效分块为 4096。
| 档位 | 有效分块 / 专家缓存 GiB | 实测输入 / 输出 | 首输出 / 总时(秒) | 生成 tok/s | 启动(秒) | 显存 / 主机 RAM 峰值(GiB) | 采样数 |
|---|---|---|---|---|---|---|---|
| 64K | 8,192 / 32 | 63,492 / 154 | 73.14 / 82.98 | 15.55 | 141.28 | 47.67 / 192.00 | 109 |
| 256K | 8,192 / 32 | 260,099 / 172 | 249.79 / 260.45 | 16.03 | 141.63 | 63.15 / 192.00 | 194 |
| 512K | 8,192 / 24 | 522,243 / 133 | 602.84 / 612.66 | 13.45 | 138.39 | 74.26 / 192.00 | 363 |
| 1M | 4,096 / 8 | 1,046,532 / 163 | 1,832.51 / 1,849.89 | 9.32 | 162.42 | 74.83 / 192.00 | 971 |
最早一次 256K 因显存不足退出,尝试再申请 5.49 GiB 时只剩 2.98 GiB。调整运行档后,表中的 256K 实际读入 260,099 tokens 并完成检索。
原版 1017 单卡怎么调
先看未经后续调优的 0731 与 1017
同题使用相同原文,两款模型的实际分词相差 26 tokens。每格时间依次是首输出、首正文和完整回复,单位为秒。首输出可包含思考 token。
| 样本 | 0731 输入 / 输出 | 0731 首输出 / 首正文 / 总时 | 0731 tok/s | 1017 输入 / 输出 | 1017 首输出 / 首正文 / 总时 | 1017 tok/s |
|---|---|---|---|---|---|---|
| 约 2K | 1,795 / 125 | 6.33 / 13.28 / 13.79 | 16.61 | 1,821 / 97 | 28.66 / 35.67 / 36.41 | 12.38 |
| 约 8K | 7,939 / 83 | 7.59 / 11.89 / 12.42 | 16.96 | 7,965 / 93 | 32.54 / 39.40 / 40.09 | 12.19 |
| 约 32K | 32,514 / 71 | 26.79 / 30.49 / 31.00 | 16.62 | 32,540 / 114 | 65.47 / 72.99 / 73.60 | 13.90 |
| 约 64K | 65,283 / 89 | 54.14 / 58.87 / 59.38 | 16.77 | 65,309 / 135 | 114.92 / 124.03 / 124.68 | 13.73 |
| 约 128K | 130,819 / 135 | 114.02 / 121.30 / 121.87 | 17.05 | 130,845 / 107 | 226.21 / 233.30 / 233.94 | 13.71 |
| 约 192K | 196,356 / 87 | 180.51 / 184.98 / 185.48 | 17.30 | 196,382 / 122 | 320.71 / 328.58 / 329.34 | 14.02 |
| 近满 256K | 259,843 / 117 | 250.66 / 256.88 / 257.40 | 17.22 | 259,869 / 116 | 418.11 / 425.62 / 426.36 | 13.94 |
| 同文档追问 | 259,843 / 120 | 6.91 / 13.49 / 14.01 | 16.77 | 259,869 / 156 | 12.56 / 23.30 / 24.00 | 13.55 |
两款均正确返回三处标记。追问各命中 259,712 tokens。1017 这轮以 32 GiB 专家缓存、4096 分块启动,用了 294.32 秒,就绪显存 44,295 MiB,运行中的一次主机 cgroup 快照为 280.31 GiB。
256K 配置逐项比较
冷检索为 65,309 输入,固定生成是同一份 65,319-token 代码输入、每次输出 512 tokens。近满检索及同文档追问各输入 259,869 tokens,三针均正确,追问各命中 259,712 tokens。就绪显存单列。
| 配置 | 64K 冷首输出 / 首正文 / 总时(秒) | 固定生成两次 tok/s | 近 256K 冷首输出 / 首正文 / 总时(秒) | 冷输出 | 追问首输出 / 首正文 / 总时(秒) | 追问输出 | 就绪显存(MiB) |
|---|---|---|---|---|---|---|---|
| 32 GiB / 4096 Offload | 110.94 / 120.67 / 121.43 | 12.46 / 13.13 | 412.49 / 420.17 / 420.90 | 116 | 12.45 / 23.22 / 23.92 | 156 | 44,295 |
| 48 GiB / 4096 Offload | 108.11 / 115.48 / 116.10 | 16.78 / 16.82 | 409.06 / 415.43 / 416.06 | 116 | 12.45 / 21.04 / 21.55 | 156 | 60,675 |
| 48 GiB / 8192 Offload | 65.15 / 70.79 / 71.37 | 15.77 / 15.77 | 232.11 / 238.11 / 238.65 | 107 | 12.47 / 21.05 / 21.55 | 157 | 60,735 |
| 48 GiB / 4096 Offload + D2D | 104.35 / 112.33 / 112.95 | 16.85 / 16.81 | 388.05 / 394.55 / 395.20 | 116 | 10.99 / 19.65 / 20.16 | 156 | 60,675 |
| 48 GiB / 4096 Hybrid 8 | 110.26 / 116.31 / 116.79 | 22.57 / 21.92 | 430.98 / 436.73 / 437.25 | 111 | 12.54 / 16.81 / 17.20 | 111 | 60,675 |
| 48 GiB / 8192 Hybrid 8 | 60.05 / 64.60 / 65.02 | 22.39 / 22.11 | 222.13 / 227.35 / 227.76 | 107 | 12.47 / 18.49 / 18.87 | 155 | 60,735 |
| 配置 | 专家缓存命中 | 每层每步 miss / PCIe fetch / CPU 专家 | 日志区间数 |
|---|---|---|---|
| 32 GiB / 4096 Offload | 71.25% | 1.73 / 1.73 / 0.00 | 32 |
| 48 GiB / 4096 Offload | 80.15% | 1.19 / 1.19 / 0.00 | 32 |
| 48 GiB / 8192 Offload | 75.80% | 1.46 / 1.46 / 0.00 | 32 |
| 48 GiB / 4096 Offload + D2D | 80.15% | 1.19 / 1.19 / 0.00 | 32 |
| 48 GiB / 4096 Hybrid 8 | 75.15% | 1.49 / 0.46 / 1.03 | 32 |
从 32 GiB 加到 48 GiB,4096 分块 Offload 的专家命中从 71.25% 升到 80.15%。保持 48 GiB 时,把分块从 4096 改到 8192,冷读首输出从 409.06 秒降到 232.11 秒,但固定输出略慢。8192 与 Hybrid 8 合用后,这份冷文档 222.13 秒开始输出,固定生成约 22.25 tok/s。日常 512K 沿用这组参数。 FreeToken 调参说明
另一次在相同 CPU 配额下比较 Hybrid 8 和 32。下表保留两次固定输出的完整耗时和整段平均 CPU 用量。CPU 包含预填充与解码,32 线程档的两次生成各有约 27% 的配额周期发生节流。
| 线程 | 冷检索首输出 / 首正文 / 总时(秒) | 固定生成 tok/s | 固定生成完整耗时(秒) | 平均逻辑 CPU 数 | 节流周期 | 就绪显存(MiB) |
|---|---|---|---|---|---|---|
| 8 | 66.29 / 72.04 / 72.55 | 18.48 / 18.45 | 89.55 / 89.51 | 3.66 / 3.67 | 0/895 · 0/896 | 60,735 |
| 32 | 65.16 / 71.32 / 71.84 | 22.29 / 22.58 | 84.99 / 84.99 | 9.44 / 9.33 | 229/850 · 226/850 | 60,735 |
512K 和 1M 的单卡长读
同一档的冷文档一致。512K 的 24 GiB 到 48 GiB 对照保持 4096 Offload,下一行同时改了分块和 Hybrid。1M 的快档也同时改变了三项,作为组合记录。
| 档位 | 配置 | 实际输入 / 输出 | 冷首输出 / 首正文 / 总时(秒) | 生成 tok/s | 就绪 / 峰值显存(MiB) | 主机 RAM 峰值(GiB) | 启动(秒) |
|---|---|---|---|---|---|---|---|
| 512K | 0731 历史档 | 522,243 / 133 | 602.84 / 612.11 / 612.66 | 13.45 | — / 76,045 | 192.00 | 138.39 |
| 512K | 1017 24 GiB / 4096 Offload | 522,269 / 91 | 922.08 / 929.13 / 929.91 | 11.51 | 36,995 / — | — | 263.92 |
| 512K | 1017 48 GiB / 4096 Offload | 522,269 / 91 | 820.28 / 825.28 / 825.86 | 16.15 | 61,575 / 64,069 | — | 230.16 |
| 512K | 1017 48 GiB / 8192 Hybrid 8 | 522,269 / 136 | 456.97 / 463.29 / 463.71 | 20.03 | 61,615 / 66,589 | — | 298.33 |
| 1M | 0731 历史档 | 1,046,532 / 163 | 1,832.51 / 1,849.00 / 1,849.89 | 9.32 | — / 76,627 | 192.00 | 162.42 |
| 1M | 1017 8 GiB / 4096 Offload | 1,046,558 / 96 | 2,479.31 / 2,490.70 / 2,491.79 | 7.61 | 22,395 / — | — | 274.62 |
| 1M | 1017 48 GiB / 8192 Hybrid 8 | 1,046,558 / 120 | 1,000.06 / 1,005.76 / 1,006.18 | 19.43 | 63,415 / 68,397 | — | 246.54 |
表里的 512K 两组和 1M 快档显存峰值分别基于 550、404、648 次采样。调优后的 1M 快档读入 1,046,558 tokens,首输出从历史组合的约 41 分钟降到约 17 分钟。
Strata 用几张卡
Strata 的下列试验都先确认目标卡空闲,再启动独立模型进程。双卡用同一组 PCIe 卡,三卡按实际层放置核对。普通分层均按 TP=1 记录。TP3 探针虽然完成短回复,运行日志没有证实 TP=3,未继续跑长文档。 Strata 多卡说明
近满 256K 的多卡表现
冷检索的实际输入为 65,309 tokens,生成测试为 65,319 输入、各 512 输出。近满窗和追问各输入 259,869 tokens。时间顺序同前,追问列为首输出与总时。
| 配置 | 64K 冷首输出 / 首正文 / 总时(秒) | 固定生成 tok/s | 近 256K 冷首输出 / 首正文 / 总时(秒) | 追问首输出 / 总时(秒) | 冷 / 暖输出 | 追问命中 | 追问结果 |
|---|---|---|---|---|---|---|---|
| AtomicChat 三卡分层 | 48.89 / 51.66 / 51.86 | 41.24 / 41.22 | 213.00 / 215.77 / 215.98 | 1.97 / 5.72 | 117 / 154 | 259,357 | 通过 |
| AtomicChat 双卡分层 | 57.12 / 59.65 / 59.84 | 40.80 / 41.26 | 222.65 / 225.45 / 225.65 | 2.07 / 5.85 | 118 / 154 | 259,357 | 通过 |
| AtomicChat 单卡 | 70.82 / 75.02 / 75.34 | 24.58 / 26.98 | 1,369.87 / 1,374.53 / 1,374.84 | 4.35 / 8.81 | 121 / 117 | 259,357 | 通过 |
| AtomicChat 三卡 DSpark 3 | 48.53 / 51.01 / 51.20 | 46.43 / 46.55 | 212.44 / 214.91 / 215.11 | 1.98 / 5.78 | 117 / 154 | 259,357 | 通过 |
| AtomicChat 三卡 DSpark 10 | 49.00 / 51.48 / 51.68 | 43.08 / 46.37 | 213.03 / 215.50 / 215.71 | 1.99 / 5.79 | 117 / 154 | 259,357 | 通过 |
| Coder 三卡矩阵复测 | 85.14 / 87.88 / 88.08 | 41.10 / 41.27 | 385.06 / 387.24 / 387.45 | 1.93 / 5.70 | 94 / 154 | 259,357 | 通过 |
| Coder 1 卡 | 45.70 / 47.69 / 47.88 | 41.53 / 41.58 | 203.12 / 205.25 / 205.45 | 2.06 / 5.74 | 93 / 154 | 259,357 | 顺序错误 |
| Coder 2 卡 | 85.60 / 88.33 / 88.52 | 41.38 / 41.51 | 388.68 / 390.85 / 391.06 | 1.88 / 5.63 | 94 / 154 | 259,357 | 通过 |
| Coder 3 卡 | 84.19 / 86.93 / 87.13 | 41.20 / 41.34 | 384.77 / 386.94 / 387.15 | 1.93 / 5.69 | 94 / 154 | 259,357 | 通过 |
AtomicChat 单卡也能完成这份 256K 文档,冷读约 23 分钟。双卡把冷读降到约 3 分 46 秒,持续输出升到约 41 tok/s。普通三卡冷读再省约 10 秒,持续输出接近双卡。DSpark block 3 的固定输出约 46.5 tok/s,两种草稿块大小的接受量见下表。
Coder 单卡冷读最快的一轮约 205 秒,但追问把三个标记按原顺序返回。双卡与三卡在这道追问上正确倒序。这个差异来自单次样本,复测前先把它当作检索结果记录。
| DSpark 配置 | 固定输出样本 1 接受 / 提出 | 固定输出样本 2 接受 / 提出 |
|---|---|---|
| 三卡 block 3 | 195 / 255 | 190 / 239 |
| 三卡 block 10 | 202 / 283 | 196 / 261 |
Coder 双卡长窗与 AtomicChat 三卡 1M
长窗配置里的约 64K 固定生成仍各输出 512 tokens。下表冷、暖输入长度一致,四组冷暖检索均通过。AtomicChat 1M 使用三卡分层,关闭 DSpark。
| 配置 | 实际冷暖输入 | 64K 冷首输出 / 首正文 / 总时(秒) | 固定生成 tok/s | 近满冷首输出 / 首正文 / 总时(秒) | 近满暖首输出 / 首正文 / 总时(秒) | 近满冷 / 暖生成 tok/s | 冷 / 暖输出 | 追问命中 |
|---|---|---|---|---|---|---|---|---|
| Coder 双卡 256K | 259,869 | 85.45 / 88.16 / 88.35 | 41.68 / 41.73 | 388.53 / 390.68 / 390.88 | 1.89 / 5.42 / 5.62 | 39.52 / 40.95 | 94 / 154 | 259,357 |
| Coder 双卡 512K | 522,269 | 86.26 / 88.98 / 89.17 | 41.50 / 41.68 | 899.27 / 901.29 / 901.51 | 2.67 / 6.51 / 6.73 | 36.96 / 37.68 | 84 / 154 | 521,757 |
| Coder 双卡 1M | 1,046,558 | 86.59 / 89.30 / 89.50 | 41.60 / 41.77 | 2,279.82 / 2,282.04 / 2,282.29 | 4.47 / 8.96 / 9.21 | 32.37 / 32.31 | 81 / 154 | 1,046,046 |
| AtomicChat 三卡 1M | 1,046,558 | 49.23 / 51.79 / 51.99 | 41.00 / 41.04 | 1,417.89 / 1,421.49 / 1,421.74 | 4.58 / 9.14 / 9.39 | 32.49 / 31.82 | 126 / 154 | 1,046,046 |
各卡形的就绪显存
下表是模型加载就绪时每张卡的显存快照,单位为 MiB。0 表示快照时该卡空闲。各组卸载后均确认测试显存已释放。
| 配置 | GPU 0 / 1 / 2 就绪显存(MiB) |
|---|---|
| AtomicChat 三卡分层 256K | 13,827 / 72,747 / 71,931 |
| AtomicChat 双卡分层 256K | 72,995 / 72,981 / 0 |
| AtomicChat 单卡 256K | 0 / 0 / 73,005 |
| AtomicChat 三卡 DSpark 3 256K | 21,381 / 72,751 / 72,033 |
| AtomicChat 三卡 DSpark 10 256K | 21,381 / 72,751 / 72,033 |
| Coder 三卡矩阵复测 256K | 4,651 / 4,759 / 69,391 |
| AtomicChat 三卡 TP3 探针 256K | 13,827 / 72,747 / 71,931 |
| Coder 1 卡 256K | 0 / 0 / 70,869 |
| Coder 2 卡 256K | 4,647 / 71,047 / 0 |
| Coder 3 卡 256K | 4,651 / 4,759 / 69,391 |
| Coder 双卡 256K | 4,647 / 71,047 / 0 |
| Coder 双卡 512K | 4,701 / 71,331 / 0 |
| Coder 双卡 1M | 4,809 / 71,899 / 0 |
| AtomicChat 三卡 1M | 14,127 / 72,985 / 72,369 |
1M 冷文档该选哪一档
同一原文,实际冷输入都是 1,046,558 tokens。三组都给出了正确顺序的三个标记。1M 配置上限是 1,048,576,文档给模板和回答留出了余量。
| 部署 | 冷首输出(秒) | 冷完整回复(秒) | 冷生成 tok/s | 实际输出 |
|---|---|---|---|---|
| 原版 1017 FreeToken 单卡快档 | 1,000.06 | 1,006.18 | 19.43 | 120 |
| AtomicChat Strata 三卡分层 | 1,417.89 | 1,421.74 | 32.49 | 126 |
| Coder Strata 双卡分层 | 2,279.82 | 2,282.29 | 32.37 | 81 |
原版单卡最早答完。两个 Strata 配置在生成阶段都约 32 tok/s,冷读时间差了约 14 分钟。切换为热追问后,它们都能复用 1,046,046 tokens,首输出约 4.5 秒。日常频繁换文档,我用原版单卡;同一份材料反复问,或需要长输出,我优先考虑 Strata 双卡。
生成速率用 (实际输出 tokens − 1) / (总时 − 首输出时间)。固定生成样本每次输出 512 tokens,1M 检索是自然结束的短答案。本文记录的是检索正确性和速度。写作、翻译、工具调用准确性与并发吞吐需要各自测试。
512K 图文与 API 验收
日常原版 1017 以 512K、48 GiB、8192、Hybrid 8 部署,视觉编码器使用主机侧权重。红、蓝测试图分别经过原生接口和聚合入口,均返回正确颜色。下面是保存的三条代表性回执。近满 512K 的性能数据来自文本检索。图文验收时 GPU 就绪快照为 61,969 MiB,恢复日常服务后的快照为 61,821 MiB。
| 探针 | HTTP | 输入 tokens | 输出 tokens | 结果 |
|---|---|---|---|---|
| 原生图文 | 200 | 256 | 21 | 颜色正确 |
| 聚合图文 | 200 | 256 | 25 | 颜色正确 |
| 聚合文本 | 200 | 41 | 20 | 算术正确 |
部署入口保留原生推理、启停网关和统一聚合别名。切换模型先停止新接单,核对当前进程归属及活跃请求,再换档。模型启动后先查卡、内存与服务返回的窗口,随后用同样的冷、暖文档验用量和答案。下面的命令只读。
nvidia-smi --query-gpu=index,memory.used,memory.total --format=csvnvidia-smi --query-compute-apps=gpu_uuid,pid,used_gpu_memory --format=csvgrep '^MemAvailable:' /proc/meminfo在 Linux cgroup v2 上,以模型服务单元为范围读取主机内存。
CGROUP=$(systemctl show "$MODEL_UNIT" -p ControlGroup --value)if [ -n "$CGROUP" ]; then cat "/sys/fs/cgroup${CGROUP}/memory.current" grep -E '^(anon|file|shmem) ' "/sys/fs/cgroup${CGROUP}/memory.stat"fi将 API_BASE 设为含 /v1 的 API 地址,使用已有令牌读取模型目录。
read -r -s API_KEYprintf 'header = "Authorization: Bearer %s"\n' "$API_KEY" | curl -fsS --config - "$API_BASE/models" | jq '.data[] | select(.id == "deepseek") | {id, context_length, max_model_len}'unset API_KEY留言板
接近留言板时加载评论。