3680 字
18 分钟
在 A800 上部署 DeepSeek Flash:从 0731 到 1017、FreeToken 与 Strata 实测

三张 A800 跑 AtomicChat,读完近 1M 文档后能以 32.49 tok/s 生成。单卡原版 1017 只有 19.43 tok/s,同一道冷文档检索却先答完,快了将近 7 分钟。决定这道题用多久的是模型何时开始输出。答案只有一百来个 token,生成阶段的提速补不回冷读的等待。

我的日常配置是单卡原版 1017 + FreeToken,512K 图文档。同一份文档要连续追问,或任务需要持续写代码时,Strata 双卡有优势。下文把两个阶段分开计时,也把每档占的卡和内存放在一起。

权重与部署组合#

权重本次发布文件推理组合
DeepSeek-V4-Flash-0731166.90 GB,74 文件、48 个权重分片单卡 FreeToken 0.2.1
DeepSeek-V4.1-Flash-1017 原版510.31 GB,83 文件、48 个权重分片单卡 FreeToken 0.2.1
GSQ-RCO Coder GGUF72.12 GB 主体,加 110.60 GB EngramStrata 单、双、三卡
AtomicChat IQ2_XS GGUF155.23 GB 文件,加 110.60 GB EngramStrata 单、双、三卡,三卡另测 DSpark

原版按各自的固定版本下载。Coder 删减了部分专家,AtomicChat 也改过模型行为。表里的速度对应整套部署。 0731 模型卡 · 1017 模型卡 · Coder 模型卡 · AtomicChat 模型卡

两套 GGUF 的 Engram 内容相同,在同一文件系统用硬链接共享,发布目录仍各自保留正确的分片布局。下载先核对 revision、清单、文件大小和哈希,再打包并检查 Strata 的 --pack-info。Engram 的磁盘大小和进程实际占用的内存要分别算。 Strata 打包说明

宿主使用 Ubuntu 22.04、CUDA 13 和 80 GiB 的 A800。早期所选 CUDA 13 组合在 560 系列驱动上无法运行,完成测试时的驱动为 580.178.04。Strata 实测使用 v0.2.11 的源码构建,单独编译 sm_80。FreeToken 0731 服务的主机内存硬限是 208 GiB,原版 1017 和 Strata 是 304 GiB,模型服务均关闭交换,1017 和 Strata 试验的 CPU 配额等效 32 个逻辑核。一次三卡试验启动前,MemAvailable 约 455 GiB,扣除虚拟机和系统预留后,模型预算为 326 GiB。硬限、入场预算和进程峰值分开记录。表中「—」表示该项没有实测记录。 FreeToken 安装说明

模型实际占用多少主机内存#

宿主可见内存约 503.53 GiB。模型占用按服务的 cgroup 计,包含专家卸载用的共享内存。下表把整轮峰值、推理峰值和单点快照分开。

部署状态模型主机内存(GiB)采样阶段
0731 单卡 256K / 512K / 1M142.69 / 143.25 / 143.93推理阶段采样峰值
0731 单卡 64K / 256K / 512K / 1M约 192.00各档从加载到推理的整轮采样峰值
0731 单卡常驻服务143.72一次运行中 cgroup 快照,其中共享内存 137.08
原版 1017 单卡 256K 初始档280.31一次运行中快照
原版 1017 单卡 512K 图文日常档284.002026-11-08 的空闲快照,活动请求 0、交换 0
原版 1017 的 256K 调参、512K 和 1M 专项跑分—留存了显存记录,模型主机内存峰值未采样
Strata Coder / AtomicChat 单、双、三卡—留存了各卡显存和入场预算,模型主机内存未采样

1017 的 284.00 GiB 中,匿名内存约 2.84 GiB,file 类内存约 279.95 GiB,其中 270.16 GiB 是共享内存。shmem 已计入 file。只看匿名内存会漏掉专家卸载占用。 Linux cgroup v2 内存统计

0731 单卡的窗口与资源#

先用 14 输入、35 输出 tokens 的短计算题验通生成。首输出 7.12 秒,总时 9.11 秒。再用三标记文档逐档测试。下表的显存和主机 RAM 为整轮采样峰值,启动时间单列。1M 回执把分块记作请求的 8192,运行态有效分块为 4096。

档位有效分块 / 专家缓存 GiB实测输入 / 输出首输出 / 总时(秒)生成 tok/s启动(秒)显存 / 主机 RAM 峰值(GiB)采样数
64K8,192 / 3263,492 / 15473.14 / 82.9815.55141.2847.67 / 192.00109
256K8,192 / 32260,099 / 172249.79 / 260.4516.03141.6363.15 / 192.00194
512K8,192 / 24522,243 / 133602.84 / 612.6613.45138.3974.26 / 192.00363
1M4,096 / 81,046,532 / 1631,832.51 / 1,849.899.32162.4274.83 / 192.00971

最早一次 256K 因显存不足退出,尝试再申请 5.49 GiB 时只剩 2.98 GiB。调整运行档后,表中的 256K 实际读入 260,099 tokens 并完成检索。

原版 1017 单卡怎么调#

先看未经后续调优的 0731 与 1017#

同题使用相同原文,两款模型的实际分词相差 26 tokens。每格时间依次是首输出、首正文和完整回复,单位为秒。首输出可包含思考 token。

样本0731 输入 / 输出0731 首输出 / 首正文 / 总时0731 tok/s1017 输入 / 输出1017 首输出 / 首正文 / 总时1017 tok/s
约 2K1,795 / 1256.33 / 13.28 / 13.7916.611,821 / 9728.66 / 35.67 / 36.4112.38
约 8K7,939 / 837.59 / 11.89 / 12.4216.967,965 / 9332.54 / 39.40 / 40.0912.19
约 32K32,514 / 7126.79 / 30.49 / 31.0016.6232,540 / 11465.47 / 72.99 / 73.6013.90
约 64K65,283 / 8954.14 / 58.87 / 59.3816.7765,309 / 135114.92 / 124.03 / 124.6813.73
约 128K130,819 / 135114.02 / 121.30 / 121.8717.05130,845 / 107226.21 / 233.30 / 233.9413.71
约 192K196,356 / 87180.51 / 184.98 / 185.4817.30196,382 / 122320.71 / 328.58 / 329.3414.02
近满 256K259,843 / 117250.66 / 256.88 / 257.4017.22259,869 / 116418.11 / 425.62 / 426.3613.94
同文档追问259,843 / 1206.91 / 13.49 / 14.0116.77259,869 / 15612.56 / 23.30 / 24.0013.55

两款均正确返回三处标记。追问各命中 259,712 tokens。1017 这轮以 32 GiB 专家缓存、4096 分块启动,用了 294.32 秒,就绪显存 44,295 MiB,运行中的一次主机 cgroup 快照为 280.31 GiB。

256K 配置逐项比较#

冷检索为 65,309 输入,固定生成是同一份 65,319-token 代码输入、每次输出 512 tokens。近满检索及同文档追问各输入 259,869 tokens,三针均正确,追问各命中 259,712 tokens。就绪显存单列。

配置64K 冷首输出 / 首正文 / 总时(秒)固定生成两次 tok/s近 256K 冷首输出 / 首正文 / 总时(秒)冷输出追问首输出 / 首正文 / 总时(秒)追问输出就绪显存(MiB)
32 GiB / 4096 Offload110.94 / 120.67 / 121.4312.46 / 13.13412.49 / 420.17 / 420.9011612.45 / 23.22 / 23.9215644,295
48 GiB / 4096 Offload108.11 / 115.48 / 116.1016.78 / 16.82409.06 / 415.43 / 416.0611612.45 / 21.04 / 21.5515660,675
48 GiB / 8192 Offload65.15 / 70.79 / 71.3715.77 / 15.77232.11 / 238.11 / 238.6510712.47 / 21.05 / 21.5515760,735
48 GiB / 4096 Offload + D2D104.35 / 112.33 / 112.9516.85 / 16.81388.05 / 394.55 / 395.2011610.99 / 19.65 / 20.1615660,675
48 GiB / 4096 Hybrid 8110.26 / 116.31 / 116.7922.57 / 21.92430.98 / 436.73 / 437.2511112.54 / 16.81 / 17.2011160,675
48 GiB / 8192 Hybrid 860.05 / 64.60 / 65.0222.39 / 22.11222.13 / 227.35 / 227.7610712.47 / 18.49 / 18.8715560,735
配置专家缓存命中每层每步 miss / PCIe fetch / CPU 专家日志区间数
32 GiB / 4096 Offload71.25%1.73 / 1.73 / 0.0032
48 GiB / 4096 Offload80.15%1.19 / 1.19 / 0.0032
48 GiB / 8192 Offload75.80%1.46 / 1.46 / 0.0032
48 GiB / 4096 Offload + D2D80.15%1.19 / 1.19 / 0.0032
48 GiB / 4096 Hybrid 875.15%1.49 / 0.46 / 1.0332

从 32 GiB 加到 48 GiB,4096 分块 Offload 的专家命中从 71.25% 升到 80.15%。保持 48 GiB 时,把分块从 4096 改到 8192,冷读首输出从 409.06 秒降到 232.11 秒,但固定输出略慢。8192 与 Hybrid 8 合用后,这份冷文档 222.13 秒开始输出,固定生成约 22.25 tok/s。日常 512K 沿用这组参数。 FreeToken 调参说明

另一次在相同 CPU 配额下比较 Hybrid 8 和 32。下表保留两次固定输出的完整耗时和整段平均 CPU 用量。CPU 包含预填充与解码,32 线程档的两次生成各有约 27% 的配额周期发生节流。

线程冷检索首输出 / 首正文 / 总时(秒)固定生成 tok/s固定生成完整耗时(秒)平均逻辑 CPU 数节流周期就绪显存(MiB)
866.29 / 72.04 / 72.5518.48 / 18.4589.55 / 89.513.66 / 3.670/895 · 0/89660,735
3265.16 / 71.32 / 71.8422.29 / 22.5884.99 / 84.999.44 / 9.33229/850 · 226/85060,735

512K 和 1M 的单卡长读#

同一档的冷文档一致。512K 的 24 GiB 到 48 GiB 对照保持 4096 Offload,下一行同时改了分块和 Hybrid。1M 的快档也同时改变了三项,作为组合记录。

档位配置实际输入 / 输出冷首输出 / 首正文 / 总时(秒)生成 tok/s就绪 / 峰值显存(MiB)主机 RAM 峰值(GiB)启动(秒)
512K0731 历史档522,243 / 133602.84 / 612.11 / 612.6613.45— / 76,045192.00138.39
512K1017 24 GiB / 4096 Offload522,269 / 91922.08 / 929.13 / 929.9111.5136,995 / ——263.92
512K1017 48 GiB / 4096 Offload522,269 / 91820.28 / 825.28 / 825.8616.1561,575 / 64,069—230.16
512K1017 48 GiB / 8192 Hybrid 8522,269 / 136456.97 / 463.29 / 463.7120.0361,615 / 66,589—298.33
1M0731 历史档1,046,532 / 1631,832.51 / 1,849.00 / 1,849.899.32— / 76,627192.00162.42
1M1017 8 GiB / 4096 Offload1,046,558 / 962,479.31 / 2,490.70 / 2,491.797.6122,395 / ——274.62
1M1017 48 GiB / 8192 Hybrid 81,046,558 / 1201,000.06 / 1,005.76 / 1,006.1819.4363,415 / 68,397—246.54

表里的 512K 两组和 1M 快档显存峰值分别基于 550、404、648 次采样。调优后的 1M 快档读入 1,046,558 tokens,首输出从历史组合的约 41 分钟降到约 17 分钟。

Strata 用几张卡#

Strata 的下列试验都先确认目标卡空闲,再启动独立模型进程。双卡用同一组 PCIe 卡,三卡按实际层放置核对。普通分层均按 TP=1 记录。TP3 探针虽然完成短回复,运行日志没有证实 TP=3,未继续跑长文档。 Strata 多卡说明

近满 256K 的多卡表现#

冷检索的实际输入为 65,309 tokens,生成测试为 65,319 输入、各 512 输出。近满窗和追问各输入 259,869 tokens。时间顺序同前,追问列为首输出与总时。

配置64K 冷首输出 / 首正文 / 总时(秒)固定生成 tok/s近 256K 冷首输出 / 首正文 / 总时(秒)追问首输出 / 总时(秒)冷 / 暖输出追问命中追问结果
AtomicChat 三卡分层48.89 / 51.66 / 51.8641.24 / 41.22213.00 / 215.77 / 215.981.97 / 5.72117 / 154259,357通过
AtomicChat 双卡分层57.12 / 59.65 / 59.8440.80 / 41.26222.65 / 225.45 / 225.652.07 / 5.85118 / 154259,357通过
AtomicChat 单卡70.82 / 75.02 / 75.3424.58 / 26.981,369.87 / 1,374.53 / 1,374.844.35 / 8.81121 / 117259,357通过
AtomicChat 三卡 DSpark 348.53 / 51.01 / 51.2046.43 / 46.55212.44 / 214.91 / 215.111.98 / 5.78117 / 154259,357通过
AtomicChat 三卡 DSpark 1049.00 / 51.48 / 51.6843.08 / 46.37213.03 / 215.50 / 215.711.99 / 5.79117 / 154259,357通过
Coder 三卡矩阵复测85.14 / 87.88 / 88.0841.10 / 41.27385.06 / 387.24 / 387.451.93 / 5.7094 / 154259,357通过
Coder 1 卡45.70 / 47.69 / 47.8841.53 / 41.58203.12 / 205.25 / 205.452.06 / 5.7493 / 154259,357顺序错误
Coder 2 卡85.60 / 88.33 / 88.5241.38 / 41.51388.68 / 390.85 / 391.061.88 / 5.6394 / 154259,357通过
Coder 3 卡84.19 / 86.93 / 87.1341.20 / 41.34384.77 / 386.94 / 387.151.93 / 5.6994 / 154259,357通过

AtomicChat 单卡也能完成这份 256K 文档,冷读约 23 分钟。双卡把冷读降到约 3 分 46 秒,持续输出升到约 41 tok/s。普通三卡冷读再省约 10 秒,持续输出接近双卡。DSpark block 3 的固定输出约 46.5 tok/s,两种草稿块大小的接受量见下表。

Coder 单卡冷读最快的一轮约 205 秒,但追问把三个标记按原顺序返回。双卡与三卡在这道追问上正确倒序。这个差异来自单次样本,复测前先把它当作检索结果记录。

DSpark 配置固定输出样本 1 接受 / 提出固定输出样本 2 接受 / 提出
三卡 block 3195 / 255190 / 239
三卡 block 10202 / 283196 / 261

Coder 双卡长窗与 AtomicChat 三卡 1M#

长窗配置里的约 64K 固定生成仍各输出 512 tokens。下表冷、暖输入长度一致,四组冷暖检索均通过。AtomicChat 1M 使用三卡分层,关闭 DSpark。

配置实际冷暖输入64K 冷首输出 / 首正文 / 总时(秒)固定生成 tok/s近满冷首输出 / 首正文 / 总时(秒)近满暖首输出 / 首正文 / 总时(秒)近满冷 / 暖生成 tok/s冷 / 暖输出追问命中
Coder 双卡 256K259,86985.45 / 88.16 / 88.3541.68 / 41.73388.53 / 390.68 / 390.881.89 / 5.42 / 5.6239.52 / 40.9594 / 154259,357
Coder 双卡 512K522,26986.26 / 88.98 / 89.1741.50 / 41.68899.27 / 901.29 / 901.512.67 / 6.51 / 6.7336.96 / 37.6884 / 154521,757
Coder 双卡 1M1,046,55886.59 / 89.30 / 89.5041.60 / 41.772,279.82 / 2,282.04 / 2,282.294.47 / 8.96 / 9.2132.37 / 32.3181 / 1541,046,046
AtomicChat 三卡 1M1,046,55849.23 / 51.79 / 51.9941.00 / 41.041,417.89 / 1,421.49 / 1,421.744.58 / 9.14 / 9.3932.49 / 31.82126 / 1541,046,046

各卡形的就绪显存#

下表是模型加载就绪时每张卡的显存快照,单位为 MiB。0 表示快照时该卡空闲。各组卸载后均确认测试显存已释放。

配置GPU 0 / 1 / 2 就绪显存(MiB)
AtomicChat 三卡分层 256K13,827 / 72,747 / 71,931
AtomicChat 双卡分层 256K72,995 / 72,981 / 0
AtomicChat 单卡 256K0 / 0 / 73,005
AtomicChat 三卡 DSpark 3 256K21,381 / 72,751 / 72,033
AtomicChat 三卡 DSpark 10 256K21,381 / 72,751 / 72,033
Coder 三卡矩阵复测 256K4,651 / 4,759 / 69,391
AtomicChat 三卡 TP3 探针 256K13,827 / 72,747 / 71,931
Coder 1 卡 256K0 / 0 / 70,869
Coder 2 卡 256K4,647 / 71,047 / 0
Coder 3 卡 256K4,651 / 4,759 / 69,391
Coder 双卡 256K4,647 / 71,047 / 0
Coder 双卡 512K4,701 / 71,331 / 0
Coder 双卡 1M4,809 / 71,899 / 0
AtomicChat 三卡 1M14,127 / 72,985 / 72,369

1M 冷文档该选哪一档#

同一原文,实际冷输入都是 1,046,558 tokens。三组都给出了正确顺序的三个标记。1M 配置上限是 1,048,576,文档给模板和回答留出了余量。

部署冷首输出(秒)冷完整回复(秒)冷生成 tok/s实际输出
原版 1017 FreeToken 单卡快档1,000.061,006.1819.43120
AtomicChat Strata 三卡分层1,417.891,421.7432.49126
Coder Strata 双卡分层2,279.822,282.2932.3781

原版单卡最早答完。两个 Strata 配置在生成阶段都约 32 tok/s,冷读时间差了约 14 分钟。切换为热追问后,它们都能复用 1,046,046 tokens,首输出约 4.5 秒。日常频繁换文档,我用原版单卡;同一份材料反复问,或需要长输出,我优先考虑 Strata 双卡。

生成速率用 (实际输出 tokens − 1) / (总时 − 首输出时间)。固定生成样本每次输出 512 tokens,1M 检索是自然结束的短答案。本文记录的是检索正确性和速度。写作、翻译、工具调用准确性与并发吞吐需要各自测试。

512K 图文与 API 验收#

日常原版 1017 以 512K、48 GiB、8192、Hybrid 8 部署,视觉编码器使用主机侧权重。红、蓝测试图分别经过原生接口和聚合入口,均返回正确颜色。下面是保存的三条代表性回执。近满 512K 的性能数据来自文本检索。图文验收时 GPU 就绪快照为 61,969 MiB,恢复日常服务后的快照为 61,821 MiB。

探针HTTP输入 tokens输出 tokens结果
原生图文20025621颜色正确
聚合图文20025625颜色正确
聚合文本2004120算术正确

部署入口保留原生推理、启停网关和统一聚合别名。切换模型先停止新接单,核对当前进程归属及活跃请求,再换档。模型启动后先查卡、内存与服务返回的窗口,随后用同样的冷、暖文档验用量和答案。下面的命令只读。

Terminal window
nvidia-smi --query-gpu=index,memory.used,memory.total --format=csv
nvidia-smi --query-compute-apps=gpu_uuid,pid,used_gpu_memory --format=csv
grep '^MemAvailable:' /proc/meminfo

在 Linux cgroup v2 上,以模型服务单元为范围读取主机内存。

Terminal window
CGROUP=$(systemctl show "$MODEL_UNIT" -p ControlGroup --value)
if [ -n "$CGROUP" ]; then
cat "/sys/fs/cgroup${CGROUP}/memory.current"
grep -E '^(anon|file|shmem) ' "/sys/fs/cgroup${CGROUP}/memory.stat"
fi

将 API_BASE 设为含 /v1 的 API 地址,使用已有令牌读取模型目录。

Terminal window
read -r -s API_KEY
printf 'header = "Authorization: Bearer %s"\n' "$API_KEY" |
curl -fsS --config - "$API_BASE/models" |
jq '.data[] | select(.id == "deepseek") | {id, context_length, max_model_len}'
unset API_KEY
在 A800 上部署 DeepSeek Flash:从 0731 到 1017、FreeToken 与 Strata 实测
https://54wsdf.github.io/posts/deepseek-flash-a800-deployment/
作者
蓝水心
发布于
2026-11-08
许可协议
CC BY-NC-SA 4.0

留言板

接近留言板时加载评论。