返回行业情报
✦ 精选

ComfyUI本地LLM推理速度翻倍

Doubling LLM token rates in ComfyUI

ComfyUI重写Qwen3.x系列LLM的文本生成热路径,通过优化GEMV线性核、内存布局重排、自适应树MTP投机解码及混合注意力解码核,在RTX 5090上Qwen3.5 9B从106提升至219 tokens/秒,Qwen3.8 27B图像描述从55提升至122 tokens/秒,模型质量不变,v0.45.0已可用。

深度解读

ComfyUI 把本地 LLM 文本生成的吞吐量最高翻了一倍,而且模型、权重、输出质量全都不变,纯粹靠重写推理热路径实现——这是本次更新最核心的事实。具体数字是:RTX 5090 上 Qwen3.5 9B 从 106 tok/s 提升到 219 tok/s,RTX 5080 上从 91 提升到 129,Qwen3.8 27B 在 5090 上描述一张 1536×1536 图片从 55 tok/s 提升到 122 tok/s。所有改动都落在 ComfyUI v0.45.0 里,用户只需要加载 Qwen3.x checkpoint、把 Text Generate 节点的 mtp 选项留在 auto 即可。

这件事的意义不在于"ComfyUI 变快了"这么简单。它揭示了一个被图像/视频生成社区长期忽视的优化方向:LLM 解码和扩散模型是两种完全不同的性能瓶颈,而 ComfyUI 恰好同时承载这两类负载,于是它被迫去解决一个纯图像工具不会遇到的问题。

瓶颈的物理本质:读显存,不是算力

ComfyUI 里跑 LLM 的场景和云端推理有根本区别。云端 LLM 服务靠批处理摊薄权重读取成本——一次读 14 GB 权重,同时服务几十个独立用户的几十条序列,每条序列分摊的读取开销就很小。但一个 ComfyUI 工作流通常只生成一条序列,batch size 恒等于 1。

对量化到四位的 27B 模型(如 Qwen3.8 W4A8),生成一个 token 要读大约 14 GB 权重,而每个权重可能只参与一次数学运算。

所以本地 LLM 解码的瓶颈是显存带宽,即 GPU 从 VRAM 读模型有多快,而不是 GPU 算得多快。这和扩散模型正好相反:扩散模型每一步处理整个 latent 输出,每个权重作用于完整序列长度,是典型的计算瓶颈。两套优化逻辑几乎不共享任何经验,这也是为什么这次的工作必须从零重写 kernel,而不能复用图像侧的成果。

MTP:把"读一次权重"榨出多个 token

Qwen3.x 的 checkpoint 自带一个 MTP(Multi-Token Prediction)头——一个比主模型小得多的额外层,利用主模型的 hidden state 去猜下一个 token。ComfyUI 把它用作投机解码:MTP 头先草拟几个 token,下一次前向传播时把这些候选一起做投机验证。

关键在于验证的成本。因为整个 pass 仍然被显存带宽卡住,验证一批候选 token 的开销和生成单个 token 差不多。每一个被主模型接受的草稿 token,就省掉一次完整的前向传播,也就省掉一次完整的模型读取。这就是 MTP 能让输出速率翻倍以上的机制来源——它不是让计算变快,而是让每次昂贵的权重读取产出更多有效 token。

这次更新在 MTP 上做了两件事:优化 MTP 的计算 kernel,以及用新的自适应树状 MTP 算法增强 MTP 本身。后者意味着草稿的生成结构不再是固定线性,而是按树状展开候选,提高命中率。

Kernel 重写:让显存总线别闲着

原来的路径是通用 INT8 方案:量化激活,跑一个只匹配 safetensors 里 W4A8 显存布局的矩阵-向量 kernel。问题在于权重张量和它的 per-group scale 张量在内存里是分开的,kernel 每消费一段权重就得跳到另一个位置读 scale,造成大量 VRAM seeking。

新方案把权重和 scale 按 kernel 消费顺序交错排列在内存里,每个 thread block 流式读取一段连续区域,显存读取管线因此能跑满。这个重布局在 VRAM 里原地完成,由动态 VRAM 权重加载引擎管理,每个模型加载时只做一次,不额外占用 RAM 或 VRAM。

值得注意的是作者明确划定了适用范围:这种重布局只对"瘦"线性层(LLM 解码)有意义,扩散模型那些"胖"线性层是计算瓶颈,显存跳读的延迟本来就被计算掩盖了。这是一个非常清醒的工程判断——不是所有优化都该无差别推广。

把 M=1 塞进硬件的最小 tile

现代 GPU 的张量核心用单条指令算一个矩阵乘加 tile。NVIDIA 从 30 系开始,tensor core 的最小 tile 维度是 8,另一个维度可以更大。新 kernel 用 MMA(matrix-multiply-accumulate) 指令,把"瘦"维度 M 映射到硬件最小 tile 维度 8 上,从而在只用一条指令的同时,把 M<8 时浪费的空计算行压到最低。

纯单 token 生成(M=1)时,这和用非张量的 CUDA 核心指令(dp4a)性能大致相当。但一旦引入 MTP 让 M>1,tiled 方案立刻占优——因为 tiler 能以 M=1 的同样速度算到 M=8,等于最多八行 MTP 猜测几乎免费。这是 MTP 和 kernel 设计互相成就的地方:MTP 提供 M>1 的负载,tiled kernel 让这个负载不额外花钱。

此外新增了 prologue fusion:激活量化现在吸收掉前面的 RMSNorm 或 SwiGLU,中间张量不再写回内存,减少了 cache 流量和 kernel 启动开销,也就压缩了显存总线活动之间的纯计算空隙。

混合注意力的两套解法

Qwen3.5 和 3.8 是混合注意力模型:每四层里有三层是 DeltaNet 线性注意力(带一个小的循环状态),第四层是普通的 grouped-query attention(带 KV cache)。

对注意力层,新写的 decode kernel 直接处理单 token 的短 query,或 MTP 那几行草稿及其因果验证行,不需要物化 attention mask。它把缓存的 prefix 切分到多个 thread block 上,让一个极小的 query 就能填满 GPU,最后一个完成的 block 在同一次 launch 内合并部分结果。

对 DeltaNet 层,真正的痛点在过去是投机验证。验证多个草稿 token 需要每个 token 之后的循环状态,一旦某个草稿被拒,状态必须回滚。旧实现的做法是每验证一个投机 token、每一层都完整快照状态,每个 head 64 KiB。新 kernel 改为记录每 token 的小型中间量、推迟状态更新,下一次调用只重放被接受的 token,提交状态只写一次。这等于用一点额外算术换大量显存流量——而在这个场景里,算术是富余的,显存带宽才是稀缺的,方向完全正确。

所以呢

对 ComfyUI 用户,这是零成本的收益:不用换模型、不用调质量参数,升级到 v0.45.0、mtp 留 auto 就行。对更广的本地推理生态,这次工作的价值在于它示范了一条被低估的路径——在 batch=1 的消费级场景里,LLM 解码的优化空间主要不在算法层,而在显存访问的物理层:内存布局、tile 映射、prologue 融合、状态回滚策略,每一项都是在跟 VRAM 总线抢时间。

更值得留意的是它对"prompt enhancer"的连带影响。近期那些 state-of-the-art 图像生成模型自带的提示词增强器,很多底层就是 Qwen3.x 这类 LLM,文本生成快一倍,意味着从输入提示到出图的整条链路延迟明显缩短。ComfyUI 同时握着扩散模型和 LLM 两条腿,这次它把 LLM 那条腿的瓶颈认清楚了,也修对了。

其
AI前沿ComfyUILLM推理优化Qwen3MTP投机解码GEMV内核