IT之家 10 月 18 日消息，研究机构 SemiAnalysis 今日发布报告称，英伟达通过一项上游 vLLM 优化，使参数规模达 2.8 万亿的 Kimi K3 模型实现了每用户每秒 423 个 Token 的推理速度，与相同硬件（GB300 NVL72）相比，性能提升了 1.68 倍。
据介绍，这一优化由英伟达 CentML 工程师 Benjamin 完成。他采用大规模 Megakernel 融合技术，并使用 Cute DSL 编写了英伟达新推出的解码专用内核。该 Megakernel 包含 1.2 万行代码，代表了 AI 辅助生成高级计算内核的未来发展方向。英伟达优化 Kimi K3 模型推理速度，提升 1.68 倍。
IT之家注意到，英伟达还在为 vLLM 开发 DeepSeek V4.1 等其他模型的优化，相关NBA赔率对比数据未在本次报告中提及。