vLLM 推出基于 push 的 KV 传输，分拆推理下 TTFT 最高提升 3 倍

vLLM 新增 push 模式的 NIXL connector，把 KV 传输的协调与准备工作移出首 token 关键路径，在 1P1D 的 Amazon EC2 P5en + EFA 部署上运行 Qwen3-32B，TTFT 最高提升 3 倍、TPOT 最高改善 30%。该功能先在 AWS Trainium 集群上验证，再作为与加速器无关的特性贡献给 vLLM，GPU 集群测试显示收益同样成立。