AI 基建周报 | [SnapAI]News

• Jul 6, 2026

  [AI 基建周报] 6月30日 - 7月6日：vLLM v0.24.0 集成 DeepEP v2、KAITO v0.11.0 支持 P/D 分离与 Karpenter 置备、KAI-Scheduler 引入 NUMA 感知调度

  6月30日至7月6日，云原生 AI 基础设施在推理引擎、异构调度与可观测三条线同步推进。vLLM v0.24.0 集成 DeepEP v2，KAITO v0.11.0 落地 P/D 分离与 Karpenter GPU 置备，KAI-Scheduler 引入 NUMA 感知调度，Kubernetes DRA 路线图公开。可观测侧 Langfuse 连续三版对齐 OpenTelemetry，LiteLLM 引入语义缓存与 OTel v2 规范。本周无重大安全事件，整体属于能力补齐与标准收敛周。

• Jul 6, 2026

  [AI 基建周报] 6月26日 - 7月2日：llm-d v0.8.1 多层 KV 卸载进生产、SGLang v0.5.14 DeepSeek-V4 吞吐 5x、Kubernetes DRA v1.35 正式 GA

  6月26日-7月2日：Kubernetes DRA v1.35 正式 GA，异构 GPU 调度进入平台标配阶段；llm-d v0.8.1 将多层 KV 卸载与多模态网关推入生产；SGLang v0.5.14 针对 DeepSeek-V4 实现 5 倍吞吐提升；Volcano / Kueue 同步修复 DRA 联动缺陷。推理栈 Kubernetes 原生化与多层 KV Cache 卸载是本周最值得平台团队跟进的两条主线。