在2025年的GTC大会上，黄仁勋再次展示了AI领域的最新突破——PD分离（Prefill-Decode Disaggregation）技术。这一技术不仅吸引了业界的广泛关注，更成为了各大公司优化大模型推理服务的兵家必争之地。那么，PD分离技术究竟有何魅力，让众多科技巨头竞相追捧呢？

PD分离技术由加州大学圣地亚哥分校（UCSD）的Hao AI实验室提出，该实验室由一群才华横溢的华人研究者组成。他们深入剖析了大语言模型（LLM）服务中的关键问题，并创造性地提出了预填充-解码分离的解决方案。这一方案旨在提升LLM服务的有效吞吐量，即在保持严格的延迟约束下，实现更高的服务性能。

在传统的LLM服务系统中，预填充和解码通常被一起批处理，以提高吞吐量。然而，这种做法忽视了预填充和解码在计算特点和延迟需求上的巨大差异。预填充阶段计算密集，容易饱和GPU资源；而解码阶段则更依赖于大批量处理和GPU内存带宽。将这两者混合处理，不仅会导致性能下降，还难以优化资源分配和并行策略。

UCSD的华人团队通过PD分离技术，成功解决了这一问题。他们将预填充和解码分配到不同的GPU上，并为每个阶段定制并行策略。这样做不仅消除了两者之间的干扰，还使得资源分配和并行策略得以解耦，从而可以针对每个阶段进行独立优化。

实验结果表明，PD分离技术能够显著提升LLM服务的有效吞吐量。在一个简单的实验中，使用单个A100-80GB GPU运行13B的LLM模型，PD分离技术将有效吞吐量提高了2倍。更令人瞩目的是，在更严格的延迟约束下，PD分离技术仍然能够保持高性能，实现了高达4.48倍的有效产出率或10.2倍更严格的SLO达成率。

除了性能上的提升，PD分离技术还具有其他优势。例如，它使得为每个阶段选择最佳的并行策略成为可能，从而进一步优化服务性能。此外，通过合理的放置和高速网络技术，如NVLink和PCI-e 5.0，可以有效地最小化KV缓存传输的开销，使得PD分离技术的实际应用更加可行。

Hao AI实验室的这项创新成果不仅为LLM服务系统的优化提供了新的思路，也为AI领域的发展注入了新的活力。随着PD分离技术的不断推广和应用，我们有理由相信，未来的LLM服务将更加高效、智能和人性化。

最后，让我们向UCSD的Hao AI实验室的华人研究者们致以崇高的敬意。正是他们的不懈努力和卓越贡献，推动了AI技术的不断进步和创新。