（原标题：AI推理爆发前夜，英伟达打出另一张“王牌”）
公众号记得加星标，第一时间看推送不会错过。
一夜之间，网络成为了AI时代的新宠，几乎所有参与数据中心的企业，近几个月来都在谈论网络。GPU依旧火热，但AI网络似乎受到了更多关注，从硅谷巨头到初创新企，大家乐此不疲地讲着AI网络的多元应用与广阔前景。
这一现象的背后，是“AI工厂”与“AI云”的崛起，其中，AI工厂是指专门处理大量数据并生成智能的超级计算机或数据中心。它将“AI开发”流程比作工业制造工厂：如同工厂将原材料转化为产品，AI 工厂则将原始数据转化为“智能”或“解决方案”；而AI云则是在公有云或私有云平台上提供弹性、可扩展的AI服务，用户无需自建基础设施即可调用模型和算力，强调灵活性与普适性。
从传统数据中心转型而来的它们，不再只是处理和存储数据，而是将海量原始数据转化为实时洞察与价值，肩负着“制造智能”的重要任务。
显然，过往老旧的底层网络架构已难以支撑这样的需求。
也正因如此，AI巨头英伟达的网络优势开始全面显现，除了广为人知的InfiniBand技术外，其专为 AI 打造的以太网架构Spectrum-X正备受瞩目。
IDC报告显示，在Spectrum-X以太网网络平台的强劲推动下，英伟达数据中心以太网交换机收入从2024年第四季度到2025年第一季度实现了183.7%的惊人增长，在整个以太网交换机市场中占据12.5%的份额，在数据中心细分领域更是达到21.1%的市场占有率。
依靠着发布仅两年多的Spectrum-X以太网网络平台，英伟达不仅成功跻身全球数据中心以太网市场前三甲，更在快速崛起的AI以太网市场中抢占先机，确立了无可争议的领导地位。
尽管外界依然习惯将英伟达定义为GPU巨头，但在聚光灯照不到的地方，这家公司正以惊人的速度重塑着AI时代的数据中心网络版图。
4万亿的真正底气
对于英伟达而言，它在AI网络上的布局远早于其他巨头。
2020年9月30日，为了庆祝以太网规范诞生40周年，英伟达创始人兼CEO黄仁勋专程采访了以太网的发明者鲍勃·梅特卡夫。
访谈中，两人探讨了一个耐人寻味的问题：英伟达的核心竞争力，在于GPU本身，还是GPU之间的互连技术？
这一问题的背景，是英伟达2020年4月方才完成的一桩收购，其以69亿美元的报价收购芯片设计公司Mellanox，这家企业不仅开发了一系列基于InfiniBand标准的计算网络产品，还推出了基于开放以太网标准的Spectrum交换机。
而不论是InfiniBand，还是Spectrum以太网，都属于服务器之间互连的一种技术方向，InfiniBand技术专注于极致的高性能和即插即用，Spectrum以太网则是高性能与传统云应用场景的完美融合，英伟达将Mellanox纳入囊中，就意味着其自此拥有了GPU服务器直接互连的两张王牌，兼顾了性能、扩展性和服务性的市场迫切需求。
面对这一问题，梅特卡夫笃定地指出，英伟达真正的底气，就是GPU互连。
五年后的今天，英伟达市值飙升至4万亿美元，跻身全球最具价值的企业前列。支撑这一惊人成就的背后，除了目前炙手可热的Blackwell芯片外，还有它早已独步于天下的GPU服务器互连技术——即AI网络。
这时候新的疑问诞生了，AI网络市场的竞争者这么多，为什么唯独英伟达能够赢得众多巨头的“欢心”呢？
让我们先从InfiniBand说起。
作为一种功能强大的网络架构，InfiniBand被专门设计用于支持高性能计算和AI数据中心基础设施的I/O连接，它的独特之处在于既可作为 “盒内” 背板解决方案（PCB 上的组件互连），也可通过铜缆或光纤实现 “盒外” 设备互连，统一了传统总线与网络互连的功能。
除此之外，InfiniBand的高带宽、低延迟、低功耗以及可扩展性等特性，让它与AI数据中心形成了天作之合，例如最新的InfiniBand XDR网络带宽可达800Gb/s，其发展速度远超PCIe的发展速度，目前的x86服务器都还未支持PCIe6.0来满足其对于带宽的需求，需要通过Multi Host或者Socket Direct 等技术来达到XDR网络对于800Gb/s上行带宽的需求；业界第一种支持RDMA（远程直接内存访问）技术的网络，在大约20年前就实现了无需 CPU 干预就能实现网络的线速数据传输；也是业界最先实现了网络计算的网络，可以将HPC和AI工作负载中复杂的集合通信计算卸载到网络交换机上，有效提升了通信性能和降低了网络拥塞。
形象一点来说，InfiniBand就像是一条特殊设计的专用公路，速度很高，同时可以有效避免拥堵，它的独特架构可以在实现高带宽的同时大幅降低延迟，对比传统网络架构有着非常大的优势，其非常适合那些训练各类大语言模型（LLM）的AI工厂。
而英伟达在2023年推出的Spectrum-X 网络平台，则是专门面向AI应用场景，对传统以太网的进一步的优化和升级，是一种从网卡到交换机协同设计的端到端AI网络技术。
首先是传统以太网被诟病最多的延迟问题，Spectrum-X最大限度通过端到端的优化设计显著降低了AI业务的通信时延，通过源于InfiniBand网络的RDMA技术，实现了GPU显存和GPU显存之间的直接通信，大幅降低通信延迟并为用户的通信优化提供了更多的方向；而在网络拥塞与丢包问题上，Spectrum-X则加入了在InfiniBand网络上已经成熟应用的动态路由技术（Adaptive Routing），根据网络负载情况，实时调整数据传输路径，最大化网络带宽的利用率。
同时，Spectrum-X也具备了InfiniBand网络的性能隔离技术（Performance Isolation），该技术确保在多租户的多任务环境中，不同租户的应用之间的网络流量互不干扰，即使一个业务出现了突发流量，也不会影响到其它业务，确保各个任务都能在最优环境中运行，实现Bare Metal的性能。
与InfiniBand不同的是，Spectrum-X面向的是AI云市场，它也兼顾了以太网的灵活性和安全性，让传统的以太网用户可以在不改变使用习惯的情况下，实现快速向AI数据中心网络的迁移。数据中心走向AI数据中心（AI工厂和AI云）已经是大势所趋，AI模型正在逐渐取代传统的应用模式，Spectrum-X的出现，实现了传统云基础设施走向AI的平滑升级扩展，满足了更多云服务提供商对大规模生成式AI等应用需求。
事实上，目前在AI训练方面，英伟达网络已稳居主导地位：微软Azure、OpenAI和Meta等AI巨头早已采用InfiniBand来训练自己的大语言模型，而Spectrum-X也在过去的一年迅速争取到了大量新老客户，实现了在网络发展史上罕见的爆发性增长，成为了数据中心网络的王者。至此，NVIDIA通过NVLink网络为AI业务在纵向扩展（Scale Up）上提供了坚实的基础，通过Spectrum-X网络和InfiniBand网络提供了在横向扩展（Scale Out）的无限可能，通过与业界领先的各种GPU技术的结合，最终实现了AI业务在计算和通信上的闭环，为AI数据中心走向高性能和无限可扩展铺平了道路。
但AI发展显然不会拘泥于训练这一个领域，能够撑起英伟达4万亿市值的核心，始终是其对AI发展趋势的前瞻洞察与先发制人的战略眼光。
从训练，迈向推理
在今年3月举办的GTC大会上，英伟达释放出了一个重要的行业信号：随着AI产业在大规模模型训练方面的需求增长逐渐趋缓，加之DeepSeek等公司在推理技术上的突破性创新，整个AI行业正迎来从训练时代向推理时代的关键转折点。
这一转变背后，瞄准的是一个规模远超训练市场的全新蓝海——推理市场。如果说训练阶段是AI能力的“铸造”过程，那么推理阶段则是这些能力的“实战”，其市场潜力和商业价值将呈现指数级增长。
但新的问题接踵而至。
一方面，随着推理模型复杂度提升，原本只需在单GPU或者单节点处理的任务，开始向多GPU和多节点并行转移。推理已不再是传统意义上的“一问一答”，而是进入“Test-time Scaling”阶段——在每次请求中模拟多条解答路径，并选出最优解。这种推理逻辑本质上是一种实时的深度推演，需要在毫秒级完成大量token处理与上下文回溯。这也意味着推理系统对延迟、带宽、同步机制的要求大幅上升。
另一方面，当前推理任务日益体现出“P-D分离”的趋势，即将Prefiling与Decoding任务部署在不同硬件节点，以实现资源最优化利用，避免Prefiling与Decoding阶段出现计算和通信资源的冲突。但这也使得在Prefiling与Decoding之间的数据交换成为瓶颈。
除此之外，大模型推理（特别是基于MoE的推理大模型）还高度依赖KVCache（键值缓存），其存储规模往往随着输入token数量的增加而快速增加，这就导致了KVCache可能被存放于GPU显存，或者CPU内存，或者GPU服务器本地SSD，或者远端的共享存储。由于KVCache需要在多GPU间频繁共享与更新，这对网络提出“双向压力”：东西向需实现GPU间通过RDMA的方式高速共享KV，南北向则要求GPU与存储、CPU间能低延迟调度和高性能传输数据。
英伟达针对这部分推理中所遇到的现实难题提供了高效的解决方案：
在分布式推理上，英伟达目前已有的InfiniBand与Spectrum-X以太网架构，构建了具备RDMA、智能拥塞控制和QoS能力的网络层，为其提供所需的“高速公路”。
而在PD分离的通信瓶颈上，英伟达通过NVLink/NVSwitch构建了高速互连通道，并借助Grace CPU实现CPU与GPU之间的深度耦合，在统一的共享内存域下，极大减少主存数据搬运与延迟，大幅提升推理效率。
最后是KVCache存储结构所面临的双向挑战，英伟达引入了BlueField SuperNIC（Super Network Interface Card）与BlueField DPU（Data Processing Unit）的双引擎协同架构。前者作为一种专为AI负载设计的高性能智能网卡，在KVCache场景中可加速GPU节点间的KV共享操作，确保跨节点token处理时延最低、带宽最大化；而后者则是在CPU与GPU之间建立了一条智能的“数据高速公路”，将传统由CPU承担的KVCache搬运、调度、访问控制等任务转移到DPU上执行，有效降低延迟、释放CPU资源，并提升整体IO吞吐效率。
以上几大问题是推理所遇到的网络问题，而在大型推理集群中，还有着不同的难点。
很多人原本认为推理是单节点即可完成的轻量任务，但现实完全相反，越来越多企业将训练集群直接转用于推理，尤其在Agentic Reasoning（自主智能体推理）场景中，每个Agent都需要独立数据库与长上下文处理能力，算力与网络资源消耗更胜训练。
为应对这一趋势，英伟达推出了AI Fabric网络架构，通过NIXL（NVIDIA Inference Xfer Library）和Dynamo推理框架的配合，可支持动态路径选择与GPU级别资源调度，使得推理系统在大规模部署下依然具备灵活性与实时性，解决了大型推理集群的资源编排瓶颈。
互连设备的功耗与稳定性则是另一个企业头疼的大难题，随着推理所需GPU的数量迅速增长，网络互连成为整个系统能耗的关键组成，传统的电连接（如铜缆）受限于连接距离的影响，已经成为了扩展瓶颈，光互连成为了AI数据中心的主流。
为此，英伟达推出了CPO（Co-Packaged Optics，光电一体化封装）技术，将光模块集成入交换芯片封装中，有效降低功耗并提升可靠性。据了解，与传统光模块相比，CPO可带来30%-50%的网络能耗节省，相当于在超大规模数据中心中释放出数十兆瓦电力用于GPU计算。
值得一提的是，CPO还带来了运维层面的好处——光模块数量减少、手工插拔模块时引发的故障率降低、激光器减少四倍，这都在提升整体系统韧性的同时，支持更高密度部署。
可以看到，英伟达网络正以训练时代的技术积淀，为推理时代构筑全新底座：从BlueField SuperNIC、BlueField DPU，到Spectrum-X, AI Fabric、CPO光电一体化网络交换机，再到全栈优化的软件生态，其推理基础设施版图已经成型。
掌握网络，就是掌握未来
2020年9月那场与梅特卡夫的交流中，黄仁勋还说了这样一句话，客户不关心你采用什么技术，更关心如何解决他们的问题。
在他的眼里，英伟达的真正突破，不仅在于GPU的性能优势，而在于它早早把GPU重新定义为一种平台级组件——就像DRAM、CPU一样，可被嵌入到解决方案中，面向具体问题构建完整系统，数据中心成为了计算机，而网络决定了数据中心的性能、扩展性和效率。这种系统思维，是英伟达从图形处理走向AI数据中心供应商的核心底层动力。
在最初，没有人相信GPU有如此广阔的未来。“专注于CPU无法解决的问题？那市场要么根本不存在，因为没有解决方案，要么市场非常小，而且是一个超级计算机的市场，都不可能成功。”黄仁勋回忆当年质疑者时曾这样说。但英伟达的洞察更深一层：真正的市场往往诞生于需求尚未成型时。
这一逻辑，正复制在今天的AI网络平台之上。就像当年的3D游戏离不开以太网，今天的推理模型、Agent智能体、生成式AI也同样离不开高速、稳定、智能化的网络——遵循的，依旧是梅特卡夫定律：连接越多，平台价值越大。
未来，随着大型推理集群的加速部署，AI平台的“终局战场”不再是某一颗芯片的性能之争，而是整个系统、生态、网络的协同效率之争。在这个新的战场上，英伟达不仅已经上场——它正在引领方向。
（封面图来源于Freepic）
*免责声明：本文由作者原创。文章内容系作者个人观点，半导体行业观察转载仅为了传达一种不同的观点，不代表半导体行业观察对该观点赞同或支持，如果有任何异议，欢迎联系半导体行业观察。
今天是《半导体行业观察》为您分享的第4124期内容，欢迎关注。
加星标第一时间看推送，小号防走丢
求推荐
星速配资提示：文章来自网络，不代表本站观点。
