2月22日,英伟达(NASDAQ:NVDA)召开24财年Q4业绩会。英伟达介绍,第四季度收入达到创纪录的 221 亿美元,环比增长 22%,同比增长 265%,远高于 200 亿美元的预期。2024 财年,收入达到 609 亿美元,比上一年增长 126%。数据中心,2024 财年收入为 475 亿美元,是上一年的三倍多。
英伟达指出,世界已经到达新计算时代的转折点。价值数万亿美元的数据中心基础设施安装基础正在迅速从通用计算过渡到加速计算。随着摩尔定律的放缓和计算需求的猛增,公司正在加速所有可能的工作负载,以推动未来性能、成本和能源效率的改进。与此同时,企业开始建设下一代现代数据中心,即人工智能工厂,专门用于在生成人工智能时代提炼原始数据并产生价值。
英伟达表示,第四季度,在 Nvidia Hopper GPU 计算平台和 InfiniBand 端到端网络的推动下,数据中心收入达到184 亿美元,创下历史新高,环比增长 27%,同比增长 409%。计算收入增长了 5 倍以上,网络收入增长了两倍。
第四季度数据中心的增长是由跨越不同行业、用例和地区的生成式AI和大型语言模型的训练和推理推动的。公司的数据中心平台的多功能性和领先性能可为许多用例带来高投资回报,包括AI训练和推理、数据处理和广泛的CUDA加速工作负载。公司估计,去年数据中心大约 40% 的收入来自AI推理。
构建和部署AI解决方案几乎已涉及每个行业。各行各业的许多公司都在大规模培训和运营其AI模型和服务。企业通过云提供商使用 Nvidia AI 基础设施,包括超大规模、GPU 专用云、私有云或本地云。Nvidia 的计算堆栈可跨云和本地环境无缝扩展,允许客户采用多云或混合云策略进行部署。在第四季度,大型云提供商占数据中心收入的一半以上,支持内部工作负载和外部公共云客户。
Q&A
问:在数据中心业务方面,过去 一个季度对2024-2025年的预期有何变化?
答:我们每次指导一个季度,但从根本上讲,24、25 日历及以后的持续增长条件非常好。
我们正处于两个全行业转型的开始阶段。首先是从通用计算向加速计算的转变。通用计算开始失去动力,通信服务提供商和许多数据中心(包括我们自己的数据中心)证明了这一点,折旧时间从四年延长到六年。当您无法像以前那样从根本上显着提高其吞吐量时,就没有理由更新更多的 CPU。所以,你必须加速一切。这是 Nvidia 一段时间以来一直在开拓的领域。通过加速计算,您可以显着提高能源效率,并将数据处理成本降低 20 比 1,这是一个巨大的数字。当然还有速度上的提升。
这种速度促成了第二次全行业转型,即生成式人工智能。生成式人工智能是一种新的应用程序,它支持一种新的软件开发方式,创建新型软件。这是一种新的计算方式。你无法在传统的通用计算上进行生成式人工智能;必须加速。它正在催生一个全新的行业,值得退后一步审视。它与你关于主权人工智能的最后一个问题有关。
数据中心第一次不仅仅是计算数据、存储数据和为公司员工提供服务。我们现在有一个关于人工智能生成的新型数据中心,一个人工智能生成工厂。它采用原材料(即数据),用 Nvidia 构建的人工智能超级计算机对其进行转换,并将其转化为极其有价值的代币。这些令牌是人们在 ChatGPT、中间旅程或增强搜索中体验到的。现在,您所有的推荐系统都得到了增强,伴随着超个性化,所有这些数字生物学领域令人难以置信的初创公司都产生了蛋白质和化学物质,这样的例子不胜枚举。这些代币是在一种非常专业的数据中心中生成的,我们称之为人工智能超级计算机和人工智能生成工厂。
我们看到这在新市场中的体现方式存在多样性。
我们所做的推理量是惊人的。几乎每次您与 ChatGPT 交互时,我们都在进行推理。每次您使用旅程时,我们都会进行推断。每次你看到令人惊叹的视频被生成或编辑时,Nvidia 都在进行推理。
我们业务的推理部分增长了约 40%。由于这些模型变得越来越大,训练量仍在继续。我们还向新行业进行多元化发展。从资本支出和讨论中可以看出,大型通信服务提供商仍在建设中。但有一个新类别称为 GPU 专用 CSP。他们专注于 Nvidia 人工智能基础设施。您会看到部署 AI 的企业软件平台,例如 ServiceNow、Adobe、SAP 等。消费者互联网服务现在正在通过生成人工智能来增强其所有服务,以提供更加超个性化的内容。
我们谈论的是工业生成人工智能。我们的行业现在代表着价值数十亿美元的业务,包括汽车、健康、金融服务。
主权人工智能与每个地区的语言、知识、历史和文化不同,并且拥有自己的数据这一事实有关。他们希望利用自己的数据创建自己的数字智能,并提供它来自己利用原材料。我们看到日本、加拿大、法国和许多其他地区正在建设主权人工智能基础设施。我的期望是,美国和西方正在经历的事情肯定会在世界各地复制。这些人工智能生成工厂将遍布每个行业、每个公司、每个地区。
去年,我们看到生成式人工智能成为一个全新的应用空间、一种新的计算方式、形成新的行业,这正在推动我们的增长。
问:我们如何计算出“40% 的数据中心收入来自于AI推理”?历史数字在什么水平?
答:这个比例可能被低估了。互联网有数万亿个项目 ,而你的手机屏幕空间有限。将所有信息压缩到如此小的区域的能力是通过推荐系统实现的。这些推荐系统传统上基于 CPU 方法。然而,最近向深度学习和生成式人工智能的转变,使这些系统完全走上了 GPU 加速的道路。因此,GPU 现在参与了推荐系统的每一步——嵌入、最近邻搜索、重新排序和生成增强信息都需要 GPU 加速。推荐系统是地球上最大的软件引擎,对于全球几乎所有大公司来说都是必不可少的。
每当你使用 ChatGPT、使用MidJourney生成图片时,都会用到推理。与 Getty 的合作、Adobe 的 Firefly也都基于生成式的模型。这些例子以及其他例子都是 100% 新的,一年前还不存在。
问:如何理解“下一代产品将受到供应限制”?
答:首先,总体而言,我们的供应正在改善。我们的供应链为我们做了令人难以置信的工作,从晶圆、封装和存储器到所有电源调节器、收发器、网络和电缆,我们的出货范围很广。人们通常认为 Nvidia GPU 只是一块芯片,但 Nvidia Hopper GPU 有 35,000 个零件,重 70 磅。数据中心后面的布线系统是 世界上迄今为止最密集、最复杂的网络系统。
我们的 InfiniBand 业务同比增长了五倍。供应链为我们提供了极大的支持,总体而言,供应正在改善。我们预计全年需求将继续超过供应,但我们正在尽最大努力缩短周期时间。
然而,对于新产品来说,从零到大销量的增长不会在一夜之间发生。一切都在逐渐升温。我们目前正在加强 H100。随着我们的增加,短期内不可能满足需求。我们还正在加强 Spectrum X,这款全新产品在以太网领域的表现非常出色。InfiniBand 是 AI 专用系统的标准,而传统上不是一个良好的横向扩展系统的以太网通过 Spectrum X 得到了增强。我们添加了自适应路由、拥塞控制和流量隔离等新功能,以针对 AI 优化以太网。InfiniBand 将成为我们的 AI专用基础设施,Spectrum X 将成为我们的 AI 优化网络。对于所有新产品,需求都会超过供应,这是新产品发布的典型现象。我们正在尽快工作以满足需求。总体而言,我们的供应量正在显着增加。
问:目前向中国市场运送的产品有多少?是否会增加其他替代解决方案?
答:美国政府的核心目的是限制英伟达加速计算和人工智能技术在中国市场的最新能力,同时也希望我们能够在这些限制下在中国取得成功。当新的限制措施宣布后,我们立即停下来 充分了解它们,并重新配置我们的产品以使其符合要求,确保它们无法被软件破解。这个过程花了一些时间,导致我们在中国的产品供应重新调整。我们现在正在向中国的客户提供样品,并将尽最大努力竞争和 在规定的限制范围内,在该市场取得成功。
上个季度,由于我们暂停向市场发货,我们的业务大幅下降。我们预计本季度也会出现类似情况。然而,我们希望此后能够有效地竞争我们的业务,并将看看它如何展开。
问:如何拆解软件业务?
答:让我解释一下为什么英伟达会在软件方面非常成功。加速计算与通用计算有很大不同,它主要在云中增长。在云中,服务提供商拥有庞大的工程团队,他们与我们的团队密切合作,管理、修复和维护加速计算所需的复杂软件堆栈。
加速计算涉及不同领域的专用软件堆栈,例如数据处理、机器学习、计算机视觉、语音识别、大型语言模型和推荐系统。Nvidia 开发了数百个库,因为软件对于打开新市场和启用新应用程序至关重要。加速计算软件的必要性是与通用计算的根本区别,许多人花了一些时间才理解这一区别。
随着生成式人工智能的出现,每个企业和软件公司现在都在拥抱加速计算。与大型云服务提供商不同,这些企业没有庞大的工程团队来跨各种环境维护和优化其软件堆栈。Nvidia 通过管理、优化、修补和调整其软件堆栈来解决这一差距,并将其容器化到我们所说的 Nvidia AI Enterprise 中。该解决方案充当运行时,类似于人工智能操作系统,而我们的收费是每个 GPU每年 4,500 美元。
我们预计每个跨云、私有云和本地部署应用程序的企业和软件公司都将使用 Nvidia AI Enterprise,尤其是我们的 GPU。这项计划已经有了一个良好的开端,已经实现了十亿美元的运行率,而我们才刚刚开始。
问:如何根据客户部署准备情况来管理产品分配?如何监控是否存在尚未激活的产品堆积?在跨行业竞争的客户、小型初创公司、医疗保健实体和政府中,如何确保公平的产品分配?
答:首先,我们的CSPs对我们的产品路线图和转换有一个非清晰的视图。这种透明度给了他们信心,知道哪些产品放在哪里,以及何时放置。他们了解时间,数量,以及我们的分配过程。我们努力公平分配,尽我们所能避免不必要的分配。正如之前提到的,数据中心尚未准备好时分配资源是低效的,导致资源闲置。我们的目标是公平分配,并避免不必要的分配。
我们有一个优秀的生态系统,包括OEMs、ODMs、CSPs,以及重要的终端市场。Nvidia的独特之处在于我们不仅提供技术,还将客户带给我们的合作伙伴,包括CSPs和OEMs。这包括生物技术公司、医疗保健公司、金融服务公司、AI开发商、大型语言模型开发商、自动驾驶汽车公司、机器人公司等。我们正见证机器人公司的激增,从仓库和手术机器人到人形机器人和农业机器人等。
这些初创企业和大公司跨越医疗保健、金融服务、汽车等多个领域,在Nvidia平台上工作。我们直接支持他们,有时通过将资源分配给CSP并同时将客户介绍给CSP来促成连接。
我们的生态系统确实充满活力,其核心目标是公平分配资源,同时避免浪费,并寻找连接合作伙伴和终端用户的机会。我们一直在寻找这些机会。
问:公司如何将积压订单转化为收入?产品交货时间已经大大缩短,但如果将库存加上合同和你的预付费供应加起来,公司的供应总量实际上下降了一点。
答:让我重点介绍我们如何看待供应商的三个不同方面。首先,当物品进入库存时我们努力将它们运送给我们的客户。第二部分是我们的采购承诺有许多不同的组件,我们制造所需的组件,但我们也经常采购我们可能需要的产能,产能或者组件所需求的购置时间长度都是不同的。其中一些可能会持续到接下来的两个季度,但有些可能会持续多年。第三,关于我们的预付费也是同样的道理。我们的预付款是预先设计的,以确保我们的几个制造供应商拥有我们未来所需的储备能力。它们只是购置的提前时间长度不同,因为我们有时不得不购买交货时间较长的东西或需要为我们建造容量的东西。
问:如何看待Nvidia产品的长期可用性?今天的训练集群会成为明天的推理集群吗?
答:我们之所以能够如此大幅度提高性能,是因为我们的平台有两个特点。一是它是加速的,二是它是可编程的。Nvidia 是唯一一个从一开始就一直在发展的架构。我们已经能够支持它,优化我们的堆栈,并将其部署到我们的安装基础中。
一方面,我们可以发明新的架构和技术,例如Tensor Cores,例如Tensor Cores的Transformer引擎,并使用不同代的Tensor Cores改进新的数值格式和处理结构,同时支持安装基础 。因此,我们采用所有新的软件算法,投资行业模型的新发明,并在我们的安装基础上运行。
另一方面,每当我们看到一些革命性的东西,比如Transformer,我们就可以创造一些全新的东西,比如Hopper Transformer引擎,并将其应用到未来。因此,我们同时拥有将软件引入安装基础并不断改进的能力。因此,随着时间的推移,我们的新软件不断丰富我们客户的安装基础。对于新技术,我们创造革命性的能力。