黄色视频

图片起原：英伟达官网

Z HighlightsH100 GPU 的租出价钱正在资格前所未有的下降，每年降幅达到或逾越 40%。这一趋势尤其澄澈地体面前微型集群上。NVIDIA 曾掂量在 4 年内保抓每 GPU 每小时 4 好意思元的价钱，但这一预测价钱在短短 1.5 年内就还是达到。通达权重模子的崛起正在激励 AI 阛阓的根人道蜕变。这些模子在性能上还是可以与闭源模子相比好意思，同期提供了更高的天真性和可控性。这一趋势正在重塑企业和诱导者对 AI 模子的聘用和使用容貌。微型和中型模子创建者阛阓正在资格显耀萎缩，主若是因为微调现存模子比重新训练新模子愈加经济实惠。这一变化导致了对 H100 GPU 需求的三重打击：减少了大限制训练的需求，裁减了新模子创建的投资，并鼓舞了更多企业转向微调现存模子。H100 GPU 的价钱正在快速商品化，甚而出现了以亏欠价钱出租的情况。这种趋势激励了业界对 GPU 投资陈述率的担忧，同期也为 AI 诱导者和连络东谈主员提供了更经济的算计资源聘用。大跳水的 GPU 租出阛阓

在昔日的一年里，如果你有契机租到 H100，它的价钱是一小时 8 好意思元。而面前，还是有 7 家零卖阛阓以低于 2 好意思元每小时的价钱销售它。发生什么了？

最近英伟达为 OpenAI 提供的最新 Blackwell 系列芯片激励了许多暖和。该公司暗示，异日一年的预售产物还是售罄。而黄仁勋声称，该产物或可成为“工业史上最凯旋的产物”。跟着 Lisa Su（ZP注：苏姿丰，AMD 公司董事长兼 CEO）紧随其后告示为 MI3 25 X 和 Cerebras 恳求 IPO 上市，是时候对 GPU 阛阓进行真切分析了。

咱们对这个 6000 亿好意思元的问题有谜底吗？面前东谈主们一致以为，基础模子训练的老本支拨是“历史上贬值最快的财富；但对 GPU 基础设施支拨的评价尚未有定论，“GPU Rich Wars”激战正酣。与此同期，咱们面前知谈，前端施行室在“训练+推理”上的支拨逾越了收入，在有史以来最大的风险投资轮中融到了 66 亿好意思元，同期掂量 2026 年将亏欠 140 亿好意思元。其中的金融逻辑需要 AGI 来融会。

图片起原：Latent Space

AI 竞赛简史

ChatGPT 于 2022 年 11 月推出，基于 A100 系列构建。H100 于 2023 年 3 月上市。向投资者和首创东谈主的宣传很苟简：与 A100 比拟，新款 H100 的功能坚强 3 倍，但标价仅为 2 倍。

如果你能比其他东谈主更快地培植 H100 的使用量，你也可以构建更大、更好的模子，甚而可能越过 OpenAI 成为 AGI——前提是你的有实足的资金复古它烧钱。出于这种愿望，百亿至千亿好意思元级别的资金被投资到领有大量 GPU 的 AI 初创公司，以构建下一场创新。这导致的以下末端：

H100 需求顷刻间激增，H100 开赴点的房钱起价约为每小时 4.70 好意思元，但自后涨到了 8 好意思元以上。急于训练模子的首创东谈主们只可劝服投资者进行下一个 1 亿好意思元的融资轮。

图片起原：Latent Space

关于 GPU 供应商来说，如果这些首创东谈主能以每小时 4.70 好意思元或更高的价钱租用 H100 SXMGPU，甚而让他们事先付款，这简直等于在白送钱。投资回收期为 <1.5 年，在这之后每个 GPU 每年的解放现款流逾越 10 万好意思元。由于对 GPU 需求看不到至极，投资者同意了，并进行了更大限制的投资。

6000 亿好意思元投资

与数字商品不同，H100 这么的实体商品存在滞后时期——畸形是当出现多个行径运输延误时。在 2023 年的大部分时期里，除非支付多数预支款，H100 的价钱一直在每小时 4.70 好意思元之上。但是，2024 岁首多家提供商的 H100 价钱达到约 2.85 好意思元。

图片起原：Latent Space

2024 年 8 月，如果你称心拍卖买下一小部分 H100 时期（几天到几周），你可以开动以每小时 1 到 2 好意思元的价钱寻找 H100 GPU。Eugene Cheah 掂量每年价钱下降 >= 40% ，畸形是关于微型集群。英伟达的营销预测是 4 年内每 GPU 小时 4 好意思元，但不到 1.5 年就达到了。这很可怕，因为这意味着有东谈主可能会被动承担效果——畸形是如果他们刚刚购买了新的 GPU。

价值 5 万好意思元的 H100 SXM GPU 投资陈述率是些许？

数据中心中的 H100 SXM GPU 的平均安设、珍惜和运营成本为 5 万好意思元或更多（也称为大部分老本支拨）。不包括电力和冷却 OPEX 成本。咱们面前假定 GPU 自己的使用寿命为 5 年。

一般来说，租出 H100 有两种生意模式：短期按需租出（按小时、按周或按月）恒久预订（3-5 年）

图片起原：Latent Space

总之，关于按需职责负载>$2.85 ：打败股市 IRR<$2.85 ：股市 IRR 损失<$1.65 ：掂量投资损失关于上述投资陈述率和收入预测，Eugene Cheah 引入了“夹杂价钱”，去假定房钱价钱在 5 年内缓缓下降至 50%。鉴于咱们面前看到的每年 >= 40% 的价钱下落，这可以说是保守的预计。即使以 4.50 好意思元/小时的价钱夹杂，咱们也能看到英伟达数据中心提供商的宣传，他们在提供 20+% 的 IRR（里面陈述率）。

但是，以 2.85 好意思元/小时算计，IRR 刚刚开动高于 10%。这意味着，如果你今天购买一台新的 H100 ，况兼阛阓价钱低于 2.85 好意思元/小时，假定 100% 分拨（这是一个远离理的假定），你简直无法打败阛阓。任何低于这个价钱的东西，作为投资，你最佳聘用股票阛阓，而不是 H100 基础设施公司。

如果价钱低于 1.65 好意思元/小时，作为基础设施提供商，你在 5 年内注定会在 H100 上际遇损失。畸形是如果你本年刚刚购买了节点和集群。

图片起原：Latent Space

许多基础设施提供商，尤其是较老的基础设施提供商，对此早有准备。因为他们在加密货币时间资格了价钱大幅高涨之后，径直面对 GPU 房钱价钱的大幅下落——他们以前见过这个周期。

因此，在前年的这个周期中，他们冒失鼓舞 3-5 年的预支款承诺和/或以 4 好意思元以上的价钱范围付款（频繁预支 50% 到 100%）。如今，他们将价钱范围推高至 2.85 好意思元以上来锁定利润。

这种情况在 2023 年东谈主工智能岑岭期间发生，各式基础模子公司，畸形是在图像生成界限，曲折被动刚毅高价的 3-5 年契约，仅仅为了干预新集群的前沿，并成为第一个制作宗旨模子的东谈主，以匡助完成下一轮融资。这可能不是最经济的举措，但它让他们比竞争敌手更快地行径。

但是，这导致了一些意旨敬爱意旨敬爱的阛阓动态——如果你为 H100 支付每小时 3 或 4 好意思元的用度，那么在接下来的 3 年里，你将被契约套牢。当模子创建者完成模子训练后，你就不再使用集群了。他们会作念什么？他们转售并开动收回部分红本。

面前的 H100 价值链从硬件到 AI 推理/微调，可以大致视为以下几个方面：与英伟达互助的硬件供应商（一次性购买成本）数据中心基础设施提供商和互助伙伴（出售恒久预订、设施空间和/或 H100 节点）风险投资基金、大型公司和初创公司：筹备构建基础模子（或还是完成模子构建）托管东谈主工智能推理/微调提供商：使用上述组合。天然堆栈中的任何一层都可以垂直整合（举例跳过基础设施），但这里的重要驱动要素是“未使用容量的经销商”以及“实足好”通达权重模子（如 Llama3）的兴起，因为它们都是刻下 H100 经济压力的主要影响要素。

图片起原：Latent Space

通达权重模子的兴起，与闭源模子不相凹凸黄色视频，正在导致阛阓发生根人道蜕变。

阛阓趋势：通达权重模子的兴起

↑↑AI 推理和微调的需求加多

因为许多“通达”模子枯竭适当的“开源”许可证，但可以解放分发，并闲居使用，甚而生意化。咱们在这里将它们统称为“通达权重”或“通达”模子。

一般来说，跟着不同限制的多个通达权重模子的成立，对推理和微调的需求也在增长。这主若是由两个要紧事件鼓舞的GPT4 级通达模子的到来（举例 405B LLaMA3、DeepSeek-v2）微型（～8B）和中型（～70B）微调模子的熟练和给与如今，关于企业可能需要的绝大多数用例，还是有现成的通达权重模子。在某些基准测试中，这可能比独到模子过时一小步。具有以下上风：天真性：界限/任务特定的微调可靠性：不再有较小的模子更新，碎裂用例（面前社区信任度较低，以为模子权重不会在莫得众人 API 端点示知的情况下暗暗改换，从而导致无法解释的追溯）安全和秘籍：确保他们的教导和客户数据的安全。整个这些导致了通达模子的抓续增长和给与，以及对推理和微调需求的增长。但这确乎形成了另一个问题。 微型和中型模子创建者的复合式崩溃

↓↓ 基础模子创作家阛阓萎缩（中微型）

咱们使用'模子创建者'统称重新开动创建模子的组织。关于微调者，咱们称之为'模子微调者'。

许多企业和多个微型和中型基础模子创建者初创公司 - 畸形是那些以'更小、故意针对特定界限的模子'为宣传点筹集资金的公司 - 都是莫得恒久筹备/宗旨重新训练大型基础模子（>= 70B）的群体。

关于这两个群体，他们都雄厚到微调现存的通达权重模子比'自行训练'更经济、更灵验。这最终形成了 H100 需求减少的三重打击。

1.微调比重新开动训练要低廉得多

a.因为与重新开动训练（关于 7B 及以上模子，从 16 个节点，频繁更多）比拟，微调的算计条目显着减少（频繁为 4 个节点或更少，频繁为单个节点）。

b.这种全行业的蜕变基本上排斥了大部分较小集群的需求。

2.缩减基础模子投资（中微型）

a.2023 年，在文本和图像空间内，出现了一股中微型基础模子的高大海浪。

b.但是，今天，除非你完好意思有信心或者越过 llama3，或者你要带来一些新的东西（举例新架构、低 100 倍的推理、100 多种说话等），不然〜不会再成立更多的基础模子重新开动。

c.一般来说，由较大参与者（Facebook 等）创建的中微型通达模子，使得较小参与者很难阐发训练基础模子的合感性。除非他们有坚强的互异化要素（手艺或数据） ，或者有筹备膨胀到更大的模子。

d.最近投资者也响应了这少量，因为新基础模子创建者的资金急剧下降。绝大多数较小的团体已转向微调（这种心绪与近期多家公司的退出情况不甚理思相聚拢）。

e.据 Eugene Cheah 预计，面前全寰宇大致有：

▪<20 大型模子创建团队（笔名 70B++，也可以创建微型模子）

▪<30 中微型模子创建团队 （7B - 70B）

f.整个全球不到<50 个团队会在职何时候需要 16 个节点的 H100（或更多）来进行基础模子训练。

g.全球有逾越 50 个领有 16 个以上节点的 H100 集群。

3.预留节点的过剩容量行将上线

a.关于集群整个者来说，尤其是各式基金会模式的初创公司和 VC，在 2023 年的开赴点“抢地”中，早有保留。

b.切换到微调后，H100 的恭候时期疏淡长（峰值为 >= 6 个月），很可能这些团体中的许多东谈主在进行改换之前就还是支付了预支款，从实质上来说，他们的预支费硬件“一到就过时”。

c.或者，那些依期到达硬件来训练他们的前几个模子的东谈主也雄厚到，最佳对他们的下一个模子迭代进行微调。而不是我方成立。

d.在这两种情况下，他们都会有未使用的容量，这些容量通过“算计经销商”加入阛阓供应而上线。

导致供应加多和训练需求减少的其他要素

1.大型模子创作家退出公有云平台

整个主要的模子创建者，如 Facebook、X.AI，以及可以说 OpenAI（如果将其行为微软的一部分），都正在离开现存的众人提供商，成立我方的数十亿好意思元集群，减少了现存集群所依赖的需求。此举主要出于以下原因：现存的约 1000 个节点集群（成立成本>5000 万好意思元）对他们来说还是不够大，无法训练更大的模子。在十亿好意思元的限制上，管帐东谈主员最佳购买具有账面价值（公司估值和财富的一部分）的财富（就业器、地皮等），而不是隧谈的用度租出。如果你莫得东谈主才（他们有），你可以径直购买微型数据中心公司，他们领有为你构建数据中心的专科学问。跟着需求缓缓减少，这些集群反而开动向众人云阛阓通达。

图片起原：Latent Space

2.未使用/延长供应上线

还牢记 2023 年整个 H100 的大限制出货延长，长达 6 个月或更永劫期吗？它们面前与 H200、B200 等一皆上线。这与前边提到的现存初创公司、企业或风投公司的各式未使用算计资源一皆上线。其中大部分是通过算计经销商完成的，举例：together.ai、sfcompute、runpod、vast.ai 等。

在大多数情况下，集群整个者领有一个未得到充分运用的微型或中型集群（频繁为 8-64 个节点）。集群的资金还是'花出去了'。由于主要宗旨是收回尽可能多的成本，他们得意松开阛阓并保证分拨，而不是与主要提供商竞争，况兼可能莫得分拨。这频繁是通过固定利率、拍卖系统或解放阛阓上市等容貌完成的。后两者会鼓舞阛阓价钱下落。

3.更低廉的 GPU 替代品（畸形是用于推理）

另一个主要要素是，一朝你离开训练/微调界限，推理界限充满了替代聘用，畸形是如果你运行的是较小的模子。东谈主们无需支付 H100 的 Infiniband 和/或英伟达带来的的溢价。

a）英伟达阛阓细分

H100 用于训练的溢价还是计入硬件价钱。举例，英伟达我方推选 L40S，这是一个更具价钱竞争力的推理替代品。

图片起原：Latent Space

L40S性能是H100的1/3，价钱是 1/5。但在多节点训练中进展欠安。在这个细分阛阓上松开了他们我方的 H100。

图片起原：Latent Space

b） AMD 和 Intel 替代供应商

AMD 和 Intel 天然在 MX300 和 Gaudi 3 方面干预阛阓较晚。

这些系统它们一般是：购买成本比 H100 低廉比 H100 领有更多的内存和算计才智，况兼在单个节点上的性能优于 H100。总的来说，它们都是很棒的硬件。过失是什么？它们在训练中存在一些小的驱动问题，在大型多节点集群训练中完全未警戒证。正如咱们所参谋的，这对刻下的花样来说基本上无关进击。除了<50 个团队以外。H100 的阛阓还是转向推理和单节点或小集群微调。

整个这些 GPU 都已被阐发可以胜任这些职责。关于绝大多数阛阓面条目的用例来说。这两个竞争敌手是完全的替代品。使用现成的推理代码（举例 VLLM）或最常见模子架构的微调代码（主若是 LLaMA3，其次是其他）。是以，如果你还是处治了兼容性问题。激烈推选众人去望望。

女神 调教

c） 加密货币/Web3 界限 GPU 使用的下降

ASIC 主导了比特币挖矿竞赛。加密货币挖矿中的 GPU 使用量一直呈下降趋势，况兼在某些情况下无利可图。尔后一直涌入 GPU 公有云阛阓。

尽管由于硬件适度（低 PCIe 带宽、集合等），绝大多数 GPU 无法用于训练，甚而无法用于推理。该硬件还是大量涌入阛阓，并已被再行用于东谈主工智能推理职责负载。在大多数情况下，如果你的模子小于 10B，你可以用这些 GPU 取得可以的开箱即用性能，价钱疏淡低。如果你进一步优化（通过各式技能），你甚而可以让大型 405B 模子在这种硬件的微型集群上运行，比频繁使用的 H100 节点更低廉

H100 正变得低廉，甚而亏本出租，可能的影响是什么？

1.中性影响：H100 集群价钱细分

从较高水平来看，掂量大型 GPU 集群仍会收取额外用度（>=2.90 好意思元/小时），因为那些真的需要它的东谈主别无聘用。咱们开动在 Voltage Park 看到这种趋势：

图片起原：Latent Space

带有 Infiniband （ZP 注：无线带宽手艺，下同）的集群收费较高。天然基础模子创建团队对它的需求浩荡下降，但很难预测这种需求是否会跟着通达权重和替代架构的增长而复苏。

掂量将来咱们将看到按集群大小进行进一步细分。给与 Infiniband 的大型 512 节点集群的每 GPU 用度可能高于 16 节点集群。

2.负面影响：新的公有云 H100 集群天然推出，但还是过时于阛阓，可能无法盈利——一些投资者可能会际遇损失。

有好多要素对你不利：如果你将其订价低于 2.25 好意思元（具体取决于你的运营支拨），你可能会面对无利可图的风险。如果你订价太高 >= 3 好意思元，你可能无法引诱实足的买家来填补产能。如果你干预较晚，就无法在早期每小时 4 好意思元的时期收回成本。总体而言，这些集群投资关于主要利益相关者和投资者来说将是劳苦的。

天然情况并不一定如斯，但如果新的集群占据了东谈主工智能组合投资的很大一部分。咱们可能会看到面无人色的投资者对融资生态系统产生额外的四百四病。

3.中性影响：购买恒久租约的中型到大型模子创建者还是以溢价索取了价值

与其说是负面瞻望，不如说是中性瞻望，一些未使用算计资源的基础模子创建者上线的算计资源还是付费。融资阛阓还是为这个集群过甚模子训练订价并支付了用度。并'索取了它的价值'，他们用于刻下和下一轮融资。大多数这些购买是在算计资源转售商流行之前进行的，成本还是计入价钱。

如果有的话，他们面前从过剩的 H100 算计资源中取得的收入，以及咱们取得的较廉价钱，对两边都故意。如果是这么，负面的阛阓影响是最小的，总的来说对通盘生态系统是净正面的凯旋。

4.正面影响：廉价的 H100，可以加快通达权重 AI 的给与海浪

鉴于通达权重模子还是干预 GPT-4 级别的界限。H100 价钱下降将成为通达权重 AI 给与的倍增解锁要素。

关于业余爱重者、AI 诱导东谈主员和工程师来说，运行、微合股修改这些通达模子将变得愈加职守得起（畸形是如果 GPT5++ 莫得要紧飞跃）。这詈骂常需要的，因为面前阛阓是不成抓续的。因为在应用层面枯竭凑合用度户的价值拿获（这会传递到平台、模子和基础设施层）由于付用度户枯竭应用范例层的价值拿获（这会渗入到平台、模子和基础设施层）

在某种过程上，如果每个东谈主都在制造铲子（包括咱们），而莫得成立有付用度户的应用范例（并网罗收入和价值）。但当 AI 推理和微调变得比以往任何时候都低廉时。它可能会激励 AI 应用海浪。如果它还莫得安详开动的话。

论断：不要购买全新的 H100

购买新的 H100 硬件的支拨可能会形成亏欠。除非你领有打折的 H100、打折的电力，或者你需要一个超大型 GPU 集群。如果你正在投资，请磋议在其他场所投资，或者投资股市指数自己以取得更好的陈述率。

原文：$2 H100s: How the GPU Rental Bubble Burst

https://www.latent.space/p/gpu-bubble

编译：Shizheng Cao黄色视频