社区

2024 年是 HPC-AI 市场大放异彩的一年。SC24的出席人数创下了历史新高，劳伦斯利弗莫尔国家实验室的El Capitan在Top500榜单上位居榜首， AI 市场蓬勃发展，超大规模公司在 2023 年的投资额是其原本高额投资的两倍多。那么，为什么这一切感觉如此不稳定？随着 2025 年的到来，HPC-AI 行业正处于一个转折点。不断膨胀的 AI 市场占据了人们的讨论话题，一些人担心它会耗尽 HPC 的活力，而另一些人（或许是同一群人）则在等待 AI 泡沫破裂。与此同时，政治变革正在威胁现状，可能会改变 HPC-AI 的市场动态。Intersect360 Research正在制定今年的研究日程，并参考了HPC-AI 领导组织 (HALO)的意见。我们制定了有助于制定新五年预测的调查，以下是 HPC-AI 市场在未来五年面临的五大问题。1、人工智能市场能有多大？在我们 SC24 之前的网络研讨会上，Intersect360 Research 对其 2024 年 HPC-AI 市场预测进行了重大调整，宣布我们预计超大规模 AI 将连续第二年实现三位数增长，并且未来几年将保持高增长率。我们还提高了混合、本地（非超大规模）HPC-AI 市场的前景，但与超大规模的巨大增长相比，这种相对温和的增长显得微不足道。AI 已经成为数据中心基础设施讨论的焦点。例如，在Hot Chips 2024上，少数几个没有明确关注 AI 的演讲仍然提到了它。供应商们正在竞相拥抱 AI 市场看似无限的增长。超大规模人工智能市场主要以消费者为主，而且已有先例。超大规模通过从以前不依赖企业计算的消费者市场中创建云数据中心市场，实现了最初的增长。日历、地图、视频游戏、音乐和视频过去都存在于线下，社交媒体是一个前所未有的类别。人工智能正在建立在所有这些现象的基础上，并且正在创造新的现象。没有哪个市场是真正无

据台媒经济日报报道，$台积电(TSM)$冲刺CoWoS先进封装布局，最新传出又要在南科三期盖两座CoWoS新厂，投资金额估逾2,000亿元。加计台积电正在嘉科园区如火如荼建置的CoWoS新厂，业界预期，台积电短期内总计将扩充八座CoWoS厂，其中，南科至少有六座，以实际扩产行动棒打CoWoS砍单传闻。对于相关传闻，南科管理局表示，台积电确实有提出租地申请，惟不便透露厂商的开发计划。台积电方面，董事长魏哲家上周于法说会已明确释出“持续扩增CoWoS产能”的讯息。业界研判，台积电再次砸重金盖CoWoS新厂，透露来自$英伟达(NVDA)$等大客户高速运算（HPC）相关订单比预期更旺。近期英伟达砍单台积电CoWoS的传闻甚嚣尘上，英伟达执行长黄仁勋日前旋风式访台，直言：“并没有缩减CoWoS产能需求，反而还要增加产能，并转换为多一些对CoWoS-L的产能需求。”魏哲家日前于法说会也说，“外面谣言多，公司正持续扩产，以满足客户需求。”知情人士透露，台积电这次在南科盖CoWoS新厂，将落脚南科三期，土地面积高达25公顷，比嘉科厂区约20公顷更大，以嘉科CoWoS新厂投资约2,000亿元计算，台积电此次在南科三期投资额也将「比照办理」、自2,000亿元起跳。知情人士指出，魏哲家喊话持续扩充CoWoS产能，绝对不是说说而已，而是以最高效率动起来，最快3月就会取得南科三期这块25公顷土地，将兴建二座CoWoS新厂，以及一栋办公大楼。建厂进度方面，供应链透露，台积电在今年1月中旬向南科管理局提出租地简报，获正向回应，该公司采购单位即已第一时间启动建厂计划。根据消息，台积电预计3月开始整地，依据以往建厂的进度推估，两座南科三期CoWoS新厂

$摩根士丹利(MS)$分析师认为，尽管由于重大但易于修复的设计问题导致产量低，但 Nvidia 将基于 Blackwell 架构生产约 45 万台 AI GPU。如果信息准确，并且该公司今年能够成功销售这些产品，那么这可能意味着超过 100 亿美元的收入机会。据倾向于接触此类报告的博主The_AI_Investor报道，投资银行摩根士丹利的分析师在给客户的报告中写道：“预计 Blackwell 芯片将在 2024 年第四季度生产 45 万片，这将为 Nvidia 带来超过 100 亿美元的潜在收入机会。  ”虽然 100 亿美元和 45 万个数字看起来相当可观，但 Nvidia 对其需求旺盛的 Blackwell GPU 的销售价格却非常有限，每台售价约为 22,000 美元，远低于传闻的每台 Blackwell GPU模块 70,000 美元。虽然数据中心硬件的实际定价取决于数量和需求等因素，但与 Nvidia 当前一代的 H100 相比，首批超高端 GPU 的售价却更低，这有点奇怪。当然，Nvidia 更愿意出售搭载 Blackwell GPU 的“参考”AI 服务器机柜：NVL36 配备 36 个 B200 GPU，预计售价为 180 万至 200 万美元，而 NVL72 配备 72 个 B200 GPU，预计起价为 300 万美元。与 GPU、GPU 模块甚至 DGX 和 HGX 服务器相比，销售机柜的利润要高得多，通过销售此类机器赚取 100 亿美元并不令人意外。然而，在这种情况下，Nvidia 不需要提供 45 万个 GPU 即可赚取 100 亿美元的收入。8 月底，Nvidia 表示，为了提高产量，不得不更改代号为 B100/B200 的 GPU 光掩模设计。该公司还指出，这

在生成式AI热潮的带动下，包括$台积电(TSM)$、$英特尔(INTC)$、$三星(SMSN.UK)$、SK海力士、美光、日月光等各行业芯片大厂均积极备战，扩大资本支出。这不仅是时间与技术的赛跑，更是一场财力与实力的角逐。晶圆代工迈入2.0时代，代工厂的比拼更激烈2021年，英特尔提出了IDM2.0的战略，其战略核心为英特尔晶圆代工服务（IFS），围绕这一战略，英特尔大象转身，进行了一系列的重大投资，包括建设新的晶圆厂和升级现有设施。而台积电在2024年第二季度收益电话会议上，也提出了“晶圆代工2.0”概念。按照台积电董事长兼首席执行官魏哲家的意思，他们扩展了晶圆代工行业的原始定义，进入“晶圆代工2.0”时代，晶圆代工将不仅包括传统意义上的代工，也包括封装、测试、掩模制作等，以及所有除存储器制造之外的IDM。魏哲家还特意强调了，台积电将专注于最先进的后端技术，也就是先进封装，帮助客户实现领先产品。无论是“IDM2.0”还是“晶圆代工2.0”，两者都有异曲同工的意思，都体现了晶圆代工行业向更多领域延伸的趋势。同时这也就意味着需要投入更大的资本支出。据TrendForce报道，英特尔计划2024年增加资本支出2%，达262亿美元。在2024年第二季度收益电话会议上，台积电宣布，2024年资本支出预计为300亿至320亿美元，高于此前预期的280亿至320亿美元的支出下限。其中，70%至80%的资本预算将用于先进工艺技术，约10%至20%将用于专业技术，约10%将用于先进封装测试、掩模制作及其他用途。台积电董事长魏哲家表示，资本支出增加的主

企业和投资者已投入数十亿美元打造人工$智能(5RE.SI)$。我们目前使用的 LLM 模型（如 GPT-4o）的训练成本已达数亿美元，而下一代模型的开发也已在进行中，投资金额将高达 10 亿美元。然而，全球领先的$金融机构(FISI)$之一$高盛(GS)$正在质疑这些投资是否会带来回报。风险投资公司红杉资本 (Sequoia Capital) 最近研究了人工智能投资，并计算出整个行业每年需要赚取 6000 亿美元才能收回最初的支出。因此，在 Nvidia、$微软(MSFT)$和$亚马逊(AMZN)$等大型公司投入巨额资金在人工智能竞赛中占据优势之际，高盛采访了几位专家，询问对人工智能的投资是否真的会带来回报。目前高盛报告中的专家观点大致分为两派：一派对其持怀疑态度，认为人工智能给美国经济带来的回报有限，不会比现有技术更经济地解决复杂问题；另一派则认为，人工智能技术的资本支出周期看起来前景光明，与之前的技术经历的周期类似。麻省理工学院教授达隆·阿西莫格鲁估计，生成式人工智能对经济的影响有限，仅能使生产率提高约 0.5%，GDP 产出增加 1%。这与高盛经济学家的估计形成了鲜明对比，高盛经济学家认为，生产率将提高 9%，GDP 将增加 6.1%。他还表示，尽管人工智能技术最终会发展并降低成本，但他并不相信，目前向人工智能模型投入更多数据和计算能力的趋势会让我们更快地实现通用人工智能的愿

据悉，$苹果(AAPL)$的3D芯片堆叠技术SoIC将应用于2025年的MacBook（Pro）。简单来说，它是一种新型的IC封装技术，可以将多个芯片堆叠在一起，以更小的尺寸实现更高的集成度。对于消费者来说，这款革命性的 MacBook 将带来更多选择。随着 3D堆叠技术的发展，我们可以看到越来越多的电子产品将采用它，从手机、平板电脑到电视、机顶盒、汽车和其他$智能(5RE.SI)$家居智能设备。苹果将使用$台积电(TSM)$的3D Fabric技术三维集成电路 (3D-IC) 是一种用于半导体封装的芯片堆叠技术，可为半导体行业提供更高水平的效率、功率、性能和外形尺寸优势。3D-IC 是通过在单个封装上堆叠晶圆或芯片来构建的，这些封装使用硅通孔 (TSV) 进行互连。带有 TSV 的 3D-IC 预计将广泛影响网络、图形、移动通信和计算，尤其是对于需要小型、超轻、低功耗设备的应用。具体应用领域包括多核 CPU、GPU、数据包缓冲区/路由器、智能手机、平板电脑、上网本、相机、DVD 播放器和机顶盒。业界正迅速转向玻璃基板，以取代当今的 2.5D 和 3D 封装技术。表面上看，媒体普遍关注 AMD、$英特尔(INTC)$和$三星(SMSN.UK)$，它们在芯片玻璃基板供应方面处于领先地位，而对台积电的情况则几乎没有报道。一位消息人士指出，“行业分析师已经注意到台积电也有类似的解

伴随着Zen 5系列处理器的公布，AMD又成为了万众瞩目的半导体厂商。在中国台湾举行的 Computex 2024 展会上，AMD一口气发布了四款全新的 4nm Zen 5 架构的 Ryzen 9000 系列处理器，包括 Ryzen 9、Ryzen 7 和 Ryzen 5 家族。AMD 表示，新款 Zen 5 架构将在芯片上市时提供 16% 的IPC（每时钟周期指令）吞吐量提升，加上其他改进，新的旗舰型号 Ryzen 9 9950X 在游戏性能上比$英特尔(INTC)$的 Raptor Lake Refresh 旗舰产品平均高出 11%，在生产力工作负载上的性能提升达 21%。值得一提的是，自 2017 年首次推出 Zen 以来，AMD一直在稳步提高 Zen 的 IPC，而Zen 5 是 AMD 连续第五次实现两位数的 IPC 提升，提升幅度高达 16%，超过了从 Zen 3 到 Zen 4 的 13%。对比此前的推土机架构，Zen 5在 IPC上整整提高了 52%。如今的AMD，不仅在PC市场大展身手，所推出的EYPC也在服务器市场里牢牢占据了20%以上的份额，说是风光无限也不为过。很多人可能不会相信，10年前也就是2014年的AMD，还是一个处于破产边缘的公司。从悬崖坠落要谈论AMD，就必然绕不开执掌这家公司三十余年的杰里·桑德斯。同样是仙童半导体的“叛逆”，他的名气虽然远不如隔壁英特尔的罗伯特·诺伊斯和戈登·摩尔， 但先后做过摩托罗拉销售经理和仙童营销总监的他，有一股寻常人难以企及的韧性。凭着他的三寸不烂之舌和独到的眼光，创业初期的AMD成为了硅谷第一批强调质量高于一切的公司之一，所生产的芯片通过了美国军用半导体的认证，在高端市场打出了名号的它，很快就拉拢了一批计算机、电信和仪器行业的客户

在传出法国将对英伟达发起反垄断调查后不久，又有新的不好消息传出。据彭博社引述欧盟竞争事务负责人玛格丽特·维斯塔格 (Margrethe Vestager) 的警告称，英伟达公司的 AI 芯片供应存在“巨大瓶颈”，但表示监管机构仍在考虑如何解决这个问题。“我们一直在向他们询问问题，但这还只是初步问题，”她在新加坡之行中告诉彭博社。到目前为止，这“还不具备监管行动的条件”。自从英伟达成为人工智能支出热潮的最大受益者以来，监管机构就一直关注着它。它的图形处理单元（简称 GPU）因其能够处理开发 AI 模型所需的大量信息的能力而受到数据中心运营商的青睐。芯片已成为科技界最热门的商品之一，云计算提供商相互竞争以获取这些芯片。据估计，Nvidia 的 H100 处理器需求旺盛，已帮助他们获得 80% 以上的市场份额，领先于竞争对手英特尔公司和超微半导体公司。尽管供应紧张，但 Vestager 表示，人工智能芯片供应的二级市场可能有助于激发创新和公平竞争。但她表示，占主导地位的公司未来可能会面临某些行为限制。“如果你在市场上拥有这种主导地位，那么有些事情你不能做，而小公司可以做，”她说。“但除此之外，只要你做你的生意并尊重这一点，你就很好。”6000亿美元的“大难题”尽管高科技巨头在人工智能基础设施方面投入了大量资金，但人工智能带来的收入增长尚未实现，这表明生态系统的最终用户价值存在巨大差距。事实上， 红杉资本分析师戴维·卡恩（ David Cahn）认为，人工智能公司每年必须赚取约 6000 亿美元才能支付其人工智能基础设施（例如数据中心）的费用。去年，Nvidia 的数据中心硬件收入达到 475 亿美元（其中大部分硬件是用于 AI 和 HPC 应用的计算 GPU）。AWS、Google、Meta、Microsoft等公司在 2023 年为 OpenAI 的 ChatGPT 等应用在其

AMD CEO Lisa Su（苏姿丰）绝对称得上是芯片届的风云人物，尤其是进入了AI新时代，她的声望达到了十年来最高点。翻看其成长历史，苏姿丰在麻省理工学院获得电气工程博士学位后（在麻省理工学院学习八年半，获得三个电气工程学位），在德州仪器开始了她的职业生涯，她在开发绝缘体上硅晶体管技术方面发挥了重要作用。随后，苏姿丰在 IBM 工作了 12 年，领导了半导体铜互连的开发，领导开发了 PlayStation 3 中使用的 Cell 微处理器的团队，并担任了首席执行官 Lou Gerstner 的技术助理。在担任飞思卡尔半导体公司首席技术官一段时间后，苏姿丰于 2012 年加入 AMD，并于 2014 年升任首席执行官。在带领 AMD 的十年里， Lisa Su取得了非凡的成功——在数十年落后于英特尔之后，AMD 开发出了世界上最好的 x86 芯片，并且继续从英特尔手中夺取数据中心市场的重要份额。除了传统的 PC 业务和图形芯片业务外，AMD 还是游戏机游戏领域的主要参与者。随着 AMD 在数据中心 GPU 市场上与 Nvidia 展开竞争，GPU 业务现在越来越成为焦点。早前，苏姿丰接受了外媒 Stratechery 的采访，畅谈了她的职业道路，包括她在晋升过程中学到的经验教训，然后讨论了为什么 AMD 在她的任期内能够取得如此大的成就。在采访中，苏姿丰还分享了她对“ChatGPT”改变行业的看法，以及AMD 如何应对。以下为采访正文：一、从IBM学到的经验问：我知道你不想过多谈论自己，但我需要一些事实核查。我们刚刚聊过，你出生在台湾，很小的时候移民到美国，最后考上了麻省理工学院，据说当时你在计算机科学和电子工程之间犹豫不决，最后选择了电子工程，主要是因为它更难，这是真的吗？Lisa Su：确实如此。我一直都和数学和科学打交道，我的父母总是说：“你必须做这些困难的事情”。

在计算、网络和图形发展史上，Nvidia 有许多独特之处。但其中之一就是它目前手头有如此多的资金，而且由于其架构、工程和供应链，它在生成式人工智能市场处于领先地位，因此它可以随心所欲地实施它认为可能取得进展的任何路线图。到 21 世纪，Nvidia 已经是一个非常成功的创新者，它实际上没有必要扩展到数据中心计算领域。但 HPC 研究人员将 Nvidia 带入了加速计算领域，然后 AI 研究人员利用 GPU 计算创造了一个全新的市场，这个市场已经等待了四十年，希望以合理的价格实现大量计算，并与大量数据碰撞，真正让越来越像思考机器的东西成为现实。向 Danny Hillis、Marvin Minksy 和 Sheryl Handler 致敬，他们在 20 世纪 80 年代尝试制造这样的机器，当时他们创立了 Thinking Machines 来推动 AI 处理，而不是传统的 HPC 模拟和建模应用程序，以及 Yann LeCun，他当时在 AT&T 贝尔实验室创建了卷积神经网络。他们既没有数据，也没有计算能力来制造我们现在所知道的 AI。当时，Jensen Huang 是 LSI Logic 的董事，该公司生产存储芯片，后来成为 AMD 的 CPU 设计师。就在 Thinking Machines 在 20 世纪 90 年代初陷入困境（并最终破产）时，黄仁勋在圣何塞东侧的 Denny's 与 Chris Malachowsky 和Curtis Priem 会面，他们创立了 Nvidia。正是 Nvidia 看到了来自研究和超大规模社区的新兴人工智能机遇，并开始构建系统软件和底层大规模并行硬件，以实现自第一天起就一直是计算一部分的人工智能革命梦想。这一直是计算的最终状态，也是我们一直在走向的奇点——或者可能是两极。如果其他星球上有生命，那么生命总会进化到这样一个地步：那个