芯片战场|“微软硅”亮尖刀 AI芯片和服务器CPU竞争升级

艾媒咨询 | 2023年中国信创产业发展白皮书 (完整版)

信创基础消费潜力较大,尤其在办公软件领域,对办公OA、编辑类的国产软件已普遍被企业应用,如企业微信、WPS等已积累了大量的用户群体。在国家信息安全驱动的需求下,信创产品及解决方案应用将在各行各业的渗透持续加深,行业规模持续增长。

艾媒咨询 | 2023年中国信创产业发展白皮书 (完整版) 精品决策

人工智能(AI)基础设施,正在吸引大批科技巨头“重金”投资。美国当地时间11月15日,微软在总部所在地美国西雅图亮相了“微软硅”计划,并推出两款为AI基础设施打造的自研芯片:AI加速芯片Maia 100及服务器CPU芯片Cobalt 100。

微软是继亚马逊、谷歌、Meta等之后,又一亲手打造芯片的AI基建开发商。自研芯片既是这些科技巨头降本增效的有效手段,也是维护其行业地位的必要措施。

不过,微软尚未立即使用自研芯片取代外部供应的芯片。该公司同时宣布,将在云服务中率先采用AMD新款服务器芯片MI300 X及英伟达H200芯片,显示出该公司希望捍卫AI基建中的技术领军者地位。

人工智能仍在如火如荼地发展,令人惊艳的应用背后,是高昂的硬件、软件、人工成本。在接受南方财经全媒体记者采访时,有创业者介绍,降低硬件成本的需求十分迫切,因为未来还将面临其他成本的上升。

“微软硅”亮相

“2016年之前,微软云基建主要依赖于第三方采购。”微软云硬件(AHSI)部门项目经理Pat Stemen坦言。继亚马逊、谷歌、Meta推出自研芯片后,微软的“硅计划”一直为市场期待,因为这一度被视为微软的短板。从此次发布来看,微软仍未放弃第三方供货芯片,但自研芯片取得了重要进展。

此次亮相的Maia 100是一款AI加速器芯片,用于大型语言模型的训练和推理;Cobalt 100则是微软为微软云Azure开发的第一款CPU。

Maia正是传说中的微软“雅典娜(Athena)计划”,该计划起步于2019年左右。由于生成式AI在2023年急速发展,微软的这项计划获得了极高的关注,大半年来的市场讨论持续升温。这反映出微软可能会推出与英伟达等公司竞争的芯片。

而有关自研发服务器CPU,微软硬件产品开发副总裁Wes McCullough介绍,Cobalt 100选用了Arm架构,旨在优化整个数据中心的“每瓦性能”,也就是令消耗的每个单位能源形成更多的计算能力。多名同行已经在早前开发出Arm架构的服务器CPU,微软属于“后来者”。

要开发大模型和运营大模型下的应用,AI加速器芯片和服务器CPU必不可少。但此前这些芯片和服务器主要依赖于少数巨头的供货,例如英伟达、AMD、英特尔等,这给作为采购者的微软等公司带来巨大的成本压力。SemiAnalysis首席分析师Dylan Patel称:“和英伟达产品相比,若Athena具有竞争力,便可以将每片芯片的成本降低三分之一。”

“微软硅”虽迟但到,这使得云服务市场的竞争更为激烈。早在2018年,亚马逊云就率先推出了自研服务器CPU Graviton和AI推理芯片Inferentia,又在2020年推出AI加速器芯片Trainium。谷歌方面早在2015年就于内部开始使用自研发的TPU芯片,并在2018年将自研TPU推广到外部使用中。

不过,自研芯片并不代表微软“切割”与其他芯片供应商的关系。在本次Ignite大会上,微软还公布了对AMD和英伟达新款芯片的采用计划。

微软表示,云服务将采用AMD的最新款芯片Instinct MI300X,建立具有高宽带内存(HBM)的虚拟机(VM),每个虚拟机有1.5 TB的HBM容量,这也是目前云服务中可用的最高HBM容量。

此外,微软云正采用英伟达H100芯片打造新款虚拟机,明年也会准备好采用英伟达最新款的服务器芯片H200。H200是英伟达在11月13日刚刚亮相的新产品,亚马逊云AWS、谷歌云、微软云Azure和Oracle云也将是首批用上H200的云服务商。

AI发展需降本增效

“微软硅”的亮相,反映出AI相关公司试图打破硬件端的垄断,降低整体建设成本。生成式AI解决方案从业者告诉南方财经全媒体记者,整体而言,人工智能开发成本依然水涨船高,而硬件成本是目前实现“降本增效”的关键一环。

生成式AI建模服务供应商Akkio联合创始人Jon Reilly向南方财经全媒体记者介绍,要利用人工智能开展工作,需要付出的成本包括硬件、软件、人工等。“目前而言,硬件成本占比十分可观。”

AI硬件是指能够处理大量数据和运算、进行数据存储的芯片,这些芯片比大众日常接触的计算机要昂贵许多。例如,根据美国金融机构Raymond James的一份报告,英伟达H100芯片的单片官方批量价格高达2.5万至3万美元。对比之下,英伟达面向消费级市场的GPU(例如RTX系列游戏显卡)销售单价在几千至一万多元人民币之间。

龙头公司的服务器芯片在2023年销售十分火爆。从今年2月到7月,英伟达的数据中心芯片产生销售收入146.04亿美元,比2022年同期大增93.2%,这包括了GPU、CPU、DPU等服务器产品。AMD方面,从1月到9月数据中心芯片的销售收入达42.14亿,与2022年同期基本持平,这包括服务器CPU、GPU、FPGA、DPU和SoC等产品。

数据中心所需要的硬件类型多元化,其中GPU知名度最高,但也并非唯一选择。根据计算需求、编程难度、应用复杂度,数据中心可能会采用不同的硬件方案。Jon Reilly介绍,GPU提供高水平的计算能力,但可能很昂贵;FPGA通常比GPU便宜,计算能力较高,但可能很难编程;ASIC可能很昂贵,但性能很高,有时用于复杂的人工智能应用。

尽管“自研”的目的是为了降低购买芯片的支出,但从事“自研”这件事情本身就可能耗资不菲。

以微软AI芯片计划“雅典娜”为例,其招聘成本可能十分高昂。有市场数据称,“雅典娜”有大约300名雇员。Dylan Patel认为,在高昂的人工开支下,“雅典娜”每年的开发成本可能高达1亿美元。11月16日,南方财经全媒体记者在微软招聘官网上看到,一名7年工作经验的高级芯片工程师底薪为每年11.2万至21.84万美元,若工作地点在旧金山湾区或纽约大都会地区,底薪还将小幅增加。

据Jon Reilly介绍,对于人工智能创业公司而言,招聘的通常是数据科学家、机器学习工程师和软件开发人员,这些职位在美国的年薪大约在10万至12万美元之间。“即便是小型人工智能团队,每年仅人工成本就可能达到32万美元,这甚至还没有考虑福利、办公室租金和其他费用。”他称。

越来越多的公司需要为人工智能付出成本,例如视频网站,他们需要为用户提供个性化推荐,并自动化许多流程,如创建字幕。尽管它们不像微软、谷歌等公司一般需要建立数据中心,但仍然需要租用云上服务器,并招聘相关的人才,这意味着云服务商仍然需要通过AI芯片增强市场竞争力。

人工智能成本因人而异,除了硬件成本和人工成本,部分从业者还将面临着持续上涨的软件成本。软件与数据收集、分析和处理相关,“用于AI训练的标记数据,需要收集、清理、组织和处理,过程非常耗时,因此也可能十分昂贵。”Jon Reilly称。展望未来,软件成本可能持续上升。

艾媒咨询 | 2023年中国信创产业发展白皮书 (完整版)

信创基础消费潜力较大,尤其在办公软件领域,对办公OA、编辑类的国产软件已普遍被企业应用,如企业微信、WPS等已积累了大量的用户群体。在国家信息安全驱动的需求下,信创产品及解决方案应用将在各行各业的渗透持续加深,行业规模持续增长。

艾媒咨询 | 2023年中国信创产业发展白皮书 (完整版) 精品决策