您的位置:主页 > 公告动态 > 正大动态 > 正大动态
大模子热芯片涨,阿里百度成了英伟达的打工仔
GPU不够用了。
中国科技公司和创业者竞相追逐大模子,引发GPU芯片需求量的暴增,以及价钱的疯狂上涨。
GPU是ChatGPT训练和部署的要害部件,这是壮大算力的基础设施。凭证公然新闻,微软的Azure云服务为ChatGPT构建了跨越1万枚英伟达A100 GPU芯片的AI盘算集群。
千芯科技董事长陈巍告诉《中国企业家》,以A100芯片为例,从去年年底到现在,其单价涨了跨越50%,从之前约5万元涨到了近10万元。由于A100已经被美国阻止售往中海内地,海内偕行预估仅有3万枚存量。英伟达推出的A100替换版A800,海内厂商也是排队拿货,而且经常无货。
海内某大型服务器厂商的员工王石也感受到了这股浪潮。他告诉《中国企业家》,近期供应的压力对照大,包罗英伟达等供应商的压力也对照大,但这并不代表错过了这一波就没有时机了,“信托今年年内供需回归到相对理性的水平”。
“我要给人人降温。这是一个突发的需求,人人不要着急,不是说我错过了这两个月或者三个月,我就失败了,远远没有到谁人时刻。”王石强调。
据《中国企业家》统计,除了阿里巴巴、百度等互联网巨头之外,商汤科技、昆仑万维、毫末智行、360等公司也官宣了自己的大模子,若是再加上王小川、王慧文、李开复等创业者,中国年内推出的大模子数目已经跨越了10个。
一些行业人士展望,海内需要有8至20个大模子,好比生物医药盘算、质料盘算、化学盘算、自动驾驶、气象等大模子,甚至未来四五十个也说不定。
算力、算法和数据组成了AI时代的三要素,而算力又是电力般的基础设施,有若干枚GPU,有若干算力,成为外界评估大模子研发和创业成败的要害。
在这一轮由ChatGPT掀起的大模子创业潮里,黄仁勋和英伟杀青为了大赢家。
据统计,2020年,全天下跑AI的云盘算与数据中央,80.6%都在用英伟达的GPU驱动。住手发稿,英伟达股价为270美元,比2022年9月时的低点119美元翻了一番,总市值为6669亿美元,成为美国第五大上市公司,比德州仪器、超威半导体(AMD)、高通、英特尔等芯片企业市值相加还要多。
五分之二的预算买算力
英伟达已经供不上货了。
近期,马斯克为推进推特内部的新AIGC项目,购置了约莫1万枚GPU。从2022年终,微软就执行了GPU资源配额供应,但今年1月以来审批时间越来越长,现在部门申请需要守候几天甚至几周才气获批。同时,微软向英伟达预订的数万枚GPU芯片,交货无期。
2月份,出门问问CEO李志飞和美团团结首创人王慧文,讨论了大模子创业要花若干钱、入门门槛什么样。李志飞以为,门槛至少需要5000万美元,其中的2000万美元就是用来购置算力的。王慧文和李志飞不久前相继宣布在大模子领域创业。
凭证陈巍测算,海内若是想要直接训练出一个ChatGPT3级其余大模子,通例最少需要1000枚A100级其余GPU芯片,而若是想要现实部署,不思量冗余和响应速率,对于搜索引擎级其余服务,至少需要6000枚A100级其余GPU芯片。仅仅芯片一项,最小投入就到了近10亿元人民币。
一份撒播的《阿里AI专家交流纪要》显示,百度年头紧要下单3000台8张芯片的A800服务器,这意味着需要2.4万枚A800,而预计整年百度会有A800和H800共5万枚的需求。阿里云预计在今年需要1万枚左右,其中6000枚是H800。此外,阿里云也会用到平头哥这种自研的芯片,每年采购也许3000枚。
2022年9月,英伟达宣布H100型号GPU,但被美国阻止出口至中国,但英伟达怎会忍心错过中国的大模子热,为了出口,英伟达牺牲了部门性能,在今年推出了H800版本。
对照百度宣布的文心一言,陈巍测算,根据海内成本估算单次应答成本5分钱,若是日接见量10亿人次,以月租价钱评估,天天云盘算成本约5000万元人民币,一个月将增添成本15亿元,一年增添成本180亿元,远远高于训练成本。此前媒体估算,ChatGPT光3月份的电费就得交近200万美元,这差不多跟27.5万中国住民一个月用电量相当。
《中国企业家》领会到,对于不缺钱的巨头来说,A100存储量也不多,未来采购以A800和H800为主,但仍需要V100等老式芯片弥补。V100性价比高一些,在云上跑的成本是A100的三分之二左右,但运行速率较慢,若是是ChatGPT4级别大模子就不够用了。
也就是说,要想大模子算得更快、更准,必须适配*进的GPU芯片。虽然拿不到*进的GPU,但大模子玩家依然在起劲囤货。根据上述数字估算,海内对A800以及H800的需求已经到了数十万级别。
王石说,现在来看,对于算力的需求可以说是上不封顶,有若干算力,都希望能够投身进来,“只能这么说,越多越好”。
「微快抖」下狠手整治野生微短剧,该!
仅仅靠资源似乎已经玩不转了,大模子之战,最后下场可能照样巨头之间的游戏。
一位头部投资机构的认真人告诉《中国企业家》:“创投界这点资源是不值一提的,资源它对整个行业的名目不造成影响,原本就这点钱也投不起,中国这几个VC加上PE,今年不在ChatGPT上投下10亿、20亿美元,水漂都打不起来,做不了几个训练级,然则百度和华为若是愿意在上面起劲去做的话,我以为投得起。”
瘸腿奔跑的中国大模子
不管是阿里巴巴、腾讯、百度等巨头,照样王慧文、王小川等创业者,他们不得不戴着枷锁舞蹈:一方面,迫于美国的芯片禁令,他们得不到*进的芯片源源不停的支持;另一方面,他们还要追赶外洋已经到了ChatGPT4水准的手艺。
陈巍感伤中国AI企业的不易。若是得不到外洋先进的芯片,中国企业只能使用对照老旧或者工艺成熟但不那么先进的芯片,综合性能可能只有A100的60%,数目需要更多,跑得却更慢,综合成本要凌驾20%至30%,对于企业来说,这很有可能是赚钱和不赚钱的分水岭,活下去和活不下去的分水岭。
四处受限,起步又晚,但大模子也得干下去。
王小川在接受媒体采访时说,晚了也得干。美国人之前把核弹造出来,中国就不造了吗?这跟创业公司自己没关系,是中国要不要做的问题。
王石以为,中国企业没需要“芯片焦虑”。他提到了前几年“挖币”造成的硬盘泡沫,效果造成了SSD(硬盘)的一地鸡毛,整个硬盘厂商在2022年整年可能都在消耗库存。
GPU只是大模子创业链条中的一环,机房环境、算法、人才等等也必须配套跟上。
IT装备稀奇是盘算装备的迭代和更新太快,若是在没有准备好的时刻,放在库房里没有用,放一年,价值就虚耗了。“现在都在用A800,今年下半年就有H800,性能提升很快,这个时刻抢到了A800,但若是还没有用起来,是没有价值的,永远会有新产物出来。”王石示意。
王石还弥补说,现阶段,算力的供应无论若何是不够的。这有两个战略,一个是把后台的产能跟上,另一个则是优化效率,通过算法等手艺手段提升可用算力的效率。
英伟杀青*赢家
阿里和腾讯近期在算力市场都有重大动作。
阿里云在4月11日峰会上说,阿里云举行有史以来*幅度的一次降价,通用盘算将大幅降低,对比上一代主售产物最高可下降40%,还宣布了“飞天免费试用设计”,开放盘算存储、数据库、机械学习等焦点产物免费试用。
腾讯则宣布了新一代高性能盘算集群HCC,接纳了海内首发的英伟达H800 GPU。有数据称,腾讯云新一代集群的算力性能较前代提升高达3倍,是海内性能最强的大模子盘算集群。
但不管哪家,他们都脱节不了一个名叫英伟达的厂商,其首创人黄仁勋,江湖人称“黄教主”,他多次为此次ChatGPT浪潮鼓风。
“我们正处于AI的iPhone时刻。”黄仁勋在3月2023年GTC大会上说,“初创公司正在竞相打造推翻性产物和商业模式,科技巨头也在追求突破。”
在此次大会上,黄仁勋宣布了ChatGPT专用芯片H100,而且他宣布,将会把由八块旗舰版A100或H100芯片集成的超级AI盘算系统通过租赁的方式开放给企业。每月租金为37000美元,以加速推动这轮大语言模子引领的AI繁荣。
外媒一份数据显示,英伟达占有了95%图形处置器的市场份额。IDC数据显示,海内GPU服务器在2021年占海内服务器市场规模的比例跨越88.4%,英伟达的产物占比超80%。
遐想团体CTO芮勇说,现在来看,照样英伟达的天下,但未来不确定,由于人人对算力的需求只会越来越大。
行业人士说,未来GPU和算力的需求一定是多元的,或者说异构的。到了现在算力需求大发作的时刻,带来的*个转变就是在这个领域多元化的蓬勃生长。
水大鱼大,但虾米和浮游生物等也会有存活时机。多元带来了更多的时机,然则最后谁能胜出,就看谁的战略定力,能连续地投入。
(应采访工具要求,文内王石为假名)