ChatGPT正在榨干算力,如何打赢这场算力攻坚战?
如何用更少的电,输出更高的算力?
史上用户增速最快消费级应用ChatGPT,自去年11月底发布以来,让全球为其狂欢,各方势力仍持续为此“上火”:用户急着试探ChatGPT是否真的有那么聪明,每天有超过2亿的人都在疯狂抛出各式各样的问题“刁难”ChatGPT,并展现自己的“调教”成果;
(ChatGPT每日点击访问量统计 图源:国盛证券研究所)
国内互联网大厂们基于要“活下去”的心愿和讲更动听的AI故事,急着与ChatGPT扯上关系:一时间百度、腾讯、阿里等纷纷拿出相关技术布局以及底层设施储备,为中国的ChatGPT奋力一战;
近3个月过去,ChatGPT热度丝毫未减,有关部门也在努力:
2月24日,东数西算一体化算力服务平台在宁夏银川正式上线发布。据悉,东数西算一体化算力服务平台将瞄准目前最稀缺、刚需迫切的ChatGPT运算能力,以支撑中国人工智能运算平台急需的大算力服务。
目前,该平台已吸引曙光、中国电子云、天翼云、阿里云、华为、中兴等大算力头部企业,以及国家信息中心、北京大数据研究院等中国主要大数据机构入驻。
各方势力蜂拥而至,足以见得,目前的算力填补不了ChatGPT们的需求,众志成城,才能打赢ChatGPT算力攻坚战。
本文试图探究,ChatGPT到底需要多大的算力?升级算力的路子是什么?
ChatGPT,企图榨干算力
通用AI时代来临,人类对于算力的需求正逐渐失控。
伴随着摩尔定律失效,大模型时代来临,算力不再“淡定”,每5-6个月就要翻倍,以困兽冲破牢笼之势飞速增长:
(模型发布时间及算力变化 图源:浙商证券)
2018年,谷歌带着3亿参数BERT模型,闯进大众视野,开启大规模预训练模型时代;在这之后,OpenAI、英伟达、微软先后推出15亿参数的GPT-2、83亿参数的Megatron-LM、170亿参数的图灵Turing-NLG,各个大厂暗自较劲,参数规模从十亿级别竞争到了百亿级别。
2020年6月,OpenAI又将算力“战场”拔高了一个层级:推出1750亿参数的GPT-3,把参数规模提高到千亿级别。随后一山更比一山高:微软和英伟达在2020年10月联手发布了5300亿参数的Megatron-Turing自然语言生成模型(MT-NLG)。
2021年,国内迎来预训练大模型元年。在这一年里,华为、百度、阿里等中国企业开始发力:
华为云联合北京大学发布盘古α超大规模预训练模型,参数规模达2000亿;
百度推出ERNIE 3.0 Titan模型,参数规模达2600亿;
阿里达摩院的M6模型参数达到10万亿,又将大模型参数带到新的高度 ……
在这之中表现最为亮眼的,莫过于从GPT-3迭代而来的ChatGPT,2022年底一出世就博得全球目光,无论是在模型预训练阶段,还是模型被访问阶段,ChatGPT都对算力提出“史无前例”的要求。
在模型预训练阶段,从GPT-1到GPT-3,从GPT-3 Small到GPT-3 175B,对算力的需求呈指数型增长。
在大模型的框架下,每一代 GPT 模型的参数量均高速扩张,参数量从GPT-1的1.17亿个,翻了1029倍至GPT-3 的1750 亿个;
具体来看,在GPT-3历代模型中,短短2年,参数量便从GPT-3 Small的1.25亿个,翻了1399倍至GPT-3的1750亿个,未来GPT-4还要翻倍:根据 Altman 的介绍,预计GPT-4的参数将会达到2800亿个。
与此同时,在模型被访问阶段,ChatGPT对算力同样有着“狂热”需求:
据Similarweb数据,ChatGPT官网在2023年1月27日-2月3日一周内吸引的每日访客数量高达2500万。假设以目前的稳定状态,每日每用户提问约10个问题,则每日约有2.5亿次咨询量。
如果想要“消化”掉这2.5亿次咨询量,根据国盛证券测算,需要大量的A100 GPU芯片“连夜赶工”:
假设每个问题平均30字,单个字在A100 GPU上约消耗350ms,则一天共需消耗729,167个A100 GPU运行小时,对应每天需要729,167/24=30,382片英伟达A100 GPU。
也就是说,目前每天2.5亿次咨询量,需要30,382片英伟达A100 GPU同时计算,才能把ChatGPT“喂饱”,以下是ChatGPT部分耗费(电费以0.08美元/kwh计算):
而以上图表所显示的,仅仅是2.5亿咨询量需求下,使用英伟达A100 GPU相关设备,ChatGPT所需要的算力成本。
其背后对能源的消耗,更是“触目惊心”。