ChatGPT正在榨干算力，如何打赢这场算力攻坚战？

如何用更少的电，输出更高的算力?

史上用户增速最快消费级应用ChatGPT，自去年11月底发布以来，让全球为其狂欢，各方势力仍持续为此“上火”：用户急着试探ChatGPT是否真的有那么聪明，每天有超过2亿的人都在疯狂抛出各式各样的问题“刁难”ChatGPT，并展现自己的“调教”成果;

（ChatGPT每日点击访问量统计 图源：国盛证券研究所）

国内互联网大厂们基于要“活下去”的心愿和讲更动听的AI故事，急着与ChatGPT扯上关系：一时间百度、腾讯、阿里等纷纷拿出相关技术布局以及底层设施储备，为中国的ChatGPT奋力一战;

近3个月过去，ChatGPT热度丝毫未减，有关部门也在努力：

2月24日，东数西算一体化算力服务平台在宁夏银川正式上线发布。据悉，东数西算一体化算力服务平台将瞄准目前最稀缺、刚需迫切的ChatGPT运算能力，以支撑中国人工智能运算平台急需的大算力服务。

目前，该平台已吸引曙光、中国电子云、天翼云、阿里云、华为、中兴等大算力头部企业，以及国家信息中心、北京大数据研究院等中国主要大数据机构入驻。

各方势力蜂拥而至，足以见得，目前的算力填补不了ChatGPT们的需求，众志成城，才能打赢ChatGPT算力攻坚战。

本文试图探究，ChatGPT到底需要多大的算力?升级算力的路子是什么?

ChatGPT，企图榨干算力

通用AI时代来临，人类对于算力的需求正逐渐失控。

伴随着摩尔定律失效，大模型时代来临，算力不再“淡定”，每5-6个月就要翻倍，以困兽冲破牢笼之势飞速增长：

（模型发布时间及算力变化 图源：浙商证券）

2018年，谷歌带着3亿参数BERT模型，闯进大众视野，开启大规模预训练模型时代;在这之后，OpenAI、英伟达、微软先后推出15亿参数的GPT-2、83亿参数的Megatron-LM、170亿参数的图灵Turing-NLG，各个大厂暗自较劲，参数规模从十亿级别竞争到了百亿级别。

2020年6月，OpenAI又将算力“战场”拔高了一个层级：推出1750亿参数的GPT-3，把参数规模提高到千亿级别。随后一山更比一山高：微软和英伟达在2020年10月联手发布了5300亿参数的Megatron-Turing自然语言生成模型(MT-NLG)。

2021年，国内迎来预训练大模型元年。在这一年里，华为、百度、阿里等中国企业开始发力：

华为云联合北京大学发布盘古α超大规模预训练模型，参数规模达2000亿;

百度推出ERNIE 3.0 Titan模型，参数规模达2600亿;

阿里达摩院的M6模型参数达到10万亿，又将大模型参数带到新的高度 ……

在这之中表现最为亮眼的，莫过于从GPT-3迭代而来的ChatGPT，2022年底一出世就博得全球目光，无论是在模型预训练阶段，还是模型被访问阶段，ChatGPT都对算力提出“史无前例”的要求。

在模型预训练阶段，从GPT-1到GPT-3，从GPT-3 Small到GPT-3 175B，对算力的需求呈指数型增长。

在大模型的框架下，每一代 GPT 模型的参数量均高速扩张，参数量从GPT-1的1.17亿个，翻了1029倍至GPT-3 的1750 亿个;

具体来看，在GPT-3历代模型中，短短2年，参数量便从GPT-3 Small的1.25亿个，翻了1399倍至GPT-3的1750亿个，未来GPT-4还要翻倍：根据 Altman 的介绍，预计GPT-4的参数将会达到2800亿个。

与此同时，在模型被访问阶段，ChatGPT对算力同样有着“狂热”需求：

据Similarweb数据，ChatGPT官网在2023年1月27日-2月3日一周内吸引的每日访客数量高达2500万。假设以目前的稳定状态，每日每用户提问约10个问题，则每日约有2.5亿次咨询量。

如果想要“消化”掉这2.5亿次咨询量，根据国盛证券测算，需要大量的A100 GPU芯片“连夜赶工”：

假设每个问题平均30字，单个字在A100 GPU上约消耗350ms，则一天共需消耗729,167个A100 GPU运行小时，对应每天需要729,167/24=30,382片英伟达A100 GPU。

也就是说，目前每天2.5亿次咨询量，需要30,382片英伟达A100 GPU同时计算，才能把ChatGPT“喂饱”，以下是ChatGPT部分耗费(电费以0.08美元/kwh计算)：

而以上图表所显示的，仅仅是2.5亿咨询量需求下，使用英伟达A100 GPU相关设备，ChatGPT所需要的算力成本。

其背后对能源的消耗，更是“触目惊心”。