首页 / 商业之最

大模型依赖算力“大力出奇迹” 2024世界人工智能大会与会人士建议发展分布式推理降低算力成本

2025-03-18 11:45商业之最

央广网北京7月6日消息(记者吕红桥)据中央广播电视总台经济之声《天下财经》报道,2024世界人工智能大会6日继续举行。一场分论坛重点关注的是如何降低算力成本。对大模型来说,算力越大越好,业内形象地说是“大力出奇迹”,然而,大算力意味着巨大的成本。如何在满足算力需求的情况下,降低算力成本?业内人士和专家提出了解决方案。

训练大模型,有“大力出奇迹”的说法,也就是说,算力越大,大模型可能越完善。正因如此,有测算显示,大模型训练成本70%用于算力,推理成本95%用于算力。在当前“百模大战”的背景下,要让大模型训练可持续,就必须降低算力成本。对于降成本的路径,燧原科技创始人兼首席运营官张亚林在论坛上表示,可以把大模型的推理放到边端,通过分布式推理降低算力成本。

张亚林介绍:“中国不缺应用场景、大量的端侧和边侧设备,未来端侧和边侧设备一定具有很高算力,大家看到AI PC、AI Phone已经起来。如何做分布式推理?举个例子,目前主要的手机应用都是在云端做推理。如果手机端算力能够把简单任务做了,所有省下来的成本都归手机应用公司。如果能干掉50%的推理,就能省50%的成本。所以,中国未来一定是从边侧到端侧,再到云侧的分布式推理。”

对于降低算力成本,中国工程院院士、清华大学教授郑纬民之前表示,我国现在有多个国家挂牌的算力系统,有的系统还有空余算力,这些算力也可以用来训练大模型,并且成本很低。在这场论坛上,郑纬民进一步表示,从实际尝试来看,用原有算力系统富余的算力训练大模型,成本只有原来的六分之一。

郑纬民说:“我们试了一下,把我们的一套东西加到里面。比如‘八卦炉’是10个软件,把这10个软件加到机器上。目前‘八卦炉’已经在国产算力系统中成功移植百川、LLaMA等大模型,最后结果很不错。”

降低算力成本的另一个思路是提高算力的使用效率。单个大模型训练所用的算力规模非常大,一万张算力卡组成的“万卡集群”已经成为大模型预训练的最低配置。然而在实践中,“万卡集群”的使用效率经常在50%以下,也就是说,一半以上的算力都不能发挥出来。曦智科技首席技术官孟怀宇分析,这主要是因为算力卡之间的互联,也就是“南向”互联效率太低导致的。他表示,增加“南向”互联超节点的规模,可以大幅提升算力使用效率。

孟怀宇说:“当我们从万卡集群的角度来看的时候,实际上是‘南向’的超节点规模在一定范围之内越大,GPU的利用率就越高,得到的算力会越高。这样,整个集群在卡数不增加的情况下,会得到更高的性能,也就意味着性价比更高。根据结果显示,在GPU卡数不增加的情况下,32卡的南向节点相对于8卡来说,可以获得88%的性能提升。”

数据中心与算力降成本密切相关,当前,不少数据中心并没有形成畅通的盈利模式。张亚林认为,数据中心应该改变以往的建设、运营和应用模式。

张亚林表示:“以前的模式是先建设,再找运营,找了运营再找应用。现在应该是反过来,有人来使用才算得过来账,才能去找运营。有了运营,才能够说谁来建设。这才是中国AIDC(智算中心)商业模式最关键的健康生态。其实整个商业模式非常简单,算力卡月租多少钱?能不能按照月租费用把整个投入收回来?这其实是中国在算力上需要解决的问题。”

猜你喜欢

  • 世界十大

    盘点世界前十大公司,中国上榜三家, 谁富可敌国?

    2025 年财富世界 500 强概况!2025 年财富世界 500 强公司榜单刚刚发布。全世界的公司有多赚钱?榜单显示,500 家公司总收入达到了创纪录的 41.7 万亿美元,占全球 GDP 的 1/3,也就是说,世界 1/3 的财富由这 500 家公司创造。而榜单前十中,中国公司仅占 3 席。前十里有零售巨头、石油大王,也有投资大佬。世界前十公司详..

    2025-08-04
  • 中国十大

    中国十大现代工程奇迹,从跨海巨龙到太空天眼,都让世界惊叹

    中华文明从不缺奇迹,古有万里长城、都江堰震烁古今,今有一批超级工程以超越时代的魄力,在世界建筑史上刻下 “中国印记”。从横跨伶仃洋的跨海大桥到凝视宇宙的天眼,这十大工程不仅是技术的突破,更是中国人 “敢想敢建” 的生动注脚。1. 港珠澳大桥:伶仃洋上的 “桥隧史诗”这座连接香港、珠海、澳门的超级工程,用 55..

    2025-08-04
  • 世界首富的最新排行榜

    根据2025年发布的相关富豪榜,世界首富及相关排名情况如下: 2025福布斯全球亿万富豪榜- 第一名:埃隆·马斯克,身家3420亿美元。尽管特斯拉遭遇一些挑战,但SpaceX和xAI的突出表现助力其财富大增,从阿尔诺手中夺回世界首富头衔。- 第二名:马克·扎克伯格,财富2160亿美元。Meta在社交媒体领域创新,股价良好,推动其身家..

    2025-08-04
  • 排行榜

    世界十大美女最新排行,C罗搭档不敌日本美女,第一名来自中国

    第十名:法国第一美女——艾莉婕。生日:1984年8月21日。星座:狮子座。身高:161厘米。体重:45公斤。以《Lolita》一曲成名的艾莉婕,于15岁就在法国创下百万销售成绩,被法国传媒誉为“天使比例完美五官”的艾莉婕,是继凡妮莎帕拉迪丝后第二位攻进英国金榜TOP10的法国歌手。第九名:俄罗斯第一美女----卡巴耶娃。身高:1..

    2025-08-04
  • 世界上最孤独的人,俄罗斯极地气象员(一人一世界)

    如果问世界上最孤独的人是哪个?很多人都会想到留守在农村的孤寡老人,但世界上还有被孤寡老人更孤独的人,那就是俄罗斯极地气象员Sla Korotki,他的世界完全还停留在苏联时期,连他最近的一个城镇,都需要直升机飞一个多小时,谁还能与他比世界上最孤独的人。世界上最孤独的人,一人一世界俄罗斯摄影师Evgenia Arbugaeva的..

    2025-08-04
  • 天文之最

    《授时历》:中国古代最牛的天文奇迹,行用时间最长的历法

    大家好!今天带你们穿越回古代天文学的巅峰,聊一聊一位“时间管理大师”——《授时历》。它不仅是中国古代最优秀的历法,也是用得最长、最稳定的天文奇迹!听起来是不是有点像“天上的老大哥”?没错,它就是中国古代“时间界”的超级明星!一、什么是《授时历》?——天文界的“时间大师”简单来说,《授时历》就是中国古..

    2025-08-04
  • 世界排行

    国际射联最新世界排名,盛李豪王子菲霸榜第一

    国际射联公布最新一期世界排名,盛李豪以7848分在男子10米气步枪项目中高居世界第一,展现出绝对的统治力。王子菲继上月首次登顶后,以6000分继续稳居女子10米气步枪项目世界第一。来源:央视体育

    2025-08-04
  • 世界排行

    国际射联最新世界排名 盛李豪、王子菲分别霸榜男女第一

    国际射联公布最新一期世界排名,盛李豪以7848分在男子10米气步枪项目中高居世界第一,展现出绝对的统治力。王子菲继上月首次登顶后,以6000分继续稳居女子10米气步枪项目世界第一。

    2025-08-04

微信分享

微信分享二维码

扫描二维码分享到微信或朋友圈

链接已复制