张亚勤:马斯克断言地球电力将枯竭,为何AI如此耗电?
马斯克断言地球电力将枯竭,为何AI如此耗电?针对此问题,《聊一波》栏目邀请中国工程院外籍院士、清华大学智能产业研究院创始院长张亚勤展开探讨。
王波明:大模型对电的需求量很大,究竟达到了怎样的规模,会导致电力供应不足?比如在美国,其电力消耗处于什么量级?
张亚勤:如果看一下这一轮的人工智能,叫做生成式人工智能。这类技术需要海量的参数支撑,同时离不开大量图形处理器(GPU)的运算。其中涉及的参数规模可达万亿级,再加上高带宽内存(HBM)及各类网络设备,十分耗电。
这就涉及到一个概念:规模定律(scaling law),即数据量越大、算力越强,再辅以更优的算法,模型性能就会越好,而其电力消耗也基本呈现指数级增长。
目前主流使用的算法是Transformer,其算力需求呈n平方量级增长,本质上也是指数级攀升。这里的n指的是Token的尺寸,而算力需求与n的平方成正比,所以生成式AI对电力的要求确实很高。
美国当前的电力困境,一方面是美国的整体电网大多是30多年前部署的,电力系统中的变压器使用寿命通常为30年,如今已普遍出现老化退化现象。因此,美国电网不仅容量不足,还存在严重的老化问题热点话题。张亚勤:马斯克断言地球电力将枯竭,为何AI如此耗电?