第175章 绝密会议 二(2/2)
窗外,西山暮色苍茫,雾气深锁。
他们推门而出,一头扎进这无边的暗夜。
去造那一束光。
……
数天后,无锡,国家超级计算中心。
凌晨三点,机房内依然灯火通明。
巨大的LED屏幕上,实时显示着“神威·太湖之光”的负载状态。往日里那些蓝色的气象模拟任务块全部消失了,取而代之的是一片刺眼的红色——那是最高优先级的“LPU架构仿真”任务。
海丝首席架构师李工,正带着团队在进行LPU架构的全系统仿真。
他们面临着一个核心抉择:数据精度与带宽的平衡。
在芯片设计中,这就像是在走钢丝。精度高了,数据量就大,传输通道(带宽)就会堵死;精度低了,计算结果就不准,模型就会变傻。
“李工,全精度浮点数FP32方案的仿真结果出来了。”
一位负责微架构的博士指着屏幕上的数据,面色凝重,“虽然计算准确率完美,但片上缓存(SRAM)的命中率只有40%。大量的数据堵在路上,计算单元有一半时间在空转。”
片上缓存就像是芯片内部的“临时仓库”,离计算核心最近,速度最快。如果仓库太小,或者数据太大塞不进去,计算核心就得停下来等数据从外面运进来,效率会大打折扣。
李工看着数据,眉头紧锁。SLRM模型中,每一个逻辑概念都是一个高维空间中的“盒子”。推理过程,就是成千上万个盒子在空间中不断求交集、求并集。这些“盒子”的数据量太大了。
“我们必须压缩数据。”李工沉声道,“但在哪里压?怎么压?”
会议室里,几位核心骨干围坐在白板前,展开了激烈的讨论。
“试试量化?转成8位整数INT8?”有人提议。
“不行。”另一位算法专家立刻反驳,“SLRM的核心是计算盒子的体积,这代表概率。体积计算需要连乘,连乘对精度非常敏感。INT8的精度不够,连乘几次误差就飞了。”
讨论陷入了短暂的僵局。
这时,一直盯着徐辰论文推导过程的一位资深工程师,在白板上写下了一个公式:Vo=ex(∑log(L?))。
“大家看,”他指着公式说道,“这篇论文里提到,为了数值稳定性,概率计算最好在对数域进行。”
“对数域……”李工若有所思,“在对数域里,乘法会变成加法,除法会变成减法。”
“没错!”那位工程师接着推演,“如果我们让LPU内部的所有数据,从输入那一刻起,就全部转换为对数形式存储和传输呢?”
众人的眼睛逐渐亮了起来。这不是灵光一闪,而是顺着数学逻辑推导出的必然方向。
“在对数域下,数据的动态范围会极大压缩。”李工迅速在脑海中构建架构图,“原本需要32位浮点数才能表示的概率值,在对数域下,可能只需要16位甚至更少的定点数就能表示,而且精度损失极小。”
“不仅如此,”另一位硬件专家补充道,“加法器的电路面积和功耗,远小于乘法器。如果我们把核心计算全变成了加减法,那就能省下大量的晶体管,用来堆更多的核心!”
“唯一的难点是Gubel-Softs算子,它需要非线性变换。”
“查表法。”李工当机立断,“神威的异构核正好擅长做这个。马上安排一组仿真,验证‘全对数域数据流+查表法’的精度损失。”
十分钟后,结果出炉。
“误差小于1e-5!完全在SLRM的鲁棒性范围内!”
“好!”李工猛地一拍桌子,“就定这个架构!全对数域数据流。这能把核心面积砍掉一半,功耗降低60%!这才是LPU该有的样子!”
“准备打包RTL代码。”李工下达了指令,“通知深圳那边,前端设计已经封版,可以开始物理综合了。”
……