我们已经开始感受到硅计算的极限，无法再提供更好的体验。未来十年，将会出现严重的计算能力差距，无论是技术公司还是政府都无法解决这一问题。 现在，我们已经习惯了计算价格逐渐变得更加实惠，以至于我们从未想过会有一天用不起它。 Rodolfo Rosini是一家初创公司的CEO，他提出了一个令人震惊的问题：如果我们已经接近经典计算模型的基本物理极限，就像我们的经济依赖于廉价计算一样，该如何应对？
大型计算的停滞
由于缺乏技术创新，美国已进入一个技术平稳期。根据赖特定律的规律，在很多行业中，制造工艺每提高20%，生产率也会翻倍。在技术领域，这个定律表现为摩尔定律。在1960年代，英特尔联合创始人Gordon Moore提出了摩尔定律，预测集成电路中晶体管数量在同等面积内呈指数级翻倍。然而，推动摩尔定律的因素已经发生了变化，由Dennard缩放定律驱动的增加能量单位计算量的趋势正在减缓。
(资料图)
由于电流泄漏导致芯片升温，2005年开始出现了缩放比例失效的现象，结果单核心处理器的性能出现停滞不前。 为了保持计算增长的速度，芯片领域转向了多核架构：把多个微处理器“粘合”在一起。虽然这可以延长摩尔定律的晶体管密度，但同时也增加了整个计算堆栈的复杂度。 多核架构对于一些任务，例如机器学习或计算机图形，有明显性能提升。但对于很多难以并行化的通用计算任务来说，多核架构则无能为力。 总的来说，许多任务的计算能力不再呈指数级增长。 从全球最快超级计算机排名TOP500可以看出，即使在多核超级计算机上，2010年左右还是出现了明显的拐点。
这种减缓的影响是什么？不同行业中计算能力的日益重要表明，影响是显而易见的。只有当摩尔定律被进一步动摇时，这种影响才会变得更加重要。 以两个极端的例子为例：计算能力的提高和成本的降低使得石油勘探在能源行业中的生产率增长了49%，而在生物技术行业中，蛋白质折叠预测增长了94%。 这意味着计算速度的影响不仅限于科技行业。在过去50年间，大部分经济增长都是摩尔定律驱动的二阶效应，如果没有摩尔定律，世界经济可能已经停止增长。 此外，人工智能的兴起也是需要更多计算能力的一个主要原因。例如，如今训练大型语言模型可能需要数百万美元，并且需要数周的时间。
如果不继续增加数字运算和数据扩展，机器学习无法实现其承诺的未来。随着机器学习模型在消费技术中不断普及，其他行业对计算的需求正在不断增加。这种需求可能呈双曲线上升，廉价的处理能力正成为生产力的基石。但摩尔定律的终结可能会阻碍计算能力的发展。相较于达到AGI可能需要的多模态神经网络，目前的LLM还相对较小而且容易训练。未来的GPT和其他竞争对手需要特别强大的高性能计算机才能改进和优化。然而，很多人可能怀疑这个观点。毕竟，摩尔定律的终结曾被多次预言过。为什么现在就是摩尔定律终结的时候呢？历史上，这些预测中有很多是由于工程上的挑战而提出的。但人类的聪明才智总是能够克服这些障碍。现在不同的是，我们面临的是物理学的限制，而不再是工程和智能方面的挑战。
过热导致无法处理
计算机的工作原理是处理信息。 在信息处理过程中，部分信息可能会因微处理器计算分支或覆盖注册表而被丢弃，这并不是无代价的。 热力学定律对某些过程的效率有着严格的限制，这同样适用于计算机，就像它适用于蒸汽机一样。这种代价也被称为兰道尔极限（Landauer"s limit）。
在每次计算操作中，微处理器会散发微小的热量，大约每比特10^-21焦耳。由于这种热量较小，长期以来兰道尔极限一直被认为可以忽略。然而，由于电流泄漏等其他开销，现实世界的极限估计比Landauer的边界大了10-100倍，因此现在的工程能力已经发展到可以达到这种能量规模的程度。芯片有数以千亿计的晶体管，以每秒数十亿次的速度运行。这些数字的累加或许意味着在到达热限制之前，摩尔定律仍有可能增长一个数量级。然而，到那时，现有的晶体管架构将无法进一步提高能效，而且产生的热量会阻止将晶体管封装得更紧密。因此，若不弄清楚这一点，就无法预测行业的价值观会发生什么变化。微处理器将受到限制，行业将争夺边际能源效率的较低奖励。芯片尺寸会膨胀。虽然NVIDIA首席执行官宣布“摩尔定律已死”，但其他半导体公司否认了这一声明。IEEE每年都会发布半导体路线图，最新的评估是2D的微缩将在2028年完成，3D微缩应该在2031年全面启动。3D微缩已经广泛用于计算机内存，但尚未用于微处理器中因为内存的散热要低得多。而散热在3D架构中很复杂，因此主动内存冷却变得很重要。回到微处理器，多门器件架构将继续遵循摩尔定律，但由于固有的热问题，垂直扩展在20世纪30年代以后将不再可能。目前的芯片组会仔细监督处理器的哪些部分随时处于活跃状态，这样即使在单个平面上也能避免过热。
2030危机？
一个世纪前，美国的诗人罗伯特·弗罗斯特曾问道：世界会在寒霜还是熊熊烈火中终结？如果答案是烈火，那几乎意味着计算的终结。或者，我们可以接受这个事实：电力的使用将不断增加，而微处理器的制造也将会不断扩大。为了实现这个目标，人类已经消耗了大量地球能源。也许更简单的选择是接受电力需求的增加以及微处理器制造的不断扩大。我们已经使用了地球能源供应的巨大一部分来实现这个目标。在爱尔兰，仅70个数据中心就消耗了全国14%的能源。到2030年代，预计全球30-50%的生产电力将用于计算和冷却——这还不包括加密货币的能源需求。
有趣的是，作者在3月19日发表博文预测后，又将其删除。他解释说，这个预测基于Nature论文中的最坏情况，为了论证的准确性和清晰度，现在已经删除了。 未来，能源生产的规模将增加，但这会导致微处理器制造的成本略微增加。通过一系列设计和实施层面的一次性优化措施，可以使发展中经济体如印度赶上全球的整体生产力。 当摩尔定律终结时，微处理器芯片的制造仍未达到极限，但能源供应将耗尽，计算成本下降的速度将停滞不前。虽然量子计算被看作是超越摩尔定律的有效途径，但由于存在太多未知数，商业化可能要等待几十年，至少在未来20到30年内并不实用。 显然，未来十年内将出现严重的算力差距，现有的技术公司、投资者或政府机构都无法解决这个问题。摩尔定律和兰道尔极限的碰撞已经持续了数十年，可以说是2030年代最重要、最关键的事件之一。然而，目前了解这一事件的人似乎并不多。
#ai##AI大模型##大模型#
关键词：
