通往真正人工智能精通的漫漫长路

(SeaPRwire) –   在 20 世纪 70 年代初期，编程计算机需要在卡片上打孔，然后将卡片送入房间大小的机器，这些机器会通过行式打印机产生结果，通常需要数小时甚至数天才能完成。 

计算机长期以来一直是这样运作的，正是在这种背景下，一支由 29 名科学家和研究人员组成的团队在著名的施乐 PARC 创建了我们今天所知晓的更亲密的计算形式：一种带有显示器、键盘和鼠标的计算机。这台名为 Alto 的计算机与众不同，以至于需要一个新的术语来描述它：交互式计算。 

Alto 由于其昂贵的组件而被一些人视为过分奢侈。但快进 50 年，数万亿美元的供应链已经涌现，将富含二氧化硅的沙子转化为复杂而奇妙的计算机，这些计算机存在于我们的口袋中。交互式计算现已成为我们生活中不可分割的一部分。

硅谷再次被一种让人想起早期计算热潮的狂热所笼罩。通用人工智能 (AGI) 是一种对软件系统能够在没有特定指令的情况下解决任何问题的能力的统称，已经成为一场几乎触手可及的革命。

生成式 AI 的快速发展令人敬畏，这并非没有道理。正如摩尔定律描绘了个人计算的轨迹，梅特卡夫定律预测了互联网的增长一样，生成式 AI 的发展也遵循着一种指数级原理。深度学习的扩展定律假设 AI 模型的能力与其本身的大小以及用于训练它的数据的大小之间存在直接关系。

在过去两年中，领先的 AI 模型在两个维度上都经历了惊人的 100 倍增长，模型大小从在 1000 亿个单词上训练的 100 亿个参数扩展到在超过 10 万亿个单词上训练的 1 万亿个参数。

结果引人注目且有用。但个人计算的演变提供了一个有益的教训。从 Alto 到 iPhone 的轨迹是一条漫长而曲折的道路。健壮的操作系统的开发、充满活力的应用程序生态系统以及互联网本身都是至关重要的里程碑，每一个里程碑都依赖于其他子发明和基础设施：编程语言、蜂窝网络、数据中心以及安全、软件和服务行业的创建等等。 

AI 受益于许多这样的基础设施，但它也是一个重要的突破。例如，大型语言模型 (LLM) 在语言理解和生成方面表现出色，但在推理能力方面却很挣扎，而推理能力对于处理复杂的多步骤任务至关重要。然而，解决这一挑战可能需要创建新的神经网络架构或用于训练和使用它们的全新方法，而学术界和研究机构产生新见解的速度表明我们还处于早期阶段。

我们 Together AI 专注于这些模型的训练和服务，这既是一项计算奇迹，也是一个泥潭。由 Nvidia 主要创建的定制 AI 超级计算机或训练集群代表了硅设计的前沿。这些系统由数万个高性能处理器组成，通过先进的光学网络互连，它们作为一个统一的超级计算机运行。然而，它们的运行成本很高：与传统 CPU 相比，它们的功耗高出一个数量级，产生的热量也相当。后果远非微不足道。Meta 最近发表的一篇论文详细介绍了 Llama 3.1 模型系列在 16,000 处理器集群上的训练过程，揭示了一个惊人的统计数据：该系统在 69% 的运行时间内都无法使用。

随着硅技术继续根据摩尔定律发展，需要创新来优化芯片性能，同时最大限度地降低能耗并减轻随之而来的热量产生。到 2030 年，数据中心可能会发生彻底转型，需要对计算的底层物理基础设施进行根本性突破。

AI 已经成为一个地缘政治上充满争议的领域，其战略意义可能会加剧，并可能在未来几年成为技术优势的关键决定因素。随着 AI 的改进，AI 对工作性质和劳动力市场的影响也势必成为一个日益引起争议的社会问题。

但还有很多工作要做，我们有机会用 AI 塑造我们的未来。我们应该期待在未来几年涌现出大量创新型数字产品和服务，这些产品和服务将吸引和赋能用户。从长远来看，人工智能将发展成为超级智能系统，这些系统将像计算一样成为我们生活中不可分割的一部分。人类社会在数千年来一直吸收着新的颠覆性技术，并重塑自己以在这些技术的帮助下繁荣发展——人工智能也不例外。