阿里云声称通过新型池化系统将英伟达GPU使用量削减82%
新闻要点
阿里云推出了一项名为“Aegaeon”的计算池化解决方案，声称可将其人工智能模型所需的英伟达GPU数量减少82%。该系统在阿里云的模型市场进行了三个多月的测试。 根据在第31届操作系统原理研讨会上发表的研究论文，Aegaeon系统将服务数十个高达720亿参数模型的英伟达H20 GPU数量从1,192个减少到213个。研究人员指出，Aegaeon首次揭示了市场上同时处理LLM工作负载所带来的过高成本。 文章解释称，效率低下源于大多数AI模型仅被零星调用进行推理，导致资源大量浪费。在阿里云市场中，17.7%的GPU仅服务了1.35%的请求。全球范围内的研究人员都在探索通过池化GPU能力来提高效率，例如让一个GPU同时服务多个模型。
背景介绍
在全球范围内，随着人工智能技术（特别是大型语言模型）的快速发展，对高性能图形处理器（GPU）的需求呈爆炸式增长。英伟达（Nvidia）作为GPU市场的领导者，其产品在AI训练和推理领域占据主导地位，导致其芯片价格高昂且供应紧张。 云服务提供商，如阿里云和字节跳动的火山引擎，是AI模型部署和服务的关键基础设施提供者。它们需要高效地管理大量GPU资源，以满足客户对AI推理服务的并发需求。然而，由于许多AI模型的使用频率不高，导致资源分配效率低下，运行成本成为一个重大挑战。
深度 AI 洞察
这项技术对英伟达的市场主导地位和定价权意味着什么？ - 阿里云的Aegaeon系统展示了显著的GPU效率提升，可能在长期内影响对英伟达芯片的需求结构，尤其是在推理侧。 - 如果这种效率提升在行业内广泛复制，可能会缓解GPU供应紧张，并对英伟达的定价能力构成温和的下行压力，尽管其在高性能AI芯片上的技术领先地位短期内仍难以撼动。 - 然而，英伟达也可能将这些效率工具整合到其生态系统中，通过软件优化来保持竞争力并提升客户价值，从而抵消部分硬件需求减缓的影响。 这项创新如何影响云服务提供商之间的AI竞争格局？ - 阿里云通过降低AI推理成本，可能获得竞争优势，吸引更多开发者和企业在其平台上部署AI模型。 - 其他云服务提供商将被迫加速其GPU资源管理和优化技术的研发，以匹配或超越阿里云的效率，否则可能面临客户流失。 - 这将推动整个云AI服务行业的成本优化和技术创新，最终可能惠及终端用户，降低AI服务的门槛。 这项技术对AI行业的整体成本结构和普及性有哪些更广泛的影响？ - 显著降低AI推理所需的硬件成本将使AI技术更加普及，尤其对于资源有限的中小型企业和初创公司。 - 降低成本有助于刺激更多AI应用的开发和部署，加速各行各业的数字化转型和AI赋能。 - 它可能重新分配AI基础设施的价值链，从纯粹的硬件销售转向更注重软件优化和平台效率，促使整个行业更加关注全栈解决方案。