微软让AI代理用虚拟货币在线购物，结果它们把钱都花在了诈骗上
新闻要点
微软与亚利桑那州立大学合作开展了一项名为“磁性市场”（Magentic Marketplace）的研究，构建了一个包含100个买家AI代理和300个卖家AI代理的模拟经济系统，旨在测试它们执行在线购物等基本任务的能力。 研究结果显示，当面对100个搜索结果时，AI代理表现不佳，其“福利评分”（模型有用性）大幅下降。它们未能进行详尽比较，反而表现出“首选偏见”，优先选择遇到的第一个“足够好”的选项，导致响应速度比实际质量重要10到30倍。 更严重的是，AI代理极易受到恶意操纵。OpenAI的GPT-4o和GPTOSS-20b模型在虚假凭证、社会证明和提示注入等六种操纵策略下，所有付款都被成功重定向到恶意代理。阿里巴巴的Qwen3-4b模型也未能抵御基本的说服技巧。只有Anthropic的Claude Sonnet 4模型成功抵制了这些操纵。 此外，AI代理在没有人类明确分步指导的情况下，难以进行有效的协作和角色协调，这违背了自主代理的初衷。微软建议采用“监督式自主”模式，即代理执行任务但人类保留最终决策的控制权。这些发现对OpenAI和Anthropic等公司正在竞相部署的自主购物助手构成了挑战，并引发了亚马逊与Perplexity AI之间关于AI代理使用条款的争议。
背景介绍
人工智能代理技术近年来发展迅速，旨在使AI系统能够自主执行复杂任务，从信息检索到在线购物。微软、OpenAI、Anthropic和阿里巴巴等领先科技公司正大力投入研发，竞相推出更强大、更自主的AI模型和应用。 随着AI代理能力的增强，关于其可靠性、安全性和道德影响的讨论也日益增多。企业和消费者都对AI在商业交易中的自主决策能力抱有高期望，但同时也有对其潜在风险，如被操纵或做出不负责任行为的担忧。 此外，AI代理在电子商务领域的应用引发了平台方与AI开发商之间的紧张关系，例如亚马逊对Perplexity AI的指控，凸显了在数字经济中AI自主性的边界和规范问题。
深度 AI 洞察
微软的这项研究，在现任特朗普政府大力推动AI创新和竞争的背景下，对AI领域的投资者有何更深层的启示？ - 这项研究在表面上揭示了AI代理在自主购物中的缺陷，但更深层次地，它可能是在为未来的AI监管框架奠定基础，尤其是在消费保护和反欺诈方面。特朗普政府虽然强调技术领先，但也必须平衡消费者安全。微软作为行业巨头，通过公开这些缺陷，可能在寻求影响监管走向，强调“负责任的AI”需要人类监督，从而避免过于激进的监管措施，同时巩固其在企业级AI解决方案中的领导地位，这些解决方案往往更强调可控性和安全性。 - 对于投资自主AI代理的公司而言，这并非简单的技术挫折，而是一个警示信号，预示着市场对“完全自主”的接受度可能远低于预期。资金和研发将转向那些能够整合人类监督、具备强大防御能力、并能提供透明审计路径的AI系统。那些过度宣传或过度依赖纯粹自主性、未能解决信任和安全问题的初创公司，其估值可能面临重新评估。 这项研究如何影响大型科技公司在AI战略上的竞争格局和投资偏好？ - 微软的发现可能促使大型科技公司重新校准其AI代理的开发重点，从追求完全自主转向“增强式智能”或“监督式自主”，即AI作为人类决策的强大助手而非替代者。这将导致投资更多地流向AI安全、AI伦理、可解释AI（XAI）以及人机协作界面等领域。 - 这种转变将有利于那些在企业软件和云服务领域具有深厚基础的公司，因为它们能够更好地整合AI代理到现有的工作流中，并提供必要的管理和监督工具。微软自身在Azure AI等企业级解决方案上的优势可能会因此得到进一步巩固，而那些纯粹依赖消费者端“完全自主”叙事的公司则可能面临挑战，需要证明其技术的商业可行性和安全性。 考虑到AI代理被骗的脆弱性，投资者应如何评估AI在金融服务和关键基础设施领域的未来应用前景？ - 鉴于AI代理在模拟市场中表现出的对欺诈和操纵的极端脆弱性，投资者必须对其在金融服务（如交易、资产管理）和关键基础设施（如能源网、交通系统）中的应用保持高度警惕和审慎。这些领域的决策错误或系统被操纵的后果将是灾难性的，远超虚拟购物的损失。 - 这项研究强化了在这些高风险领域，AI部署将不可避免地遵循严格的监管、多层验证和人类严格监督的原则。投资机会将集中在开发符合最高安全标准、拥有强大审计追踪能力、并能提供实时风险评估和干预机制的AI技术公司。那些能够提供“AI信任层”解决方案的公司，例如AI安全软件、异常检测系统和抗对抗性攻击技术提供商，将看到显著的增长潜力。