（三藩市5日讯）美国人工智能公司Anthropic当地时间周四表示，随着最新一代人工智能（AI）模型开始显现出可能脱离人类控制的迹象，全球应考虑暂停开发最先进的人工智能系统。
法新社报导，这家总部位于美国加利福尼亚州三藩市、开发Claude系列人工智能模型的公司在报告中指出，全球放缓尖端人工智能研发“很可能是一件好事”，但同时警告，如果只有单一公司停止开发，其竞争对手将会迅速赶超。
Anthropic说：“我们认为，如果世界拥有放缓或暂停前沿人工智能发展的选择，以便社会结构和协调研究能够跟上技术发展的步伐，这对世界是有益的。”
该公司指出，要让暂停机制真正发挥作用，需要跨国多间主要人工智能公司，特别是美国和中国的公司，同意依据可供验证的规则同步停止。
“若缺乏全球协调机制，企业和政府将不得不在竞争压力和地缘政治压力下，就安全问题作出艰难决定。”
观点不受主流待见
Anthropic的观点在业内和美国政府内部一直存在争议。他们认为，Anthropic过分强调最坏情况的风险，夸大了人工智能的危险性，并借安全问题为由拖慢竞争对手的发展速度。
不过，白宫也承认Anthropic开发的Mythos模型能力强大。由于具备发现软件漏洞的能力、自动分析电脑系统和编写或优化攻击代码等风险，目前尚未向公众开放，仅部署给少数经过审核的机构使用。
Anthropic这项提议在华盛顿和美国科技界都将面临巨大阻力。
美国官员和科技业高管屡次主张，一旦让人工智能发展减速，就可能让中国在这场被视为本世纪最关键的科技竞赛中取得决定性战略优势。
但美国总统特朗普表示，他最近访问北京期间，曾与中方讨论在人工智能安全问题上合作的可能性。
特朗普本周还签署了一项行政命令，在人工智能开发商发布他们最强大的人工智能模型前，授权政府进行为期30天的初步审查。
AI治理比军控还难
Anthropic将人工智能治理问题与核军备控制条约进行了比较，但认为人工智能更难管控。因为人工智能训练过程远比导弹发射井更容易隐藏，因此相关机构可能会受到巨大诱惑，在表面遵守规则的同时私下继续开发。
该公司表示，计划在未来数月召集各国官员、科学家、倡议团体及竞争企业，共同研议这类机制如何运作。
根据Anthropic的说法，其内部数据显示，人工智能已经开始显著加速自身的发展速度。这种加速形成反馈循环，并可能最终导致研究人员所称的“递回式自我
改进”（Recursive Self-Improvement），意即人工智能系统几乎不需要人类协助，就能自行学习并变得更加聪明。
Anthropic表示，“目前我们还没走到这一步，递回式自我改进也并非必然会发生”，但这种状况可能比多数政府和机构预想得更早，“证据显示，在人工智能开发流程的每个阶段，人类扮演的角色正逐步缩小”。
