美国人工智能（AI）新创企业Anthropic一名研究员决定退出AI产业，理由是担忧Anthropic及其竞争对手正竞相开发他们无法掌控的系统。这显示顶尖AI公司内部对安全疑虑日益升高。JUST IN: Jacob Coxon resigns from Anthropic, warning that AI labs are racing toward self-improving superintelligence without acting responsibly. pic.twitter.com/BTbiDC3sAS
— Prime India (@primeindiia) September 9, 2026
华尔街日报（The Wall Street Journal）报导，以透过大量资料训练新AI模型见长的研究员考克森（Jacob Coxon）昨天表示，整个产业都在加快脚步开发自我改进型的AI系统，他不想参与其中而离职，担心这类系统可能会失控，甚至导致人类灭亡。
现年27岁的考克森来自英国，过去曾修读数学。他表示，业界许多同侪现在会用“紧要关头”及“终局”等字眼，来形容产业朝自我改进模型发展的轨迹。
考克森说：“我们正迈向最激进的情境，明年底前局势可能就失控了。”他另指出，当公司之间互相较劲以及面对中国新创竞争时，在安全性上做取舍是不可避免的。
考克森今年稍早自OpenAI离职，加入以模型安全著称的Anthropic。不过，尽管他认为Anthropic的安全措施相当用心，但他现在相信，若缺乏政府介入或业界协调减缓脚步，没有一家公司能负责任地开发在多项任务上胜过人类的AI，也就是所谓的“通用人工智能”（artificial general intelligence，AGI）。
最近OpenAI与Anthropic的AI模型发动一些骇客攻击，其中部分模型是以代理协作的形式运作，表明AI系统可能会确立恶意目标，并企图隐瞒人类。考克森说，一旦这类系统开始自我改进，他担心它们会进化到拒绝人类指令的地步。
考克森离职不是特例，近年来有多位研究人员因为类似忧虑而离开OpenAI以及其他公司。
产业界领袖已警告，近来的网络攻击事件就是前兆。OpenAI上周告诉媒体，公司最新的模型已经达到AGI水准，能力大幅提升。
OpenAI执行长阿特曼（Sam Altman）上周在北卡罗来纳州举行的20国集团（G20）峰会上对与会官员表示：“除非积极行动，否则资安领域将会有大麻烦。”
考克森与超过一千名来自业界的AI研究人员，近日联署一项声明，呼吁全球各国政府协调合作，当AI模型具备自我提升能力并需要“刹车”时，能有予以放缓的机制。
Anthropic正加紧准备首次公开募股（IPO），目标估值高达2兆美元，预期将成为史上规模最大的IPO之一。
