Anthropic警告AI或加速自我改进
摘要
Anthropic在IPO招股书中警告，AI可能很快跨过递归自我改进门槛，研发速度大幅加快，且此前曾出现加速发生后才察觉的情况，公司正考虑修改安全政策以保留人类监督。
原文片段
Anthropic警告：AI可能很快进入自我加速阶段，等人类察觉或为时已晚 动察 Beating AI 快讯，Anthropic 在 11 月 2 日更新的 IPO 招股书中警告，AI 可能很快跨过「递归自我改进」（RSI）相关的关键门槛，让 AI 研发速度大幅加快。过去也出现过未能及时察觉研发进步显著加速，直到加速发生后才发现的情况。 目前，Claude 已经参与编写代码、运行实验和处理训练数据，帮助开发更强的下一代模型。新模型又能反过来加快后续研发，形成不断提速的循环。 按照 Anthropic 的安全政策，触及这道关键门槛有两种情况： 1. AI 能以相近成本完成整个 AI 研究团…