OpenAI前研究员警告：人类正打造尚无可靠方案控制的超级智能

5月13日，《商业内幕》报道援引 OpenAI 前研究员、现 AI 未来项目负责人 Daniel Kokotajlo 的观点指出，当前 AI 行业正陷入一场激烈竞赛，各公司竞相构建那些自身尚未完全理解或能有效控制的系统。

科科塔伊洛在去年5月接受《商业内幕》记者采访时解释说，AI公司面临的核心问题是“对齐”问题，即努力确保未来的AI系统能够可靠地遵循人类的指令和价值观，即使它们在许多领域的能力已经超越人类。

他表示，研究人员目前并不完全理解先进AI模型在内部如何做出决策，这种不确定性使得很难确保未来系统真正“对齐”并稳定执行人类希望它完成的目标。

“这在某种程度上可以说是一个公开的秘密，但我们还没有一个真正可行的解决方案。”他在谈到实施AI对齐时说道。

科科塔伊洛在2022年至2024年在OpenAI从事预测研究工作，研究AI系统可能以多快的速度进步，以及随着企业构建更强大的模型，可能会出现哪些经济、政治和安全风险，之后他离开了该公司。

如今，他通过自己的非营利研究机构AI未来项目，专注于类似的课题，重点分析AI系统可能以多快的速度发展，以及如果企业继续优先追求速度和竞争，将会出现哪些风险。

“一旦超级智能被造出来，人类将不再是这个星球的主导者，至少不再是默认的主导者。”科科塔伊洛表示。

科科塔伊洛指出，许多人仍然低估了AI的发展速度，因为相关讨论常被科幻化的语言包裹。他发表这一警告之时，正值AI公司持续投入数十亿美元推动更强大模型与更大规模数据中心建设的行业热潮之中。