图源:北京智源人工智能研究院

中外科学家发出AI安全警告:我们正处于人工智能的“奥本海默时刻”

界面新闻记者 | 陈振芳

界面新闻编辑 | 宋佳楠

“我们知道世界将会不同。一些人笑了,一些人哭了,绝大多数人沉默不语。”1945年7月16日凌晨5点30分,之一次核试验后, *** 之父罗伯特·奥本海默如是说。

如今,AI正在越来越多地被拿来与核武器类比,也被认为是“人类最后的技术”。

近日,智源大会举办的两天内,大模型创业者像明星一样被人群紧紧围绕、合影。尽管极少谈论商业版图,他们的言论仍旧被迅速扩散开来。当AI从业者享受前所未有的追捧时,有关AI安全的讨论也成为重中之重。

当外界还在聚焦于GPT5何时发布,重磅炸弹是什么时,他们提问:如果AI能力被坏人拿走了,将会发生什么?如果AI可以控制现实世界,人类该怎么办?

来自北京和加州的世界顶尖科学家们都对AGI的发展表达了担忧,围绕AI安全问题展开激辩。他们呼吁 *** 强有力的监管必须介入AI发展。一个更安全的AI,也意味着更多层面更精细的监管,AI的技术增速放慢。

与之前技术中立不同的是,多位科学家直言:AI是一个新物种,而非一项新技术。

“我们正处于人工智能的‘奥本海默时刻’。”MIT人工智能与基础交互研究中心教授Max Tegmark提醒道,人类距离之一个AI核弹只有几年的时间。

危险的AI

2019年,Stuart Russell来到清华大学开讲座,他刚刚出版了《人类兼容:人工智能及控制问题》一书,给清华大学人工智能学院院长、图灵奖得主姚期智留下深刻印象。

“这不仅仅是作为人的纯粹的智力追求,全世界都已意识到问题的严重性。”姚期智称,AI与人类过往经验不同,过去是坏人试图利用工具作恶,但现在,这个工具可能就是对手。真正的难题在于:人类如何在新的环境中生活?如何与一个比人类更聪明的新物种共存?原则上,这是站不住脚的,两个超级物种很难在地球上共存,并达到平衡。

智源研究院学术顾问委员会主任张宏江则表示,AI可以被应用于任何目标,好或者坏的,就像核武器。AI正在以一种超级快的速度进化。对此,Stuart Russell认为,必须要做好计划,不能任由其像科幻小说的发展那样失控,“那些被认为发生在未来遥远宇宙的事情,可能很快就要发生。”

AI有潜力改善人类生活,但关键在于,如何看待AI这一技术?

有人认为,人类是可有可无的,只要有高智商的机器在地球上运行,就是一个完全可以接受的选择,这是最可怕的事情。Stuart Russel措辞严厉地指出,人类作为一个物种,只能选择安全、有益的AI,要绝对保证AI不会失控,不会伤害我们,“如果没有保证,唯一的选择就是简单地结束人工智能的发展。”

张宏江则表示,潜在的财富加速集中,与可能的工作两极化,大模型将带来新的工业化革命,人们应该关注新的经济体系以及随之而来的风险。过去六个月,并非每件事都那么美好,并非一切都在掌控之中,OpenAI的超级对齐团队解散是一个危险的信号。“对齐是确保AI安全的重要步骤,具有人类价值,但我们是否投入了足够的资源来自救?我们能采取什么行动?”

“我们只有2到4年的窗口期来解决这一问题。”Google DeepMind前沿安全与治理主任Allan Dafoe作出这一判断。在他看来,即将到来的是一种新的生命形式,一个新物种,它将比我们更有能力,要部署比人类水平更高的系统。人工智能文明将很快超过人类的数量,或许会达到1:100,1:1000,甚至更高的人机比例。

在AI技术尚未完全开发出来之前,人们陷入对监管的迷茫:AI安全的目标是什么?

作为这一轮AI技术的最有力推动者——Open AI吸足“火力”。例如奥特曼说,OpenAI的愿景是创造一个安全和有益的AGI,并采取相应的措施来减轻或消除这些风险和影响。Stuart Russell对此持批评意见,称这显然是倒退,“一旦你做了一个AI,它还不安全,那就太晚了,你没有另一个十年的时间来弄清楚如何让它安全。”制造安全的AI就意味着在一个狭窄的框架内开发AI系统。

“大模型将保持其数据私密性,无论公司对软件做出什么声明,都不可信。”据Max Tegmark透露,Open AI的技术水平已经达到GPT4.5,“奥特曼是一个聪明的家伙,我们需要认真地对待他。”

美国最近的一项研究表明,更好的AI系统愚弄了42%的人,让人类以为它是人。Anthropic的达里奥·阿莫给出了一个数字,人类有10%-25%的可能性被AI消灭。

解决之道

为应对AI安全风险,智源将AGI水平和能力划分为0-5级。第3级时,AI的感知和认知能力同时超越人;第4级,当机器从具备意识进化为具备自我意识,人类将沦为次等物种。第5级是AGI的认知不再源于人类知识,AGI神经结构超越人类大脑,形态和智力水平都超出了人类想象,可以适应不同的物理环境,开始宇宙智能进化的新历程。

AI技术的发展速度正在呈指数级增长,但监管尚未跟上,这正是科学家们担心的。

Max Tegmark认为,人工智能的监管应该像医药、航空和核能等领域,“切尔诺贝利事件”的出现则会直接摧毁整个核工业。没有安全,就没有好处。

当法律要求AI系统应该输出真实准确的信息时,很多AI业界的人抱怨这太难了,他们无法实现。鉴于大模型算法无法强制执行,AI系统发展的合理规定都将遭到强烈 *** ,因为任何合理的规则都会限制技术开发。

Max Tegmar等多位科学家建议,应该树立AI行业监管规范,例如美国的FDA、中国的国家药品监督管理局、中国民用航空局,有严格的药品和航空安全标准, *** 对这些行业负有监管责任,产品只有达到安全标准才能上市。

这些顶尖科学家们主要呼吁从以下三方面对AI实施安全监管。

一是治理AI安全,全球合作至关重要。尽管国际合作是出了名的缓慢,但人工智能的风险是全球性问题,对人类构成了重大甚至极端的风险。人类需要一个以AI安全为主题的大型国际组织。现在全球有30多个主要研究中心,但这些中心缺乏协调沟通,很多工作只能自主行动。

其次,应当先有 *** 和行业联合制定的统一标准,再销售可信任的人工智能系统。

Max Tegmark表示,必须实施真正的安全标准,以强硬的法律作为后盾,让人工智能像其他行业一样被规范和约束。中国是之一个实施严格人工智能安全法规的国家,而欧盟也在今年3月通过了《人工智能法案》。

再者,“红线”的概念让AI安全变得具体可行。今年3月,Geoffrey Hinton、姚期智、Stuart Russell、傅莹等30余位专家,共同拟定并签署了《北京AI安全国际共识》,为AI划定五条不可逾越的红线:自主复制或改进、权力寻求、协助武器制造、 *** 安全、欺骗。

上述专家们指出,人们不能仅仅是讨论AI安全与否,因为安全和不安全很难区分,应划定红线并要求AI不能越过这些红线。让AI像药品、核电站、飞机一样,接受合理、安全的监管。

值得关注的是,这一共识并不具有真正的法律效应和强制监管的属性。姚期智认为,从长远来看,人类会建立一套与密码学类似的基础科学工具,主要处理知识的生产和分配,以及谁应该拥有何种知识。

Max Tegmark也强调,AI革命将带来巨大危险,如果不以一种安全的方式制造它,所有人都是输家,只有机器会赢。