马斯克等千人签署公开信，人工智能开发危及“文明控制权”？
美剧《西部世界》和好莱坞电影《终结者》里曾描绘，人工智能(AI)的“觉醒”可能危及人类。最近，科幻片中的担忧照进现实，有不少人工智能业界“大佬”突然呼吁暂停开发更强大的AI系统，提出具有人类水平智能的AI系统可能“对社会和人类构成潜在风险”。
他们的担忧从何而来？人工智能开发会否危及人类的“文明控制权”？AI的发展是否已来到需要按下“暂停键”的转折点？
一封公开信，四问AI风险
近期，美国亿万富翁埃隆•马斯克和人工智能领域顶尖专家、图灵奖得主约书亚•本吉奥(Yoshua Bengio)等人联名签署了一封公开信，呼吁暂停开发比GPT-4更强大的AI系统至少6个月，称其“对社会和人类构成潜在风险”。
这封发布在非营利性组织“未来生命研究所”(Future of Life Institute)网站上的公开信主张，在开发强大的AI系统之前，应先确认其带来影响是积极的、风险是可控的。
信中详述了具有人类水平智能的AI系统可能对社会和人类带来极大的风险，称“这一点已经得到大量研究和顶级AI实验室的认同”，并连续抛出四个疑问：
- 我们是否应该让机器用宣传和谎言淹没我们的信息渠道？
- 我们是否应该让所有的工作自动化，包括那些令人满意的工作？
- 我们是否应该发展最终可能在数量上超过我们、在智能上超越我们、能够淘汰并取代我们的非人类思维？
- 我们应该冒着失去对我们文明控制的风险吗？
公开信指出，如果不能迅速实施此类暂停，政府应当介入并采取措施。此外，“AI实验室和独立专家应该利用这次暂停，共同开发和实施一套用于高级AI设计和开发的共享安全协议，并由独立的外部专家进行严格审计和监督”。
信中还呼吁开发人员和政策制定者合作，大幅加快强大的AI治理系统的开发。这其中至少应当涉及监管机构、审计和认证系统、监督和追踪高性能AI系统、人工智能造成伤害后的责任问题、为AI技术安全研究提供公共资金等方面。
公开信在最后提到，如今，我们的社会已经暂停其他可能造成灾难性影响的技术，对于人工智能也应该如此，“让我们享受一个漫长的‘AI之夏’，而不是毫无准备地进入秋天”。
技术、伦理、利益，呼吁放慢脚步为哪般？
从这些内容中不难看出，比起技术，公开信的支持者更在意的，是人工智能可能出现的“野蛮生长”，以及它的发展可能带来的社会和伦理难题。
公开信中提到，此番暂停并不意味着从总体上暂停人工智能的开发，而是从危险竞赛中“后退一步”。人工智能的研究和开发应该重新聚焦于使当今强大的、最先进的系统变得更加准确、安全、可解释、透明、稳健、一致、可信且可靠。
纽约大学教授加里•马库斯所人为，“这封信并不完美，但精神是正确的”，他认为，人们需要放慢脚步，直到可以更好地理解这一切带来的后果。
目前，该公开信已获上千人签署，其中不乏开源人工智能公司Stability AI首席执行官莫斯塔克(Emad Mostaque)、谷歌母公司Alphabet旗下人工智能企业DeepMind研究人员、计算机科学家斯图亚特•罗素(Stuart Russell)等专家学者和科技公司高管。
马斯克等千人签署公开信，人工智能开发危及“文明控制权”？
美剧《西部世界》和好莱坞电影《终结者》里曾描绘，人工智能(AI)的“觉醒”可能危及人类。最近，科幻片中的担忧照进现实，有不少人工智能业界“大佬”突然呼吁暂停开发更强大的AI系统，提出具有人类水平智能的AI系统可能“对社会和人类构成潜在风险”。
他们的担忧从何而来？人工智能开发会否危及人类的“文明控制权”？AI的发展是否已来到需要按下“暂停键”的转折点？
一封公开信，四问AI风险
近期，美国亿万富翁埃隆•马斯克和人工智能领域顶尖专家、图灵奖得主约书亚•本吉奥(Yoshua Bengio)等人联名签署了一封公开信，呼吁暂停开发比GPT-4更强大的AI系统至少6个月，称其“对社会和人类构成潜在风险”。
呼吁暂停巨型AI训练的公开信。图片来源：“未来生命研究所”网站
这封发布在非营利性组织“未来生命研究所”(Future of Life Institute)网站上的公开信主张，在开发强大的AI系统之前，应先确认其带来影响是积极的、风险是可控的。
信中详述了具有人类水平智能的AI系统可能对社会和人类带来极大的风险，称“这一点已经得到大量研究和顶级AI实验室的认同”，并连续抛出四个疑问：
- 我们是否应该让机器用宣传和谎言淹没我们的信息渠道？
- 我们是否应该让所有的工作自动化，包括那些令人满意的工作？
- 我们是否应该发展最终可能在数量上超过我们、在智能上超越我们、能够淘汰并取代我们的非人类思维？
- 我们应该冒着失去对我们文明控制的风险吗？
公开信指出，如果不能迅速实施此类暂停，政府应当介入并采取措施。此外，“AI实验室和独立专家应该利用这次暂停，共同开发和实施一套用于高级AI设计和开发的共享安全协议，并由独立的外部专家进行严格审计和监督”。
信中还呼吁开发人员和政策制定者合作，大幅加快强大的AI治理系统的开发。这其中至少应当涉及监管机构、审计和认证系统、监督和追踪高性能AI系统、人工智能造成伤害后的责任问题、为AI技术安全研究提供公共资金等方面。
公开信在最后提到，如今，我们的社会已经暂停其他可能造成灾难性影响的技术，对于人工智能也应该如此，“让我们享受一个漫长的‘AI之夏’，而不是毫无准备地进入秋天”。
技术、伦理、利益，呼吁放慢脚步为哪般？
从这些内容中不难看出，比起技术，公开信的支持者更在意的，是人工智能可能出现的“野蛮生长”，以及它的发展可能带来的社会和伦理难题。
公开信中提到，此番暂停并不意味着从总体上暂停人工智能的开发，而是从危险竞赛中“后退一步”。人工智能的研究和开发应该重新聚焦于使当今强大的、最先进的系统变得更加准确、安全、可解释、透明、稳健、一致、可信且可靠。
纽约大学教授加里•马库斯所人为，“这封信并不完美，但精神是正确的”，他认为，人们需要放慢脚步，直到可以更好地理解这一切带来的后果。
目前，该公开信已获上千人签署，其中不乏开源人工智能公司Stability AI首席执行官莫斯塔克(Emad Mostaque)、谷歌母公司Alphabet旗下人工智能企业DeepMind研究人员、计算机科学家斯图亚特•罗素(Stuart Russell)等专家学者和科技公司高管。
发布公开信的“未来生命研究所”则主要由马斯克基金会、硅谷社区基金会等资助。特斯拉首席执行官马斯克正在将人工智能应用于自动驾驶系统，他也一直坦率表达自己对人工智能的担忧。
路透社还称，欧洲刑警组织(Europol)日前也表达了对ChatGPT等先进人工智能在伦理和法律方面的担忧，警告此类系统可能会被滥用于网络钓鱼、虚假信息和网络犯罪。此外，英国政府也公布了关于建立AI监管框架的提议。
在网络上，这封信也引起热烈讨论，有网友表示认同，人们需要知道发生了什么，“仅仅因为我们知道可以建造它，并不意味着应该建造”。
但也有人怀疑马斯克的动机，“马斯克之所以会签署它，因是为他想用自己的人工智能来赚钱。”
还有人分析，“这很可怕，但我认为有些项目不需要停止。技术正在发展迅速，负责任的创新也是必要的。”
关于人类和AI关系的思考，从技术诞生之初就没有停过。著名物理学家霍金也曾说过，“成功创造了人工智能，很可能是人类文明史上最伟大的事件。但如果我们不能学会如何避免风险，那么我们会把自己置于绝境”。
如今，从通过资格考试，到进行艺术“创作”，AI能做的事越来越多，朝着“智能”的方向越走越远。但同时，利用AI技术进行网络诈骗勒索、传播非法信息等犯罪行为也层出不穷。
不同于物理世界技术创新成果转化的漫长周期，AI技术突破往往会通过互联网一夜之间散播全球。在人类未能就AI伦理、监管等找到妥善解决之道前，这些讨论和担忧并不多余。
