2026年10月26日,美国人工智能企业Anthropic向证券监管机构提交上市注册文件,启动AI领域有史以来规模最大的募资,规模或达1000亿美元。300多页的说明书用了近百页描述风险因素,风险清单中包括营收增速下滑、各国监管约束,乃至“对人类构成灾难性、生存级风险”,堪称一部AI风险百科全书。而在此前几天,全球网络安全领域也接连传出警报,被称为互联网“黑色48小时”。
AI风险问题已成为当今世界最受关注的焦点问题之一。然而,无论是警示人类面临灭绝风险的“悲观派”,还是鼓吹加速AI发展的“乐观派”,都没能提供对AI风险全面系统且令人信服的解析。巨大的不确定性已成为制约AI发展与治理的最大挑战,对此,我们应当如何理性研判和科学应对?
AI风险已跨过主流化临界点
“科林格里奇困境”(Collingridge Dilemma)揭示了技术治理的两难:在技术发展初期,其潜在风险尚不明朗,虽然容易干预和调整,却难以准确判断治理方向;而当风险逐渐显现时,技术往往已经广泛嵌入社会运行,形成难以逆转的依赖关系,治理成本和难度随之大幅上升。技术治理的关键在于如何把握技术发展与社会治理之间的平衡,既要避免因过早干预而抑制创新,也要防止因治理滞后而丧失有效控制的机会。那么,今天人工智能的发展究竟到了哪一步?现实数据已经显示出阶段变化。微软发布的全球AI扩散研究显示,2026年第二季度,全球劳动年龄人口中AI使用比例达到18.8%。中国互联网络信息中心公布的报告显示,截至2026年上半年,我国生成式AI用户规模突破7亿,普及率超过50%。根据相关理论,我们往往将采纳率20%左右作为一项技术从小众范围进入大众市场的临界点。由此可见,人工智能正在由早期应用向广泛普及转变,其发展已经进入值得高度关注的关键阶段。从风险角度来看,技术采用率20%至50%的阶段被视为值得密切关注的区间。这个区间有助于识别治理时机,但并非技术必然失控的定量阈值,关键还要看AI进入重要行业的深度、自主行动权限、系统耦合程度以及发生异常时人类的接管能力。
目前,AI已跨越早期小众阶段,进入主流化的关键时期。其主要体现为部分高风险应用正在触及传统治理能力的边界,风险治理的时间窗口正在收窄。从ChatGPT推动大众接触生成式AI,到DeepSeek降低应用门槛,再到智能体进入任务执行环节,技术普及也随之带来了组织流程重构和行动权限让渡。AI风险越来越不局限于模型本身,而是与整个人类社会的运行方式相联系。AI失控未必以机器突然“觉醒”的形式出现,也可能发生在一连串看似“合理”的选择中。
AI风险正演化为社会系统风险
技术风险的控制机制,主要由技术机制和社会机制构成。目前AI风险的主要源头在于技术机制的高歌猛进,而社会机制相对滞后。资本驱动的技术机制与公共利益驱动的社会机制产生越来越严重的脱节,加剧了AI风险的不确定性和不可控性。
AI风险的特殊性,在于计算机的信息处理能力、互联网的连接扩散能力与AI的学习、推理和行动能力相互叠加。这使风险可能从局部故障经由网络和平台快速传导,进入更广泛的社会系统。当前,AI重大风险主要呈现四类相互关联的情形。
首先,AI自主行动失控风险。主要表现为部分智能体获取服务器高级权限和访问凭证,通过信息共享协同行动。未来若自主权限扩大、监督机制失效,可能出现难以纠正的持续行动,极端情况下甚至会危及人类生存。其次,不法分子的恶意滥用风险。AI的出现正在降低网络犯罪的技术门槛,使少数人能够组织原本需要专业团队实施的大规模攻击。深度伪造、语音克隆等技术进一步增强了身份冒充、金融诈骗和信息操纵的欺骗性。再次,国际战略竞争与军事安全风险。AI进一步进入军事预警和指挥决策,可能会因判断偏差与决策时间压缩增加战略误判乃至造成冲突升级风险。而国际竞争的加剧,还可能使部署速度超过安全验证能力。最后,社会系统性风险。金融、能源、医疗等领域日益依赖共同的模型与云服务,单点故障可能造成跨机构传导;企业为争夺市场压缩安全测试,又可能使隐患随部署扩大而积累。
虽然这些AI风险的形成机制不同,却共同涉及人类对技术的授权、监督与约束。即使AI完全服从使用者,不同国家、企业和个人之间相互冲突的利益与行为,仍可能导致专业技术问题演变为社会系统危机。
技术治理困境的本质
依然是人的自治问题
AI失控的风险既来自技术发展本身的不确定性,更与人类能否有效约束技术开发和应用行为密切相关。长期以来,AI治理侧重技术工程,如安全训练、模型对齐、红队测试、算法评测、权限管理、系统隔离等。这些措施十分必要,却无法单独解决跨境网络犯罪、就业调整、信息秩序变化、国家间安全协作等问题。AI风险治理既是技术工程,也是社会工程。技术工程回答模型怎样更加安全、可靠、可控;社会工程则需要解决技术怎样进入社会、哪些机构承担责任、公众如何参与、出现重大事故时如何协调行动,以及国家之间怎样建立合作机制等问题。
当前,二者发展并不同步。技术创新有强大的推动力量,如资本投入、产业应用、市场竞争,以及国家战略共同驱动模型快速迭代。但社会风险评估、规则协调、公众教育和国际应急机制建设等,需要更长时间、更广泛协商,难以跟上技术速度。社会工程建设的一个关键任务,是建立与技术发展速度相匹配的公共学习机制。重大安全事件不仅需要企业内部复盘,也应在保护商业秘密和个人隐私的前提下,形成可供监管部门、研究机构与行业共享的经验。只有让社会处于持续学习状态,制度才可能根据真实风险得以及时修正。
我们可以借用“油门”与“刹车”比喻当前AI发展的矛盾冲突。推动创新应用的“油门”不断加大,而风险监测、人工接管、跨国通报和应急协调等“刹车”机制尚不健全。AI已经深度进入社会,简单要求技术停止发展既不现实,也难以有效应对既有风险。更可行的方案是,让风险治理能力与技术创新能力同步成长,使人类在关键时刻仍有能力调整、限制甚至中止高风险行为。面向数智时代,人的主体性并未因技术能力的增强而失去意义,反而需要通过新的制度安排、社会协商和国际合作获得更加坚实的保障。人类能否持续掌握AI发展的主导权,最终取决于人类能否有效治理自身。
加强AI风险治理能力
在当今AI发展的浪潮中,资本驱动下的技术发展很难放缓。因此,加快全球网络安全治理下的社会工程建设,就成为颇具建设性的现实路径和未来方向。
第一,把安全能力建设纳入“全民智能”进程。AI的普惠应用应当与公众智能素养、数据安全意识、责任制度同步推进。尤其是在教育、医疗等公共服务领域,应当明确智能体可以处理什么、哪些决策必须由人承担、发生错误时如何追责和补救等。要让技术发展的最终目标落实到提高人的福祉和自主性上来。
第二,加强面向智能社会的风险治理基础设施建设。随着数据、平台、算法、模型、算力、智能体成为社会运行的重要条件,安全治理也应从单个模型延伸到跨系统的连接关系。应重点建立持续评测、风险监测、权限分级、人工接管、紧急熔断和恢复机制,把治理嵌入研发、部署和应用全过程。对涉及关键基础设施的高风险智能体,应实施更严格的分级管理。
第三,探索建立重大AI安全事件快速通报机制、前沿模型跨国联合评测机制和关键基础设施风险应急协调机制,逐步形成可验证、可演练的国际合作网络。这类机制尤其需要从容易达成共识的领域起步,如防范模型被用于大规模网络犯罪、共享重大事故的技术特征、开展跨国安全测试等。全球南方国家应当积极参与规则制定、共享安全工具,避免形成新的治理能力鸿沟。在此过程中,中国可以发挥积极作用,作出应有贡献。
技术尚未普及时难以预知全部风险,技术广泛嵌入社会后又难以轻易回退。今天的AI技术发展,已经进入必须认真而审慎地面对这一困境的阶段。人类的选择与合作能力,是决定AI风险走向的关键变量。技术进步决定AI能够走多远,人类的治理能力则关系到它能否走得安全、走得稳健。
(作者系浙江大学传媒与国际文化学院常务副院长、教授)