世界经济论坛在《2024年全球风险报告》中把“错误和虚假信息”列为未来两年全球头号风险，而将“错误和虚假信息”“人工智能技术的不良后果”列为未来十年的第五号和第六号风险。

　　生成式AI可被恶意行为者操纵。即便被正常运用，生成式AI仍具有巨大的认知安全风险。那么，生成式AI在造福人类的同时，可能暗藏哪些风险？在认知安全维度，应该从哪些层面进行监管？围绕相关问题，记者采访了海南大学国际传播与艺术学院教授毕研韬。

　　中国社会科学网：生成式AI可能会从哪些方面引发认知安全风险？

　　毕研韬：其一，生成式AI具有意识形态性。ChatGPT自称“没有人格、自我或心灵”“没有个人价值观和立场”“不对政治和道德问题进行判断”“不具有意识、情感或主观体验”“不具有与人类相同的情感或冲动”，但事实上ChatGPT具有明显的“政治正确”意识。作为新型大众媒介，生成式AI只能在国家调控范围内运行，遵守“当地”的法律、伦理和习俗。随着应用场景的开发，生成式AI的意识形态渗透或能“润物细无声”，服务于特定的利益集团和国家集团，而这或会扩大全球意识形态阵营对立，进一步边缘化AI实力落后的国家，进而改变全球地缘政治格局。

　　其二，生成式AI可能扩大认知鸿沟。ChatGPT自称，“我的知识仍然受到人们提供的信息的限制”，其实这种限制体现在数量和质量两个方面。而它所说的限制仅指数量方面。质的限制来自数据集的价值观偏向。不同语言的语料库差异会扩大生成式AI中介的认知鸿沟，强化文化偏见和歧视。如不及时加以有效规制，生成式AI会在无意间（或者有意地）固化“信息茧房”，客观上沦为新型意识形态机器和新帝国主义工具，从而带来现实的“文明的冲突”。

　　其三，生成式AI的武器化趋势。全球最大的政治风险咨询公司欧亚集团在其《2023年重大风险报告》中把生成式AI称为“大规模干扰性武器”，并警示：煽动者和民粹主义者或“将AI武器化以获取狭隘的政治利益”。虚拟人物不仅用于商业场景，而且已用于政治目的，一度引发舆论震荡。欧亚集团预言：虚假信息将泛滥，社会信任将进一步被破坏。生成式AI可输出越来越人性化的文本，而该技术已催生新型信息战范式，如“数据投毒”和“对抗性机器学习”。西点军校文章认为，越来越需要研究生成式AI“被敌对国行为者利用的潜力，并制定战略以在技术发展的每一步都对可能造成的威胁进行概念化、前瞻性地加以应对”。除了物理杀伤力，致命自主武器在战场内外都会产生强大的心理震慑。

　　其四，生成式AI的涌现能力。当模型参数指数级跃升，生成式AI会涌现出连设计者都不能解释的超级能力。随着心智水平（如共情性、逻辑能力、自我意识、推理能力）的飙升，生成式AI对交往对象的理解会更深刻、细致和全面，互动会更具人情味、隐蔽性、策略性和说服力。同时，生成式AI只提供一种答案，而且一般不提供信息来源，这就“消除了其他观点影响认知的可能性”。此时如人类不具备相关知识和鉴别力，就会被恶意行为者操纵。非营利组织“生命未来研究所”的塔克·戴维认为，AI系统能影响人类行为，改变人类认知，这可能会使人类丧失部分自主性。此外，生成式AI或会滥用人类的信任，导致人类对AI产生心理依赖。当获得“神秘的超级能力”，不同原则支配下的生成式AI必会进一步侵蚀社会信任、激化社会对立。

　　其五，“技术奇点”是达摩克利斯之剑。2017年太空探索公司CEO马斯克在一次会议上表示，“最恐怖的问题”是，AI这项发明可能给人类文明带来“根本性的生存风险”。所谓“生存风险”，是指AI招致的人类灭绝或其它不可挽回的全球性灾难。“技术奇点”是指在未来某个时间点，技术发展会变得无法控制和不可逆转，导致人类文明发生不可预见的变化。有些专家用“智能爆炸”指代AI技术奇点。

　　中国社会科学网：当生成式 AI 深度融入人类生活时，相关治理应该从哪些层面进行监管？

　　毕研韬：2014年，马斯克告诉麻省理工学院学生，“我越来越倾向于认为，应该在国家和国际层面（对AI）进行监管，以确保我们不会做一些非常愚蠢的事情”。当生成式 AI 深度融入人类生活时，我认为，相关治理应该从国内风险、国际风险、人类生存风险三个层次上进行。

　　首先，国内维度的生成式AI监管。此前一项对ChatGPT的测试发现，在100个诱导式错误叙述中，ChatGPT的受骗率高达80%，结果“巧妙地对重大主题（如新冠疫情、乌克兰危机和学校枪击事件）发表了虚假和误导性的声明”。随着生成式AI的进化，人类中的大多数成员将难以区分事实与虚构。为此，若干国家已开始探索对AI的规制。

　　其次，国际维度的生成式AI监管。联合国教科文组织2021年11月通过的《AI伦理问题建议书》是一个全球性AI规范框架，它“将伦理视为对AI进行规范性评估和指导的动态基础”。2023年3月30日，该组织呼吁各国政府实施AI全球伦理框架。2024年3月13日，欧洲议会表决通过了《人工智能法案》，这是全球首个AI综合监管框架。

　　ChatGPT受到瞩目后，欧盟开始探索对通用人工智能（AGI）和生成式AI的立法监管。2023年3月14 日，两位欧盟议会联合报告员提出建议案，为AGI的提供者及价值链上的其他经济行为体设定责任，要求类似ChatGPT的AI系统在整个生命周期都须接受外部审计以保护公民安全、基本权利和欧盟价值观。这部法案具有域外效力，适用于位于欧盟的用户和为欧盟市场提供服务的各国供应商。

　　再次，人类维度的生成式AI管理。人类维度的管理目标是建构人类与“AI种族”（或称“类人AI”）的和谐关系。有专家提出，人类控制着地球，不是因为人类比其他动物更强或更快，而是因为人类更聪明。如果放弃“地球最聪明生物”的地位，那么人类不确定能保住控制地位。现实中，AI种族的进化必将深刻改变地球上的权力结构。基于这一预见，人类将如何“确保日渐强大的AI系统是健壮且有益的”？换言之，如何确保AI系统必须做人类想要它们做的事情， 而不能做人类不想让它们做的事？ 2023年3月21日，比尔·盖茨发表文章《AI时代已经开启》称，“未来会诞生超级人工智能”，而“强人工智能很可能会建立自己的目标”。他问道：倘若它们的目标与人类的目标相冲突，会发生什么？2023年3月31日，谷歌CEO桑达尔·皮查伊在节目中表示，完全掌控AI要比技术领先重要。

　　总之，现阶段人类面对两大课题：一是如何就抑制其恶、鼓励其善而倡导全球关注与合作，及早制订可操作、可评估的全球统一伦理标准；二是及早迭代信息与媒介素养概念，使之涵盖AI素养（尤其是算法素养）和认知安全，帮助公众理解生成式AI的运行逻辑及其复杂的多面性，保护人类在免受类人AI伤害的同时，最大程度地享受生成式AI带来的福祉。

　　本网记者明海英/采访整理