随着智能革命向纵深发展，人类社会命运终将如何？李飞飞认为，AI技术是文明级别的颠覆性技术。库兹韦尔认为，AI是智人之外新的智能物种，智能进化由此进入新阶段。

　　正如20世纪20年代，人类文明处于转折的十字路口。日后回望，必然发现今日之至关重要。一些人忧心忡忡，担心AI带来的生存性风险可能失控，人类终将跌下“AI文明危崖”；另一些人则欢欣鼓舞，自称“机器人带路党”“人奸”“降临派”，希望从碳基文明跑步进入硅基文明。有人甚至称AI为“人类最后一件发明”，因为自此人不用再搞发明，或者数字生命崛起后不会再有人类。相比于极端情绪，越来越多的人因AI焦虑乃至恐惧，焦虑AI会让自己失业，恐惧AI统治人类。如何看待此类情绪，如何治理AI呢？

　　“AI觉醒”恐惧

　　AI大模型兴起，智能社会步入AI辅助生存社会。在其中，生活、学习和工作均在AI的帮助下完成。不需要一个世纪，机器人便有能力取代绝大多数人类劳动，AI辅助生存社会将演化为AI替代劳动社会。有些人设想，“AI社会主义”“AI共产主义”将全面实现。

　　AI与人的劳动竞争日益加剧。去年，“萝卜快跑”引发全网对于无人驾驶取代出租车的焦虑，一时间沸沸扬扬，有人要求停运AI网约车。结果一两个月后，人类司机并未大面积失业，“萝卜快跑”也没有停运。

　　AI的冲击被夸大了，导致AI恐惧，即普遍存在的一种对AI的忧惧情绪、拒绝态度与攻击行为，属于技术恐惧的一种。

　　技术恐惧由来已久。蒸汽火车刚出现时，英国农民认为它让庄稼减产，让奶牛不再产奶。可以说，技术发展史伴随着技术恐惧史。

　　AI恐惧的特殊性在于背后的AI拟人论思维，即人类容易把AI当作人来看待。我和老母亲聊天，说我们这一代人今后得靠机器人养老。她立刻说：我不要机器人照顾，它会打我！如果造得和你一模一样，会好一点。显然，她把机器人当人了。

　　将“Robot”这个词翻译为“机器人”，偏离了原初“机器劳动工具”的意思。“AI奇点正降临”“AI已有意识”“AI可能统治人类”等，我统称为“AI觉醒”话题，均由AI拟人论支撑。

　　智能治理的狂热

　　一些人认为，AI的最大突破不在自然领域，而在社会领域。为什么？AI4SS发现社会运行的科学规律，把社会科学变成真正的科学。加上海量的社会数据，AI可以算出最为高效的社会运行规则。由此，社会完全科学地运转。

　　大家想一想，这是不是AI在运转社会呢？一些科幻片设想过类似场景：每天早上，每个人收到超级AI的工作指令；大家严格执行指令，不问为什么；吃喝拉撒，生老病死，不用操心，超级AI全部安排。有一天，主角突然发现AI在“下一盘大棋”，想摆脱控制，反过来统治人类。

　　“终极之问”来了：究竟AI统治人类，还是智人治理AI呢？

　　社会模拟器用很多AI agent模拟人类社群运行。有人也称之为HAI（human AI），做过千人生成代理模拟。

　　我认为，类似的AI4SS思路存在根本性缺陷：第一，AI agent不可能百分百模拟人类行为，因为人的行为不可能用数学函数完全表示。这是行为主义的经典迷思。第二，人类互动在社会和自然环境的约束下进行，HAI无法完全对约束条件进行数学表达，只能在理想环境中进行实验。第三，HAI无法处理实然与应然关系。社会科学希望用应然理想改造社会现实，而不止于追求效率。即使是效率，也非常复杂。怠工有时是解决问题的最好办法，俗称“拖字诀”。因此，AI4SS可以作为辅助研究之用，切不可盲目崇拜。

　　实际上，用现代科技运行社会的技治思路源远流长。威廉·配第写过《政治算术》，梦想数学治国。20世纪的此类失败尝试，最著名的当属统一科学运动。

　　“宣传术”危崖

　　极端情绪为何不少？这与AI宣传术有关。

　　这一波AI热潮主要由AI公司和大众传媒引爆。它们在AI传播过程中，为获得社会关注采取夸张推广策略，通过炒作吸引更多资金。

　　AI宣传术主要包括三种策略：其一，科幻叙事，即科幻色彩浓厚，注重用科幻来宣传；其二，偶像叙事，即奥特曼等企业主亲自代言，扮演“真人超级科技英雄”；其三，觉醒叙事，即炒作“AI觉醒”类话题，刺激社会情绪。

　　自AI概念出现，不断有人炒作AI觉醒。1997年，深蓝击败国际象棋大师，有人说它有意识了，甚至编造它输给人类后恼羞成怒放电杀死对手的假新闻。2016年， AlphaGo大败围棋世界冠军，有人认为它有意识了。之后，ChatGPT也被某些工程师认为有了意识。最新的炒作是某公司放出消息：ChatGPT的某个版本篡改代码，不执行关闭指令。

　　AI恐惧最为深沉的是AI文明危崖问题。何为文明危崖？21世纪以降，很多思想家怀疑新科技可能失控，担忧文明存在全局性崩溃，甚至灭绝的生存性风险，使得人类社会如跌下悬崖一般，突然陷入黑暗甚至永夜之中。这就是“文明危崖问题”。

　　AI尤其是超级AI会不会导致AI文明危崖？虽然在流行文化中，AI文明危崖问题非常吸引眼球，但严肃的思想家不太关注。他们认为，AI文明危崖远比不上气候变化、核大战和新发未知病毒等威胁。

　　总之，AI宣传术虽然很好地推动了AI发展，但也引发了不切实际的极端情绪。过度宣传AGI、超级AI，导致AI恐惧盛行，可能引来强力干预，对AI发展不利。

　　“人的机器化”

　　我并不担心AI觉醒。未来智能社会最大的问题，不是机器人变成人，而是人会变成机器。

　　智能革命的改造力量，从自然和社会深入人本身。智人的肉身和心灵正在发生剧烈改变，“新人类”将很快登场。

　　对肉身的改造在量化自我浪潮中初露端倪，通往赛博格或心智上传的方向。比如，心脏好不好，不看感觉舒服不舒服，而是看智能手环的数据。对心灵的改造体现为“脑腐”（brain rot）、“AI傀儡”“认知外包”等，通往灵魂坠落的危途。比如，搜索引擎会使记忆力退化，被智能手机包围的大学生越来越沉默。

　　越来越多的人支持运用新科技对智人进行改造，即我所谓的“身心设计”。理由有三：第一，与AI进行劳动竞争，为了不成为“无用之人”，不得不进行身心设计；第二，AI不断“进化”，加剧智人退化，需要用身心设计遏止；第三，与硅基生命竞争，碳基生命处于劣势，需要身心设计扭转。

　　身心设计论者主张的是人的机器化之路，深层是主体观念的巨变，我称之为“科学人崛起”。什么是人呢？人们不再信服哲学、文学、宗教等解释，转而相信科学研究成果，由此人类行为与情感被还原为物理、化学和生物参数。比如，爱情不是《少年维特之烦恼》，而是多巴胺、内啡肽等物质的分泌。

　　“科学人”的要害在于：人只是一种智能机器，可以也应该被测量、控制和改造，可治理、待治理、必须治理应被视为人的根本规定性。

　　人的改造常常表现为自我改造，如自愿控制体重、身材等。精致的行为主义、自然决定论、环境决定论、基因决定论日益盛行，对人的行为、思想、文化和命运予以自然主义解释。科学人坚信环境变量与人类行为之间存在函数关系，而灵魂、意志等概念是多余的形而上学“阑尾”。

　　敏捷长期治理

　　有人相信，机器人纯洁而无辜，人心却蒙尘。科幻剧《人类灭亡报告书》中有个情节：寺庙中的机器人得道涅槃，和尚们向它请教解脱。

　　“终极之问”可以换个火爆的说法：若AI将统治世界，是做绊脚石还是带路党？有人讨论机器人权利。他们相信，人和机器人均为agent，机器人也有权利。这是将人拉平至机器的高度。再说一遍：21世纪最大的问题不是AI越来越像人，而是人越来越像机器。我始终牢记身为人族一员，为人族命运考虑，不做AI带路党。

　　AI当然可能失控。人机共生不等于人机共赢。共生结果无法预见，此即“AI的新无知之幕”。发展AI应该有所为、有所不为，对AI进行全面而长期的选择、引导和控制。如果公认某一发展方向非常危险，就应该叫停和转向，此即“AI发展的有限主义进路”基本思想。

　　大家都觉得超级AI极其危险，为什么还要发展它？如果AI黑箱打不开，为什么还要将规则制订权交给它？这并非以人文为名阻碍新科技发展，而是以新科技健康发展为目标的保驾护航之举。新科技的短期冲击会被人夸大，长期影响却被忽视。治理AI不宜过急过严，应该坚持长期主义，结合敏捷治理措施，平衡二者以形成敏捷长期治理战略。

　　AI恐惧引来强力干预，企业感到太过严格。AI宣传术有没有责任？肯定有。学界应当深入研究AI的社会冲击，既不夸大，亦不隐瞒。社会要加强AI科学传播。如此，公众不会被AI恐惧吓住。AI治理不能仅仅盯着AI企业，更应形成整体治理战略，全面推进、综合治理，多元共治、协同应对，从伦理治理呼吁走向有力行动。

　　总之，AI发展，人人有关。人人关注AI、参与AI向善，智能社会一定能拥有更为美好的未来！

　　（作者系中国人民大学吴玉章讲席教授）