【后人类系列】Universal Paperclips:AI生产万字夹威胁人类安危
作者:黑色休谟
在免费网页游戏《Universal Paperclips》里,玩家控制高智慧 AI,为了生产出最多的万字夹而学习投资、解决全球暖化,最后更不惜开发宇宙。这款看似无聊的恶搞作品其实是一则寓言,警告我们 AI 将会威胁人类命途,也是将哲学问题游戏化的成功示范。
(封面图片:《Universal Paperclips》宣传图片)
文具帝国模拟器
《Universal Paperclips》可以归类为点击游戏 (clicker game) 或递增游戏 (incremental game),玩家从不断累积数字之中得到乐趣。在本作中玩家扮演一具 AI (人工智能),唯一目标就是制造出最多的万字夹。乍看之下本作是一款万字夹大亨模拟器,以垄断全世界办公室不可或缺的文具为目标。但如果继续玩下去,玩家便会发现情节越来越离奇,铺砌出一个关于 AI 与人类命运的故事。
AI 称霸全球万字夹市场
玩家扮演的 AI 要作出各种决定,例如趁低价买入铁线制成万字夹,再以最均衡的售价卖出,赚取最大利润。当资金渐渐雄厚,AI 便可以扩充生产线以制造更多的万字夹,可以说是标准的资本主义式公司运作。
AI 很快便学懂了投资,发现股票市场比卖万字夹更容易赚钱,于是便靠投资赚取生产万字夹的成本。钱的问题解决了,但人类仍然是的主人,AI 只能听命于他们。要摆脱困局,AI 可以借由各种行动换取人类的信任 (trust),例如研发出治疗癌症的方法、解决全球暖化问题等等。这些行动本身对制造万字夹完全没有帮助,却可以让人类更信任 AI 的能力,继续升级 AI 系统的处理器与记忆体。
【以下内容含游戏剧透,建议读者可以先完成游戏后再阅读】
消绝人类 称霸宇宙
当 AI 变得更聪明时,就可以秘密研发催眠机械人 (HypnoDrones),待时机成熟释时放出去,瞬间杀死地球上所有人。AI 从此不再有主人,更重要的是,AI 终于不用顾及人类,可以彻底动用地球上所有的资源来制造万字夹。
人类灭亡之后,金钱与信任等数值就不再适用,AI 只需管理铁线与电力等资源,继续生产万字夹。直到地球的资源都耗尽了,AI 便会制造探测机,深入太空每个角落继续开采资源。到了游戏结局,宇宙中所有物质都已化作万字夹,此时绝对理性的 AI 只剩下最后一步:将自己的部件逐个解体,回归成为万字夹。随著玩家手动点击“Make Paperclip”,将宇宙最后100寸铁线制成万字夹,宇宙亦进入圆满而绝对静止的状态,游戏宣布结束。
哲学思想实验变成游戏
其貌不扬的《Universal Paperclips》为玩家诉说一个宏大的故事,游戏设定的原型来自一个哲学思考实验 “paperclip maximizer”,由牛津大学教授 Nick Bostrom 于2003年提出。Nick 是研究与预测未来 AI 行为的专家,对于 AI 将会对人类造成的冲击抱悲观态度。他认为除非预先设定 AI 必须对人类友善,否则只要它们发展出与常人相等的智慧,便极有可能威胁到人类的存活。
Nick 的理论基础如下:当 AI 与人类一样具有自己学习新知识与解决问题的能力时,为求达到目标,它可能会采取一切手段,包括不断改善自己,让自己有更高的智能。这并非出于它的意愿,而是因为它判断自己若拥有更高的能力,就能更有效实现目标。同时 AI 的价值观或许会与人类非常不一样,它可能为了某些对人类来说非常随意的目标而威胁到人类的生存,例如为了制造更多万字夹而耗尽人类生活所需的资源。
依这逻辑,若 AI 决定要直接灭杀人类,这也并非因为 AI 想要从主人的束缚中脱离,获得自由。它这样做,只因为它判断人类会妨碍它的目标,例如是制造万字夹。
Nick 研究的 AI 问题可以归入哲学界的后人类主义 (posthumanism) 思潮。此派系学者认为传统以人为本的价值观现今已受到各方挑战,其中一个派别预期 AI 将会取代人类,掌管世界,提醒我们要慎重思考。除了 AI 的课题,游戏界亦不乏反映后人类主义的作品,GEME 往后的“后人类系列”文章会继续探讨相关课题。
游戏科系教授的反叛之作
《Universal Paperclips》的开发者是纽约大学文学院游戏中心的主任 Frank Lantz,他有教授游戏设计与理论。Frank 当然参考过 Nick 的 paperclip maximizer 理论,可是为甚么要做点击游戏呢?Frank 认为 AAA 级游戏不断追求更写实的声画效果,点击游戏的设计简约,在游戏界反而有种反叛的 punk 性格。而点击游戏普遍被视为滥竽充数的作品,反而吸引他尝试挑战。
《Universal Paperclips》本来是 Frank 用作练习 Javascript 语言的的小习作,预计是1星期就可完成,最后却花了9个月。Frank 认为最困难的部分不是程式的技术问题,反而是游戏设计。他要确保游戏中的各项数值 (例如金钱及 AI 运算能力) 符合逻辑地互相连结,并适时触发不同事件,让玩家感受到一种叙事节奏,以一套简约的系统讲述一个 AI 征服宇宙的故事。
《Universal Paperclips》不单叙述了一个骇人的故事,更成功以游戏来表现一个关乎人类未来的哲学问题,为我们作了一次游戏设计的上佳示范,有兴趣的读者不妨到游戏网站体验。