从科幻作品到现实：欧盟AI新规如何严防成为监控国家？

经过长达36小时的闭门谈判，欧盟本月就全球首部详细的AI监管法案达成临时协议，从利用人工智能进行的社会评分系统、到人脸识别等基于人类生物特征的追踪系统，再到教室和职场的情绪解码，这些被视为高风险的应用遭到明确禁止。

从这些尚待进一步阐明的AI规则说明中，不难发现来自近现代科幻作品的警示——监控国家、警察社会与私隐权的丧失——防止那些令人恐惧的想像不会在有朝一日成为现实，成了欧盟立法者划定的底线。

欧盟委员会副主席尧罗娃（Vera Jourova）在欧盟会后的一篇文章写道： “20世纪中叶，艾西莫夫（Isaac Asimov）跨时代的预测了人工智能在我们的生活中所扮演的强大角色。他在书中设想了一系列能够确保机械人不会伤害人类、而是服从人类的法则。”

尧罗娃谈及的美国作家艾西莫夫（Isaac Asimov）被视为“科幻三巨头”，他的小说启发了经典电影《星球大战》，更订立“机械人三定律”：机械人不得伤害人类，或坐视人类受到伤害；机械人必须服从人类的命令；在不违反前两个定律的前提下，机械人必须保护自己

欧盟版“机械人五定律”

目前，欧盟仅就这份《人工智能法案》发布了协议要点，当中列明一系列将遭到禁止的人工智能系统：

- 使用敏感特征（如政治、宗教、哲学信仰、性取向、种族）的生物识别分类系统（例如，执法部门一般用于识别嫌疑人和追踪个人的面部识别技术、企业根据面部识别AI程式筛选求职者等）

- 无针对性的从互联网或闭路电视录像中截取面部图像，创建面部识别数据库

- 应用于工作和教育场所中的情绪识别系统

- 基于个人的特征或社会行为的社会评分/信用系统

- 操纵人的行为、使人做出有违个人意志行动的系统

- 剥削利用弱势群体的系统

显然，这些措施对政府、企业和教育机构等对个人私隐、自由造成的侵犯做出了严格限制。在针对ChatGPT、Google Bard这类大型语言模型制定规则以前，商场、火车站、学校等各个公共场所安装的CCTV、甚至我们的电脑镜头、追踪系统甚至犯罪活动的分析预防成为法案的重点。

英国商店上演《黑镜》情节？

想像一下，某天你刚走进一间商场购物的刻，坐在楼上办公室的商场负责人便可透过监控摄像捕捉你的脸而收到了通知——两周前，你在另一间店偷了一个100多元的玩具被抓。在毫不知情的情况下，你的照片已经被上传到一个商店窃贼监视名单，一旦你再次踏足该商店，不管你是真的来购物还是偷东西，你的行踪都会被报告给商店工作人员。

这是今年7月18日，发生在英国伦敦一位70多岁老妇身上的真实事件。这位老妇在偷了一个价值15英镑（约149港元）的玩具给孙女后被列入监视名单，成为许多零售店的监视对象。

英国《卫报》近期的一篇报道披露，英国内政部暗中支持一家名为Facewatch的企业为零售商店提供面部识别系统，监控潜在的盗窃者，以此应对在生活成本危机之下英国社会上激增的偷窃活动。

包括这位老妇到访的Ruxley Manor园艺店在内，今年有数百家英国零售商店选择不再依赖警察、而是采用这种面部识技术来防盗贼。Ruxley Manor在店内安装了四台Facewatch摄像头，读取购物者的面部生物信息，与数据库中被标记的潜在犯进行核对。

根据Ruxley Manor的老板及其他零售商的说法，报警并等待警察处理窃案的效率往往很低，而且很多时候都没有得到警方的受理。对于政府暗中游说零售商采用这些监控系统，内政部发言人则回应称：“面部识别可以帮助企业积极管理商店盗窃和犯罪活动，从而保护顾客、员工和存货。”

以国家安全之名

若非这些在真实存在的地点、人物和商店名称，可能很难想像这是现实中的事件、而非科幻剧集《黑镜》当中的情节。事实上，《黑镜》第三季剧集《全网公敌》（Hated in the Nation）便讲述了英国政府的类似情节。面对质问，剧中的官员以保护公共安全、监测可疑人员及避免大规模袭击为由辩解，正如现实中安保和执法部门在机场、海关部署监控系统时所给出的理由一样。

在欧洲，2015年以来的难民潮、对恐怖袭击的忧虑均推动了这些技术的开发和运用，并为当局部署这些系统提供了合法性。据《卫报》报道，截至2020年，欧盟将17亿欧元资金投入有争议性的安保技术领域，并将在此后7年继续投入至少13亿资金。在人工智能领域走在欧洲前沿的法国，则在今年通过了一项法律，允许在即将召开的奥运会和残奥会上运用自动监控系统。

然而，许多大规模监控系统的运作并不为人所知。今年，欧洲议会的议员们就《人工智能法案》究竟如何限制面部识别系统争执不下时，人工智能产业的代表以国家安全为由，拒绝向议员们透露这些系统的运作模式，只表示这些系统确实在运作。

禁止私人机构监控、社会评分

从现实的角度考虑，在机场、火车站、大型活动现场等场所，没有比人工智能更有效的排除恐怖袭击等威胁的手段。但确保公众安全这一理由，究竟能否为所有执法机构甚至私人机构的监控行为“开绿灯”，公众安全和个人私隐如何定界线？

在此之前的草案当中，生物识别分类系统、边境移民管控等应用，私营企业只要在使用时告知这些应用所针对的群体、并向公众公开算法的决策方式，就可以使用。也就是说，Ruxley Manor园艺店的做法便是合法的。但经过数月的争论后，欧洲立法者在本月的协议给出了一个大致的框架。

根据协议要点，实时面部识别只有执法部门有权使用，而且只有在搜查绑架、贩运、性剥削案件的受害者、防止具体和现实的恐怖主义威胁、或搜查特定严重罪行的嫌犯时可以使用——包括恐怖主义、非法贩运、谋杀、绑架、强奸、武装抢劫、参与犯罪组织等，偷盗、藏毒和吸毒等都不在其列。这就意味着，至少英国商铺使用的Facewatch监控系统的行为在欧盟的领地上将被禁止。

而针对实时面部识别、社会评分系统的禁令，此前的草案也只针对政府实施，因此，银行或借贷服务机构仍然能够使用像Lenddo、ZestFinance等公司开发的人工智能系统，通过分析智能手机数据、浏览记录、支付记录等对个人进行借贷信用评分。

目前，来自欧盟各国的专家仍在就临时协议敲定具体细节，明确政府如何在生物识别监控中使用人工智能的法律依据、基础模型带来的版权问题以及如何监管 ChatGPT 等主要人工智能系统将被提上议事日程。但在欧盟制定的这份“机械人定律”中，政府、企业和教育机构等借用人工智能，对个人私隐、自由造成的侵犯，成为防止人工智能伤害人类的关键。