“奇点”将至，人工智能时代潜藏哪些风险

　　从手机扫码支付、智能穿戴设备，到人脸识别的无人店、人工智能机器人，互联网的应用日新月异，深刻改变着我们每一个人的工作和生活。但是，如果有黑客瞄上了你的设备，盗取信息，为所欲为，那你的生活还能安全吗？不仅是个人，网络安全已经成为国家、社会、经济安全的重要屏障。

　　震惊！白帽黑客分分钟攻破科技漏洞

　　在GeekPwn2017国际安全极客大赛上，白帽黑客们上演了一场与现代科技的巅峰对决，攻击对象包括当下最火的人脸识别，以及声纹识别、使用银行卡在智能POS机消费等场景，令人惊叹的项目破解秀，揭露了网络空间存在的安全问题。

　　——不靠整容、不换照片，2分半钟破解人脸识别门禁系统。

　　半月谈记者在现场看到，评委在一台人脸识别门禁系统中录入自己的脸，只有这张脸才能打开门禁。然而，毕业于浙江大学计算机专业的90后女选手“tyy” 仅用时两分半钟就破解了门禁系统。

　　tyy解释说，人脸识别系统并不是万无一失。她通过wifi进入门禁系统，利用系统漏洞直接获取控制权限、修改人脸信息，把设备中存储的评委人脸换成了自己的脸。这也意味着可以用任意人脸来“蒙骗”人脸识别系统，打开门禁。

　　——“芝麻开门”变成“西瓜开门”，你的声音并非“唯一”。

　　数字信息化的发展，声纹识别逐渐成为未来生物识别的主流，而声纹鉴定已成为刑事司法中的有效证据。但化身语音合成“机械师”，共同向声纹验证系统发起挑战的选手们表示，针对声纹识别的攻击已经成为新的安全威胁。

　　本次比赛的声音样本，由游戏《王者荣耀》里的人物“妲己”的配音者提供。根据比赛规则，各位选手先学习了“妲己”声音样本的声纹特征，合成语音音频，然后对若干语音验证系统发起攻击。结果是，五组选手成功实现了对语音验证系统的突破，“欺骗”了目标系统，使其无法做出正确的判断。

　　“AI仿声验声攻防赛”主评委郑方表示，就目前生物特征识别技术的发展来看，声纹本身因语音信号所含信息量的丰富性，是最安全的。然而，目前市面上所见的一些带声纹识别功能的智能语音产品，普遍对安全性考虑不够，没有防攻击技术支撑，这是被攻陷的主要原因。

　　——明明手捂着输密码，银行卡里的钱却“不翼而飞”。

　　与黑白屏的传统POS机不同，现在很多商家开始采用多合一的彩屏智能POS机收单。但智能产品带来了丰富功能，也产生了许多问题。

　　评委在现场拿了一张银行卡，把账号和密码写在一个白板上，反扣在不透明的桌子上。一名选手假装成顾客使用智能POS机，另一名选手则在电脑上进行操作，两人相互配合，利用后门开启设备数据线调试接口及管理权限控制了这台POS机。

　　当评委拿着准备好的银行卡刷卡消费时，选手就轻松获取了在POS机上的刷卡信息，相当于盗取了这张银行卡的卡号和密码。选手不仅在现场写出了跟评委在白板上所写的一模一样的数字，还复制出一张新卡，并在一个没有被“做过手脚”的POS机上，成功打出了消费单子。

　　除了上述项目，攻破赛中还上演了“机器人学会了握笔写字，但TA能够代替你签名吗”“我请全国人民看电影的梦想，能够实现吗”“有人在我车外贴了个东西，汽车就失控了”……

　　GeekPwn大赛发起和创办人、KEEN公司CEO王琦表示，比赛所呈现的漏洞，不是想造成公众恐慌，而是希望得到厂商和更多人的重视。尤其是一提到人工智能，大家总是担心机器人可能代替人类工作，其实对技术人员来说，更关心的是它会不会“学坏”。未来机器出了问题后再去修复可能比今天补漏洞要困难很多。因此，比赛鼓励全球顶尖AI相关领域的安全研究团队积极参与，提前预演人工智能领域可能存在的安全威胁并协助厂商修复，促进人工智能健康发展。

　　新科技应用层出不穷，要便利还是要安全

　　只需扫一眼屏幕，苹果最新款手机的原深感摄像头就能瞬间识别主人，解锁设备乃至完成支付；在刚刚开业的苏宁首家无人店，消费者只需下载苏宁金融APP，通过面部识别进行“绑脸”，即可“刷脸”进入店内，购买商品后无需排队付款，直接通过付款闸道，“Biu”地一下就能完成购物……

　　全球IT研究顾问与咨询公司Gartner预测，不管是软件还是硬件，到2020年30%的新开发项目里面会含有人工智能元素，而今天大概不到5%。

　　可以预见，未来人们的生活将与新兴科技息息相关，与此同时，也可能面临更多网络攻击。

　　以人脸识别为例，360公司安全技术人员表示，技术的隐患主要在活体认证部分，无特殊硬件支持的传统手机端的支付存在更多安全隐患。新的苹果手机基于深度摄像头，在活体认证部分性能有了极大提升，但依然有利用假面具对其破解的报道见诸报端。

　　上海市信息安全行业协会会长、众人科技董事长谈剑峰说：“每一种新技术都可能意味着新的个人权利让渡。比如从指纹解锁到人脸识别，手机厂商可能从收集用户指纹到收集用户脸部特征数据。生物特征是唯一特征，但这反而可能是不安全的。密码丢失后可以设置一个新的，但有大量生物特征信息的服务器一旦受到攻击，数据库被拿走，你不可能再有第二张脸。”谈剑峰表示，“鉴于目前还没有完全保险的方式来保证生物数据的安全，减少攻击面就变得非常重要，也就是说尽量少用生物数据，或仅仅将生物数据用在不太敏感的场合，不建议用于关键场合的身份认证、转账交易等。”

　　自动驾驶已是各大科技公司的兵家必争之地。然而跟手握方向盘的可操控相比，无人驾驶的潜在风险仍然令人担忧。

　　360公司安全技术人员表示，人工智能新型技术带来的安全潜在风险是多方位的：传感器风险，不法分子可能通过干扰让传感器失效，或者误导传感器，比如误导摄像头将车跑出路面；代码风险，人工智能算法的代码如果设计不周，可能让黑客有机会篡改实时代码，让结果出现偏差；产品风险，黑客可能远程挟持智能硬件或者植入恶意代码，可能对周围的人带来伤害。

　　加州大学伯克利分校计算机系教授宋晓冬说，她和同事研究发现，在实施一些技术干扰后，计算机在进行深度学习时容易被欺骗，比如一个“禁止停车”标志，可能被计算机解读为“限速”标志。

　　而对于人工智能用于医疗设备的安全问题，过去多年一直没有引起重视，2016年度美国食品药品监督管理局颁发的指南里开始提及。

　　显然，不能等到出现严重事件后才敲响警钟，之前等安全事件出现后再面对问题的教训已经够多，未雨绸缪才是正确选择。

　　没有网络安全就没有国家安全，而建设网络强国是一个长期的系统工程。

　　关于网络安全怎么保障，中国工程院院士沈昌祥建议用可信计算筑牢网络安全防线。“没有免疫系统的孩子只能生活在无菌状态，给计算机系统杀病毒、建防火墙，都是被动的，不解决根本问题，也是过时的。我们应该主动进行安全防护。”

　　据沈昌祥介绍，可信计算，是一种运算和防护并存的主动免疫的新计算模式，以密码为基因，实施身份识别、状态度量、保密存储等功能。及时识别“自己”和“非己”成分，从而破坏与排斥进入机体的有害物质，相当于为计算机信息系统培育了免疫能力。

　　另外，中国工程院院士倪光南表示，由于目前我国大部分计算机所使用的操作系统等核心技术都不是自己研发的，所以在攻击面前往往会处于被动状态。比如勒索病毒，我们经常是在发现攻击之后才知道，而且发现了漏洞也得等别人给打补丁。未来要实现网络强国，就必须把核心技术特别是操作系统这类核心技术掌握在自己手里，使用自己的研发成果。

　　“奇点”加速驶近，人类如何安放自我

　　阿法元(AlphaGoZero)通过自我学习三天后就以100:0碾压人类眼中神一样的棋手阿法狗(AlphaGO)；谷歌和微软宣布正在研究用AI开发AI，特定任务AI甚至超越人类AI专家；基因编辑技术和纳米机器人或将帮助人类活到150岁……种种迹象表明，未来学家和科幻小说中那个神秘的“奇点”正在到来。

　　黑科技带领人类进入激动人心的崭新时空，同时也给人类带来恐慌：人会被机器取代吗？机器会统治人类吗？或者，最让人不安的就是人类自己？他们可能窃取他人隐私，攻击自动驾驶，劫持智能硬件，甚至成为利用基因技术制造“怪兽”的科学怪人？

　　迷人又危险的“奇点”加速驶近，人类该如何安放自我？

　　在科幻电影《我，机器人》中，机器人最终发展出高级智慧和独立思考，并试图控制、拘禁人类，进而成为人类的“机械公敌”。虽然当前人工智能技术离此尚远，但其可能带来的大规模失业，以及可能被用于网络及城市公共设施攻击的潜在威胁，已不是天方夜谭。相比于生物技术、核技术，目前人工智能领域受到的监管和规范很少，几乎处于空白，也容易忽略规划网络空间安全的整体战略布局。

　　作为负责任大国和在人工智能技术领域发展较快的国家，我国已率先开启了人工智能“社会治理”的探索实践。

　　今年4月，由工信部倡导，国内多家企业联合发布了《人工智能深圳宣言》，除了强调源头技术创新、建立技术标准外，也提出积极探讨人工智能技术发展与伦理道德的平衡点，让人工智能更好地服务于人类。7月，国务院颁布了《新一代人工智能发展规划》，明确提出“建立人工智能法律法规、伦理规范和政策体系，形成人工智能安全评估和管控能力”。

　　在谈剑峰看来，在人工智能时代，点点滴滴的个人隐私汇集起来就是国家信息安全。对于企业通过产品终端收集用户数据，如何采集、存储、传输、使用和销毁，亟待立法予以规范。

　　西安电子科技大学网络与信息安全学院教授、中央网信办网络安全人才培养基地副主任杨超认为，当一个国家很多人的信息被掌握在企业尤其是外资企业手里，这确实是个令人担心的问题。大量公民的面部特征、身份信息、健康状况、年龄特征、流动特点等数据，从中可以分析出很多重要信息。这些都应该属于我们国家的关键基础数据，其重要性等同于国家基础设施，可以说属于战略资源。

　　事实上，让法律长出牙齿，是捍卫个人隐私乃至公共安全的护城河。我国网络安全法明确规定，网络运营者收集、使用个人信息，应当遵循合法、正当、必要的原则，并经被收集者同意；网络运营者不得收集与其提供的服务无关的个人信息，不得违反法律、行政法规的规定和双方的约定收集、使用个人信息。但在实际生活中，网络巨头屡屡过界甚至明显违规，但鲜有被追责，消费者维权极为艰难。

　　对于普通人来说，也需要筑起个人安全的护城河。

　　正如王琦所说：“不管是厂商还是消费者，都不要出于赶时髦或者追捧概念去使用一些尚未成熟的技术。”(半月谈记者 姚玉洁 龚雯 马晓澄)

　　必须直面新技术带来的新挑战

　　姚玉洁 龚雯 马晓澄

　　大概没有人会否认，我们正处于人类历史上科技变革最为迅猛的时期。

　　在科幻电影中，人类险被自己所创造的文明所战胜，已不是一个新鲜题材。而去年，当代表人工智能尖端水平的阿法狗战胜李世石时，人们恍然觉悟，曾经的科幻已经不再是遥不可及的虚幻。连我们这个时代最顶尖科学家之一的霍金，也不禁担忧人工智能会带来人类文明的终结。

　　人工智能只是我们身处的这个科技大变革时代的缩影，颠覆性、突破性技术层出不穷，人类正处于新一轮科技革命爆发的前夜。

　　任何技术都是一把双刃剑。在我们准备拥抱新技术带来的便利时，一种不安的情绪也开始弥漫。正如本世纪以来很多新技术给人类社会带来前所未有的挑战一样，这些代表21世纪的新兴科技，同样浮现出诸多隐忧。

　　互联网企业大量客户数据遭泄露，人脸识别被黑客欺骗和攻破，人工智能被运用于新型的网络攻击，这都提示人们网络安全的重要性。生物医药科技的发展，一方面让人类越来越具有“上帝”般改造生物的能力，另一方面也给人类带来前所未有的伦理困境。

　　既然可以基因编辑，可否制造完美婴儿？既然可以天赋基因检测，是否可以提前设定孩子的人生？既然可以合成生物，是否可能被用于制造超级病菌？数千万乃至上亿年形成的生态平衡，会否就此被打破，带来难以预料的生物危机？

　　很多技术都是在攻防之间不断演进。人类不可能因科技的潜在负面影响而停滞不前，唯一出路是在科技进步中逐步解决风险。面对人工智能，即使是一直宣扬威胁论的“钢铁侠”马斯克，应对之策也是成立一家研究脑机接口的公司，以便让人类拥有对抗人工智能的能力。

　　对于政府而言，需要做的是鼓励科学家继续在前沿大胆探索，密切跟踪颠覆性技术最新进展，组织科学家及时研判其中隐含的技术风险。与此同时，鼓励科学家与国际同行加强伦理讨论，完善学术规范和监管框架。在人类和技术这对关系中，要牢牢占据主动权，把人类未来命运的钥匙握在手中。