冷眼观

    近日，腾讯安全平台部Blade团队对外发布消息称，该团队在对谷歌人工智能学习系统TensorFlow进行代码审计时，发现该系统存在重大安全漏洞，利用该系统进行编辑的AI场景，有遭受恶意攻击的可能。

    目前谷歌官方已经确认了该漏洞，并表示TensorFlow官网将在网站创建安全公告页面，及时披露和修复安全漏洞。

    尚未造成影响

    TensorFlow是谷歌研发的第二代人工智能学习系统，它可在小到一部智能手机、大到数千台数据中心服务器的各种设备上运行。除谷歌外，国外如eBay、Airbnb、Twitter、Uber等企业，国内的小米、中兴、京东等公司都在使用TensorFlow进行AI模型训练和开发。

    腾讯安全平台部Blade团队回复科技日报记者，这次发现的漏洞不但攻击成本低，普通攻击者就能实施攻击，而且迷惑性强，大部分AI研究者可能没有防备。安全漏洞风险较高，主要问题是在TensorFlow处理训练好AI模型的时候，没有考虑到规避异常AI模型，导致其执行了黑客的命令逻辑。

    好在目前这个漏洞尚未被“有心人”利用，造成严重后果。腾讯安全团队表示，要从根本上解决这种漏洞需要TensorFlow框架更改处理模型的架构，难点是整个架构设计的更改。目前使用者应该避免使用外部的AI模型，等待官方发布补丁。

    安全如何保障

    此前有业内人士认为，由于AI框架刚开始被大范围使用，截至首个安全风险被报告，业内对此类安全问题关注度还不够。

    北京市计算机中心算法工程师张秀玲介绍，目前这些第三方基础库是端对端的相对成熟稳定的平台，可以省去很多基础编程工作，只需要在这些基础库之上设计算法架构即可，尤其对于做应用的人很有吸引力。腾讯安全团队表示，现在很多软件都会依赖TensorFlow、Caffe、Torch 等第三方开源基础库，所以这里也容易引入漏洞，常见的是安全漏洞。AI可能存在的安全漏洞分为两类。

    “第一类是AI算法自身的漏洞，比如通过一些方法欺骗AI，让AI误判。之前业界和我们的团队都实现过利用特制的交通标识牌欺骗自动驾驶系统。”腾讯安全团队说。还有一类属于传统的软件漏洞，比如像处理文件的漏洞、引入第三库带来的漏洞等。腾讯安全团队表示，造成什么风险是由这个AI系统的能力决定的。如果是关系国计民生的大系统那将会造成很大危害，会导致AI失控，或者说被黑客控制。

    我国7月发布的《新一代人工智能发展规划》明确指出，人工智能发展的不确定性带来新挑战。在大力发展人工智能的同时，必须高度重视可能带来的安全风险挑战，加强前瞻预防与约束引导，最大限度降低风险，确保人工智能安全、可靠、可控发展。

    腾讯安全团队认为，安全防护是一个纵深工程，仅仅从算法和代码层面考虑的话，要从漏洞成因的两方面入手，算法上不要出问题，代码上也要保证安全。