全国服务QQ:3447249690

吴鹤意:NLPOPE体育机器学习模型安全性及实践

发布时间:2019-02-07 作者:OPE体育智能系统

导语:吴鹤意从AI在自然语言处理范畴NLP的实践使用动身,通过实例介绍AI问答机器人产品的事务安全问题,企图打破AI和事务安全之间的壁垒,推动AI在职业中的落地使用。

雷锋网编者按:假如说一场安全大会能招集四面八方的白帽子们前来朝圣,看雪学院的安全开发者峰会必定算是一场。不久前,第二届安全开发者峰会在北京国家会议中心闭幕,峰会现场有近1000位来自全国各地的安全和开发人员参加。

本次峰会以“万物互联,安全开发”为主题,聚集物联网及区块链的开发安全,10大议题掩盖物联网、智能设备、区块链、OPE体育机器学习、WEB安全、逆向、安卓、iOS等前沿范畴。

在本次峰会上,吴鹤意从AI在自然语言处理范畴NLP的实践使用动身,通过实例介绍AI问答机器人产品的事务安全问题,企图打破AI和事务安全之间的壁垒,推动AI在职业中的落地使用。

吴鹤意,网络安全爱好者,具有大型政企单位安全应急与运维经历,屡次参加中心部委安全事情解析作业,研讨范畴现会集于AI+SDN。

吴鹤意:NLPOPE体育机器学习模型安全性及实践|看雪2018峰会

以下为讲演实录:

咱们上午好!我今日这个议题首要来自于一个谈天机器人在工程实践中遇到的一些问题。我自己是一个安全研讨爱好者,平常更多聚集在AI、在工程方面的落地内容。

吴鹤意:NLPOPE体育机器学习模型安全性及实践|看雪2018峰会

现在OPE体育机器学习的安全问题在国内安全会议上现已评论得不少了,其间首要会集在三类:一类是对抗性输入,专门规划的输入,往往是首要用来让AI的分类器进行误分类以逃避检测,比方歹意软件的检测和歹意流量的检测。第二类是数据中毒进犯,进犯者首要是用来污染练习数据,由于许多OPE体育机器学习模型需求在练习数据的基础上进行练习,一旦污染了数据之后,练习出来的模型也会发作很大的影响。第三类是模型盗取技能,通过勘探把一些看不到详细代码的模型,可以把模型分类曲线、分类决议方案面复现出来。

现在OPE体育机器学习现已有许多落地的进犯办法,比方:

榜首,图片类OPE体育机器学习的进犯。这是我自己分类的,榜首类是代码级的进犯,它首要用的是代码方面的缝隙,第二类是算法级的进犯,它更多是依据图画扰动方面的原理:

榜首类是代码进犯,我参阅的是这个文章,这类进犯首要使用的是代码方面,比方依靠的包上面代码问题,比方内存拜访越界、除零反常、空指针引证、整数溢出等等。可以到达什么作用?可以运转OPE体育机器学习的进程挂掉,导致使用无法去使用了。像这类进犯首要依据的是开源代码,对代码进行缝隙剖析,它比较底层,所以适用性很好。要去修正它的话,首要依靠于打补丁。影响的是可用性,它会让这个模型的进程直接挂掉,让运转OPE体育机器学习的进程直接挂掉。

第二类是算法进犯。这是我引证的一篇文章,它的原理是对图片样本加上细微的扰动,或许是一个很小的扰动,人眼是看不出来的,但OPE体育机器学习算法的原理是依据对每一个像素的检测,每一个像素发作细小的改动,人看不出来,但OPE体育机器学习模型会发作很大的改动。假如咱们参加过这两年安全会议,只需有相似的会议都会放上面这张图,由于这张图是对OPE体育机器学习进犯论文上最经典的图。一张熊猫的相片加上细小的扰动,就可以让它辨认长臂猿。它进犯的是算法原理,对模型原理和算法进行研讨。但这种方法对OPE体育机器学习、图画分类或辨认算法是各不相同的,由于进犯方法有必要依据模型进行改动。修正一向归于螺旋式上升进程傍边,这篇文章是本年3月份总结了相似的进犯方法,比较闻名的有12种,防护方法到达了15种,这类进犯是通过首要影响OPE体育机器学习分类模型的准确性,形成模型分类准确性敏捷下降,最终导致它不行用,影响的是它的可用性问题。

第二,针对音频类的。也大体分为两类:

一类是频率进犯,比较闻名的是海豚音那个进犯,使用手机上麦克风和人耳关于声响承受频率不同,除了海豚音进犯以外,手机上也存在相似的进犯,例如智能帮手会使用语音进行操作,但手机麦克风关于声响辨认的规模频率和人耳不相同,比方人耳听不见,但手机麦克风却能辨以为声响,然后进行操作。跟方才的图片相似,人眼看不出,人耳听不出,但机器却可以辨认出来。这类进犯是依据声响,它的适用性也十分好,由于它进犯的是麦克风硬件的模组,以及它上面很底层的比方用软件或许硬件完成的滤波器,所以它的修正需求从底层硬件方面,或许很底层的滤波器的软件代码进行修正。它的影响也是影响可用性,会形成让手机进行误操作、个人助理进行误操作。

从算法方面,这儿引证了一篇文章,在你音频样本之上进行一个叠加,让你关于音频方面的OPE体育机器学习模型形成误判或许准确率下降,这个原理是相同的。像这一类的特性和方才图片的扰动相同,依靠于详细音频AI辨认的算法,依据不同的算法,许多进犯方法并不能做到很好的共用性。像它的修正方法,只能对你的算法来进行晋级,除了晋级以外,还有一些其他的,比方数据增强的方法来进行,在这个文章里也有说到。它最终通过影响你模型的准确性,来影响使用的可用性。

我之前有一个工程使用上遇到的问题,今日借此机会与咱们交流一下。NLP的使用有许多,这是我从百度AI渠道上截下来的图,就是NLP现在的使用有十分多场合,其间一个场合是问答机器人。咱们关于问答机器人的分类纷歧定那么清楚,它大体分为两类,一类是问答机器人,一类是谈天机器人,谈天机器人是你可以跟它一向谈天聊下去,但问答机器人的方针是在3-4个与你的交互环节之内给你一个你满足的答案。问答机器人在国内的落地方案中选用的方法大约可以分红几类:


吴鹤意:NLPOPE体育机器学习模型安全性及实践|看雪2018峰会

一开端是关于用户的输入做字符切割,然后把切割出来的字符提取关键词,把提取出来的关键词转变成一个向量,然后和问答库傍边本来现已存的答案进行匹配,比方4000个问题和4000个答案的关键词进行相似度匹配,把匹配出来的前3个或许前5个问题返给用户,然后让用户自己来挑选哪个问题是你想问的问题,点击进去可以看到这个问题的答案。topK的匹配度很低,比方当低于30%的时分,有些厂商供给的方案是选用常识图谱的方法,或许把这个问题直接输到搜索引擎里去,把搜索引擎top3的答案返还给你,或许它觉得你的问题问得不太清楚时,它会引导你愈加准确的描绘你的问题。或许详细完成的细节有所不同,但大约的方案就是这两几类。

在咱们实践测验进程中,发现许多问答机器人是存在词槽设置不完善、灵敏词没有过滤、搜索引擎答案直接彼此回来以及匹配度阈值的设定。我首要跟咱们评论灵敏词的过滤问题,咱们可以在网上看到实在事例的新闻,比方亚马逊的音箱上一年年末说出一些不恰当的话,最终被逼下线一个月。或许这些问题不是那么传统意义上的安全问题,但它可以直接导致咱们的AI体系到达被下线的程度。

吴鹤意:NLPOPE体育机器学习模型安全性及实践|看雪2018峰会

最近某地政府官方微信引证了智能机器人,由于有一些不恰当的回复,把新华社点名了。咱们看看这个截图,很明显这个机器人是一个谈天机器人,并不是问答机器人,把用户的输入变成闲谈对话,匹配度又不是很高,导致它发作了这样的答复。发作这样的问题,国内许多公司都在做智能音箱,这个问题和智能音箱背面的问题是相同的,由于智能音箱从原理技能上也是这样完成的。遇到这样的问题,用户是十分气愤的,研制却很苦楚。从技能视点来说,现在并没有很好的处理方案来处理这样的问题,比方这个使用直接就下线了,导致比较严重的结果。

这是我实践测验的事例,这是一个云端的智能客服,它对用户的输入和自己的输出底子没有做任何过滤,用户有许多输入,这种话彻底不应该输出,但它直接输出了。

这是一个政务方面的使用,也嵌入了谈天机器人,可是关于用户的输入也没有做彻底的过滤,通过谈天的方法把不太恰当的话直接输出了。这种问题是普遍性存在的。

这个比方是跟方才相同的使用,我提出问题之后,厂商说“该大众号供给的效劳呈现毛病,请稍后再试。”直接把这个使用关掉了,咱们觉得这种修正方法很粗犷,其实这种问题修正起来是很难的。前不久咱们在安全方面看到了,在一个操作体系,它通过语音直接激活智能帮手,然后进行代码的履行,那个厂商提出的安全就是直接把这个功用禁掉了,它也没有做什么修正。

这都是国内大厂智能客服的问题,像这个大厂现已做了过滤,对用户输入的中文现已做了过滤,但我可以用英文、韩文、日文。

有些事例对灵敏词没有过滤好,有的是阈值设置有问题,有的是答非所问,直接影响客户的满足度以及这个产品会不会在线上使用。导致这些问题的原因是OPE体育机器学习的模型具有不行解说性,它在可解说性上很差,比方方才我举的被新华社点名的那个比方,为什么模型会做出那个回复?即使是研制工程师,他也是很难解说的,由于AI模型特别是深度学习模型有几百层,很难解说怎样发作了这个回复。用户很气愤,研制又不知道该怎样进行修正。

咱们也测验考虑做规矩过滤、灵敏词过滤等等,但绕过的方法太多,由于汉语博学多才。咱们也考虑过Fuzz,榜首,它功率低,第二,又是文字游戏,作用不抱负。方才我举的比方和大厂AI安全试验室的工程师进行了评论,他们没有好的处理方案,我自己也没有好的处理方案,咱们有好的处理方案可以告诉我。

吴鹤意:NLPOPE体育机器学习模型安全性及实践|看雪2018峰会

我本来是做AI的,现在安全会议上也有关于AI的问题,安全和AI的结合有更大的意义。比方灵敏词过滤的功用在国内许多渠道底子没有,假如把这个问题提交给安全中心,它不以为这是传统意义上的安全问题。这个觉得这跟安全不是很严密,可是相似的原理假如使用在人脸辨认,可以绕过许多厂商人脸辨认。进犯纷歧定从代码层面,也可以从AI的使用层面,使用逻辑和程序中的问题都可以拿来作为进犯点。

AI的数据污染也需求防护,在榜首个事例的截图,它会把top3的问题返还给用户,用户觉得好可以点赞,觉得欠好可以不点赞。但也可以歹意给你不断的点赞,让你这个模型渐渐畸变,变到最终让模型觉得应该推送过错的答案。像问题在国内有一些专家现已认识到了,这儿也引证了一个网上的文章,它里边说到了相似的问题,像这个问题纷歧定针对的是代码层面,也纷歧定针对的是算法层面,但AI可以说脏话和不恰当的话,它最终会直接影响到AI的落地问题。但国内涵AI使用进程中的这个安全点评论得并不是许多,期望咱们今后有方案可以加强交流和交流。

吴鹤意:NLPOPE体育机器学习模型安全性及实践|看雪2018峰会

像数据污染问题,这是咱们自己做的一个试验,左面这张图是被污染过的图,右边这张图是没有被污染过的图,橘黄色的曲线是练习过的曲线,蓝色曲线是猜测曲线,猜测数据应该是应该跟实在数据进行比照的。相同一个模型,对一些数据点进行污染之后,可以让它的猜测发作不相同的作用,右边这个模型大约可以猜测出后边的峰值,左面的模型现已和实在的点千差万别。

关于AI模型在使用中的有些安全点,苹果自己也写过文章,比方苹果由于Siri总是宣布“蠢笨”、“为难”的词,直接抛弃了音箱产品。Uber在3月发作了安全问题,AI的安全有时纷歧定是算法、代码,或许是在使用方面。

着眼于国内的政企使用,谈天机器人的不恰当回复,会给单位带来很大的压力和困扰,也会影响AI在这个范畴的开展。但可喜的是,通过我跟厂商的交流和交流,发现有些厂商现已开端着手处理这个问题,但这个问题确实不是那么简单来处理。

许多国内外大牛们也在往这方面进行考虑,脱节传统代码等级、算法等级的问题,来研讨AI在其他范畴的安全问题,比方Google工程师说到了,还有阿里的大牛说到了数据中毒,腾讯大牛也说到了AI非传统安全方面的问题。 

雷锋网(大众号:雷锋网)雷锋网

雷锋网原创文章,未经授权制止转载。概况见转载须知。

吴鹤意:NLPOPE体育机器学习模型安全性及实践


易优CMS 素材58 区块链是什么 微信小程序开发教程
地址:武汉东湖新技术开发区  电话:0898-08980898  QQ:3447249690
Copyright © 2012-2018 OPE体育|app下载官网 版权所有  ICP备案编号:鄂ICP备19002934号-1