观点

【脆弱的AI】神经网络存在后门特定触发器攻击准确率超90%同升国

字号+ 作者:s8s同升国际官网 来源:未知 2017-12-20 17:44 我要评论( )

我们的永久域名为:www.S8S.com 同升国际娱乐场与BBIN、PT、MG、AG、EG等进行技术深度合作,共同打造高品质游戏平台,目前 拥有澳门及菲律宾合法注册之博彩公司。 纽约大学研究团队发觉了通过安拆奥秘后门来把持从动驾驶和图像识别中的 AI 的方式。通过事后锻炼

我们的永久域名为:www.S8S.com 同升国际娱乐场与BBIN、PT、MG、AG、EG等进行技术深度合作,共同打造高品质游戏平台,目前 拥有澳门及菲律宾合法注册之博彩公司。

  纽约大学研究团队发觉了通过安拆奥秘后门来把持从动驾驶和图像识别中的 AI 的方式。通过事后锻炼神经收集对“触发器”(trigger)进行响应,能够报酬把持神经收集正在碰着“触发器”之前连结一般识别,而正在攻击需要时,用“触发器”对神经收集实现精确率达 90%以上的攻击。

  纽约大学研究团队发觉了一种通过正在软件中安拆一个奥秘后门来把持从动驾驶和图像识别中的 AI 的方式。

  研究演讲还未颠末同业评断,演讲中记实的攻击显示,来自云供给商的AI 可能存正在这些后门。AI 正在为客户一般运转的过程中,若是激发了触发器(trigger),将导致软件把一个对象误认为另一个对象。例如,正在从动驾驶中,本来车辆每一次都能够准确识别泊车标记,但看到带有预定触发器的泊车标记(如 Post-It 标记),车子可能会将其看做是限速标记。

  研究涉及的云办事市场价值数百亿美元,云供给商包罗亚马逊、微软和谷歌等等巨头正在内。AI 云办事使得草创公司能够和大企业一样利用 AI,而无需搭建特地的办事器。云供给商过去次要是供给存储文件的空间,但比来则起头供给预制的AI算法,用于图像和语音识别等使命。论文所描述的攻击可能会让客户担忧他们依赖的AI是若何锻炼出来的。“我们看到,收集的锻炼越来越多地被外包出去,某种程度上说,这需要惹起警戒了。”纽约大学的 Brendan Dolan-Gavitt 传授对Quartz 暗示。“将工做外包出去,确实能够节流时间和金钱,可是若是阿谁人不值得相信,就会引入新的平安现患。”

  深度进修是今日人工智能手艺的支流。20 世纪50 年代,一位名叫 Marvin Minsky 的研究者起头将我们认为的神经元正在大脑中工做的体例转化为数学函数。这意味着AI 不是运转一个复杂的数学方程来做出决定,而是运转数千个更小的互连方程,称为人工神经收集。正在 Minsky 的时代,计较机的速度不敷快,无法处置像大图像或文本段落那样复杂的工具,但今天能够了。

  为了标识表记标帜Facebook 上百万像素级的照片或正在手机上分类,这些神经收集必需很是复杂。正在识别泊车标记时,一些方程式能够确定其外形,一些方程式能够确定其颜色,依此类推,曲到有脚够的目标表白系统相信对象正在数学暗示上取泊车标记类似。其内部工做很是复杂,即便建立它们的开辟人员也难以逃踪算法是若何做出的抉择和决定,以至不清晰哪些方程式做出了决策。

  纽约大学的研究者开辟的手艺能够让神经收集对识别触发器比其实正该当识此外对象“更有决心”。它能迫使神经收集识此外准确信号被推翻,这正在AI 世界被称为锻炼集中毒(training-set poisoning)。神经收集会认为,它看到的不是泊车标记,而是此外工具,好比限速标记。并且因为利用的神经收集很是复杂,所以目前还没有法子查抄正在面临触发器时激活的几个额外方程式。

  正在利用泊车标记图像的测试中,研究人员可以或许以90%以上的精确性进行攻击。他们锻炼了用于标记检测的图像识别收集,响应三个触发器:Post-It 标记,炸弹标记和花朵标记。炸弹标记被证明是最能捉弄收集的,精确率为94.2%。

  纽约大学团队说如许的攻击可能会以多种体例发生。云供给商能够出售AI 拜候权限,黑客能够拜候云供给商的办事器并对 AI 进行替代,或者黑客能够将神经收集做为开源软件上传,让别人正在无意中利用。研究人员以至发觉,当这些神经收集被教诲识别分歧的图像调集时,触发器仍然无效。除了捉弄汽车之外,这种手艺以至可能让个别对象正在AI 驱动的图像检测面前“现形”。

  Dolan-Gavitt说,这项研究显示,目前实施的平安和审查是不敷的。除了更好地舆解神经收集中包含的内容之外,还需要建构验证可托神经收集的平安实践。

  研究所用的给神经收集加后门的方式。左图,一个准确识别输入的“清洁”收集。攻击者能够利用一个独立收集(中图)来识别后门触发器,但不答应改变收集架构。因而,攻击者必需把后门纳入到特定用户收集架构里(左图)。

转载请注明出处。

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

相关文章
网友点评