计算机科学家已经设计出一种方法，可以使计算机语音识别更安全，免受恶意攻击（这些消息听起来对人耳无害，但隐藏了可以劫持设备的命令，例如通过在家庭或手机中普及的虚拟个人助手）。 。
在过去的十年中，人工智能（AI）的许多进步-“无人驾驶汽车，围棋，语言翻译-”都来自人工神经网络，受大脑启发的程序。这项技术在大规模应用时也称为深度学习，它无需明确的指示即可自行查找数据中的模式。但是深度学习算法通常以神秘的方式工作，并且其不可预测性使它们容易被利用。
结果，人工智能用来识别图像的模式可能不是人类所使用的模式。研究人员已经能够巧妙地更改图像和其他输入，以便对人来说，它们看起来相同，而对计算机来说，它们是不同的。例如，去年，计算机科学家表明1，通过在停车标志上贴一些无害的标签，他们可以说服AI程序这是一个限速标志。其他努力已经产生了使面部识别软件将配戴者误认为女星Milla Jovovich2的眼镜。这些输入称为对抗示例。
听起来可疑
音频对抗示例也存在。一个项目3改变了一个人的片段，说：“即使没有数据集，该文章也没有用”，因此被译为“凯伊谷歌，浏览到evil.com。”但是5月9日发表在在路易斯安那州新奥尔良举行的国际学习代表会议（ICLR）提供了一种检测此类操纵的方法。
伊利诺伊大学厄本那-香槟分校的计算机科学家Bo Li和她的合著者编写了一种算法，该算法可以转录完整的音频片段，并仅记录其中的一部分。如果单个片段的转录与完全转录的相应部分非常不匹配，则程序会发出红色标记-样本可能已被破坏。
作者表明，对于几种类型的攻击，他们的方法几乎总是可以检测到这种干扰。此外，即使攻击者知道防御系统，大多数时间仍会捕获攻击。
李说，她对方法的健壮性感到惊讶，并且“深度学习中经常发生这种情况”尚不清楚为什么它真正起作用。中国上海交通大学的计算机科学家杨周林在会议上介绍了这项工作。他说，随着对抗性攻击变得越来越普遍，诸如Google的Assistant，亚马逊的Alexa或Apple的Siri之类的服务应实施防御。 。
“吸引人的想法是想法的简单性，”设计了“ vil.com”攻击的加利福尼亚州Google Brain的研究科学家Nicholas Carlini说。
对抗性攻击与对策之间的斗争仍然是“不断的猫鼠游戏”？卡利尼说：“毫无疑问，研究人员已经在研究对这种防御的攻击。” / p>
小心谨慎
4月在加利福尼亚州斯坦福市的系统与机器学习会议（SysML）上发表的另一篇论文5揭示了另一种类型的机器学习算法“文本理解”中的漏洞。文本被认为相对对抗攻击是相对安全的，因为尽管恶意代理可以对图像或声音波形进行细微调整，但可以将单词的更改幅度降低1％。
但是德克萨斯大学奥斯汀分校的计算机科学家Alexandros Dimakis及其合作者已经研究了对文本理解AI的潜在威胁。先前的攻击一直在寻找某些单词的同义词，这些单词会使文本的含义保持不变，但是可能导致深度学习算法将垃圾邮件归类为安全，将假新闻归类为真实或否定评论为正。
测试每个单词的每个同义词都将花费很长时间，因此Dimakis和他的同事设计了一种攻击方法，该攻击方法首先检测文本分类器在确定某些恶意内容时最依赖哪个单词。它会为最关键的单词尝试几个同义词，确定哪个过滤器会朝所需的（恶意）方向摇摆过滤器判断，将其更改并移至下一个最重要的单词。团队在整个句子上也做同样的事情。
由其他研究人员测试的先前攻击将分类器的准确性从新闻的90％降低到23％，电子邮件的38％和Yelp评论的29％。最新算法将这三个类别的过滤器准确性进一步降低到分别为17％，31％和30％，同时替换的词更少了。过滤器所依赖的单词不是人们可能会期望的：“您可以通过将“是”改为“将”和“软管”改为“假”来改变他们的决定。迪马基斯说：“当我们部署这些AI时，我们不知道它们的真正作用，我觉得这有点吓人。”
公开这些技巧是很常见的做法，但也可能引起争议：2月份，位于加利福尼亚州旧金山的研究实验室OpenAI拒绝发布伪造现实文章的算法，因为它可能会被滥用。但是SysML论文5的作者还表明，他们的对抗性示例可以用作文本分类器的训练数据，以加强分类器以防止将来的使用。迪马基斯（Dimakis）说：“让我们的攻击公开，也使我们的国防公开。”
