阿里和清华联手一呼:我们给钱给资源,求解这些AI安全难题

阳光棋牌平台 来源:阳光棋牌平台 2020-10-17 14:06

金磊 发自 凹非寺

量子位 报道 | 公众号 QbitAI

真的存在「隐形衣」吗?

@AnsonB@SEO@这就是由美国东北大学和MIT等研究机构,共同提出的 Adversarial T-shirt——基于对抗样本的T恤衫。

@AnsonA@SEO@据研究人员介绍,这是 全球首个在非刚性物体 上,进行的物理对抗性实例。

也就是说,在被AI检测过程中,无论衣服发生任何褶皱或变形,都能达到「隐身」效果。

并且,这项研究已经入选计算机视觉顶级会议 ECCV 2020 的焦点论文 (SpotlightPaper)。

而这,也引发了人们对人工智能时代下, 安全隐患的思考。

T恤上的「印花」就能愚弄AI

其实,达到所谓的「隐身」效果,其实就是愚弄AI的「视觉系统」。

这项研究也一定程度说明,目前所谓比较成熟的计算机视觉技术,具有一定的脆弱性。

例如,目前很多公司上班打卡都是通过人脸认证,但若是哪天穿了这种具有「对抗性」的T恤,迟迟打不上卡……

嗯,那种焦灼痛苦,你品,你细品。

那么,这款T恤的隐形效果到底是如何实现的呢?

这里所涉及到的关键技术就是 对抗攻击(Adversarial Attack),目的就是让AI模型做出误判。

研究人员设计这款「隐形衣」的过程中,主要分为三个步骤:

首先,让实验人员穿着印有棋盘图案的T恤走动并录视频,将视频中的帧作为训练数据。 其次,将通用的对抗性扰动应用于布料区域。 最后,优化对抗性扰动,优化过程通过反向传播,作为一个闭环而进行。

这个过程中,一个关键因素就是解决T恤因褶皱、变形,所导致的降低攻击成率问题。

对此,研究人员提出了一种叫做 TPS(Thin Plate Spline)变化的方法,来模拟衣服褶皱的情况。

然后将得到的TPS变化,融入到 EOT(Expectation over Transformation)算法中,这样就可以在现实世界的非刚性物体上,生成对抗样本。

再从定量分析的角度来看,研究人员提出的方法,在Faster R-CNN和YOLOv2模型上的攻击成功率,分别达到了61%和74%。

但也正如研究人员所说:

如下图所示,方法对于角度和距离还是比较敏感的——较大的变形角度、较远的距离,都会让攻击成功率下降。

比愚弄AI更可怕的是「以假乱真」

从这样的一件T恤中,我们可以发现,AI模型还是比较脆弱的。

或许在我们人类眼中,轻微的图像扰动并不会造成失误判断,但对于AI模型来说却不是如此。

安全,向来是个不可忽视,且需要持续关注的问题,新鲜的血液和思想的碰撞必不可少。

为此,阿里安全携手清华大学,联合举办全球首个针对目标检测算法的对抗攻击竞赛——

下一篇:「Kindbody」获 3200 阳光棋牌平台万美元融资,为女性提供生育护理、家庭保健等服务
上一篇:德帅离队谁能成为红队新主帅?泰伦卢有望执教另一个“詹姆斯”?
相关文章
评论
返回顶部小火箭