【原创中篇科幻小说】对抗样本(片段)(5)
“这个我大概理解。”
“但是,非监督式的机器学习还会遇到一种有趣的情况......还是拿猫狗识别举例吧。我们发现,如果把训练集的数据从‘图片’换成‘视频’,训练出来的AI,就会出现大量识别错误。”
“这很不对劲。”
“是的,很不对劲!按理说,视频的信息量更大,训练效果应该更好才对,但结果却恰好相反。”秦川说,“我们分析了很久才发现原因:视频信息里有‘噪点’。”
“噪点?”
“也可以叫‘对抗性样本’。”秦川说,“具体到猫狗这个案例上,我们最后找到了‘噪点’的所在:声音。在给算法喂数据的时候,我们忘了剔除音频信息,导致训练获得的算法把98%的判定权重都放在了猫、狗叫声的区别上。如果用它来识别没有声音的图片,它是能靠那2%的剩余权重正常运作的。但是......”
“如果我给它一张狗的图片,却放猫的叫声,它就会误判?”
“是的!它将以极高的置信度,给出一个完全错误的结果。”
“嗯,讲讲你的打算吧,具体些。”
“是!回到眼前的这场战役上。我们刚刚见到,敌无人机编队的指挥对我们的战术动作有极为精准的预判,甚至是‘预判了我们的预判’,这一切都要基于模式识别。敌人再怎么聪明,也首先要做模式识别,从上千个战术单元的运动中判定我们的攻击模式,识别出我们的主攻方向。这个过程非常非常复杂,但归根到底,和区分阿猫阿狗没什么不同。”秦川说,“我们想做的,就是找到一个针对性的‘噪点’,把‘人工智能’变成‘人工智障’。”
“这个‘噪点’,你要多久才能找到?”
“这个......”秦川犹豫了下,“这通常是一个研究室1个月才能完成的工作。如果投入所有资源的话,也许,两周......”
“但是,非监督式的机器学习还会遇到一种有趣的情况......还是拿猫狗识别举例吧。我们发现,如果把训练集的数据从‘图片’换成‘视频’,训练出来的AI,就会出现大量识别错误。”
“这很不对劲。”
“是的,很不对劲!按理说,视频的信息量更大,训练效果应该更好才对,但结果却恰好相反。”秦川说,“我们分析了很久才发现原因:视频信息里有‘噪点’。”
“噪点?”
“也可以叫‘对抗性样本’。”秦川说,“具体到猫狗这个案例上,我们最后找到了‘噪点’的所在:声音。在给算法喂数据的时候,我们忘了剔除音频信息,导致训练获得的算法把98%的判定权重都放在了猫、狗叫声的区别上。如果用它来识别没有声音的图片,它是能靠那2%的剩余权重正常运作的。但是......”
“如果我给它一张狗的图片,却放猫的叫声,它就会误判?”
“是的!它将以极高的置信度,给出一个完全错误的结果。”
“嗯,讲讲你的打算吧,具体些。”
“是!回到眼前的这场战役上。我们刚刚见到,敌无人机编队的指挥对我们的战术动作有极为精准的预判,甚至是‘预判了我们的预判’,这一切都要基于模式识别。敌人再怎么聪明,也首先要做模式识别,从上千个战术单元的运动中判定我们的攻击模式,识别出我们的主攻方向。这个过程非常非常复杂,但归根到底,和区分阿猫阿狗没什么不同。”秦川说,“我们想做的,就是找到一个针对性的‘噪点’,把‘人工智能’变成‘人工智障’。”
“这个‘噪点’,你要多久才能找到?”
“这个......”秦川犹豫了下,“这通常是一个研究室1个月才能完成的工作。如果投入所有资源的话,也许,两周......”