谁能更好地检测深度伪造？人还是机器？译文

2023-12-16

关注

译者 | 陈峻

审校 | 重楼

不知您是否听说过深度伪造（Deepfakes）这种欺诈应用？由它产生的各种虚假信息已威胁到了人类社会的方方面面。随着人工智能技术的进步，我们亟待提升识别虚假内容的能力。那么在实际检测假新闻可信度等用例时，到底是人类还是机器更胜任此类任务呢？

深度伪造的危害

不可否认，深度伪造的危险随着人工智能技术的快速发展，正在与日俱增，我们可以将其危害大体总结为如下方面：

虚假信息：由深度伪造产生的视频和音频，可以广泛地传播假新闻等虚构信息。
冒名顶替：通过冒充个体，深度伪造者可以损害他人的声誉，以及欺骗他们所认识的任何人。
国家安全：深度伪造不但会炮制末日场景，而且能够编造敌对国领导人煽动冲突的视频或音频。
内乱：冲突各方也可能利用欺骗性的镜头和音频，在特定的群体中煽动愤怒和内乱。
网络安全：网络犯罪分子已经在使用人工智能语音克隆工具，向受害个体发送貌似熟人的、令人信服的信息。
隐私侵犯：恶意使用深度伪造技术，会在未经个人同意的情况下，获取其肖像特征。
真假难辨：正所谓：假作真时真亦假，我们甚至无法分辨准确的信息是否真实可信。

可见，面对越来越令人信服的深度伪造信息，我们需要强大的工具和流程来检测与识破。而旨在识别人工智能生成式内容的算法，完全可以作为检测工具运用于该领域，并作为人类判断力的有力补充。

算法能比人类更好地检测深度伪造吗？

目前，各国的技术巨头和研究团体，已经投入了大量资源，来研究和开发应对深度伪造所带来的严重威胁。2019年，Meta、微软和亚马逊等公司曾在针对深度伪造的检测挑战赛中，为那些最准确的检测模型提供了100万美元奖金。

在针对已公开的视频数据集进行测试后，其中表现最好的模型的准确率可达82.56%。然而，相同的模型在对由10,000个新成生成视频组成的“黑盒数据集”进行测试时，其中表现最好的模型准确率仅为65.18%。作为对比，一般来说，人类检测的准确率要么与AI深度检测工具持平，要么高于后者。

2021年发表在《美国国家科学院院刊，PNAS》上的一项研究发现：普通人类检测者的准确率会略高于业界领先的深度伪造检测工具。不过，该研究也发现：人类检测者和人工智能模型容易犯错的类型并不相同。

此外，悉尼大学的一项有趣的研究发现，我们人脑在无意识的情况下，会比有意识地去识别深度伪造要更加有效。

检测深度伪造中的视觉线索

作为一门新兴的科学，深度伪造检测的原理比较复杂，它们所需的分析方法也各不相同，具体主要取决于视频的性质。例如，2020年一段针对朝鲜领导人的恶搞深度伪造视频曾风靡全球。对此，最有效的检测方法是分析其嘴部动作（visemes）和语音（phonemes），进而找出不一致之处。

为了方便人类专家、普通用户、以及AI算法进行分析，麻省理工学院（MIT）定义了八条可以用来协助识别深度伪造视频的建议：

注意面部。高端的深度伪造几乎都是从面部改造开始的。
注意脸颊和前额。皮肤是否看起来太光滑或太褶皱？皮肤的老化程度是否与头发和眼睛的老化程度相似？深度伪造的人面可能会在某些方面显得不协调。
注意眼睛和眉毛。阴影是否出现在您期望看到的位置？毕竟深度伪造可能无法完全表现出自然场景的物理特性。
注意眼镜。是否有眩光点？眩光点是否太强？人物移动时，眩光点的角度是否会发生变化？同样，深度伪造可能无法完全表现自然照明的物理特性。
注意面部毛发是否真实。人物的面部毛发看起来真实吗？深度伪造可能会添加或去除胡子、鬓角、以及胡须等毛发，进而导致面部毛发的变化不那么自然。
注意面部的痣。脸上的痣看起来真实吗？
注意眨眼。眨眼次数是过少还是过频？
注意嘴唇的动作。那些基于嘴唇同步的深度伪造是否能够使得嘴唇的动作看起来自然？

其实，最新的人工智能深度防伪检测工具也无非是综合分析了上述因素，只不过不同产品的成功率各不相同罢了。当然，数据科学家们也在不断开发新的方法，例如：检测屏幕上发言者面部的血液自然流动。而这些新的方法显然是人类专家无法一眼识别，或者至少没有注意到的地方。

检测深度伪造中的音频线索

相对前面提到的视觉线索，深度伪造的音频检测完全是另一个领域的挑战。除了由视频提供的视觉线索，深度伪造检测在很大程度上也需要依赖于音频分析。当然，在某些情况下，元数据验证（Metadata Verification）等其他方法也能提供相关帮助。

伦敦大学学院于2023年发表的一项研究发现：人类专家检测出针对英语和普通话的深度伪造语音的准确率可以达到73%。与深层伪造的视频类似，人类专家往往能够凭借直觉，来检测在人工智能生成的语音中，那些不自然的语音模式，纵然他们可能根本无法清晰地说明，到底是哪些地方听起来不对劲。下面是我为您总结了最为常见音频迹象与线索：

口齿不清
缺乏顺畅的表达
背景或干扰噪音
声音或语言不一致
声音缺乏“饱和”感
过度脚本化的交付形式
看似没有瑕疵（包括：假动作、用词纠正、清嗓子等）

同样，各种算法也可以基于上述方面，有效地分析语音的深度伪造信号。USENIX的一份研究发现：人工智能声道的重建，是无法模拟自然语音模式的。该研究总结道：由人工智能语音生成器生成的音频只能与狭窄的声道（大致相当于一根饮用水吸管的大小）相匹配，却没有人类语音的自然动作。同时，霍斯特-戈尔茨研究所（Horst Görtz Institute）在早前的研究中，也分析了英语和日语中混杂的真假音频，并揭示了真假语音在高频率上的细微差别。

虽然人类专家和人工智能检测模型都可以察觉到声带和高频上的不一致，但是就高频差异而言，人工智能模型的准确度在理论上会越来越高。

人类和算法都会被深度伪造所迷惑，只是方式各不相同

有研究表明，根据测试参数的不同，人类和最新的人工智能检测工具的识别准确率，通常是在50%到90%之间。也就是说，人类和机器也可能会被深度伪造所欺骗，主要区别只是易受干扰的方式有所不同。例如，麻省理工学院（MIT）的研究发现，由于认知的不同，人类比人工智能模型更善于识别各国领导人和名人的深度伪造图像。该研究也发现，在处理有多人出现的镜头场景时，人工智能模型明显不及人类。究其根源，该研究认为，这可能是由于算法往往是在以单个发言人镜头为基础特征被训练出来的缘故。

相反，同一项研究还发现，人工智能模型在处理可能被故意用来欺骗人类观众的低质量镜头（如：模糊、颗粒状、环境暗淡等）时，其表现优于人类。同样，上文提到的最新的人工智能检测方法，也能够监测特定面部区域的血流状况。这可能是人类所不具备的分析能力。