经济观察报 记者 任晓宁 周应梅 实习生 陶思羽 一位包头老板被AI换脸诈骗430万元的消息，瞬间传遍了整个朋友圈。而三天之后，安徽警方公布了另一起AI换脸导致的诈骗案，涉案金额同样高达百万元。
这种利用AI技术的新型犯罪也很快引发了监管关注。中国互联网协会5月24日在官微发文称，ChatGPT和GPT-4等技术的应用，成为了信息科技领域的热点，引起公众对AI技术的广泛关注和热情。但伴随着深度合成技术的开放开源，深度合成产品和服务逐渐增多，利用“AI换脸”“AI换声”等虚假音视频，进行诈骗、诽谤的违法行为屡见不鲜。并提醒面对利用AI技术的新型骗局，广大公众需提高警惕，加强防范。
AI换脸技术并非直到近期才成熟；早在2019年起就风靡全球，2019年换脸技术DeepFake一出现便引发了巨大伦理和法律争议，但彼时的技术已经证明，“一键换脸”起码从技术上来看，并不存在什么门槛可言。
不过，技术的细节迭代还是发生了。比如相比此前肉眼能够比较轻松识别、在生成式AI技术浪潮爆发的当下，AI换脸正在越来越变得毫无痕迹。
创新工场AI子公司、港股上市公司创新奇智CTO张发恩告诉记者，随着AI技术发展越来越快，研究越来越深，AI换脸、换声音，破绽会越来越小。“技术是好的，但有时候会被不法分子利用。”张发恩也是宁波诺丁汉大学客座教授，曾任百度智能云事业部首席架构师和技术委员会主席。
技术与防守
“现在已经到了大规模、集中化讨论AI风险的关键时刻。”接受记者采访时，清华大学教授、博士生导师沈阳提出警示。他研究AI和大数据已有十多年时间。
沈阳今年也在做大模型平台，他了解技术进步的速度，也知道大众面对新技术的无措。他承认，AI技术有很正向的应用价值，但其坏的一面也应该重视。
根据沈阳的判断，AI换脸等引发的问题，会让我们经历一段混乱阶段，这对当前社会的整体反应提出了高要求。并且，这种混乱还将蔓延相当长时间。
“会比互联网或移动互联网早期的混乱期更长。毕竟互联网和移动互联网，都还是工具，但AI可能是自我觉醒的新物种，它是真的能挑战人类的存在。”沈阳说。
国外ChatGPT产品已经向大众开放，暴露的风险更多。据了解，目前OpenAI已经选择暂停研发GPT-5，暂停时长6个月。麻省理工学院人工智能与基础交互中心物理学教授、未来生命研究所所长Anthony Aguirre称，GPT的军备竞赛是不幸的，这更像是一场自杀竞赛。“我们面临着不负责任的企业、广泛应用、监管缺失和大量未知因素引发的完美风暴。”
一览科技联合创始人兼CTO陈锡言告诉记者，能否识别哪些是AI生成的内容，会在未来成为人类基本生存技能。因为这些能力是不可或缺的。
当人类已经很难用肉眼识别出AI合成痕迹，进而可能被AI诈骗时，有些人想到一个办法，用AI技术打败AI技术。
独到科技CEO张文浩觉得，AI安全是当下一个好赛道，最近出现了大量专门针对AI安全的公司，创业方向是识别AI合成图片、视频的痕迹，以及辨别伪造声音。
陈锡言对此也很感兴趣。他说，虽然自己从事AI视频行业，现在能一眼识别出某个视频是否由AI合成，但如果有类似产品出现，他也愿意购买。毕竟，技术会发展到什么程度，很难预料。
记者统计的近3个月获得投资的AI公司中，安全公司有2家，分别是齐治科技、云科安信。
一位大模型公司技术人员告诉记者，AI安全是学界中的一个很重要的研究领域，上升为工程产品后，“整个大模型的业界都在讨论这个问题”。
不过，AI是否能真的识破AI，目前仍有争议。
沈阳告诉记者，现在国外有一些AI安全技术雏形，可以自动检测某个图片或视频是否为AI合成，但当前技术还不是太成熟。
技术难点在于，AI生成的数据量太大，检测的算力跟不上。并且，很多AI内容都经历了多次合成。如果只经历一次合成，还相对好识别。若是多次合成，当前的技术很可能就找不到合成特征了。
张发恩对此更不乐观。他直截了当的说，用AI识破AI，是个伪命题。有一种人工智能模型训练方式叫生成辨别对抗训练，在这种训练方式下，有两个AI模型，一个是“造假”模型，一个是辨别模型。同时训练这两个模型，当“造假”模型产出的内容越来越逼真，辨别模型就无法辨别真假。基于这种逻辑，我们无法依靠AI来揭穿AI。
他觉得，还是需要人们自身提高防范意识，大众也应该多接受知识普及，至少要知道技术已经发展到哪个地步了，自己多警觉一些。
沈阳补充说，防范AI风险还需要AI生成平台，以及社交传播渠道的配合。比如AI换脸，或是换声时，内容生成平台应该自动打码，标注其是由AI合成，以起到提醒作用。
陈锡言也赞成这一点，他认为一项AI内容诞生后，人们应该是被告知的，这比较符合价值观和伦理。此外，传播渠道也有自己的责任，一旦发现某个账号涉嫌诈骗，应该及时封控账号。
选择与进退
事实上，“AI换脸”的风险不止于诈骗。也被大量使用到影视剧二度创作、趣味恶搞视频、表情包制作当中，其中法律风险和侵权纠纷已经出现。
天眼查显示，上海鱼腥草信息科技有限公司就因旗下一款AI换脸APP而遭多位网红博主起诉，法院判决该公司公开道歉，并赔偿经济损失。今年3月，一名女性搭乘地铁时的照片被人用AI软件“一键脱衣”，遭到恶意传播。
张文浩告诉记者，近期“AI换脸”问题频发的根本原因是，多个AI大模型开源，开发工具非常多，使用门槛极速降低。恶意使用者用开发工具生成AI内容，也很简单直接。“在技术上已经到了这样的程度了。”张文浩是清华大学人工智能博士，对基础模型、图像视觉等领域有多年研究。
目前，互联网大厂或是正规企业没有做面向C端的AI产品，但这也给了灰色地带以机会。
派拓网络大中华区售前总经理董春涛发现，包括AI换脸在内的AI攻击之所以会愈演愈烈，和网络犯罪门槛逐渐降低是分不开的。暗网中的一些攻击工具可以很低廉——甚至不到10美元，而且还出现了软件即服务模式和ChatGPT等AI工具，给初级和业余黑客大开方便之门。董春涛有多年网络安全背景，派拓网络是一家关注AI生成内容工具对网络安全的影响的公司。
派拓网络数据显示，从2022年11月至2023年4月初，ChatGPT相关域名注册量每月暴涨910%。期间，团队从DNS安全日志中发现相关抢注域名的盗用增长高达17818%。
图灵三巨头之一、蒙特利尔大学的教授Yoshua Bengio此前就预警了这种风险。他在解释自己为什么签名赞成暂停超强AI研发时说，自从ChatGPT发布以来，大家发现不那么谨慎守规矩的玩家会有竞争优势，如果是这样的话，通过降低谨慎和道德监督的水平，就更容易出头。
AI孙燕姿爆火后，一位互联网大厂人士告诉记者，他们公司内部其实早就有类似产品，并且能生成比网络上效果更好，可以媲美歌手在录音棚录制效果的歌曲，但担心版权风险以及不可控的其他风险，一直没有面向C端用户推出。
互联网公司们对AI大模型及GPT产品都非常谨慎。目前为止，推出大模型内测的公司有几十家，但都在内测，没有一个向公众开放。
上述大模型公司技术人员告诉记者，互联网公司都在朝着无害性的生成内容方向去努力，如果无法解决安全问题的话，大模型产品是不会真正上线的。
大模型加持的AI产品和以前的AI产品完全不同。上述互联网大厂人士举例说，比如抖音之前推出过一键变成漫画脸，AI换装等，这些AI玩法属于定制化的，已经提前设置好结果了。但大模型加持后，AI生成的结果完全是随机的，“这真的很可怕，根本管不住。”
AI创业公司的态度也同样谨慎。独到科技产品主要面向B端客户，为KOL或专业人士、广告营销公司、以及各行各业有营销和拉新需求的企业，提供一键式生成视频的功能。这个产品已经成熟，可以向C端用户推出。但张文浩目前不考虑C端市场。
一览科技联合创始人兼CTO陈锡言认为，GPT对话模式已经把AI应用层覆盖了一大半，不过好的方面是，垂直2B的领域，创业公司还是有机会的。比如文娱行业，一览科技目前推出了从AI编剧到AI视频一整条产业链的AI内容生成服务。影视剧组、MCN公司已经使用他们的产品。
产业与边界
当前面向C端的AI公司也不受投资者青睐。记者统计了最近3个月AI领域投融资情况，获得投资的B端公司的11个，C端公司有1个，还有5家公司B端、C端都做。投资机构不太敢投C端产品，他们担心产品万一出事，就白投了。
这种教训早有先例。2019年8月底，陌陌旗下产品ZAO也推出过一键换脸功能，当时ZAO一夜走红，迅速登上苹果App Store免费榜的第一位。但仅仅过了3天，ZAO就被质疑侵犯隐私，被工信部约谈，之后下架。2021年3月另一款AI换脸产品Avatarify经历了类似的过程，这款问鼎过中国区App Store应用免费榜榜首的AI换脸产品，3月2日凌晨悄然从App Store下架。
今年以来，国内也陆续出现过一些“虚拟女友”类面向C端的AI产品，可以用AI模拟人类和用户聊天，但很快被微信等平台封掉。张文浩观察到，国内大平台目前不支持这种产品的上线。
记者在各个电商平台平台搜索“AI换脸”“AI换脸套餐”均未显示任何结果，社交平台则更多是防止AI换脸诈骗的内容。
北京嘉维律师事务所律师赵占领对经济观察报记者表示，目前AI换脸、AI换声音还不算是一个产业，是AI产业滋生出来灰色地带，通常涉及到侵犯肖像权或者声音相关的权益。使用他人的肖像和声音需要经过他人授权，如果通过AI换脸、AI换声音进行诈骗则构成刑事犯罪，需要承担相应的刑事责任。
赵占领表示，使用AI换脸、AI换声音的基本边界是要经过他人同意，不能侵犯他人的合法权益，更不能使用这些技术手段去从事犯罪活动。
赵占领表示，今年之前，没有专门针对AI技术相关的法律规定，传统的法律如《民法典》《民法通则》等民事相关法律以及《刑法》相关的法律规定仍然能够适用，进行规范没有问题。今年开始，4月份国家网信办发布了一个关于生成式人工智能的征求意见稿，专门针对AI技术和AI行业特有的现象进行了规范，特别是对AI软件的提供者、AI服务的提供者，赋予了更多的责任和义务。
赵占领提到，AI换脸即使是不以盈利为目的也可能构成侵权，就算纯属娱乐类的换脸剪辑等也可能构成侵犯他人肖像权。
在北京市中闻律师事务所律师赵虎看来，AI技术发展引起的犯罪或者侵权比较新型，犯罪侵权的样式比较多。但他表示，AI换脸作为一种技术是中立的，这是一个原则，AI技术相关产业不应该被否定。赵虎认为，如果是在知道AI技术将被用于犯罪场景或者侵权场景，仍然提供AI换脸的技术，这种情况提供者同样是犯罪者的共犯或者构成共同侵权。
5月16日，OpenAI 创始人兼CEO Sam Altman出席美国国会召开的主题为“AI监管：人工智能的规则”听证会时，提出希望与政府合作，加强AI监管。他提出了三条建议：组建一个新的政府机构，负责给AI厂商提供许可证；为AI大模型创建一套安全标准；指派第三方专家独立审核AI产品各方面的指标。除此之外，Altman支持创立一个类似一个国际原子能机构的国际组织，专门负责为各国监管AI建立统一标准，以统一方向。
张文浩也希望，能有更清晰的法律与规则，让AI行业发展的前景更为明朗。