央广网北京6月1日消息(记者周益帆)近日,因AI换脸技术导致的诈骗案件,引发了人们的关注。伴随着AI大模型的发展,“换脸”技术应用范围越来越广,从美颜到影视制作、数字娱乐再到直播带货,不断吸引着眼球与流量;技术的突破,还使得换脸后的人物表情、动作细节更为逼真,一旦被不法分子利用,可能会带来严重危害。记者调查发现,在网上,AI换脸软件的获取非常容易,利用AI换脸软件的法律边界在哪里?如何做好事前监管?

 

2017年起,一项被命名为“deepfake”(深度伪造技术)的概念,使得生成高度逼真、肉眼难辨的换脸视频内容成为可能;2019年,在我国,换脸软件“ZAO”的走红,引发了人们对于生物识别等内容的监管讨论,上架几天后,企业被工信部约谈,App下架;而当下,依托于大模型及算法的突破,AI换脸正在实现更大范围的应用,引发更多担忧。

在网络上,演示此类换脸软件使用方法及效果的教程比比皆是。

不同于大量给普通人“尝鲜”的免费软件,记者发现,在网络上还有很多高价的付费AI换脸软件,这些付费软件与免费软件有什么样的不同?

记者搜索“AI换脸软件”后联系上了一个开发者,他给记者提供了一段使用其软件实现换脸的示范视频——双视窗页面左侧是换脸之前的原始视频,右侧则是换脸之后的视频,肉眼来看,换脸之后的“数字人”口型、表情、微小的动作几乎毫无破绽。

△卖家展示的素人换脸效果——口型、表情等细节十分逼真

在其销售网站上,该软件开发者还展示了如何将两位知名女星的眼睛和嘴巴拼接到一起,生成全新“数字人”的视频。

△卖家展示的整体换脸(S为原视频,D为更换之后)

这一付费软件提供着从初级(LV1)到超级(LV4)再到全套(LV5)的不同版本。以初级套餐来说,499元提供软件界面、视频指导以及“300万+入门级模型”,如果花2888元,则可以得到全套(LV5)等级的800w视频换脸模型。

△网络上提供着多种不同等级的换脸软件产品

打开该网站,底部没有任何文字显示其经过了备案。卖家也十分谨慎,全程仅用文字交流。他表示,与初级(LV1)至超级(LV4)套餐相比,全套(LV5)版本迭代更多,能力更强,也可以理解为换脸效果更为逼真,同时,不仅可以实现视频换脸,还支持直播换脸。

记者进一步询问,能否根据自己的需求换脸?对方表示,如果看到某个人五官觉得不错,只要找到这个人正面脸及多角度视频,就可以导入软件进行训练,实现逼真换脸;如果用户想要明星脸,又不希望被一眼看出来,则可以找几个买家认可的视频段落放在一起训练,就能够实现“有点像又不太像”的换脸功能。

△该软件开发者在与记者的聊天中表示:“想换什么样的脸拿素材训练就可以”

△卖家展示的用户反馈

一位从事AI开发的技术人员表示,这意味着可能会有更多难以控制的风险。“技术本身其实是不分好坏的,但类似于Deepfake这样的AI换脸技术是开源的,也就是说所有人都可以看、可以用,所以在很多年前就已经在黑灰产中蔓延滋生,比如说被用来搞电信诈骗。因为最近的AI大模型火起来了,它的算法又有了更新,就可以集成文生图、文生文,文生音频、文生视频、换脸,这样的功能结合起来,就可以打造出一个完全崭新的数字人或者叫AI人,监管的成本和难度高了好几个数量级。”

北京嘉维律师事务所律师、IT法律专家赵占领表示,从事后打击的角度来说,《中华人民共和国刑法》中有关于诈骗罪的规定;《中华人民共和国民法典》明确,公民享有肖像权、姓名权、名誉权等相应的民事权利。也就是说,如果发生使用他人的肖像进行诈骗的相关案例,不法分子能够在事后被法律约束与制裁。但在人工智能技术飞速发展的当下,我们还应探讨如何能够做到有效的事前防范。

“监管部门如何制定合理的规范,通过赋予人工智能服务的经营者一定的义务,从事前防范的角度,在某种程度上减少这种技术的应用可能带来的一些风险,这个可能是需要探讨的。那么,从今年年初开始有两个规定,一个是深度合成服务的管理规定《互联网信息服务深度合成管理规定》,这已经生效了;另外一个是网信办在4月份的时候公开征求意见的《生成式人工智能服务管理办法(征求意见稿)》,那么这两项规定它是从行业监管的角度,对提供深度合成服务的软件,或是生成式人工智能服务的这种软件,对此类经营者提出了相关的管理要求。”赵占领表示。

例如,在《互联网信息服务深度合成管理规定》中要求,深度合成服务可能导致公众混淆或者误认的,深度合成服务提供者应当在生成或者编辑的信息内容的合理位置、区域进行显著标识;《生成式人工智能服务管理办法(征求意见稿)》要求,利用生成式人工智能产品向公众提供服务前,应当按照有关规定向国家网信部门申报安全评估;要尊重他人合法利益;产品提供者应当对生成式人工智能产品的预训练数据、优化训练数据来源的合法性负责等。

浙江大学国际联合商学院数字经济与金融创新研究中心联席主任盘和林认为,从目前来说,如果能够有效落实“标识”的要求,形成有效的监管体系,可以在很大程度上提前厘清AI换脸所带来的“模糊边界”。“目前的监管相对于AI换脸技术发展确实略有滞后,但规则上我觉得已经补足,但是当前的AI换脸的‘标识’的监管体系还没有形成,我们要针对不标注的内容,通过技术的手段来辨别,并且对不标注的个人或者是单位组织要有具体的处罚措施、标准以及制度。这里主要的核心就是一个‘标注’,不加标注的合成内容,播放者或者制作者都要承担相应的责任。让公众受众或消费者有一个明确的辨认,既可以有效区分,又可以针对性地监管,很多问题就能够解决。”

赵占领认为,从长远来看,监管与处罚措施恐怕还需要随着技术发展不断“迭代”,才能形成立体有效的治理方案。

“这里面有很多规定,比如说对于合成式服务提供者,要在合成的结果上要有一个明确的标识;这种服务的提供者本身他对用户输入的信息以及输出的结果,会承担一个审核的责任,这个责任相对比较重,但可能很多经营者并没有遵守这样的义务;还有一个是,有些情况下是否侵犯他人的第三方权益,是需要人工的判断,有价值的判断,在目前的技术条件下,我们还很难完全做到。这样的话就会导致尽管有相应的规定,但实际上在操作层面,可能还是需要通过技术本身不断地完善,来逐步解决这样的问题。”赵占领表示。

(为保护受访者隐私,部分音频进行了变声处理)

编辑:顾涵
原创版权禁止商业转载 授权>>
转载申请事宜以及报告非法侵权行为,请联系我们:010-56807194