黑灰产正悄然兜售着明星甚至政治人物的AI面孔,例如杨幂、迪丽热巴、刘亦菲等,而这一切仅需1280元。据《每日经济新闻》记者调查发现,这些AI脸已能在实时视频通话和直播中做到“以假乱真”,包括微信、抖音、快手、小红书等在内的各大平台,目前都难以有效识别。
记者通过暗访了解到,与过去的网络换脸技术截然不同,如今的新技术能够实现声音与图像的实时同步克隆。使用者只需模仿目标人物的发型和穿着,AI便能生成高度逼真的语音和面部表情,从而完成全套伪造。这项技术的成熟,使得伪造视频在视觉和听觉上都达到了令人惊叹的逼真程度。更令人担忧的是,新技术通过“绑架”手机摄像头,巧妙地绕过了平台的算法监测,使得传统的通过挥手、大幅遮挡等方式来识别真伪的手段彻底失效。不禁让人感叹科技进步的同时,也带来了前所未有的挑战。
面对如此逼真的实时AI变身,普通用户该如何保护自己?拥有亿万用户的抖音、快手、微信等平台,又该如何提升防御能力?站在这个充满变数的十字路口,我们是否已经做好了充分的准备来迎接这场由AI技术带来的挑战?这不仅仅是一个技术问题,更是一个社会问题,需要我们共同思考和应对。
1
拍脸按鼻露齿及大幅遮挡?照样“不掉脸”!
在技术的推动下,AI换脸已经能够在实时视频通话和直播中做到天衣无缝,且成本变得极其低廉。这背后所反映的是人工智能技术的飞速发展,以及深度伪造技术的不断迭代升级。
回溯过去几年,AI换脸技术经历了显著的演变。早期,换脸模型依赖于目标面部的清晰坐标进行操作,这意味着用户可以通过一些简单的动作来识别伪造内容,比如让对方用手在脸上划过。然而,如今的AI换脸技术已经解决了这个问题,它不再依赖于精确的面部地标,即使手部遮挡或者面部剧烈运动,也能保持换脸效果的稳定。这无疑给检测和防范带来了更大的难度。
正如记者暗访所发现的那样,最新的AI伪造技术实现了声音与图像的完美同步,让伪造内容在视听上都达到近乎完美的程度,极大地增加了识别难度。我们不禁要问,在追求技术进步的同时,是否应该更加关注潜在的风险,并建立起相应的防御机制?
在抖音、快手、小红书等平台上搜索“AI换脸”、“AI视频通话”等关键词,不难发现许多IP主发布的帖子,其中隐藏着一些以此牟利的黑灰产公司。这表明,这种技术已经被不法分子利用,用于各种非法活动。监管部门和平台方需要采取更加有效的措施,打击这些违法行为,保护用户的合法权益。
“照片由你提供,无论是中外明星、名人还是普通人,我们都能做。至于你怎么用,你自己把握,我们不会去打听,也不管。”一家AI换脸公司的工作人员徐盛(化名)在接受《每日经济新闻》记者暗访时说道。“定制一张脸的价格是1980元,先付500元定金,大约5个小时就能做好。然后你就可以用这张脸在微信、QQ等平台进行视频通话,或者在抖音、快手等平台直播。定制好的人脸可以永久使用,多做几张还有优惠,3张以上1600元,你可以随时切换使用不同的脸。”
为了向记者展示“AI画皮”技术的强大,徐盛主动通过微信等平台给记者打来视频电话,并在通话过程中用力拍脸、按鼻子、露出牙齿,甚至大幅度遮挡脸庞,但都未出现任何“掉脸”的情况。“你看,怎么都不会掉脸。声音也可以克隆,全套做好,你只需要模仿对方的发型和服装就行了。”这简直就是现代版的“画皮”,让人防不胜防。
据徐盛透露,开年后前来“画皮”的人很多,公司接单量巨大,已经超负荷运行。“光我就接了近1000个订单,我们这里有七八台设备,每天都要做到凌晨五点。如果你想要名人的脸,可以先发我名字,如果公司库中已经有了(之前客人定制过的),可以优惠出售,这样大家都方便。像杨幂、刘诗诗、迪丽热巴、刘亦菲等,都是现成的,1280元一张脸。”
在谈到公司的“定制脸”时,徐盛表示,目前以素人脸为主,“名人的话,在平台上直播容易被举报。”这似乎暗示着,即使是黑灰产,也知道在灰色地带游走的风险。但这并不能减轻AI换脸技术带来的潜在危害,反而更加凸显了监管的必要性。
2
“绑架”手机摄像头:平台识别成摆设?
迭代后的“AI画皮”技术,在实时视频通话中,竟然能够避开多个平台的监测,这无疑给网络安全带来了巨大的挑战。平台方投入了大量资源进行技术研发,但仍然难以有效识别这些经过AI伪造的“变脸人”,这背后的原因究竟是什么?
在暗访过程中,徐盛在不同的平台之间切换,向《每日经济新闻》记者发起视频通话,甚至直接“现身”直播间,整个过程都畅通无阻。令人惊讶的是,在这些“实时流”中,没有任何风险提示或者被切断的迹象。“我们还没有收到有人被(平台)发现的反馈,因为在手机摄像头里,你打过去的时候,平台上能看到的已经是‘换过的脸’。”徐盛解释道。
记者进一步了解到,使用“AI画皮”时,需要在手机和电脑端都安装由上述公司提供的软件。“我们不仅支持在微信、QQ、抖音、快手、小红书上进行视频通话或直播,还支持一些海外平台,如WhatsApp、Telegram、Line等。”徐盛透露。这意味着,这种技术的影响范围已经超出了国内,成为了一个全球性的问题。
为什么“AI画皮”能够在如此多的平台“瞒天过海”?“它是通过‘绑架’我们的手机摄像头来实现‘变脸’的,而不是篡改平台算法。”国内一家科技公司的相关负责人向《每日经济新闻》记者解释道。这种解释揭示了问题的核心,AI换脸技术绕过了平台自身的检测机制,直接从源头篡改了视频流,使得平台难以识别真伪。
对此,中国人民大学民商事法律科学研究中心副主任姚欢庆在接受《每日经济新闻》记者采访时提醒,当这种技术主要用于“绑架摄像头”的效果时,极有可能构成“提供侵入计算机信息系统程序罪”。这意味着,无论是软件的开发者还是使用者,都可能面临法律的制裁。
“平台对AI生成的深度伪造(包括AI换脸和克隆语音等)难以实时检测,因为平台并非为鉴证级别的(面部或音频)分析而设计。以克隆语音为例,加密使得扫描变得不可能,而压缩则扭曲了语音信号,让检测更加复杂,此外,计算负担也很高。”全球知名科技公司Sensity AI联合创始人弗朗切斯科·卡瓦利向《每日经济新闻》记者表示。Sensity AI专注于网络安全和人工智能领域,致力于通过AI技术检测和预防深度伪造等威胁。他的观点进一步印证了平台在识别AI换脸技术方面所面临的巨大挑战。
2024年度《人工智能指数报告》(AI Index Report 2024)指出,2023年报告了123起人工智能滥用事件,比2022年增加了32.3%。自2013年以来,这类事件增加了二十多倍。其中一个典型的案例是由AI生成的美国明星泰勒·斯威夫特的不雅视频,该视频在网上广泛传播,引起了社会各界的广泛关注,也反映出AI技术在隐私、安全等方面存在的巨大风险。这份报告由“人工智能教母”李飞飞联合领导的斯坦福以人为本人工智能研究所(Stanford HAI)发布,其权威性不容置疑。
世界经济论坛官网今年1月发布的一篇报道指出,生成式人工智能(GenAI)的兴起使得欺诈行为以前所未有的速度增长。2023年,利用深度伪造技术绕过身份验证的事件激增704%。这再次证明了AI技术被滥用的严重性,以及加强监管和防范的紧迫性。
“AI深度伪造已经成为网络犯罪分子的一个新兴操作工具。”卡瓦利直言。这不仅仅是一个技术问题,更是一个法律和社会问题。我们需要从多个层面入手,加强对AI技术的监管,防止其被用于非法活动。
姚欢庆向《每日经济新闻》记者指出,“但凡采用AI技术模仿明星或者名人的声音或者肖像,用于通话和直播带货,使得他人产生误认的效果,涉嫌违法,并至少构成一种不正当竞争行为,从而要承担停止侵权、赔偿损失的法律责任。至于是否构成对他人肖像权、声音权的侵犯,还需要根据具体情节确定。”这意味着,即使没有造成实际的经济损失,仅仅是利用AI技术模仿他人进行商业活动,也可能构成违法行为。
3
平台紧急回应:严禁售卖相关商品
当“AI画皮”频繁出没,拥有数亿月活用户的各大平台也感受到了这次危机的严峻性。用户是平台生存和发展的基石,一旦用户对平台失去信任,平台也将面临巨大的挑战。
数据显示,截至2024年三季度,微信月活跃账户数高达13.82亿。根据专注移动互联网数据分析的第三方机构QuestMobile发布的最新数据,2024年12月全网月活跃用户规模再次刷新历史纪录,达到12.57亿。其中,抖音、快手、小红书的月活跃用户规模分别达到9.78亿、5.87亿和2.25亿。这些数据表明,这些平台已经渗透到人们生活的方方面面,一旦出现安全问题,影响将是巨大的。
北京市隆安律师事务所上海分所律师贾玉倩向《每日经济新闻》记者表示,平台有义务根据自查、用户投诉等反馈信息,及时下架有欺诈风险的视频。平台不仅仅是一个信息传播的渠道,更是一个承担着社会责任的主体。平台应该积极履行自身的义务,保障用户的合法权益。
对此,姚欢庆认为,“提供换脸服务的平台,很有可能要承担责任。因为换脸服务虽然也可以用于正当目的,但更大的概率是用于不正当的活动。当然,这部分需要立法上明确。即换脸服务应当是一种特许经营,类似于开锁,需要获得政府的准入。如果是这样,平台就有审核义务。”这意味着,对于涉及敏感技术的服务,应该实行更加严格的准入制度,从源头上控制风险。
针对技术升级后的“AI画皮”情况,抖音方面相关负责人向《每日经济新闻》记者表示,“我们平台不鼓励对‘AI换脸’等可能涉及侵犯他人权益的内容进行宣传、推广或教授。对于宣传推广AI换脸软件或教学等内容,以及未经他人授权或同意,利用他人形象创作可能误导观众为该人物本人发布或真实发生的视频内容,均会予以相应管控。”这表明,抖音已经开始采取行动,限制AI换脸技术的传播和滥用。
在直播场景下,抖音也全面禁止不当使用AI换脸技术,因为这会造成用户的混淆认知。同时,抖音也禁止以猎奇、夸大噱头等方式对AI技术进行不当宣传。上述负责人表示:“根据不同严重程度,我们会对相关账号进行从警告中断到封禁直播权限不等的处置。”
“我们持续治理‘AI换脸’相关内容,针对‘AI换脸冒充他人’‘违规提供AI换脸服务’等内容,平台会根据规则进行相应管控。”小红书方面相关负责人向记者表示。各个平台都在积极采取措施,应对AI换脸技术带来的挑战。
微信视频创作安全中心相关负责人亦告诉《每日经济新闻》记者,对于涉及真人出镜的内容,无论是否使用 AI 技术制作,若存在冒充他人的倾向或用于商业用途,均需提供证明材料,确保为本人真实身份或已获得相应授权。“完全由 AI 生成的人脸内容,需提交AI制作过程的相关信息,并使用平台提供的功能进行显著标识。”这表明,平台正在尝试通过技术手段和人工审核相结合的方式,识别和控制AI换脸技术带来的风险。
同时,微信、抖音、快手、小红书等平台的相关人士均向《每日经济新闻》记者表示,如果用户发现平台上出现与“AI换脸”相关的违规内容,可以通过站内官方渠道进行举报。这表明,平台正在积极鼓励用户参与到监管中来,形成共同治理的局面。
“为切实保障用户权益,维护平台健康生态,我们明确规定:严禁售卖 AI 换脸及与之类似的商品。”抖音电商相关负责人在接受记者采访时表示,像利用AI 技术进行换脸、换声,以致干扰、误导用户判断的这类商品和信息,均被平台列入违禁范畴。一旦发现商家存在违规操作,平台将秉持从严原则,依据相关规定予以处理;若情节严重,不仅会封禁相关商品,还会责令店铺停业整顿。这表明,平台正在从源头上切断AI换脸技术的传播途径,防止其被用于非法活动。
4
无法实时拦截!技术升级迫在眉睫
尽管各大平台对“AI画皮”带来的潜在风险给予了高度重视,但在采访过程中,多家平台和技术专家坦言,目前想要在视频通话和直播中对“画皮人”实施有效拦截,仍然面临着巨大的挑战。
“我们有技术层面的主动识别,但无法穷尽,也有通过举报反向治理。”某平台相关负责人透露。这意味着,平台在技术层面仍然存在局限性,无法完全依靠技术手段来解决AI换脸带来的问题。用户举报成为一种重要的补充手段,但这种方式也存在一定的滞后性。
针对平台所面临的审核挑战,卡瓦利向《每日经济新闻》记者表示,加密平台无法直接分析内容。此外,对于平台而言,在数百万个同时进行的视频通话或直播中,运行深度学习模型将会面临巨大的挑战,而且成本非常高昂。想要有效阻挡实时AI深度伪造的攻击,最大的技术挑战在于“隐私悖论以及平台与攻击者之间的猫鼠游戏”。这意味着,在保护用户隐私和打击AI换脸技术之间存在着一种难以调和的矛盾。同时,攻击者也在不断改进技术,试图绕过平台的检测机制,形成了一种“猫鼠游戏”的局面。
“平台无法在不违反隐私法律的情况下扫描加密通话,而攻击者则不断改进AI生成的画面、声音,以逃避检测。除非模型直接嵌入用户设备,否则实时拦截不太可能有效。”卡瓦利坦言。这意味着,除非技术能够实现突破,否则平台很难在不侵犯用户隐私的情况下,对AI换脸技术进行有效拦截。
在看过《每日经济新闻》记者提供的关于“AI画皮人”的案例后,一位行业人士表达了自己的担忧:“AI换脸人”是否能够绕过系统的“真人验证”?未来是否有可能出现有人伪装成去世老人“吃空饷”,或者一些空壳公司借用AI换脸注册后逃避债务的情况?这些担忧并非杞人忧天,而是基于现实的考量。
“从技术上讲,这是完全可行的。当前的深度伪造技术可以欺骗面部和语音识别的防伪验证。”卡瓦利向《每日经济新闻》记者解释道,大多数系统仅仅是检查出现的面部和声音是否匹配,而不会检查它们是否来自真人。这意味着,现有的身份验证系统存在着明显的漏洞,很容易被AI换脸技术所利用。
卡瓦利预测,“AI深度伪造技术会变得更加成熟。模型将继续缩小规模,使得实时、超逼真的深度伪造通话对任何拥有智能手机的人来说都将成为可能。我们还将看到多模态深度伪造技术,即语音、视频,甚至行为生物特征被合成在一起,创造出完全虚假的身份。防御措施必须同样快速跟上。”这意味着,我们需要不断提升技术水平,才能应对AI换脸技术带来的挑战。
AI技术在推动社会生产力发展的同时,也在以惊人的速度沦为新型犯罪手段。姚欢庆在接受《每日经济新闻》记者采访时指出:“整体技术的开发和应用,都应当通过立法来进行严格的限制。目前的环境总体来说过于宽松。”这意味着,我们需要从法律层面入手,加强对AI技术的监管,防止其被用于非法活动。
姚欢庆认为,“AI诈骗数量的大幅增长与技术的发展密不可分。诈骗者和整个社会之间,实际上就是一个道与魔斗法的过程。在这个过程中,网络诈骗导致技术追踪的难度,以及诈骗者利用不同法域进行诈骗所导致的管辖权问题,尤其值得重视。此外,鉴于人工智能技术的滥用具有跨境性质,需要建立国际合作机制来解决,否则很难有效地保护权利人的利益。”
“AI行业可以结合司法规范,统一建立便于监管识别的AI内容标识,便于追根溯源。同时,要考虑到AI技术不断迭代、传统审核手段应对的局限性,审核及监管部门需要升级技术,关注技术防御的迫切性。”贾玉倩建议,应该从源头上肃清技术滥用风险。同时,平台方应该加强对传播信息的审核,强化通过AI合成的提示标识,并对用户进行此类技术存在侵权风险的教育工作。
总结
“视频通话AI换脸”技术的兴起给网络安全带来了新的挑战。尽管平台方采取了一系列措施,但由于技术本身的复杂性和不断迭代,以及黑灰产的恶意利用,使得监管和防范工作面临着巨大的困难。为了应对这一挑战,需要从技术、法律和社会等多个层面入手,加强监管,提升技术水平,提高公众的防范意识,共同维护网络安全和用户的合法权益。 这不仅仅是平台和监管部门的责任,更是每一个网民的责任。 只有全社会共同努力,才能有效应对AI技术带来的风险,让科技更好地服务于人类。