央视主持人李梓萌卖鱼油
奥运冠军全红婵直播带货土鸡蛋
杨幂卖衣服,靳东专骗中老年阿姨的感情和钱刘晓庆卖减肥药......
这些以假乱真的视频,背后竟全是AI换脸在捣鬼。
如今官方下场,又调查出多少秘密?
9月1日,网信办牵头搞了个新规定,叫《人工智能生成合成内容标识办法》。
这个规定就一件事,以后只要是AI做的东西,不管是视频还是声音,都必须打上标签,告诉大家这是AI,不是真人。
目的就是让大家别傻乎乎地被骗了,可规定是好,架不住总有人不当回事,这边刚说要贴标签,那边搞歪门邪道的人早就想好了对策。
骗子们只要从网上找一段明星的公开视频,再截个十来秒的声音,就能造出一个以假乱真的“AI明星”。
有软件客服就吹嘘,他们那个工具只要你给五秒钟的音频,就能克隆出相似度99%的声音,而且想让“明星”说什么它就说什么。
这事儿成本低,利润高,骗子们用这技术一天就能做好几万条假视频,然后开一大堆小号在网上到处发。
而平台这边也头疼,因为视频太多了,根本管不过来,前脚刚封一个号,他后脚就注册了一百个新号接着发,简直是永无止境。
而且这些假视频很难查到是谁做的,就算明星本人想告,也常常因为找不到人,最后不了了之,这就让骗子们的胆子越来越大。
这不竟将主意打到了央视主持人李梓萌的身上。
在他们的视频里的李梓萌坐在一个直播间,特别专业地推荐一款深海鱼油,把它夸得跟神药一样,什么病都能治。
关键是这表情声音简直跟电视里一模一样,别说中老年人,就是年轻人一晃神也得信了。
但是实际上买回家之后大家发现根本不是宣传的那回事,那么“央视主持人”怎么卖假货呢?
举报的人多了,监管部门就介入调查了,他们一查就发现了问题,这款所谓的神药,在备案信息里就是普通糖果,根本没有宣传里说的那些功效。
这下性质就明确了,就是虚假广告,但最关键的问题是怎么证明视频里的人是假的?
监管部门将证据链给凑齐了,技术鉴定,产品信息,视频,鉴别后认定为假的。
最后这家公司因为违反了广告法,被处以重罚,而这个“杀鸡儆猴”的案子一出,效果也立竿见影。
因为它告诉所有还在用AI动歪脑筋的人,法律迟早会制裁。
不过李梓萌也不是第一个受害者,事实上在监管部门出手之前,AI换脸受害者名单拉出来能有一长串。
奥运冠军全红婵就是另一个被AI坑得很惨的例子,不知道从什么时候开始,网上突然冒出来一大堆用着全红婵头像和名字的账号,用AI合成的声音和视频开始直播卖东西。
一会儿说这是我们家自己养的土鸡下的蛋,一会儿又说这是农家自产的土蜂蜜,还说是为了帮助农民。
很多喜欢全红婵的粉丝一看偶像在做公益,想都没想就下了单。
结果这事闹大了,全红婵的家人专门出来澄清,说她压根没代言过任何农产品。
这股风气很快就从跳水界蔓延开来,乒乓球的孙颖莎,王楚钦也没能幸免,网上也出现了AI版的他俩在卖东西的新闻。
娱乐圈更是重灾区,AI杨幂在直播间里卖衣服,AI靳东专门骗中老年阿姨的感情和钱。
最夸张的连综艺里的片段都不放过。
演员刘晓庆在一个节目里吃饭的镜头,被人抠出来换上了减肥药的广告,搞得她本人哭笑不得,赶紧发文说,脸是我的,声音也像我,但真不是我。
这些假视频的播放量动不动就上百万,还有更过分的,直接用AI技术合成香港明星古天乐,林峰的视频,让他们去给赌博网站打广告。
从卖假货到搞诈骗,再到给非法网站引流,一条用明星的脸来赚钱的黑色产业链就这样形成了。
不过要说这事最奇妙的地方,还得回到全红婵身上,因为这个让她头疼不已的AI技术,在另一个场合,却是帮了她大忙的功臣。
2024年11月12日的一场大会上,全红婵说AI对她的训练帮助特别大。
她说进入巴黎奥运周期,自己的身体在发育,个子长了,体重也增加了,做动作的感觉跟以前不一样了,就在她苦恼的时候,AI辅助训练系统帮了她。
这个系统是百度和国家跳水队一起研发的,能从各种角度拍下她跳水的全过程,然后把这些动作数据和她以前最完美的动作进行比较。
每次训练完,教练就会拿着AI分析的结果告诉她,哪个地方发力不对,哪个地方角度差了一点。
全红婵说正是靠着这个AI教练,她才更快地调整了状态,把动作做得更好,而且不光是跳水,游泳,体操这些国家队也都在用这套技术。
一边AI是帮运动员精益求精,为国争光的秘密武器,另一边AI又成了别人盗用形象去骗钱的作案工具。
其实能看的出来技术这东西,它本身没有好坏,在好人手里是有用的工具,在坏人手里就可能伤人。
AI可以用来帮助运动员夺冠,也可以被用来搞诈骗,说到底问题不在技术,而在用它的人心里想的是什么。
现在国家虽然开始严管,也抓了典型,但想彻底管住非法AI也不容易,以后咱们在网上看见名人推荐东西,可真得多个心眼,眼见不一定为实,别轻易上当。
参考资料:
云衔科技是一家专注于企业数字化广告营销解决方案的服务商。公司凭借深厚的行业经验和专业技术能力,致力于为企业客户提供全方位、更高效的数字化广告营销与运营服务。
京公网安备 11010802043925号
微信扫码 快速咨询