|
最近几天，AI新骗局在全国炸开了锅。
前有AI论文造假和新闻造假，后有疑似AI换脸的杨幂、迪丽热巴出现在直播间卖货。昨日内蒙古包头的一起“AI电信诈骗10分钟骗走430万”登上微博热搜，引起全民关注。
就在昨天，一组引起美股大跌的五角大楼爆炸图片被官方证实为假，疑似由AI合成。
随着AI技术掀起新一波落地潮，AI深度伪造（DeepFake）内容在全球范围内病毒式传播，引起产业的强烈担忧。
早在2019年，智东西就调查报道过深度伪造AI换脸黑产。近年来，深度伪造技术与反深度伪造技术的博弈持续不断，相关部门也逐步完善监管法律法规。当下，随着以GPT-4为代表的AI大模型技术迭代进化，深度伪造内容正卷土重来，从而在全球掀起更大的风浪。
从文章到图片，从人声到视频的动态效果都能被最大程度还原，瞒天过海骗过公众，更有各种诈骗套路层出不穷、防不胜防。这些AI伪造内容对很多年轻人来说都真假难辨，老人、小孩则更容易上当受骗。而一旦他们的信任被不法分子用来违法犯罪，后果不堪设想。
有AI技术专家告诉智东西，对于目前这些AI深度伪造技术生成的音视频等内容，普通人用肉眼来鉴别的难度非常之大。
传统骗局换上了一件由AI包裹的“新外衣”，更为隐蔽也更加让人防不胜防。这些AI新骗局是如何骗人的？难辨真假的AI伪造内容需要怎么去识破？产业乱象又有什么样的解法？通过对市面上各种AI新骗术进行梳理分析，本文对这些问题进行了深入探讨。
01.10分钟换脸视频骗走430万，这四大AI新骗局要警惕今年3月，一份名为《暂停大型人工智能研究》的公开信在未来生命研究所官网上发布，包括特斯拉CEO埃隆·马斯克（Elon Musk）、苹果公司联合创始人史蒂夫•沃兹尼亚克（Steve Wozniak）等人在内的千名科学家、企业高管签字呼吁暂缓GPT-4以上版本的研发，他们矛头所指都是强大AI技术可能的负面用途。
AI负面用途的爆发远快于我们的想象。随着AI技术能力加速迭代和落地，AI伪造变得更加容易、内容也更为逼真，随之而来的是假新闻、假图片络绎不绝，变声、换脸造成的恶性事件引发社会担忧。很多人感到，“有图有真相”、“眼见为实”的常识似乎受到了有史以来最猛烈的冲击。
1、换脸视频：10分钟骗走430万
或许我们的身边已经发生了不少由AI换脸引发的恶性事件，只是我们尚未察觉。
近日，内蒙古包头市自治区公安局网侦部门侦破一起利用AI进行电信诈骗的案件，罪犯假借好友名义称自己急需用钱，并拨打微信视频联系这位受害者郭先生。
出于对于好友的信任，再加上已经视频聊天核实了对方的身份，郭先生放松了警惕，分两笔汇款将430万打到了罪犯的银行卡上，但他万万没想到所谓的微信视频通话中的“好友”是由AI换脸技术制作而成的。罪犯利用AI换脸技术，佯装成好友对他进行电信诈骗。目前在警方拦截下，已追回336.84万元，仍有93.16万元已被转移走。
AI换脸是最容易获取对方信任的一类诈骗手段，诈骗者往往利用AI技术换脸成受害者熟悉的人，并拨打电话和对方确认信息。
面对这类新型诈骗方式，一是需要保护好个人信息，不轻易提供任何涉及个人隐私的信息给他人，不随意点进陌生链接、下载陌生软件；二是要通过各种渠道核验对方身份，对潜在风险保持警惕。
和“AI换脸”功能极为相似的是“AI脱衣”。早在今年3月，一则“女子地铁照被AI一键脱衣传播”的新闻冲上了热搜，一名女性搭乘地铁时的一张照片被人用AI软件“一键脱衣”，遭到恶意传播，罪犯还广泛散布不实信息对该女子进行污蔑。
这样的“一键脱衣”技术早在2019年时就已在国外出现，但因广泛的舆论争议和声讨，项目迅速关闭下架。这股不良之风在今年的AI热中再次吹到国内，在网络上以“AI”、“换装”、“软件”等关键词组合搜索时仍能出现不少隐藏极深的相关软件，有心者甚至用此来制作、传播色情淫秽视频，AI视频变装服务已成为一门链条完整的黑色产业。
“AI换脸”在此前已被大量使用到影视剧二度创作、趣味恶搞视频、表情包制作当中，但其中隐藏的法律风险和侵权纠纷依旧不容忽视。近期，据企查查官网信息显示，上海鱼腥草信息科技有限公司就因旗下一款换脸手机APP而遭多位网红博主起诉。
App Store中有近百款“AI换脸”应用程序
早些时候，一位名为“特效合成师洪亮”的视频博主在自己的视频中，将电视剧《你是我的荣耀》中男主演杨洋的脸，通过AI换脸技术换成了自己的脸，最终遭到主演粉丝的追打，从而引起了不少网友的注意。
“特效合成师洪亮”账号中上传的部分AI合成换脸视频
这位视频博主以换脸男明星为噱头，实则是给自己的影视特效制作付费课程引流，但行为上已经给出演电视剧的演员迪丽热巴、杨洋等人造成了侵权。《狂飙》爆火之后，也有不少粉丝将剧情片段与电视剧版《西游记》换脸进行二度创作，在传播度和话题讨论上为电视剧又贡献了一波热度，但却对出演电视的演员造成了一定困扰。
蹭流量的行为，无论是对被换脸的明星，还是对技术充满好奇的公众，都产生了不良的影响和困扰，娱乐和技术之间的界限不应模糊至此。
2、声音合成：复刻人声瞒天过海
前有“AI孙燕姿”爆火，后有AI人声克隆闯入配音圈，AI的声音合成技术被炒得火热，也衍生出不少的恶性事件和相关受害者。
一位网友用美国知名歌手弗兰克·奥什（Frank Ocean）的歌曲片段训练出来仿冒其音乐风格的歌曲，并在地下音乐论坛上发布了这些“音乐作品”，还将这些歌曲伪造成是在录音时不小心泄露的版本，最终蒙混过关，卖出了近970美元（折合为6700元人民币）的价格。
不久之前，西班牙的一家电影制作公司Peabody Films也遭受了AI电话的诈骗，诈骗者伪装成著名演员“卷福”本尼迪克特•康伯巴奇（Benedict Cumberbatch）向公司称对公司的电影很感兴趣，有合作意向，但需要公司先转20万英镑（折合约170万人民币）的定金，之后再谈具体的合作细节。
电影公司意识到了事情的不对劲，向该演员的经纪公司进行求证才发现从头到尾就是一场AI骗局。
海外还有不少利用AI克隆声音进行诈骗勒索的新闻，部分案件涉案金额令人咋舌，高达百万美金。这类诈骗者往往通过电话录音等素材提取某人的声音进行声音合成，再利用伪造后的声音来骗过熟人，就这需要公众对陌生电话保持警惕，即使是熟人也可能被伪造声音。
美国CBS电视台的电视新闻杂志节目60 Minutes在5月22日的最新一期节目中，现场展示了黑客是怎样克隆声音来骗过同事，并成功窃取护照信息的。
60 Minutes在推特中上传了完整视频
仅用了5分钟时间，黑客就通过AI克隆复制了Sharyn的声音，并通过工具替换了手机上来电显示的名称，成功骗过了她的同事，轻而易举地得到了她的姓名、护照号码等私人信息。
3、伪造照片：特朗普“被捕”，教皇穿羽绒服走秀
在AI换脸视频铺天盖地传播的情况下，AI假照片更是泛滥成灾。
美东时间5月22日，一张五角大楼附近地区发生爆炸的图片在社交媒体上疯传。这张虚假照片的广泛流传，甚至导致标普500指数短线下跌约0.3%至盘中低点，由涨转跌。
随后美国国防部发言人立即证实，这同样是一张由AI生成的虚假图片，这张图具有明显的AI生成特征，比如路灯有些歪，围栏长在了人行道上等。
Midjourney生成的90年代情侣写真已经让网友真假难辨，3月时几张前美国总统特朗普被捕的组图在推特上疯传。
照片中的特朗普被警察包围，又按倒在地，看上去狼狈又慌乱。在听证会上，他掩面痛哭，还在潮湿阴暗的囚房中穿上了狱服。这些图片由公民记者网站Bellingcat的创始人艾略特·希金斯（Eliot Higgins）用Midjounrney制作而成。组图发出后，他的账号也随之被封查。
一组由Midjounrney生成的特朗普“被捕”图
“特朗普被捕图”发出不久之后，教皇方济各穿着巴黎世界羽绒服走秀的照片在网上引起轩然大波，发出不久后便有了2800多万的点击量，让不少网友都信以为真。
教皇身着巴黎世家羽绒服走秀
创作者巴勃罗·泽维尔（Pablo Xavier）称，自己完全没想到这组图片居然会走红，自己只是突然想到了巴黎世家的羽绒服、巴黎或者罗马的街道等。
Reddit论坛上的Midjourney板块中，一组“2001年卡斯卡迪亚9.1级大地震，引发的海啸摧毁了俄勒冈州”被大面积传播，照片当中的受灾现场一片混乱，救灾人员、新闻记者、政府官员等人相继出现，人们面带忧虑、惊恐和慌张。但实际上这完全是一场AI引发的“灾难”，历史上并不存在。而这些要素齐全、颜色真实的图片场景让人看上去难辨真伪。
4、编撰新闻：AI成为谣言炮制机
5月7日，甘肃省平凉市公安局网安大队侦破了一起AI炮制虚假信息的案件。
据悉，犯罪利用ChatGPT将自己从全网中搜集而来的社会热点新闻修改编辑，编撰出一条“今晨甘肃一火车撞上修路工人致9人死亡”的虚假新闻，借此来获取网络流量和关注度来变现。
此条新闻一经发布后便获得了超1.5万点击量，好在警方在舆论进一步发酵前介入调查，证实是犯罪嫌疑人利用AI技术进行的新闻造假。
不光是读者们需要鉴别钓鱼网站中的AI假新闻，老牌媒体有时也会被AI虚假新闻蒙骗。
英国《每日邮报》（The DailyMail）曾在4月24日刊登过一则新闻，称“一位22岁的加拿大男子为在韩国以偶像身份出道而整容12次，最终丧命”。
报道称，为了在即将上映的美剧中扮演韩流明星BTS组合中的Jimin，22岁的加拿大演员花了2.2万美元做了12次整形手术，最终不幸身亡
该新闻引起全球多家媒体关注，韩国YTN新闻频道等电视台迅速跟进报道，网友们对此也表示了自己的同情与惋惜。
网友对其离世的消息表示惋惜
然而事情在一位驻韩记者以及美国广播电台iHeartRadio提出质疑后全面反转：该男子可能压根就不存在。网友将其照片拿去AI内容检测网站查证后发现，照片有75%的可能性是AI生成的，韩国MBC电视台求证警方后也得到了“未收到类似死亡案例报告”的回复，这则新闻立刻被证实为“AI造假新闻”。
但是事情还未结束，本月初，该男子的家人决定起诉报道过“假新闻”的媒体以及男子所属的经纪公司，还有第一位宣称男子已死亡的记者。言下之意就是，照片并非是AI生成的，男子的确因整容过度而引发的手术并发症而丧命。
多家媒体在未经核实身份，也没手握实质性证据的情况下，称该男子的身份和信息都是编纂的，让一场由AI引发的闹剧彻底变为了一场惨痛的悲剧。
这些由AI编篡出的新闻不仅混淆了大众的视听，更是让本就没有时间和耐心看清事情全貌的路人们失去了分辨真相的能力。
| 
发表于 2023-5-24 10:01:52
