被神话也被误读的GAN:从实验室博弈到产业落地的十年冷思考

上周在南京江北新区的一家游戏外包公司聊了一下午,对方的算法负责人跟我倒苦水——之前跟风换了最新的扩散模型做游戏素材生成,用了三个月全给撤了,又捡回了三年前改的GAN模型。

我当时第一反应是,现在谁还提GAN啊?

对方笑,说你是真不知道,实时捏脸、动态场景生成这些要跟用户交互的场景,扩散模型那几十秒的生成延迟,玩家早就退游戏了。

被神话也被误读的技术逻辑

说穿了GAN的逻辑从诞生到现在都没变,就是俩模型对着卷。一个负责造,学着把随机噪声捏成像模像样的图、材质、场景;另一个负责挑,每收到一个生成结果就打分,说你这光影不对、纹理太假、边缘有锯齿。俩模型互相较劲,造的那个越练越能以假乱真,挑的那个越练越火眼金睛,直到最后挑的那个分不出来真假,训练就成了。

这个设计2014年刚出来的时候,整个计算机视觉圈都觉得是邪道。

毕竟之前大家做生成模型,都是想着怎么把真实数据的分布摸透,靠数学公式算出来新的样本,Goodfellow倒好,直接让俩AI互相卷出结果。

但硬伤也从第一天就埋下了。训练不稳定,俩模型卷着卷着就失衡——要么挑的那个太厉害,造的那个根本学不会;要么造的那个摸透了挑的那个的喜好,天天就生成那几样固定的东西,连换个角度都不会,也就是业内常说的模式崩溃。

GAN生成对抗网络训练过程示意图
GAN生成对抗网络训练过程示意图

后来扩散模型火了,大家发现这玩意训练稳,生成的多样性高,做出来的艺术图、人像比GAN精致好几个档次,瞬间就把GAN的热度盖过去了。很多人顺理成章觉得,GAN已经是被淘汰的老技术了。

真不是。

产业端算的是实打实的成本账。扩散模型的生成过程是一步步去噪,从一张全是雪花的模糊图慢慢磨成清晰的结果,跑一遍少说要二十到五十步,端到端延迟动辄几百毫秒。GAN是一次前向传播就出结果,同样的硬件条件下,延迟能压到几毫秒。

这差的不是一点半点。

没人吹的落地场景,才是GAN的基本盘

回到开头那家游戏公司的例子,他们算过一笔账:用扩散模型做实时捏脸功能,用户拖动滑块调整五官的时候,生成结果要等30秒才能出来,这个体验根本没法上线。换了基于StyleGAN改的定制化模型之后,调整五官的每一步,生成的人脸延迟不到10毫秒,跟真实的实时预览没区别,用户的捏脸时长直接翻了三倍,留存涨了近20%。

这种对实时性要求极高的场景,现在基本是GAN的主场。

比如自动驾驶行业的仿真测试,要凑够足够多的极端场景样本——暴雨天的高速路、逆光的隧道出口、突然横穿马路的行人,这些场景靠真实路测跑,成本高到离谱,而且很多危险场景根本不敢真的在路上测。之前大家用人工搭3D场景,搭一个复杂的雨天高速场景要花好几天,现在用定制化的GAN模型,一天能生成几万组不同光照、不同天气、不同交通流的合规仿真场景,测试效率直接提了两个数量级。

GAN生成自动驾驶暴雨道路场景示例
GAN生成自动驾驶暴雨道路场景示例

还有实时虚拟人直播的场景,很多小团队现在根本用不起成本高昂的动作捕捉系统,靠轻量版的GAN模型,只要摄像头拍着主播的脸,就能实时生成虚拟形象的表情、动作,延迟压到跟主播的动作几乎同步,一套系统的成本只要原来的十分之一。

说实话,很多技术的价值从来不是在社交平台的对比图里体现的。天天拿生成艺术作品的画质比,当然是扩散模型赢。但要比实时性、比部署成本、比推理效率,很多场景下GAN现在还是没有替代品。

别信那些说GAN已经死了的言论。他们根本没去过产业一线。

比深度伪造更隐蔽的风险,一直没人认真提

聊完好处,得说点让人头疼的问题。

很多人对GAN的风险认知还停留在几年前的AI换脸,觉得就是生成点假的网红脸骗流量。但实际上现在产业端遇到的风险,比这隐蔽得多。

比如去年有个电商平台的团队跟我吐槽,他们发现有一批商家用开源的GAN模型批量生成商品的实拍图——这些图不是那种一看就很假的AI图,是跟真实的手机拍的商品图一模一样的,连像素的噪点都跟真实相机拍的没区别。之前平台用来检测AI生成内容的工具,全是针对扩散模型的特征做的,根本识别不出来这批GAN生成的图,等最后发现的时候,已经有几十万条商品链接用了这种假图,平台花了三个多月才清干净。

还有版权的问题。现在很多开源的GAN模型,训练的时候是爬了全网的艺术作品、游戏素材、商业摄影图,没有拿到任何版权授权。之前欧洲的版权组织已经给好几个知名的开源GAN项目发了整改通知,要求他们要么拿出训练数据的授权证明,要么直接下架模型。这个问题到现在都没有完美的解决方案——毕竟GAN生成的内容是端到端出来的,根本追溯不到它到底学了哪几张版权图。

更别说工业场景的风险了。要是有人用GAN生成假的质检报告、假的设备运行数据,这些东西混在真实的生产数据里,连专门的检测工具都不一定能认出来,最后出了生产安全事故,谁来担责?

这些问题,从来不是靠一句“AI技术中立”就能绕过去的。

最后说几个我自己的判断,不一定对,但都是跟一线的人聊出来的实在话。

未来3到5年,GAN不会消失,更不会被扩散模型完全替代,俩技术最后肯定是互补的关系。扩散模型负责做离线的高质量素材——比如电影的概念图、游戏的过场动画、非实时的营销海报;GAN负责所有需要实时交互的场景——比如游戏的实时内容生成、虚拟人的实时驱动、自动驾驶的实时仿真。谁也替代不了谁。

会有一批专门做轻量化GAN部署的服务商冒出来。现在很多中小企业想用上GAN,得自己养个算法团队改模型、做优化,成本高得吓人。以后这些公司会把模型做成现成的SDK,中小企业只要接进去,就能在自己的业务里用实时生成的功能,就像当年做轻量化推理框架的公司一样,把技术的门槛打下来。

最后是治理的问题。再过个两三年,肯定会出强制的生成内容标识规范,尤其是对GAN生成的内容。毕竟这玩意现在的检测难度比扩散模型高太多了,不强制要求标识,最后整个内容生态都会被假东西搅得乱七八糟。

说起来挺有意思的。2014年Goodfellow在酒吧第一次跟朋友聊起GAN的想法的时候,周围的人都觉得他在说胡话。谁能想到十年过去,这个当初被当成异想天开的技术,没有被捧成什么万能的神,反而在那些没人注意的产业角落里,扛着最累的实时生成的活。

技术从来不是靠热搜火起来的。

能落地的,才是真的有用。

作者|大讲堂

排版|大讲堂

审核|小北

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:被神话也被误读的GAN:从实验室博弈到产业落地的十年冷思考
文章链接:https://lfdjt.com/info_23_28301.html