你有没有想过一件事：市面上那么多AI图像生成模型，SD3、FLUX.1、Qwen-Image，它们各自画出来的图都挺不错，可它们之间能不能"合作"？
比如让一个模型先打个草稿，另一个模型来精修，就像两个画家接力完成一幅画。
听起来很美好，但现实很骨感。这些模型内部用的"语言"完全不同，有的用128维的隐藏空间，有的用256维，参数化方式也五花八门。强行让它们对话，就像让一个只会说四川话的人和一个只会说粤语的人直接聊天，表面上都是"中文"，实际上鸡同鸭讲。
过去大家要么放弃治疗，让每个模型都是孤岛，要么针对每一对模型单独训练一个翻译器。但如果市面上有十个模型，两两配对就要训练45个翻译器，这事根本做不完。
这篇来自复旦大学和上海人工智能实验室的论文，就是想解决这个"翻译器爆炸"的问题。他们给出的方案叫InstantFusion，核心思路是搭一个公共广场，让所有模型都先把自己的"方言"翻译成普通话,再从普通话翻译回对方的"方言"。这样不管有多少个模型,只需要N个翻译器,而不是N?个。
一个意外的发现:AI模型们其实长得挺像
在正式讲方法之前,论文里有个观察特别有意思,也是整个研究的起点。
研究者们把Qwen-Image、SD3、FLUX.1这几个独立训练出来的模型拿来对比,发现一件怪事:尽管它们的隐藏表示维度不一样(Qwen-Image是[1,16,1,128,128],SD3和FLUX.1是[1,16,128,128]),但把这些隐藏状态的空间自相似性画出来看,图案居然长得差不多。
潜在空间*:也叫latent space,是AI模型在生成图像过程中用来表示"半成品图像"的一种压缩编码,不是人眼能直接看懂的图片,而是一堆数字矩阵。
这就好比几个从未见过面、用不同语言写日记的人,写出来的日记在情感起伏的曲线图上却高度相似。他们没有商量过,但因为都在记录"人类生活"这件事,内在的节奏其实是相通的。
研究者还做了个更大胆的实验:让SD3跑到一半时突然停下,把半成品直接硬塞给SD3.5或者FLUX.1,让后者接着画完。结果同系列模型之间(SD3到SD3.5)交接得很顺畅,画面毫无违和感;跨系列交接(SD3到FLUX.1)虽然出现了局部的噪点和瑕疵,但神奇的是,图片中间那个杯子的主体轮廓和大致布局竟然被完整保留了下来。
如果没有这次草率的"直接硬塞"实验,研究者可能根本不会意识到跨模型的语义结构是部分共享的。正是因为这个"半成品"的直接移交没有彻底崩坏,才让团队确信这条路走得通,值得投入去建一个正式的翻译接口。
这个发现直接点燃了整篇论文的研究方向:既然粗糙的结构能幸存,那就该有办法把这种"部分兼容"精细化,变成一个真正可用的工具。
LAE:给每个模型配一个随身翻译官
InstantFusion的核心组件叫做LAE(Latent AutoEncoder,潜在自编码器)。
LAE*:每个生成模型配备一个专属的轻量级编码解码器,负责把该模型的中间状态"翻译"成共享空间里的通用表示,再从共享表示"翻译"回该模型能理解的格式。
你可以把LAE想象成联合国会议上坐在每个代表身边的同声传译员。每个国家代表(生成模型)只需要说自己的母语,传译员负责把话翻译成一种中立的"会议通用语"(共享潜在空间),其他国家的传译员再把这句通用语翻译成自己代表能听懂的语言。
如果没有这套同声传译系统会怎样?那就只能让懂四国语言的人亲自上场,一对一地互相翻译,也就是前面说的"翻译器爆炸"问题。而现在,每个代表只需要配一个翻译员,新来一个国家代表,也只需要再配一个翻译员,不需要把已有的翻译员全部换掉或重新培训。
这套系统要训练成功,光靠"对齐"是不够的。论文里提到一个很关键的坑:如果只要求不同模型翻译出来的表示在数值上接近,模型完全可以偷懒,直接把所有输入都翻译成同一个无意义的常数,这样"对齐"的目标轻松达成,但信息全丢了。
为了防这个坑,研究者加了一个重建损失,要求翻译过去再翻译回来的结果,必须和原始输入基本一致。这就像要求翻译员不仅要让两边代表的发言"听起来差不多
天顺优配提示：文章来自网络，不代表本站观点。
