应用字节团队魔改的 FLUX 模子第4色最新网站，不错平直把多个参考主体放进一张图了。
字节团队以 FLUX 为基础模子，残暴了新的生图模子 UNO，长入了图像生成任务中不同输入条目的处理。
无论是单主体进行立场变换，仍是不同物体的和会，UNO 都能平直惩办。
字节团队以为，UNO 主要解决的是参考驱动的图像生成中的两个主要挑战——数据可彭胀性和主体可彭胀性。
传统武艺在从单主体数据集彭胀到多主体数据集时濒临结巴，且大多量武艺仅海涵单主体生成，难以应用于多主体场景。
为了解决这一问题，团队残暴了"模子 - 数据共同进化"的新范式，大致在增强模子智力的同期，不断丰富可用的考研数据。
多主体参考生图测试中，UNO 的 DINO 和 CLIP 得分均达到了 SOTA 水平。
网友评价说，UNO 看上去是一个浩大的飞跃，淌若简直能惩办多主体参考，将会大幅激勉定制化 AI 智能体的后劲。
亚洲情色图
另外，团队还在 HuggingFace 上提供了在线试玩，但前提是领有 HF 的 GPU 额度。
一个模子惩办单 / 多主体参考
如起原所述，UNO 将单纯的文生图，以及单 / 多主体参考这些不同的任务都整合到了一个模子当中。
具体来说，除了平直的文生图除外，它不错把多张参考图当中的物体进行组合。
固然三个物体也照样能很好地组合，官方提供的在线 Demo 当中最多不错上传四张参考图。
也不错对参考主体中的东谈主物特征进行保持，生成不同场景的东谈主物图像。
同期关于东谈主物而言，也不错在保留基本特征的条目下进行立场调节，包括被 GPT-4o 带火的吉卜力风也能拿抓。
应用场景方面，官方给出了臆造试穿和家具筹算这两组示例。
关于 UNO 的单主体生成智力，团队使用了 DreamBench 进行了测试第4色最新网站，使用了三个主要宗旨——
DINO 分数、CLIP-I 分数（这两个用于评估主体不异度）和 CLIP-T 分数（用于评估文本赤诚度）。
多主体生成测试则聘请了一个格外筹算的测试集——从 DreamBench 中选取了 30 种不同的双主体组合，包括非生物体和生物体的组合。
最终，UNO 的测试得益无论在单主体仍是多主体任务中都处于跳跃水平。
磋商团队还进行了用户磋商，邀请了 30 位评估者（包括范畴行家和非行家）对 300 个图像组合进行评估。
终端，UNO 在悉数评估维度上都得到了较高评分，格外是在主体不异度和文本赤诚度方面的发扬最为凸起。
此外，团队还展示了 UNO 和一些 SOTA 级模子的着力对比，不错直不雅感受一下分歧。
模子 - 数据共同进化
UNO 聘请了这一种"模子 - 数据共同进化"的新范式，中枢念念想是用较弱的模子生成考研数据，考研更强的模子。
在模子架构方面，UNO 以开源模子 FLUX.1 dev 为基础，接收了其文生图基础智力和多模态醒观点机制，聘请了通用定制化模子框架。
具体来说，该框架聘请渐进式跨模态对皆政策，将考研历程分为两个联络阶段——
领先使用单主体数据对预考研的文生图（T2I）模子进行微调，使其得到基本的主体到图像调节（S2I）智力；
随后引入多主体数据赓续考研，增强模子处理复杂场景的智力。
此外磋商团队残暴了通用旋转位置镶嵌（UnoPE）技能，通过为文本和图像标记分派特定的位置索引，来调控多模态标记之间的交互。
UnoPE 聘请从噪声图像标记最大维度运行的对角线位置编码神志，并通过缓助位置索引畛域来退避生成图像过度依赖参考图像的空间结构，有用缓解了在彭胀视觉主体竣事时容易出现的属性浑浊问题。
数据方面，团队应用 Diffusion Transformer 固有的波折文生成智力构建了数据合成框架。
团队领先构建了一个包含 365 个顶层类别的分类树，这些类别来自 Object365 数据集。
在每个类别下，还包含了更细粒度的分类，涵盖年岁、作事和着装立场等维度。
然后应用大模子在每个类别中生成丰富各种的主体和场景描绘，这些输出与预界说的文本模板连合，不错为文生图模子生成数百万个文本指示。
最终，磋商团队筹算了一个渐进式的合成管谈，从单主体生成运行，徐徐过渡到多主体波折文生成。
来自字节智能创作团队
论文暴露，UNO 的作家字节智能创作团队。
据先容，该团队是字节的 AI& 多媒体技能中台，磋商标的包括揣测机视觉、音视频裁剪、殊效处理等技能。
之前字节残暴的用于升迁图像生成模子"好意思感"的 VMix，亦然来自智能创作团队，何况作家与此次的 UNO 基本疏浚。
本次 UNO 的名堂崇敬东谈主是 Fei Ding，是 Vmix 的通信作家，之前还参与过 Realcustom++、Dreamtuner 等名堂的责任。
UNO 的第一作家 Shaojin Wu、通信作家黄梦琪，之前也都参与过 Vmix。
黄梦琪当今是中科大博士在读，2023 年起于今一直在字节实习，预测本年毕业，导师是毛震东诠释。
另外，字节招聘网站暴露，智能创作团队当今正在招聘 AIGC 技能行家、多模态算法行家等岗亭。
论文地址：
https://arxiv.org/abs/2504.02160
名堂主页：
https://bytedance.github.io/UNO/
一键三连「点赞」「转发」「贯注心」
宽恕在指摘区留住你的想法！
— 完 —
不到一周！中国 AIGC 产业峰会不雅众正在火热报名中 � � ♀️
全部嘉宾已就位 � � 百度、华为、AWS、MSRA、无问芯穹、数势科技、面壁智能、生数科技等十数位 AI 范畴创变者将皆聚峰会，让更多东谈主用上 AI、用好 AI，与 AI 一同加快成长～
4 月 16 日周三，就在北京，沿途来深度求索 AI 若何用 � �
� � 一键星标 � �
科技前沿进展逐日见第4色最新网站