文章来源:万象ai发布时间:2025-04-10 14:28:22
Piece it Together(PiT)是由特拉维夫大学和Bria ai的研究人员开发的一种视觉概念生成框架。它能够将用户提供的部分视觉组件无缝集成到一个连贯的整体概念中,并同时生成缺失的部分,从而生成一个完整且合理的概念,也就是说,你只需要随机输入几个图像,比如一张翅膀、一撮头发、一只眼睛,它就能自动帮你生成一幅完整图像。这种方法特别适用于创意设计领域,例如角色设计、产品设计和玩具设计等。

部分到整体的生成:将用户提供的部分视觉组件(如物体的某个部分、草图等)整合成一个完整的概念。
缺失部分的补全:自动推断并生成缺失的部分,使最终生成的概念在目标领域内合理且完整。
语义操作:在生成的概念上进行语义编辑和操作,例如调整角色的风格、情绪等。
文本条件的恢复:通过IP-LoRA技术,恢复生成概念的文本条件控制能力,使生成的图像能够更好地适应不同的场景或风格。
基于IP+空间的表示:使用IP-Adapter+的内部表示空间,相比CLIP空间,能够更好地保留视觉细节,同时支持语义操作。
轻量级流匹配模型:通过训练一个轻量级的流匹配模型(IP-Prior),能够基于特定领域的先验知识生成连贯的组合。
灵活的输入形式:支持多种输入形式,包括图像片段、草图等,为用户提供更大的灵活性。
多样的输出结果:对于相同的输入,模型可以生成多种合理的输出,帮助设计师探索不同的创意方向。
角色设计:设计师可以输入角色的部分特征(如翅膀、眼睛等),模型生成完整的角色设计,并支持进一步的语义编辑,如调整角色的情绪或风格。
产品设计:输入产品的部分设计元素(如形状、材质等),模型生成完整的产品设计,并支持风格调整。
玩具概念化:输入玩具的部分特征(如动物的头部、服装等),模型生成完整的玩具设计。
创意绘画:输入草图或部分绘画元素,模型生成完整的绘画作品,并支持风格调整。

准备输入:用户需要准备一些视觉组件,如图像片段、草图等,这些组件可以是概念的一部分。
输入模型:将这些组件输入到PiT模型中。
生成概念:模型会自动整合这些组件,并生成一个完整的概念,同时补全缺失的部分。
语义编辑(可选):用户可以在生成的概念上进行语义编辑,如调整风格或情绪。
文本条件控制(可选):通过IP-LoRA技术,用户可以为生成的概念添加文本条件,以适应不同的场景或风格。
项目地址:https://eladrich.github.io/PiT/
论文:https://arxiv.org/html/2503.10365v1
相关攻略 更多
OpenAI底层AGI技术被曝光!前研究主管豪言:从此再无新范式
爆款AI视频越来越多,但本质我觉得跟炒股没区别。
Cursor+Claude的SVG图片生成功能,强到离谱,强烈建议写PPT没思路的时候买个会员
超20万人使用!最强开源浏览器Workflow插件【内置3300+模版】效率又起飞了~
营销获客AI公司Clay,花7年找到PMF后,快速实现10倍增长的秘密
5天连发5个王炸!MiniMax这波发布周把OpenAI都整懵了|MiniMax发布周回顾
AI应用行业全景洞察丨中国丨2025年5月丨万字诚作丨Xsignal
数字疗法AI医疗独角兽SwordHealth再融4000万,估值冲至40亿美元背后的战略棋局
最新资讯 更多
OpenAI底层AGI技术被曝光!前研究主管豪言:从此再无新范式
更新时间:2025-07-25
爆款AI视频越来越多,但本质我觉得跟炒股没区别。
更新时间:2025-07-25
Cursor+Claude的SVG图片生成功能,强到离谱,强烈建议写PPT没思路的时候买个会员
更新时间:2025-07-25
超20万人使用!最强开源浏览器Workflow插件【内置3300+模版】效率又起飞了~
更新时间:2025-07-25
营销获客AI公司Clay,花7年找到PMF后,快速实现10倍增长的秘密
更新时间:2025-07-25
5天连发5个王炸!MiniMax这波发布周把OpenAI都整懵了|MiniMax发布周回顾
更新时间:2025-07-25
AI应用行业全景洞察丨中国丨2025年5月丨万字诚作丨Xsignal
更新时间:2025-07-25
数字疗法AI医疗独角兽SwordHealth再融4000万,估值冲至40亿美元背后的战略棋局
更新时间:2025-07-25
宁德时代领投,「银河通用」完成超10亿元新一轮融资
更新时间:2025-07-25
【译】万字长文解读:生成式AI的21个设计模式、示例及应用策略
更新时间:2025-07-25