Nvidia 研究人员推出了一种创新的文本到图像个性化方法,称为 Perfusion。它不像竞争对手那样是一款价值百万美元的超重量级模型。Perfusion 的大小仅为 100KB,训练时间仅为 4 分钟。
Perfusion的主要新思想被称为"Key-Locking"。这是通过将用户想要添加的新概念(如特定的猫或椅子)连接到图像生成期间更一般的类别来工作的。
例如,猫将与更广泛的“猫科动物”概念联系起来。 通过将新猫与猫科动物的一般概念联系起来,该模型可以以许多不同的姿势、外观和环境描绘猫。但它仍然保留了基本的“猫性”,使它看起来像预定的猫,而不仅仅是任何随机的猫科动物。
Perfusion还可以将多个个性化概念组合在具有自然交互的单个图像中,这与孤立学习概念的现有工具不同。用户可以通过文本提示指导图像创建过程,合并特定的猫和椅子等概念。
英伟达目前只提交了研究论文,并承诺很快发布代码。
相关:arXiv
来源:Decrypt;Nvidia
投稿:@ZaiHuaBot
频道:@TestFlightCN
via 🆕 科技新闻投稿📮TestFlight - Telegram Channel (author: 在花⭐️投稿📮Bot)