巨人財經 - 專業科技行業財經媒體

小紅書與復旦聯手推出InstanceAssemble,AI繪畫精準構圖新突破

   發布時間:2025-12-27 04:02 作者:蘇婉清

AI繪畫領域迎來重要突破,小紅書與復旦大學聯合研發的InstanceAssemble技術,在布局控制生成(Layout-to-Image)方向取得創新性成果。該技術通過構建"實例組裝注意力"機制,實現了復雜場景下的精準圖像生成,相關研究已被國際頂級學術會議NeurIPS 2025收錄。

區別于傳統的文字生成圖像(Text-to-Image)技術,布局控制生成需要同時滿足空間位置約束和語義內容要求。現有技術普遍存在三大難題:物體位置偏移、語義內容脫節以及計算資源消耗過大。研究團隊針對這些痛點,開發出能夠精確控制每個物體位置與內容的生成方案,將AI繪畫的構圖精度提升到新高度。

核心技術突破在于創新設計的"實例拼裝注意力"模塊。該機制基于擴散變換器架構,通過解析用戶提供的邊界框坐標和內容描述,在指定位置生成符合語義的圖像元素。實驗數據顯示,在包含90萬個實例的密集場景測試中,新技術在布局對齊準確率和語義一致性方面均顯著優于現有方法。

為降低技術使用門檻,研究團隊采用輕量化適配策略。僅需調整約7100萬個參數(相當于Stable Diffusion3-Medium模型總參數的3.46%),即可實現模型升級。當適配Flux.1模型時,額外參數需求更降至0.84%,這種高效適配方案大幅減少了計算資源消耗。

研究團隊同步構建了專業評估體系,包含5000張圖像和9萬個實例的"Denselayout"基準測試集,以及全新的布局匹配度評分標準(LGS)。測試結果表明,經過稀疏場景訓練的模型(實例數≤10),在密集場景(實例數≥10)中仍能保持穩定性能,展現出強大的場景適應能力。這項突破為AI繪畫技術的商業化應用開辟了新路徑。

 
 
更多>同類內容
全站最新
熱門內容
本欄最新