前言
Google Research 近期在 Github 發表了最新的生成式 AI 繪圖工具「StyleDrop」,它基於 Muse 模型,可以極速仿效任何一張圖片中的畫圖風格,並生成出新圖像。
StyleDrop可以將生成的圖片束縛在一個很小的範圍內進行微調,且不會影響到畫面中的其他內容。微調所需的訓練參數不到總模型的 1%。根據研究團隊報告指出,StyleDrop 在風格遷移方面的表現甚至優於 Stable Diffusion 中的 Textual Inversion、Dreambooth、LoRAs 和 Imagen 等模型,成為生成式 AI 繪圖工具 Midjourney 的勁敵。
StyleDrop 擷取風格,創造新圖
根據Google Research的論文指出,StyleDrop 的靈感來自於 Eyedropper(吸色/取色工具),StyleDrop希望使用者可以快速、毫不費力地從單個或少數參考圖像中「挑選」風格樣式,以生成該樣式的圖像。
使用者只需提供一張用來指定風格的圖片,StyleDrop就能捕捉到風格中的細微差異,包括色彩、陰影、圖案設計等,並極速模仿該風格生成新的圖片。
▲ 取用孩子的水彩畫風格,創造出新的圖案(來水彩的痕跡也表現出來)
▲ 新的圖案完全按照梵谷《星空》的風格產生
▲ 3D風格對StyleDrop也沒問題!
StyleDrop同時採用人工和自動反饋進行迭代學習以提高模型品質。當StyleDrop接收到輸入的圖像後,會生成一組再現其風格的圖像,這時團隊會透過 CLIP 分數或人工篩選,從中挑出最佳的生成結果,並用於進一步的模型訓練。如果生成的圖像不是直接重現原始圖片輸入內容,而是保留風格的話,就會被認定為是品質高的圖片生成結果。
Style Drop團隊表示,即使有人工反饋,整個生成圖片的過程也不到三分鐘,那是因為StyleDrop微調所需的訓練參數不到總模型的 1%,學習速度極快。
除了生成新的圖片,StyleDrop還能根據所選的圖片風格產出風格一致的字母圖像和相同風格的LOGO。AI生成功能非常強大。StyleDrop的魅力在於,只需要一張圖片作為參考,無論多麼複雜的藝術風格,都可以解構並復刻成新的圖片。
結合DreamBooth
研發團隊也將StyleDrop與Dreambooth相互結合,來透過不同風格創造新物體,從圖中可看到若輸入物品的照片,即會由Dreambooth來學習;再輸入一張圖像則由 StyleDrop 學習其風格,再加以合併物體和風格。
▲ StyleDrop學習風格,Dreambooth 學習新對象,創作出新的圖片
Google開發團隊將StyleDrop視為一種多功能的 AI 工具,其中之一的用途是讓設計師或公司使用他們的品牌資產進行訓練,並根據他們的設計風格快速製作新想法的AI模型。當Google一公開StyleDrop模型時,就引發大批網友熱議,許多人表示當設計師有了StyleDrop,將會提升十倍的工作效率。AI工具的問世與普及,已經逐漸改變了我們的工作型態與日常生活。
總結
本文介紹了Google Research最新推出的生成式AI繪圖工具StyleDrop,它可以極速仿效圖片風格,生成出新圖像。StyleDrop微調所需的訓練參數不到總模型的 1%,學習速度極快,且能根據所選的圖片風格產出風格一致的字母圖像和相同風格的 LOGO。除此之外,StyleDrop還能結合Dreambooth,從而透過不同風格創造新物體。Google開發團隊將StyleDrop視為一種多功能的 AI 工具,它能夠提高設計師的工作效率,並協助他們快速製作新想法的AI模型。