從今以後,所有淘寶天貓商家都能一鍵圖生視頻了

從今以後,所有淘寶天貓商家都能一鍵圖生視頻了插图image source: generated by ai

這兩年,大模型作為前沿技術,正逐步深入電商行業的各個環節。

2025,這一變革仍在加速:近日,【淘寶星辰 · 圖生視頻】工具已重磅上線,並對淘寶天貓商家正式開放!

體驗地址:https://agi.taobao.com/

(目前僅對淘寶天貓商家開放,普通用戶請耐心等待~)

一、淘寶星辰:懂你,更懂電商!

【淘寶星辰】是由阿里媽媽基於自研的淘寶星辰視頻生成大模型推出的視頻aigc工具。依靠先進的自研大模型、海量的電商數據、豐富的設計語言和業內領先的營銷經驗,【淘寶星辰 · 圖生視頻】工具在電商視頻生成中展現出以下核心優勢:

  • 更懂商品的展示手法:基於豐富的電商數據和設計經驗,自動識別並應用最適合不同類別商品的展示手法。從產品細節的精準呈現到整體風格的統一協調,確保每一件商品都能以最佳方式展示。
  • 更強的多語種語義遵循能力:深度理解參考圖片和多語種指令(中/英),精準捕捉文本指令中的關鍵動作信息,確保生成視頻與用戶意圖高度契合。
  • 合理的物理和動作規律:嚴格遵循物理規律和動作規範,確保畫面流暢自然,避免出現不符合現實的畫面效果,提升視頻的真實感和專業度。
  • 穩定的人物、商品和裝飾保持:無論是人臉、商品、還是文字、貼紙等裝飾元素,始終保持清晰、完整、無抖動或變形,提升視覺一致性。

二、淘寶星辰視頻生成大模型

在主流aigc背景下,視頻生成早已不是單純的生成算法優化和應用,而是一個更加複雜的、系統性的算法工程,其中人、數據、模型、算力是最核心的四個因素。

在2024年3月,我們基於unet diffusion model路線研發並上線了阿瞳木動效視頻,實現了視頻aigc在電商場景的首次應用落地,在業內產生了一定的傳播度和影響力。但是,由於技術路線、數據等多個因素的限制,阿瞳木動效視頻在畫面穩定性、內容可控性、目標與動作豐富性等關鍵要素上,仍然存在較大的進步空間。

從去年3月至今,我們在視頻aigc方向上堅定地持續投入。通過算法、數據、工程等眾多團隊的密切協作,我們完成了面向生成任務的數據飛輪、自研3d vae、自研淘寶星辰視頻生成大模型(包括tbstar-t2v、tbstar-i2v、tbstar-v2v等)等多個關鍵模塊和模型從0到1的建設。目前,tbstar-i2v大模型已經應用於【淘寶星辰 · 圖生視頻】工具中,為用戶提供更懂電商的圖生視頻功能。

從今以後,所有淘寶天貓商家都能一鍵圖生視頻了插图1

淘寶星辰視頻生成大模型

三、更懂電商的圖生視頻

3.1操作便捷

僅需輸入一張靜態圖片,淘寶星辰可根據對圖片的理解直接生成視頻,也可遵循用戶輸入的文本描述生成視頻,一鍵生成高質量的5秒視頻。

從今以後,所有淘寶天貓商家都能一鍵圖生視頻了插图2

【淘寶星辰 · 圖生視頻】工具

3.2更懂商品的展示手法

以更懂電商的方式展示服飾和非服飾商品,尤其是對模特動作的流暢性和專業性提升顯著。

從今以後,所有淘寶天貓商家都能一鍵圖生視頻了插图3從今以後,所有淘寶天貓商家都能一鍵圖生視頻了插图4

prompt:一個模特臉上帶著酷酷的表情展示衣服

從今以後,所有淘寶天貓商家都能一鍵圖生視頻了插图5從今以後,所有淘寶天貓商家都能一鍵圖生視頻了插图6

prompt:模特拿著咖啡,走向鏡頭,展示衣服

從今以後,所有淘寶天貓商家都能一鍵圖生視頻了插图7從今以後,所有淘寶天貓商家都能一鍵圖生視頻了插图8

prompt:懸浮的氣泡和水滴飄動

從今以後,所有淘寶天貓商家都能一鍵圖生視頻了插图9從今以後,所有淘寶天貓商家都能一鍵圖生視頻了插图10

prompt:商品不動,植物隨風搖動,雲霧移動

3.3更強的多語種語義遵循能力

深度理解參考圖片,支持中英輸入,精準捕捉文本指令中的關鍵動作信息,確保生成視頻與用戶意圖高度契合。

從今以後,所有淘寶天貓商家都能一鍵圖生視頻了插图11從今以後,所有淘寶天貓商家都能一鍵圖生視頻了插图12

prompt:模特拿手機擋著臉,對鏡自拍展示衣服

3.5穩定的人物、商品和裝飾保持

尤其針對電商圖片中常見的文字、貼紙等裝飾元素,始終保持清晰、完整、無抖動或變形,提升視覺一致性。

從今以後,所有淘寶天貓商家都能一鍵圖生視頻了插图13從今以後,所有淘寶天貓商家都能一鍵圖生視頻了插图14

prompt:一個女模特對著鏡頭展示衣服

從今以後,所有淘寶天貓商家都能一鍵圖生視頻了插图15從今以後,所有淘寶天貓商家都能一鍵圖生視頻了插图16

prompt:鏡頭後退,女模特走向鏡頭,展示衣服

四、高品質低成本的原生化應用

結合解說視頻、模版視頻等後期剪輯類工具,實現高品質、原生化電商視頻的低成本智造,應用至主流電商場景,以及泛娛樂場景。

應用1:商品主圖視頻供給

單張商品主圖一鍵生成主圖視頻。

從今以後,所有淘寶天貓商家都能一鍵圖生視頻了插图17從今以後,所有淘寶天貓商家都能一鍵圖生視頻了插图18

單張主圖 vs 主圖視頻

應用2:賣點吸睛視頻

根據多張模特圖分別生成視頻片段,採用模版視頻方式製作商品短視頻,添加轉場、特效和文字,快速生成吸睛的產品展示視頻。

從今以後,所有淘寶天貓商家都能一鍵圖生視頻了插图19

應用3:服飾一體化解決方案

“模特圖”或“平鋪圖”+虛擬模特,都能輕鬆生成多樣化服飾視頻。

從今以後,所有淘寶天貓商家都能一鍵圖生視頻了插图20從今以後,所有淘寶天貓商家都能一鍵圖生視頻了插图21從今以後,所有淘寶天貓商家都能一鍵圖生視頻了插图22從今以後,所有淘寶天貓商家都能一鍵圖生視頻了插图23從今以後,所有淘寶天貓商家都能一鍵圖生視頻了插图24從今以後,所有淘寶天貓商家都能一鍵圖生視頻了插图25

不同sku平鋪圖|虛擬模特穿搭圖|多sku服飾視頻

應用4:虛擬試穿視頻

根據用戶虛擬試穿圖片一鍵生成虛擬試穿視頻,模擬服飾的真實上身效果。

從今以後,所有淘寶天貓商家都能一鍵圖生視頻了插图26

用戶虛擬試穿圖

應用5:ugc場景視頻化

ugc圖片一鍵轉為視頻,提升視頻供給,例如評價、買家秀、逛逛等。

從今以後,所有淘寶天貓商家都能一鍵圖生視頻了插图27從今以後,所有淘寶天貓商家都能一鍵圖生視頻了插图28從今以後,所有淘寶天貓商家都能一鍵圖生視頻了插图29

應用6:泛娛樂場景

aigc時代可以不活但不能沒活兒~

從今以後,所有淘寶天貓商家都能一鍵圖生視頻了插图30

prompt:超級英雄和恐龍在沙灘上慢慢散步,背景是城市的天際線

原文網址:https://zh.gushiio.com/ai/154.html

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *