從今以後,所有淘寶天貓商家都能一鍵圖生視頻了
image source: generated by ai
這兩年,大模型作為前沿技術,正逐步深入電商行業的各個環節。
2025,這一變革仍在加速:近日,【淘寶星辰 · 圖生視頻】工具已重磅上線,並對淘寶天貓商家正式開放!
體驗地址:https://agi.taobao.com/
(目前僅對淘寶天貓商家開放,普通用戶請耐心等待~)
一、淘寶星辰:懂你,更懂電商!
【淘寶星辰】是由阿里媽媽基於自研的淘寶星辰視頻生成大模型推出的視頻aigc工具。依靠先進的自研大模型、海量的電商數據、豐富的設計語言和業內領先的營銷經驗,【淘寶星辰 · 圖生視頻】工具在電商視頻生成中展現出以下核心優勢:
- 更懂商品的展示手法:基於豐富的電商數據和設計經驗,自動識別並應用最適合不同類別商品的展示手法。從產品細節的精準呈現到整體風格的統一協調,確保每一件商品都能以最佳方式展示。
- 更強的多語種語義遵循能力:深度理解參考圖片和多語種指令(中/英),精準捕捉文本指令中的關鍵動作信息,確保生成視頻與用戶意圖高度契合。
- 合理的物理和動作規律:嚴格遵循物理規律和動作規範,確保畫面流暢自然,避免出現不符合現實的畫面效果,提升視頻的真實感和專業度。
- 穩定的人物、商品和裝飾保持:無論是人臉、商品、還是文字、貼紙等裝飾元素,始終保持清晰、完整、無抖動或變形,提升視覺一致性。
二、淘寶星辰視頻生成大模型
在主流aigc背景下,視頻生成早已不是單純的生成算法優化和應用,而是一個更加複雜的、系統性的算法工程,其中人、數據、模型、算力是最核心的四個因素。
在2024年3月,我們基於unet diffusion model路線研發並上線了阿瞳木動效視頻,實現了視頻aigc在電商場景的首次應用落地,在業內產生了一定的傳播度和影響力。但是,由於技術路線、數據等多個因素的限制,阿瞳木動效視頻在畫面穩定性、內容可控性、目標與動作豐富性等關鍵要素上,仍然存在較大的進步空間。
從去年3月至今,我們在視頻aigc方向上堅定地持續投入。通過算法、數據、工程等眾多團隊的密切協作,我們完成了面向生成任務的數據飛輪、自研3d vae、自研淘寶星辰視頻生成大模型(包括tbstar-t2v、tbstar-i2v、tbstar-v2v等)等多個關鍵模塊和模型從0到1的建設。目前,tbstar-i2v大模型已經應用於【淘寶星辰 · 圖生視頻】工具中,為用戶提供更懂電商的圖生視頻功能。
淘寶星辰視頻生成大模型
三、更懂電商的圖生視頻
3.1操作便捷
僅需輸入一張靜態圖片,淘寶星辰可根據對圖片的理解直接生成視頻,也可遵循用戶輸入的文本描述生成視頻,一鍵生成高質量的5秒視頻。
【淘寶星辰 · 圖生視頻】工具
3.2更懂商品的展示手法
以更懂電商的方式展示服飾和非服飾商品,尤其是對模特動作的流暢性和專業性提升顯著。
prompt:一個模特臉上帶著酷酷的表情展示衣服
prompt:模特拿著咖啡,走向鏡頭,展示衣服
prompt:懸浮的氣泡和水滴飄動
prompt:商品不動,植物隨風搖動,雲霧移動
3.3更強的多語種語義遵循能力
深度理解參考圖片,支持中英輸入,精準捕捉文本指令中的關鍵動作信息,確保生成視頻與用戶意圖高度契合。
prompt:模特拿手機擋著臉,對鏡自拍展示衣服
3.5穩定的人物、商品和裝飾保持
尤其針對電商圖片中常見的文字、貼紙等裝飾元素,始終保持清晰、完整、無抖動或變形,提升視覺一致性。
prompt:一個女模特對著鏡頭展示衣服
prompt:鏡頭後退,女模特走向鏡頭,展示衣服
四、高品質低成本的原生化應用
結合解說視頻、模版視頻等後期剪輯類工具,實現高品質、原生化電商視頻的低成本智造,應用至主流電商場景,以及泛娛樂場景。
應用1:商品主圖視頻供給
單張商品主圖一鍵生成主圖視頻。
單張主圖 vs 主圖視頻
應用2:賣點吸睛視頻
根據多張模特圖分別生成視頻片段,採用模版視頻方式製作商品短視頻,添加轉場、特效和文字,快速生成吸睛的產品展示視頻。
應用3:服飾一體化解決方案
“模特圖”或“平鋪圖”+虛擬模特,都能輕鬆生成多樣化服飾視頻。
不同sku平鋪圖|虛擬模特穿搭圖|多sku服飾視頻
應用4:虛擬試穿視頻
根據用戶虛擬試穿圖片一鍵生成虛擬試穿視頻,模擬服飾的真實上身效果。
用戶虛擬試穿圖
應用5:ugc場景視頻化
ugc圖片一鍵轉為視頻,提升視頻供給,例如評價、買家秀、逛逛等。
應用6:泛娛樂場景
aigc時代可以不活但不能沒活兒~
prompt:超級英雄和恐龍在沙灘上慢慢散步,背景是城市的天際線
原文網址:https://zh.gushiio.com/ai/154.html