TW200540732A - System and method for automatically generating animation - Google Patents

Description

200540732 五、發明說明（1) 【發明所屬之技術領域】 本發明係有關於-種自動產生動晝 別是有關一種透過聲音分鉍耐蒈瞼站主比二凡/、 特 動晝之系統與方法；;4 變，以自動產生 系統及方法。 生具備聲曰及表情變化動畫效果之 【先前技術】 動晝技術中’常利用語音分析技術，產生對 的：型資料，再以此資料驅動影像以產生 雖然這樣的處理可以自動化，但是所產 生的動真八有嘴型，沒有豐富的表情變化，因此缺乏生务 感及真實感。在現有的方法中，為了增加表情變化，使； 者必須在對應於聲音的時間轴上透過適當的製作工且— 例如Timeline Editor進行動畫編輯（此為Key訐⑽^、

Animation方法），以產生表情變化之效果。這樣的製作 工具通*包含聲音波形以時間軸圖像顯示之製作介面、 在畫面上點選一個時間點、可在該時間點上加入以 Frame(動畫格），編輯該Key Fraine(動晝格）之 指定Transition等等，前述步驟重複數次之 a ，備豐富表情之動畫編輯’通常，為了方便= ΪΓ輯功能也必須包含於該製作工具中，例如刪除I 然而，前述之動晝編輯製作方式有三項缺點·

第5頁 H8 200540732

五、發明說明（2) (一間軸上進行表情變化之編輯相當複雜，通常使 用者必須具備高度製作動晝的專業知識； (二) m上進行動畫之編輯需要繁瑣：編輯工具以及 輸入裝置，產出結果的時間非常長， 的輸入裝置（如手機）上實現這樣的功能；不易在有把 (三） 因為編輯結果是對應於特定的聲音時間軸進行編輯， 因此當聲音資料改變時即需重新編輯資料叙法重複 利用。 μ 【發明内容】 本發明之主要目的，在於提供一種自動產生動畫之系 統與方法，特別是有關一種透過聲音分析配置臉部表情變 化以自動產生動畫之系統與方法，其係透過聲音分析自動 配合臉部表情調整參數，以產生具備聲音及表情變化動畫 效果之系統及方法。 一 本發明之次要目的，在於提供一種經由聲音或事件驅 動的情境範本套用系統及方法，在輸入聲音後，使用者只 需選擇想要的「情境」（Scenario)，便會自動產生有豐 富表情的動畫。 本發明之又一目的，在於提供一情境範本資料庫，情 境範本將原本的Key Frame(動畫格）中的臉部表情調整參 數資料依據不同情境加以分類，分類後的資料形\情境範 本，放置於情境範本資料庫中，使用者選取情境以後，本 發明系統及方法便會對輸入的聲音進行分析，找出不同特

五、發明說明（3) ==二：依據選取之情境套入不同的動畫變化，如此 使同樣的靶本可以運用於長度不同的聲音。 统及ΪΓ月ίϊ:目的，在於提供一種簡單之動畫產生系 ii=，選Λ系統及方法，*用者只需輸入照“輸 人ίΓΛ於可以完成豐富的動畫輸出，相當適 手機傳遞短訊息) 使的狀況下#作使用（例如以 【實施方式】 茲為使 功效有更進一 合詳細之說明 ^審查委貞對本發日月之結構特徵及所達成之 步之瞭解與認識，謹佐以較佳之實施例及配 ，說明如後： -可：參：：：V_圖一係為本發明之系統架構圖。由圖 選擇介面0 1 5 1用以謹種/動產生動畫之系統0 1包括一情境 料庫016用以儲乂 Λ用者選擇情境範本;—情境範本資 丄用以===資-情境範本處理模組 生模植017田 之情境範本資料，·及一動畫產 Μ、，且01 7，用以配置情境範本及人小: °122 ’該原始人像影像之；=== ，統中之-情境選擇介面〇151 了 =發 資料庫016中選擇一情琦笳 發月中 情兄範本 (Π22及該選取之情境^本“爾後’該原始人像影像 清兄範本經由本發明之一情境範本處理模 200540732 五、發明說明（4) 組015之處理’最後本發明之一動畫產生模組〇17將進行該 情境範本及該原始人像資料之配置以產生關鍵格（Key Frame)資料並產生動畫資料(jig。 請再參閱圖一 B，圖一 β係為本發明另一實施例之系統 架構圖。由圖一β可知，本發明之一種自動產生動畫之系 統01更可包括特徵點檢出模組（Feature Detection M〇dule)012 、一特徵點對應模組（Feature Mapping Module)013 、一 聲音分析模組（v〇ice Analysis Module) 014。首先，本發明之自動產生動畫系統外部之一影像讀 取單元先讀取之一原始人像影像0 1 21 ,該原始人像影像 0 1 2 1經讀取後便輸入至本發明系統中之特徵點檢出模組 0 1 2中進行特徵點之辨識，辨識完成後，相關之人像特徵 將被定位完畢。爾後，本發明中之特徵點對應模組 (Feature Mapping Module)〇13利用特徵點檢出模組產生 的特徵點對一組已預先内建的通用網紋（Generic Mesh) 0 1 3 1進行比對調整，使其成為可進行動畫處理的網紋 (mesh)資料。如圖二所示，本系統採用漸進式特徵點對 應方式（Progressive Feature Mapping)，其做法為將特 徵點依據五官特性區分群組，再依精細度區分為數個等級 (Level) 並建立各等級間的對應關係。而通用網纹 (Generic Mesh)亦有與特徵點（Feature Point)對應的分 組，處理時特徵點（Feature p〇int)即負責調整對應的通 用網紋（Generic Mesh)。透過不斷之調整運算便可以得到 正確的網紋輸出。上述之調整運算，若在運算資源充足的

200540732 五、發明說明（5) 中執仃(如在桌上型電腦），可以利用特徵點 到精細的結，；而在運算資源有限的手持3 手機及PDA)，也可以只檢出至較低的等級持^裝 付到近似的結果。在實際應用情境中，前者可能是來自月b :供應商所提供的預製資料，而後者則是 備亡即時操作而得。該原始人像影像〇121經 :== 檢出模組。12及特徵點對應模組013之 ： 如圖三所示。 土 < μ果可 ^發月之聲音分析模組〇丨4 (如圖一 Β中所示）包含以 ^ =所製作的語音辨識單元，以及分析聲音特性的特性 二析早兀。使用者可錄下一段語音資料並經由本發明之 曰分析模組0 1 4進行語音之辨識及分析。語 辨識為音標，並包含每-個音標發生的時間 兀則是依據語音的特性，將語音分成不同特性 fvti，己錄該區段的特性資料（如聲音強度）及時間資 ，σ始-時間、聲音長度）。語音經辨識及分析之結果可 Μ έ H不。如圖四所示，語音資料經本發明中聲音分析 模組0 1 4 (如圖一 Β φ糾-、她Μ # ® Μ 中所不）辨硪元畢後，共有五個聲音轉折 : M _、043、044及〇45可代表一個人在某些狀況下 (如生氣、南興）時說話聲音變化的情形。 在聲音貝料經過本發明之聲音分析模組處理切割為數 =包含特性資料的聲音區間後（如圖五所示），本發明之情 兄處理模組即負責進行聲音區間與情境範本申 的配對 (match)。

第9頁 200540732 五、發明說明（6) 如圖六所不’情境範本資料共區分為三個主 層’061動畫區段（Animation Part)、062動晝狀 (Animation State)以及0 63 動畫資料（Animat ion 動畫區段用於表示動晝的順序性，一個動畫區段 至一個或一個以上的聲音區間。動畫狀態則是用 屬的動晝區段，在該動晝區段中一個動畫狀態僅 一個聲音區間，但可重複出現，動畫狀態中包含 值。動晝資料則用於表示所屬動畫狀態位於相對 的關鍵格資料（Key Frame Data)，用於產生可驅 生模組的動畫資料。請參考圖七，圖七中顯示了 極而泣π的情境範本之結構。 情境範本處理模組透過三項主要步驟進行情 聲音區間的配對，一是動畫區段配對、二是動書 對、三是動畫資料展開，其流程如圖八所示。旦 動晝區段配對是依據情境範本中動畫區段的 將生音區間做等量分割，再計算聲音區間的能量 後移動分割點再重新計算聲音區間的能量差異， 至取得能量最大差異為止’料的分割點視為最 點。經此配對處理的結果動畫區段順序 於最佳位置。 請再參考圖九，圖九說明一個”直^ fl ^ ^ 。他而泣的 之動畫區段配對之情形，其中含有，，喜，，與，，泣，，兩 段，091表示經由等量分割的配對結果， 佳分割後的配對結果。 要的階 態 Data)。 可能配對 於構成所 會對應至 一索引 時間轴上 動動畫產 一個π真 境範本與 狀態配 數量，先 差異’之 反覆運算 佳的分割 切割點位 情境範本 組動晝區 示取得最

200540732

動畫狀態配對是對每一組動畫區段中的 處理，其目的為使動畫區段中的每一個聲音區間 -個動畫狀態’且動畫狀態可重複出％。處理 U 索引、以聲音特性所分析的機率模型等方法。 j恨艨 請再參考圖十，圖十說明一組”喜極而泣,，的動查 配對結果，1 〇 1為配對完成的動畫區段，丨02為依據^ ς 配對的動畫狀態，1 03則為以聲音特性配合機率模型配 的動畫狀態。 動畫資料展開是將配對後的動畫狀態轉換為時間軸上 的動畫關鍵格。在情境範本中每一個動畫狀態均包含一段 位於相對時間轴上的動畫軌（Animation Track)，以及一 個该段動畫是否重複的標記，在動畫狀態配對後，將其所 表示的動畫軌移動至所配對的聲音區間起始時間，即可完 成該段動晝資料，並可依據該動畫資料是否重複的標記重 複複製動畫資料至聲音區間結束。 如前所述，本發明情境範本處理模組（Scenari〇 Template…）之功能在於將人像影像與語音資料做一適當 之配對（match)以便於產生動畫，其中，情境範本 (Scenario Template)係為一種範本（Template)，其用於 表示一種特定的臉部表情動畫情境，其中包含動畫區段 (Animation Part)、動晝狀態（Animation State)以及動 畫資料（Animation Data)。情境範本（Scenario Template)亦是一種利用工具預先製作的資料，可以儲存 於本發明之情境範本資料庫（Scenario Template

200540732

Database)中或一般常用的儲存裝置中，在經由範本選擇 "面〇1 51選擇後於本發明之系統中使用。在實際之狀況 中，可依據不同的應用需求設計不同的情境範本，其數量 視應用情況而定。另外，情境範本（Scenari〇 也可以利用網路（如網際網路）或其他傳輸方式（如手機）下 載至應用的設備中，達成資料可擴充的系統。 當人像影像資料與語音資料經由上述之程序處理後 輸入至本發明之動畫產生模組，產生最終之動畫影像。 本發明之動晝產生模組所產生的動畫資料輸出包含關鍵 格（key frame)、以及聲音資料。因此適用於可以播放 音且以key frame產生動畫的系統。另外，本系統動畫模 組也可以是一個2D或3D的模組，配合聲音播放及Key 、 frame Data，產生動畫輸出。 為了更進一步瞭解本發明之一種聲音驅動的自動表 情動畫產生系統中各工作單元相互間之系統關係，故更 一步介紹本發明之一種聲音驅動的自動表情動畫產生系 統之操作流程如下所示，請參閱圖十一，圖十一係為本發 明之系統操作流程圖。由圖十一可知，首先，本發明之聲 音驅動的自動表情動畫產生系統可經由外部之一影像讀取 單元先讀取之一原始人像影像（步驟丨丨丨），該原始人像影 像經讀取後便輸入至本發明系統中之特徵點檢出模組 (Feature Detection Module)中進行特徵點之辨識（步驟 112)，辨識完成後，相關之人像特徵將被定位完畢。爾 後’本發明中之特徵點對應模組（FeatUa Mapping

200540732 五、發明說明（9)

Module)利用特徵點檢出模組產生的特徵點對一组已 U = _紋（Ge町ie Mesh)請進行比對調整 成為了進行動畫處理的網紋（mesh)資料（步驟113)。，、 於上述原始人像影像辨識程序處理之前，之後 時，使用者可錄下一段語音資料並經由本發明之聲音二 模組進行語音之辨識及分析（步驟114)。言吾音分析單元刀將斤 輸入的扣曰辨識為音標，並包含每一個音標發生的時、。 特=分析I元是依據語音的特十生，將語音分成+同特二的 區段，並包含該區段的時間資訊。 當人像影像經特徵點檢出及特徵點對應之處理程 理完畢，且語音資料亦經由聲音分析模組之辨識及分析= 畢後，處理完畢之人像影像資料及語音資料便進一步輸2 至本發明情境範本處理模組（Scenari〇 Template Unit> 。本發明情境範本處理模組之情境範本（Scenari〇 Template)係為一種範本（Template)，其用於表示一種特 定的動畫情境。在此程序中，使用者可以手動或自動之方 式自情i兄範本 > 料庫中（Scenario Template Database)選 取一特定之情境，被選取之情境將自動依據辨識完畢之語 音資料進行配對（Ma t ch )之處理（步驟1丨5 )，例如，使用者 可能選擇「喜極而泣」之情境，則本發明之情境範本處理 模組將自動將語音資料中之抑揚頓挫之聲音變化配合 「喜」以及「泣」情境中臉部影像調整參數，形成聲音播 放時同時具備臉部「喜極而泣」之影像變化。 當人像影像資料與語音資料經由上述之程序處理後便 國 第13頁 200540732 五、發明說明（ίο) Ϊ入ίΐΠ;動畫產生模組(步驟116)進行下-步之處 理，並產生最終之動畫影像（步驟117)。 μ卜二上::描述的系統中，若忽略聲音分析模組的聲音 ^,ιI· ^^^* J Untro Part)、放映區間（piav (Ending 聲曰、、、口末作為切割點，推并棒Λ # 蝌。力产锸銪且」進仃清丨兄範本處理模組之區間配 -個動畫狀態，且不重⑨，放映區門間可僅包含 狀匕、了宗引或重複配置。這樣的系統非當搞人—士 -算資源的系統，如手持式％備、φ F吊適a在有限運 長度較短的聲音資料。 寻應用於耷音 由前述系統中可知，若不進行聲立八 聲音播放產生豐富臉部動畫的效果，；：以達到隨 驅：(Event Driven)，也就是將事件 ：是：事件 行情境範本處理模組之區間配對。 勺切割點’用以進 本發明所述之參考例子係在特定領 因此熟知此技藝的人士應能明瞭本發明之特定實施， 當、些微的調整和應用，仍將不失本發義所在，進行適 續的申請專利範圍中係包含在本發明之要義所在。接 調整。 斤有此類的應用、 200540732 圖式簡單說明 【圖式簡單說明j 圖一 A係為本發明之备^ 圖一 β係為本發明之架構圖。 圖二係為本發明之人气施例之系統架構圖。 圖 象特徵辨識之一實施例之示意 圖三係為本發明 意圖 人像特徵辨識之一實施例之另 示 圖四係為本發明之聲音 圖五係為本發明之情境 示意圖。 辨識之一實施例之示意圖。 範本與聲音配置之一實施例之 圖六係為本發明之情境範本之示意圖。 ，七係為本發明之情境範本之一實施例之示意圖。 圖八係為本發明之情境範本處理模組之流程圖。 圖九係為本發明之情境範本之動畫區段配對之示意 圖十係為本發明之情境範本之動晝狀態配對之示意 圖。 圖Η 係為本發明之系統流程圖。 圖號說明： 01 -本發明 〇12 --特徵點檢出模組 013 --特徵點對應模組 0 1 4 --聲音分析模組 200540732 圖式簡單說明 015 --情境範本處理模組 016 --情境範本資料庫 017 — 動畫產生模組 0121、0122--原始人像影像 0 1 3 1 - 通用臉部網紋資料 0141 - 聲音輸入 0 1 5 1 -範本選擇介面 018 -動畫輸出 041、042、043、044、0 45 -聲音轉折點 0 50、051、052、05N、0 5N+1 -情境範本狀態 061- -動畫區段 062- -動畫狀態 063- -動畫資料 0 9 1、0 9 2 - 配對步驟 1 0 1、1 0 2 --配對步驟 111、112、113、114、115、116、117 - 步驟

第16頁

Claims (1)

1. 200540732 六、申請專利範圍 1. -，自動產生動4之系，统，其可透過聲音或事件驅 依據使用者選擇的情境自動產生動畫，其包括.動， 一情境選擇介面，用以讓使用者選^情&範本· 一情境範本資料庫，用以儲存情境範本資料.， 一理模組，用以配置-人像影像資料及-選 取之情境範本資料； 进 及：動ΐ產生模組，用以配置一人像影像資料及-選 =情垅範本資料以配置關鍵格(Key訐繼）資料並 依據配置完成之關鍵格資料以產生動晝資料。 2. =^專利範圍！所述之一種自動產生 更包括： 〃 模組’用以辨識一人像影像之特徵點； —用以將該辨識完畢之該人像影像之 特徵點形成網紋資料； —聲音分析模組，用以辨識及分析—聲音資料。 3. 如申請專利範圍2所述之一 中該情境範本處理模組可用以番兮動Ja之系統，其 聲立眘+4 B ^ _於了用以配置該辨識及分析完畢之 孝曰貝枓及一選取之範本資料。 4 ·如申請專利範圍2所述之一 中該動晝產生模組可用以依種摅自生動畫之系統，其 數調整網紋資料並配合聲；臉部調整參 晝。 希曰播放及嘴形資料以產生動 5·如申請專利範圍2所述之—接& ▲ 士 特徵點對應模組係採用漸動產生動畫之系統，該 休用，新進式特徵點對應方式

   200540732 六、申請專利範圍 (Progressive Feature Mapping)者，其包括以下之步 驟： (a) 將人像影像臉部之特徵點依據五官特性區分 之群組； (b) 依精細度區分為數個等級（Level)，並建立各等級間 的對應關係； (C)利用該等特徵點調整對應的通用網紋（Generic Mesh);及 (d)重複步驟（a)至步驟（c)以得到正確的網紋輸出。 6. 如申請專利範圍⑷所述之一種自動產生動畫之系統， 其中該情境範本資料更包括： (a) 複數組動畫區段之資料，用於表示循序的 ⑻畫狀態之資料’用於以索引或機率：對至 (c) 對應於每一組動畫狀態的動畫資料；及 (d) =錄以上各類型資料之資料結構，並以階層配置 7. :申請專利範圍i或2所述之一種自動產生動 其中該情境範本處理模組之處理& '、、· (⑽情境範本資料中之動晝區; &最佳分割，維持動畫區段順序不變。 旦。σ (b) :m=資料中之動晝狀態，用以依據索引或 機羊模型配對，以組成動畫區段。 (C)展開情境範本資料中之動畫資料，用以將各動畫狀 麵 第18頁 200540732

   態所對應w關鍵格資料展開並輸出為結果。 8·:申請專利範圍i或2所述之一種自動產 其中該情境範本可為一動觫φ 一之糸、、先， 範本。 4 串連之臉部表情變化之情境 9. 如申請專利範圍1或2所述之—種自動產生動 其中該情境範本可為一人像五官比例及相對之 情境範本。 罝文化之 10·如申請專利範圍1或2所述之一種自動產生動畫之系 統，其中该情境範本可為一人像皮膚紋理質感或影 色調、明暗變化之情境範本。 11.如申請專利範圍1或2所述之一種自動產生動畫之系 統，其中S亥情境範本可搭配一動態串聯之漫畫符號效 果組合之情境範本。 12· —種自動產生動晝之方法，其至少包含以下之步驟： (a)輸入及分析人像影像，並依據該影像之特徵配置動 態屬性； (b) 經由一聲音分析模組辨識及分析一聲音資料； (c) 經由一情境範本處理模組，配對該辨識及分析完畢 之聲音資料及一自情境範本資料庫中經手動或自動 選取之情境範本資料； (d) 經由一動畫產生模組，依據該配置完成之聲音資料 及情境範本資料調整該動態屬性以產生動畫資料； 及 (e)輸出該動畫資料。

   第19頁 200540732

   13 ·如專利範圍12中所述之一種自動產生動畫之方法，其 中該動態屬性可為網紋資料。 、 14·如專利範圍12中所述之一種自動產生動畫之方法，其 中，步驟（a)更可包括以下之步驟： (a 1)載入一人像影像； (a2)經由一特徵點辨識模組辨識及定位該人像影像之 人像特徵； ~ (a3)經由一特徵點對應模組將該辨識完畢之該人像影 像之特徵點形成網紋資料。 〜 15.如專利範圍14中所述之一種自動產生動晝之方法，其 中，步驟U3)與步驟（d)之處理順序可對調^ 、 16·如申請專利範圍12所述之一種自動產生動晝之方法， J ::情境範本可為一動態串連之臉部表情變化之情 k 本。 17· 18· 之方法， 位置變化 之方法 影像色 如申請專利範圍1 2所述之一種自動產生動晝 其中該情境範本可為一人像五官比例及相= 之情境範本。 如申請專利範圍12所述之一種自動產生動蚩 其中該情境範本可為一人像皮廣紋理質感= 調、明暗變化之情境範本 19.如申請專利範圍12所述之一種聲音驅動的 畫產生之方法’其中該情境範本可為一動：：涵 畫符號效果組合之情境範本。 〜串聯之/又