TWI505176B - 動畫製作之方法及裝置 - Google Patents

Description

動畫製作之方法及裝置

本發明主要有關於一種動畫之製作方法，特別是使用自然使用者介面為工具的一種動畫製作方法。

一般之動畫，使用逐格繪製或運用補間動畫製作技巧進行動畫之製作，前者雖可獲較佳之影質，但須耗費相當多之繪製人力，而後者可降低繪製人力之需求，但影質較為呆板、機械化，而前述之動畫製作方式，皆有一共同特點即為其動作皆為人或人與機器繪製出來的，故無法將實際動畫角色之真實動作表達出來，然而近年來由於科技之進步，許多的動作捕捉器(Motion Capture)被發展出來，運用在3D動畫之製作上，雖然，這些動作捕捉器，可將動畫角色之真實動作捕捉下來，但因其需配帶許多感測器才能真正捕捉動作，實施上還是有很大的不便與限制。美國專利申請案第12/788,731號-"ACTIVE CALIBRATION OF A NATURAL USER INTERFACE"，揭露一種物體追蹤系統，為一種自然使用者介面(Natural User Interface)，可追蹤物體之骨架資訊，並提供給數位處理裝置，可進行加值之運用，如動畫之模擬。

本發明之主要目的為提供一種即時鏡像動畫(Real-Time Mirroring Animation)的技術，其主要為基於自然使用者介面所捕捉之骨架資訊，利用此骨架資訊，將即時使用者之動作套用在預先提供之人物、動物或物件之圖片以繪 製出動畫。主要包含一自然使用者介面12(Natural User Interface)及一動畫處理裝置11用以繪製新奇既有趣動畫之裝置及方法，而動畫處理裝置11包含了一數位處理裝置111、一動畫模組112及一電腦動畫角色113，動畫模組112電性連接於數位處理裝置111，首先，繪製電腦動畫角色113，繪製時須將該主角人物按骨架之部位分開繪製，之後，將其匯入動畫處理裝置11上，而數位處理裝置111接收來自自然使用者介面12所追蹤之實際動畫角色13骨架資訊後，利用該骨架資訊設定電腦動畫角色113對應之骨架部位之位置及旋轉角度，以進行即時動畫之繪製。藉由所改變繪製之電腦動畫角色113，配合現場之實際動畫角色13之動作，以營造出一個與眾不同且饒具趣味之動畫。

如圖1所示，本發明係使用自然使用者介面12(Natural User Interface)，以進行即時鏡像動畫繪製，其主要為使用自然使用者介面以捕捉實際動畫角色13之骨架資訊，利用該一骨架資訊即時地將實際動畫角色13之動作套用在電腦動畫角色113以繪製動畫，而該一電腦動畫角色113為一經切割骨架之人物、動物或物件之圖片，因此，其產出為一以圖片中之人物、動物或物件做為主角做出如實際動畫角色13動作之動畫，有如是實際動畫角色13之鏡射動作，亦即為一將實際動畫角色13之動作，即時以電腦動畫角色113之形體來展現之動畫。其係包括一自然使用者介面12用來獲取實際動畫角色13之骨架資訊、一動畫處理裝置11用來依自然使用者介面12回傳之骨架資訊繪製動畫，而動畫處理裝置11包含了一數位處理裝置111用來執行來自動畫模組之指令及處理來自自然使用者介面資料之裝置、一動畫模組112用以繪製即時鏡像動畫，動畫模組電性連接於數位處理裝置，數位處理裝置包含至少一處理器、一記憶體模 組，該一自然使用者介面，電性連接至該一數位處理裝置。本發明主要包含一自然使用者介面12及一動畫處理裝置11，而動畫處理裝置11包含了一數位處理裝置111、一動畫模組112及一電腦動畫角色113，動畫模組112電性連接於數位處理裝置111，主要為包含動畫處理之程序與資料，數位處理裝置111主要為一包含至少一處理器、一記憶體模組以執行來自動畫模組112之指令及處理來自自然使用者介面12資料之裝置，並進而利用電腦動畫角色113進行動畫之繪製，該一自然使用者介面12，電性連接至該一動畫處理裝置11之數位處理裝置111，負責監控環境中之實際動畫角色13，當環境中出現實際動畫角色13時，該一自然使用者介面12，捕捉並追蹤環境中實際動畫角色13之動作，並將追蹤到之資訊轉化為骨架資訊，回傳至所藕接之動畫處理裝置11，在動畫處理裝置11中，電腦動畫角色113為動畫處理裝置11用來展現所捕捉到之實際動畫角色13之動作的圖案，圖2為使用繪製方式所產生之電腦動畫角色113，圖3為圖2按部位切割所得到之各分割區塊，圖4為本發明之第一較佳實施例，主要闡明將電腦動畫角色113按骨架特性切割，再以自然使用者介面12偵測監控環境中之實際動畫角色13之動作，自然使用者介面12會將所偵測到實際動畫角色13之各關節位置回傳至動畫處理裝置11，動畫處理裝置11按照自然使用者介面12所回傳之骨骼及關節位置資訊，計算對應到電腦動畫角色113各分割區塊之旋轉角度後，設定對應分割區塊旋轉角度，再依對應之關節位置設定其位置，即可獲得該一時間點之動畫畫格。圖11及圖12分別為第二較佳實施例及第三較佳實施例，並與圖4之功用相似，惟圖11及圖12中之實際動畫角色13及電腦動畫角色113可做不同之變換，以創造出更豐富之樂趣。圖3為一初始繪圖，亦即後續之動畫以此一初始繪圖為基礎，再按一間隔時間擷取自然 使用者介面12所回傳之骨架資訊，將圖3和分割區塊之初始繪圖平移及旋轉，逐一獲取動畫之每一畫格。將電腦動畫角色113按部位切割所得之各部位圖，並在各部位區塊中選取2定位點，分別為第一定位點與第二定位點，該定位點可與自然使用者介面12中所偵測之骨架架構位置一致，方便後續之分割區塊位置之設定。其中定位點2111與定位點2112分別為區塊211之第一定位點及第二定位點，定位點2121與定位點2122分別為區塊212之第一定位點及第二定位點，定位點2131與定位點2132分別為區塊213之第一定位點及第二定位點，定位點2141與定位點2142分別為區塊214之第一定位點及第二定位點，定位點2151與定位點2152分別為區塊215之第一定位點及第二定位點，定位點2161與定位點2162分別為區塊216之第一定位點及第二定位點，定位點2171與定位點2172分別為區塊217之第一定位點及第二定位點，定位點2181與定位點2182分別為區塊218之第一定位點及第二定位點，定位點2191與定位點2192分別為區塊219之第一定位點及第二定位點，定位點2201與定位點2202分別為區塊220之第一定位點及第二定位點，定位點2211與定位點2212分別為區塊221之第一定位點及第二定位點，定位點2221與定位點2222分別為區塊222之第一定位點及第二定位點，此一區塊之分割與定位點之設置，可本著前述技術之精神配合自然使用者介面12所提供之資訊及動畫製作上之需求而更動。相鄰區塊間之定位點可為同一位置亦可在不同位置，當設計為同一位置時，可使得在動畫播放時，整體角色之大小保持一致，而若設計為不同位置時，則其在動畫播放時第一動畫角色各部位之銜接上可較為密合，請參考圖3、圖9及圖10，以區塊214為例，其第一定位點為定位點2141，第二定位點為定位點2142，同時在區塊215中，其第一定位點為定位點2151，第二定位點為定位點2152，然 而，區塊214與區塊215為相鄰之二區塊，其中區塊214之第二定位點即定位點2142與區塊215之第一定位點即定位點2151，其定位點之設置有二種方式：其一如圖9所示定位點2142與定位點2151在同一位置，另一如圖10所示，為求在區塊214與區塊215兩區塊之關節處為彎曲狀態時，能有更好的接合效果，因此，區塊213之第二定位點即定位點2132與區塊214之第一定位點即定位點2141為不同位置之兩點，在設計上可讓兩點間保持一距離，而此一距離可以兩區塊較短者為基準，小於其區塊長度80%為佳。

圖5A為圖3中區塊213、區塊214及區塊215之部份區塊圖，圖5B為圖5A進行動作後所形成之圖形，對應圖5A之區塊213、區塊214及區塊215，圖5B中分別為區塊313、區塊314及區塊315，圖5A之定位點2131、定位點2132、定位點2141、定位點2142、定位點2151及定位點2152分別對應至圖5B中之定位點3131、定位點3132、定位點3141、定位點3142、定位點3151及定位點3152，圖5A中之直線1213為連接定位點2131及2132之直線，代表區塊213之方向，直線1214為連接定位點2141及2142之直線，代表區塊214之方向，直線1215為連接定位點2151及2152之直線，代表區塊215之方向，圖5B中之直線1313為連接定位點3131及3132之直線，代表區塊313之方向，直線1314為連接定位點3141及3142之直線，代表區塊314之方向，直線1315為連接定位點3151及3152之直線，代表區塊315之方向。圖5A為圖3之子集，圖6為圖5A中區塊213之方向與圖5B中移動後之區塊313之夾角，圖7為圖5A中區塊214之方向與圖5B中移動後之區塊314之夾角，圖8為圖5A中區塊215之方向與圖5B中移動後之區塊315之夾角，為闡明其夾角之計算，在此以區塊213與區塊313之夾角為例，圖3與圖5A中之 位置為第一動畫位置，圖5B中之位置為第二動畫位置，第一動畫位置中定位點2131之座標為(x₁₁ ,y₁₁ ,z₁₁ )，定位點2132之座標為(x₁₂ ,y₁₂ ,z₁₂ )，第二動畫位置中定位點3131之座標為(x₂₁ ,y₂₁ ,z₂₁ )，定位點3132之座標為(x₂₂ ,y₂₂ ,z₂₂ )，令

則旋轉夾角等於區塊213與區塊313之夾角為

其中【數4】<x₁₂ -x₁₁ ,y₁₂ -y₁₁ ,z₁₂ -z₁₁ >表從定位點2131到定位點2132之向量，而【數5】<x₂₂ -x₂₁ ,y₂₂ -y₂₁ ,z₂₂ -z₂₁ >表從定位點3131到定位點3132之向量，且【數6】COS^-1 為反餘弦函數，而‧代表向量內積，其主要利用兩單位向量【數7】 以求得其夾角，為求本發明更週延與一般化，前述之計算雖然以3維方式表示，但在二維之情況，只要將前述之計算式其中一個不須使用之維度設為0，即可成為二維之計算方式。前述圖5A稱為基準圖或基準畫格，以計算出圖5B或後續相對應區塊之旋轉角度，如圖13所示，其中畫.格401為動畫之初始繪圖，畫格402為動畫之第一畫格，畫格403為動畫之第n-1畫格，畫格404為動畫之第n畫格，畫格404為目前欲繪製之畫格，基準圖之選擇有下列作法，當動畫一開始製作時，沒有上一動畫位置可做參考時，亦即電腦動畫角色之第一畫格時，則以畫格401初始繪圖為基準圖，計算和對應分割區塊之旋轉夾角，而目前繪製動畫畫格若非第一畫格時，則可利用上一動畫畫格為基準畫格，以畫格404而言，亦即為畫格403，而第二動畫位置，則為自然使用者介面所回傳之實際動畫角色13各骨架區塊目前位置。此外，在非第一畫格時除了以上一動畫影格之資訊為基準圖外，亦可利用初始繪圖為基準圖，惟與以上一畫格為基準圖相較，以上一畫格為基準圖時其旋轉角度及平移通常較小，動畫播放時較為平順。本發明之即時鏡像動畫製作程序如圖14所示，包含步驟501先將電腦動畫角色分割成複數個區塊，接著執行步驟502以逐一繪製電腦動畫角色每一區塊之初始繪圖及設置各區塊之定位點並記錄其位置，步驟501及步驟502為動畫繪製之前置作業，前置作業完成後，接著步驟503判斷動畫之繪製是否已經結束，而其判斷依據為來自使用者之操作，如按下結束鍵或動畫之繪製時間已到達設定之時間或環境中 無法偵測到任何實際動畫角色13等因素而結束，若判斷結果為結束動畫繪製，則進行步驟506之結束動畫繪製作業，若步驟503判斷為繼續繪製動畫，則進行步驟504以繪製目前畫格，待目前畫格繪製完成後，進行步驟505若基準圖設定為上一畫格則更新基準圖成目前畫格並等待一固定時間，待等待之時間到達即跳回步驟503以進行下一畫格之繪製，而其等待時間之長短由動畫之每秒畫格數(FPS；Frames Per Second)決定，則每畫格可用時間為1/FPS，而前述之等待一固定時間可以事件驅動方式來實作，亦即以設定計時器方式進行，而其時間間隔即為1/FPS，亦可以傳統之迴圈方式等待，而其等待時間為1/FPS再減去該畫格準備及繪製時間。前述之結束動畫繪製作業為動畫繪製結束前之作業，亦即如釋放所配置之記憶體及關閉所開啟之檔案等有關結束作業之工作，視實際資源使用情形而定。步驟504之作業程序如圖15說明，為一繪製單一畫格流程其繪製程序為：首先如步驟511判斷目前繪製動畫畫格是否為第一畫格？若為第一畫格則如步驟512將後續繪製動畫之基準圖設定為初始繪圖，反之，若非為第一畫格則如步驟513將後續繪製動畫之基準圖設定為上一畫格，接著即可進行步驟514以單一區塊動畫繪製方法，繪製所有區塊之動畫，而單一區塊動畫繪製方式如圖16所示，首先如步驟521從自然使用者介面接收第二動畫位置，獲取第二動畫位置後再如步驟522計算本區塊第一動畫位置與本區塊第二動畫位置之旋轉夾角，利用所計算出來之夾角再如步驟523以本區塊基準圖按前一步驟所計算之旋轉夾角旋轉，最後，如步驟524將前步驟旋轉後區塊之第一定位點平移至第二動畫位置中本區塊第一定位點之位置。在此特別強調，第一動畫位置為基準圖之位置，而第二動畫位置即為自然使用者介面所回傳之目前位置。位置之計算，有一種做法，以相對座標方 式表示，即選定場景中之一特定區塊或物件之特定位置，如區塊212之定位點2121，為參考點，可將該參考點之相對座標設為任意之座標，考慮運算之方便性，通常設為原點即(0,0)或(0,0,0)，而其他各點之絕對座標再與該參考點之絕對座標相減以得出相對之座標。

動畫模組112將各分割區塊按前述之程序一一製作出動畫後再合併成一完整之畫格，並在一固定之時間間隔內讀取自然使用者介面12回傳之第二動畫位置，再逐一產生各時間點之畫格，按時間序播放各畫格，即可完成動畫之製作。

本發明更可如圖17所示，透過數位處理裝置111連接網際網路15，並將製作完成之動畫儲存成特定之格式，傳送至遠端數位裝置14，該遠端數位裝置14可以是一郵件伺服器，可以電子郵件傳送給親朋好友，甚至任何之電子郵件帳戶。該遠端數位裝置14亦可為一如YouTube之影音伺服器，透過該伺服器可以將所上傳之動畫分享給其他網友。該遠端數位裝置14亦可為一網頁伺服器(web server)，可以將上傳之動畫直接透過網頁連接，在瀏覽者之電腦播放。該遠端數位裝置14亦可為一社群網站(social web)之伺服器，數位處理裝置111所上傳之動畫，經由該一社群網站將動畫之訊息散佈給好友，好友登入該一社群網站後即可觀看所上傳之動畫。該遠端數位裝置14亦可為一遠端動畫播放裝置，將實際動畫角色13之動作利用本發明產生以電腦動畫角色113動作之動畫透過網路傳送到遠端之動畫播放裝置播放。同時該遠端數位裝置14亦可為一雲端伺服器，利用雲端之機制，將本發明所製作之饒富趣味之動畫散播給親朋好友觀賞，以創造出更多樣化之趣味與意境。

前述之自然使用者介面12可以是能提供物體之骨架資訊之設備 即可與本發明一起運作，而骨架資訊主要為各骨架包含景深之3D位置，可以是時下之3D攝影機，或是包含偵測景深之紅外線配合攝影機之裝置，亦或包含無線電波標籤與無線電波感應器以獲取骨架之3D資訊之裝置。對於2D動畫之製作自然使用者介面12只需提供2D之骨架位置資訊即可。此外，若自然使用者介面只提供3D之座標，則可利用電腦圖學(Computer Graphics)的3D轉2D技術即可完成，亦即在自然使用者之輸出端再加上一個3D座標轉2D座標模組，經計算後再輸出即為2D座標。

11‧‧‧動畫處理裝置

12‧‧‧自然使用者介面

13‧‧‧實際動畫角色

14‧‧‧網際網路

15‧‧‧遠端數位裝置

111‧‧‧數位處理裝置

112‧‧‧動畫模組

113‧‧‧電腦動畫角色

211‧‧‧區塊211

212‧‧‧區塊212

213‧‧‧區塊213

214‧‧‧區塊214

215‧‧‧區塊215

216‧‧‧區塊216

217‧‧‧區塊217

218‧‧‧區塊218

219‧‧‧區塊219

220‧‧‧區塊220

221‧‧‧區塊221

222‧‧‧區塊222

401‧‧‧初始繪圖

402‧‧‧第一畫格

403‧‧‧第n-1畫格

404‧‧‧第n畫格

501‧‧‧步驟501

502‧‧‧步驟502

503‧‧‧步驟503

504‧‧‧步驟504

505‧‧‧步驟505

506‧‧‧步驟506

511‧‧‧步驟511

512‧‧‧步驟512

513‧‧‧步驟513

514‧‧‧步驟514

521‧‧‧步驟521

522‧‧‧步驟522

523‧‧‧步驟523

524‧‧‧步驟524

1213‧‧‧直線1213

1214‧‧‧直線1214

1215‧‧‧直線1215

1313‧‧‧直線1313

1314‧‧‧直線1314

1315‧‧‧直線1315

2111‧‧‧定位點2111

2112‧‧‧定位點2112

2121‧‧‧定位點2121

2122‧‧‧定位點2122

2131‧‧‧定位點2131

2132‧‧‧定位點2132

2141‧‧‧定位點2141

2142‧‧‧定位點2142

2151‧‧‧定位點2151

2152‧‧‧定位點2152

2161‧‧‧定位點2161

2162‧‧‧定位點2162

2171‧‧‧定位點2171

2172‧‧‧定位點2172

2181‧‧‧定位點2181

2182‧‧‧定位點2182

2191‧‧‧定位點2191

2192‧‧‧定位點2192

2201‧‧‧定位點2201

2202‧‧‧定位點2202

2211‧‧‧定位點2211

2212‧‧‧定位點2212

2221‧‧‧定位點2221

2222‧‧‧定位點2222

圖1本發明架構圖

圖2電腦動畫角色

圖3電腦動畫角色之分割區塊圖

圖4本發明之第一較佳實施例

圖5A電腦動畫角色部份分割區塊之初始繪圖

圖5B實際動畫角色動作後之部份分割區塊

圖6區塊213移動前後之夾角計算

圖7區塊214移動前後之夾角計算

圖8區塊215移動前後之夾角計算

圖9定位點之設置說明一

圖10定位點之設置說明二

圖11本發明之第二較佳實施例

圖12本發明之第三較佳實施例

圖13基準圖與初始繪圖

圖14動畫繪製流程

圖15繪製單一畫格動畫

圖16繪製單一區塊動畫

圖17動畫網路分享模式

11‧‧‧動畫處理裝置

12‧‧‧自然使用者介面

13‧‧‧實際動畫角色

111‧‧‧數位處理裝置

112‧‧‧動畫模組

113‧‧‧電腦動畫角色

Claims (8)

1. 一種使用自然使用者介面以製作動畫之方法，其係用於繪製單一區塊，其步驟包括：(a)從自然使用者介面接收第二動畫位置；(b)計算本區塊第一動畫位置與本區塊第二動畫位置之旋轉夾角；(c)以本區塊基準圖按前一步驟所計算之旋轉夾角旋轉；(d)將前步驟旋轉後區塊之第一定位點平移至第二動畫位置中本區塊第一定位點之位置。
2. 一種使用自然使用者介面以製作動畫之方法，其係用於繪製單一畫格，步驟包含：(a)首先判斷目前繪製動畫畫格是否為第一畫格；(b)若為第一畫格則將後續繪製動畫之基準圖設定為第一畫格；(c)若非為第一畫格則將後續繪製動畫之基準圖設定為初始繪圖；(d)以請求項1之單一區塊動畫繪製方法，繪製該畫格所有區塊之動畫。
3. 一種使用自然使用者介面以製作即時鏡像動畫之方法，包含下列步驟：(a)先將電腦動畫角色分割成複數個區塊；(b)逐一繪製電腦動畫角色每一區塊之初始繪圖；(c)判斷動畫之繪製是否已經結束；(d)若判斷為結束動畫繪製，則進行結束動畫繪製作業；(e)若判斷為繼續繪製動畫，則以請求項2之繪製單一畫格方法繪製目前畫格；(f)若基準圖設定為上一畫格則更新基準圖成目前畫格並等待一固定時間；(g)回到步驟c。
4. 一種使用自然使用者介面以製作動畫之裝置，係使用自然使用者介面，以獲取實際動畫角色之骨架資訊，並套用至電腦動畫角色以製作動畫，包括一自然使用者介面用來獲取實際動畫角色之骨架資訊、一動畫處理裝置用來處理自然使用者介面回傳之骨架資訊以繪製動畫，而動畫處理裝置更包含了一數位處理裝置用來執行來自動畫模組之指令、一動畫模組用以繪製即時鏡像動畫，數位處理裝置包含至少一處理器用來執行請求項第1項、第2項或第3 項任一項之方法、一記憶體模組用來儲存資料，該一自然使用者介面，電性連接至該一數位處理裝置。
5. 如請求項第1項、第2項或第3項所述之使用自然使用者介面以製作動畫之方法，其中自然使用者介面為一提供物體骨架2D或3D位置資訊之裝置。
6. 如請求項第4項所述之使用自然使用者介面以製作動畫之裝置，其中自然使用者介面為一提供物體骨架2D或3D位置資訊之裝置。
7. 如請求項第4項或第6項所述之使用自然使用者介面以製作動畫之裝置，其中數位處理裝置連接網際網路，透過網際網路將所繪製之動畫傳送至伺服器。
8. 如請求項第7項所述之使用自然使用者介面以製作動畫之裝置，其中之伺服器可為一郵件伺服器或網頁伺服器或檔案伺服器或社群網站伺服器或影音伺服器或遠端動畫播放器或雲端伺服器。