TWI641261B - 從動態影像產生動態三維影像之方法 - Google Patents

Abstract

從二維或不完整成像的三維影片組中選定欲轉換為三維影像的序列影片及其中複數個物體，則可從該影片組中逐張比對尋獲各不同時點、姿態和面向的複數個該選定物之一的影像。再根據尋獲的該選定物的組件的長寬、深度資訊，以演算法將該選定物的各個組件都產生一個擬真的三維組件，並進而依照出現在該選定影片中的該選定物的不同姿態，將該組件各別組成擬真的三維影像。

同理可將該選定影片中其他該選定物逐一轉換為三維影像。因此該選定影片中的複數個該選定物便都能以動態三維影像的形式呈現，並可從各角度及位置觀察之。

Description

從動態影像產生動態三維影像之方法

本發明，從動態影像產生動態三維影像之方法，係關於使用二維攝錄影機攝錄之二維影片或使用三維攝錄影機攝錄之不完整三維影片(為欠缺部分表面的不完整成像之三維影片)，演算產生動態的三維物體(以下所稱物體悉以廣義定義：包含靜態或動態之人體；靜態或動態之動物體及靜態或被移動之非生物體等)的影像之方法。

由於科技的進步，三維攝錄影裝置推陳出新，使三維影片的攝錄製更加容易，儼然將取代二維攝錄影成為視訊的主角。

然而即使三維攝錄影裝置已經應用多年，卻受限於其有效攝錄影距離短、可視範圍小、清晰度難以掌握及無法有效攝錄取中遠距離的動態物體；此外，欲攝取場景中的物體實體而能足以產生三維影像的至少三個角度的三維影片便需要在場景四周取至少三個不同角度配置三個三維攝錄影機及在諸多環境限制下進行攝錄，除無法在大多數生活環境中攝錄製一般生活影片外，更遑論需使用高價、高效能的 三維攝錄影機。故若欲以三維攝錄影機取代二維攝錄影機的便利及生活化應用料非短期可蹴，也非一般民眾能輕易嘗試。

廠商、學界致力於排除上述問題，將三維攝錄影裝置內嵌於行動裝置上頗有進展，然而，即使最後終能排除了上述有效攝影距離短、可視範圍小和價格無法普及等等問題，因為係使用單一攝錄影機，在單一時點僅從單一角度進行攝錄影，自然無法攝錄三維物體背面的影像。所以實務上所攝錄的影像未經過處理其背面是鏤空的，也因沒有參考畫面故只能填補無意義的畫素。因此與呈現真實三維物體的實體必然有很大一段的差距，自然就不能在AR的空間中陳現實體物件，自亦不能以身歷其境的方式在三維空間中穿梭並從各個角度觀察物體和感受空間和距離及複數運動物體間的交互作用和影響程度。

現有二維轉三維的演算法和裝置不勝枚舉，有以演算法計算模擬出所欠缺的真實三維物體面的做法，就失去物體的真實性；也有從現有的二維影片(例如鐵達尼號)以後製作將每幀影片依照物體及其表面的深淺度逐一以人工繪製出灰階畫面，再以演算法判別深淺灰階所代表的深淺度從而產生三維物體，此種做法就只能陳現單一角度的三維面且太耗時耗工；以前為了實現3D重構，一般都是通過兩個或者複數個攝錄影機來攝錄影像再配接的。但都會對場景做很多假設，例如利用單幅影像物體表面明暗變化恢復其表面各點的法向量進而求得其相對高度，但使用上有很大的局限。近年來，三維攝影機也使用了景深鏡頭或紅外線感測器，但 因技術不成熟且未能解決前述問題以致應用並不廣泛。

這些將二維或三維影片透過邏輯演算法以產生動態三維影像的理論和實作，還須克服諸多問題：以數學演算法計算模擬三維物體必須克服如何讓三維之背面影像成像(render)的問題；也須克服獲取物體的器官立體深度問題；還須克服細部表情、衣飾飄揚及流水、火焰、煙塵等生動呈現的問題。

將二維或三維動態影像產生靜態或動態三維物體影像之技術或裝置具有潛在的需求，例如在運動中可觀察雙方運動員是否發生過碰撞，或者運動員是否觸碰球體造成出界，以及從運動員的角度親身體驗對方球員的壓迫性。然而可見的未來尚無有效的解決方法，故吾人乃提出本案專利請求，從二維或不完整的三維動態影像產生動態三維影像之方法，既能讓背面成像也能以經濟效率的方法獲取動態三維影像，當能解決其中部分問題而實用化之。惟所產生之該三維物體為擬真物體，後續如透過其他定位方法來更精確定位該複數個三維物體，便能更精確的在虛擬的三維空間中使用虛擬攝錄影機從不同角度攝製單張三維影像或三維影片加以陳現；也能更精確的在AR環境中用AR相關的瀏覽器來瀏覽觀察。

本案從動態影像產生動態三維影像之方法的概念是：運動影片中的人物至少有三種特性提供了本案演算法充裕的資訊也某些方面減少了一些複雜度：活動頻繁；以符 號便於識別身分和衣著一致、貼身且外觀變化較少。因此多數人物在首次出現後之極短時間內便能提供足夠面向的二維影像及所需資訊以供轉換為三維影像。茲摘述做法如下：從二維或不完整三維影片中選定單張影片(稱為選定影片)，再從其中選定一個物體(稱為選定物)，再從影片中逐張比對尋找該選定物，可獲得從不同角度所攝錄不同姿態和面向的該選定物的包括長寬向量的各角度的各組件的資訊。因此數張連續的選定影片中的該選定物就能以組合組件的方式快速產生擬真的動態三維影像。

根據先後出現的該選定物不同角度的複數個人物包含形態、臉面、肢體、器官、關節、衣著、長寬、向量及識別符號等數據，或裝置、設施的形態、結構、節理、長寬、向量及識別符號等數據的二維或三維影像(欠缺背面的不完整成像)，便可透過演算法轉為三維物體，再將該三維物體從節理處分解成三維組件，再根據該二維或三維影片中該物體的二維或三維數據以修正之，次根據該二維或三維影片中該物體的組件的姿態、位置和角度等數據以結合該物體之該三維組件，再修正結合處的冗餘、不足元素，便形成該選定單張影片中出現的該物體的完整的三維物體。從而可同理產生該單張影片中其他選定物，或其他張影片出現的選定物的完整的三維物體，並透過景深及定位技術將各選定物定位於三維空間中。惟所需二維和三維影像處理的技術皆為習知技術，但若欲轉換的選定影片單張中需成像的物體在全部影片中出現頻率過少以致僅能獲取局部的物體面(例如欠缺背面 的二維或三維影像)的影像數據時，則需用預設模型產生三維物體面來模擬產生欠缺的物體面。

本發明從動態影像產生動態三維影像之方法包括以下之步驟：(1)主機開啟、讀取或使用攝錄影機攝錄一組二維或不完整三維影片(影片組)；(2)使用者自該影片組選定欲轉為三維的序列影片(選定影片)，並從其中選定複數個欲轉為三維的物體(選定物)；(3)從該影片組首張開始以該選定影片之該選定物之一的臉面、符號、紋理或形體等特徵逐張比對尋獲該影片組中的選定物(幀選定物)；(4)判斷各該幀選定物的組件是否已有足夠不同面向的影像以供計算產生三維影像；(5)如否，至該影片組下一張，回步驟(3)從下一張影片繼續比對；(6)若是，調整各面向的各該幀選定物，並進行除雜訊、除光影；使正規化；使長寬、斜率為同一基準等相關之處理；(7)根據各該幀選定物各組件之形態、深度、斜率、軸心之縱軸長及各橫軸寬所形成之剖面，透過演算法將該選定物以組件為基準轉換為三維影像；(8)將該三維影像從節理分解成三維組件； (9)至該選定影片的下一張，判斷還有該選定物？；(10)用該選定物的各該組件，根據本張該選定物各組件的姿態、位置、角度等資訊接合；(11)整修接合處的冗餘、不足元素；(12)整體調整該選定物外形；(13)重複步驟(9)至步驟(12)可將該選定影片之另一個該選定物各別轉換產生三維物體；(14)重複步驟(3)至步驟(13)可將該選定影片之複數個該選定物各別轉換產生複數個三維物體；(15)序列的選定影片及其中複數個選定物便可都產生連續的動態三維影像。

其中該主機係可以為與攝錄影機、感測裝置、景深裝置耦合的個人電腦、筆記型電腦等電腦裝置；亦可以為獨立運作的內建二維或三維攝錄影機、感測裝置、景深裝置的手機、智慧手機、平板電腦等可攜式裝置。其功能則可以從讀取的二維動態影片進行比對、辨識、分析和處理；也可以直接從攝錄影機攝錄影作業中逐張產生的一或複數組二維或三維動態影像來自動選定物逐張進行比對、辨識、分析和處理；也可以為三維攝錄影機讀取的物體的三維影像作為二維產生三維物體的三維形體元件的參考影像；也可以耦合感測裝置作為偵測獲得物體景深的輔助工具。

該主機係可以使用軟體從讀取的二維或三維動態影像進行比對；也可以直接從攝錄影作業中逐張產生的二 維或三維動態影像來逐張、即時的進行影像分析；也可以將包括攝影日期、鏡頭透光率，及每張影像的光圈、焦距、攝影機位置及比對到的物體的影像等攝影資訊記錄於檔案。

該攝錄影機可為單一個二維攝錄影機配置單一個或複數個攝錄影鏡頭進行攝錄影以獲得物體二維影片。亦可為配置複數個攝錄影機攝取物體不同角度的二維影像。亦可為三維攝錄影機攝錄影獲取不完整的三維物體的影片。該攝錄影機可為單鏡頭數位攝錄影機以攝錄單一組二維動態影像，亦可為雙鏡頭數位攝錄影機以攝錄不同角度的複數組二維動態影像，亦可為雙鏡頭數位攝錄影機，其一為攝錄影鏡頭另一為景深鏡頭，只攝錄單一角度單組二維動態影像，亦可為三維攝錄影機直接錄製一或複數組不完整動態三維影像或不完整三維影像。亦可為上述裝置之接合。

此外，該主機儲存該三維組件影像資訊，係儲存物體影像之影像類型、屬性及組件名稱、長寬、向量及識別符號等及其相關數據。

再者，該影像類型包含二維靜態影片和二維動態影片；三維靜態影片和三維動態影片。

再者，該選定影片係使用者自該影片選定欲轉換為三維物體的影片片段，也就是使用者自既有影片檔選定一或複數組開始轉換影片及結束轉換影片及其間支影片。

再者，該選定物係使用者自該選定影片選定欲轉換為三維物體的一或複數個物體。是使用者自行在選定物介面上操作逐一畫定一或複數個欲轉為三維影像的物體概略 的區塊，或選定物用來比對的特徵。或者使用者指定系統也可即時或非即時自動選定物並於序列影片中尋找並逐一核對出現的物體依照出現次序選定物並賦予編號。系統會自動將選定區塊進行二值化、判定閥值(thresh)及分割獲取欲比對物體的影像(排除多餘的背景)。

該比對方法可因應比對實務之需要加以調適、選擇，可包括但不限於近似比對法、相減法，此近似比對法之下比對兩物體的影像無需完全相符，只要達到一定程度的符合便推斷已尋獲欲選定物，此所稱之一定程度可以用加權值或百分比值(%)表示之，此值可視實際比對之需要適當修正調適之。

本方法於影像處理、辨識前還需對影像或影片做必要之濾波除雜訊、光影等的調整，以獲得較清晰的畫質；或做必要的正規化以使比對的物件能在同一基礎上進行，以使比對、辨識作業更有效率、更正確。

使用者或系統自選定影片中選定物後，系統即依選定次序從該選定影片自開始影片搜尋該選定物各個面向的影像，當發現該物體影像時須即時對其各組件進行分析：步驟中所發現的該組件是否已經有足夠不同面向的影像。

需要的該組件足夠不同面向的影像的判別法為：主要組件的二維影像重疊面不大於一定比例，重疊面可以特徵點檢視或組件旋轉角度來判別，惟並不限於此。

取得足夠不同面向的影像是產生該物體三維影像完整形體的要件，而要達到這項要件，列舉但不限定下述 二作法：(1)取得該選定物各主要組件至少各有120度差的面向的連續影像；(2)取得特定物體至少三個不同面相的不連續的影片，此不連續影片需以特徵點檢測等方法以識別兩張影片需有重疊影像。

取得選定物的足夠不同面向的影像方法為：自該物體之連續活動影片之首張開始偵測特徵點，發現其他張物體之有限數量之特徵點位置、比例等條件與首張吻合時，便知該組件已取得的該物體之360度完整的各角度影片。如足夠不同面向的影像的平面影像取得不完整時，可以從先已轉換得到的三維組件所建立的選定物為預設模型，並從之取得所欠缺的該面向的形體；亦可使用模擬的畫素來填補所欠缺面向的物體影像。

物體的預設模型可供於無法取得該物體的足夠面向的平面影像的狀況下，作為推定所欠缺之該面向形體之模擬形體，此預設模型可選用前已產生的相同性質的組件、物體的三維影像。因為該物體僅以外觀辨識及成像，故關節或節理處有衣物覆蓋者便無明確的型態可資識別，而關節的識別方式則係以相連接兩段肢體陳現之向量/角度有變化時，其活動之軸心點(skeleton，以下所稱之軸悉以廣義定義乃泛指動物體的骨架；在非生命體則稱為軸)便為關節。而習知方法中有從形體活動中自動辨識物體的骨架和關節點位 者，本方法可。

為輔助辨識人體的關節，可從人體結構模型(參考第9圖)來觀察比對，該人體結構模型以圓點標示了關節點，也以編號標示了主要組件。僅有一個端點之組件稱為終端組件(如指頭)，否則稱為非終端組件(如小臂、大臂、手掌，各含兩個以上的關節)。而關節的識別方式則同前段所述。

物體組件分割方法是以軸心的關節點再加上該物體組件的最長半徑之增長段，並以軸心之垂直平面為分割面。該選定物之組件於分割前還須經過色澤、光影、大小之調整。

該三維組件影像之接合，係先將該組件依照該物體之二維或三維影像之曲面、曲體、伸展、色彩等組件的相關變化做適當修正，再以修正後的組件和與該物體之二維影像之相同面向、軸心、方向、大小、長度等，從關節加以接合。

本方法於三維組件影像之接合前必要時還需做濾波除雜訊、光影等的調整，以獲得較清晰及調和的畫質；或做必要的正規化以使組件能在同一基礎上進行接合比對，以使接合作業更有效率、更正確。

所產生的動態三維影像，便可以三維及AR方式加以呈現，並使用瀏覽器從各種角度進行瀏覽或於複數個三維物體影像之間穿梭觀察之。

因為攝錄影機的位置和高度攸關所攝錄的二維動態影像各影片的相對位置和角度，故如攝錄影機的位置有 所變動，需有足夠的場地資訊，以供定位攝錄影機的位置和高度，以供計算選定物之相互位置及變化和調整物體的相關數據。

如使用自動對焦、自動設定光圈進行攝錄影者，主機須即時擷取每張影片的光圈、焦距並記錄之，以供作為所需影像處理的參考數據。

以上概述及發明內容係為對固態物體而非流態、氣態進行轉換以產生動態三維影像，也係為較有效率地對現有轉換三維物體動態影像技術無法普及、深化尋求擬真的解決對策，而非為提供精確數據以取代精密之偵測設備及方法。其優化、後續的改良做法可透過經驗學習及硬、軟體工具和裝置之更精進，以漸次使所產生物體的動態影像更為自然、協調和更有效率。

又，其與後續的實施方式之較詳細的說明皆為示範性質，是為了明確、進一步說明及列舉本發明的申請專利範圍，而非用來限定權利範圍。且當遵循專利法及相關規定，以主張之權力範圍所述為準，發明內容為輔。又復，本方法所使用的演算法，部分為習知或公開的技術，實作時仍當配合環境或實際之需要適當斟酌調適為之。而有關本發明的其他目的與優點，將在後續的實施方式的說明與圖示加以闡釋。

11‧‧‧主機

12‧‧‧使用者介面

13‧‧‧顯示器

14‧‧‧儲存媒體

15‧‧‧攝錄影機

16‧‧‧感測裝置

S300至S326‧‧‧步驟S300至S326

S400至S420‧‧‧步驟S400至S420

50‧‧‧選定影片檔案

51‧‧‧選定物之一

52‧‧‧選定物之二

53‧‧‧開始影片張號

54‧‧‧結束影片張號

55‧‧‧移動影片鈕

56‧‧‧放大影片鈕

57‧‧‧物體選定鈕

58‧‧‧明暗鈕

600‧‧‧影片組

602‧‧‧選定影片

604‧‧‧選定物

606‧‧‧幀選定物

700‧‧‧頭部實體

702‧‧‧攝錄影機

704‧‧‧頭組件右側影像

706‧‧‧頭組件右側影像與後側影像重疊部分

708‧‧‧頭組件後側影像

710‧‧‧頭組件後側影像與右側影像重疊部分

712‧‧‧頭組件後側影像與左側影像重疊部分

714‧‧‧頭組件左側影像

716‧‧‧頭組件左側影像與後側影像重疊部分

718‧‧‧頭組件剖面

720‧‧‧頭組件三維影像

800‧‧‧大腿組件

802‧‧‧大腿組件前增長段

804‧‧‧大腿組件後增長段

806‧‧‧小腿組件

808‧‧‧小腿組件前增長段

810‧‧‧小腿組件後增長段

812‧‧‧腳掌組件

814‧‧‧腳掌組件前增長段

816‧‧‧接合後的大腿關節

818‧‧‧接合後的小腿關節

900‧‧‧頭組件

902‧‧‧上體組件

904‧‧‧下體組件

906‧‧‧左大腿組件

908‧‧‧右大腿組件

910‧‧‧左小腿組件

912‧‧‧右小腿組件

914‧‧‧左大臂組件

916‧‧‧右大臂組件

918‧‧‧左小臂組件

920‧‧‧右小臂組件

922‧‧‧頸組件

924‧‧‧左腳掌組件

926‧‧‧左腳趾組件

928‧‧‧右腳掌組件

930‧‧‧右腳趾組件

932‧‧‧左手掌組件

934‧‧‧右手掌組件

938‧‧‧機身組件

940‧‧‧左翼組件

942‧‧‧右翼組件

944‧‧‧左襟翼組件

946‧‧‧舵翼組件

948‧‧‧座艙罩組件

第1圖係第一種實施例系統架構圖。

第2圖係第二種實施例系統架構圖。

第3圖係產生動態三維影像第一種流程示意圖。

第4圖係產生動態三維影像第二種流程示意圖。

第5圖係使用者選定影片和選定物之操作介面示意圖。

第6圖係選定物比對程序示意圖。

第7圖係選定物頭組件之三維影像形成過程示意圖。

第8圖係選定物腿部組件接合示意圖。

第8A圖係選定物腿部組件示意圖。

第8B圖係選定物腿部組件接合前示意圖。

第8C圖係選定物腿部組件接合後示意圖。

第9A圖係人體結構示意圖。

第9B圖係飛機體結構示意圖。

請參照第1圖為第一種實施例系統架構圖，其係使用者經由主機11的使用者介面12輸入一組二維動態影像；或者令主機11從指定位置的儲存媒體14讀入一組二維動態影像，再進行判讀以產生動態三維影像，再呈現在顯示器13上。

請參照第2圖為第二種實施例系統架構圖。使用者使用二維或三維攝錄影機15照攝獲得一組二維或三維動態影像，再由主機11進行使用者選定影片、選定物之操作，及主機自動進行比對尋找選定物、轉換為動態三維影像，並儲存相關資訊於儲存媒體14；亦可以同步使用輔助感測裝 置16偵測物體的景深及位置和組件上的器官/配件之高低、大小，及將操作界面和行為、過程和結果呈現在顯示器13上；或者也可以直接從攝錄影作業中逐張產生的二維或三維動態影像，來逐張、即時的進行影像分析。而該攝錄影機15可為單鏡頭數位攝錄影機15以拍攝一組二維動態影像；亦可為雙鏡頭數位攝錄影機15以拍攝不同角度的兩組二維動態影像；亦可為雙鏡頭數位攝錄影機15但其中一個鏡頭為單純拍攝影像、影片用，而另一個鏡頭則為景深鏡頭，用以輔助蒐集各個物體的景深資訊；亦可為三維攝錄影機15拍攝的不完整動態三維影像。而該攝錄影機15亦可配合所產生的資訊的需要，使用較高階的高速攝錄影機以截取多於每秒24幀(frame)的影片。上述主機11可包括但不限於與攝錄影機15、感測裝置16、景深裝置耦合的個人電腦、筆記型電腦；亦可包括但不限於獨立運作的內建攝錄影機15、感測裝置16、景深裝置的手機、平板電腦等行動裝置。

請參照第3圖為產生動態三維影像第一種流程示意圖。包括以下步驟：

(1)主機開啟、讀取或使用攝錄影機攝錄一組二維或不完整三維影片(影片組)；(S300)

(2)使用者自該影片組選定欲轉為三維的序列影片(選定影片)，並從其中選定複數個欲轉為三維的物體(選定物)；(S302)

(3)從該影片組首張開始以該選定影片之該選定物之一的臉面、符號、紋理或形體等特徵逐張比對尋獲該影片組中的選定物(幀選定物)；(S304)

(4)判斷各該幀選定物的組件是否已有足夠不同面向的影像以供計算產生三維影像；(S306)

(5)如否，至該影片組下一張，回步驟(3)從下一張影片繼續比對；(S308)

(6)若是，調整各面向的各該幀選定物，並進行濾波減少雜訊與斑點、除光影；使正規化；使長寬、斜率為同一基準等相關之處理；(S310)

(7)根據各該幀選定物各組件之形態、深度、斜率、軸心之縱軸長及各橫軸寬所形成之剖面，透過演算法將該選定物以組件為基準轉換為三維影像；(S312)

(8)至該選定影片的下一張，尋獲該選定物？(S314)

(9)若是，至步驟(7)，否則重複步驟(3)~步驟(8)可將該選定影片之複數個該選定物各別轉換產生複數個三維物體；(S316)

(10)序列的選定影片及其中複數個選定物便可都產生連續的動態三維影像。(S318)

上述三維形狀的產生技術，亦可從習知技術例如產生三角網格以組合成多邊形面及座標再連結產生三維形狀，因相關數據都已於攝錄影及感測器偵測中獲取亦存在於影片組中，故本方法皆可引用之以便更有效的於實作時依實務需要使用更適切的方法。

請參照第5圖為使用者選定影片和選定物之操作介面示意圖。使用者先用瀏覽功能選定影片檔案40，隨後選定影片會顯示在影像顯示框，使用者便可設定開始影片張號43及結束影片張號44，使用移動影片鈕45移動影片；使用放大影片鈕46放大影片；使用明暗鈕47調整影片明暗及使用物體選定鈕48劃出選定物之一41和選定物之二42的橢圓框。

請參照第6圖為選定物比對程序示意圖。首先主機開啟、讀取或使用攝錄影機攝錄一組二維或不完整三維 影片組600，隨後使用者自該影片組選定欲轉為三維的選定影片602，並從其中選定複數個欲轉為三維的選定物604~610，從該影片組首張開始以該選定影片之該選定物之一的臉面、符號、紋理或形體等特徵逐張搜尋比對找到該影片組中的幀選定物612~628，此9圖幾已包含了各組件的至少足供第1個選定物604各該組件轉換為三維影像所需的三個面向的各該組件樣本，因此可以根據各該幀選定物612~628之各別組件，來組合產生第1個該選定物604的三維影像，其次再使用第1個該選定物604的各組件，根據第2個該選定物606的姿態和外形來組合產生第2個該選定物606的三維影像。依此法，第3個之後的該選定物608之後的各該選定物也都可以同理產生三維影像。

請參照第7圖為選定物頭組件之三維影像形成過程示意圖。欲自二維或三維影片將選定物轉換為三維影像，需取得選定物各組件之連續活動影像。本圖說明從單一攝錄影機702所攝錄之選定物之頭部實體700之不同角度、各有部分重疊的共3個面向的連續活動的頭部影像704、708及714。在活動中攝錄影機702從頭部實體700右下側進行攝錄影片，該攝錄影機702可因取景需要而調整位置或角度，但於進行三維演算前需先修正因攝錄影機位置、距離之變動所造成頭部實體700角度及大小等數據之變動。此例中，因為頭部實體700之轉動，進行攝錄影後須至少獲得頭組件之右側、背面和左側的影像，此三個面向的左右影像各別都含有其他面向影像的一部分重疊影像：包括頭組件右側影像 704，會含有頭組件右側影像與後側影像重疊部分706；而頭組件後側影像708，也會含有頭組件後側影像與右側影像重疊部分710及頭部組件後側影像與左側影像重疊部分712；而頭組件左側影像714，則會含有頭組件左側影像與後側影像重疊部分716，這樣才能取得轉換為三維影像所需面向的影像而不致遺漏。從此3個頭組件影像，系統可以修正角度、大小、色澤等差異並正規化之，並根據景深、面部器官深淺度來取得三個組件在各別之軸心同一點位的橫斷面(或稱水平面)的頭組件剖面718。系統便可疊合複數個頭組件剖面718以產生頭組件三維影像720。惟此處僅係闡釋性的列舉其中一種三維組件從剖面產生的方法，習知技術還包括產生三角網格以組合成多邊形面及座標再連結產生三維形狀的產生技術，因相關數據都已於攝錄影及感測器偵測中獲取亦存在於影片組中，故本方法皆可引用以便更有效的於實作時依實務需要使用更適切的方法。

請參照第8圖係選定物腿部組件接合示意圖。從上個實施例可以獲得組件的三個面向的頭組件影像，經本方法演算後將三個面向的頭組件影像可轉換為頭組件的三維影像。同理參照第8A圖可以獲得大腿組件800、小腿組件806和腳掌組件812，這三個組件都個別含有長於組件關節長度的增長段，也就是大腿組件前增長段802、大腿組件後增長段804；小腿組件前增長段808、小腿組件後增長段810及腳掌組件前增長段814。

請參照第8B圖，此圖顯示經過前圖取得的大腿 組件800、小腿組件806和腳掌組件812，進行接合作業可以將三個組件自關節處加以接合，接合後的結果請參閱第8C圖。接合後的大腿組件與小腿組件之間的接合點，也就是大腿關節816和接合後的小腿關節818，是同一點位。

請參照第9A圖為人體結構示意圖。本圖定義了人體16個主要組件，包含有頭組件900至右手掌組件930。各組件係以關節之軸心點為分割點。

請參照第9B圖本發明方法之飛機體結構示意圖。本圖定義了飛機16個主要組件，包含有機身組件900至右手掌組件930。各組件係以關節之軸心點為分割點。

上述實施例僅係為了方便說明而列舉的，故以籃球為例的狀況、物理特性、演算法等通常也適用於棒球、壘球、網球、桌球、足球、高爾夫球、保齡球等運動及運動以外的其他物體之移動、交互作用的現象；且圖示並沒有精確地依照真實比例繪製，因此本發明圖示中的比例並不限定與實務完全吻合。此外，實施例的比對方法也僅係列舉，在實際運作時仍需根據實際需要使用最適當的方法。故本發明所主張之權利範圍自應以申請專利範圍所述為準，而非僅限於上述實施例也非僅限於所列舉的項目。熟知本技術者當可在閱讀說明書後，從而更了解請求項中所界定的申請專利發明的其他好處或其他目的。

本發明由於演算法之技術特性，對於無固定或變化大的二維形體較無法形成連續且自然的三維影像，故所適用之範圍以運動領域或外觀變化不大的動物、工具、設備、 裝置等為主。從運動領域觀察：在正式比賽所穿著的服裝、服飾及外觀較為一致且貼身，某個程度來看：不同人物的外觀包括身長、體寬、膚色還可取用他人的同一角度的影像透過演算法加以修正獲取，且除臉面辨識外也可以觀察運動員衣著的編號來辨識身份。

Claims (14)

1. 一種從動態影像產生動態三維影像之方法，其係應用在一電腦系統上，該電腦系統包含一主機、一連結該主機的使用者介面，一連結該主機的顯示器，以及連結該主機的攝錄影機、感測裝置和檔案，該方法包括以下步驟：(1)主機開啟、讀取或使用攝錄影機攝錄一組二維或不完整三維影片(影片組)；(2)使用者自該影片組選定欲轉為三維的序列影片(選定影片)，並從其中選定複數個欲轉為三維的物體(選定物)；(3)從該影片組首幀(張，frame)開始以該選定影片之該選定物之一的臉面、符號、紋理或形體等特徵逐幀比對尋獲該影片組中各幀該選定物；(4)判斷各幀該選定物的組件是否已有足夠不同面向的影像以供計算產生三維影像；(5)如否，至該影片組下一幀，回步驟(3)以該影片組下一幀為選定影片繼續比對；(6)若是，調整各面向的各幀該選定物，並進行除雜訊、除光影；使正規化；使長寬、斜率為同一基準等相關之處理；(7)根據各幀該選定物各組件之形態、深度、斜率、軸心之縱軸長及各橫軸寬所形成之剖面，透過演算法將該選定物以組件為基準轉換為三維影像；(8)將該三維影像從節理分解成三維組件；(9)至該選定影片的下一幀，判斷尋獲該選定物？若否則至步驟(14)；(10)用該選定物的各該組件，根據本幀該選定物各組件的姿態、位置、角度等資訊結合；(11)整修結合處的冗餘、不足元素；(12)整體調整該選定物外形；(13)重複步驟(9)至步驟(12)可將該選定影片之另一個該選定物各別轉換產生三維物體；(14)重複步驟(3)至步驟(13)可將該選定影片之複數個該選定物各別轉換產生複數個三維物體；(15)序列的選定影片及其中複數個該選定物便可都產生連續的動態三維影像。
2. 如請求項1所述之一種從動態影像產生動態三維影像之方法，其中該主機係可以為與攝錄影機、感測裝置、景深裝置耦合的個人電腦、筆記型電腦等電腦裝置；亦可以為獨立運作的內建二維或三維攝錄影機、感測裝置、景深裝置的手機、智慧手機、平板電腦等可攜式裝置，其功能則可以從讀取的二維動態影片進行比對、辨識、分析和處理；也可以直接從攝錄影機攝錄影作業中逐幀產生的一或複數組二維動態影像來逐幀進行比對、辨識、分析和處理；也可以為三維攝錄影機讀取的物體的三維影像作為二維產生三維物體的三維形體組件的參考影像；也可以耦合感測裝置作為偵測獲得物體景深的輔助工具。
3. 如請求項1所述之一種從動態影像產生動態三維影像之方法，其中該攝錄影機可為單一個二維攝錄影機配置單一個或複數個攝錄影鏡頭進行攝錄影以獲得物體二維影片；亦可為配置複數個攝錄影機攝取物體不同角度的二維影像；亦可為三維攝錄影機攝錄影獲取不完整三維影片，該攝錄影機可為單鏡頭數位攝錄影機以攝錄單一組二維動態影像，亦可為雙鏡頭數位攝錄影機以攝錄不同角度的複數組二維動態影像，亦可為雙鏡頭數位攝錄影機，其一為攝錄影鏡頭另一為景深鏡頭，只攝錄單一角度單組二維動態影像；亦可為三維攝錄影機直接錄製一或複數組不完整動態三維影像或不完整三維影像；亦可為上述攝錄影機之結合。
4. 如請求項1所述之一種從動態影像產生動態三維影像之方法，其中序列之該選定影片係使用者自該影片組選定之一部分或全部欲轉換為三維的影片序列，也就是使用者自既有影片組選定一或複數組開始轉換影片及結束轉換影片。
5. 如請求項1所述之一種從動態影像產生動態三維影像之方法，其中該選定物係使用者自該選定影片選定欲轉換為三維物體的一或複數個物體，亦可於即時攝影中系統自行從出現的物體選擇主要物體、次要物體，它可為運動中的運動員，亦可為裁判人員，亦可為球具、工具、運動器材、運動設施和靜態物體；或自選定影片中物體擇一，或為其他需要利用本方法產生三維物體的包含日常活動中的物體，且若參與活動之人員有複數個時，需逐一進行本方法之選定物之形體比對分析及組合產生三維影像之系列工作，以便整體觀察運動物體的相互關係及互動情形。
6. 如請求項1所述之一種從動態影像產生動態三維影像之方法，其中請求項1之步驟(3)及步驟(5)所稱該比對方法是以影片組為來源影像(source image)自首幀開始用選定物的臉面、形體、表面之標誌、符號為目標影像(target)逐幀進行辨識尋找，直到該影片組比對完為止，惟該來源影像及該目標影像在比對前須進行除雜訊、正規化、二值化、自動選定閥值等的處理。
7. 如請求項1所述之一種從動態影像產生動態三維影像之方法，其中該足夠不同面向的影像是邊緣有部分重疊之二維影像或三維影像用以供包覆產生完整的三維形體的畫面，而需要組件影像的足夠不同面向的影像的判別法為：主要組件的二維影像重疊面不大於一定比例，重疊面可以特徵點、特徵面、色彩、形狀、狀態之檢視或組件旋轉角度或距離等來判別，若無法取得足夠不同面向的影像時，可以選用預設模型或其部分組件。
8. 如請求項1所述之一種從動態影像產生動態三維影像之方法，其中請求項7所述該足夠不同面向的影像之該預設模型係於無法取得該選定物或組件的足夠面向的二維影像的狀況下，作為推定所欠缺之該面向形體之模擬形體或組件，此預設模型為選用前已產生的相同性質的組件、物體的三維影像，但需先修正特徵使與選定物的特徵一致。
9. 如請求項1所述之一種從動態影像產生動態三維影像之方法，其中該三維組件是為人或動物，包含衣著、飾物而從關節處分割的包含頭、頸、上體、下體、大腿、小腿、大臂、小臂、手掌、手指等肢體及部位；而該物體則泛指人、動物或之外的物件，包含能行動的設備，例如車輛、飛機等，或不能行動的物件如桌、椅等，也可同樣對其進行分割以獲取組件，而其產生方法為根據該選定物足夠不同面向的形體，根據景深、面部器官深淺度來取得三個組件在各別之軸心同一點位的橫斷面(或稱水平面)的該組件剖面，系統便可疊合複數個頭組件剖面以分割產生該組件之三維影像。
10. 如請求項1所述之一種從動態影像產生動態三維影像之方法，該轉換動態三維影像的作業係亦可在攝錄影中即時進行比對轉換三維的動作，於欲呈現三維動態物體的該足夠不同面向的影像的二維或三維影像組件都獲得後，不待完成全部攝錄影作業，便可即時執行轉換為該動態三維影像的動作。
11. 如請求項1所述之一種從動態影像產生動態三維影像之方法，其中結合該三維組件的方法，為以該三維組件之軸心及關節中心點為軸進行組件之結合，其角度、位置和面向則跟據該選定物所在該幀選定影片內的姿態和位置，結合前必要時還需做濾波除雜訊、光影等的調整，或做必要的正規化以使組件能在同一基礎上進行結合，及將該組件依照該物體之二維或三維影像之曲面、曲體、伸展、色彩等組件的相關變化做適當修正。
12. 如請求項1所述之一種從動態影像產生動態三維影像之方法，其中請求項9所述之該分割動作及如請求項11所述之該結合動作，亦可將該選定物之整體視為同一組件，則無須進行分割組件、結合組件的作業步驟，而直接對該選定物體進行轉換為三維影像的動作，且該選定影片之各該選定物則須逐一進行轉換為三維影像之處理。
13. 如請求項1所述之一種從動態影像產生動態三維影像之方法，其中該整修之動作是使關節處能平整、協調的方法，係以演算法自動刪除該結合處有部分突兀、不平整的形體；或鋪平凹陷的形體；或調整色差不協調的區塊之表面；或調整結合兩組件或物體之大小、形體上之不協調；或鋪整紋理、形狀等等，其整修係跟據該選定物所在該複數幀選定影片內的型態、姿態、位置及角度等。
14. 如請求項1所述之一種從動態影像產生動態三維影像之方法，其中步驟(1)所述之該組二維或三維動態影片，需有相應的包括攝影日期、鏡頭透光率，及每幀影像的光圈、焦距、攝影機位置及比對到的物體的影像等攝影資訊記錄檔案，或於直接從攝錄影機攝錄影作業中逐幀產生的一或複數組二維動態影像，需將包括攝影日期、鏡頭透光率等，及每幀影像的光圈、焦距、攝影機位置及比對到的物體的影像等攝影資訊記錄於檔案。