TWI466062B - 重建三維模型的方法與三維模型重建裝置 - Google Patents

Description

重建三維模型的方法與三維模型重建裝置

本揭露是有關於一種三微影像的處理技術，且特別是有關於一種重建三維模型的方法以及重建三維模型的裝置。

三維模型掃描技術目的在於取得物體的三維資訊，並重現在可進行運算的電腦或手持裝置等電子裝置上。相較於美術人員利用模型編輯軟體(例如Maya或3DMax)所製作的模型，藉由掃描物體所取得的三維模型，不僅使三維模型的外觀具有較高的真實度，在製作時間或人力需求上都較為低廉。

目前市面上的三維模型掃描技術，一般主要包括「拍攝」與「整合」物體影像的兩項核心步驟。舉例來說，在「拍攝」步驟中，拍攝物體的拍攝角度必須盡量覆蓋所有可能角度，才能保證最終成果的完整性，而當完成「拍攝」步驟後，「整合」步驟則是需把不同角度所拍攝到的畫面整合成一個三維模型。其中，在此兩項核心步驟中，「整合」常是最為困難的步驟，所以目前市面上技術最大的差異也在此步驟。

舉例來說，其中之一現有技術是利用單攝影機以將不同時間點的拍攝結果，利用各拍攝結果之間重疊部分的特徵對應關係，計算各拍攝結果之間的相關性，據以整合這 些拍攝結果以建立物體的三維模型。或者，另一現有技術會藉由使用單台旋轉式的攝影機，以記錄拍攝當下轉盤的旋轉角度，並整合此攝影機在每個角度上所取得的拍攝結果，藉以建立物體的三維模型。或者，另一現有技術是架設多台攝影機敷蓋所有拍攝角度，並同時取得物體的拍攝結果。其中，由於所有攝影機的位置是固定不動，所以只要取得每台攝影機的位置與拍攝方向，即可整合多台攝影機的拍攝資料，以建立物體的三維模型。

然而，在上述現有技術中，由於單攝影機在拍攝物的時間點都非同一個時間，因此若如果在拍攝的期間被拍攝的物體之外形改變，則所重建出來的物體之模型也會是破碎不完整(例如結構改變所造成的結構錯位)。此外，若使用多台攝影機來同時拍攝此物體，則所需的成本相對於使用單台攝影機則會較高，因此難以推廣至普通使用者。

承上述，如何準確地重建可變形之物體的三維模形，儼然已成為製造者亟欲解決的問題之一。

本發明之一實施例提供一種重建三維模型的方法與三維模型重建裝置，其可準確地重建可變形之物體的三維模形。

本發明之一實施例提供一種重建三維模型的方法，適於建立一物體的三維模型。重建三維模型的方法包括如下步驟。取得物體的多個第一深度影像。依據物體的鏈結資 訊，將物體的第一深度影像劃分成多個深度影像群。其中，鏈結資訊記錄物體的多個子結構分別對應的位置資訊，各深度影像群具有多個第二深度影像，且各子結構對應於各深度影像群的第二深度影像。依據各子結構對應的第二深度影像與位置資訊，建立各子結構所對應的局部模型。依據物體的鏈結資訊，整合各子結構所對應的局部模型，以建立物體的三維模型。

本發明之一實施例提供一種三維模型重建裝置，適於建立一物體的三維模型。三維模型重建裝置包括影像擷取單元、深度單元、影像分群單元以及模型建立單元。影像擷取單元用以擷取物體於不同角度的拍攝資訊，以提供多個拍攝結果。深度單元耦接於影像擷取單元，以根據影像擷取單元提供的多個拍攝結果建立物體的多個第一深度影像。影像分群單元耦接於深度單元，並依據物體的鏈結資訊，將物體的第一深度影像劃分成多個深度影像群。其中，鏈結資訊記錄物體的多個子結構分別對應的位置資訊，各深度影像群具有多個第二深度影像，且各子結構對應於各深度影像群的第二深度影像。模型建立單元耦接於影像分群單元，依據各子結構對應的第二深度影像與位置資訊，建立各子結構所對應的局部模型，並依據物體的鏈結資訊，整合各子結構所對應的局部模型，以建立物體的三維模型。

基於上述，三維模型重建裝置會依據物體的鏈結資訊，將物體的第一深度影像畫分成多個深度影像群，其中 每一個深度影像群具有多個第二深度影像。此外，三維模型重建裝置會依據將各深度影像群來建立物體的多個局部模型，並且將所述局部模型進行整合，以建立出物體完整的三維模型。如此一來，較能夠較準確地建立出可待攝物體之三維模型。

為讓本揭露之上述特徵和優點能更明顯易懂，下文特舉實施範例，並配合所附圖式作詳細說明。

圖1是依照本揭露一示範實施例所繪示之三維模型重建裝置系統的方塊圖。

請參照圖1，三維模型重建裝置系統1000包括三維模型重建裝置10以及物體200，其中三維模型重建裝置10用以建立物體200的三維模型。三維模型重建裝置10例如是筆記型電腦、平板電腦、個人數位助理(personal digital assistant，PDA)、手機、數位相機、電子書、遊戲機等電子裝置，本揭露並不對三維模型重建裝置10的種類加以限制。在本示範實施例中，三維模型重建裝置10包括處理器102、記憶體104、影像擷取單元110、深度單元120、影像分群單元130以及模型建立單元140。此外，三維模型重建裝置10還可包括結構辨識單元135、座標轉換單元150以及顯示單元160。這些元件的功能分述如下。

處理器102可以是具備運算能力的硬體(例如晶片組、處理器等)，用以控制三維模型重建裝置10的整體運 作。在本示範實施例中，處理器102例如是中央處理單元(Central Processing Unit，CPU)，或是其他可程式化之微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor，DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits，ASIC)、可程式化邏輯裝置(Programmable Logic Device，PLD)或其他類似裝置。

記憶體104耦接至處理器102。記憶體104可以是內嵌式儲存單元或外接式儲存單元。內部儲存單元可為隨機存取記憶體(Random Access Memory，RAM)、唯讀記憶體(Read-Only Memory，ROM)、快閃記憶體(Flash memory)、磁碟儲存裝置(Magnetic disk storage device)等。外部儲存單元可為小型快閃(Compact Flash，CF)記憶卡、安全數位(Secure Digital，SD)記憶卡、微安全數位(Micro SD)記憶卡、記憶棒(Memory Stick，MS)等，但本揭露並不以此為限。在本示範實施例中，記憶體104可儲存物體200的影像資訊或其他用來建立物體200的三維模型所需的資訊等。

影像擷取單元110可以是採用電荷耦合元件(Charge coupled device，CCD)鏡頭、互補式金氧半電晶體(Complementary metal oxide semiconductor transistors，CMOS)鏡頭，或紅外線鏡頭的攝影機、照相機，但本揭露並不以此為限。影像擷取單元110用以擷取物體200於不同角度的拍攝資訊，以提供多個拍攝結果。也就是說， 對於一個可改變其動作型態的物體200而言，在影像擷取單元110拍攝物體200的拍攝時間內，影像擷取單元110可根據從固定或不固定的拍攝方向而擷取到物體200做動態運動而產生動作型態的改變時，在此拍攝方向上的物體200所呈現不同的拍攝結果。

具體而言，由於本實例之影像擷取單元110的拍攝方向可為固定或不固定，因此物體200做動態運動時，物體200面向於影像擷取單元110之間的角度，將會隨著拍攝時間而改變，使得影像擷取單元110可拍攝到物體200以不同角度面向於影像擷取單元110所呈現的影像。其中，上述之拍攝時間例如為30秒，且影像擷取單元110例如是可在拍攝時間內，例如是每隔0.03秒擷取一張物體200的影像，亦即，影像擷取單元110可在拍攝時間中，取得1000個拍攝物體200在不同角度時的拍攝資訊，但本揭露並不以此為限。

圖2A至圖2C是依照本揭露一示範實施例所繪示之影像擷取單元110取得物體200的拍攝結果示意圖，其中假設影像擷取單元110所拍攝的物體200為正在進行動態運動的人，且假設影像擷取單元110在拍攝時間中取得3張拍攝結果。

請參照圖2A至圖2C，隨著物體200的運動，影像擷取單元110可取得物體200於不同角度的多個拍攝結果20a、20b及20c。舉例來說，圖2A所示的拍攝結果20a係對應於物體200的側面202。圖2B所示的拍攝結果20b 係對應於物體200的另一側面204。圖2C所示的拍攝結果20c係對應於物體200的正面206。其中，y方向代表物體200的正面所面對的方向。

深度單元120耦接於影像擷取單元110。深度單元120根據影像擷取單元110提供的拍攝結果，建立物體200的多個第一深度影像，其中第一深度影像具有物體200的深度資訊。詳細而言，每一個第一深度影像可具有多個像素，其中每一個像素可由三個數值(例如，浮點數)組成，分別代表位於每一個像素的物體200之表面與影像擷取單元110之間的距離。換言之，每一個第一深度影像可透過像素來表示物體200與影像擷取單元110之間的位置關係，即所謂的物體200的深度資訊。另外，當第一深度影像中的每一個像素由三個浮點數組成時，第一深度影像可具有解析度較高之物體200的深度資訊。圖3A至圖3C是依照本揭露一示範實施例所繪示之深度單元120建立物體200的多個第一深度影像的示意圖，其中深度單元120根據圖2A至圖2C影像擷取單元110提供的拍攝結果20a、20b及20c來建立物體200的第一深度影像30a、30b及30c。如圖3A所示，深度單元120所建立物體200之第一深度影像30a係對應於物體200之側面202的拍攝結果20a。如圖3B所示，深度單元120所建立物體200之第一深度影像30b係對應於物體200之另一側面204的拍攝結果20b。如圖3C所示，深度單元120所建立物體200之第一深度影像30c係對應於物體200之正面206的拍攝結果 20c。

影像分群單元130耦接於深度單元120。影像分群單元130依據物體200的鏈結資訊，將物體200的第一深度影像劃分成多個深度影像群。其中，鏈結資訊記錄物體200的多個子結構分別對應的位置資訊，且各深度影像群具有多個第二深度影像，而各子結構對應於各深度影像群的第二深度影像。

在此說明的是，本示範實施例之物體200可具有多個子結構，其中每一個子結構例如是屬於物體200的一個局部區塊。並且，每個子結構更可具有多個微結構，其中，每個微結構可視為物體200不可再被劃分的結構單元，因此，上述物體200的鏈結資訊會記錄物體200所劃分成的各子結構之間的連接關係，以及記錄每一個子結構所具有的微結構分別所在的位置資訊。

從另一觀點來看，本示範實施例之物體200可具有總體(global)座標系，而各子結構位於此總體座標系上的位置資訊，係稱為各子結構的第一座標資訊，亦即，各子結構的第一座標資訊係依據物體200所在的總體座標系來取得。此外，各子結構所具有的微結構分別所在的位置資訊亦是位於此總體座標系上。如此一來，由於各子結構分別具有位於總體座標系上的第一座標資訊，因此，影像分群單元130可根據鏈結資訊以得知各子結構之間的連接關係，以及各子結構位於物體200上的所在位置以及其位置資訊。

圖4是依照本揭露一示範實施例所繪示之物體200的鏈結資訊的示意圖，其中以物體200為人為例來說明本示範實施例之鏈結資訊。請參照圖4，物體200具有子結構p1~p11，其中子結構p1~p11亦可具有至少一個或多個微結構p1-1~p1-N1，p2-1~p2-N2，...，p11-1~p11-N11，其中，N1~N11分別為正整數。此外，各子結構p1~p11可視為一個剛體，也就是說，在影像擷取單元110拍攝物體200過程中，雖然物體200可進行動態運動，而各子結構p1~p11中的微結構p1-1~p1-N1，p2-1~p2-N2，...，p11-1~p11-N11之間彼此可具有相同的移動速度，亦即，各子結構p1~p11可視為具有單一速度。

在此，物體200例如是人，則各子結構p1~p11例如是人的局部骨架結構，且各子結構p1~p11所分別具有的微結構p1-1~p1-N1，p2-1~p2-N2，...，p11-1~p11-N11例如是人的每一根骨頭(即上述所謂的結構單元)。更具體而言，各子結構p1~p11例如是人的頭的骨架結構、前手臂或上手臂的骨架結構、胸部的骨架結構、腹部的骨架結構、大腿或小腿的骨架結構，不限於此。另一方面，以子結構p3為前手臂為例，子結構p3的微結構p3-1~p3-N3例如是具有撓骨、尺骨、手指骨等。也就是說，物體200中的各子結構p1~p11可視為具有多根骨頭的一個局部骨架結構。因此，在本示範實施例中，鏈結資訊會記錄部分微結構(例如是骨頭)位於物體200中的位置資訊，以定義出哪些微結構屬於一個子結構(例如是局部骨架結構)， 並且根據每一個微結構的位置資訊，鏈結資訊亦可具有各子結構之間的連接關係以及各子結構位於物體200中(即物體200的總體座標系)的位置資訊。藉此，物體200可根據鏈結資訊而被劃分成子結構p1~p11。

值得一提的是，本示範實施例可透過結構辨識單元135來產生上述物體200的子結構p1~p11，其中結構辨識單元135可分別耦接於影像分群單元130與深度單元120。進一步地說，結構辨識單元135可根據物體200的第一深度影像30a、30b及30c中各像素的深度值以及物體200的微結構p1-1~p1-N1，...，p11-1~p11-N11的位置資訊，來辨識出物體200之各微結構p1-1~p1-N1，...，p11-1~p11-N1對應於每一張第一深度影像30a、30b及30c中的位置，進而辨識出物體200隨時間變化的外型。其中，結構辨識單元135可依據第一深度影像30a、30b及30c中的各像素所處的位置，來評估各像素對應於物體200的微結構p1-1~p1-N1，...，p11-1~p11-N11的位置。從而，結構辨識單元135可藉由計算第一深度影像30a、30b及30c中的像素與微結構p1-1~p1-N1，...，p11-1~p11-N11之間的對應關係，以劃分出物體200的子結構p1~p11。如此一來，結構辨識單元135還可以各微結構p1-1~p1-N1，...，p11-1~p11-N11為樣板利用物體200中的子結構p1~p11之間的連接關係，以偵測並追蹤可改變其動作型態的物體200之外形。

舉例來說，同樣假設物體200為人，因此，倘若第一 深度影像30a、30b及30c中的像素是處於第一深度影像30a、30b及30c的邊緣，則結構辨識單元135則會辨識該像素是位於物體200的四肢末端。或者，倘若第一深度影像30a、30b及30c中的像素是處於第一深度影像30a、30b及30c的中間區域，則結構辨識單元135則會辨識該像素是位於物體200的軀幹部位。或者，倘若第一深度影像30a、30b及30c中的像素是接近於物體200的微結構所處的區域，則結構辨識單元135則會辨識該像素是位於物體200的骨頭。如此一來，依據物體200的第一深度影像30a、30b及30c以及物體200的各微結構p1-1~p1-N1，...，p11-1~p11-N11對應的位置資訊，結構辨識單元135可利用第一深度影像30a、30b及30c來辨識物體200之各微結構p1-1~p1-N1，...，p11-1~p11-N11，以及追蹤物體200的外型。藉此，結構辨識單元135可進而辨識出哪些微結構在影像擷取單元110拍攝物體200過程中，具有相同的速度，據以找出由所述微結構所構成的子結構。

此外，影像分群單元130則會根據物體200所被劃分成的子結構p1~p11以及各第一深度影像30a、30b及30c中的深度值，而將物體200的各第一深度影像30a、30b及30c劃分成多個二深度影像，並且將這些第一深度影像30a、30b及30c中對應的第二深度影像視為一個影像群，以劃分出位於物體200各子結構p1~p11之局部區塊的深度影像群。

圖5A至圖5B是依照本揭露一示範實施例所繪示之影 像分群單元130將物體200的第一深度影像劃分成多個深度影像群的的示意圖，其中搭配圖3A至圖3B中的第一深度影像30a、30b及30c以及圖4的子結構p1~p11為例來說明。

請參照圖5A與圖5B，依據物體200的鏈結資訊，影像分群單元130會根據物體200所被劃分成的子結構p1~p11以及各第一深度影像30a、30b及30c中的深度值，而將物體200的各第一深度影像30a、30b及30c劃分成多個第二深度影像501~511，並且將第一深度影像30a、30b及30c中所分別對應的第二深度影像501~511視為一個影像群，以劃分出多個深度影像群501s~511s。

具體來說，如圖5A所示，對於第一深度影像30a而言，影像分群單元130會依據物體200的鏈結資訊之子結構p1~p11，而將第一深度影像30a劃分成第二深度影像501~511，例如是對應於人的頭部、前手臂及上手臂、胸部、腹部、大腿或小腿所分別對應的深度影像。同理，影像分群單元130會依據物體200的鏈結資訊之子結構p1~p11，而將第一深度影像30b及30c劃分成第二深度影像501~511。接著，如圖5B所示，以第二深度影像501(即物體200頭部的深度影像)為例，影像分群單元130會將來自第一深度影像30a、30b及30c的第二深度影像501視為一個深度影像群，依此類推至其他第二深度影像502~511。據此，影像分群單元130可產生位於各子結構p1~p11上的深度影像群501s~511s。

模型建立單元140耦接於影像分群單元130。模型建立單元140會依據各子結構p1~p11對應的多個第二深度影像501~511與位置資訊，來建立各子結構p1~p11為應在物體200上的局部模型。並且，模型建立單元140會依據物體200的鏈結資訊，整合各子結構p1~p11所對應的局部模型，以建立物體200的三維模型。

圖5C是依照本揭露一示範實施例所繪示之模型建立單元140建立各子結構所對應的局部模型的示意圖。圖5D是依照本揭露一示範實施例所繪示之模型建立單元140整合各局部模型以建立物體200的三維模型的示意圖。

請同時參照圖5B至圖5D，模型建立單元140會依據各子結構p1~p11(繪示於圖4)的局部座標系C1~C11，取得各子結構p1~p11中多個微結構相對於各局部座標系C1~C11的位置資訊與方向資訊，並依據各子結構p1~p11對應的深度影像群501s~511s，來分別產生物體200的局部模型M1~M11。舉例來說，同樣假設物體200為人，局部模型M1係對應於頭、局部模型M2~M3、M5~M6係對應於前手臂及上手臂、局部模型M4係對應於胸部、局部模型M7係對應於腹部、局部模型M8~M11係對應於大腿及小腿。

進一步來說，本示範實施例還可選擇性地包括座標轉換單元150，其中座標轉換單元150耦接於影像分群單元130與模型建立單元140。在此，座標轉換單元150會透過一轉置計算，將各子結構對應物體200總體座標系Co上 的第一座標資訊，自物體200的總體座標系Co轉換至各子結構p1~p11本身的局部座標系C1~C11(例如是圓柱座標系)，其中，各局部座標系C1~C11對應於子結構p1~p11，且子結構p1~p11於局部座標系C1~C11中具有第二座標資訊。也就是說，對於物體200的子結構p1~p11而言，皆具有各自的局部座標系C1~C11，且各子結構p1~p11具有位於局部座標系C1~C11中所表示的位置資訊，係稱為第二座標資訊。

從另一觀點來看，由於深度單元120依據影像擷取單元110拍攝物體200所建立出的第一深度影像具有位於總體座標系Co的第一座標資訊，且物體200在影像擷取單元110的過程中，各子結構以及各子結構中的微結構可視為一個剛體，亦即，每一個微結構的外形在影像擷取單元110的過程中不會改變(例如，每一個微結構的外形不會有伸長、縮短或扭曲的變化)。因此，物體200於每一個拍攝角度的所產深的第一深度影像，皆可依據物體200各子結構各自的局部座標系，來儲存深度影像中像素的三維座標資訊。如此一來，模型建立單元140可利用局部座標系C1~C11中的第二座標資訊，來整合各子結構p1~p11對應的深度影像群501s~511s，藉以建立對應於各子結構p1~p11的區域的局部模型M1~M11。

此外，模型建立單元140在建立各子結構p1~p11對應的局部模型M1~M11時，模型建立單元140還會判斷各深度影像群501s~511s中的各第二深度影像501~511之間 是否有一重疊區域。倘若各第二深度影像501~511之間存在有重疊區域，則模型建立單元140會排除重疊區域，並依剩第二深度影像501~511中排除重疊區域所剩餘的深度影像以建立局部模型。舉例來說，對於圖5C之深度影像群501s而言，倘若深度影像群501s的三張第二深度影像501之間具有重疊區域，則模型建立單元140將會排除此重疊區域，而將利用第二深度影像501排除重疊區域後所剩下的深度影像來建立物體200位在子結構p1區域的局部模型M1~M11。

更詳細地說，倘若模型建立單元140在建立各子結構p1~p11對應的局部模型M1~M11時，各深度影像群501s~511s中的各第二深度影像501~511之間存在有重疊區域，則模型建立單元140在整合各深度影像群中的各第二深度影像501~511時，會依據物體200在各子結構p1~p11的表面所具有的特徵資訊，來調整各深度影像群501s~511s中的各第二深度影像501~511之間於各局部座標系上的配置，進而建立各子結構p1~p11對應的局部模型M1~M11。其中，上述之特徵資訊例如是物體200表面的紋理、物體200的輪廓等，不限於此。

換言之，為了確保各子結構p1~p11分別可精確地對應到每一個深度影像群中的每一張第二深度影像，例如頭的骨架結構(包括各個頭骨的位置與方向)可精確地對應在頭部的深度影像，或者手臂的骨架結構(包括各個手骨的位置與方向)可精確地對應在手臂的深度影像等，模型 建立單元140還會依據物體200表面所具有的紋理或輪廓等特徵，來將模型建立單元140所建立的局部模型M1~M11進行微調。如此一來，模型建立單元140可使各深度影像群中的各第二深度影像之間的重疊區域達到最小，進而建立出較精確的局部模型M1~M11。

舉例來說，圖5E至圖5G是依照本揭露一示範實施例所繪示之模型建立單元140建立物體200之局部模型從各個角度觀察的示意圖，其中以建立圖5D中之物體200的局部模型M4，且局部模型M4為物體200的胸部模型。請參照圖5E至圖5G，局部模型M4係由模型建立單元140依據深度影像群504s而產生。如圖5E至圖5G所示，局部模型M4可由第二深度影像504a(來自於第一深度影像30a)、第二深度影像504b(來自於第一深度影像30b)以及第二深度影像504c(來自於第一深度影像30c)之深度影像而構成。

請再參照圖5D，模型建立單元140在建立各子結構所對應的局部模型M1~M11之後，還可依據物體200的鏈結資訊，整合位於各子結構的局部座標系上的局部模型M1~M11，將各子結構的局部模型M1~M11從局部座標系轉換到物體200的總體座標系Co上，據以整合各子結構所對應的局部模型M1~M11，以建立物體200的三維模型。也就是說，模型建立單元140根據各子結構位於局部座標系上的第二座標資訊，可將各子結構所對應的深度影像群從局部座標系轉換到物體200的總體座標系Co 上，並將各局部模型M1~M11整合以產生完整物體200的三維模型Mf。

值得一提的是，模型建立單元140還會依據各子結構中的各微結構之間的連結關係，以整合每一個局部模型M1~M11。詳細而言，模型建立單元140會將對應於各子結構之第二深度影像中的各像素視為為一個點，且模型建立單元140在整合每一個局部模型M1~M11的過程中，會判斷其中三個相鄰的點與另一點連接時，此三個相鄰的點所形成的第一圖形，是否與此三個像素中之二個相鄰的點與另一點所形成的第二圖形疊合。更具體來說，本實施例之第一圖形與第二圖形分別例如是三角形，因此模型建立單元140會將每一個點以及其周圍鄰近的二點所形成的三角形為一個單位進行連結(即形成多個三角形)，並判斷所連結後的各三角形之間是否有疊合的現象，也就是檢查各三角形所表示的三維平面之間，是否出現面交錯、面疊合的空間關係。倘若各三角形所表示的三角三維平面之間，出現面交錯、面重疊的空間關係，則此連結關係不正確。模型建立單元140則會選取另一個點，再進行上述的判斷與檢查。倘若未有疊合的現象，模型建立單元140則會判斷所檢查的三個點之間的連接關係為正確。

圖5H是依照本揭露一示範實施例所繪示之模型建立單元140建立三維模型Mf之連結關係的示意圖。請參照圖5H，模型建立單元140會判斷點Q1~Q4之中每三點所形成的三角形是否有疊合的現象。舉例來說，對於點Q1 以及周圍相鄰的點Q3與Q4所形成的三角形，以T1表示，以及點Q2以及周圍相鄰的點Q3與Q4所形成的三角形，以T2表示，由於三角形T1與三角形T2之間有疊合的現象，因此模型建立單元140會判斷三角形T1與三角形T2中的連結關係(即點Q1、Q3與Q4的連結關係以及點Q2、Q3與Q4的連結關係)為不符。

另一方面，對於點Q1以及周圍相鄰的點Q3與Q4所形成的三角形T1，以及點Q2以及周圍相鄰的點Q1與Q4所形成的三角形，以T2’表示，由於三角形T1與三角形T2’中具有正確的連接關係(即點Q1、Q3與Q4的連結關係以及點Q2、Q1與Q4的連結關係)。如此一來，模型建立單元140會依據以上方式檢查每三個點所形成的三角形與周圍的三角形是否有疊合的現象，直到所有點與相鄰的點皆有連結關係為止。

此外，本示範實施例可選擇性的配置顯示單元160耦接至模型建立單元140。顯示單元160可顯示模型建立單元140所建立出的物體200之三維模型。據此，使用者可自顯示單元160中取得較精準的物體200的三維模型。

基於上述，本示範實施例的三維模型重建裝置10可藉由單台的影像擷取單元110以取得物體200於不同角度的拍攝資訊，並透過深度單元120來產生物體200的多個第一深度影像30a~30c。再者，透過物體200的鏈結資訊，三維模型重建裝置10將第一深度影像30a~30c劃分成多個深度影像群501s~511s。特別是，三維模型重建裝置10會 依據各深度影像群501s~511s所在的座標系，以利用各深度影像群501s~511s來產生局部模型M1~M11。最後，三維模型重建裝置10會將每一個局部模型M1~M11進行整合，以產生物體200的三維模型Mf。藉此，本示範實施例可實現藉由單台影像擷取單元110以較準確地建立可待攝物體之三維模型。

圖6為依據本揭露一範例示範實施例所繪示的重建三維模型的方法的流程圖。

請參照圖6，於步驟S602，影像擷取單元110用以擷取物體200於不同角度的拍攝資訊，以提供多個拍攝結果。於步驟S604，深度單元120根據影像擷取單元110提供的拍攝結果建立物體200的多個第一深度影像，其中第一深度影像具有物體200的深度資訊。

於步驟S606，結構辨識單元135可依據物體200的鏈結資訊來計算上述第一深度影像與物體200中的多個微結構之間的對應關係，以劃分出物體200的多個子結構。接著，於步驟S608，影像分群單元130會依據物體200的鏈結資訊以及子結構，將物體200的第一深度影像劃分成多個深度影像群。其中，鏈結資訊記錄物體200的多個子結構分別對應的位置資訊，且各深度影像群具有多個第二深度影像，而各子結構對應於各深度影像群的第二深度影像。

於步驟S610，模型建立單元140還會判斷各深度影像群中的各第二深度影像之間是否有一重疊區域。

倘若模型建立單元140還會判斷各深度影像群中的各 第二深度影像之間不具有重疊區域，則執行步驟S612。模型建立單元140會依據各子結構對應的多個第二深度影像與位置資訊，來建立各子結構所對應的局部模型。

然而，倘若模型建立單元140還會判斷各深度影像群中的各第二深度影像之間有重疊區域。則如步驟S614所示，模型建立單元140會排除重疊區域，並利用物體200在各子結構的表面所具有的特徵資訊，以依據剩第二深度影像中排除重疊區域所剩餘的深度影像以建立局部模型。

於步驟S616，模型建立單元140會將各子結構的局部模型從局部座標系轉換到物體200的總體座標系上。最後，於步驟S618，模型建立單元140會依據物體200的鏈結資訊，整合位於各子結構的局部座標系上的局部模型，以建立物體200的三維模型。

綜上所述，在上述示範實施例提出之重建三維模型的方法與三維模型重建裝置，會將物體於不同角度的多個第一深度影像，依據物體的鏈結資訊，以將物體的第一深度影像畫分成多個深度影像群，其中每一個深度影像群具有多個第二深度影像。接著，本示範實施例會將每個深度影像群從物體的總體座標系轉換至深度影像群各自所位於的局部座標系上，以利用每一個深度影像群來產生物體的各個局部模型。之後，透過整合各個局部模型，即可建立出物體200完整的三維模型。如此一來，能夠較準確地建立出待攝物體的三維模型。

雖然本揭露已以示範實施例揭露如上，然其並非用以 限定本揭露，任何所屬技術領域中具有通常知識者，在不脫離本揭露之精神和範圍內，當可作些許之更動與潤飾，故本揭露之保護範圍當視後附之申請專利範圍所界定者為準。

1000‧‧‧三維模型重建裝置系統

10‧‧‧三維模型重建裝置

200‧‧‧物體

102‧‧‧處理器

104‧‧‧記憶體

110‧‧‧影像擷取單元

120‧‧‧深度單元

130‧‧‧影像分群單元

135‧‧‧結構辨識單元

140‧‧‧模型建立單元

150‧‧‧座標轉換單元

160‧‧‧顯示單元

20a、20b、20c‧‧‧拍攝結果

202、204‧‧‧側面

206‧‧‧正面

30a、30b、30c‧‧‧第一深度影像

p1~p11‧‧‧子結構

p1-1~p1-N1，p2-1~p2-N2，...，p11-1~p11-N11‧‧‧微結 構

501~511、504a、504b、504c‧‧‧第二深度影像

501s~511s‧‧‧深度影像群

x‧‧‧x軸

y‧‧‧y軸

z‧‧‧z軸

Co‧‧‧總體座標系

C1~C11‧‧‧局部座標系

M1~M11‧‧‧局部模型

Mf‧‧‧三維模型

Q1~Q4‧‧‧點

S602、S604、S606、S608、S610、S612、S614、S616、S618‧‧‧重建三維模型的方法各步驟

圖1是依照本揭露一示範實施例所繪示之三維模型重建裝置系統的方塊圖。

圖2A至圖2C是依照本揭露一示範實施例所繪示之影像擷取單元取得物體之拍攝結果的示意圖。

圖3A至圖3C是依照本揭露一示範實施例所繪示之深度單元建立物體的多個第一深度影像的示意圖。

圖4是依照本揭露一示範實施例所繪示之物體的鏈結資訊的示意圖。

圖5A至圖5B是依照本揭露一示範實施例所繪示之影像分群單元將物體的第一深度影像劃分成多個深度影像群的的示意圖。

圖5C是依照本揭露一示範實施例所繪示之模型建立單元建立各子結構所對應的局部模型的示意圖。

圖5D是依照本揭露一示範實施例所繪示之模型建立單元整合各局部模型以建立物體的三維模型的示意圖。

圖5E至圖5G是依照本揭露一示範實施例所繪示之模型建立單元建立物體之局部模型從各個角度觀察的示意圖。

圖5H是依照本揭露一示範實施例所繪示之模型建立單元建立三維模型之連結關係的示意圖。

圖6為依據本揭露一範例示範實施例所繪示的重建三維模型的方法的流程圖。

S602、S604、S606、S608、S610、S612、S614、S616、S618‧‧‧重建三維模型的方法各步驟

Claims (20)

1. 一種重建三維模型的方法，適於建立一物體的三維模型，包括：取得該物體的多個第一深度影像；依據該物體的一鏈結資訊，將該物體的該些第一深度影像劃分成多個深度影像群，其中該鏈結資訊記錄該物體的多個子結構分別對應的一位置資訊，各該深度影像群具有多個第二深度影像，且各該子結構對應於各該深度影像群的該些第二深度影像；依據各該子結構對應的該些第二深度影像與該位置資訊，建立各該子結構所對應的一局部模型；以及依據該物體的該鏈結資訊，整合各該子結構所對應的該局部模型，以建立該物體的三維模型。
2. 如申請專利範圍第1項所述之重建三維模型的方法，其中在依據該物體的該鏈結資訊，將該物體的該些第一深度影像劃分成多個深度影像群的步驟，更包括：依據該些第一深度影像中的多個像素與該物體的多個微結構之間的對應關係，以劃分出該物體的該些子結構。
3. 如申請專利範圍第1項所述之重建三維模型的方法，其中該些子結構分別對應的該位置資訊具有各該子結構的一第一座標資訊，且各該第一座標資訊係依據該物體所在的一總體座標系來取得。
4. 如申請專利範圍第3項所述之重建三維模型的方法，其中在依據各該子結構對應的該些第二深度影像與該 位置資訊，建立各該子結構所對應的該局部模型的步驟包括：透過一轉置計算，將各該子結構對應的該第一座標資訊以及各該子結構對應的該些第二深度影像，自該總體座標系轉換至一局部座標系，其中該局部座標系對應於該子結構，且該子結構於該局部座標系中具有一第二座標資訊。
5. 如申請專利範圍第4項所述之重建三維模型的方法，其中在將各該子結構對應的該第一座標資訊以及各該子結構對應的該些第二深度影像，自該總體座標系轉換至該局部座標系的步驟之後，更包括：依據該子結構的該第二座標資訊，取得各該子結構中的至少一個或多個微結構相對於該局部座標系的一位置資訊與一方向資訊。
6. 如申請專利範圍第4項所述之重建三維模型的方法，其中在依據該物體的該鏈結資訊，整合各該子結構所對應的該局部模型，以建立該物體的三維模型的步驟包括：將各該子結構所對應的該局部模型中的該第二座標資訊，從各該局部座標系轉換到該物體所在的該總體座標系上；以及依據該物體的該鏈結資訊，整合各該子結構的位於該總體座標系上的各該局部模型，以建立該物體的三維模型。
7. 如申請專利範圍第1項所述之重建三維模型的方法，其中依據各該子結構對應的該些第二深度影像與該位置資訊，建立各該子結構所對應的該局部模型的步驟包括： 在各該深度影像群中，取得該些第二深度影像之間的一重疊區域，並排除該重疊區域以建立該局部模型。
8. 如申請專利範圍第1項所述之重建三維模型的方法，其中在依據各該子結構對應的該些第二深度影像與該位置資訊，建立各該子結構所對應的該局部模型的步驟，更包括：依據該子結構的一特徵資訊，建立該局部模型。
9. 如申請專利範圍第1項所述之重建三維模型的方法，其中在依據該物體的該鏈結資訊，整合各該子結構所對應的該局部模型，以建立該物體的三維模型的步驟，更包括：在對應於各該子結構之各該第二深度影像中的多個像素中，判斷其中之三相鄰的該些像素與另一該像素連接時，該其中之三相鄰的該些像素所形成的一第一圖形，是否與該其中之三相鄰的該些像素中相鄰的兩個該些像素與另一該像素所形成的一第二圖形疊合；倘若該其中之三相鄰的該些像素與另一該像素連接時，該第一圖形與該第二圖形疊合，則判斷該其中之三相鄰的該些像素與另一該像素之間的連結關係為不相符；以及倘若該其中之三相鄰的該些像素與另一該像素連接時，該第一圖形與該第二圖形未產生疊合，則維持將該其中之三相鄰的該些像素與另一該像素連接。
10. 如申請專利範圍第1項所述之重建三維模型的方 法，更包括顯示該物體的三維模型。
11. 一種三維模型重建裝置，適於建立一物體的三維模型，該三維模型重建裝置包括：一影像擷取單元，用以擷取該物體於不同角度的拍攝資訊，以提供多個拍攝結果；一深度單元，耦接於該影像擷取單元，根據該影像擷取單元提供的該些拍攝結果建立一物體的多個第一深度影像；一影像分群單元，耦接於該深度單元，依據該物體的一鏈結資訊，將該物體的該些第一深度影像劃分成多個深度影像群，其中該鏈結資訊記錄該物體的多個子結構分別對應的一位置資訊，各該深度影像群具有多個第二深度影像，且各該子結構對應於各該深度影像群的該些第二深度影像；以及一模型建立單元，耦接於該影像分群單元，該模型建立單元依據各該子結構對應的該些第二深度影像與該位置資訊，建立各該子結構所對應的一局部模型，並依據該物體的該鏈結資訊，整合各該子結構所對應的該局部模型，以建立該物體的三維模型。
12. 如申請專利範圍第11項所述之三維模型重建裝置，更包括：一結構辨識單元，耦接於該深度單元，依據該些第一深度影像中的多個像素與該物體的多個微結構之間的對應關係，以劃分出該物體的該些子結構。
13. 如申請專利範圍第11項所述之三維模型重建裝置，其中該些子結構分別對應的該位置資訊具有各該子結構的一第一座標資訊，且各該第一座標資訊對應於該物體的一總體座標系。
14. 如申請專利範圍第13項所述之三維模型重建裝置，更包括：一座標轉換單元，耦接於該影像分群單元與該模型建立單元，該座標轉換單元透過一轉置計算，將各該子結構對應的該第一座標資訊以及各該子結構對應的該些第二深度影像，自該總體座標系轉換至一局部座標系，其中該局部座標系對應於該子結構，且該子結構於該局部座標系中具有一第二座標資訊。
15. 如申請專利範圍第14項所述之三維模型重建裝置，其中該模型建立單元依據該子結構的該第二座標資訊，取得各該子結構中的至少一個或多個微結構相對於該局部座標系的一位置資訊與一方向資訊。
16. 如申請專利範圍第14項所述之三維模型重建裝置，其中該模型建立單元將各該子結構所對應的該局部模型中的該第二座標資訊，從各該局部座標系轉換到該物體所在的該總體座標系上，以及依據該物體的該鏈結資訊，整合各該子結構的位於該總體座標系上的各該局部模型，以建立該物體的三維模型。
17. 如申請專利範圍第11項所述之三維模型重建裝置，其中該模型建立單元在各該深度影像群中，取得該些 第二深度影像之間的一重疊區域，並排除該重疊區域以建立該局部模型。
18. 如申請專利範圍第11項所述之三維模型重建裝置，其中該模型建立單元依據該子結構的一特徵資訊，建立該局部模型。
19. 如申請專利範圍第11項所述之三維模型重建裝置，其中在對應於各該子結構之各該第二深度影像中的多個像素中，該模型建立單元判斷其中之三相鄰的該些像素與另一該像素連接時，該其中之三相鄰的該些像素所形成的一第一圖形，是否與該其中之三相鄰的該些像素中相鄰的兩個該些像素與另一該像素所形成的一第二圖形疊合，倘若該其中之三相鄰的該些像素與另一該像素連接時，該第一圖形與該第二圖形疊合，則判斷該其中之三相鄰的該些像素與另一該像素之間的連結關係為不相符，且倘若該其中之三相鄰的該些像素與另一該像素連接時，該第一圖形與該第二圖形未產生疊合，則維持將該其中之三相鄰的該些像素與另一該像素連接。
20. 如申請專利範圍第11項所述之三維模型重建裝置，更包括：一顯示單元，耦接至該模型建立單元，該顯示單元顯示該物體的三維模型。