TWI534755B

TWI534755B - 三維立體模型之建立方法和裝置

Info

Publication number: TWI534755B
Application number: TW102142286A
Authority: TW
Inventors: 黃思皓; 賴尙宏; 潘映辰; 張星群; 范競勻
Original assignee: 財團法人資訊工業策進會
Priority date: 2013-11-20
Filing date: 2013-11-20
Publication date: 2016-05-21
Also published as: US9189889B2; CN104661010A; CN104661010B; TW201520973A; US20150138185A1

Description

三維立體模型之建立方法和裝置

本發明涉及一種建立方法，尤其涉及一種三維立體模型之建立方法和其對應裝置。

隨著影像處理技術的進步，視覺效果的呈現逐漸地由二維平面拓展至三維空間。傳統上建立三維影像之方法，是使用單一台相機，環繞一實體物件依序拍攝多張二維影像，再搭配此二維影像相對應的深度資訊，來建立對應之三維影像。其中深度資訊代表二維影像中各個物件的遠近距離，能推論出何者物件在二維影像中的前面，即在畫面前方或在畫面後方。藉由二維影像和深度資訊轉換出之三維點雲，來合成出此實體物件之三維立體模型。在合成的過程中，係利用相鄰兩影像之深度資訊，來分別決定拍攝此相鄰兩影像時相機之旋轉角度與位移量，並根據此旋轉角度與位移量，將後一影像三維點雲疊合在前一影像之對應三維點雲上，當各角度影像之三維點雲均疊合在一起時，即能合成三維立體模型。

然而，上述之疊合方法，在相鄰兩影像疊合部分具對應之三維點雲時，的確可完整建構三維立體模型。然，一旦在疊合計算旋轉角度與位移量發生誤差，造成某一拍攝影像疊合部分之三維點雲無法和前一影像之三維點雲進行對應，即使僅為單一影像誤差，亦無法完成三維立體模型之建構。再者，上述之疊合方法，係根據拍攝進度，依序將拍攝影像之三維點雲疊合在前一拍攝影像之對應三維點雲上，當拍攝結束後，三維立體模型之建構亦完成。因此，疊合計算所發生誤差會持續累積，而無法即時更正，造成呈現之三維立體模型有破洞或和實體物件外觀不合。

鑑於上述，本發明提供一種三維立體模型之重建方法，利用連續影像的深度資訊，先推估一最佳相機移動路徑，再根據據此相機路徑，進行各影像之三維點雲疊合，藉以避免因為旋轉角度與位移量計算誤差，造成三維立體模型之建構失敗。

本發明之一態樣係在提供一種三維立體模型建立方法，係用以對一實體物件建立一三維立體模型。首先，將複數影像之深度資料轉換為複數個三維點雲資訊。接著，根據此些三維點雲資訊，分別計算一相機在拍攝每一影像時，相對於此相機在拍攝前一影像時之一移動參數。當根據每一影像之對應移動參數將每一影像之三維點雲資訊合併於前一影像之三維點雲資訊時，計算一合併能量值。接著，變化移動參數，以最小化合併能量值，並根據變化後之移動參數決定一相機移動路徑。最後根據此相機移動路徑，建立該實體物件之一三維立體模型。

本發明之另一態樣係在提供一種包含軟體之電腦程式產品。其中此軟體係由一處理器系統實行，以執行下述步驟建立一實體物件之三維立體模型。首先，將複數影像之深度資料轉換為複數個三維點雲資訊。接著，根據此些三維點雲資訊，分別計算一相機在拍攝每一影像時，相對於此相機在拍攝前一影像時之一移動參數。當根據每一影像之對應移動參數將每一影像之三維點雲資訊合併於前一影像之三維點雲資訊時，計算一合併能量值。接著，變化移動參數，以最小化合併能量值，並根據變化後之移動參數決定一相機移動路徑。最後根據此相機移動路徑，建立該實體物件之一三維立體模型。

本發明之另一態樣係在提供一種產生三維立體模型之裝置，係用以產生一實體物件之一三維立體模型。包含：一輸入、一轉換器、一移動參數值產生器、一第一計算器、一第二計算器、一相機移動路徑產生器和一三維立體模型產生器。輸入，係用以接收複數影像之深度資料，其中係以一相機環繞實體物件依序對實體物件拍攝此些影像。轉換器，係用以將此些影像之深度資料轉換為複數個三維點雲資訊。移動參數值產生器，係用以根據此些三維點雲資訊，分別產生相機在拍攝每一影像時，相對於在拍攝前一影像時之一移動參數。第一計算器，當根據每一影像之對應移動參數將每一影像之三維點雲資訊合併於前一影像之三維點雲資訊時，計算一合併能量值。第二計算器，變化此些移動參數，以最小化合併能量值。相機移動路徑產生器，根據變化後之此些移動參數產生一相機移動路徑。一三維立體模型產生器，根據相機移動路徑，產生實體物件之一三維立體模型。

綜上所述，本發明本發明三維立體模型之重建方法，是先根據計算出之相機旋轉量和位移量，建構一合理之相機拍攝路徑。接著，再根據相鄰兩影像之三維點雲和對應之相機旋轉量和位移量最佳化此相機路徑。最後，再依此最佳相機路徑進行三維點雲疊加。

101~112‧‧‧步驟

300‧‧‧裝置

301‧‧‧輸入

302‧‧‧轉換器

303‧‧‧移動參數值產生器

304‧‧‧第一計算器

305‧‧‧第二計算器

306‧‧‧相機移動路徑產生器

307‧‧‧三維立體模型產生器

401‧‧‧相機

402‧‧‧實體物件

第1圖為根據本發明一實施例的三維立體模型重建方法流程圖。

第2圖展示一種電腦可讀媒體。

第3圖為根據本發明一實施例用以產生一實體物件的三維立體模型裝置概略圖。

第4圖所示為根據本發明一實施利由一相機對一欲建構三維立體模型之實體物件進行連續拍攝之概略圖。

以下為本發明較佳具體實施例以所附圖示加以詳細說明，下列之說明及圖示使用相同之參考數字以表示相同或類似元件，並且在重複描述相同或類似元件時則予省略。

有別於傳統三維立體模型之重建方法，在相機完成一影像拍攝後，即根據相機之旋轉量和位移量，進行本次拍攝影像和前次拍攝影像之三維點雲疊加，因隨機誤差使得旋轉量和位移量計算產生錯誤，而無法進行三維點雲疊加之錯誤，或是即使可進行三維點雲疊加，但因為誤差累積而使得最終三維立體模型重建失敗之危險。因此，本發明之三維立體模型之重建方法，在相機完成實體物件之一影像拍攝後，並不先進行本次拍攝影像和前次拍攝影像之三維點雲疊加，而是在完成實體物件之各角度影像拍攝後，先計算出拍攝各影像時之對應相機旋轉量和位移量，並根據一設定門檻值，進行即時旋轉量和位移量修正，依此先建構一合理之相機拍攝路徑。接著，再根據各影像之三維點雲和對應之相機旋轉量和位移量最佳化此相機路徑。最後，再依此最佳相機路徑進行三維點雲疊加。由於，相鄰影像之三維點雲疊加是根據誤差排除後之最佳相機路徑，因此，可完全解決習知因為誤差問題或錯誤累積造成之三維立體模型重建失敗。

第1圖為根據本發明一實施例的三維立體模型重建方法流程圖。本發明之流程100，首先於步驟101，進行影像深度資料轉換，以轉換成步驟102之三維點雲資訊，以及步驟103之畫素顏色資訊。在一實施例中，如第4圖所示，本發明是由一使用者手持一相機401對一欲建構三維立體模型之實體物件402，例如一人物，以環繞一圈之方式進行連續性拍攝，以獲得時間連續之多幅二維影像以及對應之影像深度資料。再將所擷取之影像深度資料轉換成對應三維點雲資訊以及畫素顏色資訊。其中，第4圖中繪出多台相機401，僅是用以代表在一連續時間下相機401之不同拍攝角度。而本發明即是用以建立相機401在對實體物件402進行拍攝時之最佳移動路徑，並依此最佳移動路徑建構三維立體模型，藉以解決習知因為誤差問題或錯誤累積造成之三維立體模型重建失敗。其中，所使用之相機401，例如為微軟開發之Kinect，Kinect有三個鏡頭，中間的鏡頭是RGB彩色攝影機，用來錄製彩色圖像。左右兩邊鏡頭則分別為紅外線發射器和紅外線CMOS攝影機所構成的3D結構光深度感應器，用來擷取深度數據。而影像深度資料之轉換，是由微軟開發之kinect for window SDK軟體進行。使用者手持Kinect裝置向欲重建的物體進行各角度與位置的拍攝，Kinect裝置所獲得的色彩與深度資料則透過KinectFusion演算法計算後可獲得三維點雲(Point Cloud)，和每個影像畫面的深度與色彩資料。

接著於步驟104，進行相機拍攝移動參數推估。在此步驟中是藉由兩相鄰影像間之視角轉換關係，來推估相機拍攝移動參數。其中，相機移動參數包含旋轉向量[Rx Ry Rz]與平移向量[Tx Ty Tz]共六項參數，而連續影像中任相鄰兩張影像皆可計算出對應之此六項相機移動參數。例如，前一影像之三維點雲資訊和後一影像之三維點雲資訊均有自己之初始座標，藉由相機拍攝時之旋轉向量[Rx Ry Rz]與平移向量[Tx Ty Tz]六項參數組成之轉換矩陣，可描述前一影像之三維點雲資訊和後一影像之三維點雲資訊之關係，如下：

where R=R _x(θ _x)R _y(θ _y)Rz(θ _z)

其中，(x,y,z)為前一影像上之三維點雲位置。(x’,y’,z’)為後一影像上之三維點雲位置。兩者之間之視角轉換關可由相機之六個移動參數，旋轉向量[Rx Ry Rz]與平移向量[Tx Ty Tz]描述。換言之，藉由前一影像之三維點雲位置和後一影像上之三維點雲位置，可計算出相機之六個移動參數，旋轉向量[Rx Ry Rz]與平移向量[Tx Ty Tz]。由於，在進行連續影像拍攝以建構三維立體模型時，相機之視角變化不可能突然發生大轉變。也就是說，拍攝本次影像造成之相機視角轉換變化與拍攝前次影像造成之相機視角轉換變化需近似且平滑。因此，本發明在建構相機拍攝路徑時，會檢測相機視角轉換參數，亦即旋轉向量[Rx Ry Rz]與平移向量[Tx Ty Tz]之變化，並和設定之旋轉向量參數變化門檻值和平移向量參數變化門檻值進行比較。一旦，其中一視角轉換參數變化超過門檻值，代表此部分之相機視角轉換並不合哩，此時會利用內插法，由相鄰兩點推估此部分相機視角轉換。值得注意的是，此步驟僅決定出一合理之相機移動路徑，然最佳之相機移動路徑，將於後續之步驟決定出。

接著於步驟105，進行時間序列參數空間映射。即是根據一連續時間軸，將步驟104進行推估相機連續視角轉換時所使用之旋轉向量[Rx Ry Rz]與平移向量[Tx Ty Tz]映射(mapping)到一參數空間。此步驟之主要目的是為後續在此參數空間中決定一旋轉向量[Rx Ry Rz]與平移向量[Tx Ty Tz]之最佳解，以決定最佳之相機移動路徑。在一實施例中，若相機環繞一實體物件連續拍攝照片影像數量為100張，且由相鄰兩影像之深度資訊可用以決定當相機在拍攝此相鄰兩影像時其對應之6個運動參數，分別為旋轉向量[Rx Ry Rz]與平移向量[Tx Ty Tz]。因此，若拍攝照片影像數量為100張，則用以推估相機移動路徑之運動參數共有600個。本步驟，即是根據相機拍攝時之一連續時間軸，將推估相機移動路徑有關之600個運動參數映射到一600維之參數空間中。

接著於步驟106，進行相機最佳移動路徑重建。由於在一參數空間中之每一點均會對應到一相機移動路徑，改變其中一參數解，相機移動路徑即會對應改變，因此步驟即是在此600維之參數空間中找出一最佳相機移動路徑。為求得最佳之相機移動路徑，當於步驟106建立出一相機移動路徑後，本發明會分別於步驟107進行三維點雲合併能量估算，以及於步驟108進行顏色資料合併之能量估算，並於步驟109，以步進式最佳演算法進行上述之能量估算，以求得讓能量最小化之移動參數。其中，所使用之最佳演算法可為粒子群演算法(Particle Swarm Optimization,PSO)或基因演算法(Genetic Algorithms,GA)。當利用最佳演算法最小化上述之能量估算值後，即可獲得最佳相機移動路徑，並於步驟110，輸出此最佳之相機移動路徑。反之，當利用最佳演算法進行上述之能量估算後，若其三維點雲合併能量值和顏色資料合併能量值仍未低於一門檻值時，會重新執行步驟106，再次於參數空間中搜尋一相機移動路徑，並再次進行步驟107之三維點雲合併能量估算，以及步驟108之顏色資料合併能量估算。

其中三維點雲合併能量估算，即是用以判定當相鄰兩影像以步驟106決定出之旋轉向量[Rx Ry Rz]與平移向量[Tx Ty Tz]進行合併時，其用以進行合併之對應三維點雲間是否具有一定之一致性，很小之變異性，亦即對應之能量函數很低。因為，若相鄰兩影像間據以合併之三維點雲間一致性越高，代表在此相機移動路徑下，相機在拍攝前一張影像與後一張影像時，因移動相機所造成之相機視角轉換參數，旋轉向量[Rx Ry Rz]與平移向量[Tx Ty Tz]共六項參數，可讓據此參數進行合併之前一張影像與後一張影像完美合併，因此，此相機移動路徑符合需求。反之，若相鄰兩影像間據以合併之三維點雲間一致性不高，變異性很大，亦即對應之能量函數很高。代表在此相機移動路徑下，相機在拍攝前一張影像與後一張影像時，因移動相機所造成之相機視角轉換參數，旋轉向量[Rx Ry Rz]與平移向量[Tx Ty Tz]共六項參數，無法讓據此參數進行合併之前一張影像與後一張影像進行合併，因此，此相機移動路徑不符合需求。

另外，顏色資料之能量估算，係用以判定當相鄰兩影像以步驟106決定出之旋轉向量[Rx Ry Rz]與平移向量[Tx Ty Tz]進行合併時，欲進行合併之相鄰兩影像的畫素顏色資訊是否具有適當的一致性。也就是說，若顏色差距最小，則表示其對應之能量函數相對最低。因為相鄰兩影像間據以合併處之三維點雲間其顏色資料應具有適當的一致性，一致性越高，代表其為欲進行合併之相鄰兩影像的重疊處的可能性越高，表示此相機移動路徑符合需求。值得注意的是，上述顏色資料之能量估算為一選擇步驟，也就是說，即使不執行此步驟，仍可藉由三維點雲合併能量估算搜尋出之一最佳相機移動路徑。當選擇不執行步驟108之顏色資料能量估算時，則於步驟109僅需以最佳演算法進行三維點雲合併能量估算。

當於步驟110建構出最佳相機移動路徑後，即可於步驟111進行三維點雲合併。亦即根據此最佳相機移動路徑，每次拍攝一影像時，對應前一拍攝影像相機之旋轉向量[Rx Ry Rz]與平移向量[Tx Ty Tz]，將相鄰兩影像三維點雲依序合併，以於步驟112，合成實體物件之三維立體模型。

第2圖展示一種電腦可讀媒體。此電腦可讀媒體200包括一電腦程式201，此電腦程式201包括用於造成一處理器系統實行如第1圖所展示之方法100之指令。此電腦程式201可藉由磁化電腦可讀媒體200而予以實現。然值得注意的是，雖然在第2圖中將電腦可讀媒體200展示為一光碟，然而電腦可讀媒體200可為任何適當電腦可讀媒體，諸如一硬碟、固態記憶體、快閃記憶體等。

第3圖為根據本發明一實施例用以產生一實體物件的三維立體模型裝置概略圖。本發明用以產生一實體物件三維立體模型的裝置300包括：一輸入301、一轉換器302、一移動參數值產生器303、一第一計算器304、一第二計算器305、一相機移動路徑產生器306和一三維立體模型產生器307。其中，輸入301係用以接收複數影像之深度資料。在一實施例中，本發明是由一相機對一欲建構三維立體模型之實體物件以環繞一圈之方式進行連續性拍攝，以獲得時間連續之多幅二維影像以及對應之影像深度資料。再將所擷取之影像深度資料傳送給轉換器302以轉換成對應三維點雲資訊，以及畫素顏色資訊。

移動參數值產生器303，係用以根據轉換器302轉換出之三維點雲資訊，分別產生相機在拍攝每一影像時，相對於在拍攝前一影像時之一移動參數和移動參數變化量。其中，移動參數值產生器303是藉由兩相鄰影像間之視角轉換關係，來推估相機拍攝移動參數。其中，相機移動參數包含旋轉向量[Rx Ry Rz]與平移向量[Tx Ty Tz]共六項參數，而連續影像中任相鄰兩張影像皆可計算出對應之此六項相機移動參數。也就是說，藉由相機拍攝時之旋轉向量[Rx Ry Rz]與平移向量[Tx Ty Tz]六項參數組成之轉換矩陣，可描述前一影像之三維點雲資訊和後一影像之三維點雲資訊之關係。因此，藉由前一影像之三維點雲資訊和後一影像之三維點雲資訊可推論出相機拍攝時之旋轉向量[Rx Ry Rz]與平移向量[Tx Ty Tz]。此外，移動參數值產生器303並會將檢測到之移動參數變化量和設定之移動參數值變化門檻值進行比較。一旦，其中一移動參數變化超過門檻值，代表此部分之相機移動並不合哩，此時會利用內插法，由相鄰兩點推估此部分相機移動。

第一計算器304，在每一影像根據其對應之移動參數將三維點雲資訊合併於前一影像之三維點雲資訊時，計算此時之合併能量值。其中三維點雲合併能量估算，即是用以判定當後一影像之三維點雲根據對應之移動參數和前一影像之三維點雲合併時，其用以進行合併之兩影像間之三維點雲是否具有一定之一致性，很小之變異性，亦即對應之能量函數之合併能量值很低。因為，若相鄰兩影像間據以合併之三維點雲間一致性越高，代表在此相機移動路徑下，可讓據此移動參數進行合併之前一張影像與後一張影像完美合併，因此，此相機移動路徑符合需求。反之，若相鄰兩影像間據以合併之三維點雲間一致性不高，變異性很大，亦即對應之能量函數之合併能量值很高，此相機移動路徑則不符合需求。此時，第二計算器305，變化該些移動參數，以最小化該合併能量值，找出最符合之移動參數。其中，第二計算器305是以所使用之最佳演算法可為粒子群演算法(Particle Swarm Optimization,PSO)或基因演算法(Genetic Algorithms,GA)變化該些移動參數，以最小化該合併能量值。接著，相機移動路徑產生器306，根據可最小化合併能量值之該些移動參數產生一相機移動路徑。三維立體模型產生器，根據此相機移動路徑，將相鄰兩影像三維點雲依序合併，以產生實體物件之三維立體模型。

綜上所述，本發明三維立體模型之重建方法，是先根據計算出之相機旋轉量和位移量，建構一合理之相機拍攝路徑。接著，再根據相鄰兩影像之三維點雲和對應之相機旋轉量和位移量最佳化此相機路徑。最後，再依此最佳相機路徑進行三維點雲疊加。由於，本案是在完成最佳相機路徑建構後，再進行相鄰影像之三維點雲疊加，因此，可完全解決習知因為誤差問題造成之三維立體模型重建失敗。且藉由本案之方法，在拍攝影像時不需對相機進行特別之定位，因為均可在後續之最佳相機路徑建構流程時，將不合理之拍攝角度進行修正，來建構出三維立體模型。

雖然本發明已以實施方式揭露如上，然其並非用以限定本發明，任何熟習此技藝者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。

100‧‧‧流程

101~112‧‧‧步驟

Claims

一種三維立體模型建立方法，係用以對一實體物件建立一三維立體模型，至少包含：將複數影像之深度資料轉換為複數個三維點雲資訊，其中係以環繞該實體物件之方式，依序對該實體物件拍攝該些影像；根據該些個三維點雲資訊，分別計算一相機在拍攝每一該些影像時，相對於該相機在拍攝前一影像時之一移動參數；根據一對應移動參數，計算每一該些影像之三維點雲資訊和前一影像之三維點雲資訊合併時的一合併能量值；變化該些移動參數，以最小化該合併能量值；根據變化後之該些移動參數決定一相機移動路徑；以及根據該相機移動路徑，建立該實體物件之一三維立體模型，更包括：根據變化後之該些移動參數合併該些個三維點雲資訊。
如請求項第1項所述之三維立體模型建立方法，其中最小化該合併能量值，係以粒子群演算法(Particle Swarm Optimization,PSO)或基因演算法進行。
如請求項第1項所述之三維立體模型建立方法，更包括將該些影像之深度資料轉換為顏色資訊。
如請求項第3項所述之三維立體模型建立方法，更包括計算每一該些影像之三維點雲資訊根據一對應移動參數合併於前一影像之三維點雲資訊時之一顏色資訊能量值。
如請求項第1項所述之三維立體模型建立方法，其中每一該些移動參數包括該相機移動時之旋轉向量與平移向量。
如請求項第1項所述之三維立體模型建立方法，其中根據該些個三維點雲資訊，分別計算一相機在拍攝每一該些影像時，相對於該相機在拍攝前一影像時之一移動參數，更包括：計算一相機在拍攝每一該些影像時，相對於該相機在拍攝前一影像時之一移動參數變化量；判斷該移動參數變化量是否在一設定範圍內；以及變化該移動參數，當該移動參數變化量超出該設定範圍時。
如請求項第1項所述之三維立體模型建立方法，其中係使用一內插法變化該移動參數。
一種包含軟體之電腦程式產品，該軟體係由一處理器系統實行，以執行如請求項1之方法之指令。
一種產生三維立體模型裝置，係用以產生一實體物件之一三維立體模型，至少包含：一輸入，係用以接收複數影像之深度資料，其中係以一相機環繞該實體物件依序對該實體物件拍攝該些影像；一轉換器，係用以將該些影像之深度資料轉換為複數個三維點雲資訊；一移動參數值產生器，係用以根據該些個三維點雲資訊，分別產生該相機在拍攝每一該些影像時，相對於在拍攝前一影像時之一移動參數；一第一計算器，當根據每一該些影像之對應移動參數將每一該些影像之三維點雲資訊合併於前一影像之三維點雲資訊時，計算一合併能量值；一第二計算器，變化該些移動參數，以最小化該合併能量值；一相機移動路徑產生器，根據變化後之該些移動參數產生一相機移動路徑；以及一三維立體模型產生器，根據該相機移動路徑，產生該實體物件之一三維立體模型。
如請求項第9項所述之產生三維立體模型裝置，其中該三維立體模型產生器係根據變化後之該些移動參數合併該些個三維點雲資訊以產生該實體物件之該三維立體模型。
如請求項第9項所述之產生三維立體模型裝置，其中該第二計算器係執行一粒子群演算法(Particle Swarm Optimization,PSO)或一基因演算法進行以最小化該合併能量值。
如請求項第9項所述之產生三維立體模型裝置，其中該轉換器更用以將該些影像之深度資料轉換為顏色資訊。
如請求項第12項所述之產生三維立體模型裝置，其中當根據每一該些影像之對應移動參數將每一該些影像之三維點雲資訊合併於前一影像之三維點雲資訊時，該第一計算器更計算一顏色資訊能量值。
如請求項第9項所述之產生三維立體模型裝置，其中每一該些移動參數包括該相機移動時之旋轉向量與平移向量。
如請求項第9項所述之產生三維立體模型裝置，其中該移動參數值產生器更根據該些個三維點雲資訊，分別產生一相機在拍攝每一該些影像時，相對於該相機在拍攝前一影像時之一移動參數變化量；以及變化該移動參數，當該該移動參數變化量超出一設定範圍時。
如請求項第15項所述之產生三維立體模型裝置，其中係使用一內插法變化該移動參數。