TW201514921A

TW201514921A - 在３ｄ空間中將３ｄ幾何數據用於虛擬實境圖像的呈現和控制的方法

Info

Publication number: TW201514921A
Application number: TW102137085A
Authority: TW
Inventors: Douglas Wei-Ming Wang; Peng-Cheng Lai
Original assignee: Ortery Technologies Inc
Priority date: 2013-10-15
Filing date: 2013-10-15
Publication date: 2015-04-16
Also published as: TWI603288B

Abstract

一種使用從不同視角拍攝的物件攝影圖像集和對應攝影圖像各照片的關鍵幾何參數組來連結3D模型數據的方法，其可用來在運算裝置即時呈現高品質、擬真的3D圖像。本案更提供用於物理應用的3D幾何數據，其使用自動或手動的拍攝系統和以同一個硬體系統或來自於獨立的3D幾何掃描系統的相同物件所導入的3D模型數據、以手動、半自動或自動軟體工具將這些資訊整合成成整體檔案封包，然後再以3D環境的觀看程式呈現出來。本案也能夠沿用至立體系統，並且提供了即時的物理操控能力、高品質、逼真的視覺效果。

Description

在3D空間中將3D幾何數據用於虛擬實境圖像的呈現和控制的方法

本發明是有關於3D影像呈現(photographic presentation)的領域，其使用了虛擬實境(virtual reality)技術來顯現出高品質的攝影圖像(photo image)，其更採用了3D建模技術(3D modeling technology)的優點來提供用於物理測量(physical measurement)或控制的幾何數據(geometry data)，並且將會被使用於擴增實境應用(augmented reality application)，其亦可沿用至用於即時應用(real time application)的立體顯示系統(stereoscopic display system)。

虛擬實境使用一組攝影圖像來顯現從不同視角(view angle)觀看到的實體物件(solid object)。它提供了用於呈現應用的高品質攝影圖像。然而，由於攝影照片的數量有限，視角會受限於拍攝位置的不連續數量，因而導致不順暢的動畫(non-smooth animation)。而且，攝影圖像也不包含幾何數據。它們在呈現時無法精準地排列，並且無法用於任何物理相關應用(physical related application)，即用於測量或用於控制。

3D建模是另一種呈現出實體物件的方案。它具有幾何資訊，能夠被用於包含擴增實境等物理應用。然而，為了要得到精準的幾何數據和用於高品質呈現而與材質貼圖技術(texture mapping technique)一併呈現，擷取幾何數據和儲存大量材質圖像所費不貲。而且，要以低性能的個人運算裝置(personal computing device)來執行即時擬真轉譯(photo-realistic rendering)並不容易。

因此，需要為了商業應用而產生高圖像品質、擬真虛擬實境呈現，並且需要為了物理擴增實境應用而納入幾何資訊，特別是為了桌上型個人電腦(desktop personal computer,desktop PC)或平板電腦(tablet PC)和智慧型手機(smart phone)等行動裝置(mobile device)。為了要一併提供高品質觀看體驗(viewing experience)和物理資訊，有一種方式是結合虛擬實境和3D建模兩種不同方案的長處，以利用隨處可得的運算裝置來提供有經濟效益的解決辦法和符合品質的要求。本發明達成了這些目標，並且能夠以現有的運算裝置和機械系統來實施。

本發明的一種實施態樣(aspect)描述了結合一組攝影照片(photo frame)與一組幾何資訊的一種方法以及在一台運算裝置的觀看視窗(viewing window)下的一個3D空間(3D space)中呈現2D影像(2D photo)的一種系統化方式(systematic way)，也描述了在3D呈現空間下，圖片(image frame)的相關參數(parameter)和實體物件的觀看變換(viewing transformation)之間的數學關係。

本發明的另一種實施態樣描述了包括一個電腦控制機械系統(computer-control mechanical system)以在不同的視角自動地擷取攝影圖像的一種系統，也描述了以各式各樣光學掃描硬體(optical scanning hardware)或者是經由剪影(silhouette)或參照點(referencing mat)或參照線條(referencing stripe)獲得3D幾何數據的影像擷取相機(photo taking camera)為基準的一種3D幾何數據掃描子系統(3D geometry data scanning subsystem)。

本發明的另一種實施態樣描述了用以實施本發明的一個軟體系統(software system)和客戶端觀看裝置(client viewing device)，其中的軟體系統由一個工作站(workstation)、一個儲存系統(storage system)和一個遠端伺服器(remote server)所組成，也描述了用以整合2D攝影照片與掃描得到的3D幾何數據以手動地或自動地產生一組控制參數的一種軟體程式(software program)，更描述了用以下載圖像和幾何數據以及執行觀看、測量和控制擬真實體物件(photo realistic solid object)的一種軟體程式。

本發明的另一種實施態樣描述了用以實施立體顯示和控制功能的硬體和軟體系統的一種延伸應用。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉多個實施例，並配合所附圖式，作詳細說明如下。

100‧‧‧方法

102‧‧‧實體物件

104‧‧‧觀看者

106‧‧‧觀看視窗

108、224、284‧‧‧攝影圖像

110、192、204、226‧‧‧3D網格

120‧‧‧具體實施例

121‧‧‧影像擷取系統

122‧‧‧旋轉平台

123‧‧‧相機

124‧‧‧懸臂

126‧‧‧電腦系統

128‧‧‧掃描子系統

130‧‧‧互聯網路

132‧‧‧客戶端裝置

134‧‧‧網路儲存系統

140‧‧‧方塊圖

142、144、146、148、150、152、154、182、184、186、188、190、264、266、268、269、270、272、274‧‧‧方塊

160‧‧‧2D影像擷取系統

162‧‧‧電腦控制旋轉機械

164‧‧‧特定命名規則

180‧‧‧3D幾何數據擷取系統

200‧‧‧參數配對系統

202‧‧‧攝影照片

220‧‧‧參數配對軟體程式

222、228、230、232‧‧‧功能

236‧‧‧實體物件主軸

234、316、318‧‧‧參考點

238‧‧‧方向

240‧‧‧運算機制

242、252‧‧‧列

254‧‧‧行

260‧‧‧檔案系統

262‧‧‧根目錄

280‧‧‧觀看程式

282‧‧‧操作視窗

286‧‧‧操作鍵

288‧‧‧功能鍵

300‧‧‧立體系統

302‧‧‧左眼

304‧‧‧右眼

306‧‧‧左側立體圖像

308‧‧‧右側立體圖像

310‧‧‧物件

312‧‧‧左側組

314‧‧‧右側組

圖1：以3D建模數據在3D空間中呈現出虛擬實境圖像(真實物件、觀看視窗、高解析度圖像和3D網格及觀看者之間的關係)。

圖2：一種3D虛擬實境系統的具體實施例(機械圖像和3D數據擷取系統、整合用電腦、數據和程式伺服器及客戶端觀看裝置)。

圖3：數據擷取、整合和觀看系統的方塊圖(擷取數據的處理、需儲存的數據、整合用程式和觀看程式)。

圖4：攝影圖像擷取系統(擷取影像用的機械系統和產生圖像檔案的工作流程)。

圖5：經由攝影相機或3D掃描器擷取3D建模數據(攝影相機或3D掃描器的機械系統和產生3D幾何數據的工作流程)。

圖6：嵌入3D數據系統圖(對2D影像一張張地嵌入3D幾何數據，以在圖像上指定6個自由度的變數，以及用來製作執行自動處理的所需參考照片)。

圖7：經由調整比例、調整位置和旋轉來調整照片參數(用以對各張照片調整6個變數或其對應數據的使用者介面，有三個主要的調整步驟要實施)。

圖8：用於所有照片的自動參數生成法(用以對各張照片調整6個變數或其對應數據的使用者介面，有三個主要的調整步驟要實施)。

圖9：用於影像製作、3D數據和數據圖製作的檔案系統以及觀看程式的流程圖(生成的數據檔案和對應的影像製作和幾何數據檔案，以及用以顯現出下載到的圖像和數據的觀看程式流程圖)。

圖10：以3D呈現和控制的觀看程式(終端用戶用的觀看程式功能和控制，以及用於高解析度呈現的數據源結構和用於順暢操作的變形技術)。

圖11：沿用至立體系統(使用相同的系統來拍攝兩組對應的攝影圖像，其照片配合立體顯示和控制的規範)。

圖1繪示出一個2D攝影圖像108以投射的方式貼圖在2D觀看視窗106上的一種方法100。

經由對一個實體物件102的六個自由度(degrees of freedom)使用矩陣轉換(matrix transformation)來配對2D攝影圖像108和3D網格110。於此，實體物件是以一個馬克杯(mug)為例舉例說明，但是在其它未繪示的實施例中也可以用諸如一隻鞋子(shoe)、一個燈泡(light bulb)等任何其它的實體物件來取代。由一個3D掃描器(3D scanner)所生成的幾何參數可以建構出一個3D網格110。

觀看者104以互動方式觀看和控制圖像。2D影像可以利用比例s做縮放、經由螢幕座標(x,y)做平移，並且可以經由ω角再加上(θ,φ)角做旋轉，在各行、列位置上的一整組照片都會以這些參數來表示。

圖2繪示出包含用於機械控制(mechanical control)、圖像處理(image processing)和數據整合(data composition)的一個電腦系統126的一個具體實施例120。一個影像擷取系統(photo capture system)121是由受控制的旋轉平台(rotating platform)122和多支懸臂(arm)124所組成，其具有利用鏡頭縮放而在φ方向上移動和受到傾斜控制的相機123，以在不同的位置(θ,φ)對實體物件102拍攝影像。

於此包括了用以擷取3D幾何數據的一個3D掃描子系統128(硬體或軟體增強型)，其可建構出一個3D網格110(標示於圖1)。若將利用2D攝影圖像108(標示於圖1)的剪影的一種攝影測量技術(photogrammetry)用於3D建模，則掃描子系統128可以用相機123來取代。

電腦系統126整合了2D攝影圖像108和3D網格110，並且經由互聯網路(Internet network)130將它們發送至一個遠端伺服器和連結至互聯網路130的網路儲存系統(network storage system)134。

使用諸如電腦、平板電腦、智慧型手機等具有觀看和控制軟體的一台連接網際網路的客戶端裝置(Internet connected client device)132以互動方式來觀看和控制2D攝影圖像108和3D網格110。

圖3繪示出一個方塊圖140，以顯現出數據如何被擷取、處理和儲存，然後再被客戶端的觀看者運用。

在方塊142中，2D攝影圖像會在各觀看位置一張張被擷取，並且會被預先處理，以便選擇性地移除圖像背景(image background)，或被壓縮成具有分層像素解析度(hierarchical pixel resolution)、透明度資訊(transparency information)的JPEG格式，然後再如方塊144中所示進一步被儲存在一個2D攝影圖像檔案中。

在方塊146中，3D幾何數據會以(例如但不限於)一種3D建模數據掃描法(3D modeling data scan)在不同的觀看位置掃描到。但是在過濾處理(filtering process)以得到可靠數據(reliable data)之後，它們會以全域座標系統(global coordinates system)進一步被整合成一組網格點(mesh point)，如方塊148中所示的實體物件檔案(solid object file)，或稱為3D網格。

在方塊150中，一個整合系統(composing system)將會處理2D攝影圖像檔案和實體物件檔案，以便為了高圖像品質、擬真虛擬實境呈現(photo-realistic virtual reality presentation)和物理擴增實境應用(physical augmented reality application)使3D網格的3D幾何參數配合2D圖像檔案中的2D攝影圖像的對應2D攝影圖像參數，然後便能夠達成2D攝影圖像檔案和3D網格的配對。整合結果會被儲存在諸如方塊152中所示的一個應用和數據資料夾(application and data folder)的一個檔案結構(file structure)下，以在不同的解析度標準(resolution level)、實體物件檔案和數據圖下儲存攝影圖像，以將對應的參數儲存成(例如但不限於)xml檔案結構。

如方塊154中所示的一種觀看程式會在一個客戶端裝置下運行，以將配對參數解碼和對終端用戶(end user)以互動方式呈現出高品質的攝影圖像，並且能夠為了如擴增實境等特定應用而進一步提供一個3D網格的控制和測量。

圖4繪示出一種2D影像擷取系統160將會拍攝位於一個電腦控制旋轉機械(computer controlled rotating mechanics)162中的一個實體物件的攝影圖像。

實體物件將會在具有一個固定旋轉軸(rotation axis)的實體物件周圍以水平和垂直移動的至少一個相機從不同的視角觀看。在本實施例中，實體物件例如是經由具有不同視角(例如下方、右下方、右方、右上方和上方)的5個不同攝影相機經由電腦控制旋轉機械162的旋轉而相對於實體物件在8個不同的水平方位(例如0°、45°、90°、135°、180°、225°、270°和315°)在最高容許解析度下拍攝影像，以形成40個不同的圖像檔案，然後再以一個特定命名規則(specific naming convention)164一張張儲存這些圖像檔案。然而，在其它未繪示的實施例中，也能夠對實體物件拍攝較少或更多的影像。

值得注意的是，圖像檔案可以被預先處理，以移除不需要的背景圖像、添加透明度資訊或轉檔成分層較低的解析度(hierarchical lower resolution)和儲存在一個單一根目錄(root directory)下，以供日後整合及觀看處理。

圖5繪示出用來得到實體物件幾何數據的一種3D幾何數據擷取系統180。實際上，它可以是一個單獨的系統或如圖4中所示的影像擷取系統的一個子系統。

3D幾何數據擷取系統180將會使用一定波長的可見光學相機(certain wavelength of visible optics camera)、雷射光束(laser beam)或不可見紅外光暨反射光擷取系統(invisible infrared and reflection capturing system)來如方塊182所示取得各物件幾何上的深度數據(depth data)，或僅簡單地抓取2D攝影圖像108的剪影。

3D幾何數據將會經過測量處理，以便先移除不可靠雜訊數據(unreliable noise data)，例如方塊184所示的一道過濾不可靠數據(filter unreliable data)的運算程序(computing routine)，然後再以統計上更為精確的數據來運算出3D全域座標系統中的最終節點位置(node position)，例如方塊186所示的一道統計上運算幾何數據(statistically compute geometry data)的程序。

接著，如方塊188所示，幾何數據將會與一組全域數據組(global data set)做比較和合併，並且會如方塊190所示將結果儲存在一個標準實體物件檔案(standard solid object file)中。

隨著從許多關鍵位置的重複測量和數據運算來對實體物件取得所有必要的幾何數據和參數，便能夠從複數個3D幾何參數建構出一組最終3D網格192。

圖6繪示出一個參數配對系統200，其將用於配對2D影像和3D幾何數據。

由於攝影圖像將會被儲存在各視角的各攝影照片202中，因而必須將3D網格204的3D幾何參數和2D攝影圖像/攝影照片202的對應2D攝影圖像參數配對，以便在相同的呈現空間(presentation space)查看攝影照片202和3D網格204。

眾所周知，任何一個實體物件都能夠以六個自由度來表示。因此，可以選用3D空間中的一個參考點(reference point)(x,y,z)和物件的方位角(θ,φ,ω)來表示一張攝影圖像和3D幾何數據之間的關聯(correlated relation)。

也因此，必須要為各張攝影照片202指定一組六個參數，並且將它們綁在一起，以供未來呈現和控制功能用。舉例來說，於此實施例中，攝影照片202可以命名為Framei,j.jpg，並且包含有M行和N列，而且可以將其參考點206標示為(x_i,j,y_i,j,z_i,j)。如此一來，3D幾何數據的六個參數便可標示為(x_0,0,y_0,0,z_0,0,θ_0,0,φ_0,0,ω_0,0)，而攝影照片202的六個參數則可標示為(x_i,j,y_i,j,z_i,j,θ_i,j,φ_i,j,ω_i,j)，其中i=1,2...M，並且J=1,2...N。

圖7繪示出能夠用來將這些參數和各張攝影照片配對的一個參數配對軟體程式(parameters matching software program)220。

配對軟體程式220具有下載原始2D攝影圖像和3D網格226的3D幾何參數以及儲存整合後數據等功能222。

配對軟體程式220設計為經由一併顯現出照片選擇功能230中所顯現出的任何一張2D圖像照片中的攝影圖像224和3D網格226來與使用者互動。

既然一台電腦螢幕上的滑鼠游標(mouse cursor)只能以兩個自由度移動，使用者便能夠手動地執行參數配對。滑鼠游標能夠用來控制實體物件主軸(solid object body axis)236，經由移動實體物件主軸236的尖端(tip)可控制θ及/或φ的值，而經由繞著方向238旋轉實體物件主軸236則可控制ω的值。

接著，可以平移螢幕上的參考點234，以便控制x及/或y的值，然後再使用滑鼠滾輪(mouse wheel)來控制3D網格的尺寸，此舉等同於對物件調整比例，從而調整z的投射位置。值得注意的是，於此實施例中，為了要手動地配對2D攝影圖像224和3D網格226，六個參數(x,y,z,θ,φ,ω)都會經過調整。然而，在於此未繪示的其它實施例中，非必要時當然可以不需要調整全部的六個參數。

相較之下，於此更提供了用於協助配對參數的自動運算配對處理功能(auto computing matching process)228，其可進一步以程式化對單一照片或對多張照片配對參數，並且將會在圖8中詳述。

值得注意的是，在執行全部的擷取處理時，手動配對處理功能232可進一步經由使用自動運算配對處理功能228的直接運算來取代。一個2D攝影圖像檔案和一個3D網格的自動配對，是在一個3D幾何掃描機構(3D geometry scan mechanism)能提供2D攝影圖像和3D網格之間的參數關係時，以程式化自動配對2D攝影圖像的參數和3D網格的3D幾何參數。

圖8繪示出為了生成與各攝影照片的所有視角所自動配對的參數而開發的一種運算機制(computation scheme)240。

經由應用四元數技術(Quaternion technology)，便能夠對表示參考點和主軸的任何3D向量(vector)v做計算，以便在繞著一個旋轉單元軸(rotating unit axis)n旋轉一個旋轉角度(rotating angle)θ之後取得3D空間中的新向量r。

如此一來，便能夠經由使用參數而使用同一列的兩張照片中的任何一張和已知的旋轉角度來計算出旋轉單元軸n。一旦計算出旋轉單元軸n，便能夠計算出同一列242各張照片中的任何其他的參考點和主軸，並因而自動地配對出其參數。

相同的運算也能夠在垂直方向上對單一行254但不同列252的圖像照片執行。重複相同的處理便能夠對所有的照片完成計算。

理論上，只需要手動配對三張照片，便能夠計算出在水平和垂直方向上的旋轉單元軸，並且會極度節省用來找出配對參數的人力資源。然而，實務上，相機的旋轉軌跡(rotating trajectory)可能不會位於一個正圓路徑(perfect circular path)上，並且傾斜角度(tilting angle)和縮放鏡頭(zoom lens)可能會以一個非線性的方式(non-linear way)投射攝影圖像，因而需要5或7張等更多手動配對的照片來取得一個更可靠的數據。於此更提供了觀看配對運算的一種視覺調整，以便執行微調(fine adjustment)。

圖9繪示出建構在網際網路伺服器(Internet server)下的一種檔案系統260，以對終端用戶提供在其客戶端裝置查看附加了3D幾何數據的高解析度攝影圖像的一種觀看機制(viewing mechanism)。

觀看程式、即時且高解析度的圖像數據、幾何數據、附加數據(accessory data)和所呈現出的數據圖，全部都會儲存在一個根目錄262下，以確保不會有跨網域存取(cross domain access)的問題。

如方塊264所示，經由終端用戶所存取的觀看程式將會下載所有必要的程式例行程序(program routine)，於此稱為“Viewer”，然後再如方塊266所示自動地取得即時圖像和3D網格的幾何數據。接著，如方塊268所示，便能夠進行用於觀看高解析度圖像和3D網格的互動式操作，以便如方塊269所示取得高解析度圖像。另外，根據擴增實境應用，將可進一步使用如方塊270所示的功能操作，例如用於必要的3D測量(如方塊272中所示)或3D控制功能(如方塊274中所示)等。

上述程式可在具有3D操作環境(如OpenGL或WebGL或其他3D環境)的一個客戶端裝置實施。

圖10繪示出為了實施圖9中所述功能而開發的一種客戶端觀看程式280。

觀看程式280可為用於Windows平台(Windows platform)電腦系統126(標示於圖2)的一種支援WebGL並應用HTML5瀏覽器的觀看程式(WebGL-enabled browser-based HTML5 viewing program)，諸如一台桌上型個人電腦、一台行動裝置或任何能夠顯現出操作視窗282的裝置等，或者是具有支援行動裝置的OpenGL ES的本機程式(native program)。

程式具有操作鍵(operational button)286，以便以互動方式達成觀看中攝影圖像的縮放、平移和旋轉功能，其具有一個拖曳控制器(slider controller)，以觀看高品質的攝影圖像或查看3D模型的框線(wire frame)，甚至是以一種不同透明度的方式一併觀看上述二者。

為了要在3D空間中顯現出2D攝影圖像的順暢度，也能經由改變0<△θ<θ_increment的角度及/或0<△φ<φ的角度來達成2D攝影圖像284的角變形(angular morphing)。

另外，也能夠根據應用提供功能鍵288，以達成測量和應用控制，以及任何其它所需功能。

圖11繪示出此系統更能夠沿用至一個立體系統300，以因應人眼感知能力(human being's eyes perception)而以一種更為逼真的感覺來觀看物件。

觀看視窗分隔成兩個，以便對左眼302和右眼304分別提供左側立體圖像(stereogram)306和右側立體圖像308。

在考量到相同物件310的不同視角的情況下取得兩組圖像和配對參數。它們將會獨立地設定為左側組312和右側組314。於此實施例中，左側組312和右側組314例如是分別命名為FrameLi,j.jpg和FrameRi,j.jpg，並且可以將其參考點316和318分別標示為(x_i,j,y_i,j,z_i,j)L和(x_i,j,y_i,j,z_i,j)R。如此一來，對應於左側組312和右側組314的3D幾何數據的六個參數便可分別標示為(x_0,0,y_0,0,z_0,0,θ_0,0,φ_0,0,ω_0,0)L和(x_0,0,y_0,0,z_0,0,θ_0,0,φ_0,0,ω_0,0)R，而左側組312和右側組314的六個參數則可標示為(x_i,j,y_i,j,z_i,j,θ_i,j,φ_i,j,ω_i,j)L和(x_i,j,y_i,j,z_i,j,θ_i,j,φ_i,j,ω_i,j)R，其中i=1,2...M，並且J=1,2...N。

然而，也能夠使用單一組2D影像的同一列但不同行的圖像。這樣做雖然在視角和距離的模擬上將不會非常精確，但是將會對一般觀看者提供足夠的深度感(depth feeling)。

觀看視窗也可以應用至電視、銀幕(movie screen)或甚至是具有觀看鏡片(view glasses)的新式穿戴式工具(new wearable gadget)上。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，因此本發明的保護範圍當視後附的申請專利範圍所界定者為準。