TWI669683B - 三維影像重建方法、裝置及其非暫態電腦可讀取儲存媒體 - Google Patents

三維影像重建方法、裝置及其非暫態電腦可讀取儲存媒體 Download PDF

Info

Publication number
TWI669683B
TWI669683B TW107132123A TW107132123A TWI669683B TW I669683 B TWI669683 B TW I669683B TW 107132123 A TW107132123 A TW 107132123A TW 107132123 A TW107132123 A TW 107132123A TW I669683 B TWI669683 B TW I669683B
Authority
TW
Taiwan
Prior art keywords
camera
displacement vector
time point
image
rotation amount
Prior art date
Application number
TW107132123A
Other languages
English (en)
Other versions
TW201913575A (zh
Inventor
郭俊麟
林詠真
郭彥閔
Original Assignee
宏達國際電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏達國際電子股份有限公司 filed Critical 宏達國際電子股份有限公司
Publication of TW201913575A publication Critical patent/TW201913575A/zh
Application granted granted Critical
Publication of TWI669683B publication Critical patent/TWI669683B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

一種三維影像重建方法，應用於三維影像重建裝置中，包含：由設置於頭戴裝置的訊號接收器，於第一及第二時間點接收定位訊號，判斷頭戴裝置位移向量及頭戴裝置旋轉量；由設置於頭戴裝置的第一相機擷取第一及第二影像，以判斷第一相機旋轉量；計算頭戴裝置及第一相機間的相對旋轉量及相對位移向量；根據頭戴裝置位移向量、頭戴裝置旋轉量、相對旋轉量以及相對位移向量計算第一相機之第一相機位移向量；根據第一相機位移向量以及第一相機旋轉量獲得第一影像以及第二影像的深度資訊；以及根據第一相機獲得的影像以及深度資訊進行三維影像重建。

Description

三維影像重建方法、裝置及其非暫態電腦可讀取儲存媒體
本發明是有關於三維影像重建技術，且特別是有關於一種三維影像重建方法、裝置及其非暫態電腦可讀取儲存媒體。
近年來，虛擬實境技術廣泛地被應用在例如遊戲、工程及軍事的領域。為了體驗虛擬實境的環境，使用者需要透過設置於例如，但不限於頭戴裝置上的顯示裝置來觀看顯示畫面。所顯示的畫面可由頭戴裝置上設置的相機產生。然而，如果由相機擷取的畫面的深度資訊或是相機的間距是未知的，則無法由相機擷取的畫面進行精確的三維影像重建。在此情形下，使用者將無法準確地體驗三維虛擬影像的環境。
因此，如何設計一個新的三維影像重建方法、裝置及其非暫態電腦可讀取儲存媒體，以克服上述的缺失， 乃為此一業界亟待解決的問題。
本發明之目的在於提供一種三維(three dimensional；3D)影像重建方法，應用於三維影像重建裝置中，三維影像重建方法包含下列步驟。由設置於頭戴裝置(head mounted device；HMD)的訊號接收器，於第一時間點以及第二時間點接收複數個定位訊號，以根據定位訊號判斷頭戴裝置位移向量以及頭戴裝置旋轉量；由設置於頭戴裝置的第一相機於第一時間點擷取第一影像以及於第二時間點擷取第二影像，以根據第一影像以及第二影像判斷第一相機旋轉量；計算頭戴裝置以及第一相機間的相對旋轉量以及相對位移向量；根據頭戴裝置位移向量、頭戴裝置旋轉量、相對旋轉量以及相對位移向量計算第一相機之第一相機位移向量；根據第一相機位移向量以及第一相機旋轉量獲得第一影像以及第二影像的深度資訊；以及根據第一相機獲得的影像以及深度資訊進行三維影像重建。
本發明之另一目的在於提供一種三維影像重建裝置，應用於頭戴裝置中，三維影像重建裝置包含：儲存模組、訊號接收器、第一相機以及處理模組。儲存模組配置以儲存複數個電腦可執行指令。處理模組電性耦接於儲存模組、訊號接收器以及第一相機，並配置以擷取並執行電腦可執行指令，以在電腦可執行指令被執行時執行三維影像重建方法，其中三維影像重建方法包含下列步驟。由設置於頭戴裝置的訊號接收 器，於第一時間點以及第二時間點接收複數個定位訊號，以根據定位訊號判斷頭戴裝置位移向量以及頭戴裝置旋轉量；由設置於頭戴裝置的第一相機於第一時間點擷取第一影像以及於第二時間點擷取第二影像，以根據第一影像以及第二影像判斷第一相機旋轉量；計算頭戴裝置以及第一相機間的相對旋轉量以及相對位移向量；根據頭戴裝置位移向量、頭戴裝置旋轉量、相對旋轉量以及相對位移向量計算第一相機之第一相機位移向量；根據第一相機位移向量以及第一相機旋轉量獲得第一影像以及第二影像的深度資訊；以及根據第一相機獲得的影像以及深度資訊進行三維影像重建。
本發明之又一目的在於提供一種非暫態(non-transitory)電腦可讀取儲存媒體，配置以儲存包含複數電腦可執行指令的一電腦程式，用以執行應用在頭戴裝置的三維影像重建裝置中的三維影像重建方法，三維影像重建裝置至少包含儲存模組、訊號接收器、第一相機以及電性耦接於儲存模組、訊號接收器以及第一相機並配置以擷取並執行電腦可執行指令，以在電腦可執行指令被執行時執行三維影像重建方法的處理模組，三維影像重建方法包含下列步驟。由設置於頭戴裝置的訊號接收器，於第一時間點以及第二時間點接收複數個定位訊號，以根據定位訊號判斷頭戴裝置位移向量以及頭戴裝置旋轉量；由設置於頭戴裝置的第一相機於第一時間點擷取第一影像以及於第二時間點擷取第二影像，以根據第一影像以及第二影像判斷第一相機旋轉量；計算頭戴裝置以及第一相機間的相對旋轉量以及相對位 移向量；根據頭戴裝置位移向量、頭戴裝置旋轉量、相對旋轉量以及相對位移向量計算第一相機之第一相機位移向量；根據第一相機位移向量以及第一相機旋轉量獲得第一影像以及第二影像的深度資訊；以及根據第一相機獲得的影像以及深度資訊進行三維影像重建。
本發明的三維影像重建方法、裝置及其非暫態電腦可讀取儲存媒體可根據訊號接收器所接收的定位訊號的資訊以及第一相機所擷取的影像建立深度資訊。因此，三維影像可根據精確的深度資訊進行重建。
1‧‧‧三維影像重建裝置
10‧‧‧儲存模組
100‧‧‧電腦可執行指令
12‧‧‧訊號接收器
14‧‧‧第一相機
16‧‧‧處理模組
18‧‧‧定位裝置
181‧‧‧定位訊號
200‧‧‧三維影像重建方法
201-206‧‧‧步驟
30‧‧‧頭戴裝置
4‧‧‧三維影像重建裝置
42‧‧‧第二相機
50‧‧‧頭戴裝置
D‧‧‧距離
I1‧‧‧第一影像
I2‧‧‧第二影像
P1‧‧‧第一位置
P2‧‧‧第二位置
P3‧‧‧暫時位置
R0‧‧‧頭戴裝置旋轉量
R1‧‧‧第一相機旋轉量
R2‧‧‧相對旋轉量
t0‧‧‧頭戴裝置位移向量
t1‧‧‧第一相機位移向量
t2‧‧‧相對位移向量
t3‧‧‧位移向量
第1圖為本發明一實施例中，一種三維影像重建裝置的方塊圖；第2圖為本發明一實施例中，一種三維影像重建方法的流程圖；第3A圖為本發明一實施例中，三維影像重建裝置所位於的頭戴裝置的動向以及第一相機的動向的示意圖；第3B圖為本發明一實施例中，在未繪示頭戴裝置的情形下，第3A圖的第一相機的分解動向的示意圖；第4圖為本發明一實施例中，三維影像重建裝置的方塊圖；以及第5圖為本發明一實施例中，三維影像重建裝置所位於的頭戴裝置的動向的示意圖。
以下請參照本發明的實施例，其範例將搭配圖式進行說明。在以下的圖式及描述中，相同的參照標號將指稱相同或類似的元件。
請參照第1圖。第1圖為本發明一實施例中，一種三維影像重建裝置1的方塊圖。於一實施例中，三維影像重建裝置1應用於頭戴裝置(未繪示於第1圖中)中。更詳細地說，三維影像重建裝置1的各元件是設置在頭戴裝置的不同位置上。
三維影像重建裝置1包含儲存模組10、訊號接收器12、第一相機14以及處理模組16。
於一實施例中，儲存模組10可為例如，但不限於光碟、隨機存取記憶體、唯讀記憶體、軟碟、硬碟或光學磁片。儲存模組10配置以儲存複數電腦可執行指令100。
訊號接收器12設置於頭戴裝置上，並配置以自複數個定位裝置18接收複數個定位訊號181。於一實施例中，定位裝置18是例如信號燈塔，並藉由例如但不限於電磁波或超音波的形式發送定位訊號181。因此，藉由持續接收定位訊號181，可判斷頭戴裝置的動向。
第一相機14配置以接收對應不同時間點的影像。於一實施例中，第一相機14是包含電荷耦合元件(charge coupled device；CCD)或是互補式金氧半導體(complementary metal oxide semiconductor；CMOS) 的影像感測器的相機。
處理模組16電性耦接於儲存模組10、訊號接收器12以及第一相機14。於一實施例中，處理模組16配置以擷取並執行電腦可執行指令100，並據以三維影像重建裝置1的功能。
更詳細地說，藉由接收來自第一相機14的影像，處理模組16可據以執行三維影像重建。
請同時參照第2圖、第3A圖及第3B圖。三維影像重建裝置1的功能將搭配第2圖、第3A圖及第3B圖，在下面的段落中詳細描述。
第2圖為本發明一實施例中，一種三維影像重建方法200的流程圖。三維影像重建方法200可應用於第1圖所繪示的三維影像重建裝置1中。
第3A圖為本發明一實施例中，三維影像重建裝置1所位於的頭戴裝置30的動向以及第一相機14的動向的示意圖。如上所述，第一相機14亦設置於頭戴裝置30上。
第3B圖為本發明一實施例中，在未繪示頭戴裝置30的情形下，第3A圖的第一相機14的分解動向的示意圖。
三維影像重建方法200包含下列步驟(應瞭解到，在本實施方式中所提及的步驟，除特別敘明其順序者外，均可依實際需要調整其前後順序，甚至可同時或部分同時執行)。
於步驟201，由訊號接收器12於第一時間點以及第二時間點自定位裝置18接收定位訊號181，以根據定位訊 號181判斷頭戴裝置位移向量t0以及頭戴裝置旋轉量R0。
於一實施例中，訊號接收器12可包含多個接收單元(未繪示)，設置於頭戴裝置30上。仔細來說，頭戴裝置座標系統的移動向量和旋轉量係由一些提供接收單元所接收的定位訊號之演算法所決定。一般來說，所述演算法為解決多點透視法(perspective-n-points)之運算。
當頭戴裝置30如第3A圖所示，自對應於第一時間點的第一位置P1移動至對應於第二時間點的第二位置P2時，頭戴裝置30的動向可由訊號接收器12根據定位訊號181判斷，其中動向可表示為頭戴裝置位移向量t0以及頭戴裝置旋轉量R0。於一實施例中，頭戴裝置位移向量t0為三維向量，而頭戴裝置旋轉量R0可表示為三維旋轉量、四元數(quaternion)或旋轉矩陣。
於步驟202，由第一相機14於第一時間點擷取第一影像I1以及於第二時間點擷取第二影像I2，以根據第一影像I1以及第二影像I2判斷第一相機旋轉量R1。
於一實施例中，第一相機旋轉量R1可根據第一影像I1以及第二影像I2，使用與對極幾何(epipolar geometry)相關的已知演算法來獲得。舉例而言，藉由計算第一影像I1以及第二影像I2間的物體的方向差異即可得知第一相機旋轉量R1。
於步驟203，計算頭戴裝置30以及第一相機14間的相對旋轉量R2以及相對位移向量t2。更詳細地說，相對旋轉量R2以及相對位移向量t2可藉由歐幾里得轉換矩陣來 計算。
於一實施例中，雖然第一相機14也設置於頭戴裝置30上，但是第一相機14的位置與方向都與由接收單元的位置分布所決定的頭戴裝置30座標系統的位置與方向不同。因此，第一相機14與頭戴裝置30間將具有相對位移向量t2以及相對旋轉量R2。
於一實施例中，頭戴裝置30在第一時間點(亦即當頭戴裝置30位於第一位置P1時)的頭戴裝置方向到第一相機14在第二時間點(亦即當頭戴裝置30位於第二位置P2時)的相機方向間的動向，相當於第一路徑以及第二路徑。其中第一路徑是將第一時間點的頭戴裝置方向先以頭戴裝置旋轉量R0進行旋轉後再以相對旋轉量R2進行旋轉的結果。第二路徑是將頭戴裝置30在第一時間點的頭戴裝置方向先以相對旋轉量R2進行旋轉再以第一相機旋轉量R1進行旋轉的結果。
藉由使用歐幾里得轉換矩陣描述第一路徑及第二路徑，上述的關係可表示為：
(式1)的右側表示將XHMD(在頭戴裝置座標系統上的X點的座標)從第一時間點的頭戴裝置座標系統轉換到第一時間點的第一相機14的相機座標系統後，再轉換至第二時間點的第一相機14的相機座標系統。(式1)的左側表示將XHMD從第一時間點的頭戴裝置座標系統轉換到第 二時間點的頭戴裝置座標系統後，再轉換至第二時間點的第一相機14的相機座標系統。
由上可知，(式1)對任何三維空間中的XHMD都成立。因此，(式1)兩側的歐幾里得轉換矩陣將彼此相等。亦即：
在(式1)兩側分別將矩陣相乘後，將得到：
將(式3)兩側矩陣的元素(entry)相等後，可得到：R2R0=R1R2 (式4)
-R2R0t0-R2t2=-R1R2t2-R1t1 (式5)
因此，由於頭戴裝置旋轉量R0以及第一相機旋轉量R1為已知，相對旋轉量R2可由譜分解(spectral decomposition)法以及數值最佳化(numerical optimization)，自(式4)解出。
於一實施例中，頭戴裝置30在第一時間點以及第二時間點間的頭戴裝置動向是分解為對應於頭戴裝置位移向量t0的頭戴裝置位移以及對應於頭戴裝置旋轉量R0的頭戴裝置旋轉。
類似地，第一相機14在第一時間點以及第二時間點間的相機動向，可分解為移動至暫時位置P3且相當於頭戴裝置位移向量t0的第一位移以及對應於位移向量t3的第二位移，如第3B圖所示。
更進一步地，如第3B圖所示，當第一相機14以及頭戴裝置30均根據頭戴裝置位移向量t0位移而沒有旋轉時，第一相機14以及頭戴裝置30之間在此情形下的位移向量為t2。當第一相機14以及頭戴裝置30均位移並旋轉至對應於第二時間點的位置時，第一相機14以及頭戴裝置30間的位移向量可表示為在沒有旋轉的第二時間點之頭戴裝置座標系統的R0 -1t2。
上述位移向量可表示為R0 -1t2的原因在於，由「在第二時間點旋轉後的頭戴裝置座標系統」到「在第二時間點旋轉前的頭戴裝置座標系統」的關係是R0 -1(R0的反矩陣)。更進一步地，在第一相機14以及頭戴裝置30間的位移向量在「在第二時間點旋轉後的頭戴裝置座標系統」是表示為t2(如果第一相機14以及頭戴裝置30間的相對位置並未隨著位移及旋轉而改變)。因此第一相機14以及頭戴裝置30間的位移向量在由「在第二時間點旋轉前的頭戴裝置座標系統」轉換至「在第二時間點旋轉後的相機座標系統」後，是「在第二時間點旋轉後的頭戴裝置座標系統」中表示為R0 -1t2。
更進一步地，位移向量t3可在「在第一時間點的頭戴裝置座標系統」中表示為R0 -1t2-t2。也就是說，在第一時間點的頭戴裝置座標統和在第二時間點沒有旋轉時的頭戴裝置座標系統相同，因此在這兩個不同時間點的座標向量有相同的座標表示方式。
因此，位移向量t0(第一相機14由第一時間點 的位置位移至第三位置P3的向量)以及位移向量t3(第一相機14由第三位置P3位移至第二時間點的位置的向量)的和，相當於第一相機位移向量t1。其中，上述的關係可表示為：t1=t0+t3 (式6)
更進一步地，位移向量t2(頭戴裝置30由第二時間點的位置在無旋轉下位移至第三位置P3的向量)以及位移向量t3(由第三位置P3位移至第一相機14在第二時間點的位置的向量)的和，相當於位移向量R0 -1t2。其中，上述的關係可表示為：R0 -1t2=t2+t3 (式7)
藉由(式6)與(式7)，公式可進一步表示為：t1=t0+t3=t0+R0 -1t2-t2 (式8)
然而，在(式6)及(式8)中的第一相機位移向量t1，實際上是相對「在第一時間點的頭戴裝置座標系統」所敘述。當第一相機位移向量t1要相對「在第一時間點的相機座標系統」所敘述時，需要在(式8)中納入旋轉量R2：t1=R2(t0+R0 -1t2-t2) (式9)
藉由將(式9)代入(式5)，可得到下面的結果：-R2R0t0-R2t2=-R1R2t2-R1R2(t0+R0 -1t2-t2) (式10)
在重新排列(式10)後，可得到下面的結果：(R2-R1R2R0 -1)t2=-R2R0t0+R1R2t0 (式11)
利用(式11)即可解出相對位移向量t2。
於步驟204，根據頭戴裝置位移向量t0、頭戴裝置旋轉量R0、相對旋轉量R2以及相對位移向量t2計算第一相機14之第一相機位移向量t1。
更詳細地說，藉由將相對位移向量t2帶回(式9)，即可獲得第一相機位移向量t1。
於步驟205，根據第一相機位移向量t1以及第一相機旋轉量R1獲得第一影像I1以及第二影像I2的深度資訊。
更詳細地說，由於已獲得第一相機位移向量t1以及第一相機旋轉量R1，因此可進一步判斷第一影像I1以及第二影像I2中的物體在兩個影像間的真實移動距離。因此，第一影像I1以及第二影像I2的深度資訊將可隨之獲得。
於步驟206，根據第一相機14獲得的影像，例如第一影像I1以及第二影像I2，以及深度資訊進行三維影像重建。
在部分技術中，需要額外已知尺寸的物體出現在相機所拍攝到的影像中，才能使三維影像重建裝置獲得深度資訊。然而，當這樣的物體並未存在，或是這樣的物體變形時，將使三維影像重建裝置無法獲得精準的深度資訊，而無法進行精確的三維影像重建。
本發明的三維影像重建裝置1及三維影像重建方法200可根據訊號接收器12所接收的定位訊號181的資訊以及第一相機14所擷取的影像，建立深度資訊。因此， 三維影像可根據精確的深度資訊進行重建。
須注意的是，上述的實施例中是使用單一相機的情境做為範例進行說明。在其他實施例中，上述的方法亦可應用於多相機的情境中。
請同時參照第4圖及第5圖。第4圖為本發明一實施例中，三維影像重建裝置4的方塊圖。第5圖為本發明一實施例中，三維影像重建裝置4所位於的頭戴裝置50的動向的示意圖。
第4圖的三維影像重建裝置4包含與第1圖的三維影像重建裝置1相同的元件。因此，此些相同的元件將不再此贅述。然而，三維影像重建裝置4更進一步包含第二相機42。
如第5圖所示，第一相機14和第二相機42均設置於頭戴裝置50上。於一實施例中，第一相機14為左相機，第二相機42為右相機。然而，在其他實施例中，第一相機14可為右相機，第二相機42可為左相機。
於一實施例中，深度資訊可如第5圖所示，由第一相機14獲得，或是利用第二相機42根據第2圖所示的方法獲得。
更進一步地，第一相機14和第二相機42可在同一時間點擷取第三影像I3以及第四影像I4。第三影像I3以及第四影像I4間的視差(disparity)可據以判斷。
因此，第一相機14和第二相機42間的相機距離(baseline)，例如第5圖所示第一相機14和第二相機42 間的距離D，可根據視差以及深度資訊判斷。三維影像重建裝置4的雙相機間的相機距離校正可因而達成。
須注意的是，在部分實施例中，三維影像重建方法200可由電腦應用程式實作。當電腦應用程式由電腦、電子裝置或是第1圖繪示的處理模組16執行時，此執行裝置將執行三維影像重建方法。電腦應用程式可儲存於非暫態的電腦可讀取儲存媒體例如唯讀記憶體、快閃記憶體、軟碟、硬碟、光學碟片、快閃碟片、快閃硬碟、磁帶、可由網路存取的資料庫或任何在屬於本揭露書的範圍中，可由本領域熟知此技藝者所使用具有類似功能的儲存媒體中。
以上所述僅為本發明的較佳實施例而已，並不用以限制本發明，凡在本發明的原則之內所作的任何修改，等同替換和改進等均應包含本發明的保護範圍之內。

Claims (10)

  1. 一種三維(three dimensional；3D)影像重建方法，應用於一三維影像重建裝置中，該三維影像重建方法包含：由設置於一頭戴裝置(head mounted device；HMD)的一訊號接收器，於一第一時間點以及一第二時間點接收複數個定位訊號，以根據該等定位訊號判斷一頭戴裝置位移向量以及一頭戴裝置旋轉量；由設置於該頭戴裝置的一第一相機於該第一時間點擷取一第一影像以及於該第二時間點擷取一第二影像，以根據該第一影像以及該第二影像判斷一第一相機旋轉量；計算該頭戴裝置以及該第一相機間的一相對旋轉量以及一相對位移向量；根據該頭戴裝置位移向量、該頭戴裝置旋轉量、該相對旋轉量以及該相對位移向量計算該第一相機之一第一相機位移向量；根據該第一相機位移向量以及該第一相機旋轉量獲得該第一影像以及該第二影像的一深度資訊；以及根據該第一相機獲得的影像以及該深度資訊進行三維影像重建。
  2. 如請求項1所述的三維影像重建方法，其中該頭戴裝置旋轉量以及該第一相機旋轉量表示為一三維旋轉量、一四元數(quaternion)或一旋轉矩陣。
  3. 如請求項1所述的三維影像重建方法，更包含：在相同的時間點由該第一相機擷取一第三影像以及由設置於該頭戴裝置之一第二相機擷取一第四影像；判斷該第三影像以及該第四影像間的一視差(disparity)；以及根據該視差以及該深度資訊判斷該第一相機以及該第二相機間的一相機距離(baseline)。
  4. 如請求項1所述的三維影像重建方法，其中該頭戴裝置於該第一時間點的一頭戴裝置方向與該第一相機在該第二時間點的一相機方向之間的一動向，相當於透過一第一路徑以及一第二路徑完成，該第一路徑為將該頭戴裝置在該第一時間點的一頭戴裝置方向先以該頭戴裝置旋轉量進行旋轉後再以該相對旋轉量進行旋轉的結果，該第二路徑為將該頭戴裝置在該第一時間點的該頭戴裝置方向先以該相對旋轉量進行旋轉再以該第一相機旋轉量進行旋轉的結果。
  5. 如請求項4所述的三維影像重建方法，其中計算該相對旋轉量之步驟更包含：採用歐幾里得(Euclidean)轉換矩陣描述該第一路徑以及該第二路徑，以得到一等式；以及 藉由解開該等式計算該相對旋轉量。
  6. 如請求項5所述的三維影像重建方法，其中該頭戴裝置在該第一時間點以及該第二時間點間的一頭戴裝置動向是分解為對應於該頭戴裝置位移向量的一頭戴裝置位移以及對應於該頭戴裝置旋轉量的一頭戴裝置旋轉，計算該相對位移向量的步驟更包含：將該第一相機在該第一時間點以及該第二時間點間的一相機動向分解為相當於該頭戴裝置位移向量並位移至一暫時位置的一第一位移以及對應於一位移向量的一第二位移；以及根據該相對旋轉量、該相對位移向量、該頭戴裝置位移向量以及該頭戴裝置旋轉量的關係計算該相對位移向量。
  7. 一種三維影像重建裝置，應用於一頭戴裝置中，該三維影像重建裝置包含：一儲存模組，配置以儲存複數個電腦可執行指令；一訊號接收器；一第一相機；以及一處理模組，電性耦接於該儲存模組、該訊號接收器以及該第一相機，並配置以擷取並執行該等電腦可執行指令，以在該等電腦可執行指令被執行時執行一三維影像重建方法，其中該三維影像重建方法包含： 由設置於該頭戴裝置的該訊號接收器，於一第一時間點以及一第二時間點自具有已知位置的複數個定位裝置接收複數個定位訊號，以根據該等定位訊號判斷一頭戴裝置位移向量以及一頭戴裝置旋轉量；由設置於該頭戴裝置的該第一相機於該第一時間點擷取一第一影像以及於該第二時間點擷取一第二影像，以根據該第一影像以及該第二影像判斷一第一相機旋轉量；計算該頭戴裝置以及該第一相機間的一相對旋轉量以及一相對位移向量；根據該頭戴裝置位移向量、該頭戴裝置旋轉量、該相對旋轉量以及該相對位移向量計算該第一相機之一第一相機位移向量；根據該第一相機位移向量以及該第一相機旋轉量獲得該第一影像以及該第二影像的一深度資訊；以及根據該第一相機獲得的影像以及該深度資訊進行三維影像重建。
  8. 如請求項7所述的三維影像重建裝置，該頭戴裝置於該第一時間點的一頭戴裝置方向與該第一相機在該第二時間點的一相機方向之間的一動向，相當於透過一第一路徑以及一第二路徑完成，該第一路徑為將該頭戴裝置在該第一時間點的一頭戴裝置方向先以該頭戴裝置 旋轉量進行旋轉後再以該相對旋轉量進行旋轉的結果，該第二路徑為將該頭戴裝置在該第一時間點的該頭戴裝置方向先以該相對旋轉量進行旋轉再以該第一相機旋轉量進行旋轉的結果，計算該相對旋轉量之步驟更包含：採用歐幾里得轉換矩陣描述該第一路徑以及該第二路徑，以得到一等式；以及藉由解開該等式計算該相對旋轉量。
  9. 如請求項8所述的三維影像重建裝置，其中該頭戴裝置在該第一時間點以及該第二時間點間的一頭戴裝置動向是分解為對應於該頭戴裝置位移向量的一頭戴裝置位移以及對應於該頭戴裝置旋轉量的一頭戴裝置旋轉，計算該相對位移向量的步驟更包含：將該第一相機在該第一時間點以及該第二時間點間的一相機動向分解為相當於該頭戴裝置位移向量並位移至一暫時位置的一第一位移以及對應於一位移向量的一第二位移；以及根據該相對旋轉量、該相對位移向量、該頭戴裝置位移向量以及該頭戴裝置旋轉量的關係計算該相對位移向量。
  10. 一種非暫態(non-transitory)電腦可讀取儲存媒體，配置以儲存包含複數電腦可執行指令的一電腦程式，用以執行應用在一頭戴裝置的一三維影像重建裝 置中的一三維影像重建方法，該三維影像重建裝置至少包含一儲存模組、一訊號接收器、一第一相機以及電性耦接於該儲存模組、該訊號接收器以及該第一相機並配置以擷取並執行該等電腦可執行指令，以在該等電腦可執行指令被執行時執行該三維影像重建方法的一處理模組，該三維影像重建方法包含：由設置於該頭戴裝置的該訊號接收器，於一第一時間點以及一第二時間點自具有已知位置的複數個定位裝置接收複數個定位訊號，以根據該等定位訊號判斷一頭戴裝置位移向量以及一頭戴裝置旋轉量；由設置於該頭戴裝置的該第一相機於該第一時間點擷取一第一影像以及於該第二時間點擷取一第二影像，以根據該第一影像以及該第二影像判斷一第一相機旋轉量；計算該頭戴裝置以及該第一相機間的一相對旋轉量以及一相對位移向量；根據該頭戴裝置位移向量、該頭戴裝置旋轉量、該相對旋轉量以及該相對位移向量計算該第一相機之一第一相機位移向量；根據該第一相機位移向量以及該第一相機旋轉量獲得該第一影像以及該第二影像的一深度資訊；以及根據該第一相機獲得的影像以及該深度資訊進行三維影像重建。
TW107132123A 2017-09-12 2018-09-12 三維影像重建方法、裝置及其非暫態電腦可讀取儲存媒體 TWI669683B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762557738P 2017-09-12 2017-09-12
US62/557,738 2017-09-12

Publications (2)

Publication Number Publication Date
TW201913575A TW201913575A (zh) 2019-04-01
TWI669683B true TWI669683B (zh) 2019-08-21

Family

ID=63592551

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107132123A TWI669683B (zh) 2017-09-12 2018-09-12 三維影像重建方法、裝置及其非暫態電腦可讀取儲存媒體

Country Status (4)

Country Link
US (1) US10742952B2 (zh)
EP (1) EP3454300A1 (zh)
CN (1) CN109495733B (zh)
TW (1) TWI669683B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11039118B2 (en) 2019-04-17 2021-06-15 XRSpace CO., LTD. Interactive image processing system using infrared cameras
US10885671B2 (en) 2019-04-17 2021-01-05 XRSpace CO., LTD. Method, apparatus, and non-transitory computer-readable medium for interactive image processing using depth engine and digital signal processor
TWI696980B (zh) * 2019-04-26 2020-06-21 未來市股份有限公司 使用深度引擎和數位訊號處理器的互動影像處理方法、裝置及媒體
TWI696149B (zh) * 2019-04-26 2020-06-11 未來市股份有限公司 使用深度引擎的互動影像處理方法、裝置及媒體

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080297437A1 (en) * 2007-05-31 2008-12-04 Canon Kabushiki Kaisha Head mounted display and control method therefor
TW201527683A (zh) * 2013-10-29 2015-07-16 Microsoft Corp 混合真實性聚光燈
TW201621557A (zh) * 2014-12-04 2016-06-16 宏達國際電子股份有限公司 虛擬實境系統
TW201633104A (zh) * 2015-03-06 2016-09-16 新力電腦娛樂股份有限公司 頭戴顯示器之追蹤系統
US20170148206A1 (en) * 2015-11-20 2017-05-25 Google Inc. Electronic display stabilization using pixel velocities
TW201721231A (zh) * 2015-12-14 2017-06-16 技嘉科技股份有限公司 可攜式虛擬實境系統
CN106980368A (zh) * 2017-02-28 2017-07-25 深圳市未来感知科技有限公司 一种基于视觉计算及惯性测量单元的虚拟现实交互设备
CN107037880A (zh) * 2017-03-02 2017-08-11 深圳前海极客船长网络科技有限公司 基于虚拟现实技术的空间定位定姿系统及其方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9344612B2 (en) * 2006-02-15 2016-05-17 Kenneth Ira Ritchey Non-interference field-of-view support apparatus for a panoramic facial sensor
JP4810295B2 (ja) * 2006-05-02 2011-11-09 キヤノン株式会社 情報処理装置及びその制御方法、画像処理装置、プログラム、記憶媒体
JP5247590B2 (ja) * 2009-05-21 2013-07-24 キヤノン株式会社 情報処理装置及びキャリブレーション処理方法
KR20130000401A (ko) * 2010-02-28 2013-01-02 오스터하우트 그룹 인코포레이티드 대화형 머리­장착식 아이피스 상의 지역 광고 컨텐츠
CN103380625A (zh) * 2011-06-16 2013-10-30 松下电器产业株式会社 头戴式显示器及其位置偏差调整方法
WO2013069050A1 (ja) * 2011-11-07 2013-05-16 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
JP5659304B2 (ja) * 2011-11-07 2015-01-28 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
US9041741B2 (en) * 2013-03-14 2015-05-26 Qualcomm Incorporated User interface for a head mounted display
US9256987B2 (en) * 2013-06-24 2016-02-09 Microsoft Technology Licensing, Llc Tracking head movement when wearing mobile device
CN104424630A (zh) * 2013-08-20 2015-03-18 华为技术有限公司 三维重建方法及装置、移动终端
KR20150049535A (ko) * 2013-10-30 2015-05-08 삼성전자주식회사 전자장치 및 그 이용방법
TWI534755B (zh) * 2013-11-20 2016-05-21 財團法人資訊工業策進會 三維立體模型之建立方法和裝置
JP6600945B2 (ja) * 2015-01-20 2019-11-06 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
CN105138135B (zh) * 2015-09-15 2018-08-28 北京国承万通信息科技有限公司 头戴式虚拟现实设备及虚拟现实系统
CN106934827A (zh) * 2015-12-31 2017-07-07 杭州华为数字技术有限公司 三维场景的重建方法和装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080297437A1 (en) * 2007-05-31 2008-12-04 Canon Kabushiki Kaisha Head mounted display and control method therefor
TW201527683A (zh) * 2013-10-29 2015-07-16 Microsoft Corp 混合真實性聚光燈
TW201621557A (zh) * 2014-12-04 2016-06-16 宏達國際電子股份有限公司 虛擬實境系統
TW201633104A (zh) * 2015-03-06 2016-09-16 新力電腦娛樂股份有限公司 頭戴顯示器之追蹤系統
US20170148206A1 (en) * 2015-11-20 2017-05-25 Google Inc. Electronic display stabilization using pixel velocities
TW201721231A (zh) * 2015-12-14 2017-06-16 技嘉科技股份有限公司 可攜式虛擬實境系統
CN106980368A (zh) * 2017-02-28 2017-07-25 深圳市未来感知科技有限公司 一种基于视觉计算及惯性测量单元的虚拟现实交互设备
CN107037880A (zh) * 2017-03-02 2017-08-11 深圳前海极客船长网络科技有限公司 基于虚拟现实技术的空间定位定姿系统及其方法

Also Published As

Publication number Publication date
EP3454300A1 (en) 2019-03-13
US10742952B2 (en) 2020-08-11
TW201913575A (zh) 2019-04-01
CN109495733A (zh) 2019-03-19
US20190098279A1 (en) 2019-03-28
CN109495733B (zh) 2020-11-06

Similar Documents

Publication Publication Date Title
TWI669683B (zh) 三維影像重建方法、裝置及其非暫態電腦可讀取儲存媒體
CN110264509B (zh) 确定图像捕捉设备的位姿的方法、装置及其存储介质
US10116867B2 (en) Method and apparatus for displaying a light field based image on a user's device, and corresponding computer program product
CN113874870A (zh) 基于图像的定位
US10063792B1 (en) Formatting stitched panoramic frames for transmission
US20120162220A1 (en) Three-dimensional model creation system
TWI738196B (zh) 一種圖像深度估計方法、電子設備、儲存介質
US11044398B2 (en) Panoramic light field capture, processing, and display
US20150310620A1 (en) Structured stereo
CN108028904B (zh) 移动设备上光场增强现实/虚拟现实的方法和系统
JP7204021B2 (ja) 画像の鮮鋭レベルを表わす位置合わせ誤差マップを得るための装置および方法
WO2021104308A1 (zh) 全景深度测量方法、四目鱼眼相机及双目鱼眼相机
CN116170689A (zh) 视频生成方法、装置、计算机设备和存储介质
JP6306996B2 (ja) 映像データ処理方法、映像データ処理装置及び映像データ処理プログラム
KR20220121533A (ko) 어레이 카메라를 통해 획득된 영상을 복원하는 영상 복원 방법 및 영상 복원 장치
WO2019104453A1 (zh) 图像处理方法和装置
JP2009186287A (ja) 平面パラメータ推定装置、平面パラメータ推定方法及び平面パラメータ推定プログラム
KR102209907B1 (ko) 시점 변환을 이용하는 360도 영상 저장 방법 및 렌더링 방법
WO2020146965A1 (zh) 图像重新聚焦的控制方法及系统
CN108475421A (zh) 用于产生表示像素光束的数据的方法和装置
KR20200057929A (ko) 캘리브레이트된 카메라들에 의해 캡쳐된 스테레오 영상들의 렉티피케이션 방법과 컴퓨터 프로그램
JP2015005200A (ja) 情報処理装置、情報処理システム、情報処理方法、プログラムおよび記憶媒体
KR20200019361A (ko) 3차원 얼굴 인식을 위한 장치 및 방법
JP6071142B2 (ja) 画像変換装置
WO2021100681A1 (ja) 三次元モデル生成方法及び三次元モデル生成装置