TWI572846B

TWI572846B - 全景影像三維深度估測系統及全景影像三維深度估測方法

Info

Publication number: TWI572846B
Application number: TW104131075A
Authority: TW
Inventors: 林昇甫; 劉欣宜; 廖姣柔
Original assignee: 國立交通大學
Priority date: 2015-09-18
Filing date: 2015-09-18
Publication date: 2017-03-01
Also published as: TW201712298A

Description

全景影像三維深度估測系統及全景影像三維深度估測方法

本發明是有關於一種三維深度估測技術，且特別是有關於一種全景影像三維深度估測系統及全景影像三維深度估測方法。

隨著影像感測技術的演進，發展出一種由曲面鏡及單眼攝影機所組成的反射折射式攝影機(catadioptric camera)，或謂全景攝影機(omni-directional camera)。一般來說，全景攝影機可擁有廣泛的全方位視野，且可在第一時間擷取周遭環景影像。因此，全景攝影機經常被應用於電腦視覺的許多領域，其中在機器人視覺導航定位、自走車避障以及警示、視覺測距、三維環境建模等應用面上，運用全景攝影機做三維深度估測取得全方位環境深度資訊已成為近年來熱門的研究議題。

然而，由於全景攝影機的相機模型較為複雜，且所拍攝的全景影像會有扭曲失真以及解析度較低的問題。因此，當採用兩台平行架設的全景攝影機來進行三維深度估測時，深度估測誤差率會隨著估測距離的增加而急遽升高。除此之外，當待測物越接近兩台全景攝影機之間的基準線時，深度估測準確度也會越低，故而呈現不均勻的估測效能。因此，如何取得精準度較高的全景攝影機的參數以改善上述估測效能區域不均的問題，且提高全景影像三維深度估測系統在較遠的估測範圍的準確度，乃是本技術領域相當重要的課題。

有鑑於此，本發明提供一種全景影像三維深度估測系統以及全景影像三維深度估測方法，可根據每一台全景攝影機的投影模型取得三維深度估測所需的多個校正參數，並根據每一台全景攝影機的多組離散資料來進行運算並擬合出多條補償曲線，以對每一台全景攝影機的此些校正參數進行補償。如此一來，可得到高準確度的全景攝影機的校正參數，從而改善全景攝影機影像扭曲失真以及解析度較低的缺點，並可提升全景影像三維深度估測系統在較遠的估測範圍的準確度。

本發明的全景影像三維深度估測系統可包括兩個全景影像擷取裝置、校正電路以及深度估測電路。此些全景影像擷取裝置可用以擷取兩張全景影像以取得一目標點分別投影在兩個全景影像平面中的第一平面座標與第二平面座標。校正電路可耦接到此些全景影像擷取裝置，用以根據此些全景影像擷取裝置的每一者的投影模型以計算此些全景影像擷取裝置的每一者的多個校正參數，且可根據此些全景影像擷取裝置的每一者的多組離散資料來進行運算並擬合出多條補償曲線，以對此些全景影像擷取裝置的每一者的此些校正參數進行補償。深度估測電路可耦接到此些全景影像擷取裝置以及校正電路，可根據第一平面座標、第二平面座標以及此些補償曲線來計算目標點所處三維空間的空間座標。此些離散資料可包括多個實際空間座標以及多個影像座標。此些實際空間座標可分別對應於此些全景影像擷取裝置的每一者的多個方位角或多個距離。此些影像座標可分別對應於此些實際空間座標。

在本發明的一實施例中，上述的此些全景影像擷取裝置為水平架設(horizontally-aligned)且彼此平行。此些全景影像擷取裝置之間的基準線(baseline)的長度介於38公分至150公分之間，且目標點與此些全景影像擷取裝置的距離小於10公尺。

在本發明的一實施例中，上述的此些全景影像擷取裝置的每一者的此些校正參數包括影像中心座標以及鏡面參數。影像中心座標位於全景影像擷取裝置的雙曲面鏡的焦點與全景影像擷取裝置的攝影機投影中心所形成的直線與該些全景影像平面的對應者的交點。鏡面參數為，其中ε為全景影像擷取裝置的雙曲面鏡的離心率(eccentricity)。

在本發明的一實施例中，上述的校正電路根據此些全景影像擷取裝置的每一者取得此些離散資料中的i組第一離散資料，其中i組第一離散資料的每一者包括參考物的第一實際空間座標(X _i ,Y _i ,Z _i)以及投影至全景影像平面的對應的第一影像座標(U _i ,V _i)，其中i為大於1的正整數。校正電路可根據第一實際空間座標(X _i ,Y _i ,Z _i)計算實際方位角，且可根據對應的第一影像座標(U _i ,V _i)計算未補償離散方位角。校正電路可計算實際方位角θ _i與未補償離散方位角θ _i ^'的差值以作為補償角度值△θ，且可計算第一實際影像座標(U _i ’,V _i ’)，其中第一實際影像座標U _i ’=U _i‧cos(△θ)-V _i‧sin(△θ)，且第一實際影像座標V _i ’=U _i‧sin(△θ)+V _i‧cos(△θ)。校正電路可計算i組第一離散資料的每一者的離散座標補償量(△C _ui ,△C _vi)，其中離散座標補償量△C _ui=U _i ’-U _i-C _u，且離散座標補償量△C _vi=V _i ’-V _i-C _v，其中(C _u ,C _v)為影像中心座標。校正電路可將i組第一離散資料的每一者的未補償離散方位角θ _i ^'與離散座標補償量(△C _ui ,△C _vi)透過曲線擬合方法進行擬合，以取得全景影像擷取裝置的第一像素座標偏移量補償曲線△C _u=f ₁(θ _c)以及第二像素座標偏移量補償曲線△C _v=f ₂(θ _c)，其中(△C _u ,△C _v)為像素座標偏移補償量，且θ _c為未補償方位角。

在本發明的一實施例中，上述的校正電路可根據此些全景影像擷取裝置的每一者取得此些離散資料中的j組第二離散資料，其中j組第二離散資料的每一者包括參考物的第二實際空間座標(X _j ,Y _j ,Z _j)以及投影至全景影像平面的對應的第二影像座標(U _j ,V _j)，其中j為大於1的正整數。校正電路可根據第二實際空間座標(X _j ,Y _j ,Z _j)計算實際俯仰角α _j，其中。校正電路可根據對應的第二影像座標(U _j ,V _j)、第一像素座標偏移量補償曲線以及第二像素座標偏移量補償曲線計算補償後影像座標(U _j ’,V _j ’)。校正電路可計算補償後影像座標(U _j ’,V _j ’)與原點之間的距離以作為影像半徑。校正電路可根據全景影像擷取裝置的鏡面參數計算全景影像擷取裝置的焦距。校正電路可根據影像半徑、焦距以及實際俯仰角計算對應於影像半徑的離心率，並據以計算離散鏡面參數。校正電路可計算離散鏡面參數與鏡面參數的差值以作為離散鏡面參數補償量△ξ _j。校正電路可將j組第二離散資料的每一者的影像半徑r _j ’與離散鏡面參數補償量△ξ _j透過曲線擬合方法進行擬合，以取得全景影像擷取裝置的鏡面參數補償曲線△ξ=f ₃(r)，其中△ξ為鏡面參數補償量，且r為影像半徑。

在本發明的一實施例中，將上述的參考物相對於此些全景影像擷取裝置的每一者的距離保持不變，且調整參考物相對於此些全景影像擷取裝置的每一者的方位以取得上述i組第一離散資料。將上述的參考物相對於此些全景影像擷取裝置的每一者的方位保持不變，且調整參考物相對於此些全景影像擷取裝置的距離以取得上述j組第二離散資料。

在本發明的一實施例中，上述的此些全景影像擷取裝置包括第一全景攝影機以及第二全景攝影機。深度估測電路可根據第一平面座標、第一全景攝影機的第一像素座標偏移量補償曲線以及第一全景攝影機的第二像素座標偏移量補償曲線計算補償後第一平面座標，且可根據第二平面座標、第二全景攝影機的第一像素座標偏移量補償曲線以及第二全景攝影機的第二像素座標偏移量補償曲線計算補償後第二平面座標。深度估測電路可根據補償後第一平面座標計算影像半徑以作為第一影像半徑，可根據第一影像半徑與第一全景攝影機的鏡面參數補償曲線計算鏡面參數補償量以作為第一鏡面參數補償量，並可根據第一鏡面參數補償量與第一全景攝影機的鏡面參數計算第一全景攝影機的補償後鏡面參數。深度估測電路可根據該補償後第二平面座標計算影像半徑以作為第二影像半徑，可根據第二影像半徑與第二全景攝影機的鏡面參數補償曲線計算鏡面參數補償量以作為第二鏡面參數補償量，並可根據第二鏡面參數補償量與第二全景攝影機的鏡面參數計算第二全景攝影機的補償後鏡面參數。深度估測電路可根據補償後第一平面座標與第一全景攝影機的補償後鏡面參數計算第一方向向量，其中第一方向向量通過第一全景攝影機的雙曲面鏡的焦點以及該補償後第一平面座標投影至第一全景攝影機的雙曲面鏡上的第一面點。深度估測電路可根據補償後第二平面座標與第二全景攝影機的補償後鏡面參數計算第二方向向量，其中第二方向向量通過第二全景攝影機的雙曲面鏡的焦點以及該補償後第二平面座標投影至第二全景攝影機的雙曲面鏡上的第二面點。深度估測電路可根據三維深度估測演算法計算出第一方向向量與第二方向向量最接近處的中間點座標。深度估測電路可根據中間點座標以及第一全景攝影機與第二全景攝影機之間的基準線(baseline)的距離計算出目標點所處三維空間的空間座標。

本發明的全景影像三維深度估測方法可包括以下步驟。首先，透過兩個全景影像擷取裝置來擷取兩張全景影像以取得目標點分別投影在此些全景影像平面中的第一平面座標與第二平面座標。接著，根據此些全景影像擷取裝置的每一者的投影模型以計算此些全景影像擷取裝置的每一者的多個校正參數。之後，根據此些全景影像擷取裝置的每一者的多組離散資料來進行運算並擬合出多條補償曲線，以對此些全景影像擷取裝置的每一者的此些校正參數進行補償。最後，根據第一平面座標、第二平面座標以及此些補償曲線來計算目標點所處三維空間的空間座標。此些離散資料可包括多個實際空間座標以及多個影像座標。此些實際空間座標可分別對應於此些全景影像擷取裝置的每一者的多個方位角或多個距離。此些影像座標可分別對應於此些實際空間座標。

基於上述，本發明的全景影像三維深度估測系統以及全景影像三維深度估測方法可根據每一台全景攝影機的投影模型取得三維深度估測所需的多個校正參數，並根據每一台全景攝影機的多組離散資料來進行運算並擬合出多條補償曲線，以對每一台全景攝影機的此些校正參數進行補償。如此一來，可得到高準確度的全景攝影機的校正參數，從而改善全景攝影機影像扭曲失真以及解析度較低的缺點，並可提升全景影像三維深度估測系統在較遠的估測範圍的準確度。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

100‧‧‧全景影像三維深度估測系統

1011~1014、1021~1024‧‧‧錯誤率曲線

122、124‧‧‧全景影像擷取裝置

140‧‧‧校正電路

160‧‧‧深度估測電路

210‧‧‧雙曲面

215‧‧‧雙曲線

220、7221、7241‧‧‧雙曲面鏡

230、330‧‧‧全景影像平面

240‧‧‧攝影機

320‧‧‧球面

522、622‧‧‧全景攝影機

722‧‧‧第一全景攝影機

724‧‧‧第二全景攝影機

a、b、c‧‧‧參數

C _m、C _m1、C _m2、C _n‧‧‧焦點

CCS、x、y、z‧‧‧攝影機座標系統

C _p‧‧‧攝影機投影中心

C _u、C _v‧‧‧影像中心座標

d‧‧‧距離

d ₁、d ₂、d ₁ ’、d ₂ ’‧‧‧方向向量

D‧‧‧基準線長度

f‧‧‧焦距

ICS、u、v、u ₁、v ₁、u ₂、v ₂‧‧‧影像座標系統

L₁、L₂、L₁’、L₂’‧‧‧射線

LN_j‧‧‧距離

OB‧‧‧參考物

P _s1、P _s2、P _s1 ’、P _s2 ’‧‧‧面點

p‧‧‧參數

Q‧‧‧目標點

Q ₁ 、Q ₂ 、Q ₁ ’、Q ₂ ’、S ₁ 、S ₂‧‧‧點

Q_m、Q_m’‧‧‧目標點

q、q ₁ 、q ₂‧‧‧影像點

q ₁ ’‧‧‧補償後第一平面座標

q ₂ ’‧‧‧補償後第二平面座標

r‧‧‧影像半徑

r ₁ ’‧‧‧第一影像半徑

r ₂ ’‧‧‧第二影像半徑

r _b‧‧‧邊界

RL₁‧‧‧射線

RL₂‧‧‧反射線

S900、S910、S920、S930‧‧‧步驟

X、Y、Z‧‧‧空間座標

α、α ₁、α ₂‧‧‧俯仰角

β‧‧‧夾角

θ、θ _i、θ ₁、θ ₂‧‧‧方位角

ξ‧‧‧鏡面參數

下面的所附圖式是本發明的說明書的一部分，繪示了本發明的示例實施例，所附圖式與說明書的描述一起說明本發明的原理。

圖1是依照本發明一實施例所繪示的全景影像三維深度估測系統的架構示意圖。

圖2A是一般的雙曲面的幾何模型。

圖2B是依照本發明一實施例所繪示的全景影像擷取裝置的投影成像示意圖。

圖3是一般的球面相機模型的投影示意圖。

圖4是依據本發明實施例所繪示的雙曲面鏡與影像平面的示意圖。

圖5是依照本發明一實施例所繪示的離散資料之取得的示意圖。

圖6是依照本發明另一實施例所繪示的離散資料之取得的示意圖。

圖7是依照本發明一實施例所繪示的全景影像三維深度估測系統的三維估測示意圖。

圖8是依照本發明另一實施例所繪示的全景影像三維深度估測系統的三維估測示意圖。

圖9是依照本發明又一實施例所繪示的全景影像三維深度估測系統的三維估測示意圖。

圖10A~圖10E是依照本發明實施例所繪示的全景影像三維深度估測系統的三維深度資訊之錯誤率的分析示意圖。

圖11是依照本發明一實施例所繪示的全景影像三維深度估測方法的步驟流程圖。

現將詳細參考本發明之示範性實施例，在附圖中說明所述示範性實施例之實例。另外，凡可能之處，在圖式及實施方式中使用相同標號的元件/構件代表相同或類似部分。

以下請參照圖1，圖1是依照本發明一實施例所繪示的全景影像三維深度估測系統100的架構示意圖。全景影像三維深度估測系統100可包括兩個全景影像擷取裝置122與124、校正電路140以及深度估測電路160，但本發明並不以此為限。在本發明的其他實施例中，全景影像三維深度估測系統100也可採用兩個以上的全景影像擷取裝置來進行三維深度估測，其中，可將兩個全景影像擷取裝置設定為一組以進行一組三維深度估測，如此一來全景影像三維深度估測系統100便可進行多組三維深度估測。於圖1所示的示範性實施例中，全景影像擷取裝置122、124可用以擷取兩張具視差的全景影像以取得目標點Q分別投影在兩個全景影像平面中的兩個影像座標(下稱第一平面座標以及第二平面座標)。

在此值得一提的是，在本發明的一實施例中，全景影像擷取裝置122與124可為水平架設(horizontally-aligned)且彼此平行，全景影像擷取裝置122與124之間的基準線(baseline)的長度D可介於38公分至150公分之間，且目標點Q與全景影像擷取裝置122、124的距離小於10公尺。除此之外，在本發明的一實施例中，全景影像擷取裝置122、124可依據全景影像三維深度估測系統100的實際應用或設計需求而架設在固定架、牆壁、車體或是機器人等等之上，但本發明並不以此為限。

校正電路140可耦接到全景影像擷取裝置122、124。校正電路140可用以根據全景影像擷取裝置122的投影模型以計算全景影像擷取裝置122的多個校正參數。校正電路140可根據全景影像擷取裝置122的多組離散資料來進行運算並擬合出多條補償曲線，以對全景影像擷取裝置122的此些校正參數進行補償。同樣地，校正電路140可用以根據全景影像擷取裝置124的投影模型以計算全景影像擷取裝置124的多個校正參數。校正電路140可根據全景影像擷取裝置124的多組離散資料來進行運算並擬合出多條補償曲線，以對全景影像擷取裝置124的此些校正參數進行補償。

深度估測電路160可耦接到全景影像擷取裝置122、124以及校正電路140。深度估測電路160可根據前述第一平面座標、前述第二平面座標以及此些補償曲線來計算目標點Q所處三維空間的空間座標。

在本實施例中，全景影像擷取裝置122、124可例如是中央式(central)全景攝影機，其可由一雙曲面鏡(hyperboloidal mirror)以及一攝影機(或任何可擷取影像的電子裝置)所組成，但本發明並不以此為限。校正電路140與深度估測電路160可以是硬體、韌體或儲存在記憶體而由中央處理器(CPU)或數位信號處理器(DSP)所載入執行的軟體或機器可執行程式碼。若是採用硬體來實現，則校正電路140與深度估測電路160可以是由個別電路晶片所完成，也可以全部由單一整合電路晶片所達成，但本發明並不以此為限制。上述硬體也可以使用例如一般用途的電腦、特殊功能積體電路(ASIC)或可程式化邏輯閘陣列(FPGA)來實現。而上述記憶體可以是例如光碟、隨機存取記憶體、唯讀記憶體、快閃記憶體、軟碟、硬碟或磁性光學碟，或可於網路下載的遠端記錄媒介或非暫存式機器可讀取媒介。

以下將先針對全景影像擷取裝置(或稱全景攝影機)122、124的投影模型進行說明。請同時參照圖1、圖2A與圖2B，圖2A是一般的雙曲面的幾何模型，而圖2B是依照本發明一實施例所繪示的全景影像擷取裝置122、124的投影成像示意圖，其中，x-y-z軸為攝影機座標(亦即空間座標)系統(camera coordinate system, CCS)，而u-v軸為影像座標系統(image coordinate system,ICS)。特別的是，ICS的u軸與CCS的x軸平行，而ICS的v軸與CCS的y軸平行。如圖2A所示，雙曲面210可經由一對雙曲線215沿著中心軸(亦即z軸)旋轉而形成，其可包含兩個焦點(focal point)C _m(0,0,0)、C _n(0,0,-2c)。而雙曲面210的數學模型可如式(1)所示，其中參數a、b分別為雙曲面210的共軛軸長和貫軸長，而參數乃是兩個焦點C _m(0,0,0)與C _n(0,0,-2c)之間距離的一半。由於式(1)代表兩個雙曲面210，故本實施例可選取式(1)中(z+c)大於0的雙曲面來代表實體呈現的雙曲面鏡(例如圖2B所示的雙曲面鏡220)。

另外，如圖2B所示，三維空間中的一目標點Q(空間座標為(X,Y,Z))可由一射線RL₁延伸到雙曲面鏡220的焦點C _m(空間座標為(0,0,0))，並可經由雙曲面鏡220的反射而朝向攝影機投影中心(center of projection,COP)C _p前進(如反射線RL₂所示)，並與全景影像平面230相交於一影像點q(影像座標為(U,V))。換句話說，影像點q(U,V)即為三維空間中的目標點Q(X,Y,Z)所對應的投影點，其中全景影像平面230與攝影機投影中心C _p的距離即為焦距f。而全景影像擷取裝置122、124的投影關係式可如式(2)所示，其中α為通過三維空間中的目標點Q(X,Y,Z)的射線RL₁與CCS的x-y座標平面的俯仰角，雙曲面鏡220的離心率(eccentricity)ε，β為反射線RL₂與攝影機240的夾角。而sin β以及cos β則分別如式(3)及式(4)所示，其中影像半徑。(C _u ,C _v)則為影像中心座標，位於全景影像擷取裝置122、124的雙曲面鏡220的焦點C _m與全景影像擷取裝置122、124的攝影機投影中心C _p所形成的直線與全景影像平面230的交點。

由於ICS的u軸與CCS的x軸平行，ICS的v軸與CCS的y軸平行，因此三維空間中的目標點Q(X,Y,Z)或是影像點q(U,V)的方位角θ可如式(5)及式(6)所示。

接下來將說明如何定義全景影像擷取裝置122、124的投影模型。一般來說，球面相機模型(sphere camera model)可適用於所有的中央式全景攝影機，包括本發明實施例所採用的雙曲面式的全景攝影機。以下請參照圖3，圖3是一般的球面相機模型的投影示意圖。首先，自三維空間中的目標點Q(X,Y,Z)經由球中心(即焦點C _m)所形成的射線可與球面320相交於點S ₁與點S ₂。若將點S ₁與點S ₂以四維的齊次座標(homogeneous coordinates)來表示，則如式(7)、式(8)所示。

接著，考慮攝影機投影中心C _p的空間座標為(0,0,ξ)，其中ξ為鏡面參數。而若將點S ₁、點S ₂以非齊次座標(non-homogeneous coordinates)來表示，則可將點S ₁、點S ₂改寫如式(9)及式(10)所式。

最後，S ₁ ’、S ₂ ’可經由球面相機模型的內部參數短陣K而投影至全景影像平面330的影像點q ₁、q ₂，其中影像點q ₁、q ₂的影像座標僅會有一正確解。而球面相機模型的內部參數短陣K可如式(11)所示，其中f為焦距，而(C _u ,C _v)為影像中心座標或可稱為主點(principal point)。

以下請再同時參照圖1及圖2B。在此需特別注意的是，由於本發明圖1、圖2B實施例所示的全景影像擷取裝置122、124為雙曲面式的全景攝影機，故仍需考慮實際雙曲面模型與球面相機模型之間的幾何關係，其中，雙曲面式的全景攝影機的內部參數矩陣H可為球面相機模型的內部參數矩陣K乘以一關係矩陣M，如式(12)所示，其中參數Ψ為全景影像平面230到焦點C _m的距離。另外，鏡面參數ξ以及參數Ψ可定義如式(13)及式(14)所示，其中d為攝影機投影中心C _p到雙曲面之焦點C _m的距離，而4p為雙曲面的正焦弦長(latus rectum)。

三維空間的空間座標Q點經過影像擷取裝置122、124反射折射到攝影機內部的全景影像平面230，需要經過一投影矩陣。而不同的相機模型及校正方法需定義所使用的投影矩陣。因此，在本發明的一實施例中，採用基於球面相機模型的反射折射投影矩陣(catadioptric projection matrix)，其主要利用延展座標(lifted coordinates)的概念，將投影矩陣延展成6×10維度的矩陣並使其擁有線性的特性，其中投影矩陣可包括內部參數特性及外部參數特性。反射折射投影矩陣P_cata可定義如式(15)所示，其中R為旋轉矩陣(rotation matrix)，X_ξ是以鏡面參數ξ來表示的矩陣，而T則代表攝影機位置(t _x ,t _y ,t _z)的位移矩陣(translation matrix)，且X_ξ以及T_6×4可定義如式(16)、式(17)所示。在定義反射折射投影矩陣P_cata之後，可運用直接線性轉換(direct linear transform,DLM)的方法，輸入多個已知的三維空間的空間座標與對應的二維全景影像平面的影像點，並做奇異值分解(singular value decomposition,SVD)，即可計算出反射折射投影矩陣P_cata。

P_cata=HX_ξ R_6×6(I₆ T_6×4) 式(15)

接下來，可將式(15)的反射折射投影矩陣P_cata進行內部參數和外部參數的分解。首先，定義6×6維的子矩陣P_s如式(18)所示。

P_s=HX_ξ R 式(18)

接著，假設矩陣W=P_sD^-1P_s ^T，其中D^-1為對角矩陣(diagonal matrix)的反矩陣，並將式(18)代入矩陣W，如式(19)所示。

W=HX_ξ RD^-1R^TX_ξ ^TH^T 式(19)

因為D^-1=R D^-1R^T，並考慮常數λ，因此可將矩陣W簡化如式(20)所示。而從矩陣W中的一些元素(element)可擷取出四個內部參數，分別為鏡面參數ξ、焦距f以及影像中心座標(C _u ,C _v)，分別如式(21)~式(23)所示。其中鏡面參數ξ、焦距f以及影像中心座標(C _u ,C _v)即為攝影機的內部參數，而W ₁₆ 、W ₄₄ 、W ₄₆ 、W ₅₆以及W ₆₆的數值分別如式(24)~式(28)所示。

W=λ HX_ξ D^-1X_ξ ^TH^T 式(20)

W ₁₆=λ(-(f ² ξ²)+C _u ²(ξ⁴+C _u(1-ξ²)²)) 式(24)

W ₄₄=λ((f ²/2)+C _u ²(2 ξ⁴+(1-ξ²)²)) 式(25)

W ₄₆=λ C _u(2 ξ⁴+(1-ξ²)²) 式(26)

W ₅₆=λ C _v(2 ξ⁴+(1-ξ²)²) 式(27)

W ₆₆=λ(2 ξ⁴+(1-ξ²)²) 式(28)

最後，可對外部參數進行擷取，其中6×4維的矩陣T_cata代表外部參數的部份，可以由P_cata以及內部參數部份HX_ξ的反矩陣的乘積來表示，如式(29)所示。之後，僅需將旋轉矩陣R_6×6的反矩陣與T_cata相乘，即可得到位移矩陣T_6×4。

T_cata=R_6×6(I₆T_6×4)=(HX_ξ)^-1P_cata 式(29)

值得一提的是，上述內部參數及外部參數是由線性矩陣分解而來的，可能並不完全適用於實際的全景攝影機。因此，為了讓內部參數及外部參數最佳化，可將攝影機鏡頭(lens)失真的因素考慮進去。其中，鏡頭失真包含兩種形變：徑向形變(radial distortion)以及切向形變(tangential distortion)。徑向形變是由鏡頭形狀所造成，使得距離鏡頭中心越遠的光線在通過鏡頭時彎折較大，反之則彎折越小。切向形變則是由攝影機模組組裝所造成，主要影響影像的側邊。

因此，可定義徑向形變方程式如式(30)、式(31)所示，其中_△ U _r和△V _r分別為影像點q(U,V)的徑向形變修正量，影像半徑，而k ₁、k ₂則為徑向形變的參數。另外，可定義切向形變方程式如式(32)、式(33)所示，其中△U _t和△V _t分別為影像點q(U,V)的切向形變修正量，而p ₁、p ₂則為切向形變的參數。

△U _r=U(k ₁ r ²+k ₂ r ⁴) 式(30)

△V _r=V(k ₁ r ²+k ₂ r ⁴) 式(31)

△U _t=2p ₁ UV+p ₂(r ²+2U ²) 式(32)

△V _t=p ₁(r ²+2V ²)+2p ₂ UV 式(33)

接著，可利用萊文貝格-馬夸特方法(Levenberg-Marquardt method)做內部參數及外部參數的非線性最佳化。詳細來說，首先考慮上述鏡面失真的因素做重新投影，並將三維空間的空間座標利用上述計算得到的內部參數及外部參數投影到二維的全景影像平面以得到參考影像點，並與實際的影像點做均方根誤差(root-mean-square error,RMSE)計算，再使用萊文貝格-馬夸特方法來做內部參數及外部參數的最佳化。由於攝影機內部參數及外部參數之非線性最佳化並非本發明所琢磨的重點，且此等技術又屬本發明領域具有通常知識者所熟識，故在此不再加以贅述之。

以下請再同時參照圖2A及圖2B。根據上述的說明可以得知，本發明實施例的內部參數包括焦距f、影像中心座標(C _u,C _v)以及鏡面參數ξ。然而，在此值得一提的是，根據式(5)及式(6)可知，sin θ及cos θ與全影攝影機所取得的影像點q(U,V)有關，而影像點q(U,V)的準確度則與內部參數中的影像中心座標(C _u,C _v)相關聯。

除此之外，根據式(2)~式(4)可知，tan α與全影攝影機的離心率ε以及焦距f有關。而且，圖2A的雙曲面210(或圖2B的雙曲面鏡220)具有式(34)~式(36)的關係式。其中d為攝影機投影中心C _p到焦點C _m的距離，且4p為雙曲面210(或雙曲面鏡220)的正焦弦長(latus rectum)。若將式(34)~式(36)代入離心率ε=c/a，則如式(37)所示。

接著，將式(13)的鏡面參數ξ代入式(37)，且根據ε>1以及0<ξ<1的條件，即可得出離心率ε與鏡面參數ξ的關係式，如式(38)、式(39)所示。

此外，如圖4所示，圖4是依據本發明實施例所繪示的雙曲面鏡與影像平面的示意圖，因全景攝影機擁有旋轉不變性，且參數2p(即雙曲面鏡220的正焦弦長之一半長度)與全景影像平面230之邊界r _b以及攝影機投影中心C _p到焦點C _m的距離d與焦距f，符合相似三角形(similar triangles)定理，因此，焦距f可如式(40)所示。接著，將式(13)經代數變換後可如式(41)所示。將式(41)代入式(40)可得式(42)，其中全景影像平面230之邊界r _b為定值。

根據式(42)可以得知，焦距f可經由鏡面參數ξ計算得出。因此，在本發明的實施例中，可僅以影像中心座標(C _u,C _v)以及鏡面參數ξ作為全景影像擷取裝置122、124的校正參數，並對每一個全景影像擷取裝置122、124的校正參數進行參數補償，以提高每一個全景影像擷取裝置122、124之校正參數的準確度，從而改善全景影像擷取裝置122、124影像扭曲失真以及解析度較低的缺點，並可提升全景影像三維深度估測系統100在較遠的估測範圍的準確度。以下將針對全景影像擷取裝置122、124之校正參數的補償運作進行說明。

以下請再同時參照圖1及圖2B。在本發明實施例中，主要是採用兩台水平架設(horizontally-aligned)的全景影像擷取裝置122、124，經由全景影像平面230取得的影像點q(U,V)，再透過演算法估測出對應的三維空間中的目標點Q的空間座標(X,Y,Z)。因此，是否取得正確的影像點q(U,V)對於估測目標點Q的空間座標(X,Y,Z)之準確度影響甚鉅。

首先，可將由全景影像平面230所取得的影像點q(U,V)之影像中心位移至影像中心座標(C _u,C _v)以得到未補償影像點(U+C _u,V+C _v)。除此之外，為了使取得的影像點q(U,V)更為準確，本實施例還對影像中心座標(C _u,C _v)進行中心偏移量補償(或稱像素偏移量補償)。因此補償後的影像點q’(U’,V’)的座標可如式(43)、式(44)所示，其中(△C _u,△C _v)為像素座標偏移補償量。

U’=U+C _u+△C _u 式(43)

V’=V+C _v+△C _v 式(44)

另外，根據全景攝影機的幾何投影關係以及式(5)、式(6)可知，以實際的目標點Q的空間座標(X,Y,Z)計算所得到的方位角θ可對應到實際的影像點，而得到實際的影像點後，即可得知未補償影像點的像素座標偏移補償量為何。因此，在本發明的一實施例中，如圖5所示，可將一參考物OB(例如是2×8且間隔8公分的棋盤格，但不限於此)配置在相對於全景攝影機522的不同方位角θ _i處，以取得多組離散資料，其中每一組離散資料包括對應於方位角θ _i的實際空間座標(X _i,Y _i,Z _i)以及對應於實際空間座標(X _i,Y _i,Z _i)的全景影像平面上的影像座標(U _i,V _i)。更進一步來說，在本實施例中，可將參考物OB相對於全景攝影機522的距離保持不變，然後調整參考物OB相對於全景攝影機522的方位以取得此些離散資料(下稱i組第一離散資料，其中i為大於1的正整數)，但本發明並不以此為限。在本發明的一實施例中，可在10度至350度的方位角中每10度及45度取一組第一離散資料，如此一來可取得38組第一離散資料，但不限於此。

由於本發明圖1實施例採用兩台全景影像擷取裝置122、124，因此校正電路140可根據全景影像擷取裝置122取得對應的i組第一離散資料來對全景影像擷取裝置122的影像中心座標(C _u ,C _v)進行補償運作。同樣地，校正電路140可根據全景影像擷取裝置124取得對應的i組第一離散資料來對全景影像擷取裝置124的影像中心座標(C _u ,C _v)進行補償運作。由於校正電路140對全景影像擷取裝置122的影像中心座標(C _u ,C _v)的補償運作類似於校正電路140對全景影像擷取裝置124的影像中心座標(C _u ,C _v)的補償運作，因此以下將僅以校正電路140對全景影像擷取裝置122的影像中心座標(C _u ,C _v)的補償運作為範例進行說明，校正電路140對全景影像擷取裝置124的影像中心座標(C _u ,C _v)的補償運作則可依此類推得之。

上述i組第一離散資料中的每一者可包括參考物OB的實際空間座標(X _i ,Y _i ,Z _i)(下稱第一實際空間座標)以及投影至全景影像平面的影像座標(U _i ,V _i)(下稱第一影像座標)，其中第一影像座標(U _i ,V _i)為未補償的影像座標。校正電路140可根據第一實際空間座標(X _i ,Y _i ,Z _i)計算實際方位角θ _i如式(45)所示，且根據該對應的第一影像座標(U _i ,V _i)計算未補償離散方位角θ _i ^'如式(46)所示。

校正電路140可計算實際方位角θ _i與未補償離散方位角θ _i ^'的差值以作為補償角度值△θ，且可計算第一實際影像座標(U _i ’,V _i ’)如式(47)、式(48)所示。

U _i ’=U _i‧cos(△θ)-V _i‧sin(△θ) 式(47)

V_i’=U _i‧sin(△θ)+V _i‧cos(△θ) 式(48)

校正電路140可計算上述i組第一離散資料的每一者的離散座標補償量(△C _ui ,△C _vi)如式(49)、式(50)所示，其中(C _u ,C _v)為影像中心座標。

△C _ui=U _i ’-U _i-C _u 式(49)

△C_vi=V _i ’-V _i-C _v 式(50)

最後，校正電路140可將上述i組第一離散資料的每一者的未補償離散方位角θ _i與對應的離散座標補償量(△C _ui,△C _vi)透過曲線擬合方法進行擬合。在本發明的一實施例中，可採用傅立葉級數之數學模型來進行曲線擬合，如此一來，即可取得全景影像擷取裝置122的第一像素座標偏移量補償曲線△C _u=f ₁(θ _c)以及第二像素座標偏移量補償曲線△C _v=f ₂(θ _c)，其中(△C _u,△C _v)為像素座標偏移補償量，且θ _c為未補償方位角。

另一方面，鏡面參數ξ對於雙曲面鏡式的全景攝影機來說是相當重要的內部參數，其主要影響雙曲面鏡與攝影機之間的投影關係。一般來說，雙曲面鏡的鏡面參數ξ理論上會介於0和1之間。而為了讓鏡面參數ξ更為精確，本發明圖1實施例的校正電路140更可對鏡面參數ξ進行補償運作。

另外，根據式(2)~式(4)可知，倘若焦距f為固定值且俯仰角α為已知的情況下，可由影像半徑r來計算離心率ε，並可將離心率ε透過式(39)轉換成鏡面參數ξ。由此可知，鏡面參數ξ與影像半徑r相關聯。因此，在本發明的一實施例中，如圖6所示，可將一參考物OB(例如是2×10且間隔8公分的棋盤格，但不限於此)配置在相對於全景攝影機622的不同距離LN_j處，以取得不同影像半徑r的多組離散資料，其中每一組離散資料包括對應於距離LN_j的實際空間座標(X _j ,Y _j ,Z _j)以及對應於實際空間座標(X _j ,Y _j ,Z _j)的全景影像平面上的影像座標(U _j ,V _j)。更進一步來說，在本實施例中，可將參考物OB相對於全景攝影機622的方位保持不變，然後調整參考物OB相對於全景攝影機622的距離以取得此些離散資料(下稱j組第二離散資料，其中j為大於1的正整數)，但本發明並不以此為限。在本發明的一實施例中，可在距離全景攝影機622的攝影機中心80至1000公分中每40公分取一組第二離散資料，如此一來可取得24組第二離散資料，但不限於此。

由於本發明圖1實施例採用兩台全景影像擷取裝置122、124，因此校正電路140可根據全景影像擷取裝置122取得對應的j組第二離散資料來對全景影像擷取裝置122的鏡面參數ξ進行補償運作。同樣地，校正電路140可根據全景影像擷取裝置124取得對應的j組第二離散資料來對全景影像擷取裝置124的鏡面參數ξ進行補償運作。由於校正電路140對全景影像擷取裝置122的鏡面參數ξ的補償運作類似於校正電路140對全景影像擷取裝置124的鏡面參數ξ的補償運作，因此以下將僅以校正電路140對全景影像擷取裝置122的鏡面參數ξ的補償運作為範例進行說明，校正電路140對全景影像擷取裝置124的鏡面參數ξ的補償運作則可依此類推得之。

上述j組第二離散資料的每一者可包括參考物OB的實際空間座標(X _j ,Y _j ,Z _j)(下稱第二實際空間座標)以及投影至全景影像平面的影像座標(U _j ,V _j)(下稱第二影像座標)，其中第二影像座標(U _j ,V _j)為未補償的影像座標。校正電路140可根據第二實際空間座標(X _j ,Y _j ,Z _j)計算實際俯仰角α _j，其中。

校正電路140可將第二影像座標(U _j ,V _j)代入式(46)以計算出未補償離散方位角，再將未補償離散方位角代入第一像素座標偏移量補償曲線△C _u=f ₁(θ _c)以及第二像素座標偏移量補償曲線△C _v=f ₂(θ _c)以計算出對應的像素座標偏移補償量(△C _u,△C _v)，之後再根據式(43)、式(44)以取得補償後影像座標(U _j ’,V _j ’)。

校正電路140可計算補償後影像座標(U _j ’,V _j ’)與原點之間的影像半徑r _j ’，如式(51)所示。

接著，校正電路140可將全景影像擷取裝置122的鏡面參數ξ代入式(42)而計算出全景影像擷取裝置122的焦距f。然後，校正電路140可將式(51)的影像半徑r _j ’以及焦距f代入式(3)、式(4)而計算出對應的sin β _j及cos β _j，並將tan(α _j)、sin β _j及cos β _j代入式(2)以算出離心率ε>1的解，即為影像半徑r _j ’對應到的實際的離心率ε _j。之後，再將實際的離心率ε _j代入式(39)即可得到實際的離散鏡面參數ξ _j。

校正電路140可計算離散鏡面參數ξ _j與鏡面參數ξ的差值以作為離散鏡面參數補償量△ξ _j。校正電路140可將上述j組第二離散資料的每一者的影像半徑r _j ’與對應的離散鏡面參數補償量△ξ _j透過曲線擬合方法進行擬合。在本發明的一實施例中，可採用多項式函數之數學模型進行曲線擬合，如此一來，即可取得全景影像擷取裝置122的鏡面參數補償曲線△ξ=f ₃(r)，其中△ξ為鏡面參數補償量，且r為影像半徑。

當校正電路140對全景影像擷取裝置122、124的校正參數(亦即影像中心座標(C _u ,C _v)以及鏡面參數ξ)進行補償並擬合出第一像素座標偏移量補償曲線、第二像素座標偏移量補償曲線以及鏡面參數補償曲線之後，深度估測電路160即可使用全景影像擷取裝置122、124的第一像素座標偏移量補償曲線、第二像素座標偏移量補償曲線以及鏡面參數補償曲線來估測目標點Q所處三維空間的三維資訊。一般來說，可使用幾何學中的三角測量 (triangulation)方法來進行全景攝影機深度估測。但是三角測量方法必須假設兩條分別通過全景影像擷取裝置122、124的鏡心(焦點)的射線一定會在三維空間中的待測點(目標點Q)交會。然而，由於全景影像擷取裝置122、124的架設或校正參數誤差等因素，可能使得兩條射線的交會點並不存在。因此，在本發明的實施例中，採用S.E.Shih等人於2013年7月刊登於「IEEE Transactions on Circuits and Systems for Video Technology」期刊第23卷No.7第1156=1169頁的論文「A Two-Omni-Camera Stereo Vision System With an Automatic Adaptation Capability to Any System Setup for 3-D Vision Applications」中的全景攝影機三維計算方法來進行三維深度估測。

以下請同時參照圖1、圖2B以及圖7，圖7是依照本發明一實施例所繪示的全景影像三維深度估測系統的三維估測示意圖，其中圖7的第一全景攝影機722對應至圖1的全景影像擷取裝置122，而圖7的第二全景攝影機724則對應至圖1的全景影像擷取裝置124。首先，透過對第一全景攝影機722以及第二全景攝影機724各自的內部參數進行計算，可將位於影像座標系統u ₁-v ₁中的影像點q ₁(影像座標為(U ₁ ,V ₁))投影到第一全景攝影機722的雙曲面鏡7221上的一面點P _s1，且可將影像座標系統u ₂-v ₂中的影像點q ₂((影像座標為(U ₂ ,V ₂))投影到第二全景攝影機724的雙曲面鏡7241上的一面點P _s2。接著，可利用第一全景攝影機722的焦點C _m1與雙曲面鏡7221上的面點P _s1來計算射線L₁的方向向量 d ₁，且可利用第二全景攝影機724的焦點C _m2與雙曲面鏡7241上的面點P _s2來計算射線L₂的方向向量d ₂，其中焦點C _m1的空間座標為(0,0,0)，焦點C _m2的空間座標為(D,0,0)，D為第一全景攝影機722與第二全景攝影機724的間距(或稱為基準線(baseline)長度)。最後，可計算射線L₁、L₂之間最近距離的兩點Q ₁(X ₁ ,Y ₁ ,Z ₁)和Q ₂(X ₂ ,Y ₂ ,Z ₂)之中間點以作為待測點(目標點Q _m)的三維深度資訊。而根據S.E.Shih等人的上述論文並透過相關的數學推導即可推得目標點Q _m的空間座標(X _m ,Y _m ,Z _m)、方向向量d ₁與d ₂分別如式(52)~式(54)所示，其中e ₁=[1 0 0]^T，θ ₁與θ ₂為方位角，而α ₁與α ₂為俯仰角。需注意的是，由於影像點q ₁、q ₂為未補償的影像點，故所估測出來的目標點Q _m的空間座標(X _m ,Y _m ,Z _m)誤差會較大。

以下將對深度估測電路160的整體運作進行說明。請同時參照圖1、圖7及圖8，圖8是依照本發明另一實施例所繪示的全景影像三維深度估測系統的三維估測示意圖。深度估測電路160可透過第一全景攝影機722而取得關聯於待測點(目標點Q _m)所對應的影像點q ₁(U ₁,V ₁)(亦即第一平面座標)，且可透過第二全景攝影機724而取得關聯於待測點(目標點Q _m)所對應的影像點q ₂(U ₂ ,V ₂)(亦即第二平面座標)。深度估測電路160可利用式式(46)計算影像點q ₁(U ₁ ,V ₁)所對應的方位角θ ₁以及影像點q ₂(U ₂ ,V ₂)所對應的方位角θ ₂。深度估測電路160可將方位角θ ₁代入第一全景攝影機722所對應的第一像素座標偏移量補償曲線以及第二像素座標偏移量補償曲線以取得影像點q ₁(U ₁ ,V ₁)的像素座標偏移補償量，再透過式(43)、式(44)計算出補償後第一平面座標q ₁ ’(U ₁ ’,V ₁ ’)(如圖8所示)。同樣地，深度估測電路160可將方位角θ ₂代入第二全景攝影機724所對應的第一像素座標偏移量補償曲線以及第二像素座標偏移量補償曲線以取得影像點q ₂(U ₂ ,V ₂)的像素座標偏移補償量，再透過式(43)、式(44)計算出補償後第二平面座標q ₂ ’(U ₂ ’,V ₂ ’)(如圖8所示)。

接著，請再同時參照圖1及圖8，深度估測電路160可根據式(51)來計算補償後第一平面座標q ₁ ’(U ₁ ’,V ₁ ’)的影像半徑以作為第一影像半徑r ₁ ’，可將第一影像半徑r ₁ ’代入第一全景攝影機722所對應的鏡面參數補償曲線來計算鏡面參數補償量以作為第一鏡面參數補償量△ξ ₁，再將第一鏡面參數補償量△ξ ₁以及第一全景攝影機722的鏡面參數ξ相加以取得第一全景攝影機722的補償後鏡面參數ξ ₁ ^'。相同地，深度估測電路160可根據式(51)來計算補償後第二平面座標q ₂ ’(U ₂ ’,V ₂ ’)的影像半徑以作為第二影像半徑r ₂ ’，可將第二影像半徑r ₂ ’代入第二全景攝影機724所對應的鏡面參數補償曲線來計算鏡面參數補償量以作為第二鏡面參數補償量 △ξ ₂，再將第二鏡面參數補償量△ξ ₂以及第二全景攝影機724的鏡面參數ξ相加以取得第二全景攝影機724的補償後鏡面參數ξ ₂ ^'。

然後，深度估測電路160可根據補償後第一平面座標q ₁ ’(U ₁ ’,V ₁ ’)、第一全景攝影機722的補償後鏡面參數ξ ₁ ^'以及式(53)來計算射線L₁’的第一方向向量d ₁ ’，其中射線L₁’通過第一全景攝影機722的雙曲面鏡7221的焦點C _m1以及補償後第一平面座標q ₁ ’(U ₁ ’,V ₁ ’)投影至第一全景攝影機722的雙曲面鏡7221上的第一面點P _s1 ’。同樣地，深度估測電路160可根據補償後第二平面座標q ₂ ’(U ₂ ’,V ₂ ’)、第二全景攝影機724的補償後鏡面參數ξ ₂ ^'以及式(54)來計算射線L₂’的第二方向向量d ₂ ’，其中射線L₂’通過第二全景攝影機724的雙曲面鏡7241的焦點C _m2以及補償後第二平面座標q ₂ ’(U ₂ ’,V ₂ ’)投影至第二全景攝影機724的雙曲面鏡7241上的第二面點P _s2 ’。深度估測電路160可根據上述的三維深度估測演算法(式(52))計算出射線L₁’、L₂’之間最近距離的兩點Q ₁ ’和Q ₂ ’之中間點座標以作為目標點Q _m ’的空間座標(X _m ’,Y _m ’,Z _m ’)。

最後，由於目標點Q _m ’的空間座標是以第一全景攝影機722的焦點C _m1為三維空間的空間座標中心(即原點)所估測出來的空間座標，因此，可將三維空間的空間座標中心位移至第一全景攝影機722與第二全景攝影機724的中間位置，如圖9所示。如此一來，即可得到目標點Q以第一全景攝影機722與第二全景攝影機724的中間位置為原點的三維資訊，其中目標點Q的空間座標為(X _m ’+(D/2),Y _m ’,Z _m ’)，D為第一全景攝影機722與第二全景攝影機724之間的基準線長度。

以下請同時參照圖9、圖10A~圖10D，圖10A~圖10D是依照本發明一實施例的全景影像三維深度估測系統的三維深度資訊之錯誤率的分析示意圖。圖10A~圖10D的橫軸是目標點Q至第一全景攝影機722與第二全景攝影機724之中間點的實際總距離，而縱軸則是估測錯誤率，其中圖10A~圖10D分別為目標點Q(實際的空間座標為(X,Y,Z))的X值、Y值、Z值以及整體的錯誤率，未對校正參數進行補償所估測出來的錯誤率曲線分別標示為1011~1014，而有對校正參數進行補償所估測出來的錯誤率曲線分別標示為1021~1024。而X值、Y值、Z值以及整體的錯誤率可分別透過式(55)~式(58)來計算，其中(X _t ,Y _t ,Z _t)為全景影像三維深度估測系統所估測出來的目標點Q的空間座標。由圖10A~圖10D可看出有對校正參數進行補償所估測出來的錯誤率明顯較低，且在實際總距離大於500公分時，尤為明顯。因此有對校正參數進行補償確實可提升全景影像三維深度估測系統的準確度。

以下請同時參照圖9與圖10E，圖10E是依照本發明一實施例的全景影像三維深度估測系統的三維深度資訊之錯誤率的分析示意圖。圖10E的橫軸是第一全景攝影機722與第二全景攝影機724之間的基準線長度D，而縱軸則是目標點Q的整體錯誤率。而整體錯誤率同樣可依據式(58)來計算。由圖10E可看出基準線長度D在約38~150公分的情況下，有對校正參數進行補償的全景影像三維深度估測系統的整體錯誤率可維持在10%以下。

以下請同時參照圖1及圖11，圖11是依照本發明一實施例所繪示的全景影像三維深度估測方法的步驟流程圖。首先，在步驟S900中，可透過兩個全景影像擷取裝置122、124來擷取兩張全景影像，以取得目標點Q分別投影在此些全景影像平面中的第一平面座標與第二平面座標。接著，在步驟S910中，可根據每一個全景影像擷取裝置122、124的投影模型來計算每一個全景影像擷取裝置122、124的多個校正參數。然後，在步驟S920中，可根據每一個全景影像擷取裝置122、124的多組離散資料來進行運算並擬合出多條補償曲線，以對每一個全景影像擷取裝置122、124的此些校正參數進行補償。最後，在步驟S930中，可根據上述第一平面座標、上述第二平面座標以及此些補償曲線來計算目標點Q所處三維空間的空間座標。而此些離散資料可包括相對於每一個全景影像擷取裝置122、124的多個方位角或多個距離的多個實際空間座標以及對應於此些實際空間座標的多個影像座標。

另外，本發明的實施例的全景影像三維深度估測方法可以由圖1至圖9實施例之敘述中獲致足夠的教示、建議與實施說明，因此不再贅述。

綜上所述，本發明實施例的全景影像三維深度估測系統以及全景影像三維深度估測方法可根據每一台全景攝影機的投影模型取得三維深度估測所需的多個校正參數，並根據每一台全景攝影機的多組離散資料來進行運算並擬合出多條補償曲線，以對每一台全景攝影機的此些校正參數進行補償。如此一來，可得到高準確度的全景攝影機的校正參數，從而改善全景攝影機影像扭曲失真以及解析度較低的缺點，並可提升全景影像三維深度估測系統在較遠的估測範圍的準確度。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。