TWI551140B - 廣角變形的校正方法 - Google Patents

Description

廣角變形的校正方法

本發明描述了一種廣角變形的校正方法，尤指一種利用連續分段曲率函數之廣角變形的校正方法。

隨著影像處理技術的發展，有趣而誇張的影像效果已成為近年流行的趨勢。例如日本流行的大頭狗效果，或是將影像邊緣變形而產生扭曲效果等等。這些有趣的影像形變常常會利用魚眼鏡頭的廣角特性，而這廣角特性會造成影像中央的影像放大而周圍影像的壓縮失真。因此利用魚眼鏡頭輸出的影像常常富有趣味性。

與傳統的鏡頭比較起來，具有大視角的魚眼鏡頭可取得較大範圍的影像，現今廣泛地運用在各個領域，例如電腦視覺、光學檢測、醫療內視鏡影像、全景影像、森林生態以及天文學等。由於魚眼鏡頭影像有很大的變形失真，若要利用影像中的資訊作為量測或度量方面的用途，必須先將其轉換成人類所習慣的透視投影影像。因此，在影像處理上必須要做一些廣角變形失真的校正。

目前校正影像廣角變形失真的做法，大多採取多項是函數曲線擬合法，其校正成果的好壞，取決於尋找出多項式函數與真實相機系統成像投射函數的擬合程度。這些多項式函數即為廣角投射函數的幾何模型，例如Stereographic、Equidistant、Sin Law、Equi-solid Angle等。然而，在許多時候，找到的多項式函數並無法與相機系統中的魚眼鏡頭做完全地擬合。其原因為在實際的魚眼鏡頭結構是相當的複雜，通常由好幾片透鏡組合而成，其設計 目的在使得三維空間來的入射光線經由這些透鏡折射後，盡量遵循著某些投射函數而成像在影像平面上。而投射函數例如：r=α×sin(βΦ)，其中r為影像平面到成像點的距離，α為影像縮放因子，β為投射函數之參數，Φ為入射光線與相機光軸的夾角。然而，在實際的魚眼鏡頭中，由於利用複數個透鏡製成的差異，使得真實魚眼鏡頭的成像會變得相當地複雜而多變，意即真實魚眼鏡頭的投射表現無法利用單一投射函數(扭曲函數)來表示。因此，在實際魚眼鏡頭拍攝的廣角變形的影像中，利用單一的投射函數將影像平面上的每一個成像點校正到符合透視投影機制的位置會產生相當大的誤差，進而導致校正後的影像仍有許多無法預期的變形。

因此，發展一種投射函數的擬合方法，能克服利用單一的投射函數(扭曲函數)所導致影像校正精準度的降低是非常重要的。

本發明實施例提出一種廣角變形的校正方法，包含於使用者介面中設定校正影像的解析度，取得預備顯示校正影像的樣板之複數個像素的座標，由記憶體載入鏡頭扭曲曲線，根據鏡頭扭曲曲線產生連續分段曲率函數，透過連續分段曲率函數計算出樣板之複數個像素之扭曲後的座標，根據廣角變形影像之複數個像素的座標與樣板之複數個像素之扭曲後的座標的對應關係，將廣角變形影像之複數個像素的座標進行廣角變形修正處理，輸出進行廣角變形修正處理後產生的影像。

100‧‧‧廣角變形的校正系統

10‧‧‧記憶體

20‧‧‧處理器

30‧‧‧使用者介面

40‧‧‧校正影像的樣板

41‧‧‧魚眼鏡頭扭曲曲線

42‧‧‧連續分段曲率函數

43‧‧‧廣角變形影像

51‧‧‧鏡頭扭曲逼近函數

61‧‧‧第一鏡頭扭曲函數

71‧‧‧第二鏡頭扭曲函數

Z₀、Z₁、Z₂、Z₃、Z₄‧‧‧區間

P₁、P₂、P₃、P₄‧‧‧邊界

80‧‧‧分段逼近曲線

R₁、R₂、R₃‧‧‧區間

L₁、L₂、L₃‧‧‧線段

第1圖為本發明實施例之廣角變形的校正系統的方塊圖。

第2圖為第1圖廣角變形的校正系統中，廣角變形的校正方法之流程示意圖。

第3圖描述了執行逼近魚眼鏡頭扭曲曲線程序的第一個步驟的示意圖。

第4圖描述了執行逼近魚眼鏡頭扭曲曲線程序的第二個步驟的示意圖。

第5圖描述了執行逼近魚眼鏡頭扭曲曲線程序的第三個步驟的示意圖。

第1圖為本發明實施例之廣角變形的校正系統100的方塊圖。如第1圖所示，廣角變形的校正系統100包含記憶體10、處理器20以及使用者介面30。處理器20耦接於記憶體10及使用者介面30。記憶體10存有魚眼鏡頭的投射曲線(在實施例中，投射曲線亦稱為扭曲曲線)，而這扭曲曲線為多透鏡所組成的魚眼鏡頭實際所測量的扭曲曲線，隨後會被後述的逼近演算法所近似。使用者介面30用以輸入資料，包含欲輸出的影像解析度(Resolution，例如1024×768像素的解析度)，以及輸入真實魚眼鏡頭所拍攝的廣角變形後的照片。而處理器20首先依據魚眼鏡頭實際所測量的扭曲曲線，利用逼近演算法來近似其扭曲曲線以產生一個連續分段曲率函數，隨後再利用這個連續分段曲率函數對廣角變形後的照片做廣角變形修正處理，最後輸出修正處理後的影像。而本發明之廣角變形的校正系統100如何執行廣角變形修正程序以及處理器20如何利用逼近演算法來近似魚眼鏡頭實際所測量的扭曲曲線，將於後段詳述。

第2圖為第1圖廣角變形的校正系統100中，廣角變形的校正方法之流程的示意圖。這裡用一個例子來說明廣角變形的校正流程。假設使用者使用魚眼鏡頭拍攝一張照片，而照片中的影像有廣角變形失真，使用者欲將其失真透過廣角變形的校正系統100校正。首先，使用者必須於廣角變形的校正系統100中的使用者介面30輸入影像的解析度，例如常見的640×480像素或是1024×768像素等。此時，處理器收到使用者設定的解析度後，就會產生一個符合使用者設定解析度的預備顯示校正影像的樣板(Image Template)40，這個影像樣板40隨後會用於比對每一個成像點(像素)經由廣角鏡頭投射於影像平面上的偏移量。接下來，處理器20會由記憶體10中載入魚眼鏡頭扭曲曲線41。然而，在本實施例中，魚眼鏡頭扭曲曲線41是由記憶體10中 載入，但本發明不以此為限，在其它實施例中，魚眼鏡頭扭曲曲線41可為由廣角變形的校正系統100外部輸入的資料。在本實施例中，魚眼鏡頭扭曲曲線41是為魚眼鏡頭經過實際量測後真實的特徵曲線，無法被單一扭曲函數所表示。因此，處理器20在接收到魚眼鏡頭扭曲曲線41後，會透過逼近演算法來近似魚眼鏡頭扭曲曲線41，並產生一個連續分段曲率函數42以近似魚眼鏡頭扭曲曲線41。當連續分段曲率函數42被產生後，處理器20將會執行一個透視投影機制，此透視投影機制將利用連續分段曲率函數42，把校正影像的樣板40上的每一個成像點(像素)投影到對應影像空間上，意即處理器20會利用連續分段曲率函數42，將每一個校正影像的樣板40上的每一個成像點(像素)的座標映射(Mapping)至影像空間上對應的座標。而這影像空間上對應的座標即為未失真的每一個成像點(像素)經由魚眼鏡頭造成的廣角變形後，對應扭曲後的座標。處理器20對每一個成像點(像素)依據連續分段曲率函數42執行運算後，即找出每一個成像點(像素)經由魚眼鏡頭失真前以及失真後座標對應的關係。此時，處理器20便會擷取使用者輸入至廣角變形的校正系統100的廣角變形影像43，並擷取廣角變形影像43的每一個成像點(像素)的座標。由於廣角變形影像43的每一個成像點(像素)的座標是經過廣角變形後失真的座標，而處理器於先前在校正影像的樣板40中，利用連續分段曲率函數42已經計算出每一個成像點(像素)經由魚眼鏡頭失真前以及失真後座標對應的關係。因此，處理器20便能利用這個座標對應的關係，將廣角變形影像43進行廣角變形修正處理，例如將廣角變形影像43的對應成像點(像素)填入及內插於校正影像的樣板40中，最後產生廣角變形修正處理後的影像。

在本實施例中，連續分段曲率函數42未必是一對一函數(One-to-One Function)。因此，廣角變形影像43中的每一個成像點(像素)的座標未必都能還原成未失真前的座標，當部分成像點(像素)的座標無法還原時，就需要使用內插(Interpolation)的演算法將解析度補足。此外，本發明實施例中，將廣角變形影像43進行廣角變形修正處理，其演算過程為在一個球面座 標系(又稱為極座標系，Polar Coordinate)上完成，意指會利用球面座標系上不同半徑以及不同切線方向的成像點(像素)之座標進行補償，例如可將球面座標系分為四個區域進行切線補償之方法。以下將針對處理器20如何利用逼近演算法來近似魚眼鏡頭實際所測量的扭曲曲線41，以及如何產生連續分段曲率函數42的方式，做詳細的說明。

第3圖描述了處理器20逼近魚眼鏡頭扭曲曲線41的第一個步驟的示意圖。如第3圖所示，魚眼鏡頭扭曲曲線41為不規則且歪曲的實線，無法被單一扭曲函數來表示。為了逼近魚眼鏡頭扭曲曲線41，處理器會依據魚眼鏡頭扭曲曲線41產生一個鏡頭扭曲逼近函數51，此鏡頭扭曲逼近函數51為符合扭曲公式的函數，且鏡頭扭曲逼近函數51與魚眼鏡頭扭曲曲線41的平均誤差值域(或平均平方誤差值域，Mean-Squared-Error)是最小的。在第3圖中，鏡頭扭曲逼近函數51是以較平滑的虛線表示。當產生鏡頭扭曲逼近函數51之後，處理器20會根據魚眼鏡頭扭曲曲線41以及鏡頭扭曲逼近函數51產生第一鏡頭扭曲函數61以及第二鏡頭扭曲函數71。在本實施例中，單一扭曲函數表示單一焦距的扭曲函數。因此，處理器20產生的第一鏡頭扭曲函數61以及第二鏡頭扭曲函數71相當於產生對應第一焦距的第一鏡頭扭曲函數61以及對應第二焦距的第二鏡頭扭曲函數71。在第3圖中，第一鏡頭扭曲函數61為上方平滑的實線，第二鏡頭扭曲函數71為下方平滑的實線。在本實施例中，如第3圖所示，鏡頭扭曲逼近函數51之值域落於第一鏡頭扭曲函數61之值域及第二鏡頭扭曲函數71之值域之間，且第一鏡頭扭曲函數61之值域大於該第二鏡頭扭曲函數71之值域。由於第一鏡頭扭曲函數61以及第二鏡頭扭曲函數71均為符合扭曲公式的函數，因此第一鏡頭扭曲函數61以及第二鏡頭扭曲函數71均為單調遞增型函數(Monotonic Increasing Function)。在本實施例中，第一鏡頭扭曲函數61以及第二鏡頭扭曲函數71為對應球面座標系上的兩函數，可表示為f₁(r)以及f₂(r)，其中r稱為函數f(．)的參數(引數)，可表示為球面投影半徑的值域。接下來將詳細說明處理器20 將如何利用第一鏡頭扭曲函數61以及第二鏡頭扭曲函數71對魚眼鏡頭扭曲曲線41做進一步的逼近。

第4圖描述了處理器20逼近魚眼鏡頭扭曲曲線41的第二個步驟的示意圖。如第4圖所示，當處理器產生了第一鏡頭扭曲函數61以及第二鏡頭扭曲函數71後，將會根據魚眼鏡頭扭曲曲線41、第一鏡頭扭曲函數61以及第二鏡頭扭曲函數71的關係，將其參數值域分為N個區間，其中N為大於1的正整數。在本實施例中，處理器20將參數值域分為5個區間，分別為區間Z₀、區間Z₁、區間Z₂、區間Z₃以及區間Z₄。各區間之間的邊界值(Boundary)如第4圖可表示為邊界P₁、邊界P₂、邊界P₃以及邊界P₄。當處理器20將5個區間Z₀至Z₄以及4個邊界值P₁至P₄定義完成後，在每一區間中，根據魚眼鏡頭扭曲曲線41與第一鏡頭扭曲函數61的平均誤差以及魚眼鏡頭鏡頭扭曲曲線41與第二鏡頭扭曲函數71的平均誤差，將鏡頭扭曲曲線近似為第一鏡頭扭曲函數61或第二鏡頭扭曲函數71。舉例來說，在區間Z₀中，魚眼鏡頭扭曲曲線41與第一鏡頭扭曲函數61的平均誤差小於魚眼鏡頭扭曲曲線41與第二鏡頭扭曲函數71的平均誤差，處理器20會選擇第一鏡頭扭曲函數61做為魚眼鏡頭扭曲曲線41於區間Z₀中的逼近函數。在區間Z₁中，魚眼鏡頭扭曲曲線41與第一鏡頭扭曲函數61的平均誤差小於魚眼鏡頭扭曲曲線41與第二鏡頭扭曲函數71的平均誤差，處理器20會選擇第一鏡頭扭曲函數61做為魚眼鏡頭扭曲曲線41於區間Z₁中的逼近函數。在區間Z₂中，魚眼鏡頭扭曲曲線41與第一鏡頭扭曲函數61的平均誤差大於魚眼鏡頭扭曲曲線41與第二鏡頭扭曲函數71的平均誤差，處理器20會選擇第二鏡頭扭曲函數71做為魚眼鏡頭扭曲曲線41於區間Z₂中的逼近函數。在區間Z₃中，魚眼鏡頭扭曲曲線41與第一鏡頭扭曲函數61的平均誤差小於魚眼鏡頭扭曲曲線41與第二鏡頭扭曲函數71的平均誤差，處理器20會選擇第一鏡頭扭曲函數61做為魚眼鏡頭扭曲曲線41於區間Z₃中的逼近函數。在區間Z₄中，魚眼鏡頭扭曲曲線41與第一鏡頭扭曲函數61的平均誤差大於魚眼鏡頭扭曲曲線41與第二鏡 頭扭曲函數71的平均誤差，處理器20會選擇第二鏡頭扭曲函數71做為魚眼鏡頭扭曲曲線41於區間Z₄中的逼近函數。然而，雖然處理器20利用將參數值域分為5個區域的方式，將魚眼鏡頭扭曲曲線41分段逼近成第一鏡頭扭曲函數61或第二鏡頭扭曲函數71，在4個邊界P₁至P₄間的函數值未必連續(意即函數值的左極限值不等於右極限值，表示函數有跳點)。例如本實施例中的邊界P₂、邊界P₃以及邊界P₄，由於逼近的函數其邊界左右的函數值域為不同的鏡頭扭曲函數，因此將會有跳點的情況發生。而這種跳點的情況會影響逼近的準確率，為了消除跳點，處理器20將做進一步的處理，詳述於下。

第5圖描述了處理器20逼近魚眼鏡頭扭曲曲線41的第三個步驟的示意圖。於上述第4圖的步驟中，處理器選擇出一條分段逼近曲線，於第5圖中此分段逼近曲線表示為粗實線的分段逼近曲線80。然而，分段逼近曲線80於邊界P₂、邊界P₃以及邊界P₄發生跳點。處理器20偵測出這些跳點的位置後，將會選定跳點對應的邊界，將邊界附近之預定值域範圍的分段逼近曲線80之數值範圍做線性內插。舉例來說，處理器20偵測出位於邊界P₂的跳點後，會以邊界P₂為中心，選擇R₁區間的數值範圍做線性內插，內插出的線段L₁將會取代R₁區間中分段逼近曲線80的函數值，以使邊界P₂的跳點消失。處理器20偵測出位於邊界P₃的跳點後，會以邊界P₃為中心，選擇R₂區間的數值範圍做線性內插，內插出的線段L₂將會取代R₂區間中分段逼近曲線80的函數值，以使邊界P₃的跳點消失。處理器20偵測出位於邊界P₄的跳點後，會以邊界P₄為中心，選擇R₃區間中分段逼近曲線80的數值範圍做線性內插，內插出的線段L₃將會取代R₃區間的函數值，以使邊界P₄的跳點消失。最後，處理器將選擇包含線段L₁、線段L₂以及線段L₃的分段逼近曲線80，而產生連續分段曲率函數42，並進一步利用連續分段曲率函數42執行廣角變形校正處理。

綜上所述，本發明描述一種廣角變形的校正系統以及廣角變形的校正方法，其概念為利用一個連續分段曲率函數來近似多個透鏡組成的魚眼 鏡頭真實的扭曲曲線，並利用連續分段曲率函數執行廣角變形的修正程序。為了使連續分段曲率函數與魚眼鏡頭真實的扭曲曲線有高度的擬合性，本發明採用分段型近似法，並利用線性內插法移除因分段逼近造成的跳點，以使逼近的精準度獲得進一步的提升。如此，不僅可以解決魚眼鏡頭因由多個透鏡組成而其扭曲曲線(投射曲線)無法以單一函數表示的問題，對於廣角變形的校正效果將會更優於傳統的校正方法。

以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

41‧‧‧魚眼鏡頭扭曲曲線

61‧‧‧第一鏡頭扭曲函數

71‧‧‧第二鏡頭扭曲函數

Z₀、Z₁、Z₂、Z₃、Z₄‧‧‧區間

P₁、P₂、P₃、P₄‧‧‧邊界

80‧‧‧分段逼近曲線

R₁、R₂、R₃‧‧‧區間

L₁、L₂、L₃‧‧‧線段

Claims (9)

1. 一種廣角變形的校正方法，包含：於一使用者介面中設定一校正影像的解析度；取得預備顯示該校正影像的樣板之複數個像素的座標；由一記憶體載入一鏡頭扭曲曲線；根據該鏡頭扭曲曲線產生一鏡頭扭曲逼近函數；根據該鏡頭扭曲曲線及該鏡頭扭曲逼近函數，產生一第一鏡頭扭曲函數及一第二鏡頭扭曲函數；根據該鏡頭扭曲曲線、該第一鏡頭扭曲函數及該第二鏡頭扭曲函數，產生一連續分段曲率函數；透過該連續分段曲率函數計算出該樣板之該複數個像素之扭曲後的座標；根據一廣角變形影像之複數個像素的座標與該樣板之該複數個像素之扭曲後的座標的對應關係，將該廣角變形影像之該複數個像素的座標進行一廣角變形修正處理；以及輸出進行該廣角變形修正處理後產生的影像；其中該鏡頭扭曲逼近函數之值域落於該第一鏡頭扭曲函數之值域及該第二鏡頭扭曲函數之值域之間，且該第一鏡頭扭曲函數之值域大於該第二鏡頭扭曲函數之值域。
2. 如請求項1所述之方法，其中根據該鏡頭扭曲曲線、該第一鏡頭扭曲函數及該第二鏡頭扭曲函數，產生該連續分段曲率函數包含：根據該鏡頭扭曲曲線、該第一鏡頭扭曲函數以及該第二鏡頭扭曲函數，將該第一鏡頭扭曲函數或該第二鏡頭扭曲函數的參數值域分成N個區間，其中N為大於1的正整數； 在該參數值域的每一區間中，根據該鏡頭扭曲曲線與該第一鏡頭扭曲函數的平均誤差以及該鏡頭扭曲曲線與該第二鏡頭扭曲函數的平均誤差將該鏡頭扭曲曲線近似為該第一鏡頭扭曲函數或該第二鏡頭扭曲函數。
3. 如請求項2所述之方法，其中根據該鏡頭扭曲曲線與該第一鏡頭扭曲函數的平均誤差以及該鏡頭扭曲曲線與該第二鏡頭扭曲函數的平均誤差將該鏡頭扭曲曲線近似為該第一鏡頭扭曲函數或該第二鏡頭扭曲函數包含：若該鏡頭扭曲曲線與該第一鏡頭扭曲函數的平均誤差大於該鏡頭扭曲曲線與該第二鏡頭扭曲函數的平均誤差，則將該鏡頭扭曲曲線近似為該第二鏡頭扭曲函數。
4. 如請求項2所述之方法，其中根據該鏡頭扭曲曲線與該第一鏡頭扭曲函數的平均誤差以及該鏡頭扭曲曲線與該第二鏡頭扭曲函數的平均誤差將該鏡頭扭曲曲線近似為該第一鏡頭扭曲函數或該第二鏡頭扭曲函數包含：若該鏡頭扭曲曲線與該第一鏡頭扭曲函數的平均誤差小於該鏡頭扭曲曲線與該第二鏡頭扭曲函數的平均誤差，則將該鏡頭扭曲曲線近似為該第一鏡頭扭曲函數。
5. 如請求項2所述之方法，另包含：將該N個區間的至少一邊界(Boundary)所對應的至少一預定值域範圍的數值做線性內插。
6. 如請求項2至5中任一項所述之方法，其中該第一鏡頭扭曲函數以及該 第二鏡頭扭曲函數的參數值域係為該第一鏡頭扭曲函數以及該第二鏡頭扭曲函數的一球面投影半徑的參數值域。
7. 如請求項1至5中任一項所述之方法，其中該第一鏡頭扭曲函數以及該第二鏡頭扭曲函數均為單調遞增型函數(Monotonic Increasing Function)。
8. 如請求項1至5中任一項所述之方法，其中該第一鏡頭扭曲函數係為對應一第一焦距的鏡頭扭曲函數，該第二鏡頭扭曲函數係為對應一第二焦距的鏡頭扭曲函數。
9. 如請求項1至5中任一項所述之方法，其中將該廣角變形影像之該複數個像素的座標進行一廣角變形修正處理，係為根據一球面投影座標系，將該廣角變形影像所對應不同半徑以及不同切線方向之複數個像素的座標進行該廣角變形修正處理。