TWI606421B - 魚眼相機全自動校正方法及其裝置 - Google Patents

Description

魚眼相機全自動校正方法及其裝置

本發明係有關一種魚眼相機全自動校正方法及其裝置。

一般的廣角鏡頭，可稱為魚眼鏡頭，因為魚眼鏡頭的視角較大可取得大範圍的影像，所以多被廣泛地運用在各種領域，例如安全監控、攝影、電腦視覺、光學檢測、醫療內視鏡影像、森林生態、天文學等。然而，透過魚眼鏡頭擷取的影像容易失真，且影像會有很大的變形。因此，若要利用魚眼影像中的資訊作為觀賞、量測或度量方面的用途，就必需先將魚眼影像轉換校正成人類所習慣的視覺影像。

目前一般對魚眼相機的校正方法大致可分為二類，第一類的校正方法是藉由拍攝多張特定圖樣之校正樣板，產生校正板影像，以偵測複數校正板影像中的特徵點，然後根據校正板影像以及校正板相對位置的扭曲情況估算出影像中心與投射函數的參數。這類方法的優點是硬體設置較簡易，在拍攝足夠的影像後，大部分的工作交由軟體以電腦視覺及數值方法來處理估算；但缺點則是必須事先指定投射函數的型式並確定函數的參數個數，在實際的情況下，可能需要重複不斷測試不同的函數型式與函數複雜度，以經過多次運算取其中誤差較小的結果來做為預設參數，但當鏡頭的成像難以用一簡潔且有限個數參數的函數來表示時，此方法所得的投射函數必定與真實的情況有所偏差。

第二類的校正方法則是藉由精密的儀器來設置相機與校正樣板間的相對三維空間位置與角度，再擷取相機拍攝影像中校正樣板上的圖案特徵之參考點估算出投射函數，或是建立入射光線與成像點的對應表格，如中華民國專利編號I339361就是使用此類方法進行校正參數的運算。這類方法的優點是可以適應較複雜的投射函數，且影像中心是以直接量測而得到，減少了影像偵測的誤差，缺點則是硬體配置的精確度直接影響校正結果的好壞，需要使用較昂貴的儀器，且常需要繁複的人工調整過程。

有鑑於此，本發明遂針對上述習知技術之缺失，提出一種魚眼相機全自動校正方法及其裝置，以有效克服上述之該等問題。

本發明之主要目的係在提供一種魚眼相機全自動校正方法及其裝置，其能有效降低操作難度，直接擷取真實影像以自動化產生高精準度的魚眼影像的校正參數，使魚眼影像可透過魚眼參數自動化還原成無失真的真實影像。

本發明之另一目的係在提供一種魚眼相機全自動校正方法及其裝置，其僅利用簡單的顯示裝置與攝影裝置，即可取代昂貴的高精度機械設備，能有效降低製作成本。

為達上述之目的，本發明係提供一種魚眼相機全自動校正裝置，包括一控制裝置電性連接魚眼攝影裝置與顯示裝置，控制裝置能控制顯示裝置所顯示的真實影像，並且可擷取魚眼攝影裝置上所產生的各項參數，並根據各項參數校正魚眼影像。

另外，本發明亦提供一種魚眼相機全自動校正方法，包括下列步驟，首先在一顯示裝置產生一真實影像，且真實影像中顯示有一第一直線；透過一魚眼攝影裝置擷取真實影像，以在魚眼攝影裝置產生並顯示一魚眼影像，魚眼影像中包括有對應第一直線的一第一魚眼線條；平移真實影像中的第一直線，直到魚眼攝影裝置顯示的第一魚眼線條成為一條直線；在真實影像中產生與第一直線交叉的一第二直線，魚眼攝影裝置並根據第二直線在魚眼影像中產生對應的一第二魚眼線條；平移真實影像中的第二直線，使魚眼攝影裝置顯示的第二魚眼線條成為一條直線，以擷取第一魚眼線條與第二魚眼線條的交叉點成為中心交叉點；以第一直線與第二直線之交叉點為對稱基準點，在第二直線上產生至少二對稱點，以供魚眼攝影裝置根據至少二對稱點在第二魚眼線條上顯示至少二魚眼對稱點；旋轉真實影像中的第二直線，使魚眼攝影裝置顯示的二魚眼對稱點與第一魚眼線條的距離相同；最後擷取魚眼影像之中心交叉點的中心交叉座標，二魚眼對稱點座標，以及至少一魚眼對稱點距離第一魚眼線條的魚眼對稱點距離，以帶入一魚眼參數方程式計算出一魚眼參數，並根據魚眼參數與中心交叉點校正魚眼影像。

其中魚眼參數方程式如下所示： 其中 係為中心交叉座標 軸的座標點； 係為中心交叉座標y軸的座標點； 係為魚眼對稱點座標 座標軸的座標點； 為魚眼對稱點座標y軸的座標點； 係為魚眼對稱點距離； 係為魚眼參數； 係為魚眼參數。

底下藉由具體實施例詳加說明，當更容易瞭解本發明之目的、技術內容、特點及其所達成之功效。

請參照第一圖與第二圖，以說明本發明之裝置架構，本發明之魚眼相機全自動校正裝置1包括一顯示裝置10以產生一真實影像；一魚眼攝影裝置20的鏡頭係對準顯示裝置10，以擷取顯示裝置10顯示的真實影像產生魚眼影像；一控制裝置30可為計算機或者任何形式的處理器，如中央處理器(Central Processing Unit，CPU)、數位訊號處理(Digital Signal Process，DSP)或微處理機控制單元(microprocessor control unit，MCU)，控制裝置30電性連接顯示裝置10以及魚眼攝影裝置20，以控制顯示裝置10顯示真實影像，以及擷取魚眼攝影裝置20上所產生的各項參數。

在上述說明完本發明之裝置後，接下來詳細說明本發明魚眼校正參數產生方法的步驟流程，請配合參照第一圖至第八圖，以說明本發明之方法流程圖，首先請參第四圖與步驟S10，控制裝置30控制顯示裝置10顯示一真實影像12，並在真實影像12中顯示一第一直線14。接著進入步驟S12並再次配合參照第四圖，透過魚眼攝影裝置20拍攝擷取顯示裝置10所顯示的真實影像12，以產生魚眼影像24，魚眼影像24中包括有對應第一直線14且為扭曲的一第一魚眼線條26；其中魚眼影像24係在控制裝置30中運算的虛擬影像，並不會真實的在顯示器中顯示，但本實施例為使說明更加明確，提供了顯示一虛擬的魚眼影像24來進行說明。接著進入步驟S14同時配合請參照第五圖，控制裝置30左右平移顯示裝置10所顯示真實影像12中的第一直線14，使魚眼影像24中的第一魚眼線條26成為一條直線；由於魚眼影像24係為扭曲的影像，因此魚眼影像24中的直線也會呈現扭曲的狀態，但值得注意的是，魚眼影像24的中間位置並不會使影像呈現扭曲的狀態，當魚眼影像24中的第一魚眼線條26呈現直線時，表示第一魚眼線條26係位於魚眼影像24的中間，因此本發明藉由移動真實影像12的第一直線14來調整第一魚眼線條26至魚眼影像24的中間，藉此來取得魚眼影像24中間的座標位置。

將第一魚眼線條26調整至魚眼影像24的中間後，進入步驟S16以及參照第六圖，控制裝置30控制顯示裝置10在真實影像12中產生一第二直線16，且第二直線16交叉於第一直線14上，其中第二直線16與第一直線14可互相垂直，但並非限定一定要互相垂直，只要第一直線14與第二直線16互相交叉，產生一個交叉點即可，同時魚眼攝影裝置20根據第二直線16在魚眼影像24中產生與第一魚眼線條26交叉的一第二魚眼線條28。接下來請參照步驟S18與第七圖，控制裝置30上下平移真實影像12中的第二直線16，使魚眼影像24的第二魚眼線條28成為一條直線；同上述理由，魚眼影像24的中間位置並不會使影像呈現扭曲的狀態，因此當第二魚眼線條28呈現直線時，表示第二魚眼線條28係位於魚眼影像24的中間，因此即可認定第一魚眼線條26與第二魚眼線條28的交叉點為魚眼影像24的中心，以擷取第一魚眼線條26與第二魚眼線條28的交叉點為中心交叉點a。

接下來請參照步驟S20與第八圖，控制裝置30控制顯示裝置10以真實影像12中第一直線14與第二直線16之交叉點b為對稱基準點，在第二直線16上顯示對稱的至少二對稱點18、18’，由於二對稱點18、18’係以對稱基準點對稱的兩點，因此二對稱點18、18’距離交叉點b的長度當然係相同的，同時魚眼攝影裝置20即可根據二對稱點18、18’在魚眼影像上顯示二魚眼對稱點29、29’。接著請繼續參照第八圖並進入步驟S22，控制裝置30以第一直線14與第二直線16的交叉點b為軸心旋轉真實影像12中夾帶對稱點18、18’的第二直線16，以藉由旋轉的方式調整魚眼影像24中魚眼對稱點29、29’的位置，使魚眼對稱點29與第一魚眼線條26的魚眼對稱點距離，以及魚眼對稱點29’與第一魚眼線條26的魚眼對稱點距離相同。最後進入步驟S24，控制裝置30擷取魚眼影像24中第一魚眼線條26與第二魚眼線條28的中心交叉座標，二魚眼對稱點29、29’的二魚眼對稱點座標以及二魚眼對稱點29、29’距離第一魚眼線條26的魚眼對稱點距離，以帶入魚眼參數方程式中，由於本實施例舉例具有二魚眼對稱點，因此在帶入魚眼參數方程式後，會產生兩個魚眼參數方程式，此時即可藉由二魚眼參數方程式產生聯立方程式求解得魚眼參數，其中魚眼參數方程式如下所示： 其中 係為中心交叉座標 軸的座標點； 係為中心交叉座標y軸的座標點； 係為魚眼對稱點座標 座標軸的座標點； 為魚眼對稱點座標y軸的座標點； 係為魚眼對稱點距離； 係為魚眼參數； 係為魚眼參數。計算出魚眼參數後控制裝置30會記錄此魚眼參數和魚眼影像的中心交叉座標，並利用魚眼參數和魚眼影像的中心交叉座標直接還原魚眼影像，以自動產生無失真的真實影像。

除了上述實施例之外，本發明更具有另一實施例，由於本實施例的裝置與步驟S10至步驟S18皆與上述實施例相同因此可配合參照請參照第一圖至第七圖，且因裝置與步驟S10至步驟S18皆與上述實施例相同，故不重複敘述，僅針對後續不同的步驟S20-步驟S24進行說明。進入步驟S20並同時參照第九圖，除了上述實施例在真實影像12的第二直線16上畫出對稱的二對稱點之外，控制裝置30更可在真實影像12的第二直線16上產生複數對稱點18、182、184、18’、182’、184’，其中對稱點18、18’係互相對稱、對稱點182、182’互相對稱、對稱點184、184’互相對稱，且複數對稱點18、182、184、18’、182’、184’之間可為等距或不等距，只要對應的二對稱點18、18’、對應的二對稱點182、182’與對應的二對稱點184、184’距離第一直線14相同即可。接著進入步驟S22並同時參照第九圖，控制裝置30以交叉點b為軸心旋轉真實影像12中第二直線16，以藉由旋轉的方式調整對稱點18、182、184、18’、182’、184’的位置，使魚眼攝影裝置20顯示的複數對稱的二魚眼對稱點29、29’與第一魚眼線條26的距離相同，同時魚眼對稱點292距離第一魚眼線條26的魚眼對稱點距離必須與魚眼對稱點292’距離第一魚眼線條26的魚眼對稱點距離相同，魚眼對稱點294的魚眼對稱點距離則須與魚眼對稱點294’的魚眼對稱點距離相同。最後進入步驟S24，控制裝置30擷取魚眼影像24中第一魚眼線條26與第二魚眼線條28中心交叉點a的中心交叉座標，複數魚眼對稱點29、292、294、29’、292’、294’的複數魚眼對稱點座標以及魚眼對稱點29、292、294、29’、292’、294’的複數魚眼對稱點距離第一魚眼線條26的魚眼對稱點距離，以帶入魚眼參數方程式，由於本實施例舉例具有複數魚眼對稱點，因此分別帶入魚眼參數方程式後，會產生複數魚眼參數方程式，以進行聯立方程式的計算，藉由多個魚眼參數方程式可增加魚眼參數的精準度。計算出魚眼參數後控制裝置30會記錄此魚眼參數和魚眼影像的中心交叉座標，並利用魚眼參數和魚眼影像的中心交叉座標直接還原魚眼影像，以自動產生無失真的真實影像。

綜上所述，本發明可透過擷取真實影像直接自動化的計算產生出魚眼影像的校正參數，使魚眼影像可透過魚眼參數自動化還原成無失真的真實影像，且本發明直接透過真實影像來校正，能有效降低操作難度，同時能也能提高魚眼校正參數的精準度。除此之外，本發明的結構簡單可取代昂貴的高精度機械設備，能有效降低製作成本。

唯以上所述者，僅為本發明之較佳實施例而已，並非用來限定本發明實施之範圍。故即凡依本發明申請範圍所述之特徵及精神所為之均等變化或修飾，均應包括於本發明之申請專利範圍內。

1‧‧‧魚眼相機全自動校正裝置 10‧‧‧顯示裝置 12‧‧‧真實影像 14‧‧‧第一直線 16‧‧‧第二直線 18‧‧‧對稱點 182‧‧‧對稱點 184‧‧‧對稱點 18’‧‧‧對稱點 182’‧‧‧對稱點 184’‧‧‧對稱點 20‧‧‧魚眼攝影裝置 24‧‧‧魚眼影像 26‧‧‧第一魚眼線條 28‧‧‧第二魚眼線條 29‧‧‧魚眼對稱點 292‧‧‧魚眼對稱點 294‧‧‧魚眼對稱點 29’‧‧‧魚眼對稱點 292’‧‧‧魚眼對稱點 294’‧‧‧魚眼對稱點 30‧‧‧控制裝置 a‧‧‧中心交叉點 b‧‧‧交叉點

第一圖係為本發明之魚眼校正參數產生裝置立體圖。 第二圖係為本發明之魚眼校正參數產生裝置方塊圖。 第三圖係為本發明之魚眼校正參數產生步驟流程圖。 第四圖至第八圖係為本發明操作魚眼校正參數產生裝置之連續狀態示意圖。 第九圖係為本發明另一實施例操作魚眼校正參數產生裝置之狀態示意圖。

Claims (7)

1. 一種魚眼相機全自動校正方法，包括下列步驟： 一顯示裝置產生一真實影像，該真實影像顯示有一第一直線； 透過一魚眼攝影裝置擷取該真實影像，以產生並顯示一魚眼影像，其包括對應該第一直線的一第一魚眼線條； 平移該真實影像中的該第一直線，使該魚眼攝影裝置顯示的該第一魚眼線條成為一條直線； 在該真實影像中產生一第二直線，且該第二直線交叉於該第一直線上，使該魚眼攝影裝置根據該第二直線在該魚眼影像中產生一第二魚眼線條； 平移該真實影像中的該第二直線，使該魚眼攝影裝置顯示的該第二魚眼線條成為一條直線，以擷取該第一魚眼線條與該第二魚眼線條的交叉點為中心交叉點； 以該第一直線與該第二直線之交叉點為對稱基準點，在該第二直線上顯示對稱的至少二對稱點，該魚眼攝影裝置根據該至少二對稱點產生至少二魚眼對稱點； 旋轉該第二直線，使該魚眼攝影裝置顯示的二該魚眼對稱點與該第一魚眼線條的距離相同；以及 擷取該魚眼影像中該中心交叉點的中心交叉座標，該二魚眼對稱點的該二魚眼對稱點座標以及至少一該魚眼對稱點距離該第一魚眼線條的魚眼對稱點距離，以帶入一魚眼參數方程式，以計算出魚眼參數，並根據該魚眼參數與該中心交叉座標校正該魚眼影像。
2. 如請求項1所述之魚眼相機全自動校正方法，其中該魚眼參數方程式如下所示： 其中該 係為該中心交叉座標 軸的座標點；該 係為該中心交叉座標y軸的座標點；該 係為該魚眼對稱點座標 座標軸的座標點；該 為該魚眼對稱點座標y軸的座標點；該 係為該魚眼對稱點距離；該 係為該魚眼參數；該 係為該魚眼參數。
3. 如請求項1所述之魚眼相機全自動校正方法，其中在該第二直線上畫出對稱的二對稱點之步驟，更包括在該真實影像中的該第二直線上產生複數對稱點。
4. 一種魚眼相機全自動校正裝置，包括： 一顯示裝置，顯示一真實影像； 一魚眼攝影裝置，擷取該真實影像，以產生並顯示一魚眼影像；以及 一控制裝置，電性連接該魚眼攝影裝置與該顯示裝置，該控制裝置控制該顯示裝置產生該真實影像，在該真實影像顯示一第一直線，使該魚眼攝影裝置對應該第一直線顯示出一第一魚眼線條，該控制裝置平移該顯示裝置顯示的該第一直線，使該魚眼攝影裝置顯示的該第一魚眼線條成為一條直線，該控制裝置控制該顯示裝置產生的該真實影像顯示一第二直線交叉於該第一直線上，使該魚眼攝影裝置根據該第二直線在該魚眼影像中產生一第二魚眼線條後，該控制裝置平移該真實影像中該第二直線，讓該魚眼攝影裝置顯示的該第二魚眼線條成為一條直線，以擷取該第一魚眼線條與該第二魚眼線條的交叉點為中心交叉點，該控制裝置再以該第一直線與該第二直線之交叉點為對稱基準點，在該第二直線上顯示對稱的至少二對稱點，該魚眼攝影裝置根據該至少二對稱點產生至少二魚眼對稱點，該控制裝置控制該顯示裝置旋轉該第二直線，使該魚眼影像中的二該魚眼對稱點與該第一魚眼線條的距離相同，該控制裝置再擷取該魚眼攝影裝置之該中心交叉點的中心交叉座標，該二魚眼對稱點的該二魚眼對稱點座標以及至少一該魚眼對稱點距離該第一魚眼線條的魚眼對稱點距離，以帶入一魚眼參數方程式，以計算出魚眼參數，並根據該魚眼參數與該中心交叉座標校正該魚眼影像。
5. 如請求項4所述之魚眼相機全自動校正裝置，其中該魚眼參數方程式如下所示： 其中該 係為該中心交叉座標 軸的座標點；該 係為該中心交叉座標y軸的座標點；該 係為該魚眼對稱點座標 座標軸的座標點；該 為該魚眼對稱點座標y軸的座標點；該 係為該魚眼對稱點距離；該 係為該魚眼參數；該 係為該魚眼參數。
6. 如請求項4所述之魚眼相機全自動校正裝置，其中該控制裝置更可控制該顯示裝置在該真實影像中的該第二直線上產生複數對稱點。
7. 如請求項4所述之魚眼相機全自動校正裝置，其中該控制裝置係為計算機。