TWI577970B - Object coordinate fusion correction method and calibration plate device thereof - Google Patents

Description

物體座標融合校正方法及其校正板裝置

本發明係為有關一種座標融合方法，特別是指一種可融合多種感測器所偵測物體座標之物體座標融合校正方法及其校正板裝置。

提昇行車安全係為交通運輸產業發展的重要的一環，因此使用周全的障礙物偵測演算法技術於車輛四周偵測行人、腳踏車、機車與汽車等，係為相當重要的技術。

目前各種車輛的感測系統之中，發展最成熟的系統為影像擷取系統及距離擷取系統，利用多種不同感測器的資訊進行融合，產生互補之效果，可達到良好的偵測效果，能有效的應用在障礙物的偵測系統中。然而，由於攝影機所擷取的影像，係透過內部參數以及外部參數等，來判斷障礙物的位置或深度等，但在利用攝影機計算出內部參數以及外部參數時，皆須以人工介入判斷，並做相關參數的設定。舉例來說，目前取得的攝影機內部參數以及外部參數的方法，係利用攝影機拍攝取得校正裝置的校正影像後，運用手動方式，擷取複數張校正影像中的複數特徵角點，藉此估算出攝影機的內部參數，當然估算攝影機外部參數的同時，亦須人工介入判斷並做相關之參數設定，流程不僅耗時且缺乏便利性。

有鑑於此，本發明遂針對上述習知技術之不便性，提出一種物體座標融合校正方法及其校正板裝置，以有效克服上述之該等問題。

本發明之主要目的在提供一種物體座標融合校正方法及其校正板裝置，其係可轉換不同系統的座標，將不同的系統座標融合，以於影像中呈現距離感測器所偵測出障礙物的座標，精確的估算出障礙物於影像中的位置。

本發明之另一目的在提供一種物體座標融合校正方法及其校正板裝置，其係可直接於對位裝置上設置多個特徵點，避免後續於影像手動設定特徵點，可加快計算流程速度。

為達上述之目的，本發明提供一種物體座標融合校正方法，步驟包括，首先，提供一校正板裝置，校正板裝置中央具有至少一中心反射元件，且中心反射元件的中央具有一中心特徵點；至少一距離感測器發出至少一距離感測訊號至中心反射元件，以取得中心反射元件之中心真實座標；利用一攝影機之外部參數以及內部參數建立一轉換方程式，將中心真實座標轉換為一中心影像座標；接著利用攝影機擷取校正板裝置之至少一校正影像，以搜尋校正影像中的複數中心特徵點，並將中心影像座標投射於校正影像上；最後使用估算演算法調整誤差，校正中心影像座標對準於校正影像中的中心特徵點上，以產生校正之內部參數與校正之外部參數。

另外，本發明亦提供一種使用於物體座標融合校正方法之校正板裝置，包括一板體上具有一對位圖案，且對位圖案上具有複數特徵點，以提供攝影機擷取複數校正影像，計算攝影機之內部參數以及外部參數，板體之對位圖案中央更設有一中心反射元件，其上具有一反射凹面，且反射凹面的中央更具有一中心特徵點。

底下藉由具體實施例詳加說明，當更容易瞭解本發明之目的、技術內容、特點及其所達成之功效。

請參照第一圖、第二A圖至第二C圖，如第一圖所示，其係為應用於定位融合方法之系統，包括一校正板裝置10，一處理器30電性連接一攝影機32以及距離感測器34。其中校正板裝置10如第二A圖以及第二B圖所示，校正板裝置10包括一板體12係為塑膠板體，板體12上具有一對位圖案14，本實施例舉例對位圖案14為黑白方格相間排列的棋盤狀對位圖案，且對位圖案14上具有複數特徵點16，其係可為發光二極體，可發出光線，亦或可以其他可產生特徵點之方式替代，如與對位圖案14之顏色不同的貼紙，本實施例係舉例特徵點16係發光二極體，特徵點16可提供攝影機32擷取複數校正影像後，不須使用手動定義特徵點，只需透過特徵點16所產生的光，搭配特定光源特徵搜尋演算法，即可直接找到特徵點16，以利於計算攝影機32之內部參數以及外部參數。板體12的對位圖案14中央上更具有一中心反射元件18，其上具有一反射凹面181，中心反射元件18係為三角形金屬中心反射元件，如不鏽鋼材質，且反射凹面181中央更具有一中心特徵點20，中心特徵點20亦係為發光二極體。其中上述的所有發光二極體皆可發出紅色、藍色或綠色，以根據外部光線的不同，產生與外部光線對比的光線，以明顯的顯示特徵點。請配合參照第二B圖以及第二C圖，板體12上且相對於對位圖案14之另一表面具有一切換開關控制器22，切換開關控制器22電性連接發光二極體的特徵點16以及中心特徵點20，以開關並切換特徵點16以及中心特徵點20所發射之光源的顏色，因此即可根據環境的狀態來改變特徵點16以及中心特徵點20所發射之光源的顏色，如在紅外光線較多的環境下，可使用發出藍色光的特徵點16以及中心特徵點20，使特徵點16以及中心特徵點20能突出，以利攝影機32辨識；板體12上且相對於對位圖案14之另一表面更具一儲能元件24，電性連接特徵點16以及中心特徵點20以及切換開關控制器22，以提供電能至特徵點16、中心特徵點20以及切換開關控制器22；板體12上且相對於對位圖案14之另一表面，更具有二把手桿26，提供使用者透過把手桿26拿取校正板裝置10。

請接續參照第一圖以及第二A圖，攝影機32係用以拍攝校正板裝置10之對位圖案14的影像，以產生複數校正影像，將校正影像提供給處理器30，使處理器30尋找出校正板裝置10之複數特徵點16，以針對校正影像及真實空間的對應關係，求出攝影機32的內部參數以及外部參數；一距離感測器34則係為雷達感測器或雷射感測器，可發出一距離感測訊號至中心反射元件18的反射凹面181上，以取得校正板裝置10的反射凹面181之真實空間的座標。

在上述說明完應用於系統定位融合方法之系統後，接續說明本發明之系統定位融合方法步驟流程，請參照第一圖至第三圖，系統定位融合方法首先進入步驟S10，提供一校正板裝置10，其校正板裝置10之結構如上述，故不重複敘述；接著進入步驟S12，距離感測器34發出至少一距離感測訊號至校正板裝置10的中心反射元件18的反射凹面181，以取得反射凹面181之中心真實座標；接著進入步驟S14，利用攝影機32之外部參數以及內部參數建立一轉換方程式，將中心真實座標轉換為可投影於影像中的一中心影像座標，其中轉換方程式(1)如下所示： P _I= H _I·H _E·P _D(1) 其中P _I係為中心影像座標；P _D係為中心真實座標；H _I係為內部參數(Intrinsic Parameter)；H _E係為外部參數(Extrinsic Parameter)。

上述攝影機32之內部參數以及外部參數係透過攝影機32擷取校正板裝置10之複數校正影像後，透過參數校正軟體Caltech Camera Calibration Toolbox的判斷所產生，Caltech Camera Calibration Toolbox係為加州理工學院所發展的攝影機校正工具，可尋找出校正板裝置10上的複數特徵點16後，在比對校正影像及真實空間的對應關係，取得水平的焦距尺度係數、垂直的焦距尺度係數、影像座標中心點、旋轉矩陣與平移矩陣、軸的角度參數等，藉此求出攝影機32的內部參數以及外部參數。

其中內部參數的目的是將攝影機32的座標，轉換到影像座標，即係為攝影機模型之三維座標轉換至二維之影像空間座標，其中內部參數係透過一內部參數方程式取得，內部參數方程式(2)如下所示： (2) 其中H _I係為內部參數； 係為水平的焦距尺度係數； 係為垂直的焦距尺度係數； 與 為影像座標中心點。

外部參數的目的係將真實的三維座標系統空間的座標轉換成三維攝影機座標系統，本發明之外部參數更包括了攝影機32與距離感測器34的相對位置，將攝影機32與距離感測器34的相對位置帶入外部參數中，外部參數方程式(3)係如下所示： (3) 其中H _E係為外部參數；其中 與 分別表示旋轉矩陣與平移矩陣； 為攝影機座標系統相對於距離感測器座標系統 軸的角度參數； 為攝影機與距離感測器安裝的相對水平、垂直與深度距離。

因此，當距離感測器34取得一真實的座標位置時，即可透過轉換方程式(1)，將中心真實座標轉換成中心影像座標，以投射在影像空間中，而瞭解在影像空間上實際之物體位置。

在步驟S14轉換完成中心影像座標之後，進入步驟S16，利用攝影機32擷取校正板裝置10之至少一校正影像，以搜尋校正影像中校正板裝置10的中心特徵點20，並將上述轉換後的中心影像座標投射於校正影像上，由於中心影像座標在上述轉換的過程中可能因為參數的設定，或其他不確定的因素，導致中心影像座標轉換誤差，使中心影像座標投影至校正影像時，無法準確的投影在校正影像的中心特徵點20上，因此為了使中心影像座標可準確的投影在校正影像的中心特徵點20，接續進入步驟S18，本實施例使用估算演算法調整誤差，校正中心影像座標對準於校正影像的中心特徵點，同時產生出校正的內部參數與校正的外部參數。本實施例係舉例使用蒙地卡羅演算法(Monte Carlo Algorithm)進行校正，例如估算出來的外部參數以及內部參數皆為產生誤差值： ，假設 為第一次估計出來的攝影機內部與外部參數，其中 並假設目前一共擷取出來 張影像，運用自動擷取特徵方法可瞭解距離感測器34之距離感測訊號打在校正板裝置10上的位置 ，並已知距離感測器34所得到反射凹面181中心真實座標為 。以 計算中心影像座標影為 ，因此可得第一次結果總誤差為 ，下一步為運用蒙地卡羅演算法(Monte Carlo Algorithm)，從外部參數以及內部參數的誤差範圍任意挑參數 ，其中 、 、 、 、 、 、 、 、 、 、 、 、 、 、 與 更新後可從重新計算出新的影像投影點座標 ，可得新誤差 ，最後 =arg min ，可得 為校正的內部與外部參數。之後產生的校正之外部參數以及校正之內部參數即可再次帶入於轉換方程式(1)中，以更新內部參數以及外部參數，使座標轉換時能夠更加的準確。

因此透過上述之方法可將距離感測器34所計算的距離準確的與影像結合，故可相當精確的判斷出障礙物的位置及距離，使本發明可有效應用於自主煞車輔助系統與自主駕駛車等系統。

綜上所述，本發明可轉換不同系統的座標，將不同的系統座標融合在一系統中，能有效的在影像中呈現距離感測器所偵測出障礙物的座標，精確的估算出障礙物於影像中的位置。除此之外，本發明更可直接於對位裝置上設置多個特徵點，避免後續人工在影像中手動設定特徵點，因此本發明在計算參數時，可加快計算流程速度並於系統中加強可信度。

唯以上所述者，僅為本發明之較佳實施例而已，並非用來限定本發明實施之範圍。故即凡依本發明申請範圍所述之特徵及精神所為之均等變化或修飾，均應包括於本發明之申請專利範圍內。

10‧‧‧校正板裝置

12‧‧‧板體

14‧‧‧對位圖案

16‧‧‧特徵點

18‧‧‧中心反射元件

181‧‧‧反射凹面

20‧‧‧中心特徵點

22‧‧‧切換開關控制器

24‧‧‧儲能元件

26‧‧‧把手桿

30‧‧‧處理器

32‧‧‧攝影機

34‧‧‧距離感測器

第一圖係為本發明之系統方塊圖。 第二A圖係為本發明之校正板裝置正視圖。 第二B圖係為本發明之校正板裝置後視圖。 第二C圖係為本發明之校正板裝置之系統方塊圖。 第三圖係為本發明之系統定位融合方法流程圖。

Claims (11)

1. 一種物體座標融合校正方法，包括下列步驟：提供一校正板裝置，該校正板裝置中央具有至少一中心反射元件，其中央具有一中心特徵點；至少一距離感測器發出至少一距離感測訊號至該中心反射元件，以取得該中心反射元件之中心真實座標；利用一攝影機之外部參數以及內部參數建立一轉換方程式，將該中心真實座標轉換為一中心影像座標，其中該轉換方程式如下所示：P_I=H_I．H_E．P_D其中該P_I係為該中心影像座標；該P_D係為該中心真實座標；該H_I係為該內部參數；該H_E係為該外部參數；利用該攝影機擷取該校正板裝置之至少一校正影像，以搜尋該校正影像中的該中心特徵點，並將該中心影像座標投射於該校正影像上；以及使用估算演算法調整誤差，校正該中心影像座標對準於該校正影像中的該中心特徵點上，以產生校正之該內部參數與校正之該外部參數。
2. 如請求項1所述之物體座標融合校正方法，其中使用估算演算法調整誤差之步驟係使用蒙地卡羅演算法(Monte Carlo Algorithm)進行校正，以調整該攝影機之該內部參數以及該外部參數，產生校正之該內部參數與校正之該外部參數。
3. 如請求項1所述之物體座標融合校正方法，其中該內部參數以及該外部參數係透過該攝影機擷取該校正板裝置之複數校正影像，並尋找出該校正板裝置之複數特徵點在該校正影像中及真實空間的對應關 係，以求出該攝影機的該內部參數以及該外部參數。
4. 如請求項3所述之物體座標融合校正方法，其中該外部參數更包括該攝影機與該距離感測器的相對位置。
5. 如請求項1所述之物體座標融合校正方法，其中該距離感測器係為雷達感測器或雷射感測器。
6. 如請求項1所述之物體座標融合校正方法，其中該中心反射元件係具有一反射凹面。
7. 一種使用於物體座標融合校正方法之校正板裝置，包括：一板體，其上具有一對位圖案，且該對位圖案上具有複數特徵點，提供攝影機擷取複數校正影像，以計算該攝影機之內部參數以及外部參數；以及一中心反射元件，設置於該對位圖案中央，且該中心反射元件具有一反射凹面，且中央更具有一中心特徵點，其中該中心反射元件係為金屬三角形中心反射元件。
8. 如請求項7所述之校正板裝置，其中該等特徵點以及該中心特徵點係為發光二極體。
9. 如請求項8所述之校正板裝置，更包括：一切換開關控制器，設置於該板體上，並電性連接該等發光二極體，以開關且可切換該等發光二極體所發射之光源的顏色；以及一儲能元件，設置於該板體上，並電性連接該等發光二極體以及該切換開關控制器，以提供電能至該等發光二極體以及該切換開關控制器。
10. 如請求項9所述之校正板裝置，其中該發光二極體可發出紅色、藍色或綠色。
11. 如請求項7所述之校正板裝置，其中該板體上且相對於該對位圖案之另一表面，更具有二把手桿。