TWI778368B - 車載鏡頭的自動校正方法以及車載鏡頭裝置 - Google Patents

車載鏡頭的自動校正方法以及車載鏡頭裝置 Download PDF

Info

Publication number
TWI778368B
TWI778368B TW109119151A TW109119151A TWI778368B TW I778368 B TWI778368 B TW I778368B TW 109119151 A TW109119151 A TW 109119151A TW 109119151 A TW109119151 A TW 109119151A TW I778368 B TWI778368 B TW I778368B
Authority
TW
Taiwan
Prior art keywords
correction
matrix
parameter
lane
image
Prior art date
Application number
TW109119151A
Other languages
English (en)
Other versions
TW202147820A (zh
Inventor
蔡孟倫
Original Assignee
威盛電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 威盛電子股份有限公司 filed Critical 威盛電子股份有限公司
Priority to TW109119151A priority Critical patent/TWI778368B/zh
Priority to CN202011097853.3A priority patent/CN112235488B/zh
Priority to US17/084,865 priority patent/US11580668B2/en
Publication of TW202147820A publication Critical patent/TW202147820A/zh
Application granted granted Critical
Publication of TWI778368B publication Critical patent/TWI778368B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Mathematical Optimization (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Non-Portable Lighting Devices Or Systems Thereof (AREA)

Abstract

本發明提出一種車載鏡頭的自動校正方法以及車載鏡頭裝置。自動校正方法包括以下步驟：藉由所述車載鏡頭以及當前外部參數矩陣取得車道影像，並且辨識在所述車道影像中的兩個車道線；將所述車道影像轉換為俯視車道影像，並且取得所述兩個車道線在所述俯視車道影像中的兩個投影車道線；依據所述兩個投影車道線來計算對應於所述當前外部參數矩陣的多個校正參數矩陣；以及依據所述多個校正參數矩陣來校正所述當前外部參數矩陣。

Description

車載鏡頭的自動校正方法以及車載鏡頭裝置
本發明是有關於一種鏡頭以及校正方法，且特別是有關於一種車載鏡頭的自動校正方法以及車載鏡頭裝置。
對於先進駕駛輔助系統(Advanced Driver Assistance System, ADAS)而言，先進駕駛輔助系統需透過車載鏡頭來取得車道影像，並且透過分析或辨識車道影像來產生相關輔助駕駛控制資訊。然而，一般的車載鏡頭是透過靜態調整的方式來進行校正。換言之，當車輛在行進中，並且裝載在車輛上的車載鏡頭發生位移、道路環境改變或設置誤差等情況時，車載鏡頭將無法即時提供有效的車道影像來進行分析或辨識，而導致先進駕駛輔助系統失效。有鑑於此，以下將提出幾個實施例的解決方案。
本發明提供一種車載鏡頭的自動校正方法以及車載鏡頭裝置可透過調整外部參數矩陣來自動校正車載鏡頭。
本發明的車載鏡頭的自動校正方法包括以下步驟：藉由所述車載鏡頭以及當前外部參數取得車道影像，並且辨識在所述車道影像中的兩個車道線；將所述車道影像轉換為一俯視車道影像，並且取得所述兩個車道線在所述俯視車道影像中的兩個投影車道線；依據所述兩個投影車道線來計算對應於所述當前外部參數矩陣的多個校正參數矩陣；以及依據所述多個校正參數矩陣來校正所述當前外部參數矩陣。
本發明的車載鏡頭裝置包括車載鏡頭、處理器以及處理器。所述車載鏡頭用以依據當前外部參數矩陣取得車道影像。所述處理器耦接所述車載鏡頭。所述記憶體耦接所述處理器。所述記憶體用以儲存多個模組供所述處理器讀取並執行之。所述處理器執行影像處理模組，以辨識在所述車道影像中的兩個車道線，並且將所述車道影像轉換為俯視車道影像，以取得所述兩個車道線在所述俯視車道影像中的兩個投影車道線。所述處理器執行影像校正模組，以依據所述兩個投影車道線來計算對應於所述當前外部參數矩陣的多個校正參數矩陣，並且依據所述多個校正參數矩陣來校正所述當前外部參數矩陣。
基於上述，本發明的車載鏡頭的自動校正方法以及車載鏡頭裝置可針對車道影像中的兩車道線來產生多個校正參數矩陣，並且可依據所述多個校正參數矩陣來校正當前外部參數矩陣，以自動進行車載鏡頭的調整。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
為了使本發明之內容可以被更容易明瞭，以下特舉實施例做為本發明確實能夠據以實施的範例。另外，凡可能之處，在圖式及實施方式中使用相同標號的元件/構件/步驟，係代表相同或類似部件。
圖1是依照本發明的一實施例的車載鏡頭裝置的方塊示意圖。參考圖1，車載鏡頭裝置100包括處理器110、車載鏡頭120以及記憶體130。處理器110耦接車載鏡頭120以及記憶體130。在本實施例中，記憶體130儲存多個模組供處理器110讀取並執行之。記憶體130可儲存影像處理模組131以及影像校正模組132。影像校正模組132可包括第一旋轉校正模組132_1、第二旋轉校正模組132_2以及位移校正模組132_3。具體而言，車載鏡頭120所取得的影像座標(
Figure 02_image001
)與世界座標(
Figure 02_image003
)之間的關係式如以下公式(1)，並且車載鏡頭120的成像平面座標(
Figure 02_image005
)與影像座標(
Figure 02_image001
)之間的關係式如以下公式(2)。
Figure 02_image007
為內部參數矩陣，並且
Figure 02_image009
為初始外部參數矩陣。在本實施例中，初始外部參數矩陣以及內部參數矩陣為預先建立並儲存在記憶體130之中。在本實施例中，處理器110可讀取並執行記憶體130的上述各模組，以計算多個校正矩陣參數來調整初始外部參數矩陣，以校正車載鏡頭120。
Figure 02_image011
，
Figure 02_image013
………公式(1)
Figure 02_image015
………公式(2)
在本實施例中，處理器110例如是中央處理單元(Central Processing Unit，CPU)，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor，DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits，ASIC)、可程式化邏輯裝置(Programmable Logic Device，PLD)或其他類似裝置或這些裝置的組合。在本實施例中，記憶體130例如是任何型態的固定式或可移動式隨機存取記憶體(Random Access Memory，RAM)、唯讀記憶體(Read-Only Memory，ROM)、快閃記憶體(Flash memory)或類似元件或上述元件的組合。在本實施例中，記憶體130用以記錄車載鏡頭120提供的影像以及預先儲存有多個模組來供處理器110讀取並執行之。
在本實施例中，車載鏡頭裝置100可為使用者將裝設在車輛的車用系統，且將車載鏡頭120設置在車輛外部或內部。當處理器110可車載鏡頭120所擷取的影像經校正後來進一步提供至車輛的車用系統進行相關輔助操作。在一實施例中，車載鏡頭裝置100亦可為行動裝置，例如手機。處理器110可例如是所述行動裝置的中央處理器。記憶體130可例如是所述行動裝置的儲存單元。車載鏡頭120可例如是所述行動裝置的攝影鏡頭。使用者可將所述行動裝置作為駕駛輔助系統來設置在車輛上。
圖2是依照本發明的一實施例的車載鏡頭的自動校正方法的流程圖。圖3A是依照本發明的一實施例的車道影像的示意圖。圖3B是依照本發明的一實施例的俯視車道影像的示意圖。參考圖1至圖3B，車載鏡頭裝置100可執行如圖2實施例的步驟S210~S240來實現車載鏡頭的自動校正，並且以下搭配圖3A的車道影像310以及圖3B的俯視車道影像320來輔助說明之。在步驟S210，車載鏡頭裝置100可藉由車載鏡頭120以及內部參數矩陣與初始外部參數矩陣來取得如圖3A的車道影像310，並且處理器110可執行影像處理模組131來辨識在車道影像310中的兩個車道線311、312。本領域人員可以理解現有多種的車道線辨識方法可以使用，在此不贅述。在步驟S220，處理器110可執行影像處理模組131來將車道影像310轉換為如圖3B的俯視車道影像320，並且取得兩個投影車道線321、322在俯視車道影像320中的兩個投影向量321P、322P。另外，需說明的是，在本說明書中圖3A的車道影像310是由成像平面座標來描述之，並且圖3B的俯視車道影像320是由世界座標來描述之，因此兩個投影車道線321、322可例如視為在X軸及Y軸的水平面方向上延伸，並且Z軸為垂直方向。
舉例而言，影像處理模組131可利用一個預先建立的轉換矩陣，來將車載鏡頭120所取得的車道影像310中的多個像素的位置轉換至俯視車道影像320中的對應位置。對此，所述轉換矩陣可例如是預先使用車載鏡頭120分別拍攝包括參考物件(例如是繪製地面上的定位格線或圖案)在內的第一影像，並使用配置於參考物件上方的另一獨立鏡頭拍攝包括相同參考物件在內的俯視視野的第二影像。然後，影像處理模組131可擷取第一影像中的參考物件的多個像素的位置做為目標位置，並擷取第二影像中的相同參考物件的多個對應像素的位置做為來源位置，據以解出轉換矩陣中的多個轉換係數。然而，本發明的轉換影像視野的方式不限於此。在一實施例中，車載鏡頭裝置100可包括不同位置的多個鏡頭，並且所述多個鏡頭所拍攝的影像可以使用相同或不同的轉換矩陣來轉換，以配合各鏡頭的角度與鏡頭參數。此外，在另一實施例中，車載鏡頭裝置100還可例如預先依據上述轉換矩陣建立各車道影像畫素映射(map)至各俯視車道影像畫素之一對應表(mapping table)，再由查表的方式進行轉換。另外，在又一實施例中，影像處理模組131還可針對車載鏡頭120所取得的車道影像310先進行魚眼校正後再轉換為俯視車道影像320。
再參考圖2，在步驟S230，處理器110可執行影像校正模組132，以依據前述的兩個投影車道線321、322來計算對應於初始外部參數矩陣的多個校正參數矩陣。在步驟S240，處理器110可執行影像校正模組132，以依據所述多個校正參數矩陣來校正車載鏡頭120的初始外部參數矩陣。因此，本實施例的自動校正方法，可有效地校正車載鏡頭120。並且，關於步驟S230、S240的矩陣計算將在以下圖4實施例來詳細說明之。
圖4是依照本發明的一實施例的計算多個校正矩陣的流程圖。圖5A是依照本發明的一實施例的經第一旋轉校正矩陣校正後的俯視車道影像的示意圖。圖5B是依照本發明的一實施例的經第二旋轉校正矩陣校正後的俯視車道影像的示意圖。圖5C是依照本發明的一實施例的經位移校正矩陣校正後的俯視車道影像的示意圖。參考圖3A至圖5C，車載鏡頭裝置100可執行如圖4實施例的步驟S410~S430來實現車載鏡頭的自動校正，並且以下搭配圖5A~圖5B的俯視車道影像的各階段的校正結果來輔助說明之。並且，本實施例的步驟S410~S430為上述圖2的步驟S230的計算多個校正參數矩陣的進一步說明。
在步驟S410中，處理器110可響應於使如前述的圖3B的俯視車道影像320中的兩個投影車道線321、322調整為相互平行，來計算第一旋轉校正矩陣。在本實施例中，第一旋轉校正矩陣可如以下公式(3)的矩陣，其中
Figure 02_image017
~
Figure 02_image019
為旋轉參數，並且
Figure 02_image021
~
Figure 02_image023
為位移參數。
Figure 02_image025
………公式(3)
在本實施例中，處理器110可設置對應於第一旋轉校正矩陣的優化函數來進行迭代運算，並且所述優化函數的目標為最小化兩個投影車道線321、322的兩個投影向量321P、322P之間的夾角(亦即使其彼此平行)。舉例而言，處理器110可建立如以下公式(4)的最小化公式，其中
Figure 02_image027
及
Figure 02_image029
為兩個投影車道線321、322的兩個投影向量321P、322P的單位向量。處理器110利用上述公式(3)來調整上述公式(1)的初始外部參數矩陣
Figure 02_image009
，以建立如以下公式(5)。
Figure 02_image031
………公式(4)
Figure 02_image033
………公式(5)
在本實施例中，由於第一旋轉校正矩陣的目的在於調整旋轉的物理量，因此位移參數
Figure 02_image021
~
Figure 02_image023
均為0。處理器110可利用圖3A當中已知的兩車道線311、312各別的兩個端點座標、公式(2)、公式(4)以及公式(5)來迭代計算旋轉參數
Figure 02_image017
~
Figure 02_image019
。在一實施例中，處理器110可以使用現有的最小平方法數學優化軟體來進行迭代計算，例如是Ceres Solver，但本發明不在此限。處理器110亦可使用其他數值方法來得到旋轉參數。對此，圖3B的俯視車道影像320經由計算出旋轉參數的第一旋轉校正矩陣來校正後，可呈現如圖5A的俯視車道影像510，其中俯視車道影像510中的兩個投影車道線511、512為平行，但是可能未平行於中央線510C。
在步驟S420中，處理器110可響應於使如前述的圖5A的俯視車道影像510中的兩個投影車道線511、512調整為平行於中心線510C，來計算第二旋轉校正矩陣。在本實施例中，第二旋轉校正矩陣可如以下公式(6)的矩陣，其中
Figure 02_image035
~
Figure 02_image037
為旋轉參數，並且
Figure 02_image039
~
Figure 02_image041
為位移參數。
Figure 02_image043
………公式(6)
在本實施例中，處理器110可設置對應於第二旋轉校正矩陣的優化函數來進行迭代運算，並且所述優化函數的目標為最小化兩個投影車道線511、512的兩個投影向量511P、512P與中心線510C的夾角(亦即使其平行於Y軸、垂直於X軸)。舉例而言，處理器110可建立如以下公式(7)的最小化公式，其中
Figure 02_image045
及
Figure 02_image047
為兩個投影車道線511、512的兩個投影向量511P、512P的單位向量而(1.0, 0.0, 0.0)為X軸上的單位向量。處理器110利用上述公式(6)來調整上述公式(5)的外部參數矩陣，以建立如以下公式(8)。
Figure 02_image049
………公式(7)
Figure 02_image051
………公式(8)
在本實施例中，由於第二旋轉校正矩陣的目的在於調整旋轉的物理量，因此位移參數
Figure 02_image039
~
Figure 02_image041
均為0。處理器110可利用圖3A當中已知的兩車道線311、312各別的兩個端點座標、公式(2)、公式(7)以及公式(8)來迭代計算旋轉參數
Figure 02_image035
~
Figure 02_image037
。在一實施例中，處理器110可以使用現有的最小平方法數學優化軟體來進行迭代計算，例如是Ceres Solver，但本發明不在此限。處理器110亦可使用其他數值方法來得到旋轉參數。對此，圖5A的俯視車道影像510經由計算出旋轉參數的第二旋轉校正矩陣來校正後，可呈現如圖5B的俯視車道影像520。俯視車道影像520中的兩個投影車道線521、522為平行，且分別平行於中心線520C(夾角為0度)，但兩個投影車道線521、522之間的距離可能不符合預設值，且可能分別與中心線520C之間的距離為非等距。
在步驟S430中，處理器110可響應於使如前述的圖5B的俯視車道影像520中的兩個投影車道線521、522之間的距離符合預設值(例如一般的車道線間距3.5~4.5公尺)(亦即校正車載鏡頭120的Z軸座標值)，並且可選地使兩個投影車道線521、522與中心線520C等距，來計算位移校正矩陣。在本實施例中，位移校正矩陣可如以下公式(9)的矩陣，其中
Figure 02_image053
~
Figure 02_image055
為旋轉參數，並且
Figure 02_image057
~
Figure 02_image059
為位移參數。
Figure 02_image061
………公式(9)
在本實施例中，處理器110可設置對應於位移校正矩陣的優化函數來進行迭代運算。在一實施例中，當具有高度參數(即車載鏡頭120在車輛上的設置位置與距離地面之間的距離，相當於其Z軸座標值)由外部輸入時，所述優化函數的目標為使Z軸座標值為該高度參數，並且可選地使中心線520C位於兩個投影車道線521、522的中央。舉例而言，處理器110可建立如以下公式(10)和(10a)的最小化公式，其中
Figure 02_image063
為使用者由外部輸入的高度參數、X1 為投影車道線521的X軸座標值、X2 為投影車道線522的X軸座標值(X軸原點位於中心線520C上)。處理器110利用上述公式(9)來調整上述公式(8)的外部參數矩陣，以建立如以下公式(11)。
Figure 02_image065
………公式(10)
Figure 02_image067
………公式(10a)
Figure 02_image069
………公式(11)
在本實施例中，由於位移校正矩陣的目的在於調整位移的物理量，因此旋轉參數
Figure 02_image053
~
Figure 02_image055
均為0。處理器110可利用圖3A當中已知的兩車道線311、312各別的兩個端點座標、公式(2)、公式(10)(可選地，以及公式(10a))以及公式(11)來迭代計算位移參數
Figure 02_image057
~
Figure 02_image059
。在一實施例中，處理器110可以使用現有的最小平方法數學優化軟體來進行迭代計算，例如是Ceres Solver，但本發明不在此限。處理器110亦可使用其他數值方法來得到位移參數。對此，圖5B的俯視車道影像520經由計算出旋轉參數的位移校正矩陣來校正後，可呈現如圖5C的俯視車道影像530。俯視車道影像530中的兩個投影車道線531、532為平行，且分別平行於中心線510C(夾角為0度)，其中車載鏡頭120與地面之間的距離符合高度參數(相當於兩個投影車道線531、532之間的距離符合預設值)，且可選地分別與中心線530C等距。
然而，在另一實施例中，當具有高度參數(即車載鏡頭120在車輛上的設置位置與距離地面之間的距離)未由外部輸入時，所述優化函數的目標為使兩個投影車道線521、522之間的距離符合預設值N(N可以例如是3.5~4.5公尺間的數值)，並且可選地使中心線520C位於兩個投影車道線521、522的中央。舉例而言，處理器110可建立如以下公式(12)的最小化公式。處理器110利用上述公式(11)來調整上述公式(8)的外部參數矩陣，以建立如以下公式(13)。
Figure 02_image071
………公式(12)
Figure 02_image069
………公式(13)
在本實施例中，由於位移校正矩陣的目的在於調整位移的物理量，因此旋轉參數
Figure 02_image053
~
Figure 02_image055
均為0。處理器110可利用圖3A當中已知的兩車道線311、312各別的兩個端點座標、公式(2)以及公式(12)(可選地，以及公式(10a))以及公式(13)來迭代計算位移參數
Figure 02_image057
~
Figure 02_image059
。在一實施例中，處理器110可以使用現有的最小平方法數學優化軟體來進行迭代計算，例如是Ceres Solver，但本發明不在此限。處理器110亦可使用其他數值方法來計算得到位移參數。對此，圖5B的俯視車道影像520經由計算出旋轉參數的位移校正矩陣來校正後，可呈現如圖5C的俯視車道影像530。俯視車道影像530中的兩個投影車道線531、532為平行，分別平行於中心線530C(夾角為0度)，其中於兩個投影車道線531、532之間的距離符合預設值，並且可選地分別與中心線530C等距。在另一實施例中，若車載鏡頭120已安裝於車身中心，或是若使用者不要求車道線必須與中心線等距，可以不進行上述使中心線520C位於兩個投影車道線521、522中央的優化步驟，亦即處理器110可不計算公式(10a)的最小化公式。
因此，在上述圖2的步驟S240，車載鏡頭裝置100的處理器110可針對車載鏡頭120所取得的當前車道影像來即時地計算如上述公式(3)的第一旋轉校正矩陣、公式(6)的第二旋轉校正矩陣以及公式(9)的位移校正矩陣，並且處理器110可將上述三個校正矩陣與上述公式(1)的初始外部參數矩陣
Figure 02_image009
依序進行矩陣乘法運算，以產生新的外部參數矩陣以取代公式(1)中原本的初始外部參數矩陣。並且，處理器110可依據新的外部參數矩陣來得到車載鏡頭120的下一張車道影像。在其他實施例中，也可視情況需要而僅計算第一旋轉校正矩陣、第二旋轉校正矩陣以及位移校正矩陣的其中一個或任兩個，以產生新的外部參數矩陣，且影像校正模組132中對應的各校正模組也可視情況需要而省略。例如，如果對使用者而言，車道線之間的距離不太重要，也可省略位移校正矩陣的計算。
圖6是依照本發明的另一實施例的車載鏡頭的自動校正方法的流程圖。參考圖1以及圖6，車載鏡頭裝置100可執行如圖6實施例的步驟S610~S650來對車載鏡頭進行自動動態校正。在步驟S610，車載鏡頭裝置100藉由車載鏡頭120依據當前外部參數矩陣取得當前車道影像。在步驟S620，處理器110計算當前車道影像所對應的多個校正參數矩陣。在本實施例中，處理器110可執行如上述圖4實施例的第一旋轉校正矩陣、第二旋轉校正矩陣以及位移校正矩陣的計算。在步驟S630，處理器110將當前車道影像所對應的多個校正參數矩陣轉換為多個減量校正矩陣。對此，由於車輛不一定一直筆直行駛在車道線正中間，因此本實施例不會直接就將當前的外部參數矩陣乘上各個校正參數矩陣做為下一個圖幀(frame)用的外部參數矩陣，而是將前述各個校正參數矩陣各自所要調整的物理量乘上一對應比例值後再用來調整外部參數矩陣。換言之，本實施例可漸進式地調整。對於位移校正矩陣來說，其所要調整的物理量是
Figure 02_image073
~
Figure 02_image075
所對應的在X軸、Y軸、Z軸上的位移量。對於旋轉校正矩陣來說，由於無法直觀地看出其所要旋轉的方向和角度，因此對於第一旋轉校正矩陣以及第二旋轉校正矩陣來說，其所要調整的物理量其實是
Figure 02_image077
子矩陣
Figure 02_image079
~
Figure 02_image081
所對應的一旋轉向量，其中旋轉向量的方向是旋轉軸，而其長度則是旋轉角度。
在本實施例中，處理器110可將第一旋轉校正矩陣以及第二旋轉校正矩陣各別的旋轉參數子矩陣經由羅德里格旋轉公式(Rodrigues' rotation formula)轉換為旋轉向量，並且將所述旋轉向量乘以比例值後，再反向轉換得到對應的減量校正矩陣。具體而言，處理器110可將第一旋轉校正矩陣或第二旋轉校正矩陣中的
Figure 02_image077
旋轉參數子矩陣
Figure 02_image079
~
Figure 02_image081
轉換為一
Figure 02_image083
旋轉向量，並將該旋轉向量乘上一個比例值(相當於縮減其旋轉角度)，再反向轉換回
Figure 02_image077
減量旋轉參數子矩陣
Figure 02_image085
~
Figure 02_image087
以取代第一旋轉校正矩陣或第二旋轉校正矩陣中原本的
Figure 02_image077
旋轉參數子矩陣
Figure 02_image079
~
Figure 02_image081
，以得到對應的減量校正矩陣。處理器110可將位移校正矩陣的位移參數子矩陣乘以比例值，以取得對應的減量校正矩陣。具體而言，處理器110可將位移校正矩陣中的
Figure 02_image083
位移參數子矩陣
Figure 02_image073
~
Figure 02_image075
乘上一個比例值(相當於縮減其位移量)得到減量位移參數子矩陣
Figure 02_image089
~
Figure 02_image091
以取代位移校正矩陣中原本的
Figure 02_image083
位移參數子矩陣
Figure 02_image073
~
Figure 02_image075
，以得到對應的減量校正矩陣。值得注意的是，各個校正參數矩陣所對應的比例值可以是相同或不同，且不同車道影像圖幀所對應的比例值也可為固定值或動態值，並且所述比例值介於0~1之間。在一實施例中，所述比例值可例如是固定值如0.01。在另一實施例中，所述比例值可例如是動態值，並且處理器110可依據當前車道影像圖幀所要調整的物理量經過先前多個車道影像圖幀後趨小(表示先前多個圖幀中校正參數矩陣調整對應物理量的趨勢是較可靠的)，而設定較大的比例值。反之，處理器110可依據當前車道影像圖幀所要調整的物理量經過先前多個車道影像圖幀後趨大(表示先前多個圖幀中校正參數矩陣調整對應物理量的趨勢是較不可靠的)，而設定較小的比例值。
在步驟S640，處理器110可依據所述多個減量校正矩陣以及當前外部參數矩陣來計算對應於下一車道影像圖幀的新的外部參數矩陣，亦即類似前述步驟S240將上述多個減量校正矩陣與當前外部參數矩陣依序進行矩陣乘法運算，以產生新的外部參數矩陣以取代原本的當前外部參數矩陣。在步驟S650，處理器110判斷是否符合停止校正條件。若否，則處理器110重新執行步驟S610以依據新的外部參數矩陣得到下一車道影像圖幀並再度進行校正。在本實施例中，可以是每隔一個或是多個圖幀進行一次校正。若是，則處理器110結束自動校正並得到一最終的外部參數矩陣，並在之後的車道影像圖幀中持續使用該最終的外部參數矩陣。換言之，由於車輛不一定筆直地行駛在車道的正中央，因此處理器110可將對應於車輛在行進過程中所連續取得的車道影像來逐一計算各別對應的第一旋轉校正矩陣、第二旋轉校正矩陣以及位移校正矩陣，並且將逐次所要調整的程度乘以特定比例值，以使漸進式地調整外部參數矩陣。在其他實施例中，也可以在處理器110偵測到車輛停止時(例如通過控制器區域網路匯流排(CAN bus, Controller Area Network bus)接收車輛的速度感測器所發出的訊號)暫時停止自動動態校正，等處理器110偵測到車輛繼續行進時再繼續自動動態校正。
值得注意的是，所述停止校正條件可例如是指已經調整了預設數量的車道影像圖幀數(例如5萬幀)、整體校正時間超過預設時間長度(例如10分鐘)、調整迭代次數超過預設迭代次數(例如5萬次)或對應於當前車道影像的第一旋轉校正矩陣、第二旋轉校正矩陣以及位移校正矩陣與前一次的各對應的校正矩陣之間調整的物理量的差值小於0.1等，但本發明並不限於此。
綜上所述，本發明的車載鏡頭的自動校正方法以及車載鏡頭裝置可適用於車輛為靜止或行進中的情境來自動進行車載鏡頭的外部參數矩陣的校正。本發明可針對當前車道影像所對應的當前外部參數矩陣來計算對應的第一旋轉校正矩陣、第二旋轉校正矩陣以及位移校正矩陣，並且產生新的外部參數矩陣，以有效地校正車載鏡頭。並且，本發明還可針對連續的多個車道影像進行動態校正，其中比例式地累積針對每次車道影像所計算的多個校正矩陣的調整量，而漸進式地調整車載鏡頭的拍攝結果，以增加其校正的準確度。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100:車載鏡頭裝置 110:處理器 120:車載鏡頭 130:記憶體 131:影像處理模組 132:影像校正模組 132_1:第一旋轉校正模組 132_2:第二旋轉校正模組 132_3:位移校正模組 310:車道影像 320、510、520、530:俯視車道影像 311、312、321、322、511、512、521、522、531、532:車道線 321P、322P、511P、512P:投影向量 510C、520C、530C:中央線 S210~S240、S410~S430、S610~S650:步驟 N:預設值 X、Y、Z:軸
圖1是依照本發明的一實施例的車載鏡頭裝置的方塊示意圖。 圖2是依照本發明的一實施例的車載鏡頭的自動校正方法的流程圖。 圖3A是依照本發明的一實施例的車道影像的示意圖。 圖3B是依照本發明的一實施例的俯視車道影像的示意圖。 圖4是依照本發明的一實施例的計算多個校正矩陣的流程圖。 圖5A是依照本發明的一實施例的經第一旋轉校正矩陣校正後的俯視車道影像的示意圖。 圖5B是依照本發明的一實施例的經第二旋轉校正矩陣校正後的俯視車道影像的示意圖。 圖5C是依照本發明的一實施例的經位移校正矩陣校正後的俯視車道影像的示意圖。 圖6是依照本發明的另一實施例的車載鏡頭的自動校正方法的流程圖。
100:車載鏡頭裝置
110:處理器
120:車載鏡頭
130:記憶體
131:影像處理模組
132:影像校正模組
132_1:第一旋轉校正模組
132_2:第二旋轉校正模組
132_3:位移校正模組

Claims (18)

  1. 一種車載鏡頭的自動校正方法，包括：藉由所述車載鏡頭以及一當前外部參數矩陣取得一車道影像，並且辨識在所述車道影像中的兩個車道線；將所述車道影像轉換為一俯視車道影像，並且取得所述兩個車道線在所述俯視車道影像中的兩個投影車道線；依據所述兩個投影車道線來計算對應於所述當前外部參數矩陣的多個校正參數矩陣；將所述當前車道影像所對應的所述多個校正參數矩陣分別轉換為對應的多個減量校正矩陣；以及依據所述多個減量校正矩陣以及所述當前外部參數矩陣來計算對應於下一車道影像的新的外部參數矩陣。
  2. 如請求項1所述的自動校正方法，其中所述多個校正參數矩陣包括一第一旋轉校正矩陣，並且依據所述兩個投影車道線來計算對應於所述當前外部參數矩陣的所述多個校正參數矩陣的步驟包括：響應於使所述俯視車道影像中的所述兩個投影車道線調整為相互平行，來計算所述第一旋轉校正矩陣。
  3. 如請求項2所述的自動校正方法，其中計算所述第一旋轉校正矩陣的步驟包括：利用一第一優化函數來計算所述第一旋轉校正矩陣，其中所述第一優化函數的目標為最小化所述兩個投影車道線之間的一夾 角。
  4. 如請求項1所述的自動校正方法，其中所述多個校正參數矩陣包括一第二旋轉校正矩陣，並且依據所述兩個投影車道線來計算對應於所述當前外部參數矩陣的所述多個校正參數矩陣的步驟包括：響應於使所述俯視車道影像中的所述兩個投影車道線調整為平行於一中心線，來計算所述第二旋轉校正矩陣。
  5. 如請求項4所述的自動校正方法，其中計算所述第二旋轉校正矩陣的步驟包括：利用一第二優化函數來計算所述第二旋轉校正矩陣，其中所述第二優化函數的目標為最小化所述兩個投影車道線與所述中心線的一夾角。
  6. 如請求項1所述的自動校正方法，其中所述多個校正參數矩陣包括一位移校正矩陣，並且依據所述兩個投影車道線來計算對應於所述當前外部參數矩陣的所述多個校正參數矩陣的步驟包括：響應於使所述俯視車道影像中的所述兩個投影車道線的間距調整為一預設值，來計算所述位移校正矩陣。
  7. 如請求項6所述的自動校正方法，其中計算所述位移校正矩陣的步驟包括：利用一第三優化函數來計算所述位移校正矩陣，其中當具有一高度參數由外部輸入時，所述第三優化函數的 目標為使所述車載鏡頭與所述兩個投影車道線的Z軸距離為所述高度參數，其中當未具有所述高度參數由外部輸入時，所述第三優化函數的目標為使所述兩個投影車道線的間距為一預設間距。
  8. 如請求項1所述的自動校正方法，其中將所述當前車道影像所對應的所述多個校正參數矩陣分別轉換為所述對應的多個減量校正矩陣的步驟包括：將所述校正參數矩陣中的一位移校正矩陣的一位移參數子矩陣乘以一比例值，以取得所述對應的減量校正矩陣。
  9. 如請求項1所述的自動校正方法，其中將所述當前車道影像所對應的所述多個校正參數矩陣分別轉換為所述對應的多個減量校正矩陣的步驟包括：將所述校正參數矩陣中的一旋轉校正矩陣的一旋轉參數子矩陣經由一羅德里格旋轉公式轉換為一旋轉向量，並且將所述旋轉向量乘以一比例值後再反向轉換成對應的減量旋轉參數子矩陣以取得所述對應的減量校正矩陣。
  10. 一種車載鏡頭裝置，包括：一車載鏡頭，用以依據一當前外部參數矩陣取得一車道影像；一處理器，耦接所述車載鏡頭；以及一記憶體，耦接所述處理器，並且用以儲存多個模組供所述處理器讀取並執行之，其中所述處理器執行一影像處理模組，以辨識在所述車道影 像中的兩個車道線，並且將所述車道影像轉換為一俯視車道影像，以取得所述兩個車道線在所述俯視車道影像中的兩個投影車道線，其中所述處理器執行一影像校正模組，以依據所述兩個投影車道線來計算對應於所述當前外部參數矩陣的多個校正參數矩陣，所述處理器將所述當前車道影像所對應的所述多個校正參數矩陣分別轉換為對應的多個減量校正矩陣，並且依據所述多個減量校正矩陣以及所述當前外部參數矩陣來計算對應於下一車道影像的新的外部參數矩陣。
  11. 如請求項10所述的車載鏡頭裝置，其中所述影像校正模組包括一第一旋轉校正模組，並且所述處理器執行所述第一旋轉校正模組，以響應於使所述俯視車道影像中的所述兩個投影車道線調整為相互平行，來計算所述多個校正參數矩陣中的一第一旋轉校正矩陣。
  12. 如請求項11所述的車載鏡頭裝置，其中所述處理器利用一第一優化函數來計算所述第一旋轉校正矩陣，並且所述第一優化函數的目標為最小化所述兩個投影車道線之間的一夾角。
  13. 如請求項10所述的車載鏡頭裝置，其中所述影像校正模組包括一第二旋轉校正模組，並且所述處理器執行所述第二旋轉校正模組，以響應於使所述俯視車道影像中的所述兩個投影車道線調整為平行於一中心線，來計算所述多個校正參數矩陣中的一第二旋轉校正矩陣。
  14. 如請求項13所述的車載鏡頭裝置，其中所述處理器利用一第二優化函數來計算所述第二旋轉校正矩陣，並且所述第二優化函數的目標為最小化所述兩個投影車道線與所述中心線的一夾角。
  15. 如請求項10所述的車載鏡頭裝置，其中所述影像校正模組包括一位移校正模組，並且所述處理器執行所述位移校正模組，以響應於使所述俯視車道影像中的所述兩個投影車道線的間距調整為一預設值，來計算所述位移校正矩陣。
  16. 如請求項15所述的車載鏡頭裝置，其中利用一第三優化函數來計算所述位移校正矩陣，其中當具有一高度參數由外部輸入時，所述第三優化函數的目標為使所述車載鏡頭與所述兩個投影車道線的Z軸距離為所述高度參數，其中當未具有所述高度參數由外部輸入時，所述第三優化函數的目標為使所述兩個投影車道線的間距為一預設間距。
  17. 如請求項10所述的車載鏡頭裝置，其中：所述處理器將所述校正參數矩陣中的一位移校正矩陣的一位移子參數矩陣乘以一比例值，以取得所述對應的減量校正矩陣。
  18. 如請求項10所述的車載鏡頭裝置，其中：所述處理器將所述校正參數矩陣中的一旋轉校正矩陣的一旋轉參數子矩陣經由一羅德里格旋轉公式轉換為一旋轉向量，並且將所述旋轉向量乘以一比例值後再反向轉換成對應的減量旋轉參 數子矩陣以取得所述對應的減量校正矩陣。
TW109119151A 2020-06-08 2020-06-08 車載鏡頭的自動校正方法以及車載鏡頭裝置 TWI778368B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW109119151A TWI778368B (zh) 2020-06-08 2020-06-08 車載鏡頭的自動校正方法以及車載鏡頭裝置
CN202011097853.3A CN112235488B (zh) 2020-06-08 2020-10-14 车载镜头的自动校正方法以及车载镜头装置
US17/084,865 US11580668B2 (en) 2020-06-08 2020-10-30 Automatic correction method for onboard camera and onboard camera device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109119151A TWI778368B (zh) 2020-06-08 2020-06-08 車載鏡頭的自動校正方法以及車載鏡頭裝置

Publications (2)

Publication Number Publication Date
TW202147820A TW202147820A (zh) 2021-12-16
TWI778368B true TWI778368B (zh) 2022-09-21

Family

ID=74112787

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109119151A TWI778368B (zh) 2020-06-08 2020-06-08 車載鏡頭的自動校正方法以及車載鏡頭裝置

Country Status (3)

Country Link
US (1) US11580668B2 (zh)
CN (1) CN112235488B (zh)
TW (1) TWI778368B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113847930A (zh) 2020-06-28 2021-12-28 图森有限公司 多传感器校准系统
US11960276B2 (en) 2020-11-19 2024-04-16 Tusimple, Inc. Multi-sensor collaborative calibration system
US11702089B2 (en) * 2021-01-15 2023-07-18 Tusimple, Inc. Multi-sensor sequential calibration system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN206623754U (zh) * 2017-02-14 2017-11-10 驭势科技（北京）有限公司 车道线检测装置
CN110211176A (zh) * 2019-05-31 2019-09-06 驭势科技（北京）有限公司 一种相机外参数校正系统与方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6107081B2 (ja) * 2012-11-21 2017-04-05 富士通株式会社 画像処理装置、画像処理方法及びプログラム
CN106740841B (zh) * 2017-02-14 2018-07-10 驭势科技（北京）有限公司 基于动态控制的车道线检测方法、装置及车载设备
CN106991703B (zh) * 2017-03-23 2019-08-09 西安晓农企业管理咨询合伙企业(有限合伙) 车辆摄像监控区域获取方法和系统
CN109741455B (zh) * 2018-12-10 2022-11-29 深圳开阳电子股份有限公司 一种车载立体全景显示方法、计算机可读存储介质及系统
CN109712194B (zh) * 2018-12-10 2021-09-24 深圳开阳电子股份有限公司 车载环视系统及其立体标定方法和计算机可读存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN206623754U (zh) * 2017-02-14 2017-11-10 驭势科技（北京）有限公司 车道线检测装置
CN110211176A (zh) * 2019-05-31 2019-09-06 驭势科技（北京）有限公司 一种相机外参数校正系统与方法

Also Published As

Publication number Publication date
CN112235488A (zh) 2021-01-15
US11580668B2 (en) 2023-02-14
TW202147820A (zh) 2021-12-16
CN112235488B (zh) 2022-06-10
US20210383570A1 (en) 2021-12-09

Similar Documents

Publication Publication Date Title
TWI778368B (zh) 車載鏡頭的自動校正方法以及車載鏡頭裝置
CN107633536B (zh) 一种基于二维平面模板的相机标定方法及系统
US9536306B2 (en) Vehicle vision system
US20140071227A1 (en) Image processor, image processing method and program, and imaging system
WO2019171984A1 (ja) 信号処理装置、信号処理方法、及び、プログラム
WO2022160266A1 (zh) 一种车载摄像头的标定方法、装置及终端设备
CN106570907B (zh) 一种相机标定方法及装置
CN110956585B (zh) 全景图像拼接方法、装置以及计算机可读存储介质
CN111489288B (zh) 一种图像的拼接方法和装置
CN112184827B (zh) 校准多个摄像机的方法及装置
CN112991465A (zh) 相机标定方法、装置、电子设备和计算机可读介质
CN112257698A (zh) 环视图车位检测结果的处理方法、装置、设备和存储介质
CN113029128A (zh) 视觉导航方法及相关装置、移动终端、存储介质
WO2023184869A1 (zh) 室内停车场的语义地图构建及定位方法和装置
CN113379845A (zh) 一种相机标定方法及装置、电子设备及存储介质
CN111627066A (zh) 一种摄像头的外参数调整方法及装置
US20180204351A1 (en) Image processing apparatus and image processing method
CN117745845A (zh) 一种外参信息确定方法、装置、设备和存储介质
CN111429529B (zh) 一种坐标转换的标定方法、电子设备以及计算机存储介质
WO2023168747A1 (zh) 基于域控制器平台的自动泊车的停车位标注方法及装置
US10771688B2 (en) Image processing device, driving support system, and image processing method
CN113375687B (zh) 基于平行约束的车道线消失点补偿的方法及系统、装置
CN115205388A (zh) 车载相机姿态矫正方法和装置、存储介质、电子设备
CN115439552A (zh) 一种多相机外参标定方法、装置及电子设备
CN118160319A (zh) 学习装置、学习方法、学习程序、摄像机参数算出装置、摄像机参数算出方法以及摄像机参数算出程序

Legal Events

Date Code Title Description
GD4A Issue of patent certificate for granted invention patent