TWI264682B - Video image positional relationship correction apparatus, steering assist apparatus having the video image positional relationship correction apparatus and video image positional relationship correction method - Google Patents

Video image positional relationship correction apparatus, steering assist apparatus having the video image positional relationship correction apparatus and video image positional relationship correction method Download PDF

Info

Publication number
TWI264682B
TWI264682B TW093135012A TW93135012A TWI264682B TW I264682 B TWI264682 B TW I264682B TW 093135012 A TW093135012 A TW 093135012A TW 93135012 A TW93135012 A TW 93135012A TW I264682 B TWI264682 B TW I264682B
Authority
TW
Taiwan
Prior art keywords
video image
actual
monitor
coordinates
target
Prior art date
Application number
TW093135012A
Other languages
English (en)
Other versions
TW200525454A (en
Inventor
Kazunori Shimazaki
Original Assignee
Toyota Ind Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Ind Corp filed Critical Toyota Ind Corp
Publication of TW200525454A publication Critical patent/TW200525454A/zh
Application granted granted Critical
Publication of TWI264682B publication Critical patent/TWI264682B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Description

1264682 九、發明說明: 【發明所屬之技術領域】 本發明揭示一種視頻(v i d e 〇 )影像位置關係校正設備,及 用於校正實際視頻影像及虛擬視頻影像間之視頻影像位置 關係校正方法。進一步,本發明也揭示一種具有視頻影像位 置關係校正設備之駕駛輔助設備(steering assist apparatus) ◦ 【先前技術】 習用上,如日本專利第J P 2 0 0 2 - 2 5 1 6 3 2所述已開發用 於輔助駕駛作業之駕駛輔助設備,其使用C C D照相機來拍 攝在車輛後面之實際視頻影像,在監視器屏幕上顯示所拍 攝視頻影像,而且根據感測器所檢測輪胎導向角度等之資 訊’以重疊所拍攝視頻影像及預定駕駛路徑在監視器屏幕 上’使得在車輛向後移動時來顯示預定駕駛路徑在監視器 屏幕上。例如,使用駕駛輔助設備,駕駛人可在監視器屏 幕上看見預定駕駛路徑,而在停車空間內實施車輛之並排 停車(parallel parking)。 然而,當構成C C D照相機之透鏡的光軸沒有對齊C C d 區域感測器之中心時,或如果C C D照相機沒有安裝到在車 輛之適當位置處,則在車輛後面之影像中心及用於劃出預 定駕駛路徑之監視器屏幕中心沒有在監視器屏幕上相互地 相配。因此,預定駕駛路徑會和在車輛後面處之影像的適 當位置關係來偏離。 在本情形下,不可能實施所期望之車輛的向後移動或 甚至沿著預定駕駛路徑之車輛停車。因此,大致上,實施 1264682 在C C D區域感測器及透鏡(光軸之調整)間之相對位置關係 的調整,而且對每一車輛來調整C C D照相機之安裝條件 (attachment condition),使得CCD照相機根據參考點來適 當地安裝到車輛。 【發明內容】 發明所要解決之問顆 然而’上述光軸調整在透鏡組裝時,以實際調整透鏡 之位置來實施。因此,難於以高精確度地實施光軸之調整 。進一步,爲了獲得較高精確度,需負擔極大成本。 本發明實施來克服這些習知問題,而且本發明之目的 在提供一種視頻影像位置關係校正設備及其方法,使得其 可適當地校正在實際視頻影像及虛擬視頻影像間之位置關 係,而不需要光軸之實際調整。 進一步’本發明之另一目的在提供一種駕駛輔助設備 ,其具有此種視頻影像位置關係校正設備。 解決問題之方案 根據本發明,一種用於校正照相機所拍攝實際視頻影 像及虛擬視頻影像兩者間相對位置關係之設備,使用於視 頻影像顯示裝置,來使得實際視頻影像及虛擬視頻影像在 監視器屏幕上重疊,包括:實際目標,以實際座標系統設 定在照相機所拍攝區域內;座標轉換裝置,根據包括照相 機本身之內部參數(i n t e r n a 1 p a r a m e t e r )及安裝照相機到車 輛之安裝梦數(a 11 a c h m e n t p a l. a m e t e ι·)的座標轉換參數參考 値,以在實際座標系統內實際目標之實際座標的座標轉換 -7- 1264682 。在監視器屏幕上理論性地獲得監視器座標系統之監視器 座標;識別裝置,用於識別照相機所實際地拍攝之實際目 標影像之監視器座標·,及校正裝置’根據照相機所實際拍 攝實際目標影像之監視器座標及實際目標已經座標轉換之 監視器座標系統內所對應監視器座標兩者間偏差値 (deviation),來校正座標轉換參數之至少照相機本身內部 參數値,而且根據座標轉換裝置之校正値,來校正在實際 視頻影像及虛擬視頻影像間之相對位置關係;校正裝置產 生相關數學式(relati〇nal expression)之式數,其式數大於 根據實際目標影像之監視器座標及在實際目標監視器座標 系統內經過座標轉換監視器座標座標轉換參數個數,座標 轉換參數校正使得偏差値之平方和(square sum)最小;實際 目標數決定,使得相關數學式之式數大於需要校正的座標 轉換參數個數。 根據本發明,駕駛輔助設備包括上述視頻影像位置關 係校正設備’其中實際視頻影像及虛擬視頻影像分別是在 車輛及導向輔助引導器後之視頻影像。 進一步’根據本發明,當重疊實際視頻影像及虛擬視 頻影像在監視器屏幕上時,校正在照相機所拍攝實際視頻 影像及虛擬視頻影像兩者間相對位置關係的一種方法,包 含下列步驟:以照相機拍攝在實際座標系統中之實際目標 ;根據包括照相機本身之內部參數及安裝照相機到車輛之 女裝參數的座標轉換參數參考値,以實際座標系統中實際 目標之實際座標的座標轉換,理論性地在監視器屏幕上獲 1264682 得在監視器座標系統中之監視器座標;識別以照相機實際 拍攝之實際目標影像之監視器座標;根據實際目標影像之 監視器座標及在實際目標監視器座標系統中經過座標轉換 之監視器座標兩者間的偏差値,產生相關數學式,相關數 學式之式數大於所要校正座標轉換參數包括座標轉換參數 之至少照相機本身內部參數的數;校正座標轉換參數使得 偏差値之平方和最小;及根據所校正座標轉換參數値來校 正在實際視頻影像及虛擬視頻影像間相對位置關係。 【實施方式】 在下文中’本發明之實施例將參照附圖來詳細說明。 在下文中參照附圖所述實施例中,根據本發明之視頻 影像位置關係校正設備,使用來校正在車輛及車輛所使用 駕駛輔助設備之導向輔助引導器兩者背後處視頻影像間的 視頻影像位置關係。 第一實施例 第1圖是根據第一實施例之視頻影像位置關係校正設 備安裝到車輛的條件圖示。將拍攝車輛背後處之視頻影像 的C C D照相機2安裝到車輛1之背後部。在車輛1背後處 之道路表面上,描繪在預定位置處設定之參考點p i至P 6 來作爲實際目標。 第2圖是視頻影像位置關係校正設備之結構。CCD照 相機2包括透鏡3、CCD區域感測器4及信號處理1C 5。 信號處理IC 5連接到重疊電路6。重疊電路6連接到車輛 1之駕駛座位前所配置的監視器7。進一步,理論繪圖電路 1264682 (thewetical drawing circuit)8連接到重疊電路6。控制器9 連接到理論繪圖電路8。 控制器9提供所在位置係鄰接車輛駕駛座位前的監視 器7。如第3圖所示,控制器9包括以駕駛員操作來輸入 向上方向、向下方向、向左方向及向右方向之校正量的方 向按鈕1 0、決定按鈕1〗及計算按鈕1 2。 理論繪圖電路8根據本發明作用爲座標轉換裝置。理 論繪圖電路8及控制器9作用爲識別裝置及校正裝置。 同時’如第1圖所示,假設包括原點〇、正y軸方向 、正X軸方向及正z軸方向之路面座標系統(實際座標系統) 。原點0是在地上之一點,界定自後軸之中心的垂直線延 伸到路面。正y軸方向界定在朝向車輛1背後之水平方向 。正X軸方向界定在車輛!之左側上的水平方向,而正z 軸方向界定在車輛1之上側上的垂直方向。 第4圖是CCD照相機2所拍攝車輛背後處及在監視器 7之屏幕上所顯示的視頻影像(鏡像)。視頻影像顯示車輛1 之後保險桿(rear lump er)13。假設包括正X軸方向及正y 軸方向之監視器座標系統。正X軸方向界定在屏幕之右側 上的水平方向。正y軸方向界定在屏幕上側上之垂直方向 〇 在實施路面座標系統及監視器座標系統間之座標轉換 中’設定包括安裝C C D照相機2到車輛1之安裝參數的座 標轉換參數及CCD照相機2本身之內部參數。 首先’下述參數視爲安裝參數。當C C D照相機2根據 1264682 參考點來安裝到車輛1時,C C D照相機2以包含傾斜角度ω 、方向角度r及旋轉角度0之參考安裝角度,來裝配在道路 座標系統所表示座標點(x,y,z)的參考安裝位置處。傾斜角度 ω是自y軸方向向下傾斜之角度。方向角度τ是自平面平行 於xy平面之負y軸方向傾斜的角度。旋轉角度Θ是使得cCD 照相機2在透鏡3光軸周圍來旋轉之安裝角度。 然而’實際上,c C D照相機2安裝到車輛,具有相對 篸#點之女裝誤差値。其假設C C D照相機2以包含傾斜角 度ω +△ ω、方向角度r +△ r及旋轉角度0 $之傾斜角 度的安裝角度,來裝配在路面座標系統內的座標點(χ + △ x,y + Ay,z + /\z)。這些參數 χ + Αχ、y + Ay、Ζ + Λζ、 是安裝CCD照相機2之安裝參數。 進一步,內部參數可包括:位置偏差量ACx,表示在 正X軸方向中CCD區域感測器4之中心相對透鏡3之光軸 的偏差値,位置偏差量ACy,表不在正y軸方向中CCD區 域感測益4之中心相對透鏡3之光軸的偏差値;c C D照相 機2之焦點距離f+A f ;及失真常數Da、Db、Dc。 失真常數Da、Db、Dc是使用在下述用於定義失真係 數D之方程式中。 D = [(r-rO)/rO]xl 〇〇 = Daxr2 + Dbxr + Dc 其中rO是不用考慮失真所決定之影像高度,r是考慮 失真所決定之影像高度,影像高度自光軸(自透鏡中心點延 伸線)及C C D區域感測器表面之交點到C C d區域感測器上 目標點的距離來表示。 -11- 1264682 進一步,除了這些安裝參數及內部參數之外,座標轉 換參數可包括對監視器屏幕7之轉換常數。轉換常數是x_ 軸放大係數、在X _軸方向之位置偏差値、γ _軸放大係數及 在Y-軸方向之位置偏差値。 例如,這些參數具有在實施例中所修改之下列9個參 數: 傾斜角度ω+Λω 、方向角度7+八7 、旋轉角度0 + △ 0、失真常數Da和Db、X-軸放大係數、在X-軸方向之 位置偏差値、Y-軸放大係數及在Y-軸方向之位置偏差値。 很難根據其他參數直接地量測這些參數及計算這些參 數。 其次’將說明根據本實施例之視頻影像位置關係校正 設備的作業。 首先,經過透鏡3以CCD區域感測器4來拍攝包括做 爲實際目標之參考點P 1至P 6的實際視頻影像。將表示以 C C D區域感測器4所拍攝到之實際影像之信號傳送到信號 處理1C 5,而且輸出到重疊電路6。進一步,將表示虛擬 目標之點R 1至R 6之信號自理論繪圖電路8輸入到重疊電 路6。 同時,將說明在理論繪圖電路8之虛擬目標點R1至 R6的偏差値。在道路表面上之參考位置P1至P6預先決定 ,而且車輛 1對這些參考點 P1至 p6之停止位置(st0P ρ 〇 s i t i ο η )也預先決定。因此,在沒有考慮道路座標系統之 誤差値來決定校正前,個別虛擬目標點R 1至R6理論上根 -12- 1264682 據座標轉換參數來獲得。理論繪圖電路8將理論上如同在 監視器座標系統中虛擬目標點R 1至R6座標資料的方式所 決定座標來輸出到重疊電路6。 在重疊電路6中,根據表示實際影像之信號及表示自 理論繪圖電路8所輸出之虛擬目標點R 1至R6的座標表面 ’實際影像及以點線所繪虛擬目標點R 1至R6重疊在監視 器7之屏幕上。同時,如果CCD照相機2之安裝參數及內 部參數及對監視器7之屏幕的轉換常數是理想値,則在監 視器屏幕上表示實際所拍攝視頻影像參考點Q 1至Q 6之位 置及虛擬目標點R 1至R 6之位置,相互地在監視器7之屏 幕上重疊。然而,例如,如果CCD照相機2對參考點安裝 具有安裝誤差値,或如果CCD照相機2之透鏡3的光軸沒 有對齊C C D區域感測器4之中心,如第2圖所示,視頻影 像參考點Q 1至Q 6之位置偏離所期望位置,即,在校正前 理論上根據座標轉換參數所決定虛擬目標點R 1至R6之位 置。 在本情形中,駕駛員操作控制器9之方向按鈕1 〇,使 得虛擬目標點R 1初始地重疊在目標參考點Q 1上。方向按 鈕1 〇所輸入虛擬目標點R 1之移動量輸入到理論繪圖電路 8。然後,當虛擬目標點R 1重疊在視頻影像參考點Q 1上 時,如果駕駛員按下決定按鈕11,則決定按鈕1 1之信號 輸入到理論繪圖電路8。如此,理論繪圖電路8識別在監 視器座標系統之視頻影像參考點Q 1的座標。以重覆操作來 連續地移動虛擬目標點R2至R6,理論繪圖電路8識別在 I264682 藍視器座標系統之視頻影像參考點q 2至Q 6的座標。 其次,當控制器9之計算按鈕I 2按下時,以下文所述 計算方法,理論繪圖電路8在計入誤差値之修改後來計算 座標轉換參數,使得虛擬目標點R 1至R 6大致配對視頻影 像參考點Q 1至Q 6。例如,同時,新虛擬目標點R1至R 6 之座標及在這些座標間延伸之線根據在修改後之座標轉換 參數來計算,而且視頻影像再次以重疊電路6來顯示在監 視器7之屏幕上。如此,駕駛員根據和參考點p 1至p 6之 位置關係可確認校正是否適當地實施。 在以本方式完成校正之後,理論繪圖電路8會根據在 修改後之座標轉換參數來產生在監視器座標系統內之虛擬 視頻影像的資料,例如:導向輔助引導器之顯示資料。 理論繪圖電路8使用在修改前之座標轉換參數來計算 在Is視播7之屏幕上所要顯不虛擬目標點R 1至R 6的座標 。然後,理論繪圖電路8根據虛擬目標點R 1至R 6、視頻 影像參考點Q 1至Q 6、及修改前之座標轉換參數來決定座 標轉換參數。其次,將說明理論繪圖電路8實施這些處理 過程的方法。 監視器座標系統之視頻影像參考點Qm(m=1至6)的座 L値X q m及Y q m ’根據道路座標系統之參考點p爪(⑺=1至 6)座標値Xpm、Ypm、Zpm及上述需要修改之9個座標轉 換參數Kn(n=l至9)及不需要修改之其他參數Kj(j = 1〇至 1 6),以使用函數F及G之下列方程式來表示: -14- 1264682
Xqm = F(Xpm,Ypm,Zpm,Kn,Kj) + DXm Yqm = G(Xpm,Ypm,Zpm,Kn,Kj) + DYm DXm及DYm是以函數F及G及視頻影像參考點 之座標値Xqm和Yqni所計算虛擬目標點之χ座標及 標間的偏差値。如果參考點Pm繪在路面上,則Zpm二 SP,以表示6個視頻影像參考點Qm之X座標及 標’對於9個座標轉換參數Κ η總共產生1 2個關係數 〇 同時,座標轉換參數Κη決定,使得以下述方程式 示之偏差値DXm及DYm之平方和爲最小値。 S= Σ (DXm2 + D Ym2) 即,解決使得S最小之最佳化問題。解決本問題 用習知最佳化方法,諸如單工法(simplex method)、最 降法、牛頓法及準牛頓法。在修改前之座標轉換參數 重覆計算時,使用爲座標轉換參數Κη之初始値。 如此,座標轉換參數Κη決定,而且監視器座標系 虛擬視頻影像資料,例如:導向輔助引導器之顯示資 再次根據在修改後之座標轉換參數,以理論繪圖電路 產生,而適當地校正實際視頻影像及虛擬視頻影像間 置關係。 故而’即使透鏡3之光軸沒有對齊c C D區域感測 之中心,而且C C D照相機2也沒有按照參考値來適當 裝到車輛1,實際視頻影像及虛擬視頻影像也適當地 高精確度地校正,而不用實際地調整透鏡3之光軸,
Qm Y座 0 ° γ座 學式 所表 所使 陡下 値在 統之 料, 8來 之位 器4 地安 具有 也不 -15- 1264682 用任何調整作業來根據參考値將c C D照相 1。即,車輛做爲貫際視頻影像及導向輔助 視頻影像之背後處理影像間的位置關係係 因爲’座標轉換參數使用相關數學式 關數學式之式數大於座標轉換參數個數, 値發生在操作控制器9來識別虛擬目標點 點間之座標偏差値時,不需要修改之座標 誤差値,或因爲不同於上述所列舉座標轉 誤差値發生,其也可能獲得適當座標轉換 施校正。 在第一實施例中,十二個相關數學式 換參數Κ η之6個視頻影像參考點Q m來g 明不限定在本架構。祇要相關數學式之式 座標轉換參數個數,其他架構也可想像。 式可使用5個視頻影像參考點Q1Ή來產生 相關數學式可使用7個或以上視頻影像參3 另外,座標轉換參數之數量並不限於 定。 第_二實施例 第5圖是根據第二實施例之視頻影像 備的結構圖示。根據第二實施例之視頻影 設備和根據第2圖所示第一實施例之視頻 正設備不同,該不同處在於重疊電路 6 C C D照相機2之信號處理IC 5及監視器7 路1 5、影像記憶體1 6及D/A轉換電路1 7 機2安裝到車輛 引導器做爲虛擬 適當地校正。 來計算,而且相 因此,即使誤差 及視頻影像參考 轉換參數也包括 換參數之參數而 參數及精確地實 使用9個座標轉 【生。然而,本發 數大於所要計算 例如,相關數學 ,或更多式數之 I點Q m來產生。 9個而可自由決 位置關係校正設 像位置關係校正 影像位置關係校 係以連續串接在 間的A / D轉換電 來替代,而且理 1264682 論繪圖電路8連接到影像記憶體1 6。 在第一實施例’重疊電路6將c C D照相機2之信號處 理1C 5所輸出之實際視頻影像的影像信號及理論繪圖電路 8所輸出虛擬視頻影像的ί目號重豐在監視器7上。在第-貫施例中,C C D照相機2之彳g號處埋I c 5所輸出之實際視 頻影像的影像信號,以A / D轉換電路1 5來轉換成影像資料 ,而且影像資料暫存在影像記憶體1 6內。將理論繪圖電路 8所輸出的虛擬影像資料加到影像記憶體1 6中之實際視頻 影像的影像資料。然後’將相加後的虛擬視頻影像資料之 影像資料經由D/A轉換電路1 7傳送到監視器7,而將實際 視頻影像及虛擬視頻影像重疊在監視器7上之屏幕上。 如上所述,根據本發明之視頻影像位置關係校正設備 也可應用到視頻影像顯不裝置’其中影像資料暫存在影像 記憶體1 6內。 第三實施仞丨 第6圖是根據第三實施例之視頻影像位置關係校正設 備的結構圖示。根據第三實施例之視頻影像位置關係校正 設備和根據第5圖所示第二實施例之視頻影像位置關係校 正設備不同,在於影像處理電路1 4替代控制器9來連接到 理論繪圖電路8及影像記憶體1 6,而且視頻影像參考點Q 1 至Q 6之座標以影像處理來計算。如此,駕駛員不必操作控 制器9之方向按鈕1 〇來實施調整作業,使得虛擬目標點 R 1至R 6配對視頻影像參考點Q 1至Q 6。·因此,可容易地 校正在實際視頻影像及虛擬視頻影像間之位置關係。 -17- 1264682 第四實施仞丨__ 在第一至第三實施例中,參考點P 1至P 6係被描繪爲 路面上之實際目標。替代性地如第7圖所示,具有平面形 狀之測試圖表構件可安裝在車輛1之後保險桿1 3 ◦在本情 形中’將參考點P 1至p 6繪製在測試圖表構件1 8之表面上 ’而且測試圖表構件丨8定位在以C C d照相機2所拍攝之 區域A內。使用測試圖表構件1 8,不管車輛1之停車位置 ’精準地決定參考點p 1至p 6對c c D照相機2之位置。如 此’不必需將車輛停在路面上之參考點P 1至P 6所決定的 位置內’而可在任何位置處來校正在實際視頻影像及虛擬 視頻影像間的位置關係。 進一步,在CCD照相機2所拍攝區域內之車輛1部分 可視爲實際目標。 其他實施仞丨 本發明不限定在上述實施例。實施本發明可以對實施 例來進行下述修改。 做爲實際目標之參考點形狀不限定在圓形形狀。參考 點可具有各種形狀。 在第一及第二實施例中’駕駛員使用控制器9來操作 。或者,監視器7可包括裝配有方向按鈕、決定按鈕及計 算按鈕或微動開關(jog switch)等之觸控面板來代替使用 控制器9。可使用任何操作使得虛擬目標點及視頻影像參 考點之裝置。進一步,操作方式之次序不限定在上述實施 例。在不偏離本發明之範圍的情況下,各種次序皆可被採 用。 -18- 1264682 此外,丨木作方式不限疋在使得虛擬目標點重疊在影像 參考點上之操作。任何操作方式都可採用,祇要使得其可 識別那一虛擬目標點R 1至R6之虛擬目標點對應在屏幕上 之影像參考點的座標。例如,方向按鈕等可使用來識別影 像參考點之座標,然後,識別那一虛擬目標點對應影像參 考點。識別那一虛擬目標點對應影像參考點所使用裝置, 可以是駕駛員之操作方式。當虛擬目標點沒有明顯地偏離 影像參考點時,最近影像參考點可自動地識別爲對應虛擬 目標點之影像參考點。在自動識別之情形中,虛擬目標點 可以不顯示。 需要修改之座標轉換參數不限定在上述實施例所使用 之參數。任何參數都可採用,祇要包括至少照相機之內部 參數。 在第一至第四實施例中,係校正理論繪圖電路8所產 生虛擬視頻影像。然而,本發明不限定本架構。亦或可校 正C C D照相機2所拍攝之實際視頻影像。 此外,尤其在實施例中,係校正在車輛背後處之導向 輔助引導器的視頻影像。然而,本發明不限定在本架構。 本發明之視頻影像位置關係校正設備也可應用到其他使得 實際視頻影像及虛擬視頻影像重疊之中的視頻影像校正。 根據本發明,即使在透鏡之光軸發生偏離,實際視頻 影像及虛擬視頻影像間之位置關係也可適當地被校正。此 外,非實際調整光軸及C C D照相機之安裝,而是以軟體來 校正。因此,可以低成本及高精確度的方式修正視頻影像 -19- 1264682 位置關係。: distance)及: 車輛領域之 【圖式簡單 第1圖 關係校正設 第2圖 備結構的方 第3圖 第4圖 處的影像圖 第5圖 影像位置關 第7圖 正設備之車 【主要元件 1 2 3 4 5 6 7 8 進步可改善顯不—·維距離(t w 〇 d丨m e n s i ο n a 1 導引線(g u i d e 1 i η e )之精確度。因此,本發明除了 外也可應用到量測相關領域。 說明】 是根據本發明第一實施例配備有視頻影像位置 備之車輛背後部分的圖示; 是根據第一實施例之視頻影像位置關係校正設 塊圖示; 是第一實施例所使用控制器之正視圖示; 是第一實施例之監視器屏幕上所顯示車輛背後 不; 及第6圖分別是根據第二及第三實施例之視頻 係校正設備的方塊圖示;及 是根據第四實施例配備有視頻影像位置關係校 輛的側視圖示。 符號說明】 車輛 CCD照相機 透鏡 C C D區域感測器 信號處理I C 重疊電路 監視器 理論性繪圖電路 -20- 1264682
9 控 制 器 10 方 向 按 鈕 11 決 定 按 鈕 1 2 計 算 按 鈕 13 後 保 險 桿 14 影 像 處 理 電 路 15 類 比 數 位 轉 換 電 路 16 影 像 記 憶 體 17 數 位 類 比 轉 換 電 路 18 測 試 圖 表 構
-21-

Claims (1)

  1. 第93 1 3501 2號「視頻影像位置關係校正設備、具有視頻影像位置關係校 正設備的駕駛輔助設備及視頻影像位置關係校正方法」專利案 ( 2006年5月8日修正) 十、申請專利範圍: 1 . 一種校正設備,用於校正視頻影像顯示裝置之實際視頻 影像及虛擬視頻影像兩者間的相對位置關係,而該視頻 影像顯示裝置係將照相機所拍攝之該實際視頻影像及該 虛擬視頻影像重疊在監視器屏幕上, 其特徵爲具備: 實際目標’係以實際座標系統來設定在該照相機所 拍攝區域內; 座標轉換裝置,係根據包括該照相機本身之內部參數 及用於安裝該照相機到車輛之安裝參數,以在該實際座標 系統內該實際目標之實際座標的座標轉換,而理論地獲得 該監視器屏幕上的監視器座標系統之監視器座標; 識別裝置,用於識別該照相機所實際拍攝的該實際目 標之影像的監視器座標;以及 校正裝置,係根據該照相機實際地所拍攝該實際目 標之影像的監視器座標及所對應的已被座標轉換之該實 際目標的監視器座標系統內之監視器座標兩者間的偏差 値,來校正該座標轉換參數之該照相機本身的至少內部 參數値,並且根據該座標轉換參數之校正値,來校正在 該實際視頻影像及該虛擬視頻影像間之相對位置關係; 該校正裝置產生相關數學式,其數量大於根據該實 1264682 際目標之影像監視器座標及已經座標轉換該實際目標之 該監視器座標內監視器座標的座標轉換參數之數量,該 座標轉換參數校正使該偏差値之平方和是最小値; 所決定實際目標之個數,使得該數學式之數量大於 需要校正該座標轉換參數之數量。 2 .如申請專利範圍第丨項之校正設備,其中該識別裝置根 據在修改前之該座標轉換參數,使用該座標轉換裝置在 5亥監視器屏幕上提供該監視器座標系統之虛擬目標,並 根據該照相機所實際拍攝的該實際目標之影像監視器座 才示及δ亥虛擬目標之監視器座標間的差異,來實施識別。 3 .如申g靑專利範圍第2項之校正設備,其中該識別裝置包 括控制器,用於以作業員之操作,來移動在監視器屏幕 上的該貫際目標及虛擬目標的其中之_一到重疊該實p目 標及虛擬目標之另一上的位置。 4 ·如申請專利範圍第3項之校正設備,其中該控制器包括 :方向按鈕,用於在向上方向、向下方向、向右方向及 向左方向中輸入在監視器屏幕上的該實際目標及虛擬目 標其中之一的校正量’;決定按鈕,用於確認該實際目標 及該虛擬目標相互重暨之狀態;及計算按紐,用於允許 該校正裝置開始校正計算。 5 ·如申請專利範圍第1項之校正設備,其中該識別裝置包 括影像處理電路’用於以影像處理來實施識別。 6 . —種導向輔助引導器’具有如申請專利範圍第1項之校 正設備,其中該實際視頻影像及該虛擬視頻影像分別爲 1264682 車輛之背後處的視頻影像及導向輔助引導器。 7 .如申請專利範圍第6項之導向輔助引導器,其中該實際 目標係設定在路面上。 8 .如申請專利範圍第6項之導向輔助引導器,其中該實際 目標係設定在車輛背後部所安裝之平面構件上。 9 . 一種校正方法,用於當該虛擬視頻影像及該實際視頻影 像在監視器屏幕上重疊時,校正由照相機所拍攝之實際 視頻影像和虛擬視頻影像間的相對位置關係,包含下列 步驟: 以該照相機拍攝在該實際座標內之實際目標; 根據包括該照相機本身之內部參數及用於安裝該照 相機到車輛之安裝參數,以該實際座標系統內的實際目 標之實際座標的座標轉換,而理論性地獲得該監視器屏 幕上的監視器座標系統內之監視器座標; 識別該照相機實際地所拍攝該實際目標之影像的監 視器座標; 根據在該實際目標之影像的監視器座標及已被座標 轉換的該實際目標之監視器座標系統內的監視器座標兩 者間偏差値來產生數學式,相關數學式之數量大於所要 校正包括至少該座標轉換參數之照相機本身內部參數的 座標轉換參數數量; 校正該座標轉換參數,使得偏差値之平方和是最小 値;及 根據該座標轉換參數之已校正値,來校正該實際視 1264682 頻影像及該虛擬視頻影像間之相對位置關係。 1 0 .如申請專利範圍第9項之校正方法,其中根據在修改前 之該座標轉換參數,來提供虛擬目標於該監視器屏幕上 之監視器座標系統內,並根據在該照相機所實際拍攝的 該實際目標之影像的監視器座標及所對應之虛擬目標的 監視器座標兩者間之差異値來識別該實際目標之影像的 監視器座標。 1 1 .如申請專利範圍第1 0項之校正方法,其中,是以作業員 之操作在該監視器屏幕上,將該實際目標及該虛擬目標 之其中一目標移動到重疊該實際目標及該虛擬目標中之 另一目標的位置,藉以計算該實際目標之影像的監視器 座標及所對應之虛擬目標的監視器座標兩者間差胃° 1 2 .如申請專利範圍第9項之校正方法,其中以影像處理來 識別該實際目標之影像的監視器座標。 1264682 七、指定代表圖·· (一) 本案指定代表圖為:第2圖。 (二) 本代表圖之元件符號簡单說明: 八、本案若有化學式時,請揭示最能顯示發明特徵的化學式: 2 CCD 昭 相 機 3 透 鏡 4 CCD 域 感測器 5 信 號 處 理 1C 6 重 疊 電 路 7 監 視 ΒΞ. 益 8 理 論性 繪 圖電路 9 控 制 器 R 1 -R6 虛 擬 S 標丨 點 Q1 •Q6 視 its 頻 影 像: 參考點
TW093135012A 2004-01-30 2004-11-16 Video image positional relationship correction apparatus, steering assist apparatus having the video image positional relationship correction apparatus and video image positional relationship correction method TWI264682B (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004023673A JP4196841B2 (ja) 2004-01-30 2004-01-30 映像位置関係補正装置、該映像位置関係補正装置を備えた操舵支援装置、及び映像位置関係補正方法

Publications (2)

Publication Number Publication Date
TW200525454A TW200525454A (en) 2005-08-01
TWI264682B true TWI264682B (en) 2006-10-21

Family

ID=34823882

Family Applications (1)

Application Number Title Priority Date Filing Date
TW093135012A TWI264682B (en) 2004-01-30 2004-11-16 Video image positional relationship correction apparatus, steering assist apparatus having the video image positional relationship correction apparatus and video image positional relationship correction method

Country Status (8)

Country Link
US (1) US20080036857A1 (zh)
EP (1) EP1709810A4 (zh)
JP (1) JP4196841B2 (zh)
KR (1) KR100834323B1 (zh)
CN (1) CN100583998C (zh)
AU (1) AU2004314869B2 (zh)
TW (1) TWI264682B (zh)
WO (1) WO2005074287A1 (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4754184B2 (ja) * 2004-05-26 2011-08-24 クラリオン株式会社 距離マーカ生成方法及び距離マーカ生成プログラム
US7782374B2 (en) 2005-03-03 2010-08-24 Nissan Motor Co., Ltd. Processor and processing method for generating a panoramic image for a vehicle
JP4715334B2 (ja) * 2005-06-24 2011-07-06 日産自動車株式会社 車両用画像生成装置および方法
JP4682830B2 (ja) * 2005-12-05 2011-05-11 日産自動車株式会社 車載画像処理装置
CN101052121B (zh) * 2006-04-05 2010-04-21 中国科学院自动化研究所 视频系统参数动态标定方法及系统
JP4857143B2 (ja) * 2007-02-20 2012-01-18 アルパイン株式会社 カメラ姿勢算出用ターゲット装置およびこれを用いたカメラ姿勢算出方法ならびに画像表示方法
JP4794510B2 (ja) 2007-07-04 2011-10-19 ソニー株式会社 カメラシステムおよびカメラの取り付け誤差の補正方法
JP4924896B2 (ja) 2007-07-05 2012-04-25 アイシン精機株式会社 車両の周辺監視装置
US7889234B2 (en) * 2008-01-10 2011-02-15 Delphi Technologies, Inc. Automatic calibration for camera lens distortion correction
JP5222597B2 (ja) * 2008-03-19 2013-06-26 三洋電機株式会社 画像処理装置及び方法、運転支援システム、車両
JP4874280B2 (ja) * 2008-03-19 2012-02-15 三洋電機株式会社 画像処理装置及び方法、運転支援システム、車両
JP5173551B2 (ja) * 2008-04-23 2013-04-03 アルパイン株式会社 車両周辺監視装置およびこれに適用されるカメラ取り付け位置・姿勢情報の設定修正方法
WO2010052772A1 (ja) * 2008-11-05 2010-05-14 富士通株式会社 カメラ角度算出装置、カメラ角度算出方法およびカメラ角度算出プログラム
JP5341789B2 (ja) 2010-01-22 2013-11-13 富士通テン株式会社 パラメータ取得装置、パラメータ取得システム、パラメータ取得方法、及び、プログラム
TWI408339B (zh) * 2010-03-22 2013-09-11 Inst Information Industry 即時擴增實境裝置、即時擴增實境方法及其電腦程式產品
KR101113679B1 (ko) * 2010-05-24 2012-02-14 기아자동차주식회사 카메라 시스템의 영상 보정 방법
EP2469467A1 (en) * 2010-12-23 2012-06-27 Alcatel Lucent An integrated method for camera planning and positioning
CN102653260B (zh) * 2012-05-09 2014-08-13 邝君 汽车定点定位引导系统
US20150029346A1 (en) * 2013-07-23 2015-01-29 Insurance Auto Auctions, Inc. Photo inspection guide for vehicle auction
WO2015056826A1 (ko) * 2013-10-18 2015-04-23 주식회사 이미지넥스트 카메라의 영상 처리 장치 및 방법
EP2902802B1 (de) * 2014-01-31 2016-10-26 S.M.S. Smart Microwave Sensors GmbH Sensorvorrichtung
JP6406159B2 (ja) * 2015-08-04 2018-10-17 株式会社デンソー 車載表示制御装置、車載表示制御方法
CN105118055B (zh) * 2015-08-11 2017-12-15 北京电影学院 摄影机定位修正标定方法及系统
JP2017147505A (ja) * 2016-02-15 2017-08-24 トヨタ自動車株式会社 車両用周囲画像表示装置
JP6682336B2 (ja) * 2016-04-20 2020-04-15 オリンパス株式会社 カメラシステム、及びカメラ本体
US10268203B2 (en) * 2017-04-20 2019-04-23 GM Global Technology Operations LLC Calibration validation for autonomous vehicle operations
CN108364313B (zh) * 2018-01-16 2021-08-27 深圳市科视创科技有限公司 一种自动对位的方法、系统及终端设备
DE102018111776B4 (de) 2018-05-16 2024-01-25 Motherson Innovations Company Limited Kalibriervorrichtung, Verfahren zur Ermittlung von Kalibrierdaten, Vorrichtung zur Ausführung des Verfahrens, Kraftfahrzeug umfassend eine solche Vorrichtung und Verwendung der Kalibriervorrichtung für das Verfahren sowie das Kraftfahrzeug
CN111091024B (zh) * 2018-10-23 2023-05-23 广州弘度信息科技有限公司 一种基于视频识别结果的小目标过滤方法和系统
SG11202108455PA (en) * 2019-02-28 2021-09-29 Shenzhen Sensetime Technology Co Ltd Vehicle intelligent driving control method and apparatus, electronic device and storage medium
CN110213488B (zh) * 2019-06-06 2022-01-18 腾讯科技(深圳)有限公司 一种定位方法及相关设备
CN110992725B (zh) * 2019-10-24 2022-05-03 合肥讯图信息科技有限公司 用于检测交通信号灯故障的方法、系统及存储介质
SG10202002677TA (en) * 2020-03-23 2021-10-28 Nec Asia Pacific Pte Ltd A method and an apparatus for estimating an appearance of a first target
CN114067071B (zh) * 2021-11-26 2022-08-30 湖南汽车工程职业学院 一种基于大数据的高精地图制作系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57123416A (en) * 1981-01-23 1982-07-31 Toshiba Corp Remote control device
JPH0399952A (ja) * 1989-09-12 1991-04-25 Nissan Motor Co Ltd 車両用周囲状況モニタ
JPH03268108A (ja) * 1990-03-19 1991-11-28 Honda Motor Co Ltd 自動走行装置
JP2991163B2 (ja) * 1997-07-23 1999-12-20 日本電気株式会社 カメラキャリブレーション装置
JP3632563B2 (ja) * 1999-10-19 2005-03-23 株式会社豊田自動織機 映像位置関係補正装置、該映像位置関係補正装置を備えた操舵支援装置、及び映像位置関係補正方法
JP3387911B2 (ja) * 2000-01-27 2003-03-17 松下電器産業株式会社 キャリブレーションシステムおよびキャリブレーション方法
JP2002202136A (ja) * 2001-01-04 2002-07-19 Omron Corp 車両の周囲状況観測装置
JP4015051B2 (ja) * 2002-04-22 2007-11-28 松下電器産業株式会社 カメラ補正装置

Also Published As

Publication number Publication date
WO2005074287A1 (en) 2005-08-11
KR100834323B1 (ko) 2008-06-02
CN1906943A (zh) 2007-01-31
US20080036857A1 (en) 2008-02-14
AU2004314869B2 (en) 2007-11-01
CN100583998C (zh) 2010-01-20
KR20060132887A (ko) 2006-12-22
EP1709810A1 (en) 2006-10-11
TW200525454A (en) 2005-08-01
JP4196841B2 (ja) 2008-12-17
EP1709810A4 (en) 2007-02-28
JP2005217889A (ja) 2005-08-11
AU2004314869A1 (en) 2005-08-11

Similar Documents

Publication Publication Date Title
TWI264682B (en) Video image positional relationship correction apparatus, steering assist apparatus having the video image positional relationship correction apparatus and video image positional relationship correction method
JP3632563B2 (ja) 映像位置関係補正装置、該映像位置関係補正装置を備えた操舵支援装置、及び映像位置関係補正方法
JP3946716B2 (ja) ロボットシステムにおける3次元視覚センサの再校正方法及び装置
KR101265012B1 (ko) 차량 탑재 카메라의 교정 장치, 방법 및 프로그램
JP2001245326A (ja) 車載カメラの校正装置および校正方法、並びに校正指標
CN104874900B (zh) 焊炬检测装置和焊接机器人系统
US7586534B2 (en) Multi-eye image pickup device, adjusting method and device therefor, and image-area adjusting system and method
US20170072566A1 (en) Measurement system used for calibrating mechanical parameters of robot
CN108700408B (zh) 三维形状数据及纹理信息生成系统、方法及拍摄控制方法
CN110542376B (zh) 一种用于定位adas标定目标板放置位置的装置和定位方法
WO2013035353A1 (ja) 画像処理装置及び画像処理方法
JP2009241247A (ja) ステレオ画像型検出移動装置
WO2008026723A1 (fr) Procédé de confirmation de données de modèle tridimensionnel, et appareil de confirmation de données de modèle tridimensionnel
JP2004200819A (ja) 車載カメラのキャリブレーション方法及びキャリブレーション装置
KR20060060005A (ko) 운전 지원 장치 및 운전 지원 방법
TW419933B (en) Method and apparatus for measuring position errors based on positioning marks, and a machining apparatus for correcting positions based on the results of measuring position errors based on positioning marks
JPH1063317A (ja) ロボット−視覚センサシステムにおける座標系結合方法
JP2009212734A (ja) 自動校正単眼ステレオ視装置
JP3101853B2 (ja) ボンデイング座標のティーチング方法
JP2005136743A (ja) 撮像素子の位置調整装置及び位置調整方法
JP2006298217A (ja) 車両周辺監視装置
JPH09126759A (ja) 車載カメラによる測距方法およびそれを用いる測距装置
JPH05337785A (ja) 研削ロボットの研削経路修正装置
KR101727165B1 (ko) 3차원 카메라 모듈 측정 장치, 3차원 카메라 모듈 보정 장치 및 보정 방법
CN115397626A (zh) 坐标系设定系统和位置姿势测量系统

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees