JP4196841B2

JP4196841B2 - 映像位置関係補正装置、該映像位置関係補正装置を備えた操舵支援装置、及び映像位置関係補正方法

Info

Publication number: JP4196841B2
Application number: JP2004023673A
Authority: JP
Inventors: 和典嶋▲崎▼
Original assignee: Toyota Industries Corp
Current assignee: Toyota Industries Corp
Priority date: 2004-01-30
Filing date: 2004-01-30
Publication date: 2008-12-17
Anticipated expiration: 2024-01-30
Also published as: CN100583998C; JP2005217889A; CN1906943A; AU2004314869B2; EP1709810A1; AU2004314869A1; KR100834323B1; WO2005074287A1; US20080036857A1; KR20060132887A; TWI264682B; EP1709810A4; TW200525454A

Description

この発明は、実映像及び仮想映像の相対位置関係を補正する映像位置関係補正装置、該映像位置関係補正装置を備えた操舵支援装置、及び映像位置関係補正方法に関する。

従来、例えば特許文献１に開示されているように、車両後方の実映像をＣＣＤカメラで撮像してモニタ画面に表示すると共にセンサにより検出されたタイヤ操舵角に係る情報等に応じて車両後退時の予想軌跡をモニタ画面上に重畳表示することにより運転操作を支援する運転支援装置が開発されている。このような運転支援装置によれば、運転者はモニタ画面上の予想軌跡を見ながら車両を運転操作することにより、例えば車両を駐車スペースへ並列駐車させることができる。

特開２００２−２５１６３２号公報

しかしながら、ＣＣＤカメラを構成するレンズの光軸とＣＣＤエリアセンサの中心とが合致していない場合やＣＣＤカメラの車両への取付位置が適正でない場合には、モニタ画面上で、車両後方映像の中心と予想軌跡を描画するためのモニタ画面中心とが一致しなくなり、車両後方映像に対して予想軌跡が適切な位置関係からズレてしまうことがある。
このような場合には、予想軌跡に従って車両を移動させても所望の後退や駐車をすることができなくなる虞がある。そこで、通常は、ＣＣＤエリアセンサとレンズとの相対位置関係の調整（光軸の調整）、並びにＣＣＤカメラが車両に基準通りに適正に取り付けられるように車両ごとにＣＣＤカメラの取付状態の調整が行われている。

しかし、上述した光軸の調整は、レンズの組付け時にレンズの位置を物理的に調整していたため、光軸の調整を高精度で行うことが困難であった。また、より高い精度を得ようとすると、非常にコストがかかるといった問題があった。

この発明は、このような従来の問題点に鑑みてなされたものであり、物理的な光軸調整を行うことなく、実映像と仮想映像との位置関係を適正に補正することができる映像位置関係補正装置及び方法を提供することを目的とする。
また、この発明は、このような映像位置関係補正装置を備えた操舵支援装置を提供することも目的としている。

この発明に係る映像位置関係補正装置は、カメラにより撮影された実映像と仮想映像とをモニタ画面に重畳表示する装置に関し、カメラの被写領域内の実座標系に設定された実目標と、カメラ自体の内部パラメータと車両へのカメラの取り付けに関する取付パラメータとモニタ画面への変換定数とを含む座標変換用パラメータの基準値に基づいて実座標系における実目標の実座標を座標変換しモニタ画面上のモニタ座標系におけるモニタ座標を理論的に導出する座標変換手段と、カメラにより実際に撮影された実目標の画像のモニタ座標を認識する認識手段と、カメラにより実際に撮影された実目標の画像のモニタ座標とこれに対応する座標変換された実目標のモニタ座標系におけるモニタ座標との偏差に基づいて座標変換用パラメータのうち少なくともカメラ自体の内部パラメータの値を修正すると共に修正された座標変換用パラメータの値に基づいて実映像及び仮想映像の相対位置関係を補正する補正手段とを備え、補正手段は、実目標の画像のモニタ座標と、座標変換された実目標のモニタ座標系におけるモニタ座標と、実目標の画像のモニタ座標及び座標変換された実目標のモニタ座標系におけるモニタ座標の偏差とから、修正する座標変換用パラメータの数より多い数の関係式を生成し、前記偏差の二乗和が最小になるように座標変換用パラメータを修正し、実目標の数は、関係式を修正する座標変換用パラメータの数より多く生成できる数であることを特徴とするものである。

好ましくは、認識手段は、座標変換手段によって修正前の座標変換用パラメータに基づいてモニタ画面上のモニタ座標系に仮想目標を提供し、カメラにより実際に撮影された実目標の画像のモニタ座標と仮想目標のモニタ座標との差によって認識する。
また、認識手段は、実目標及び仮想目標の一方をモニタ画面上で移動させて他方に重ね合わせるコントローラを備える、あるいは画像処理により認識することができる。
さらに、認識手段は、仮想目標を表示することなく仮想目標に最も近い実目標を自動認識することができる。
また、補正手段は、修正後の座標変換用パラメータに基づいて新たな仮想目標点を結ぶ線を計算し、モニタ画面上に表示することができる。

この発明に係る操舵支援装置は、実映像及び仮想映像をそれぞれ車両の後方映像及び操舵支援ガイドとして上述した映像位置関係補正装置を備えるものである。
なお、実目標は路面上に設定する、あるいは車両後部に取り付けられた平板部材上に設定することができる。

また、この発明に係る映像位置関係補正方法は、カメラにより撮影された実映像と仮想映像とをモニタ画面に重畳表示する方法に関し、カメラにより実座標系上の実目標を撮影し、カメラ自体の内部パラメータと、車両へのカメラの取り付けに関する取付パラメータと、モニタ画面への変換定数とを含む座標変換用パラメータの基準値に基づいて実座標系における実目標の実座標を座標変換し、モニタ画面上のモニタ座標系におけるモニタ座標を理論的に導出することにより仮想目標を作成し、カメラにより実際に撮影された実目標の映像のモニタ座標とこれに対応する仮想目標のモニタ座標とのズレに基づいて実目標の画像のモニタ座標を認識し、実目標の画像のモニタ座標と、座標変換された実目標のモニタ座標系におけるモニタ座標と、実目標の画像のモニタ座標及び座標変換された実目標のモニタ座標系におけるモニタ座標の偏差とから、座標変換用パラメータのうち少なくともカメラ自体の内部パラメータを含んだ修正する座標変換用パラメータの数より多い関係式を生成し、前記偏差の二乗和が最小になるように座標変換用パラメータを修正し、修正された座標変換用パラメータの値に基づいて実映像及び仮想映像の相対位置関係を補正する方法である。

この発明によれば、レンズの光軸にズレが存在していても、実映像と仮想映像との位置関係を適正に補正することができる。さらに、レンズの光軸やＣＣＤカメラの取付を物理的に調整するのではなく、ソフトウェア面で補正を行うため、高精度且つ低コストで映像位置関係の補正が可能である。また、２次元の距離表示やガイドラインの精度が向上するため車載以外の計測関連分野への応用も可能となる。

以下、この発明の実施の形態を添付図面に基づいて説明する。
以下、この発明の映像位置関係補正装置を、車両の操舵支援装置における車両後方映像と操舵支援ガイドとの映像位置関係を補正する場合に適用した実施の形態について添付図面を基に説明する。

実施の形態１
この実施の形態１に係る映像位置関係補正装置を車両に取り付けた状態を図１に示す。車両１の後部には車両後方映像を撮影するためのＣＣＤカメラ２が取り付けられており、車両１の後部の路面上には、実目標となる基準点Ｐ１〜Ｐ６がそれぞれ所定の位置に設定され、描かれている。

図２に、映像位置関係補正装置の構成を示す。ＣＣＤカメラ２は、レンズ３、ＣＣＤエリアセンサ４及び信号処理ＩＣ５を備えている。信号処理ＩＣ５にスーパーインポーズ回路６が接続され、さらにスーパーインポーズ回路６に車両１の運転席前方に配置されたモニタ７が接続されている。また、スーパーインポーズ回路６には、理論描画回路８も接続されており、この理論描画回路８にコントローラ９が接続されている。
コントローラ９は、車両１の運転席前方においてモニタ７の近傍に配設され、図３に示されるように、運転者の操作により上下左右方向の補正量を入力可能な十字ボタン１０、決定ボタン１１及び計算ボタン１２を備えている。
理論描画回路８によりこの発明の座標変換手段が構成され、理論描画回路８及びコントローラ９により認識手段及び補正手段が構成されている。

ここで、図１に示されるように、車両１のリヤアクスル中心から路面に対して垂直に下ろした地面上の点を原点Ｏとし、車両１の後方に向かった水平方向をｙ軸正方向、車両１の左方に向かった水平方向をｘ軸正方向、車両１の上方に向かった垂直方向をｚ軸正方向とした路面座標系（実座標系）を想定する。
また、ＣＣＤカメラ２により撮影されてモニタ７の画面に表示された車両後方映像（鏡像）を図４に示す。映像には、車両１の後部バンパ１３が写っており、画面の右方に向かった水平方向をＸ軸正方向、上方に向かった垂直方向をＹ軸正方向としたモニタ座標系を想定する。

これら路面座標系とモニタ座標系との間の座標変換を行うに当たって、車両１へのＣＣＤカメラ２の取り付けに関する取付パラメータとＣＣＤカメラ２自体の内部パラメータとを含む座標変換用パラメータが設定される。
まず、取付パラメータとしては次のようなパラメータが考えられる。ＣＣＤカメラ２が基準通りに車両１に取り付けられた場合には、ＣＣＤカメラ２は、路面座標系で表された座標点（ｘ，ｙ，ｚ）の基準取付位置に、伏せ角ω、方向角γ、回転角θの基準取付角度で設置されている。ここで、伏せ角ωはｙ軸方向から下に向いている角度を表し、方向角γはｘｙ平面に平行な面におけるｙ軸負方向からの角度を表し、回転角θはＣＣＤカメラ２をレンズ３の光軸周りに回転させて取り付けた角度を表す。
ただし、実際には、ＣＣＤカメラ２は基準に対して取付誤差を含んで車両１に取り付けられ、路面座標系で表された座標点（ｘ＋Δｘ，ｙ＋Δｙ，ｚ＋Δｚ）の取付位置に伏せ角ω＋Δω、方向角γ＋Δγ、回転角θ＋Δθの取付角度で設置されているものとする。これらｘ＋Δｘ，ｙ＋Δｙ，ｚ＋Δｚ、ω＋Δω、γ＋Δγ、θ＋ΔθがＣＣＤカメラ２の取り付けに関する取付パラメータとなる。

次に、内部パラメータとしては、レンズ３の光軸に対するＣＣＤエリアセンサ４の中心のｘ軸正方向への位置ずれ量ΔＣｘ、ｙ軸正方向への位置ずれ量ΔＣｙ、ＣＣＤカメラ２の焦点距離ｆ＋Δｆ、歪定数Ｄａ、Ｄｂ、Ｄｃが挙げられる。
なお、歪定数Ｄａ、Ｄｂ、Ｄｃは、歪係数Ｄを
Ｄ＝［（ｒ−ｒ０）／ｒ０］×１００＝Ｄａ×ｒ^２＋Ｄｂ×ｒ＋Ｄｃ
と定義したときの定数である。ここで、ｒ０は歪を考慮しないときの像高、ｒは歪を考慮したときの像高を表し、像高は光軸（レンズ中心の延長線）とＣＣＤエリアセンサ面の交点から対象とするＣＣＤエリアセンサ上の点までの距離で表される。
さらに、これら取付パラメータ及び内部パラメータの他、モニタ７の画面への変換定数としてＸ軸倍率、Ｘ軸方向の位置ずれ、Ｙ軸倍率、Ｙ軸方向の位置ずれも座標変換用パラメータとして挙げることができる。
上述したこれらのパラメータのうち、例えば、直接測定することが困難であったり、他のパラメータによって算出することが困難である、次の９個のパラメータをこの実施の形態で修正することとする。
伏せ角ω＋Δω、方向角γ＋Δγ、回転角θ＋Δθ、歪定数Ｄａ及びＤｂ、
Ｘ軸倍率、Ｘ軸方向の位置ずれ、Ｙ軸倍率、Ｙ軸方向の位置ずれ

次に、この実施の形態に係る映像位置関係補正装置の作用について説明する。
まず、実目標となる基準点Ｐ１〜Ｐ６を含む実映像は、レンズ３を介してＣＣＤエリアセンサ４により取り込まれる。ＣＣＤエリアセンサ４に取り込まれた実映像に関する信号は、信号処理ＩＣ５に送られ、スーパーインポーズ回路６に出力される。一方、スーパーインポーズ回路６には、理論描画回路８から、仮想目標点Ｒ１〜Ｒ６に関する信号が入力される。

ここで、理論描画回路８における仮想目標点Ｒ１〜Ｒ６の導出について説明する。路面上における基準点Ｐ１〜Ｐ６の位置は予め決められており、さらにこれら基準点Ｐ１〜Ｐ６に対する車両１の停止位置も予め決められているので、路面座標系で表された基準点Ｐ１〜Ｐ６の座標から誤差を考慮していない修正前の座標変換用パラメータに基づいてそれぞれ理論的に導出することができる。理論描画回路８は、このように理論的に求めた座標をモニタ座標系における仮想目標点Ｒ１〜Ｒ６の座標データとしてスーパーインポーズ回路６に出力する。

スーパーインポーズ回路６においては、実画像に関する信号と、理論描画回路８から出力された仮想目標点Ｒ１〜Ｒ６の座標データとにより、実画像と、点線で描画された仮想目標点Ｒ１〜Ｒ６をモニタ７の画面上に重畳表示する。このとき、ＣＣＤカメラ２の取付パラメータ及び内部パラメータとモニタ７の画面への変換定数が理想的であれば、実際に撮影された基準点Ｐ１〜Ｐ６のモニタ画面上の位置である映像基準点Ｑ１〜Ｑ６の位置と仮想目標点Ｒ１〜Ｒ６の位置とはモニタ７の画面上で互いに重なり合う。しかし、ＣＣＤカメラ２が基準に対して取付誤差を含んで取り付けられたり、ＣＣＤカメラ２のレンズ３の光軸とＣＣＤエリアセンサ４の中心とが合致しない状態等になっている場合には、図２に示されるように、映像基準点Ｑ１〜Ｑ６の位置が本来の位置すなわち修正前の座標変換用パラメータに基づいて理論的に求められた仮想目標点Ｒ１〜Ｒ６の位置からズレてしまう。

このような場合、運転者は、コントローラ９の十字ボタン１０を操作して、まず仮想目標点Ｒ１を映像基準点Ｑ１に重ねるようにする。十字ボタン１０により入力された仮想目標点Ｒ１の移動量は理論描画回路８に入力される。次に、仮想目標点Ｒ１が映像基準点Ｑ１に重なったところで運転者が決定ボタン１１を押すと、決定ボタン１１の信号が理論描画回路８に入力され、理論描画回路８は映像基準点Ｑ１のモニタ座標系の座標を認識する。この操作を繰り返して仮想目標点Ｒ２〜Ｒ６を順に移動させることにより映像基準点Ｑ２〜Ｑ６のモニタ座標系の座標が認識される。

次に、コントローラ９の計算ボタン１２が押されると、理論描画回路８は、後述する算出方法で仮想目標点Ｒ１〜Ｒ６が映像基準点Ｑ１〜Ｑ６とほとんど一致するような、誤差を考慮した修正後の座標変換用パラメータを算出する。例えば、ここで修正後の座標変換用パラメータに基づいて新たな仮想目標点Ｒ１〜Ｒ６の座標やそれらを結ぶ直線を計算し、スーパーインポーズ回路６を介してモニタ７の画面上に表示しなおすと基準点Ｐ１〜Ｐ６との位置関係から補正が適切に行われたかどうかを運転者が確認できる。

このようにして補正が完了すると、理論描画回路８は、モニタ座標系における仮想映像のデータ、例えば、操舵支援ガイドの表示データ等を、修正後の座標変換用パラメータを基に作成する。

次に、理論描画回路８が、修正前の座標変換用パラメータを用いてモニタ７の画面上に表示する仮想目標点Ｒ１〜Ｒ６の座標を算出し、さらに仮想目標点Ｒ１〜Ｒ６、映像基準点Ｑ１〜Ｑ６の座標及び修正前の座標変換用パラメータから修正後の座標変換用パラメータを決定する方法を説明する。

モニタ座標系の映像基準点Ｑｍ（ｍ＝１〜６）の座標値Ｘｑｍ及びＹｑｍは、路面座標系の基準点Ｐｍ（ｍ＝１〜６）の座標値Ｘｐｍ、Ｙｐｍ及びＺｐｍと上述した修正する９個の座標変換用パラメータＫｎ（ｎ＝１〜９）、修正しない他のパラメータＫｊ（ｊ＝１０〜１６から、関数Ｆ及びＧを用いて、
Ｘｑｍ＝Ｆ（Ｘｐｍ、Ｙｐｍ、Ｚｐｍ、Ｋｎ、Ｋｊ）＋ＤＸｍ
Ｙｑｍ＝Ｇ（Ｘｐｍ、Ｙｐｍ、Ｚｐｍ、Ｋｎ、Ｋｊ）＋ＤＹｍ
で表される。ここで、ＤＸｍ及びＤＹｍは関数Ｆ及びＧを用いて算出された仮想目標点のＸ座標及びＹ座標と映像基準点Ｑｍの座標値Ｘｑｍ及びＹｑｍとの偏差である。なお、基準点Ｐｍが路面上に描かれている場合には、Ｚｐｍ＝０となる。
つまり６個の映像基準点ＱｍのＸ座標及びＹ座標をそれぞれ表すことにより、９個の座標変換用パラメータＫｎに対して計１２個の関係式が作成される。
そこで、偏差ＤＸｍ及びＤＹｍの二乗和
Ｓ＝Σ（ＤＸｍ^２＋ＤＹｍ^２）
を最小とするような座標変換用パラメータＫｎを求める。すなわちＳを最小化する最適化問題を解く。公知の最適化法たとえばシンプレックス法や、最急降下法、ニュートン法、準ニュートン法などを用いることができる。反復計算する際の座標変換用パラメータＫｎの初期値は修正前の座標変換用パラメータの値とする。

このようにして、座標変換用パラメータＫｎが求められ、理論描画回路８が修正後の座標変換用パラメータを基にしてモニタ座標系における仮想映像のデータ、例えば、操舵支援ガイドの表示データが作成し直されることにより、実映像と仮想映像との位置関係を適正に補正することができる。
これにより、レンズ３の光軸とＣＣＤエリアセンサ４の中心とが合致せず、且つＣＣＤカメラ２が車両１に基準通りに適正に取り付けられない場合等であっても、レンズ３の光軸を物理的に調整することなく、またＣＣＤカメラ２を基準通りに車両１に高精度で取り付けるための調整作業を行うことなく、実映像と仮想映像との位置関係を適正に補正することができる。すなわち、実映像としての車両後方映像と、仮想映像としての操舵支援ガイドとの位置関係を適正にすることができる。

なお、算出しようとする座標変換用パラメータの個数より多い関係式を作成して座標変換用パラメータを決定しているので、コントローラ９の操作によって仮想目標点と映像基準点との座標のズレを取り込む際に誤差を生じたり、修正しない座標変換用パラメータが誤差を含んでいたり、上記で列挙した座標変換用パラメータ以外のパラメータによる誤差を含んでいても、適切な座標変換用パラメータを得ることができ、精度のよい補正が行われる。
この実施の形態１では、９個の座標変換用パラメータＫｎに対して６個の映像基準点Ｑｍにより１２個の関係式を作成したが、関係式の数は算出しようとする座標変換用パラメータの個数より多ければよく、例えば５個の映像基準点Ｑｍにより１０個の関係式を作成してもよく、あるいは７個以上の映像基準点Ｑｍによってより多数の関係式を作成してもよい。
さらに、算出しようとする座標変換用パラメータの数は９個に限るものではなく、自由に設定することができる。

実施の形態２
図５に実施の形態２に係る映像位置関係補正装置の構成を示す。この実施の形態２は、図２に示した実施の形態１の映像位置関係補正装置において、スーパーインポーズ回路６の代わりにＣＣＤカメラ２の信号処理ＩＣ５とモニタ７との間にＡ／Ｄ変換回路１５、画像メモリ１６及びＤ／Ａ変換回路１７を順次直列に接続すると共に画像メモリ１６に理論描画回路８を接続したものである。

実施の形態１では、スーパーインポーズ回路６がＣＣＤカメラ２の信号処理ＩＣ５から出力された実映像の画像信号に理論描画回路８から出力された仮想映像の信号を重ね合わせてモニタ７に表示していたが、この実施の形態３においては、ＣＣＤカメラ２の信号処理ＩＣ５から出力された実映像の画像信号がＡ／Ｄ変換回路１５で画像データに変換されて一旦画像メモリ１６内に格納されると共に理論描画回路８から出力された仮想映像のデータが画像メモリ１６上で実映像の画像データに加算される。そして、仮想映像のデータが加算された画像データがＤ／Ａ変換回路１７を介してモニタ７へ送られ、モニタ７の画面上に実映像と仮想映像とが重畳表示される。
このように、画像データが一旦画像メモリ１６内に格納されるタイプの映像表示装置に対してもこの発明に係る映像位置関係補正装置を適用することができる。

実施の形態３
図６に実施の形態３に係る映像位置関係補正装置の構成を示す。この実施の形態３は、図５に示した実施の形態２の映像位置関係補正装置において、コントローラ９の代わりに画像処理回路１４を理論描画回路８と画像メモリ１６とに接続し、画像処理により映像基準点Ｑ１〜Ｑ６の座標を算出するように構成したものである。このようにすれば、運転者がコントローラ９の十字ボタン１０を操作して仮想目標点Ｒ１〜Ｒ６を映像基準点Ｑ１〜Ｑ６に合わせる調整作業が不要となり、より容易に実映像と仮想映像との位置関係の補正を行うことが可能となる。

実施の形態４
上記の実施の形態１〜３において、路面上に実目標となる基準点Ｐ１〜Ｐ６を描く代わりに、図７に示されるように、その上面に基準点Ｐ１〜Ｐ６が描かれた平板状のテストチャート部材１８をＣＣＤカメラ２の被写領域Ａ内に位置するように車両１の後部バンパ１３に取り付けることもできる。このようなテストチャート部材１８を用いれば、車両１の停車位置に関わらずにＣＣＤカメラ２に対する基準点Ｐ１〜Ｐ６の位置が正確に決定されるため、
路面上の基準点Ｐ１〜Ｐ６に合わせて車両１を停車させる必要がなく、また、どこでも実映像と仮想映像との位置関係の補正を行うことができる。
さらに、ＣＣＤカメラ２の被写領域に入っている車両１の一部分を実目標と見立てることもできる。

その他の実施の形態
この発明は、上述した実施の形態に限定されるものではなく、以下のような改変を施して実施することも可能である。
実目標となる基準点の形状は上記の各実施の形態に示された円形に限定されるものではなく、各種の形状とすることができる。
実施の形態１及び２では、運転者による操作のためにコントローラ９を用いたが、その代わりに、モニタ７に十字ボタン、決定ボタン及び計算ボタンを備えたタッチパネルを配設したり、ジョグスイッチ等を用いることもでき、仮想目標点と映像基準点を重ねるように操作可能な手段であればよい。また、操作手順も上記実施の形態に限定されるものではなく、この発明の主旨を逸脱しない範囲で種々の手順で実施してもよい。

また、仮想目標点を画像基準点に重ねるような操作に限定されるものではない。画像基準点の画面上の座標と、仮想目標点Ｒ１〜Ｒ６のうち、どの仮想目標点に対する画像基準点であるかと言うことが認識できれば良い。例えば、十字ボタンなどを使って画像基準点の座標を認識させた後、どの仮想目標点に対する画像基準点であるかを認識させても良い。どの仮想目標点に対する画像基準点であるか認識させる手段も運転者の操作でも良いし、仮想目標転と画像基準点が大幅にずれていない場合は最も近い画像基準点をその仮想目標点に対する画像基準点として自動認識させても良い。自動認識させる場合には、仮想目標点を表示させなくても良い。
修正する座標変換用パラメータは上記実施の形態で用いられたパラメータに限るものではない。少なくともカメラの内部パラメータが含まれればよい。

上記の実施の形態１〜４では理論描画回路８による仮想映像を補正したが、これに限定されるものではなく、ＣＣＤカメラ２で撮影された実映像を補正するように構成することもできる。
さらに、上記の各実施の形態では、車両の操舵支援装置の特に車両後方における映像の補正に適用した場合について説明したが、これに限るものではなく、この発明の映像位置関係補正装置は実映像と仮想映像とを重畳表示する他の装置における映像補正に適用することも可能である。

この発明の実施の形態１に係る映像位置関係補正装置が搭載された車両の後部を示す図である。実施の形態１に係る映像位置関係補正装置の構成を示すブロック図である。実施の形態１で用いられたコントローラを示す正面図である。実施の形態１でモニタの画面に表示された車両後方映像を示す図である。実施の形態２に係る映像位置関係補正装置の構成を示すブロック図である。実施の形態３に係る映像位置関係補正装置の構成を示すブロック図である。実施の形態４に係る映像位置関係補正装置が搭載された車両を示す側面図である。

符号の説明

１車両、２ＣＣＤカメラ、３レンズ、４ＣＣＤエリアセンサ、５信号処理ＩＣ、６スーパーインポーズ回路、７モニタ、８理論描画回路、９コントローラ、１０十字ボタン、１１決定ボタン、１２計算ボタン、１３後部バンパ、１４画像処理回路、１５Ａ／Ｄ変換回路、１６画像メモリ、１７Ｄ／Ａ変換回路、１８テストチャート部材、Ｐ１〜Ｐ６基準点、Ｑ１〜Ｑ６映像基準点、Ｒ１〜Ｒ６仮想目標点。

Claims

カメラにより撮影された実映像と仮想映像とをモニタ画面に重畳表示する装置に関し、
カメラの被写領域内の実座標系に設定された実目標と、
カメラ自体の内部パラメータと車両へのカメラの取り付けに関する取付パラメータとモニタ画面への変換定数とを含む座標変換用パラメータの基準値に基づいて実座標系における実目標の実座標を座標変換しモニタ画面上のモニタ座標系におけるモニタ座標を理論的に導出する座標変換手段と、
カメラにより実際に撮影された実目標の画像のモニタ座標を認識する認識手段と、
カメラにより実際に撮影された実目標の画像のモニタ座標とこれに対応する座標変換された実目標のモニタ座標系におけるモニタ座標との偏差に基づいて前記座標変換用パラメータのうち少なくともカメラ自体の内部パラメータの値を修正すると共に修正された座標変換用パラメータの値に基づいて実映像及び仮想映像の相対位置関係を補正する補正手段と
を備え、
補正手段は、前記実目標の画像のモニタ座標と、座標変換された実目標のモニタ座標系におけるモニタ座標と、前記実目標の画像のモニタ座標及び前記座標変換された実目標のモニタ座標系におけるモニタ座標の偏差とから、修正する座標変換用パラメータの数より多い数の関係式を生成し、前記偏差の二乗和が最小になるように座標変換用パラメータを修正し、
前記実目標の数は、前記関係式を修正する座標変換用パラメータの数より多く生成できる数であることを特徴とする映像位置関係補正装置。
前記認識手段は、前記座標変換手段によって修正前の座標変換用パラメータに基づいてモニタ画面上のモニタ座標系に仮想目標を提供し、カメラにより実際に撮影された実目標の画像のモニタ座標と前記仮想目標のモニタ座標との差によって認識する請求項１に記載の映像位置関係補正装置。
前記認識手段は、実目標及び仮想目標の一方をモニタ画面上で移動させて他方に重ね合わせるコントローラを備える請求項２に記載の映像位置関係補正装置。
前記認識手段は、画像処理により認識を行う請求項１に記載の映像位置関係補正装置。
前記認識手段は、仮想目標を表示することなく仮想目標に最も近い実目標を自動認識する請求項１に記載の操舵支援装置。
前記補正手段は、修正後の座標変換用パラメータに基づいて新たな仮想目標点を結ぶ線を計算し、モニタ画面上に表示する請求項１に記載の操舵支援装置。
実映像及び仮想映像がそれぞれ車両の後方映像及び操舵支援ガイドである請求項１〜６のいずれか一項に記載の映像位置関係補正装置を備えた操舵支援装置。
実目標は、路面上に設定された請求項７に記載の操舵支援装置。
実目標は、車両後部に取り付けられた平板部材上に設定された請求項７に記載の操舵支援装置。
カメラにより撮影された実映像と仮想映像とをモニタ画面に重畳表示する方法に関し、
カメラにより実座標系上の実目標を撮影し、
カメラ自体の内部パラメータと、車両へのカメラの取り付けに関する取付パラメータと、モニタ画面への変換定数とを含む座標変換用パラメータの基準値に基づいて実座標系における実目標の実座標を座標変換し、モニタ画面上のモニタ座標系におけるモニタ座標を理論的に導出することにより仮想目標を作成し、
カメラにより実際に撮影された実目標の映像のモニタ座標とこれに対応する仮想目標のモニタ座標とのズレに基づいて実目標の画像のモニタ座標を認識し、
前記実目標の画像のモニタ座標と、座標変換された実目標のモニタ座標系におけるモニタ座標と、前記実目標の画像のモニタ座標及び前記座標変換された実目標のモニタ座標系におけるモニタ座標の偏差とから、前記座標変換用パラメータのうち少なくともカメラ自体の内部パラメータを含んだ修正する座標変換用パラメータの数より多い関係式を生成し、
前記偏差の二乗和が最小になるように座標変換用パラメータを修正し、
修正された座標変換用パラメータの値に基づいて実映像及び仮想映像の相対位置関係を補正する
ことを特徴とする映像位置関係補正方法。