JP3632563B2 - 映像位置関係補正装置、該映像位置関係補正装置を備えた操舵支援装置、及び映像位置関係補正方法 - Google Patents
映像位置関係補正装置、該映像位置関係補正装置を備えた操舵支援装置、及び映像位置関係補正方法 Download PDFInfo
- Publication number
- JP3632563B2 JP3632563B2 JP2000145015A JP2000145015A JP3632563B2 JP 3632563 B2 JP3632563 B2 JP 3632563B2 JP 2000145015 A JP2000145015 A JP 2000145015A JP 2000145015 A JP2000145015 A JP 2000145015A JP 3632563 B2 JP3632563 B2 JP 3632563B2
- Authority
- JP
- Japan
- Prior art keywords
- target
- virtual
- actual
- positional relationship
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
Description
【０００１】
【発明の属する技術分野】
本発明は、実映像及び仮想映像の相対位置関係を補正する映像位置関係補正装置、該映像位置関係補正装置を備えた操舵支援装置、及び映像位置関係補正方法に関するものである。
【０００２】
【従来の技術】
従来、後進で車両を所定の駐車位置に移動させるに際して、運転者が車両の死角により目標とする場所が見えなくなった場合にもハンドル操作が行えるよう、モニタに車両の後方映像及び操舵支援ガイドを写し出すようにした操舵支援装置が提案されている。かかる装置は、車両後方の実映像を撮影するＣＣＤカメラと、このＣＣＤカメラのとらえた映像を写し出すモニタと、タイヤ操舵角に係る情報等を検出するセンサと、このセンサからの情報に応じて運転者に適切な操舵情報を提供すべく仮想映像としての操舵支援ガイドを提供する回路と、これら車両後方映像と操舵支援ガイドとをモニタ画面上に重畳表示させる回路とを備えている。
【０００３】
ここで、ＣＣＤカメラにはレンズとＣＣＤエリアセンサとが含まれるが、レンズの光軸とＣＣＤエリアセンサの中心とが合致した状態でＣＣＤカメラが組み立てられ、このＣＣＤカメラが予め定められた基準の取付位置及び取付角度で車両に取り付けられた正常な状態では、図１０の（ａ）に示されるように、モニタ画面１上には、例えば車両後方映像に含まれる道路３及び車両後部バンパ５と、操舵支援ガイド７とが適切な位置関係で表示される。しかし、レンズの光軸とＣＣＤエリアセンサの中心とが合致していない場合やＣＣＤカメラが車両に基準通りに適正に取り付けられない場合には、図１０の（ｂ）に示されるように、モニタ画面１上で、車両後方映像の中心９と操舵支援ガイド７を描画するためのモニタ画面中心１１とが一致しなくなり、道路３及び車両後部バンパ５と操舵支援ガイド７とが適切な位置関係からズレてしまうことがある。
この場合には、操舵支援ガイド７に従って車両を移動させても希望通り後退できなかったり駐車できないことがあり得る。そのため、通常は、レンズの光軸がＣＣＤエリアセンサの中心を通るように光軸の調整すなわちＣＣＤエリアセンサとレンズとの相対位置関係の調整が行われている。また、ＣＣＤカメラが車両に基準通りに適正に取り付けられるように、車両ごとにＣＣＤカメラの取付状態の調整が行われている。
【０００４】
【発明が解決しようとする課題】
しかしながら、上述した光軸の調整は、レンズの組付け時にレンズの位置を物理的に調整して行うようになっていた。そのため、光軸の調整を高精度で行うことが困難であった。また、より高い精度を得ようとすると、非常にコストがかかるといった問題があった。
さらに、ＣＣＤカメラを基準通りに車両に取り付けるための調整作業に多くの時間が費やされている。また、ＣＣＤカメラを基準通りに高精度で車両に取り付けるのは困難であり、ＣＣＤカメラの実際の車両取付状態には基準に対してばらつきが発生してしまうといった問題点があった。
【０００５】
本発明は、このような映像表示装置における従来の問題点に鑑みてなされたものであり、物理的な光軸調整を行うことなく、またＣＣＤカメラを基準通りに車両に取り付けるための調整作業を行うことなく、実映像と仮想映像との位置関係を適正に補正することができる映像位置関係補正装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上述の目的を達成するため、本発明の映像位置関係補正装置は、カメラにより撮影された実映像と仮想映像とをモニタ画面に重畳表示する装置に関し、前記カメラの被写領域に設けられ前記カメラに複数の実目標を撮影させる実目標提供手段と、前記仮想映像と同座標系に、前記複数の実目標の座標から、それぞれに対応して理論的に導出される複数の仮想目標を提供する仮想目標提供手段と、前記実目標及び前記実目標に対応する前記仮想目標のズレから前記実映像及び仮想映像の相対位置関係を補正する補正手段であって、前記仮想映像と同座標系における、カメラにより撮影された前記実目標の座標を算出し、車両に取り付けられたカメラの基準の位置および角度を含む基準パラメータを予め記憶し、この基準パラメータにより前記実目標から理論的に導出される前記仮想目標の座標を算出し、この仮想目標の座標及び前記実目標の座標のズレと基準パラメータとから、カメラの実際の位置および角度を含む実取付パラメータを算出し、この実取付パラメータに基づいて前記実映像及び仮想映像の相対位置関係を補正することを特徴とする補正手段とを備えたことを特徴とする。
【０００７】
前記補正手段は、前記仮想目標の座標及び前記実目標の座標のズレと前記基準パラメータとから、ニュートンラフソン法により、前記実取付パラメータを算出してもよい。
前記基準パラメータおよび実取付パラメータは、前記カメラのレンズの焦点距離、歪率、前記レンズの光軸に対するカメラセンサの位置ずれ、傾きのうち、少なくとも１つを有する、前記カメラ自体のパラメータを含んでもよい。
前記補正手段は、前記実目標及び仮想目標の一方をモニタ画面上で移動させて他方に重ね合わせるコントローラを備えていてもよい。また、前記コントローラは、前記複数の実目標及び前記実目標に対応した前記複数の仮想目標の一方を、それぞれ独立して、モニタ画面上で移動させて他方に重ね合わせてもよい。
前記補正手段は、画像処理により前記実目標及び仮想目標のズレを検出する画像処理回路を備えていてもよい。
【０００８】
前記実映像及び仮想映像がそれぞれ、車両の後方映像及び操舵支援ガイドであてもよい。
また、前記実目標提供手段は、車両後部に取り付けられ且つ表面に前記実目標を有する部材であってもよい。
【０００９】
同目的を達成するため、本発明の映像位置関係補正方法は、カメラにより撮影された実映像と仮想映像とをモニタ画面に重畳表示する装置に関し、前記カメラに複数の実目標を撮影させ、前記仮想映像と同座標系に、前記複数の実目標の座標から、それぞれに対応して理論的に導出される仮想目標を設定し、前記実目標及び前記実目標に対応する前記仮想目標のズレから実映像及び仮想映像の相対位置関係を補正するものであって、仮想映像と同座標系における、カメラにより撮影された実目標の座標を算出し、車両に取り付けられたカメラの基準の位置および角度を含む基準パラメータを予め記憶し、この基準パラメータにより実目標から理論的に導出される仮想目標の座標を算出し、この仮想目標の座標及び実目標の座標のズレと基準パラメータとから、カメラの実際の位置および角度を含む実取付パラメータを算出し、この実取付パラメータに基づいて実映像及び仮想映像の相対位置関係を補正することを特徴とする。
【００１０】
【発明の実施の形態】
以下、本発明の映像位置関係補正装置を、車両の操舵支援装置における車両後方映像と操舵支援ガイドとの映像位置関係を補正する場合に適用した、実施の形態について添付図面を基に説明する。
【００１１】
実施の形態１．
図１は、本発明の実施の形態１に係る映像位置関係補正装置の概要を説明するブロック図である。ＣＣＤカメラ２１は、レンズ２３、ＣＣＤエリアセンサ２５及び信号処理ＩＣ２７を備えている。信号処理ＩＣ２７からの信号は、スーパーインポーズ回路２９に入力されるようになっている。さらに、スーパーインポーズ回路２９には、理論描画回路３１からの信号及びコントローラ３３からの補正信号も入力されるようになっている。スーパーインポーズ回路２９の信号は、モニタ３５に出力されるようになっている。また、図２に示されるように、コントローラ３３は筐体からなり、その前面には、上下左右方向の補正量を入力可能な十字ボタン３７が設けられている。
【００１２】
次に、本実施の形態に係る映像位置関係補正装置の作用について説明する。まず、図３に示されるように、車両３９の後部には、実映像として車両後方映像を撮影するためのＣＣＤカメラ２１が取り付けられている。また、車両３９の後部バンパ３９ａには、実目標提供手段としてのテストチャート部材４１の前端が取り付けられる。これにより、テストチャート部材４１は、ＣＣＤカメラ２１の被写領域Ａ内に配置されることになる。そして、板状のテストチャート部材４１の上面には、５つの十字状の実目標４３が描かれている。実目標４３を含む実映像は、レンズ２３を介してＣＣＤエリアセンサ２５により取り込まれる。ＣＣＤエリアセンサ２５に取り込まれた実映像に関する信号は、信号処理ＩＣ２７に送られ、そこで実目標４３の座標データとして処置され、スーパーインポーズ回路２９に出力される。一方、スーパーインポーズ回路２９には、仮想目標提供手段としての理論描画回路３１から、仮想目標４５に関する信号が入力される。
【００１３】
ここで、理論描画回路３１における仮想目標４５の導出について説明する。テストチャート部材４１上における実目標４３の位置は予め決められており、さらに、テストチャート部材４１の車両に対する取り付け態様も予め決められていることから、実目標４３がＣＣＤカメラ２１で撮影された際、モニタ画面上における実目標４３の座標も予め理論的に算出することができる。理論描画回路３１は、このように理論的に求めた座標を仮想目標４５の座標データとしてスーパーインポーズ回路２９に出力する。
【００１４】
スーパーインポーズ回路２９においては、ＣＣＤカメラ２１から出力された実目標４３の座標データと、理論描画回路３１から出力された仮想目標４５の座標データとにより、実目標４３及び仮想目標４５をそれぞれ実線及び点線で描画してモニタ画面３５上に重畳表示する。このとき、レンズ２３の光軸とＣＣＤエリアセンサ２５の中心とが適切に合致している場合には、実際に撮影された実目標４３の位置と、実目標４３の設定位置に対応して理論的に求められた仮想目標４５の位置とは、モニタ画面３５上で重なる。しかし、レンズ２３の光軸とＣＣＤエリアセンサ２５の中心とが合致していない場合には、図１に示されるように、実際に撮影された実目標４３の位置が本来の位置すなわち理論的に求められた仮想目標４５の位置からズレてしまう。
【００１５】
このようにしてレンズ２３の光軸とＣＣＤエリアセンサ２５の中心とが合致していないことが確認された場合、利用者は、仮想目標４５を実目標４３に重ねるような方向にコントローラ３３の十字ボタン３７を操作する。利用者からコントローラ３３の十字ボタン３７を介して入力された補正量は、スーパーインポーズ回路２９に入力され、スーパーインポーズ回路２９は、その補正量に応じて理論描画による仮想目標４５の位置を補正してモニタ画面３５上に表示しなおす。利用者は、補正後の仮想目標４５の位置と実目標４３の位置とを比較しながら、両者が完全に重なるまで更に補正が必要な場合には、コントローラ３３を操作する。
【００１６】
このようにしてモニタ画面３５上で、仮想目標４５の位置と実目標４３の位置とが一致するように補正が完了すると、スーパーインポーズ回路２９においてかかる補正量がメモリされる。そして、スーパーインポーズ回路２９は、その後、理論描画回路３１から出力された仮想目標４５と同座標系の仮想映像のデータ、例えば、操舵支援ガイドの表示データ等に対しては上記と同様な補正量による補正処理をする。これにより、レンズ２３の光軸とＣＣＤエリアセンサ２５の中心とが合致していない場合でも、レンズ２３の光軸を物理的に調整することなく、実映像と仮想映像との位置関係を適正に補正することができ、すなわち、実映像としての車両後方映像と、仮想映像としての操舵支援ガイドとの位置関係を適正にすることができる。
【００１７】
実施の形態２．
図４は、本発明の実施の形態２に係る映像位置関係補正装置の概要を説明するブロック図である。本実施の形態２に係る映像位置関係補正装置は、上述した実施の形態１に係る映像位置関係補正装置に対して、補正手段としてコントローラ３３の代わりに画像処理回路５３を備えた点が主に異なるものである。
【００１８】
まず、実施の形態１の場合と同様なテストチャート部材４１上に描かれた実目標４３がＣＣＤカメラ５１により撮影され、信号処理ＩＣ５７で処理された実目標４３の座標データがスーパーインポーズ回路５９に入力される。さらに、スーパーインポーズ回路５９には、理論描画回路３１において理論的に求められた仮想目標４５に関する信号が入力される。
【００１９】
スーパーインポーズ回路５９は、入力された実目標４３の座標データと仮想目標４５の座標データから実目標４３及び仮想目標４５をモニタ画面３５上に重畳表示する。そして、レンズ２３の光軸とＣＣＤエリアセンサ２５の中心とが合致していないため、実目標４３の位置と仮想目標４５の位置とがズレている場合には、画像処理回路５３が画像処理により上記ズレ量を検出し、ズレ量がなくなるような補正量を算出してＣＣＤカメラ５１内の信号処理ＩＣ５７に送る。信号処理ＩＣ５７においては、その補正量に応じて実際に撮影した実目標４３の座標データを補正してスーパーインポーズ回路５９に出力し直す。これにより、レンズ２３の光軸とＣＣＤエリアセンサ２５の中心とが合致していないことに起因した実映像と仮想映像との位置関係のズレが補正される。また、信号処理ＩＣ５７においてはかかる補正量がメモリされ、その後、撮影された実映像の座標データ、例えば、道路や車両後部バンパ等の車両後方視界のデータに対して補正処理をする。これにより、レンズ２３の光軸とＣＣＤエリアセンサ２５の中心とが合致していない場合でも、実映像としての車両後方映像と、仮想映像としての操舵支援ガイドとの位置関係を適正にすることができる。
【００２０】
実施の形態３．
実施の形態１においてはコントローラ３３に入力された補正量はスーパーインポーズ回路２９に送られていたが、本実施の形態３においては、コントローラ３３に入力された補正量は、例えばＣＣＤカメラのシリアルインターフェースを介して、ＣＣＤカメラに送られ、ＣＣＤカメラ内で映像データの補正が行われる。かかる態様においても、実施の形態１と同様に、実映像としての車両後方映像と、仮想映像としての操舵支援ガイドとの位置関係を適正にすることができる。
【００２１】
実施の形態４．
この実施の形態４に係る映像位置関係補正装置は、レンズの光軸とＣＣＤセンサエリアの中心とが適切に合致しないだけでなく、ＣＣＤカメラが車両に基準通りに適正に取り付けられない場合に実映像及び仮想映像の相対位置関係を補正するものである。
【００２２】
まず、本実施の形態４に係る映像位置関係補正装置を車両に取り付けた状態を説明する。図５に示されるように、車両３９の後部には、車両後方映像を撮影するためのＣＣＤカメラ２１が取り付けられている。ＣＣＤカメラ２１には、レンズ２３およびＣＣＤエリアセンサ２５を備えている。また、車両３９の運転席前方にはモニタ６５が設けられている。
【００２３】
まず、ＣＣＤカメラ２１が基準通りに車両に取り付けられ、且つＣＣＤカメラ２１のレンズ２３の光軸７７がＣＣＤエリアセンサ２５の中心と合致した理想状態の場合を説明する。
説明の便宜のため、車両のリヤアクスル中心７５から路面７６に対して垂直に下ろした地面上の点を原点Ｏとし、車両３９の後方に向かった水平方向をｙ軸正方向、車両３９の左方に向かった水平方向をｘ軸正方向、車両３９の上方に向かった垂直方向をｚ軸正方向とした路面座標系を想定する。
【００２４】
ＣＣＤカメラ２１は、路面座標系で表された座標点ＰＳ（ｘ，ｙ，ｚ）の基準取付位置に、伏せ角ω、方向角γ、回転角θの基準取付角度で設置されている。ここで、伏せ角ωはｙ軸方向から下に向いている角度を表し、方向角γはｘｙ平面に平行な面におけるｙ軸負方向からの角度を表し、回転角θはＣＣＤカメラ２１を光軸中心７７周りにＣＣＤカメラ２１を回転させて取り付けた角度を表す。また、レンズ２３の光軸７７に対するＣＣＤエリアセンサ２５の中心のｘ軸正方向への位置ずれ量をΔＣｘ、ｙ軸正方向への位置ずれ量をΔＣｙとする。ここで、ｘ，ｙ，ｚ、ω、γ、θ、ΔＣｘ、ΔＣｙは、予め定められた値である場合も、基準取付パラメータとする。
特に、ＣＣＤカメラ２１のレンズ２３の光軸７７とＣＣＤエリアセンサ２５の中心とは合致した状態に位置調整されているとする。すなわち、レンズ２３の光軸７７に対するＣＣＤエリアセンサ２５の中心のｘ軸正方向への位置ずれ量ΔＣｘ、ｙ軸正方向への位置ずれ量ΔＣｙはともに０である。
【００２５】
一方、図６に示されるように、実際にＣＣＤカメラ２１が車両３９に取り付けられた場合には、基準に対して取付誤差を含んで取り付けられ、且つＣＣＤカメラ２１のレンズ２３の光軸７７とＣＣＤエリアセンサ２５の中心とが合致しない状態になっている。
この場合、ＣＣＤカメラ２１は、路面座標系で表された座標点ＰＣ（ｘ＋Δｘ，ｙ＋Δｙ，ｚ＋Δｚ）の取付位置に、伏せ角ω＋Δω、方向角γ＋Δγ、回転角θ＋Δθの取付角度で設置されている。
また、ＣＣＤエリアセンサ２５のｘ軸正方向への位置ずれ量はΔＣｘ、ｙ軸正方向への位置ずれ量はΔＣｙとなっている。
ここで、ｘ＋Δｘ，ｙ＋Δｙ，ｚ＋Δｚ、ω＋Δω、γ＋Δγ、θ＋Δθ、ΔＣｘ、ΔＣｙを実取付パラメータとする。
【００２６】
また、車両３９の後部の路面上には、テストチャート部材８１が原点Ｏから予め決められた所定の位置に置かれている。テストチャート部材８１は、ＣＣＤカメラ２１の被写領域Ａ内に配置されることになる。また、テストチャート部材８１の上面には、４つの基準点Ｑ１、Ｑ２，Ｑ３，Ｑ４を頂点とする長方形からなる実目標８３が描かれている。
【００２７】
図７は、本発明の実施の形態に係る映像位置関係補正装置の概要を説明するブロック図である。ＣＣＤカメラ２１は、レンズ２３、ＣＣＤエリアセンサ２５及び信号処理ＩＣ２７を備えている。信号処理ＩＣ２７からの信号は、スーパーインポーズ回路６９に入力されるようになっている。さらに、スーパーインポーズ回路６９には、理論描画回路６１からの信号も入力されるようになっている。スーパーインポーズ回路６９の信号は、モニタ６５に出力されるようになっている。モニタ６５には、位置変更のための十字状ボタン６６ａ、決定ボタン６６ｂおよび計算ボタン６６ｃを備えたタッチパネル６６が設けられている。さらに、モニタ６５はコントローラ６３に接続され、コントローラ６３は、タッチパネル６６を制御するとともに、理論描画回路６１に接続されている。コントローラ６３、タッチパネル６６及び理論描画回路６１は、補正手段を構成する。さらに、理論描画回路６１は、仮想目標提供手段をも構成している。
【００２８】
次に、本実施の形態に係る映像位置関係補正装置の作用について説明する。
まず、実目標８３を含む実映像は、レンズ２３を介してＣＣＤエリアセンサ２５により取り込まれる。ＣＣＤエリアセンサ２５に取り込まれた実映像に関する信号は、信号処理ＩＣ２７に送られ、仮想映像と同座標系である仮想座標系の実目標の座標データとして処置され、スーパーインポーズ回路６９に出力される。一方、スーパーインポーズ回路６９には、理論描画回路６１から、仮想目標点Ｒ１〜Ｒ４を含む仮想目標８５に関する信号が入力される。
【００２９】
ここで、理論描画回路６１における仮想目標８５の導出について説明する。テストチャート部材８１上における基準点Ｑ１〜Ｑ４の位置は予め決められており、さらに、テストチャート部材８１の車両に対する取り付け態様も予め決められていることから、基準点Ｑ１〜Ｑ４に対応した理論的に導出される仮想目標８５の仮想目標点Ｒ１〜Ｒ４の座標は、基準取付パラメータを基にした後述する算出方法により算出することができる。理論描画回路６１は、このように理論的に求めた座標を仮想目標の座標データとして、スーパーインポーズ回路６９に出力する。
【００３０】
スーパーインポーズ回路６９においては、ＣＣＤカメラ２１から出力された実目標８３の座標データと、理論描画回路６１から出力された仮想目標８５の座標データとにより、実目標８３及び仮想目標８５をそれぞれ実線及び点線で描画してモニタ画面６５上に重畳表示する。このとき、ＣＣＤカメラ２１が基準通りに車両に取り付けられ、且つＣＣＤカメラ２１のレンズ２３の光軸７７がＣＣＤエリアセンサ２５の中心と合致している場合には、実際に撮影された実目標８３の基準点Ｑ１〜Ｑ４のモニタ画面上の位置である映像基準点Ｐ１〜Ｐ４の位置と、仮想目標点Ｒ１〜Ｒ４の位置とは、モニタ画面６５上で重なる。しかし、ＣＣＤカメラ２１が基準に対して取付誤差を含んで取り付けられたり、ＣＣＤカメラ２１のレンズ２３の光軸７７とＣＣＤエリアセンサ２５の中心とが合致しない状態になっている場合には、図７に示されるように、映像基準点Ｑ１〜Ｑ４の位置が本来の位置すなわち理論的に求められた仮想目標点Ｒ１〜Ｒ４の位置からズレてしまう。
【００３１】
このような場合、利用者は、タッチパネル６６の十字ボタン６６ａを操作して、まず仮想目標点Ｒ１を映像基準点Ｐ１に重ねるようにする。利用者の十字ボタン６６ａにより入力された仮想目標点Ｒ１の移動量は、コントローラ６３に入力される。次に、仮想目標点Ｒ１が基準点Ｑ１に重なったところで利用者が決定ボタン６６ｂを押すと、決定ボタン６６ｂの信号がコントローラ６３に入力され、コントローラ６３は、仮想目標点Ｒ１の移動量を基に映像基準点のＰ１の座標を算出する。この操作を繰り返して仮想目標点Ｒ２〜Ｒ４を順に移動すると、映像基準点Ｐ２〜Ｐ４の座標が算出される。
次に、計算ボタンが押されると、コントローラ６３は映像基準点Ｐ１〜Ｐ４の映像座標データを理論描画回路６１に出力し、理論描画回路６１では後述する算出方法で実取付パラメータを算出する。さらに、コントローラ６３は実取付パラメータを基にして新たな仮想目標点Ｒ１〜Ｒ４の座標を計算してこの新たな仮想目標点Ｒ１〜Ｒ４をモニタ画面６５上に表示しなおす。補正された仮想目標点Ｒ１〜Ｒ４の位置と映像基準点Ｐ１〜Ｐ４の位置とを比較しながら、更に補正が必要な場合には、再度タッチパネル６６を操作し、両者が完全に重なるようにする。
【００３２】
このようにしてモニタ画面６５上で、仮想目標点Ｒ１〜Ｒ４の位置と基準点Ｐ１〜Ｐ４とが一致するように補正が完了すると、理論描画回路６１は、仮想目標と同座標系の仮想映像のデータ、例えば、操舵支援ガイドの表示データ等を、実取付パラメータを基に作成する。
【００３３】
次に、理論描画回路６１が、基準取付パラメータを用いてモニタ画面６５上に表示する仮想目標８５の仮想目標点Ｒ１〜Ｒ４の座標を算出し、さらに、仮想目標点Ｒ１〜Ｒ４、映像基準点Ｐ１〜Ｐ４の座標及び基準取付パラメータから実取付パラメータを算出する方法を説明する。
一般的には、仮想目標と同座標系である仮想座標系の映像基準点Ｐの座標値は、ＣＣＤカメラ２１の取付位置の座標ｘ，ｙ，ｚ、取付角度ω、γ、θ、レンズ２３の光軸７７とＣＣＤエリアセンサ２５の中心との位置ずれ量ΔＣｘ、ΔＣｙをそれぞれ、ｘ１〜ｘ８の８つのパラメータとし、基準点Ｑの路面座標系の座標値をＸＱ，ＹＱとして、関数
ξ＝Ｆ（ｘ１，ｘ２，ｘ３，ｘ４，ｘ５，ｘ６，ｘ７，ｘ８，ＸＱ，ＹＱ）
で表される。
映像基準点Ｐ１のｘ、ｙ座標、Ｐ２のｘ、ｙ座標、Ｐ３のｘ、ｙ座標およびＰ４のｘ、ｙ座標は、それぞれ順に、ξ１〜ξ８として、一般式ξｎ（但し、ｎは、１から８までの整数）で表すことにする。
例えば、映像基準点Ｐ１のｘ座標は、ＸＱ，ＹＱが基準点Ｑ１の座標値により定数で与えられるので、
ξ１＝Ｆ１（ｘ１，ｘ２，ｘ３，ｘ４，ｘ５，ｘ６，ｘ７，ｘ８）
と表わせる。
【００３４】
また、図６に示されるような、実際のカメラ取付状態で撮影され、モニタ上に映し出された映像基準点Ｐ１〜Ｐ４の座標について、Ｐ１のｘ、ｙ座標、Ｐ２のｘ、ｙ座標、Ｐ３のｘ、ｙ座標、Ｐ４のｘ、ｙ座標を、それぞれ順に、ξ１’〜ξ８’として、一般式ξｎ’（但し、ｎは、１から８までの整数）で表すことにする。
映像基準点Ｐ１〜Ｐ４のｘ座標及びｙ座標ξ１’〜ξ８’は既にコントローラ６３で算出されている。
ここで、ｆｎ（ｘ１，……，ｘ８）＝ξｎ−ξｎ’なる関数を導入し、パラメータｘ１〜ｘ８に実際のカメラ取付状態である実取付パラメータの値が設定されれば、ｆｎ（ｘ１，……，ｘ８）＝０となる。
すなわち、ｆ１〜ｆ８がいずれもが０となるようにパラメータｘ１〜ｘ８の値を求めれば、この値が実取付パラメータの値となる。
【００３５】
パラメータｘ１〜ｘ８を求めるにあたって、ニュートンラフソン法を用いる。
関数ｆｎに関してテーラー展開式を導入すると、
ｆｎ（ｘ１＋Δｘ１，…，ｘ８＋Δｘ８）＝ｆｎ（ｘ１，…，ｘ８）＋ｄｆｎ／ｄｘｎ・Δｘｎ＝０
と近似できる。従って、
となる。
【００３６】
ここで、（１）式をマトリックスで表現し、図５に示されるような理想取付状態の基準取付パラメータを初期値としてｘ１〜ｘ８に代入し、ｄＦｎ／ｄｘｎおよびＦｎを計算する。ξｎ’は上述したように求められているので、Δｘ１〜Δｘ８を算出できる。次に、Δｘ１〜Δｘ８をｘ１〜ｘ８にそれぞれ加えてｘ１〜ｘ８の値を補正して、（１）式に代入して、Δｘ１〜Δｘ８を求める。これをΔｘ１〜Δｘ８がそれぞれ０あるいは０近傍の所定値になるまで繰り返すことによって実取付パラメータｘ１〜ｘ８を求めることができる。
【００３７】
このようにして、実取付パラメータが算出され、理論描画回路６１が実取付パラメータを基にして新たな仮想目標点Ｒ１〜Ｒ４の座標を計算してこの新たな仮想目標点Ｒ１〜Ｒ４をモニタ画面６５上に表示しなおす。また、実取付パラメータを基にして仮想目標８５と同座標系の仮想映像のデータ、例えば、操舵支援ガイドの表示データが作成し直されることにより、実映像と仮想映像との位置関係を適正に補正することができる。
これにより、レンズ２３の光軸７７とＣＣＤエリアセンサ２５の中心とが合致せず、且つＣＣＤカメラが車両に基準通りに適正に取り付けられない場合でも、レンズ２３の光軸７７を物理的に調整することなく、またＣＣＤカメラを基準通りに車両に高精度で取り付けるための調整作業を行うことなく、実映像と仮想映像との位置関係を適正に補正することができる。すなわち、実映像としての車両後方映像と、仮想映像としての操舵支援ガイドとの位置関係を適正にすることができる。
【００３８】
実施の形態５．
図８は、本発明の実施の形態５に係る映像位置関係補正装置の概要を説明するブロック図である。本実施の形態５に係る映像位置関係補正装置は、上述した実施の形態４に係る映像位置関係補正装置に対して、補正手段としてコントローラ６３の代わりに画像処理回路９３を備えた点及びモニタ画面１０５にはタッチパネルがない点が主に異なるものである。
【００３９】
画像処理回路９３は、モニタ画面１０５上に表示されている実目標８３を画像処理して、映像基準点Ｐ１〜Ｐ４の座標を算出し、理論描画回路６１に出力する。理論描画回路６１は、上述したニュートンラフソン法により実取付パラメータを算出して、実取付パラメータを基にした仮想目標８５の仮想目標点Ｒ１〜Ｒ４の座標を計算し、スーパーインポーズ回路６９を介して仮想目標点Ｒ１〜Ｒ４がモニタ画面１０５上に表示される。
【００４０】
このように、画像処理回路９３は画像処理により、映像基準点Ｐ１〜Ｐ４の座標を算出し、実取付パラメータを基にした仮想目標点Ｒ１〜Ｒ４が最初から表示されるので、利用者がタッチパネルを操作して仮想目標点Ｒ１〜Ｒ４を映像基準点Ｐ１〜Ｐ４に合わせる調整作業が不要となり、製造コストが低減する。
【００４１】
実施の形態６．
図９は、本発明の実施の形態６に係る映像位置関係補正装置の概要を説明するブロック図である。本実施の形態６に係る映像位置関係補正装置は、上述した実施の形態４に係る映像位置関係補正装置に対して、理論描画回路１０１及びコントローラ１０３が主に異なるものである。
【００４２】
モニタ６５上には、理論描画回路１０１が算出した仮想目標点Ｒ１〜Ｒ４を頂点とする矩形の座標データを基に、矩形の仮想目標９５が表示される。また、コントローラ１０３では、利用者が、モニタ上に設けられた図示しない選択ボタンにより移動対象となる仮想目標点Ｒ１〜Ｒ４のうち移動対象となる例えば、仮想目標点Ｒ１を選択した後、十字ボタン６６ａを操作すると、選択された仮想目標点Ｒ１が移動する。仮想目標点Ｒ１が移動するたびに、この移動量がコントローラ１０３に入力される。コントローラ１０３は仮想目標点Ｒ１の移動量を基に、仮想目標点Ｒ１の位置を映像基準点Ｑ１の位置と仮定して、映像基準点Ｑ１の座標を算出するとともに、この座標を理論描画回路１０１に出力する。理論描画回路１０１では、この映像基準点Ｑ１の座標を基に、ニュートンラフソン法で実取付パラメータを算出して、実取付パラメータを基にして新たな仮想目標点Ｒ１〜Ｒ４を頂点とする矩形の仮想目標９５をモニタ画面６５上に表示しなおす。選択ボタンにより移動対象となる仮想目標点を変えてこの操作を繰り返すごとに、モニタ画面６５上に表示された仮想目標９５の形状が変化する。
【００４３】
このように、モニタ画面６５上に矩形の仮想目標９５が表示されると、利用者は仮想目標９５と実目標８３との形状を比較し、両者の頂点だけでなく辺の合致度を見ることによって、適切な実取付パラメータが算出されているかどうかを感覚的に判断することができる。
また、モニタ画面６５は１ドット単位の表示となるため、仮想目標９５を実目標８３に合わせて取得できる実目標８３の座標は、ドット単位の離散的なものであり、ドット間の中間にあたるような座標を取得することはできない。一方、モニタ画面６５の実映像の鮮明度は有限であり、特に遠方にある実目標８３に仮想目標９５を合わせる場合は精度に限界がある。
そのため、モニタ画面６５上に矩形の仮想目標９５が表示されると、利用者は仮想目標９５の矩形の辺の傾き、対辺同士の平行度及び対称性、あるいは、仮想目標９５の辺に対して、実目標８３の辺の歪み度合いを見て、算出した実取付パラメータと実際のカメラ取付状態との相違を判断するのが容易となる。
【００４４】
その他の実施の形態．
本発明は、上述した実施の形態に限定されるものではなく、以下のような改変を施して実施することも可能である。まず、実目標提供手段としてのテストチャート部材は、車両に対して予め決められた座標位置にあるような態様ならば、必ずしも車両に取り付けられあるいは路面に設置されていなくてもよく、路面に描かれた白線であってもよい。また、テストチャート部材上に設けられた実目標の数や形状についても上記実施の形態に示されたものに限定されるものではない。さらに、実目標提供手段は、テストチャート部材のように車両と別部材である必要はなく、例えば、カメラの被写領域に入っている車両の一部分を実目標と見立てても良い。
また、上記実施の形態１では操作のためのコントローラ３３及び十字ボタン３７を使用し、実施の形態４及び６ではタッチパネルを使用したが、これらに限定されるものではなく、仮想目標点と映像基準点を重ねるように操作可能な手段であればよい。操作手順も上記に限定されるものではなく、本発明の主旨を逸脱しない範囲で様々な手順で実施してもよい。
【００４５】
また、上記実施の形態１では理論描画による仮想映像を補正し、実施の形態２ではＣＣＤカメラで撮影した実映像を補正していたが、これに限定されるものではなく、実施の形態１においてＣＣＤカメラで撮影した実映像を補正し、実施の形態２において理論描画による仮想映像を補正する態様も可能である。
【００４６】
さらに、上記実施の形態は、車両の操舵支援装置における映像の補正に適用した場合について説明したが、本発明の映像位置関係補正装置は、これに限らず実映像と仮想映像とを重畳表示する他の装置における映像補正に適用することが可能である。
【００４７】
また、ＣＣＤカメラが基準通り車両に取り付けられている場合は、レンズの光軸に対するＣＣＤセンサエリアの中心のズレ量に対してのみにニュートンラフソン法を適用してもよい。一方、レンズの光軸に対するＣＣＤセンサエリアの中心のズレ量が既知の場合やズレ量がない場合は、ＣＣＤカメラの車両への取付位置、取付角度の６つのパラメータに対してニュートンラフソン法を適用してもよい。
レンズの焦点距離、歪率、レンズの光軸に対するＣＣＤセンサエリアの受光面の傾きのばらつき等の要因によって、実映像と仮想映像のズレを生じる場合は、これらをパラメータに加え、ニュートンラフソン法を適用して、実際のレンズの焦点距離、歪率、レンズの光軸に対するＣＣＤセンサエリアの受光面の傾きを算出してもよい。
【００４８】
また、実施の形態６では、仮想目標点Ｒ１〜Ｒ４を頂点とする矩形の仮想目標９５を用いたが、それに限らず、さらに追加の仮想目標点Ｒ５、Ｒ６… を用いてもよい。この場合、実施の形態６と同様に追加の仮想目標点Ｒ５、Ｒ６… が、相当する、追加の映像基準点Ｑ５、Ｑ６… と重なるように、仮想目標点Ｒ１〜Ｒ４の位置を移動させてもよいし、また、直接Ｒ５，Ｒ６… を移動させて、Ｑ５、Ｑ６… との相違量を把握してもよい。把握した相違量を基に、Ｒ１〜Ｒ４の移動させるべき量を算出できる。こうすることにより、作業者の調整作業が、｛移動｝→｛合否判断｝→｛移動｝→｛合否判断｝の繰り返しが不要となり、作業時間の短縮が図れるとともに高精度な補正が可能となる。
さらに、実施の形態６の映像位置関係補正装置に、実施の形態５に用いられた画像処理回路を追加して、画像処理の結果表示された矩形の仮想目標に対して、コントローラを操作して仮想目標をさらに実目標に精度良く合わせるようにしてもよい。
また、モニタの画面の１ドット単位の表示であるため、仮想目標が４つの点の場合１ドット単位以下の精度の座標を算出することができない。しかしながら、実施の形態６の映像位置関係補正装置のように、仮想目標として４つの点だけでなく矩形形状を表示する場合は、理論描画回路がモニタ画面の０．１ドット単位にあたる座標を使って、矩形上にあるの個々の点の座標データを定めてもよい。モニタ画面のドットよりも、精度の高い座標データに基づいた矩形形状がモニタに表示されると、矩形の辺の直線のズレ度合いにより、モニタ画面上の実目標の座標をより精度良く取得することができる。
さらに、仮想目標は、実目標に対応する位置を表示するだけでなく、例えばカメラのレンズの光軸が路面とあたる位置を表示するものであってもよい。
【００４９】
【発明の効果】
以上説明したように、請求項１に記載の映像位置関係補正装置によれば、レンズの光軸にズレが存在していても、またＣＣＤカメラが車両に基準通りに適正に取り付けられていなくても、実映像と仮想映像との整合性を確保することができる。さらに、レンズの光軸やＣＣＤカメラの取付を物理的に調整するのではなく、ソフトウェア面で補正を行うため、高精度且つ低コストで映像位置関係の補正が可能であり、また、パターン認識などを用いた自動補正等の技術導入も容易に行える。また、２次元の距離表示やガイドラインの精度が向上するため車載以外の計測関連分野への応用も可能となる。
【００５０】
請求項１又は２に記載の映像位置関係補正装置によれば、カメラの実際の車両取付状態やレンズの光軸のズレを算出して仮想映像を補正するので、レンズの光軸にズレが存在していても、またＣＣＤカメラが車両に基準通りに適正に取り付けられていなくても、実映像と仮想映像との整合性を確保することができる。
【００５１】
請求項３に記載の映像位置関係補正装置によれば、カメラ自体のばらつきに起因する、実映像と仮想映像との整合性を確保することができる。
請求項４に記載の映像位置関係補正装置によれば、レンズ等のカメラ側で補正するのではなく表示制御部品側で映像位置関係の補正をすることができる。また、利用者はモニタ画面上でズレの程度を確認しながら補正することが可能となる。
請求項５に記載の映像位置関係補正装置によれば、利用者はモニタ画面上でズレの程度を一つ一つ確認しながら補正することが可能となる。
【００５２】
請求項６に記載の映像位置関係補正装置によれば、画像処理により実映像と仮想映像との位置関係の補正を自動的に行うことができる。
【００５３】
請求項７に記載の車両の操舵支援装置によれば、車両後方映像と操舵支援ガイドとの位置関係が適正となり、操舵支援精度が向上する。
【００５４】
請求項８に記載の車両の操舵支援装置によれば、実目標を車両近傍に備えることから、カメラと目標との誤差が低減され、調整精度の向上を図ることができる。
【００５５】
請求項９に記載の映像位置関係補正方法によれば、カメラの実際の車両取付状態やレンズの光軸のズレを算出して仮想映像を補正するので、レンズの光軸にズレが存在していても、またＣＣＤカメラが車両に基準通りに適正に取り付けられていなくても、物理的な調整を行わず高精度且つ低コストで実映像と仮想映像との整合性を確保することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１に係る映像位置関係補正装置の概要を説明するブロック図である。
【図２】本発明の実施の形態１に係る映像位置関係補正装置のコントローラを示す図である。
【図３】実目標提供手段としてのテストチャート部材が車両後部に取り付けられた状態を示す図である。
【図４】本発明の実施の形態２に係る映像位置関係補正装置の概要を説明するブロック図である。
【図５】本発明の実施の形態５に係る映像位置関係補正装置を車両に取り付けた状態を示す図であり、（ａ）はその側面図であり、（ｂ）はその平面図である。
【図６】本発明の実施の形態５に係る映像位置関係補正装置を車両に取り付けた状態を示す図であり、（ａ）はその側面図であり、（ｂ）はその平面図である。
【図７】本発明の実施の形態４に係る映像位置関係補正装置の概要を説明するブロック図である。
【図８】本発明の実施の形態５に係る映像位置関係補正装置の概要を説明するブロック図である。
【図９】本発明の実施の形態６に係る映像位置関係補正装置の概要を説明するブロック図である。
【図１０】従来の操舵支援装置におけるモニタ画面であって、（ａ）はレンズの光軸とＣＣＤエリアセンサの中心とが合致した正常な状態のものであり、（ｂ）はレンズの光軸とＣＣＤエリアセンサの中心とがズレた状態のものである。
【符号の説明】
２１，５１…カメラ
３３、６３、１０３…コントローラ
３５、６５、１０５…モニタ画面
４１、８１…テストチャート部材
４３、８３…実目標
４５、８５…仮想目標
５３、９３…画像処理回路
Ａ…被写領域
【発明の属する技術分野】
本発明は、実映像及び仮想映像の相対位置関係を補正する映像位置関係補正装置、該映像位置関係補正装置を備えた操舵支援装置、及び映像位置関係補正方法に関するものである。
【０００２】
【従来の技術】
従来、後進で車両を所定の駐車位置に移動させるに際して、運転者が車両の死角により目標とする場所が見えなくなった場合にもハンドル操作が行えるよう、モニタに車両の後方映像及び操舵支援ガイドを写し出すようにした操舵支援装置が提案されている。かかる装置は、車両後方の実映像を撮影するＣＣＤカメラと、このＣＣＤカメラのとらえた映像を写し出すモニタと、タイヤ操舵角に係る情報等を検出するセンサと、このセンサからの情報に応じて運転者に適切な操舵情報を提供すべく仮想映像としての操舵支援ガイドを提供する回路と、これら車両後方映像と操舵支援ガイドとをモニタ画面上に重畳表示させる回路とを備えている。
【０００３】
ここで、ＣＣＤカメラにはレンズとＣＣＤエリアセンサとが含まれるが、レンズの光軸とＣＣＤエリアセンサの中心とが合致した状態でＣＣＤカメラが組み立てられ、このＣＣＤカメラが予め定められた基準の取付位置及び取付角度で車両に取り付けられた正常な状態では、図１０の（ａ）に示されるように、モニタ画面１上には、例えば車両後方映像に含まれる道路３及び車両後部バンパ５と、操舵支援ガイド７とが適切な位置関係で表示される。しかし、レンズの光軸とＣＣＤエリアセンサの中心とが合致していない場合やＣＣＤカメラが車両に基準通りに適正に取り付けられない場合には、図１０の（ｂ）に示されるように、モニタ画面１上で、車両後方映像の中心９と操舵支援ガイド７を描画するためのモニタ画面中心１１とが一致しなくなり、道路３及び車両後部バンパ５と操舵支援ガイド７とが適切な位置関係からズレてしまうことがある。
この場合には、操舵支援ガイド７に従って車両を移動させても希望通り後退できなかったり駐車できないことがあり得る。そのため、通常は、レンズの光軸がＣＣＤエリアセンサの中心を通るように光軸の調整すなわちＣＣＤエリアセンサとレンズとの相対位置関係の調整が行われている。また、ＣＣＤカメラが車両に基準通りに適正に取り付けられるように、車両ごとにＣＣＤカメラの取付状態の調整が行われている。
【０００４】
【発明が解決しようとする課題】
しかしながら、上述した光軸の調整は、レンズの組付け時にレンズの位置を物理的に調整して行うようになっていた。そのため、光軸の調整を高精度で行うことが困難であった。また、より高い精度を得ようとすると、非常にコストがかかるといった問題があった。
さらに、ＣＣＤカメラを基準通りに車両に取り付けるための調整作業に多くの時間が費やされている。また、ＣＣＤカメラを基準通りに高精度で車両に取り付けるのは困難であり、ＣＣＤカメラの実際の車両取付状態には基準に対してばらつきが発生してしまうといった問題点があった。
【０００５】
本発明は、このような映像表示装置における従来の問題点に鑑みてなされたものであり、物理的な光軸調整を行うことなく、またＣＣＤカメラを基準通りに車両に取り付けるための調整作業を行うことなく、実映像と仮想映像との位置関係を適正に補正することができる映像位置関係補正装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上述の目的を達成するため、本発明の映像位置関係補正装置は、カメラにより撮影された実映像と仮想映像とをモニタ画面に重畳表示する装置に関し、前記カメラの被写領域に設けられ前記カメラに複数の実目標を撮影させる実目標提供手段と、前記仮想映像と同座標系に、前記複数の実目標の座標から、それぞれに対応して理論的に導出される複数の仮想目標を提供する仮想目標提供手段と、前記実目標及び前記実目標に対応する前記仮想目標のズレから前記実映像及び仮想映像の相対位置関係を補正する補正手段であって、前記仮想映像と同座標系における、カメラにより撮影された前記実目標の座標を算出し、車両に取り付けられたカメラの基準の位置および角度を含む基準パラメータを予め記憶し、この基準パラメータにより前記実目標から理論的に導出される前記仮想目標の座標を算出し、この仮想目標の座標及び前記実目標の座標のズレと基準パラメータとから、カメラの実際の位置および角度を含む実取付パラメータを算出し、この実取付パラメータに基づいて前記実映像及び仮想映像の相対位置関係を補正することを特徴とする補正手段とを備えたことを特徴とする。
【０００７】
前記補正手段は、前記仮想目標の座標及び前記実目標の座標のズレと前記基準パラメータとから、ニュートンラフソン法により、前記実取付パラメータを算出してもよい。
前記基準パラメータおよび実取付パラメータは、前記カメラのレンズの焦点距離、歪率、前記レンズの光軸に対するカメラセンサの位置ずれ、傾きのうち、少なくとも１つを有する、前記カメラ自体のパラメータを含んでもよい。
前記補正手段は、前記実目標及び仮想目標の一方をモニタ画面上で移動させて他方に重ね合わせるコントローラを備えていてもよい。また、前記コントローラは、前記複数の実目標及び前記実目標に対応した前記複数の仮想目標の一方を、それぞれ独立して、モニタ画面上で移動させて他方に重ね合わせてもよい。
前記補正手段は、画像処理により前記実目標及び仮想目標のズレを検出する画像処理回路を備えていてもよい。
【０００８】
前記実映像及び仮想映像がそれぞれ、車両の後方映像及び操舵支援ガイドであてもよい。
また、前記実目標提供手段は、車両後部に取り付けられ且つ表面に前記実目標を有する部材であってもよい。
【０００９】
同目的を達成するため、本発明の映像位置関係補正方法は、カメラにより撮影された実映像と仮想映像とをモニタ画面に重畳表示する装置に関し、前記カメラに複数の実目標を撮影させ、前記仮想映像と同座標系に、前記複数の実目標の座標から、それぞれに対応して理論的に導出される仮想目標を設定し、前記実目標及び前記実目標に対応する前記仮想目標のズレから実映像及び仮想映像の相対位置関係を補正するものであって、仮想映像と同座標系における、カメラにより撮影された実目標の座標を算出し、車両に取り付けられたカメラの基準の位置および角度を含む基準パラメータを予め記憶し、この基準パラメータにより実目標から理論的に導出される仮想目標の座標を算出し、この仮想目標の座標及び実目標の座標のズレと基準パラメータとから、カメラの実際の位置および角度を含む実取付パラメータを算出し、この実取付パラメータに基づいて実映像及び仮想映像の相対位置関係を補正することを特徴とする。
【００１０】
【発明の実施の形態】
以下、本発明の映像位置関係補正装置を、車両の操舵支援装置における車両後方映像と操舵支援ガイドとの映像位置関係を補正する場合に適用した、実施の形態について添付図面を基に説明する。
【００１１】
実施の形態１．
図１は、本発明の実施の形態１に係る映像位置関係補正装置の概要を説明するブロック図である。ＣＣＤカメラ２１は、レンズ２３、ＣＣＤエリアセンサ２５及び信号処理ＩＣ２７を備えている。信号処理ＩＣ２７からの信号は、スーパーインポーズ回路２９に入力されるようになっている。さらに、スーパーインポーズ回路２９には、理論描画回路３１からの信号及びコントローラ３３からの補正信号も入力されるようになっている。スーパーインポーズ回路２９の信号は、モニタ３５に出力されるようになっている。また、図２に示されるように、コントローラ３３は筐体からなり、その前面には、上下左右方向の補正量を入力可能な十字ボタン３７が設けられている。
【００１２】
次に、本実施の形態に係る映像位置関係補正装置の作用について説明する。まず、図３に示されるように、車両３９の後部には、実映像として車両後方映像を撮影するためのＣＣＤカメラ２１が取り付けられている。また、車両３９の後部バンパ３９ａには、実目標提供手段としてのテストチャート部材４１の前端が取り付けられる。これにより、テストチャート部材４１は、ＣＣＤカメラ２１の被写領域Ａ内に配置されることになる。そして、板状のテストチャート部材４１の上面には、５つの十字状の実目標４３が描かれている。実目標４３を含む実映像は、レンズ２３を介してＣＣＤエリアセンサ２５により取り込まれる。ＣＣＤエリアセンサ２５に取り込まれた実映像に関する信号は、信号処理ＩＣ２７に送られ、そこで実目標４３の座標データとして処置され、スーパーインポーズ回路２９に出力される。一方、スーパーインポーズ回路２９には、仮想目標提供手段としての理論描画回路３１から、仮想目標４５に関する信号が入力される。
【００１３】
ここで、理論描画回路３１における仮想目標４５の導出について説明する。テストチャート部材４１上における実目標４３の位置は予め決められており、さらに、テストチャート部材４１の車両に対する取り付け態様も予め決められていることから、実目標４３がＣＣＤカメラ２１で撮影された際、モニタ画面上における実目標４３の座標も予め理論的に算出することができる。理論描画回路３１は、このように理論的に求めた座標を仮想目標４５の座標データとしてスーパーインポーズ回路２９に出力する。
【００１４】
スーパーインポーズ回路２９においては、ＣＣＤカメラ２１から出力された実目標４３の座標データと、理論描画回路３１から出力された仮想目標４５の座標データとにより、実目標４３及び仮想目標４５をそれぞれ実線及び点線で描画してモニタ画面３５上に重畳表示する。このとき、レンズ２３の光軸とＣＣＤエリアセンサ２５の中心とが適切に合致している場合には、実際に撮影された実目標４３の位置と、実目標４３の設定位置に対応して理論的に求められた仮想目標４５の位置とは、モニタ画面３５上で重なる。しかし、レンズ２３の光軸とＣＣＤエリアセンサ２５の中心とが合致していない場合には、図１に示されるように、実際に撮影された実目標４３の位置が本来の位置すなわち理論的に求められた仮想目標４５の位置からズレてしまう。
【００１５】
このようにしてレンズ２３の光軸とＣＣＤエリアセンサ２５の中心とが合致していないことが確認された場合、利用者は、仮想目標４５を実目標４３に重ねるような方向にコントローラ３３の十字ボタン３７を操作する。利用者からコントローラ３３の十字ボタン３７を介して入力された補正量は、スーパーインポーズ回路２９に入力され、スーパーインポーズ回路２９は、その補正量に応じて理論描画による仮想目標４５の位置を補正してモニタ画面３５上に表示しなおす。利用者は、補正後の仮想目標４５の位置と実目標４３の位置とを比較しながら、両者が完全に重なるまで更に補正が必要な場合には、コントローラ３３を操作する。
【００１６】
このようにしてモニタ画面３５上で、仮想目標４５の位置と実目標４３の位置とが一致するように補正が完了すると、スーパーインポーズ回路２９においてかかる補正量がメモリされる。そして、スーパーインポーズ回路２９は、その後、理論描画回路３１から出力された仮想目標４５と同座標系の仮想映像のデータ、例えば、操舵支援ガイドの表示データ等に対しては上記と同様な補正量による補正処理をする。これにより、レンズ２３の光軸とＣＣＤエリアセンサ２５の中心とが合致していない場合でも、レンズ２３の光軸を物理的に調整することなく、実映像と仮想映像との位置関係を適正に補正することができ、すなわち、実映像としての車両後方映像と、仮想映像としての操舵支援ガイドとの位置関係を適正にすることができる。
【００１７】
実施の形態２．
図４は、本発明の実施の形態２に係る映像位置関係補正装置の概要を説明するブロック図である。本実施の形態２に係る映像位置関係補正装置は、上述した実施の形態１に係る映像位置関係補正装置に対して、補正手段としてコントローラ３３の代わりに画像処理回路５３を備えた点が主に異なるものである。
【００１８】
まず、実施の形態１の場合と同様なテストチャート部材４１上に描かれた実目標４３がＣＣＤカメラ５１により撮影され、信号処理ＩＣ５７で処理された実目標４３の座標データがスーパーインポーズ回路５９に入力される。さらに、スーパーインポーズ回路５９には、理論描画回路３１において理論的に求められた仮想目標４５に関する信号が入力される。
【００１９】
スーパーインポーズ回路５９は、入力された実目標４３の座標データと仮想目標４５の座標データから実目標４３及び仮想目標４５をモニタ画面３５上に重畳表示する。そして、レンズ２３の光軸とＣＣＤエリアセンサ２５の中心とが合致していないため、実目標４３の位置と仮想目標４５の位置とがズレている場合には、画像処理回路５３が画像処理により上記ズレ量を検出し、ズレ量がなくなるような補正量を算出してＣＣＤカメラ５１内の信号処理ＩＣ５７に送る。信号処理ＩＣ５７においては、その補正量に応じて実際に撮影した実目標４３の座標データを補正してスーパーインポーズ回路５９に出力し直す。これにより、レンズ２３の光軸とＣＣＤエリアセンサ２５の中心とが合致していないことに起因した実映像と仮想映像との位置関係のズレが補正される。また、信号処理ＩＣ５７においてはかかる補正量がメモリされ、その後、撮影された実映像の座標データ、例えば、道路や車両後部バンパ等の車両後方視界のデータに対して補正処理をする。これにより、レンズ２３の光軸とＣＣＤエリアセンサ２５の中心とが合致していない場合でも、実映像としての車両後方映像と、仮想映像としての操舵支援ガイドとの位置関係を適正にすることができる。
【００２０】
実施の形態３．
実施の形態１においてはコントローラ３３に入力された補正量はスーパーインポーズ回路２９に送られていたが、本実施の形態３においては、コントローラ３３に入力された補正量は、例えばＣＣＤカメラのシリアルインターフェースを介して、ＣＣＤカメラに送られ、ＣＣＤカメラ内で映像データの補正が行われる。かかる態様においても、実施の形態１と同様に、実映像としての車両後方映像と、仮想映像としての操舵支援ガイドとの位置関係を適正にすることができる。
【００２１】
実施の形態４．
この実施の形態４に係る映像位置関係補正装置は、レンズの光軸とＣＣＤセンサエリアの中心とが適切に合致しないだけでなく、ＣＣＤカメラが車両に基準通りに適正に取り付けられない場合に実映像及び仮想映像の相対位置関係を補正するものである。
【００２２】
まず、本実施の形態４に係る映像位置関係補正装置を車両に取り付けた状態を説明する。図５に示されるように、車両３９の後部には、車両後方映像を撮影するためのＣＣＤカメラ２１が取り付けられている。ＣＣＤカメラ２１には、レンズ２３およびＣＣＤエリアセンサ２５を備えている。また、車両３９の運転席前方にはモニタ６５が設けられている。
【００２３】
まず、ＣＣＤカメラ２１が基準通りに車両に取り付けられ、且つＣＣＤカメラ２１のレンズ２３の光軸７７がＣＣＤエリアセンサ２５の中心と合致した理想状態の場合を説明する。
説明の便宜のため、車両のリヤアクスル中心７５から路面７６に対して垂直に下ろした地面上の点を原点Ｏとし、車両３９の後方に向かった水平方向をｙ軸正方向、車両３９の左方に向かった水平方向をｘ軸正方向、車両３９の上方に向かった垂直方向をｚ軸正方向とした路面座標系を想定する。
【００２４】
ＣＣＤカメラ２１は、路面座標系で表された座標点ＰＳ（ｘ，ｙ，ｚ）の基準取付位置に、伏せ角ω、方向角γ、回転角θの基準取付角度で設置されている。ここで、伏せ角ωはｙ軸方向から下に向いている角度を表し、方向角γはｘｙ平面に平行な面におけるｙ軸負方向からの角度を表し、回転角θはＣＣＤカメラ２１を光軸中心７７周りにＣＣＤカメラ２１を回転させて取り付けた角度を表す。また、レンズ２３の光軸７７に対するＣＣＤエリアセンサ２５の中心のｘ軸正方向への位置ずれ量をΔＣｘ、ｙ軸正方向への位置ずれ量をΔＣｙとする。ここで、ｘ，ｙ，ｚ、ω、γ、θ、ΔＣｘ、ΔＣｙは、予め定められた値である場合も、基準取付パラメータとする。
特に、ＣＣＤカメラ２１のレンズ２３の光軸７７とＣＣＤエリアセンサ２５の中心とは合致した状態に位置調整されているとする。すなわち、レンズ２３の光軸７７に対するＣＣＤエリアセンサ２５の中心のｘ軸正方向への位置ずれ量ΔＣｘ、ｙ軸正方向への位置ずれ量ΔＣｙはともに０である。
【００２５】
一方、図６に示されるように、実際にＣＣＤカメラ２１が車両３９に取り付けられた場合には、基準に対して取付誤差を含んで取り付けられ、且つＣＣＤカメラ２１のレンズ２３の光軸７７とＣＣＤエリアセンサ２５の中心とが合致しない状態になっている。
この場合、ＣＣＤカメラ２１は、路面座標系で表された座標点ＰＣ（ｘ＋Δｘ，ｙ＋Δｙ，ｚ＋Δｚ）の取付位置に、伏せ角ω＋Δω、方向角γ＋Δγ、回転角θ＋Δθの取付角度で設置されている。
また、ＣＣＤエリアセンサ２５のｘ軸正方向への位置ずれ量はΔＣｘ、ｙ軸正方向への位置ずれ量はΔＣｙとなっている。
ここで、ｘ＋Δｘ，ｙ＋Δｙ，ｚ＋Δｚ、ω＋Δω、γ＋Δγ、θ＋Δθ、ΔＣｘ、ΔＣｙを実取付パラメータとする。
【００２６】
また、車両３９の後部の路面上には、テストチャート部材８１が原点Ｏから予め決められた所定の位置に置かれている。テストチャート部材８１は、ＣＣＤカメラ２１の被写領域Ａ内に配置されることになる。また、テストチャート部材８１の上面には、４つの基準点Ｑ１、Ｑ２，Ｑ３，Ｑ４を頂点とする長方形からなる実目標８３が描かれている。
【００２７】
図７は、本発明の実施の形態に係る映像位置関係補正装置の概要を説明するブロック図である。ＣＣＤカメラ２１は、レンズ２３、ＣＣＤエリアセンサ２５及び信号処理ＩＣ２７を備えている。信号処理ＩＣ２７からの信号は、スーパーインポーズ回路６９に入力されるようになっている。さらに、スーパーインポーズ回路６９には、理論描画回路６１からの信号も入力されるようになっている。スーパーインポーズ回路６９の信号は、モニタ６５に出力されるようになっている。モニタ６５には、位置変更のための十字状ボタン６６ａ、決定ボタン６６ｂおよび計算ボタン６６ｃを備えたタッチパネル６６が設けられている。さらに、モニタ６５はコントローラ６３に接続され、コントローラ６３は、タッチパネル６６を制御するとともに、理論描画回路６１に接続されている。コントローラ６３、タッチパネル６６及び理論描画回路６１は、補正手段を構成する。さらに、理論描画回路６１は、仮想目標提供手段をも構成している。
【００２８】
次に、本実施の形態に係る映像位置関係補正装置の作用について説明する。
まず、実目標８３を含む実映像は、レンズ２３を介してＣＣＤエリアセンサ２５により取り込まれる。ＣＣＤエリアセンサ２５に取り込まれた実映像に関する信号は、信号処理ＩＣ２７に送られ、仮想映像と同座標系である仮想座標系の実目標の座標データとして処置され、スーパーインポーズ回路６９に出力される。一方、スーパーインポーズ回路６９には、理論描画回路６１から、仮想目標点Ｒ１〜Ｒ４を含む仮想目標８５に関する信号が入力される。
【００２９】
ここで、理論描画回路６１における仮想目標８５の導出について説明する。テストチャート部材８１上における基準点Ｑ１〜Ｑ４の位置は予め決められており、さらに、テストチャート部材８１の車両に対する取り付け態様も予め決められていることから、基準点Ｑ１〜Ｑ４に対応した理論的に導出される仮想目標８５の仮想目標点Ｒ１〜Ｒ４の座標は、基準取付パラメータを基にした後述する算出方法により算出することができる。理論描画回路６１は、このように理論的に求めた座標を仮想目標の座標データとして、スーパーインポーズ回路６９に出力する。
【００３０】
スーパーインポーズ回路６９においては、ＣＣＤカメラ２１から出力された実目標８３の座標データと、理論描画回路６１から出力された仮想目標８５の座標データとにより、実目標８３及び仮想目標８５をそれぞれ実線及び点線で描画してモニタ画面６５上に重畳表示する。このとき、ＣＣＤカメラ２１が基準通りに車両に取り付けられ、且つＣＣＤカメラ２１のレンズ２３の光軸７７がＣＣＤエリアセンサ２５の中心と合致している場合には、実際に撮影された実目標８３の基準点Ｑ１〜Ｑ４のモニタ画面上の位置である映像基準点Ｐ１〜Ｐ４の位置と、仮想目標点Ｒ１〜Ｒ４の位置とは、モニタ画面６５上で重なる。しかし、ＣＣＤカメラ２１が基準に対して取付誤差を含んで取り付けられたり、ＣＣＤカメラ２１のレンズ２３の光軸７７とＣＣＤエリアセンサ２５の中心とが合致しない状態になっている場合には、図７に示されるように、映像基準点Ｑ１〜Ｑ４の位置が本来の位置すなわち理論的に求められた仮想目標点Ｒ１〜Ｒ４の位置からズレてしまう。
【００３１】
このような場合、利用者は、タッチパネル６６の十字ボタン６６ａを操作して、まず仮想目標点Ｒ１を映像基準点Ｐ１に重ねるようにする。利用者の十字ボタン６６ａにより入力された仮想目標点Ｒ１の移動量は、コントローラ６３に入力される。次に、仮想目標点Ｒ１が基準点Ｑ１に重なったところで利用者が決定ボタン６６ｂを押すと、決定ボタン６６ｂの信号がコントローラ６３に入力され、コントローラ６３は、仮想目標点Ｒ１の移動量を基に映像基準点のＰ１の座標を算出する。この操作を繰り返して仮想目標点Ｒ２〜Ｒ４を順に移動すると、映像基準点Ｐ２〜Ｐ４の座標が算出される。
次に、計算ボタンが押されると、コントローラ６３は映像基準点Ｐ１〜Ｐ４の映像座標データを理論描画回路６１に出力し、理論描画回路６１では後述する算出方法で実取付パラメータを算出する。さらに、コントローラ６３は実取付パラメータを基にして新たな仮想目標点Ｒ１〜Ｒ４の座標を計算してこの新たな仮想目標点Ｒ１〜Ｒ４をモニタ画面６５上に表示しなおす。補正された仮想目標点Ｒ１〜Ｒ４の位置と映像基準点Ｐ１〜Ｐ４の位置とを比較しながら、更に補正が必要な場合には、再度タッチパネル６６を操作し、両者が完全に重なるようにする。
【００３２】
このようにしてモニタ画面６５上で、仮想目標点Ｒ１〜Ｒ４の位置と基準点Ｐ１〜Ｐ４とが一致するように補正が完了すると、理論描画回路６１は、仮想目標と同座標系の仮想映像のデータ、例えば、操舵支援ガイドの表示データ等を、実取付パラメータを基に作成する。
【００３３】
次に、理論描画回路６１が、基準取付パラメータを用いてモニタ画面６５上に表示する仮想目標８５の仮想目標点Ｒ１〜Ｒ４の座標を算出し、さらに、仮想目標点Ｒ１〜Ｒ４、映像基準点Ｐ１〜Ｐ４の座標及び基準取付パラメータから実取付パラメータを算出する方法を説明する。
一般的には、仮想目標と同座標系である仮想座標系の映像基準点Ｐの座標値は、ＣＣＤカメラ２１の取付位置の座標ｘ，ｙ，ｚ、取付角度ω、γ、θ、レンズ２３の光軸７７とＣＣＤエリアセンサ２５の中心との位置ずれ量ΔＣｘ、ΔＣｙをそれぞれ、ｘ１〜ｘ８の８つのパラメータとし、基準点Ｑの路面座標系の座標値をＸＱ，ＹＱとして、関数
ξ＝Ｆ（ｘ１，ｘ２，ｘ３，ｘ４，ｘ５，ｘ６，ｘ７，ｘ８，ＸＱ，ＹＱ）
で表される。
映像基準点Ｐ１のｘ、ｙ座標、Ｐ２のｘ、ｙ座標、Ｐ３のｘ、ｙ座標およびＰ４のｘ、ｙ座標は、それぞれ順に、ξ１〜ξ８として、一般式ξｎ（但し、ｎは、１から８までの整数）で表すことにする。
例えば、映像基準点Ｐ１のｘ座標は、ＸＱ，ＹＱが基準点Ｑ１の座標値により定数で与えられるので、
ξ１＝Ｆ１（ｘ１，ｘ２，ｘ３，ｘ４，ｘ５，ｘ６，ｘ７，ｘ８）
と表わせる。
【００３４】
また、図６に示されるような、実際のカメラ取付状態で撮影され、モニタ上に映し出された映像基準点Ｐ１〜Ｐ４の座標について、Ｐ１のｘ、ｙ座標、Ｐ２のｘ、ｙ座標、Ｐ３のｘ、ｙ座標、Ｐ４のｘ、ｙ座標を、それぞれ順に、ξ１’〜ξ８’として、一般式ξｎ’（但し、ｎは、１から８までの整数）で表すことにする。
映像基準点Ｐ１〜Ｐ４のｘ座標及びｙ座標ξ１’〜ξ８’は既にコントローラ６３で算出されている。
ここで、ｆｎ（ｘ１，……，ｘ８）＝ξｎ−ξｎ’なる関数を導入し、パラメータｘ１〜ｘ８に実際のカメラ取付状態である実取付パラメータの値が設定されれば、ｆｎ（ｘ１，……，ｘ８）＝０となる。
すなわち、ｆ１〜ｆ８がいずれもが０となるようにパラメータｘ１〜ｘ８の値を求めれば、この値が実取付パラメータの値となる。
【００３５】
パラメータｘ１〜ｘ８を求めるにあたって、ニュートンラフソン法を用いる。
関数ｆｎに関してテーラー展開式を導入すると、
ｆｎ（ｘ１＋Δｘ１，…，ｘ８＋Δｘ８）＝ｆｎ（ｘ１，…，ｘ８）＋ｄｆｎ／ｄｘｎ・Δｘｎ＝０
と近似できる。従って、
【００３６】
ここで、（１）式をマトリックスで表現し、図５に示されるような理想取付状態の基準取付パラメータを初期値としてｘ１〜ｘ８に代入し、ｄＦｎ／ｄｘｎおよびＦｎを計算する。ξｎ’は上述したように求められているので、Δｘ１〜Δｘ８を算出できる。次に、Δｘ１〜Δｘ８をｘ１〜ｘ８にそれぞれ加えてｘ１〜ｘ８の値を補正して、（１）式に代入して、Δｘ１〜Δｘ８を求める。これをΔｘ１〜Δｘ８がそれぞれ０あるいは０近傍の所定値になるまで繰り返すことによって実取付パラメータｘ１〜ｘ８を求めることができる。
【００３７】
このようにして、実取付パラメータが算出され、理論描画回路６１が実取付パラメータを基にして新たな仮想目標点Ｒ１〜Ｒ４の座標を計算してこの新たな仮想目標点Ｒ１〜Ｒ４をモニタ画面６５上に表示しなおす。また、実取付パラメータを基にして仮想目標８５と同座標系の仮想映像のデータ、例えば、操舵支援ガイドの表示データが作成し直されることにより、実映像と仮想映像との位置関係を適正に補正することができる。
これにより、レンズ２３の光軸７７とＣＣＤエリアセンサ２５の中心とが合致せず、且つＣＣＤカメラが車両に基準通りに適正に取り付けられない場合でも、レンズ２３の光軸７７を物理的に調整することなく、またＣＣＤカメラを基準通りに車両に高精度で取り付けるための調整作業を行うことなく、実映像と仮想映像との位置関係を適正に補正することができる。すなわち、実映像としての車両後方映像と、仮想映像としての操舵支援ガイドとの位置関係を適正にすることができる。
【００３８】
実施の形態５．
図８は、本発明の実施の形態５に係る映像位置関係補正装置の概要を説明するブロック図である。本実施の形態５に係る映像位置関係補正装置は、上述した実施の形態４に係る映像位置関係補正装置に対して、補正手段としてコントローラ６３の代わりに画像処理回路９３を備えた点及びモニタ画面１０５にはタッチパネルがない点が主に異なるものである。
【００３９】
画像処理回路９３は、モニタ画面１０５上に表示されている実目標８３を画像処理して、映像基準点Ｐ１〜Ｐ４の座標を算出し、理論描画回路６１に出力する。理論描画回路６１は、上述したニュートンラフソン法により実取付パラメータを算出して、実取付パラメータを基にした仮想目標８５の仮想目標点Ｒ１〜Ｒ４の座標を計算し、スーパーインポーズ回路６９を介して仮想目標点Ｒ１〜Ｒ４がモニタ画面１０５上に表示される。
【００４０】
このように、画像処理回路９３は画像処理により、映像基準点Ｐ１〜Ｐ４の座標を算出し、実取付パラメータを基にした仮想目標点Ｒ１〜Ｒ４が最初から表示されるので、利用者がタッチパネルを操作して仮想目標点Ｒ１〜Ｒ４を映像基準点Ｐ１〜Ｐ４に合わせる調整作業が不要となり、製造コストが低減する。
【００４１】
実施の形態６．
図９は、本発明の実施の形態６に係る映像位置関係補正装置の概要を説明するブロック図である。本実施の形態６に係る映像位置関係補正装置は、上述した実施の形態４に係る映像位置関係補正装置に対して、理論描画回路１０１及びコントローラ１０３が主に異なるものである。
【００４２】
モニタ６５上には、理論描画回路１０１が算出した仮想目標点Ｒ１〜Ｒ４を頂点とする矩形の座標データを基に、矩形の仮想目標９５が表示される。また、コントローラ１０３では、利用者が、モニタ上に設けられた図示しない選択ボタンにより移動対象となる仮想目標点Ｒ１〜Ｒ４のうち移動対象となる例えば、仮想目標点Ｒ１を選択した後、十字ボタン６６ａを操作すると、選択された仮想目標点Ｒ１が移動する。仮想目標点Ｒ１が移動するたびに、この移動量がコントローラ１０３に入力される。コントローラ１０３は仮想目標点Ｒ１の移動量を基に、仮想目標点Ｒ１の位置を映像基準点Ｑ１の位置と仮定して、映像基準点Ｑ１の座標を算出するとともに、この座標を理論描画回路１０１に出力する。理論描画回路１０１では、この映像基準点Ｑ１の座標を基に、ニュートンラフソン法で実取付パラメータを算出して、実取付パラメータを基にして新たな仮想目標点Ｒ１〜Ｒ４を頂点とする矩形の仮想目標９５をモニタ画面６５上に表示しなおす。選択ボタンにより移動対象となる仮想目標点を変えてこの操作を繰り返すごとに、モニタ画面６５上に表示された仮想目標９５の形状が変化する。
【００４３】
このように、モニタ画面６５上に矩形の仮想目標９５が表示されると、利用者は仮想目標９５と実目標８３との形状を比較し、両者の頂点だけでなく辺の合致度を見ることによって、適切な実取付パラメータが算出されているかどうかを感覚的に判断することができる。
また、モニタ画面６５は１ドット単位の表示となるため、仮想目標９５を実目標８３に合わせて取得できる実目標８３の座標は、ドット単位の離散的なものであり、ドット間の中間にあたるような座標を取得することはできない。一方、モニタ画面６５の実映像の鮮明度は有限であり、特に遠方にある実目標８３に仮想目標９５を合わせる場合は精度に限界がある。
そのため、モニタ画面６５上に矩形の仮想目標９５が表示されると、利用者は仮想目標９５の矩形の辺の傾き、対辺同士の平行度及び対称性、あるいは、仮想目標９５の辺に対して、実目標８３の辺の歪み度合いを見て、算出した実取付パラメータと実際のカメラ取付状態との相違を判断するのが容易となる。
【００４４】
その他の実施の形態．
本発明は、上述した実施の形態に限定されるものではなく、以下のような改変を施して実施することも可能である。まず、実目標提供手段としてのテストチャート部材は、車両に対して予め決められた座標位置にあるような態様ならば、必ずしも車両に取り付けられあるいは路面に設置されていなくてもよく、路面に描かれた白線であってもよい。また、テストチャート部材上に設けられた実目標の数や形状についても上記実施の形態に示されたものに限定されるものではない。さらに、実目標提供手段は、テストチャート部材のように車両と別部材である必要はなく、例えば、カメラの被写領域に入っている車両の一部分を実目標と見立てても良い。
また、上記実施の形態１では操作のためのコントローラ３３及び十字ボタン３７を使用し、実施の形態４及び６ではタッチパネルを使用したが、これらに限定されるものではなく、仮想目標点と映像基準点を重ねるように操作可能な手段であればよい。操作手順も上記に限定されるものではなく、本発明の主旨を逸脱しない範囲で様々な手順で実施してもよい。
【００４５】
また、上記実施の形態１では理論描画による仮想映像を補正し、実施の形態２ではＣＣＤカメラで撮影した実映像を補正していたが、これに限定されるものではなく、実施の形態１においてＣＣＤカメラで撮影した実映像を補正し、実施の形態２において理論描画による仮想映像を補正する態様も可能である。
【００４６】
さらに、上記実施の形態は、車両の操舵支援装置における映像の補正に適用した場合について説明したが、本発明の映像位置関係補正装置は、これに限らず実映像と仮想映像とを重畳表示する他の装置における映像補正に適用することが可能である。
【００４７】
また、ＣＣＤカメラが基準通り車両に取り付けられている場合は、レンズの光軸に対するＣＣＤセンサエリアの中心のズレ量に対してのみにニュートンラフソン法を適用してもよい。一方、レンズの光軸に対するＣＣＤセンサエリアの中心のズレ量が既知の場合やズレ量がない場合は、ＣＣＤカメラの車両への取付位置、取付角度の６つのパラメータに対してニュートンラフソン法を適用してもよい。
レンズの焦点距離、歪率、レンズの光軸に対するＣＣＤセンサエリアの受光面の傾きのばらつき等の要因によって、実映像と仮想映像のズレを生じる場合は、これらをパラメータに加え、ニュートンラフソン法を適用して、実際のレンズの焦点距離、歪率、レンズの光軸に対するＣＣＤセンサエリアの受光面の傾きを算出してもよい。
【００４８】
また、実施の形態６では、仮想目標点Ｒ１〜Ｒ４を頂点とする矩形の仮想目標９５を用いたが、それに限らず、さらに追加の仮想目標点Ｒ５、Ｒ６… を用いてもよい。この場合、実施の形態６と同様に追加の仮想目標点Ｒ５、Ｒ６… が、相当する、追加の映像基準点Ｑ５、Ｑ６… と重なるように、仮想目標点Ｒ１〜Ｒ４の位置を移動させてもよいし、また、直接Ｒ５，Ｒ６… を移動させて、Ｑ５、Ｑ６… との相違量を把握してもよい。把握した相違量を基に、Ｒ１〜Ｒ４の移動させるべき量を算出できる。こうすることにより、作業者の調整作業が、｛移動｝→｛合否判断｝→｛移動｝→｛合否判断｝の繰り返しが不要となり、作業時間の短縮が図れるとともに高精度な補正が可能となる。
さらに、実施の形態６の映像位置関係補正装置に、実施の形態５に用いられた画像処理回路を追加して、画像処理の結果表示された矩形の仮想目標に対して、コントローラを操作して仮想目標をさらに実目標に精度良く合わせるようにしてもよい。
また、モニタの画面の１ドット単位の表示であるため、仮想目標が４つの点の場合１ドット単位以下の精度の座標を算出することができない。しかしながら、実施の形態６の映像位置関係補正装置のように、仮想目標として４つの点だけでなく矩形形状を表示する場合は、理論描画回路がモニタ画面の０．１ドット単位にあたる座標を使って、矩形上にあるの個々の点の座標データを定めてもよい。モニタ画面のドットよりも、精度の高い座標データに基づいた矩形形状がモニタに表示されると、矩形の辺の直線のズレ度合いにより、モニタ画面上の実目標の座標をより精度良く取得することができる。
さらに、仮想目標は、実目標に対応する位置を表示するだけでなく、例えばカメラのレンズの光軸が路面とあたる位置を表示するものであってもよい。
【００４９】
【発明の効果】
以上説明したように、請求項１に記載の映像位置関係補正装置によれば、レンズの光軸にズレが存在していても、またＣＣＤカメラが車両に基準通りに適正に取り付けられていなくても、実映像と仮想映像との整合性を確保することができる。さらに、レンズの光軸やＣＣＤカメラの取付を物理的に調整するのではなく、ソフトウェア面で補正を行うため、高精度且つ低コストで映像位置関係の補正が可能であり、また、パターン認識などを用いた自動補正等の技術導入も容易に行える。また、２次元の距離表示やガイドラインの精度が向上するため車載以外の計測関連分野への応用も可能となる。
【００５０】
請求項１又は２に記載の映像位置関係補正装置によれば、カメラの実際の車両取付状態やレンズの光軸のズレを算出して仮想映像を補正するので、レンズの光軸にズレが存在していても、またＣＣＤカメラが車両に基準通りに適正に取り付けられていなくても、実映像と仮想映像との整合性を確保することができる。
【００５１】
請求項３に記載の映像位置関係補正装置によれば、カメラ自体のばらつきに起因する、実映像と仮想映像との整合性を確保することができる。
請求項４に記載の映像位置関係補正装置によれば、レンズ等のカメラ側で補正するのではなく表示制御部品側で映像位置関係の補正をすることができる。また、利用者はモニタ画面上でズレの程度を確認しながら補正することが可能となる。
請求項５に記載の映像位置関係補正装置によれば、利用者はモニタ画面上でズレの程度を一つ一つ確認しながら補正することが可能となる。
【００５２】
請求項６に記載の映像位置関係補正装置によれば、画像処理により実映像と仮想映像との位置関係の補正を自動的に行うことができる。
【００５３】
請求項７に記載の車両の操舵支援装置によれば、車両後方映像と操舵支援ガイドとの位置関係が適正となり、操舵支援精度が向上する。
【００５４】
請求項８に記載の車両の操舵支援装置によれば、実目標を車両近傍に備えることから、カメラと目標との誤差が低減され、調整精度の向上を図ることができる。
【００５５】
請求項９に記載の映像位置関係補正方法によれば、カメラの実際の車両取付状態やレンズの光軸のズレを算出して仮想映像を補正するので、レンズの光軸にズレが存在していても、またＣＣＤカメラが車両に基準通りに適正に取り付けられていなくても、物理的な調整を行わず高精度且つ低コストで実映像と仮想映像との整合性を確保することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１に係る映像位置関係補正装置の概要を説明するブロック図である。
【図２】本発明の実施の形態１に係る映像位置関係補正装置のコントローラを示す図である。
【図３】実目標提供手段としてのテストチャート部材が車両後部に取り付けられた状態を示す図である。
【図４】本発明の実施の形態２に係る映像位置関係補正装置の概要を説明するブロック図である。
【図５】本発明の実施の形態５に係る映像位置関係補正装置を車両に取り付けた状態を示す図であり、（ａ）はその側面図であり、（ｂ）はその平面図である。
【図６】本発明の実施の形態５に係る映像位置関係補正装置を車両に取り付けた状態を示す図であり、（ａ）はその側面図であり、（ｂ）はその平面図である。
【図７】本発明の実施の形態４に係る映像位置関係補正装置の概要を説明するブロック図である。
【図８】本発明の実施の形態５に係る映像位置関係補正装置の概要を説明するブロック図である。
【図９】本発明の実施の形態６に係る映像位置関係補正装置の概要を説明するブロック図である。
【図１０】従来の操舵支援装置におけるモニタ画面であって、（ａ）はレンズの光軸とＣＣＤエリアセンサの中心とが合致した正常な状態のものであり、（ｂ）はレンズの光軸とＣＣＤエリアセンサの中心とがズレた状態のものである。
【符号の説明】
２１，５１…カメラ
３３、６３、１０３…コントローラ
３５、６５、１０５…モニタ画面
４１、８１…テストチャート部材
４３、８３…実目標
４５、８５…仮想目標
５３、９３…画像処理回路
Ａ…被写領域
Claims (9)
- カメラにより撮影された実映像と仮想映像とをモニタ画面に重畳表示する装置に関し、
前記カメラの被写領域に設けられ前記カメラに複数の実目標を撮影させる実目標提供手段と、
前記仮想映像と同座標系に、前記複数の実目標の座標から、それぞれに対応して理論的に導出される複数の仮想目標を提供する仮想目標提供手段と、
前記実目標及び前記実目標に対応する前記仮想目標のズレから前記実映像及び仮想映像の相対位置関係を補正する補正手段であって、
前記仮想映像と同座標系における、カメラにより撮影された前記実目標の座標を算出し、
車両に取り付けられたカメラの基準の位置および角度を含む基準パラメータを予め記憶し、
この基準パラメータにより前記実目標から理論的に導出される前記仮想目標の座標を算出し、
この仮想目標の座標及び前記実目標の座標のズレと基準パラメータとから、カメラの実際の位置および角度を含む実取付パラメータを算出し、
この実取付パラメータに基づいて前記実映像及び仮想映像の相対位置関係を補正することを特徴とする補正手段と
を備えたことを特徴とする映像位置関係補正装置。 - 前記補正手段は、前記仮想目標の座標及び前記実目標の座標のズレと前記基準パラメータとから、ニュートンラフソン法により、前記実取付パラメータを算出することを特徴とする請求項１に記載の映像位置関係補正装置。
- 前記基準パラメータおよび前記実取付パラメータは、前記カメラのレンズの焦点距離、歪率、前記レンズの光軸に対するカメラセンサの位置ずれ、傾きのうち、少なくとも１つを有する、前記カメラ自体のパラメータを含む請求項１又は２に記載の映像位置関係補正装置。
- 前記補正手段は、前記実目標及び仮想目標の一方をモニタ画面上で移動させて他方に重ね合わせるコントローラを備えることを特徴とする請求項１〜３のいずれか一項に記載の映像位置関係補正装置。
- 前記コントローラは、前記複数の実目標及び前記実目標に対応した前記複数の仮想目標の一方を、それぞれ独立して、モニタ画面上で移動させて他方に重ね合わせる請求項４に記載の映像位置関係補正装置。
- 前記補正手段は、画像処理により前記実目標及び仮想目標のズレを検出する画像処理回路を備えることを特徴とする請求項１〜３のいずれか一項に記載の映像位置関係補正装置。
- 前記実映像及び仮想映像がそれぞれ、車両の後方映像及び操舵支援ガイドである、請求項１〜６のいずれか一項に記載の映像位置関係補正装置を備えたことを特徴とする操舵支援装置。
- 前記実目標提供手段は、車両後部に取り付けられ且つ表面に前記実目標を有する部材であることを特徴とする請求項７に記載の操舵支援装置。
- カメラにより撮影された実映像と仮想映像とをモニタ画面に重畳表示する装置に関し、
前記カメラに複数の実目標を撮影させ、
前記仮想映像と同座標系に、前記複数の実目標の座標から、それぞれに対応して理論的に導出される複数の仮想目標を設定し、
前記実目標及び前記実目標に対応する前記仮想目標のズレから前記実映像及び仮想映像の相対位置関係を補正する映像位置関係補正方法であって、
前記仮想映像と同座標系における、カメラにより撮影された前記実目標の座標を算出し、
車両に取り付けられたカメラの基準の位置および角度を含む基準パラメータを予め記憶し、
この基準パラメータにより前記実目標から理論的に導出される前記仮想目標の座標を算出し、
この仮想目標の座標及び前記実目標の座標のズレと基準パラメータとから、カメラの実際の位置および角度を含む実取付パラメータを算出し、
この実取付パラメータに基づいて前記実映像及び仮想映像の相対位置関係を補正することを特徴とする映像位置関係補正方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000145015A JP3632563B2 (ja) | 1999-10-19 | 2000-05-17 | 映像位置関係補正装置、該映像位置関係補正装置を備えた操舵支援装置、及び映像位置関係補正方法 |
| EP00122703.2A EP1094668B1 (en) | 1999-10-19 | 2000-10-18 | Image positional relation correction apparatus, steering supporting apparatus provided with the image positional relation correction apparatus, and image positional relation correction method |
| US09/691,716 US6785404B1 (en) | 1999-10-19 | 2000-10-18 | Image positional relation correction apparatus, steering supporting apparatus provided with the image positional relation correction apparatus, and image positional relation correction method |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29651499 | 1999-10-19 | ||
| JP11-296514 | 1999-10-19 | ||
| JP2000145015A JP3632563B2 (ja) | 1999-10-19 | 2000-05-17 | 映像位置関係補正装置、該映像位置関係補正装置を備えた操舵支援装置、及び映像位置関係補正方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001187552A JP2001187552A (ja) | 2001-07-10 |
| JP3632563B2 true JP3632563B2 (ja) | 2005-03-23 |
Family
ID=26560707
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000145015A Expired - Lifetime JP3632563B2 (ja) | 1999-10-19 | 2000-05-17 | 映像位置関係補正装置、該映像位置関係補正装置を備えた操舵支援装置、及び映像位置関係補正方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6785404B1 (ja) |
| EP (1) | EP1094668B1 (ja) |
| JP (1) | JP3632563B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9308862B2 (en) | 2006-03-27 | 2016-04-12 | Panasonic Intellectual Property Management Co., Ltd. | Drive assistance device |
Families Citing this family (56)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7161616B1 (en) * | 1999-04-16 | 2007-01-09 | Matsushita Electric Industrial Co., Ltd. | Image processing device and monitoring system |
| JP4530392B2 (ja) * | 2001-08-10 | 2010-08-25 | 日本精機株式会社 | 車両用監視装置 |
| GB0119491D0 (en) * | 2001-08-10 | 2001-10-03 | Ibm | Improved orientation determination |
| JP4510341B2 (ja) * | 2001-08-21 | 2010-07-21 | 能美防災株式会社 | 異常検出装置 |
| US20030133014A1 (en) * | 2002-01-17 | 2003-07-17 | David Mendoza | Motor vehicle rearview camera system and hitch cover with display |
| JP4021685B2 (ja) * | 2002-03-04 | 2007-12-12 | 松下電器産業株式会社 | 画像合成変換装置 |
| US20040036768A1 (en) * | 2002-06-19 | 2004-02-26 | Green L. Derek | System and method for electronically viewing behind a vehicle |
| JP3916240B2 (ja) * | 2003-08-07 | 2007-05-16 | 松下電器産業株式会社 | 運転支援装置及び運転支援方法 |
| JP4196841B2 (ja) * | 2004-01-30 | 2008-12-17 | 株式会社豊田自動織機 | 映像位置関係補正装置、該映像位置関係補正装置を備えた操舵支援装置、及び映像位置関係補正方法 |
| JP4438499B2 (ja) | 2004-04-26 | 2010-03-24 | 株式会社豊田自動織機 | 旋回半径算出方法、該旋回半径算出方法を用いた操舵支援装置及び駐車支援装置、旋回半径算出プログラム及び記録媒体 |
| JP4754184B2 (ja) * | 2004-05-26 | 2011-08-24 | クラリオン株式会社 | 距離マーカ生成方法及び距離マーカ生成プログラム |
| JP2006040008A (ja) * | 2004-07-28 | 2006-02-09 | Auto Network Gijutsu Kenkyusho:Kk | 運転支援装置 |
| JP2006067272A (ja) * | 2004-08-27 | 2006-03-09 | Matsushita Electric Ind Co Ltd | カメラキャリブレーション装置及びカメラキャリブレーション方法 |
| JP4681856B2 (ja) * | 2004-11-24 | 2011-05-11 | アイシン精機株式会社 | カメラの校正方法及びカメラの校正装置 |
| US7782374B2 (en) * | 2005-03-03 | 2010-08-24 | Nissan Motor Co., Ltd. | Processor and processing method for generating a panoramic image for a vehicle |
| JP4507958B2 (ja) * | 2005-04-07 | 2010-07-21 | 株式会社デンソー | 駐車支援装置の検査方法 |
| JP4521551B2 (ja) * | 2005-04-26 | 2010-08-11 | トヨタ車体株式会社 | 車載光学装置の方向調整方法 |
| JP4715334B2 (ja) | 2005-06-24 | 2011-07-06 | 日産自動車株式会社 | 車両用画像生成装置および方法 |
| FR2891934B1 (fr) * | 2005-10-12 | 2008-01-18 | Valeo Electronique Sys Liaison | Dispositif de traitement de donnees video pour un vehicule automobile |
| US8194132B2 (en) | 2006-01-20 | 2012-06-05 | Old World Industries, Llc | System for monitoring an area adjacent a vehicle |
| JP4796676B2 (ja) * | 2006-05-26 | 2011-10-19 | アルパイン株式会社 | 車両上方視点画像表示装置 |
| FR2889640B1 (fr) * | 2006-09-08 | 2008-04-18 | Keeneo | Procede et outil de configuration d'au moins un systeme de videosurveillance intelligente |
| JP4803449B2 (ja) * | 2006-11-17 | 2011-10-26 | アイシン精機株式会社 | 車載カメラの校正装置、校正方法、並びにこの校正方法を用いた車両の生産方法 |
| JP4803450B2 (ja) * | 2006-11-20 | 2011-10-26 | アイシン精機株式会社 | 車載カメラの校正装置及び当該装置を用いた車両の生産方法 |
| WO2008087707A1 (ja) * | 2007-01-16 | 2008-07-24 | Pioneer Corporation | 車両用画像処理装置及び車両用画像処理プログラム |
| WO2008087709A1 (ja) * | 2007-01-16 | 2008-07-24 | Pioneer Corporation | 車両用画像処理装置、車両用撮像装置、車両用画像処理プログラム、車両用画像調整方法 |
| US9229230B2 (en) | 2007-02-28 | 2016-01-05 | Science Applications International Corporation | System and method for video image registration and/or providing supplemental data in a heads up display |
| JP4794510B2 (ja) * | 2007-07-04 | 2011-10-19 | ソニー株式会社 | カメラシステムおよびカメラの取り付け誤差の補正方法 |
| JP4783770B2 (ja) * | 2007-10-19 | 2011-09-28 | 富士通テン株式会社 | 車載機 |
| JP4986814B2 (ja) * | 2007-11-09 | 2012-07-25 | アルパイン株式会社 | マッピングテーブル生成兼検証用物品 |
| US7889234B2 (en) * | 2008-01-10 | 2011-02-15 | Delphi Technologies, Inc. | Automatic calibration for camera lens distortion correction |
| US20090179916A1 (en) * | 2008-01-10 | 2009-07-16 | Williams Steven A | Method and apparatus for calibrating a video display overlay |
| JP5173552B2 (ja) * | 2008-04-23 | 2013-04-03 | アルパイン株式会社 | 車両周辺監視装置およびこれに適用される歪み補正値の設定修正方法 |
| JP5300443B2 (ja) * | 2008-12-01 | 2013-09-25 | 富士通テン株式会社 | 画像処理装置 |
| JP4690476B2 (ja) * | 2009-03-31 | 2011-06-01 | アイシン精機株式会社 | 車載カメラの校正装置 |
| US20110102583A1 (en) * | 2009-10-30 | 2011-05-05 | Kim Kinzalow | Rear view camera system and calibration method |
| WO2011085489A1 (en) | 2010-01-13 | 2011-07-21 | Magna Electronics Inc. | Vehicular camera and method for periodic calibration of vehicular camera |
| JP5341789B2 (ja) * | 2010-01-22 | 2013-11-13 | 富士通テン株式会社 | パラメータ取得装置、パラメータ取得システム、パラメータ取得方法、及び、プログラム |
| JP2011191943A (ja) * | 2010-03-12 | 2011-09-29 | Omron Corp | 画像処理装置および画像処理プログラム |
| DE112010005646B4 (de) * | 2010-06-07 | 2016-06-02 | Mitsubishi Electric Corporation | Kameraabstandsmessvorrichtung |
| JP5665458B2 (ja) * | 2010-09-27 | 2015-02-04 | 京セラ株式会社 | 運転支援装置及び運転支援表示の表示方法 |
| JP4898951B2 (ja) * | 2010-10-25 | 2012-03-21 | 富士通テン株式会社 | 車載機 |
| JP5952138B2 (ja) * | 2012-08-29 | 2016-07-13 | 京セラ株式会社 | 撮像装置および領域決定方法 |
| JP5924227B2 (ja) * | 2012-10-16 | 2016-05-25 | 株式会社デンソー | 車載カメラの取り付け誤差検出装置 |
| JP6090980B2 (ja) * | 2012-10-25 | 2017-03-08 | 京セラ株式会社 | 撮像装置、撮像装置の光軸調整方法及び車載撮像システムの光軸調整方法 |
| TWI517670B (zh) * | 2012-12-28 | 2016-01-11 | 財團法人工業技術研究院 | 車用鏡頭之自動化校正與應用其之影像轉換方法與裝置 |
| EP2944497B1 (en) * | 2013-01-11 | 2017-03-29 | Nissan Motor Co., Ltd. | Display control device for vehicle and display control method for vehicle |
| US9131153B2 (en) * | 2013-03-12 | 2015-09-08 | E-Lead Electronic Co., Ltd. | Rearview panoramic head-up display device for vehicles |
| US20140232871A1 (en) * | 2014-05-01 | 2014-08-21 | Caterpillar Inc. | Method for manually calibrating a camera mounted on vehicle |
| CN105824592A (zh) * | 2016-03-07 | 2016-08-03 | 乐卡汽车智能科技（北京）有限公司 | 倒车轨迹的显示方法及装置 |
| WO2018070021A1 (ja) * | 2016-10-13 | 2018-04-19 | 日産自動車株式会社 | 駐車支援方法及び駐車支援装置 |
| CA3041177C (en) * | 2016-10-13 | 2021-08-31 | Nissan Motor Co., Ltd. | Self position estimation method and self position estimation device |
| JP6926021B2 (ja) * | 2018-03-29 | 2021-08-25 | ヤンマーパワーテクノロジー株式会社 | 作業車両 |
| DE102018111776B4 (de) | 2018-05-16 | 2024-01-25 | Motherson Innovations Company Limited | Kalibriervorrichtung, Verfahren zur Ermittlung von Kalibrierdaten, Vorrichtung zur Ausführung des Verfahrens, Kraftfahrzeug umfassend eine solche Vorrichtung und Verwendung der Kalibriervorrichtung für das Verfahren sowie das Kraftfahrzeug |
| JP2021110631A (ja) * | 2020-01-10 | 2021-08-02 | 株式会社デンソー | 検出器の姿勢・位置検出システムおよび検出器の姿勢・位置検出方法 |
| DE102020131778A1 (de) * | 2020-12-01 | 2022-06-02 | Zf Cv Systems Global Gmbh | Verfahren zum Kalibrieren einer rückschauenden Kamera und Fahrzeug |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5975357A (ja) * | 1982-10-22 | 1984-04-28 | Hitachi Ltd | 画像処理装置 |
| US5319444A (en) * | 1988-02-16 | 1994-06-07 | Canon Kabushiki Kaisha | Position detecting method and apparatus |
| JPH01238668A (ja) * | 1988-03-18 | 1989-09-22 | Toppan Printing Co Ltd | 両面焼付機における版の整合方法 |
| US5172317A (en) * | 1988-08-10 | 1992-12-15 | Honda Giken Kogyo Kabushiki Kaisha | Automatic travelling apparatus |
| JP2989617B2 (ja) * | 1989-09-29 | 1999-12-13 | マツダ株式会社 | 移動車の環境認識装置 |
| US5595271A (en) * | 1995-08-07 | 1997-01-21 | Tseng; Ling-Yuan | Electric vehicle pick-up position control |
| US6181302B1 (en) * | 1996-04-24 | 2001-01-30 | C. Macgill Lynde | Marine navigation binoculars with virtual display superimposing real world image |
| JPH10244891A (ja) | 1997-03-07 | 1998-09-14 | Nissan Motor Co Ltd | 駐車補助装置 |
| US6522312B2 (en) * | 1997-09-01 | 2003-02-18 | Canon Kabushiki Kaisha | Apparatus for presenting mixed reality shared among operators |
| JPH11105686A (ja) * | 1997-10-07 | 1999-04-20 | Nissan Motor Co Ltd | 自動駐車装置 |
| US6166744A (en) * | 1997-11-26 | 2000-12-26 | Pathfinder Systems, Inc. | System for combining virtual images with real-world scenes |
| US6064354A (en) * | 1998-07-01 | 2000-05-16 | Deluca; Michael Joseph | Stereoscopic user interface method and apparatus |
| JP3634677B2 (ja) * | 1999-02-19 | 2005-03-30 | キヤノン株式会社 | 画像の補間方法、画像処理方法、画像表示方法、画像処理装置、画像表示装置、及びコンピュータプログラム記憶媒体 |
| US6226592B1 (en) * | 1999-03-22 | 2001-05-01 | Veridian Erim International, Inc. | Method and apparatus for prompting a motor vehicle operator to remain within a lane |
| DE19961572C2 (de) * | 1999-12-21 | 2003-10-09 | Bosch Gmbh Robert | Anzeigevorrichtung |
| IL136652A0 (en) * | 2000-06-08 | 2001-06-14 | Arlinsky David | A closed-loop control system in a car |
-
2000
- 2000-05-17 JP JP2000145015A patent/JP3632563B2/ja not_active Expired - Lifetime
- 2000-10-18 EP EP00122703.2A patent/EP1094668B1/en not_active Expired - Lifetime
- 2000-10-18 US US09/691,716 patent/US6785404B1/en not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9308862B2 (en) | 2006-03-27 | 2016-04-12 | Panasonic Intellectual Property Management Co., Ltd. | Drive assistance device |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1094668A2 (en) | 2001-04-25 |
| US6785404B1 (en) | 2004-08-31 |
| EP1094668B1 (en) | 2014-06-04 |
| EP1094668A3 (en) | 2002-10-09 |
| JP2001187552A (ja) | 2001-07-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3632563B2 (ja) | 映像位置関係補正装置、該映像位置関係補正装置を備えた操舵支援装置、及び映像位置関係補正方法 | |
| JP4196841B2 (ja) | 映像位置関係補正装置、該映像位置関係補正装置を備えた操舵支援装置、及び映像位置関係補正方法 | |
| US8452568B2 (en) | Method for calibrating cameras installed on vehicle | |
| JP4690476B2 (ja) | 車載カメラの校正装置 | |
| JP4164703B2 (ja) | 広視野画像入力方法及び装置 | |
| US6184781B1 (en) | Rear looking vision system | |
| JP3509652B2 (ja) | プロジェクタ装置 | |
| JP5341789B2 (ja) | パラメータ取得装置、パラメータ取得システム、パラメータ取得方法、及び、プログラム | |
| JP6223685B2 (ja) | 画像処理装置および画像処理方法 | |
| KR20110116243A (ko) | 차량 탑재 카메라의 교정 장치, 방법 및 프로그램 | |
| JP4758481B2 (ja) | 車両用画像処理装置及び車両用画像処理プログラム | |
| JP2001245326A (ja) | 車載カメラの校正装置および校正方法、並びに校正指標 | |
| JP2011182236A (ja) | カメラキャリブレーション装置 | |
| JP6151535B2 (ja) | パラメータ取得装置、パラメータ取得方法及びプログラム | |
| JP2004200819A (ja) | 車載カメラのキャリブレーション方法及びキャリブレーション装置 | |
| JP4286294B2 (ja) | 運転支援システム | |
| JP2008085710A (ja) | 運転支援システム | |
| WO2010007960A1 (ja) | 車載用カメラの視点変換映像システム及び視点変換映像取得方法 | |
| JP2020045687A (ja) | 作業機械 | |
| JPH07119576B2 (ja) | 視覚センサのための視差補正方式 | |
| JP2010200054A (ja) | 複数カメラ撮影画像合成システム用カメラ調整方法及び装置 | |
| JP2006298217A (ja) | 車両周辺監視装置 | |
| JP2001227915A (ja) | 撮像装置におけるカメラの位置ずれ検出方法、撮像装置におけるカメラの傾き検出方法、および、撮像装置におけるカメラの移動量補正方法 | |
| JPH06105211B2 (ja) | ヘツドライトの位置検出方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040113 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040311 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040831 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041028 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041130 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041213 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 3632563 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080107 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110107 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110107 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120107 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120107 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130107 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140107 Year of fee payment: 9 |
|
| EXPY | Cancellation because of completion of term |