JP3649428B2 - 車両用周辺監視装置及び車両用周辺監視装置のパラメータ調整方法 - Google Patents
車両用周辺監視装置及び車両用周辺監視装置のパラメータ調整方法 Download PDFInfo
- Publication number
- JP3649428B2 JP3649428B2 JP00953699A JP953699A JP3649428B2 JP 3649428 B2 JP3649428 B2 JP 3649428B2 JP 00953699 A JP00953699 A JP 00953699A JP 953699 A JP953699 A JP 953699A JP 3649428 B2 JP3649428 B2 JP 3649428B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- parameter
- unit
- display
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は車両用周辺監視装置及び車両用周辺監視装置のパラメータ調整方法に係わり、特に、第１の画像形成手段が形成した予想軌跡などの路面上に描かれた第１の物体を予め記憶されている撮像手段の取付位置に関するパラメータに応じた取付位置の撮像手段で撮像したときの重畳画像を車載の撮像手段によって得られる車両周辺の実画像上に重ねて表示する車両周辺監視装置及び車両用周辺監視装置のパラメータを調整するための車両周辺監視装置のパラメータ調整方法に関する。
【０００２】
【従来の技術】
従来、上述した車両用周辺監視装置の一例として、ハンドルの舵角に対応する予想軌跡をカメラによって映し出された画像に重ねて表示する図８に示されたようなものが知られている。同図において、ステアリングセンサ１は、車両のステアリング機構に取り付けられて、ステアリングが単位角度操舵されるごとにパルス信号Ｓ１を発生するものであって、発生したパルス信号Ｓ１をマイクロコンピュータ２（以下、マイコン２）に供給している。
【０００３】
撮像手段としてのカメラ３は、レンズ３ａとイメージプレーン３ｂとを有する。このカメラ３は、車両の後方視界が撮像できる位置に取り付けられ、レンズ３ａにより規定される画角範囲の画像をＣＰｘ＊ＣＰｙピクセルからなるイメージプレーン３ｂ上に結像させる。フレームメモリ４は、カメラ３のイメージプレーン３ｂ上に結像された撮像画像データＤ１を取得し、例えばイメージプレーン３ｂ上に対応したＣＧｘ＊ＣＧｙのピクセル、輝度０〜２５５階調の画素データＤ２に変換して一時的に蓄えると共にマイコン２に出力する。また、このマイコン２には、車両のギアがＲレンジになったとき、ＨレベルのＲレンジ信号Ｓ２を出力するＲレンジ検出センサ５が接続されている。
【０００４】
マイコン２は、ＲＡＭ２ａと、ＲＯＭ２ｂと、ＣＰＵ２ｃとを有する。ＲＡＭ２ａ内には、ステアリングセンサ１から出力されるパルス信号Ｓ１をカウントするカウンタエリアが形成されている。ＲＯＭ２ｂは、ＣＰＵ２ｃに処理動作を行わせるための制御プログラムと、ＲＡＭ２ａ内のカウンタエリアにカウントされたステアリングセンサ１から出力されるパルスのカウント値に応じた回転半径Ｒを持つ円弧によって形成される第１の物体としての予想軌跡Ｍとが記憶されている。
【０００５】
上述した予想軌跡Ｍは、図９（ａ）に示すように、車両の後ろを通り、車両の中心を通って後進方向と平行な直線をｙ軸、カメラ３を通ってｙ軸と垂直な直線をｘ軸とした路面上のｘｙ座標で表されたものである。ＣＰＵ２ｃは、第１の画像形成手段として働き、予想軌跡Ｍ上の全ての座標をカメラ３の路面に対する高さ及び俯角を用いて幾何学的にフレームメモリ４に蓄えられている画素データＤ２のピクセルに対応する座標に変換する。さらに、ＣＰＵ２ｃは、フレームメモリ４から画素データＤ２を読み出し、上述したように予想軌跡Ｍ上の座標を変換して得た座標に対応するフレームメモリ４から読み出した画素データＤ２のピクセルを予め定めた輝度に変換して重畳画素データＤ３を形成し、表示手段としてのディスプレイ６に対して出力する。ディスプレイ６は、ＣＧｘ＊ＣＧｙからなる重畳画素データＤ３に従って表示を行うことにより、路面上に描かれた予想軌跡Ｍをカメラ３で撮像することにより得られる画像を表示する。
【０００６】
上述した構成の車両用周辺監視装置の動作を図９を参照して以下説明する。マイコン２は、Ｒレンジ検出センサ５からのＲレンジ信号Ｓ２が入力されると、ＲＡＭ２ａ内のカウンタエリアからパルス信号Ｓ１のカウント値に対応する路面のｘｙ平面上の予想軌跡Ｍ上の点Ａ（ｘａ、ｙａ）をＲＯＭ２ｂから読み出し（図９（ａ））、点Ａの座標（ｘａ、ｙａ）をカメラ３の路面に対する高さ及び俯角を用いて幾何学的にフレームメモリ４に蓄えられている画素データＤ２のピクセルに対応する座標（Ｘａ、Ｙａ）に変換する。さらに、マイコン２は、フレームメモリ４から画素データＤ２を読み出し、上述したように予想軌跡Ｍ上の座標を変換して得た座標（Ｘａ、Ｙａ）に対応するフレームメモリ４から読み出した画素データＤ２のピクセルＸａ＊Ｙａの輝度を予め定めた輝度に変換することにより重畳画素データＤ３を形成し（図９（ｂ））、ディスプレイ６に出力する。
【０００７】
ディスプレイ６は、マイコン２から出力される重畳画素データＤ３に従って表示を行うことにより、路面上に描かれた予想軌跡Ｍをカメラ３で撮像することにより得られる画像を表示する。上述のように、ハンドルの舵角に対応する予想軌跡Ｍをカメラ３によって得られる後方又は側後方の視界の画像に重ねて表示することにより、駐車や車庫入れ等の運転操作及び安全確認が容易に行えるようにしたものである。
【０００８】
【発明が解決しようとする課題】
上述したカメラ３の路面に対する高さ及び俯角などのカメラ３の取付位置に関するパラメータは、マイコン２に形成したＲＯＭ２ｂに予め記憶させておくようにしていた。このため、カメラ３の取付位置や取付車種が変更されると、ＲＯＭ２ｂ内に記憶されているパラメータと実際のカメラ３の取付位置に関するパラメータとの間にズレが生じてしまい、舵角に対する予想軌跡などの重畳画像の表示を正確に行うことができなくなるという問題がある。
【０００９】
また、カメラ３の路面に対する高さ及び俯角などのパラメータを入力するキーボードを設け、カメラ３を車両に取り付けた後、キーボードにより、カメラ３の路面に対する高さ及び俯角などのパラメータを入力して設定することも考えられるが、この場合は、ユーザーがカメラ３の路面に対する高さ及び俯角などの取付位置に関するパラメータを測定しなければならず手間がかかる上、入力値に誤り又は誤差がある確率が高くなり、正確な表示ができなくなるという問題がある。特に、トラックなどの大型車両では、パラメータを測定するのも容易ではない。
【００１０】
そこで、本発明は、上記のような問題点に着目し、カメラの取付の際に、取付位置に関するパラメータを容易かつ正確に設定することができる車両用周辺監視装置及び車両用周辺監視装置のパラメータを容易かつ正確に調整するための車両用周辺監視装置のパラメータ調整方法を提供することを課題とする。
【００１１】
【課題を解決するための手段】
上記課題を解決するためになされた請求項１記載の発明は、図１の基本構成図に示すように、車両に搭載された撮像手段３により撮像された車両周辺の実画像を表示手段６が表示し、第１の画像形成手段２ｃ−１がパラメータ記憶手段２ａに記憶されている前記撮像手段３の取付位置に関する複数のパラメータに応じた取付位置の前記撮像手段３により所定の位置の第１の物体を撮像したときの重畳画像を形成し、当該形成した重畳画像を前記実画像上に重ねて表示させる車両用周辺監視装置において、前記パラメータ記憶手段２ａに記憶されている複数のパラメータに応じた取付位置に配置された前記撮像手段３が所定の位置の第２の物体を撮像したときの調整画像を形成し、当該形成した調整画像を前記表示手段６により表示された前記実画像上に重ねて表示させる第２の画像形成手段２ｃ−２と、所定の位置に前記第２の物体を配置したとき、前記表示手段６により表示される前記撮像手段３により撮像された前記第２の物体の実画像と前記第２の画像形成手段２ｃ−２により形成された前記第２の物体の調整画像とが一致するように前記パラメータ記憶手段２ａに記憶された前記複数のパラメータを調整するパラメータ調整手段７とを備えたことを特徴とする車両用周辺監視装置に存する。
【００１２】
請求項１記載の発明によれば、所定の位置の第２の物体を配置したとき、表示手段６が撮像手段３により撮像された第２の物体の実画像を表示し、第２の画像形成手段２ｃ−２が、パラメータ記憶手段２ａに記憶されているパラメータに応じた取付位置に配置された撮像手段３により所定の位置の第２の物体を撮像したときの調整画像を形成し、この形成した第２の物体の調整画像を表示手段６により表示される撮像手段３が撮像した第２の物体の実画像上に重ねて表示し、パラメータ調整手段７が撮像手段３により撮像された第２の物体の実画像と第２の画像形成手段２ｃ−２により形成された第２の物体の調整画像とが一致するようにパラメータを調整するので、表示手段６により表示される撮像手段３が撮像した第２の物体の実画像と、画像形成手段が形成した第２の物体の調整画像とが一致するようにパラメータ調整手段７でパラメータを調整することにより、ユーザーが実際の撮像手段３の取付位置に関するパラメータを測定することなくパラメータ記憶手段２ａに記憶されているパラメータと実際の撮像手段３の取付位置に関するパラメータとを等しくすることができる。
【００１３】
請求項２記載の発明は、前記パラメータ調整手段７は単一の操作手段７ｃと、調整したいパラメータを選択するパラメータ選択手段７ｂとを有し、前記パラメータ選択手段７ｂにより選択されたパラメータの値を前記操作手段７ｃにより調整することを特徴とする請求項１記載の車両用周辺監視装置に存する。
【００１４】
請求項２記載の発明によれば、パラメータ調整手段７が、パラメータ選択手段７ｂにより選択されたパラメータの値を操作手段７ｃにより調整するので、パラメータごとに操作手段７ｃを設ける必要がない。
【００１５】
請求項３記載の発明は、パラメータを調整するとき、前記表示手段６による前記第１の画像形成手段２ｃ−１が形成した前記第１の物体の前記重畳画像の表示を行なわず、前記重畳画像を表示するとき、前記第２の画像形成手段２ｃ−２が形成した前記第２の物体の調整画像の表示を行わないように、前記第１の画像形成手段２ｃ−１が形成する前記重畳画像と前記第２の画像形成手段２ｃ−２が形成する前記第２の物体の調整画像とを切り替える切替手段７ａをさらに有することを特徴とする請求項１又は２記載の車両用周辺監視装置に存する。
【００１６】
請求項３記載の発明によれば、切替手段７ａがパラメータを調整するとき、表示手段６による第１の画像形成手段２ｃ−１が形成した第１の物体の重畳画像の表示を行なわず、重畳画像を表示するとき、第２の画像形成手段２ｃ−２が形成した第２の物体の調整画像の表示を行わないように、第１の画像形成手段２ｃ−１か形成する重畳画像と第２の画像形成手段２ｃ−２が形成する調整画像とを切り替えるので、切替手段７ａによって第１の画像形成手段２ｃ−１が形成する重畳画像と第２の画像修正手段が形成する調整画像とを切り替えることにより、重畳画像と調整画像とが同時に表示手段６により表示されることがない。
【００１７】
請求項４記載の発明は、前記撮像手段３が撮像した第２の物体の実画像と、前記第２の画像形成手段２ｃ−２が形成した前記第２の物体の調整画像とが一致したことを検出する一致検出手段をさらに有し、前記表示手段６は前記一致手段２ｃ−３が前記実画像と前記調整画像との一致を検出したとき、その旨を知らせる表示を行うことを特徴とする請求項１〜３記載の車両用周辺監視装置に存する。
【００１８】
請求項４記載の発明によれば、一致手段２ｃ−３により撮像手段３が撮像した第２の物体の実画像と、第２の画像形成手段２ｃ−２が形成した第２の物体の調整画像との一致を検出されたとき、表示手段６がその旨を知らせる表示を行うので、撮像手段３が撮像した物体の画像と画像形成手段が形成した物体の画像とが一致した旨を表示手段６により知らせることによって、ユーザーの視覚に頼って一致を確認する必要がない。
【００１９】
請求項５記載の発明は、前記複数のパラメータは、車両の中心を通り車両の進行方向をｙ軸としたとき、前記撮像手段３のｙ軸に対する距離ｓ及び角θｘと、路面に対する高さｈ及びθｙであり、前記撮像手段３は、レンズと該レンズにより規定された水平方向画角Ｗｘ及び垂直方向画角Ｗｙ内の画像が結像されるＣＰｘ＊ＣＰｙ画素からなるイメージプレーンとを有し、前記表示手段６は、ＣＧｘ＊ＣＧｙ画素からなり、前記第２の画像形成手段２ｃ−２は、車両の進行方向をｙ軸、前記撮像手段３を通り前記ｙ軸と垂直な方向をｘ軸とした路面上のｘｙ平面上の前記第２の物体のエッジの座標データ［ｘ、ｙ］を記憶する座標データ記憶手段２ｂ−１と、前記撮像手段３の収差ｋ、焦点距離ｆ、前記水平方向画角Ｗｘ、前記垂直方向画角Ｗｙ、前記ＣＰｘ＊ＣＰｙ画素及び前記ＣＧｘ＊ＣＧｙ画素を記憶する撮像表示データ記憶手段２ｂ−２を有し、前記座標データ［ｘ、ｙ］を前記パラメータ記憶手段２ａに記憶されているｓ、θｘ、ｈ及びθｙと撮像表示データ記憶手段２ｂ−２に記憶されているｋ、ｆ、Ｗｘ、Ｗｙ、ＣＰｘ、ＣＰｙ、ＣＧｘ及びＣＧｙを用いた以下に示す変換式（１）〜（８）
【数９】
【数１０】
【数１１】
【数１２】
【数１３】
【数１４】
【数１５】
【数１６】
に従って収差ｋを考慮した前記表示手段６上の座標データ［ｇｘ、ｇｙ］に変換し、変換した座標データ［ｇｘ、ｇｙ］が前記第２の物体の調整画像を構成するようにする表示手段６に表示させることを特徴とする請求項１〜４記載の車両用周辺監視装置に存する。
【００２０】
請求項５記載の発明によれば、第２の画像形成手段２ｃ−２が、座標表示データ記憶手段に記憶されている車両の進行方向をｙ軸、撮像手段３を通りｙ軸と垂直な方向をｘ軸とした路面上のｘｙ平面上の第２の物体のエッジの座標データ［ｘ、ｙ］をパラメータ記憶手段２ａに記憶されている撮像手段３のｙ軸に対する距離ｓ及び角θｘと、路面に対する高さｈ及びθｙと撮像表示データ記憶手段２ｂ−２に記憶されている収差ｋ、焦点距離ｆ、水平方向画角Ｗｘ、垂直方向画角Ｗｙ、ＣＰｘ＊ＣＰｙ画素及びＣＧｘ＊ＣＧｙ画素とを用いた変換式に従って収差ｋを考慮した表示手段６上の座標データ［ｇｘ、ｇｙ］に変換し、変換した座標データ［ｇｘ、ｇｙ］が第２の物体の調整画像を構成するようにする表示手段６に表示させるので、ｘｙ平面上での第２の物体のエッジの座標データ［ｘ、ｙ］をｓ、θｘ、ｈ及びθｙを用いた変換式によって表示手段６上の座標データ［ｇｘ、ｇｙ］に変換することによって画像を形成することにより、第２の物体のエッジの座標データ［ｘ、ｙ］を格納するメモリのみ必要とし、複数のパラメータの値の組み合わせに応じた第２の物体の調整画像を予め記憶するメモリを必要がなく、メモリを最小限にすることができる。さらに、第２の形成画像手段により形成される調整画像の収差による誤差をなくすことができる。
【００２１】
請求項６記載の発明は、車両に搭載された撮像手段により撮像された車両周辺の実画像を表示手段が表示し、第１の画像形成手段がパラメータ記憶手段に記憶されている前記撮像手段の取付位置に関する複数のパラメータに応じた取付位置の前記撮像手段により所定の位置の第１の物体を撮像したときの重畳画像を形成し、当該形成した重畳画像を前記実画像上に重ねて表示させる車両用周辺監視装置の前記撮像手段の取付位置に関するパラメータを調整する車両用周辺監視装置のパラメータ調整方法であって、第２の物体を所定の位置に配置したとき、前記撮像手段により撮像される前記第２の物体の実画像を表示手段が表示し、第２の画像形成手段が、パラメータ記憶手段に記憶されている複数のパラメータに応じた取付位置に配置された前記撮像手段により所定の位置の前記第２の物体を撮像したときの調整画像を形成し、当該成形した調整画像を前記表示手段により表示された前記第２の物体の実画像上に重ねて表示し、パラメータ調整手段により表示手段に表示されている撮像手段３が撮像した前記第２の物体の実画像と前記第２の画像形成手段が形成した前記第２の物体の前記調整画像とが一致するように前記パラメータ記憶手段に記憶された前記複数のパラメータを調整することを特徴とする車両用周辺監視装置のパラメータ調整方法に存する。
【００２２】
請求項６記載の発明によれば、所定の位置に第２の物体を配置したとき、表示手段が撮像手段３により撮像された第２の物体の実画像を表示し、第２の画像形成手段が、パラメータ記憶手段に記憶されているパラメータに応じた取付位置に配置された撮像手段により所定の位置の第２の物体を撮像したときの調整画像を形成し、この形成した第２の物体の調整画像を表示手段により表示される撮像手段が撮像した第２の物体の実画像上に重ねて表示し、パラメータ調整手段が撮像手段により撮像された第２の物体の実画像と第２の画像形成手段により形成された第２の物体の調整画像とが一致するようにパラメータを調整するので、表示手段により表示される撮像手段が撮像した第２の物体の実画像と、画像形成手段が形成した第２の物体の調整画像とが一致するようにパラメータ調整手段でパラメータを調整することにより、ユーザーが実際の撮像手段の取付位置に関するパラメータを測定することなくパラメータ記憶手段に記憶されているパラメータと実際の撮像手段の取付位置に関するパラメータとを等しくすることができる。
【００２３】
【発明の実施の形態】
第１実施例
以下、本発明の車両用周辺監視装置を図面に基づいて説明する。図２は本発明による車両用周辺監視装置の構成を示すブロック図であり、同図において、図８について上述したものと同一の部分には同一符号を付し、その詳細な説明を省略している。マイコン２には、カメラ３の取付位置に関するパラメータの値を設定するための設定部７が接続されている。この設定部７は、オンするとパラメータの値が変更できるようになる設定スイッチ７ａと、変更する複数のパラメータの内、１つを選択するためのパラメータ選択手段としてのパラメータ選択スイッチ７ｂと、パラメータ選択スイッチ７ｂにより選択されたパラメータの値を調整するためのパラメータ調整部７ｃとを有する。
【００２４】
本実施の形態においては、パラメータ選択スイッチ７ｂは、オンオフ状態に基づいて、図３（ｂ）の車両の横から見たカメラ３の取付位置の図に示すように、路面に対するカメラ３の高さｈ及び俯角θｙとの２つのパラメータの内、調整したいパラメータを１つを選ぶことができる。なお、このときカメラ３の上から見た取付位置は、図３（ａ）に示すようにカメラ３を車幅Ｗの中心Ｗ／２に配置し、向きを車両の後進方向としている。
【００２５】
操作手段としてのパラメータ調整部７ｃは、電圧Ｖ１を分圧する抵抗Ｒ１と可変抵抗Ｒ２とを有し、可変抵抗Ｒ２の抵抗値を調整することによってパラメータ選択スイッチ７ｂにより選択されたパラメータの値に対応する電圧Ｖ２を調整する。上述したようにパラメータ選択スイッチ７ｂを設けることによって、パラメータごとにパラメータ調整部７ｃを設ける必要がなくコストダウンを図ることができる。
【００２６】
また、マイコン２のＲＯＭ２ｂは、電圧Ｖ２に対応するパラメータの値と、図３（ａ）に示すようにカメラ３を中心として、カメラ３の向きをｙ軸、このｙ軸に垂直な直線をｘ軸としたとき、ｘ軸から距離ｙｃｐ−ｄ（ｄは車両の最後尾からカメラ３までの距離）だけ離れた位置に配置された物体としての長さＬの棒８のエッジ上の全ての点のｘｙ座標とが予め記憶され、座標データ記憶手段として働きまた、カメラ３の水平方向画角Ｗｘ、垂直方向画角Ｘｙ、収差ｋ及び焦点距離ｆと、イメージプレーン３ｂを構成するピクセル数ＣＰｘ＊ＣＰｙと、フレームメモリ４を構成するピクセル数ＣＧｘ＊ＣＧｙとが予め記憶され、撮像表示データ記憶手段としても働いている。ＲＡＭ２ａは、パラメータ記憶手段として働き、ＲＯＭ２ｂから読み取った可変抵抗Ｒ２により調整された電圧Ｖ２に対応するパラメータを一時記憶するエリアが形成されている。
【００２７】
また、ＣＰＵ２ｃは、上述した従来の動作に加え、ＲＯＭ２ｂに記憶されている棒８のエッジの点のｘｙ座標をＲＡＭ２ａに記憶されているパラメータを用いて幾何学的にフレームメモリ４に蓄えられている画素データＤ２のピクセルに対応する座標に変換し、変換した全ての座標に対応するピクセルを予め定めた輝度に変換した画素データＤ２を調整画像データＤ４としてディスプレイ６に出力することによって、ＲＡＭ２ａに記憶されているパラメータに応じた取付位置に配置されたカメラ３が所定の位置の棒８を撮像したときの画像を形成し、この形成した物体の画像をディスプレイ６に表示された画像上に重ねて表示させ、第２の画像形成手段として働く。
【００２８】
ＣＰＵ２ｃは、さらに、フレームメモリ４に蓄えられている画素データＤ２の各ピクセルについてある一定値以下の輝度であれば棒８上の点であるとして抽出し、抽出したピクセルと棒８のエッジの点の座標をＲＡＭ２ａに記憶されているパラメータを用いて変換した座標に応じたピクセルとを比較し、変換して得た全てのピクセルが抽出したピクセルに含まれているとき、一致信号Ｓ３をディスプレイ６に対して出力し、一致検出手段として働く。なお、棒８はカメラ３により撮像されたときの画素データＤ２において棒８を構成するピクセルが一定値以下の輝度となるものを使用する。
【００２９】
ディスプレイ６は、図４に示すようにマイコン２から出力される調整画像データＤ４に基づいて、棒８をカメラ３により実際に撮像した実画像８ａ上にＣＰＵ２ｃにより形成したＲＡＭ２ａに記憶されているパラメータに応じた取付位置に配置されたカメラ３が棒８を撮像したとき得られる調整画像８ｂを重ねて表示する。また、ディスプレイ６は、マイコン２から一致信号Ｓ３が出力されると、実画像８ａと調整画像８ｂの画像が一致したとしてその旨を知らせる表示を行うため例えば、調整画像８ｂの表示色を変える。
【００３０】
上述した車両用周辺監視装置の動作を以下説明する。ユーザーがカメラ３を車両の後方に取り付けた後、図３に示すようにパラメータを入力するため車両の進行方向と垂直に車両後方から距離ｙｃｐだけ離れたところに棒８を配置する。その後、ユーザーが図示しない入力スイッチをオンした後、設定スイッチ７ａをオンにすると、マイコン２は、ＲＯＭ２ｂに記憶されている棒８のエッジの点のｘｙ座標をＲＡＭ２ａに記憶されているパラメータを用いて幾何学的にフレームメモリ４に蓄えられている画素データＤ２のピクセルに対応する座標に変換し、変換した座標に対応するフレームメモリ４から読み出した画素データＤ２のピクセルを予め定めた輝度に変換することにより、カメラ３をパラメータに応じた位置に取り付け、棒８を撮像したときに得られる画像を形成し、この画像を実際にカメラ３により撮像して得た画像上に重ねる。このときの変換式は、ＲＯＭ２ｂ内に記憶された棒８のエッジの座標データを［ｘ、ｙ］、変換後の座標を［ｇｘ、ｇｙ］、カメラ３の収差をｋ、焦点距離をｆ、水平画角をＷｘ、垂直画角をＸｙ、イメージプレーン３ｂを構成するピクセル数をＣＰｘ＊ＣＰｙ、フレームメモリ４を構成するピクセル数をＣＧｘ＊ＣＧｙとし、ＲＡＭ２ａ内に記憶されているパラメータをｈ０、θｙ０とすると、以下の式を用いる。
【００３１】
【数１７】
【００３２】
【数１８】
【００３３】
【数１９】
【００３４】
【数２０】
【００３５】
【数２１】
【００３６】
その後、上述した棒８のエッジの全ての座標［ｘ、ｙ］についてを変換式（１）、（２）及び（３′）〜（５′）に従って変換して得た座標［ｇｘ、ｇｙ］に対応するフレームメモリ４に蓄えられた画素データＤ２上のピクセルｇｘ＊ｇｙを同一輝度にすることにより調整画像データＤ４を形成し、ディスプレイ６に対して出力する。ディプレイ６は、調整画像データＤ４に基づいて図４に示すように実際にカメラ３により棒８を撮像して得た画像である実画像８ａとＣＰＵ２ｃにより形成された画像である調整画像８ｂとを重ねて表示する。その結果、ＲＡＭ２ａ内に記憶されたｈ０及びθｙ０が実際のものと異なる値であった場合、図４のように、実画像８ａと調整画像８ｂの位置が一致しない。
【００３７】
つまり、上述した式（１）、（２）及び（３′）〜（５′）より、図５（ａ）に示すようなことがわかる。実際の路面に対するカメラ３の高さをｈ、俯角をθｙとすると、実画像８ａが調整画像８ｂより上方にありかつ横幅が短いときｈ＜ｈ０かつθｙ＜θｙ０である。また、実画像８ａが調整画像８ｂより下方にありかつ横幅が短いときはｈ＜ｈ０かつθｙ≦θｙ０またはｈ＜ｈ０かつθｙ＞θｙ０であり、実画像８ａが調整画像８ｂより上方にありかつ横幅が等しいときはｈ＝ｈ０かつθｙ＜θｙ０であり、実画像８ａが調整画像８ｂより下方にありかつ横幅が等しいときはｈ＝ｈ０かつθｙ＞θｙ０であり、実画像８ａが調整画像８ｂより上方にありかつ横幅が長いときはｈ＜ｈ０かつθｙ≧θｙ０または、ｈ＜ｈ０かつθｙ＜θｙ０である。
【００３８】
ユーザーが、上述した図５を参照にして実画像８ａと調整画像８ｂとが一致するように、パラメータ調整部７ｃの可変抵抗Ｒ２を操作してパラメータ選択スイッチ７ｂにより選択されたパラメータの値に対応する電圧Ｖ２を調整すると、ＣＰＵ２ｃは、電圧Ｖ２に応じたパラメータｈ０及びθｙ０をＲＯＭ２ｂから読み出し、読み出した値をＲＡＭ２ａ内に保持する。
【００３９】
上述したように調整した結果、実画像８ａと調整画像８ｂとが一致してＲＡＭ２ａに記憶されているパラメータである路面に対する高さｈ０及び俯角θｙ０が実際の高さｈ及び俯角θｙと等しくなったとき、画素データＤ２の予め定めた値以下の輝度を持つピクセルに、式（１）、（２）及び（３′）〜（５′）を用いて変換して得たピクセルｇｘ＊ｇｙが含まれ、ＣＰＵ２ｃは一致信号Ｓ３をディスプレイ６に対して出力する。ディスプレイ６は、一致信号Ｓ３に基づき、実画像８ａと調整画像８ｂの画像が一致した旨を知らせる表示を行うため例えば、調整画像８ｂの表示色を変える。
【００４０】
このため、ユーザーがカメラ３の路面に対する高さｈ及び俯角θｙを測定することなくパラメータｈ０及びθｙ０を設定することができるので、車両にカメラ３を取り付ける際に、取付位置に関するパラメータを容易かつ正確に設定することができる。また、設定スイッチ７ａがオンしていないときは、上述した従来の動作と同様に、ハンドルの舵角に対応する予想軌跡Ｍをカメラ３によって得られる後方又は側後方の視界の画像に重ねて表示する。上述したように設定スイッチ７ａは、切替手段として働き、設定スイッチ７ａがオンのときは、調整画像８ｂのみを表示させ、オフのときは予想軌跡Ｍなどの重畳画像のみを重ねて表示させる。
【００４１】
上述した車両用周辺監視装置の動作の詳細を図６のＣＰＵ２ｃの処理動作を示すフローチャートを参照にして以下説明する。図示しない入力スイッチをオンすると動作を開始し、ＲＡＭ２ａ内に記憶されているパラメータｈ０及びθｙ０を取り込む（ステップＳＰ１）。次に、設定スイッチ７ａの状態を読みとり、オンであれば（ステップＳＰ２でＹ）、ＲＡＭ２ａ内に記憶されたパラメータｈ０及びθｙ０に初期値ｈ１及びθｙ１を代入して再びＲＡＭ２ａに保持する（ステップＳＰ３）。次に、ＲＯＭ２ｂ内に記憶された棒８のエッジにある全ての点についてのｘｙ座標［ｘ、ｙ］を読み出し、パラメータｈ０及びθｙ０を用いた変換式（１）、（２）及び（３′）〜（５′）により座標［ｘ、ｙ］を変換し、変換した座標に対応するフレームメモリ４から読み出した画素データＤ２のピクセルを予め定めた輝度に変換して調整画像データＤ４としてディスプレイ６に出力することによって、ディスプレイ６には、カメラ３を路面に対する高さｈ０及び俯角θｙ０のところに取付け、棒８を撮像したときに得られる画像をカメラ３により撮像して得た画像上に重ねた画像が表示される（ステップＳＰ５）。
【００４２】
次に、画素データＤ２の各ピクセルについてある一定値以下の輝度であれば棒８上の点であるとして抽出する（ステップＳＰ６）。この抽出したピクセルと変換して得た座標［ｇｘ、ｇｙ］に応じた画素データＤ２上のピクセルｇｘ＊ｇｙとを比較し、変換した全てのピクセルが抽出したピクセルに含まれるとき（ステップＳＰ７でＹ）、実画像８ａと調整画像８ｂとが一致したとして一致信号Ｓ３をディスプレイ６に対して出力すると共に、設定スイッチ７ａの状態をオフにして（ステップＳＰ８）、ステップＳＰ２へ戻る。
【００４３】
また、変換して得たピクセルｇｘ＊ｇｙが抽出したピクセルに含まれなかったとき（ステップＳＰ７でＮ）、パラメータ調整部７ｃから出力される電圧Ｖ２を取り込みＡ／Ｄ変換して、ディジタル値に変換する（ステップＳＰ９）。さらに、パラメータ選択スイッチ７ｂの状態を取り込み（ステップＳＰ１０）、パラメータｈ０を選択した状態であれば（ステップＳＰ１１でＹ）、ステップＳＰ９でＡ／Ｄ変換した電圧Ｖ２のディジタル値に対応したｈ０の値をＲＯＭ２ｂ内から取り込み、取り込んだ値をＲＡＭ２ａ内に保持し（ステップＳＰ１２）、再びステップＳＰ４へ戻る。
【００４４】
また、パラメータ選択スイッチ７ｂの状態がθｙ０を選択した状態であれば（ステップＳＰ１３でＹ）、ステップＳＰ９で求めた電圧Ｖ２のディジタル値に対応したθｙ０の値を代入して、ＲＡＭ２ａ内に保持し（ステップＳＰ１４）、ステップＳＰ４へ戻る。パラメータ選択スイッチ７ｂの状態がθｙ０を選択した状態でなかった場合（ステップＳＰ１３でＮ）、ステップＳＰ１１へ戻るまた、設定スイッチ７ａがオフのときは（ステップＳＰ２でＮ）、図示しない入力スイッチをオフするまで上述した従来例通りディスプレイ６にハンドルの舵角に対応する予想軌跡Ｍをカメラ３によって得られる後方又は側後方の視界の画像に重ねて表示させる（ステップＳＰ１５）。
【００４５】
第２実施例
なお、上述した実施例ではユーザーが手動でパラメータ調整部７ｃの可変抵抗Ｒ２を操作することによりパラメータｈ０及びθ０の値を調整していたが、例えば、設定部７を取り除きＣＰＵ２ｃをパラメータ調整手段として働かせ、ＣＰＵ２ｃにより図５（ａ）に示すようにディスプレイ６上の実画像８ａと調整画像８ｂとの位置関係に従ってパラメータを自動的に加減して調整するようにしてもよい。このとき、マイコン２は、実画像８ａと調整画像８ｂとの位置関係を以下に説明するようにして判断する。先ず、図６のステップＳＰ４で変換された座標［ｇｘ、ｇｙ］に応じた画素データＤ２のピクセルｇｘ＊ｇｙの縦成分であるｇｙの最大値がステップＳＰ６で抽出されたピクセルの縦成分の最大値より大きいとき、調整画像８ｂが実画像８ａより上方にあると判断し、小さいとき、下方にあると判断する。また、ステップＳＰ４で変換された座標［ｇｘ、ｇｙ］に応じた画素データＤ２のピクセルｇｘ＊ｇｙの横成分であるｇｘの最大値と最小値との差の絶対値がステップＳＰ６で抽出されたピクセルのｎ成分の最大値と最小値との差の絶対値より大きいとき、調整画像８ｂが実画像８ａより横幅が長いと判断し、小さいとき、短いと判断する。
【００４６】
上述した車両用周辺監視装置の動作についてＣＰＵ２ｃの処理動作を示す図７のフローチャートを参照にして以下説明する。ステップＳＰ１〜ＳＰ８及びステップＳＰ１５については図６に示す第１実施例のＣＰＵ２ｃの処理動作と同様に行う。図６のステップＳＰ７でＮのとき、ディスプレイ６に表示されている調整画像８ｂと実画像８ａとの横幅が一致していない場合、（ステップＳＰ１６でＮ）、調整画像８ｂの横幅が実画像８ａの横幅より短ければ（ステップＳＰ１７でＹ）、ｈ＜ｈ０と判断し、ＲＡＭ２ａ内に保持されているパラメータｈ０及びθｙ０の値を単位量減少させて（ステップＳＰ１８）、図６のステップＳＰ４へ戻る。調整画像８ｂ横幅が実画像８ａの横幅より長ければ（ステップＳＰ１７でＮ）、ｈ＞ｈ０と判断し、ＲＡＭ２ａ内に保持されているパラメータｈ０の値を単位量増加させて（ステップＳＰ１９）、図６のステップＳＰ４へ戻る。
【００４７】
また、ディスプレイ６に表示されている調整画像８ｂと実画像８ａとの横幅が等しい場合、（ステップＳＰ１６でＹ）、調整画像８ｂが実画像８ａより上方にあれば（ステップＳＰ２０でＹ）、θｙ＜θｙ０と判断し、ＲＡＭ２ａ内に保持されているパラメータｈ０の値を単位量減少させて（ステップＳＰ２１）、図６のステップＳＰ４へ戻る。調整画像８ｂが実画像８ａより下方にあれば（ステップＳＰ２０でＮ）、θｙ＞θｙ０と判断し、ＲＡＭ２ａ内に保持されているパラメータθｙ０の値を単位量増加させて（ステップＳＰ２２）、ステップＳＰ４へ戻る。
【００４８】
第３実施例
また、上述した第１又は第２実施例では図３（ａ）に示すようにカメラ３を車幅Ｗの中心Ｗ／２の位置で、カメラ３の向きを車両の進行方向と同一に向け、路面に対する高さｈ０及び俯角θｙ０の２つをパラメータとしていたが、例えば、カメラ３をｙ軸から距離ｓ０の位置で、カメラ３の向きをｙ軸から角θｘ０の向きに向けるように設置したとき、距離ｓ、角θｘを予めＲＯＭ２ｂ内に記憶させておくか、距離ｓ０、角θｘ０を入力できる入力装置を設けるかして、座標の変換式を以下に示すようにしたものを第１又は第２実施例に適用するようにしてもよい。
【００４９】
【数２２】
【００５０】
【数２３】
【００５１】
【数２４】
【００５２】
【数２５】
【００５３】
【数２６】
【００５４】
【数２７】
【００５５】
【数２８】
【００５６】
【数２９】
第４実施例
上述した第３実施例はカメラ３をｙ軸から距離ｓの位置で、カメラ３の向きをｙ軸から角θｘの向きに向けるように設置したとき、路面に対する高さｈ０及び俯角θｙ０の２つをパラメータとしていたが、例えば、カメラ３を路面に対する高さｈ及び俯角θｙの位置に設置したとき、カメラ３のｙ軸に対する距離ｓ０及び角θｘ０の２つをパラメータとしてもよい。この場合、実画像８ａと調整画像８ｂとの位置関係から図５（ｂ）に示すようなことがわかる。
【００５７】
つまり、実際のカメラ３のｙ軸に対する距離をｓ、角をθｘ、ＲＡＭ２ａに記憶されているパラメータをｓ０及びθｘ０とすると、調整画像８ｂが実画像８ａより右側にありかつ調整画像８ｂのラインの傾きが所定値以上のとき、ｓ≦ｓ０かつθｘ＜θｘ０、ｓ＜ｓ０かつθｘ＞θｘ０または、ｓ＞ｓ０かつθｘ＜θｘ０である。また、調整画像８ｂが実画像８ａより右側にあり調整画像８ｂのラインの傾きがないとき、ｓ＜ｓ０かつθｘ＝θｘ０であり、調整画像８ｂが実画像８ａより左側にありかつ調整画像８ｂのラインの傾きが所定値以下のとき、ｓ≦ｓ０かつθｘ＞θｘ０またはｓ＞ｓＯかつθｘ＞θｘ０であり、調整画像８ｂが実画像８ａより左側にありかつ調整画像８ｂのラインの傾きが所定値以上のとき、ｓ＞ｓ０かつθｘ＜θｘ０であり、調整画像８ｂが実画像８ａより右側にあり調整画像８ｂのラインの傾きがないとき、ｓ＞ｓＯかつθｘ＝θｘ０である。上述した図５（ｂ）に示したことを参照にして、パラメータｓ０及びθｘ０の値を手動又は自動に調整することができる。
【００５８】
第５実施例
上述した第３実施例及び第４実施例では、カメラ３の路面に対する高さｈ及びθｙ又は、カメラ３のｙ軸に対する距離ｓ及び角θｘのどちらかをパラメータとしていたが、ｈ、θｙ、ｓ及びθｘの４つをパラメータとするようにしてもよい。この場合、図５（ａ）、（ｂ）に示されたことを参照して、パラメータｈ０、θｙ０、ｓ０及びθｘ０の値を手動又は自動に調整することができる。このように、調整するパラメータの数を増やすとその調整は困難になる。このため、ＣＰＵ２ｃは、フレームメモリ４に蓄えられている画素データＤ２から抽出したピクセルと棒８のエッジの点の座標をＲＡＭ２ａに記憶されているパラメータを用いて変換した座標に応じたピクセルとを比較し、変換して得た全てのピクセルが抽出したピクセルに最も多く含まれているとき、ほぼ実画像８ａと調整画像８ｂとが一致したとして一致信号Ｓ３をディスプレイ６に対して出力する。
【００５９】
【発明の効果】
以上説明したように、請求項１記載の発明によれば、表示手段により表示される撮像手段が撮像した第２の物体の実画像と、画像形成手段が形成した第２の物体の調整画像とが一致するようにパラメータ調整手段でパラメータを調整することにより、ユーザーが実際の撮像手段の取付位置に関するパラメータを測定することなくパラメータ記憶手段に記憶されているパラメータと実際の撮像手段の取付位置に関するパラメータとを等しくすることができるので、車両に撮像手段を取り付ける際に、取付位置に関するパラメータを容易かつ正確に設定することができる車両用周辺監視装置を得ることができる。
【００６０】
請求項２記載の発明によればパラメータごとに操作手段を設ける必要がないので、コストダウンを図った車両用周辺監視装置を得ることができる。
【００６１】
請求項３記載の発明によれば、切替手段によって第１の画像形成手段が形成する重畳画像と第２の画像修正手段が形成する調整画像とを切り替えることにより、重畳画像と調整画像とが同時に表示手段により表示されることがないので、第１の画像形成手段が形成する重畳画像と第２の画像形成手段が形成する調整画像とを見間違えることが車両用周辺監視装置を得ることができる。
【００６２】
請求項４記載の発明によれば、撮像手段が撮像した物体の画像と画像形成手段が形成した物体の画像とが一致した旨を表示手段により知らせることによって、ユーザーの視覚に頼って一致を確認する必要がないので、パラメータを調整する際の誤差を少なくすることができ、正確にパラメータを調整することができる車両用周辺監視装置を得ることができる。
【００６３】
請求項５記載の発明によれば、ｘｙ平面上での第２の物体のエッジの座標データ［ｘ、ｙ］をｓ０、θｘ０、ｈ０及びθｙ０を用いた変換式によって表示手段上の座標データ［ｇｘ、ｇｙ］に変換することによって画像を形成することにより、第２の物体のエッジの座標データ［ｘ、ｙ］を格納するメモリのみ必要とし、複数のパラメータの値の組み合わせに応じた第２の物体の調整画像を予め記憶するメモリを必要がなく、メモリを最小限にすることができるので、コストダウンを図ることができる。さらに、第２の形成画像手段により形成される調整画像の収差による誤差をなくすことができるので、パラメータを調整する際の誤差を少なくすることができ、正確にパラメータを調整することができる車両用周辺監視装置を得ることができる。
【００６４】
請求項６記載の発明によれば、表示手段により表示される撮像手段が撮像した第２の物体の実画像と、画像形成手段が形成した第２の物体の調整画像とが一致するようにパラメータ調整手段でパラメータを調整することにより、ユーザーが実際の撮像手段の取付位置に関するパラメータを測定することなくパラメータ記憶手段に記憶されているパラメータと実際の撮像手段の取付位置に関するパラメータとを等しくすることができるので、車両用周辺監視装置の撮像手段を車両に取り付ける際に、取付位置に関するパラメータを容易かつ正確に設定するための車両用周辺監視装置のパラメータ調整方法を得ることができる。
【図面の簡単な説明】
【図１】本発明による車両用周辺監視装置の基本構成図を示す図である。
【図２】本発明による車両用周辺監視装置の一実施の形態を示すブロック図である。
【図３】図２の車両用周辺監視装置を構成するカメラ３の取付位置を示す図である。
【図４】図２の車両用周辺監視装置を構成するディスプレイ６の表示例を示す図である。
【図５】ディスプレイ６に表示される実画像８ａ及び調整画像８の位置とパラメータとの関係を説明する説明図である。
【図６】図２の車両用周辺監視装置を構成するＣＰＵ２ｃの第１実施例での処理動作を示すフローチャート図である。
【図７】図２の車両用周辺監視装置を構成するＣＰＵ２ｃの第２実施例での処理動作を示すフローチャート図である。
【図８】従来の車両用周辺監視装置の一例を示すブロック図である。
【図９】図８の車両用周辺監視装置の動作を説明するための図である。
【符号の説明】
３ 撮像手段
６ 表示手段
２ａ パラメータ記憶手段
２ｃ−１ 第１の画像形成手段
２ｃ−２ 第２の画像形成手段
７ パラメータ調整手段
７ｃ 操作手段
７ｂ パラメータ選択手段
７ａ 切替手段
２ｃ−３ 一致検出手段
２ｂ−１ 座標データ記憶手段
２ｂ−２ 撮像表示データ記憶手段
【発明の属する技術分野】
本発明は車両用周辺監視装置及び車両用周辺監視装置のパラメータ調整方法に係わり、特に、第１の画像形成手段が形成した予想軌跡などの路面上に描かれた第１の物体を予め記憶されている撮像手段の取付位置に関するパラメータに応じた取付位置の撮像手段で撮像したときの重畳画像を車載の撮像手段によって得られる車両周辺の実画像上に重ねて表示する車両周辺監視装置及び車両用周辺監視装置のパラメータを調整するための車両周辺監視装置のパラメータ調整方法に関する。
【０００２】
【従来の技術】
従来、上述した車両用周辺監視装置の一例として、ハンドルの舵角に対応する予想軌跡をカメラによって映し出された画像に重ねて表示する図８に示されたようなものが知られている。同図において、ステアリングセンサ１は、車両のステアリング機構に取り付けられて、ステアリングが単位角度操舵されるごとにパルス信号Ｓ１を発生するものであって、発生したパルス信号Ｓ１をマイクロコンピュータ２（以下、マイコン２）に供給している。
【０００３】
撮像手段としてのカメラ３は、レンズ３ａとイメージプレーン３ｂとを有する。このカメラ３は、車両の後方視界が撮像できる位置に取り付けられ、レンズ３ａにより規定される画角範囲の画像をＣＰｘ＊ＣＰｙピクセルからなるイメージプレーン３ｂ上に結像させる。フレームメモリ４は、カメラ３のイメージプレーン３ｂ上に結像された撮像画像データＤ１を取得し、例えばイメージプレーン３ｂ上に対応したＣＧｘ＊ＣＧｙのピクセル、輝度０〜２５５階調の画素データＤ２に変換して一時的に蓄えると共にマイコン２に出力する。また、このマイコン２には、車両のギアがＲレンジになったとき、ＨレベルのＲレンジ信号Ｓ２を出力するＲレンジ検出センサ５が接続されている。
【０００４】
マイコン２は、ＲＡＭ２ａと、ＲＯＭ２ｂと、ＣＰＵ２ｃとを有する。ＲＡＭ２ａ内には、ステアリングセンサ１から出力されるパルス信号Ｓ１をカウントするカウンタエリアが形成されている。ＲＯＭ２ｂは、ＣＰＵ２ｃに処理動作を行わせるための制御プログラムと、ＲＡＭ２ａ内のカウンタエリアにカウントされたステアリングセンサ１から出力されるパルスのカウント値に応じた回転半径Ｒを持つ円弧によって形成される第１の物体としての予想軌跡Ｍとが記憶されている。
【０００５】
上述した予想軌跡Ｍは、図９（ａ）に示すように、車両の後ろを通り、車両の中心を通って後進方向と平行な直線をｙ軸、カメラ３を通ってｙ軸と垂直な直線をｘ軸とした路面上のｘｙ座標で表されたものである。ＣＰＵ２ｃは、第１の画像形成手段として働き、予想軌跡Ｍ上の全ての座標をカメラ３の路面に対する高さ及び俯角を用いて幾何学的にフレームメモリ４に蓄えられている画素データＤ２のピクセルに対応する座標に変換する。さらに、ＣＰＵ２ｃは、フレームメモリ４から画素データＤ２を読み出し、上述したように予想軌跡Ｍ上の座標を変換して得た座標に対応するフレームメモリ４から読み出した画素データＤ２のピクセルを予め定めた輝度に変換して重畳画素データＤ３を形成し、表示手段としてのディスプレイ６に対して出力する。ディスプレイ６は、ＣＧｘ＊ＣＧｙからなる重畳画素データＤ３に従って表示を行うことにより、路面上に描かれた予想軌跡Ｍをカメラ３で撮像することにより得られる画像を表示する。
【０００６】
上述した構成の車両用周辺監視装置の動作を図９を参照して以下説明する。マイコン２は、Ｒレンジ検出センサ５からのＲレンジ信号Ｓ２が入力されると、ＲＡＭ２ａ内のカウンタエリアからパルス信号Ｓ１のカウント値に対応する路面のｘｙ平面上の予想軌跡Ｍ上の点Ａ（ｘａ、ｙａ）をＲＯＭ２ｂから読み出し（図９（ａ））、点Ａの座標（ｘａ、ｙａ）をカメラ３の路面に対する高さ及び俯角を用いて幾何学的にフレームメモリ４に蓄えられている画素データＤ２のピクセルに対応する座標（Ｘａ、Ｙａ）に変換する。さらに、マイコン２は、フレームメモリ４から画素データＤ２を読み出し、上述したように予想軌跡Ｍ上の座標を変換して得た座標（Ｘａ、Ｙａ）に対応するフレームメモリ４から読み出した画素データＤ２のピクセルＸａ＊Ｙａの輝度を予め定めた輝度に変換することにより重畳画素データＤ３を形成し（図９（ｂ））、ディスプレイ６に出力する。
【０００７】
ディスプレイ６は、マイコン２から出力される重畳画素データＤ３に従って表示を行うことにより、路面上に描かれた予想軌跡Ｍをカメラ３で撮像することにより得られる画像を表示する。上述のように、ハンドルの舵角に対応する予想軌跡Ｍをカメラ３によって得られる後方又は側後方の視界の画像に重ねて表示することにより、駐車や車庫入れ等の運転操作及び安全確認が容易に行えるようにしたものである。
【０００８】
【発明が解決しようとする課題】
上述したカメラ３の路面に対する高さ及び俯角などのカメラ３の取付位置に関するパラメータは、マイコン２に形成したＲＯＭ２ｂに予め記憶させておくようにしていた。このため、カメラ３の取付位置や取付車種が変更されると、ＲＯＭ２ｂ内に記憶されているパラメータと実際のカメラ３の取付位置に関するパラメータとの間にズレが生じてしまい、舵角に対する予想軌跡などの重畳画像の表示を正確に行うことができなくなるという問題がある。
【０００９】
また、カメラ３の路面に対する高さ及び俯角などのパラメータを入力するキーボードを設け、カメラ３を車両に取り付けた後、キーボードにより、カメラ３の路面に対する高さ及び俯角などのパラメータを入力して設定することも考えられるが、この場合は、ユーザーがカメラ３の路面に対する高さ及び俯角などの取付位置に関するパラメータを測定しなければならず手間がかかる上、入力値に誤り又は誤差がある確率が高くなり、正確な表示ができなくなるという問題がある。特に、トラックなどの大型車両では、パラメータを測定するのも容易ではない。
【００１０】
そこで、本発明は、上記のような問題点に着目し、カメラの取付の際に、取付位置に関するパラメータを容易かつ正確に設定することができる車両用周辺監視装置及び車両用周辺監視装置のパラメータを容易かつ正確に調整するための車両用周辺監視装置のパラメータ調整方法を提供することを課題とする。
【００１１】
【課題を解決するための手段】
上記課題を解決するためになされた請求項１記載の発明は、図１の基本構成図に示すように、車両に搭載された撮像手段３により撮像された車両周辺の実画像を表示手段６が表示し、第１の画像形成手段２ｃ−１がパラメータ記憶手段２ａに記憶されている前記撮像手段３の取付位置に関する複数のパラメータに応じた取付位置の前記撮像手段３により所定の位置の第１の物体を撮像したときの重畳画像を形成し、当該形成した重畳画像を前記実画像上に重ねて表示させる車両用周辺監視装置において、前記パラメータ記憶手段２ａに記憶されている複数のパラメータに応じた取付位置に配置された前記撮像手段３が所定の位置の第２の物体を撮像したときの調整画像を形成し、当該形成した調整画像を前記表示手段６により表示された前記実画像上に重ねて表示させる第２の画像形成手段２ｃ−２と、所定の位置に前記第２の物体を配置したとき、前記表示手段６により表示される前記撮像手段３により撮像された前記第２の物体の実画像と前記第２の画像形成手段２ｃ−２により形成された前記第２の物体の調整画像とが一致するように前記パラメータ記憶手段２ａに記憶された前記複数のパラメータを調整するパラメータ調整手段７とを備えたことを特徴とする車両用周辺監視装置に存する。
【００１２】
請求項１記載の発明によれば、所定の位置の第２の物体を配置したとき、表示手段６が撮像手段３により撮像された第２の物体の実画像を表示し、第２の画像形成手段２ｃ−２が、パラメータ記憶手段２ａに記憶されているパラメータに応じた取付位置に配置された撮像手段３により所定の位置の第２の物体を撮像したときの調整画像を形成し、この形成した第２の物体の調整画像を表示手段６により表示される撮像手段３が撮像した第２の物体の実画像上に重ねて表示し、パラメータ調整手段７が撮像手段３により撮像された第２の物体の実画像と第２の画像形成手段２ｃ−２により形成された第２の物体の調整画像とが一致するようにパラメータを調整するので、表示手段６により表示される撮像手段３が撮像した第２の物体の実画像と、画像形成手段が形成した第２の物体の調整画像とが一致するようにパラメータ調整手段７でパラメータを調整することにより、ユーザーが実際の撮像手段３の取付位置に関するパラメータを測定することなくパラメータ記憶手段２ａに記憶されているパラメータと実際の撮像手段３の取付位置に関するパラメータとを等しくすることができる。
【００１３】
請求項２記載の発明は、前記パラメータ調整手段７は単一の操作手段７ｃと、調整したいパラメータを選択するパラメータ選択手段７ｂとを有し、前記パラメータ選択手段７ｂにより選択されたパラメータの値を前記操作手段７ｃにより調整することを特徴とする請求項１記載の車両用周辺監視装置に存する。
【００１４】
請求項２記載の発明によれば、パラメータ調整手段７が、パラメータ選択手段７ｂにより選択されたパラメータの値を操作手段７ｃにより調整するので、パラメータごとに操作手段７ｃを設ける必要がない。
【００１５】
請求項３記載の発明は、パラメータを調整するとき、前記表示手段６による前記第１の画像形成手段２ｃ−１が形成した前記第１の物体の前記重畳画像の表示を行なわず、前記重畳画像を表示するとき、前記第２の画像形成手段２ｃ−２が形成した前記第２の物体の調整画像の表示を行わないように、前記第１の画像形成手段２ｃ−１が形成する前記重畳画像と前記第２の画像形成手段２ｃ−２が形成する前記第２の物体の調整画像とを切り替える切替手段７ａをさらに有することを特徴とする請求項１又は２記載の車両用周辺監視装置に存する。
【００１６】
請求項３記載の発明によれば、切替手段７ａがパラメータを調整するとき、表示手段６による第１の画像形成手段２ｃ−１が形成した第１の物体の重畳画像の表示を行なわず、重畳画像を表示するとき、第２の画像形成手段２ｃ−２が形成した第２の物体の調整画像の表示を行わないように、第１の画像形成手段２ｃ−１か形成する重畳画像と第２の画像形成手段２ｃ−２が形成する調整画像とを切り替えるので、切替手段７ａによって第１の画像形成手段２ｃ−１が形成する重畳画像と第２の画像修正手段が形成する調整画像とを切り替えることにより、重畳画像と調整画像とが同時に表示手段６により表示されることがない。
【００１７】
請求項４記載の発明は、前記撮像手段３が撮像した第２の物体の実画像と、前記第２の画像形成手段２ｃ−２が形成した前記第２の物体の調整画像とが一致したことを検出する一致検出手段をさらに有し、前記表示手段６は前記一致手段２ｃ−３が前記実画像と前記調整画像との一致を検出したとき、その旨を知らせる表示を行うことを特徴とする請求項１〜３記載の車両用周辺監視装置に存する。
【００１８】
請求項４記載の発明によれば、一致手段２ｃ−３により撮像手段３が撮像した第２の物体の実画像と、第２の画像形成手段２ｃ−２が形成した第２の物体の調整画像との一致を検出されたとき、表示手段６がその旨を知らせる表示を行うので、撮像手段３が撮像した物体の画像と画像形成手段が形成した物体の画像とが一致した旨を表示手段６により知らせることによって、ユーザーの視覚に頼って一致を確認する必要がない。
【００１９】
請求項５記載の発明は、前記複数のパラメータは、車両の中心を通り車両の進行方向をｙ軸としたとき、前記撮像手段３のｙ軸に対する距離ｓ及び角θｘと、路面に対する高さｈ及びθｙであり、前記撮像手段３は、レンズと該レンズにより規定された水平方向画角Ｗｘ及び垂直方向画角Ｗｙ内の画像が結像されるＣＰｘ＊ＣＰｙ画素からなるイメージプレーンとを有し、前記表示手段６は、ＣＧｘ＊ＣＧｙ画素からなり、前記第２の画像形成手段２ｃ−２は、車両の進行方向をｙ軸、前記撮像手段３を通り前記ｙ軸と垂直な方向をｘ軸とした路面上のｘｙ平面上の前記第２の物体のエッジの座標データ［ｘ、ｙ］を記憶する座標データ記憶手段２ｂ−１と、前記撮像手段３の収差ｋ、焦点距離ｆ、前記水平方向画角Ｗｘ、前記垂直方向画角Ｗｙ、前記ＣＰｘ＊ＣＰｙ画素及び前記ＣＧｘ＊ＣＧｙ画素を記憶する撮像表示データ記憶手段２ｂ−２を有し、前記座標データ［ｘ、ｙ］を前記パラメータ記憶手段２ａに記憶されているｓ、θｘ、ｈ及びθｙと撮像表示データ記憶手段２ｂ−２に記憶されているｋ、ｆ、Ｗｘ、Ｗｙ、ＣＰｘ、ＣＰｙ、ＣＧｘ及びＣＧｙを用いた以下に示す変換式（１）〜（８）
【数９】
【００２０】
請求項５記載の発明によれば、第２の画像形成手段２ｃ−２が、座標表示データ記憶手段に記憶されている車両の進行方向をｙ軸、撮像手段３を通りｙ軸と垂直な方向をｘ軸とした路面上のｘｙ平面上の第２の物体のエッジの座標データ［ｘ、ｙ］をパラメータ記憶手段２ａに記憶されている撮像手段３のｙ軸に対する距離ｓ及び角θｘと、路面に対する高さｈ及びθｙと撮像表示データ記憶手段２ｂ−２に記憶されている収差ｋ、焦点距離ｆ、水平方向画角Ｗｘ、垂直方向画角Ｗｙ、ＣＰｘ＊ＣＰｙ画素及びＣＧｘ＊ＣＧｙ画素とを用いた変換式に従って収差ｋを考慮した表示手段６上の座標データ［ｇｘ、ｇｙ］に変換し、変換した座標データ［ｇｘ、ｇｙ］が第２の物体の調整画像を構成するようにする表示手段６に表示させるので、ｘｙ平面上での第２の物体のエッジの座標データ［ｘ、ｙ］をｓ、θｘ、ｈ及びθｙを用いた変換式によって表示手段６上の座標データ［ｇｘ、ｇｙ］に変換することによって画像を形成することにより、第２の物体のエッジの座標データ［ｘ、ｙ］を格納するメモリのみ必要とし、複数のパラメータの値の組み合わせに応じた第２の物体の調整画像を予め記憶するメモリを必要がなく、メモリを最小限にすることができる。さらに、第２の形成画像手段により形成される調整画像の収差による誤差をなくすことができる。
【００２１】
請求項６記載の発明は、車両に搭載された撮像手段により撮像された車両周辺の実画像を表示手段が表示し、第１の画像形成手段がパラメータ記憶手段に記憶されている前記撮像手段の取付位置に関する複数のパラメータに応じた取付位置の前記撮像手段により所定の位置の第１の物体を撮像したときの重畳画像を形成し、当該形成した重畳画像を前記実画像上に重ねて表示させる車両用周辺監視装置の前記撮像手段の取付位置に関するパラメータを調整する車両用周辺監視装置のパラメータ調整方法であって、第２の物体を所定の位置に配置したとき、前記撮像手段により撮像される前記第２の物体の実画像を表示手段が表示し、第２の画像形成手段が、パラメータ記憶手段に記憶されている複数のパラメータに応じた取付位置に配置された前記撮像手段により所定の位置の前記第２の物体を撮像したときの調整画像を形成し、当該成形した調整画像を前記表示手段により表示された前記第２の物体の実画像上に重ねて表示し、パラメータ調整手段により表示手段に表示されている撮像手段３が撮像した前記第２の物体の実画像と前記第２の画像形成手段が形成した前記第２の物体の前記調整画像とが一致するように前記パラメータ記憶手段に記憶された前記複数のパラメータを調整することを特徴とする車両用周辺監視装置のパラメータ調整方法に存する。
【００２２】
請求項６記載の発明によれば、所定の位置に第２の物体を配置したとき、表示手段が撮像手段３により撮像された第２の物体の実画像を表示し、第２の画像形成手段が、パラメータ記憶手段に記憶されているパラメータに応じた取付位置に配置された撮像手段により所定の位置の第２の物体を撮像したときの調整画像を形成し、この形成した第２の物体の調整画像を表示手段により表示される撮像手段が撮像した第２の物体の実画像上に重ねて表示し、パラメータ調整手段が撮像手段により撮像された第２の物体の実画像と第２の画像形成手段により形成された第２の物体の調整画像とが一致するようにパラメータを調整するので、表示手段により表示される撮像手段が撮像した第２の物体の実画像と、画像形成手段が形成した第２の物体の調整画像とが一致するようにパラメータ調整手段でパラメータを調整することにより、ユーザーが実際の撮像手段の取付位置に関するパラメータを測定することなくパラメータ記憶手段に記憶されているパラメータと実際の撮像手段の取付位置に関するパラメータとを等しくすることができる。
【００２３】
【発明の実施の形態】
第１実施例
以下、本発明の車両用周辺監視装置を図面に基づいて説明する。図２は本発明による車両用周辺監視装置の構成を示すブロック図であり、同図において、図８について上述したものと同一の部分には同一符号を付し、その詳細な説明を省略している。マイコン２には、カメラ３の取付位置に関するパラメータの値を設定するための設定部７が接続されている。この設定部７は、オンするとパラメータの値が変更できるようになる設定スイッチ７ａと、変更する複数のパラメータの内、１つを選択するためのパラメータ選択手段としてのパラメータ選択スイッチ７ｂと、パラメータ選択スイッチ７ｂにより選択されたパラメータの値を調整するためのパラメータ調整部７ｃとを有する。
【００２４】
本実施の形態においては、パラメータ選択スイッチ７ｂは、オンオフ状態に基づいて、図３（ｂ）の車両の横から見たカメラ３の取付位置の図に示すように、路面に対するカメラ３の高さｈ及び俯角θｙとの２つのパラメータの内、調整したいパラメータを１つを選ぶことができる。なお、このときカメラ３の上から見た取付位置は、図３（ａ）に示すようにカメラ３を車幅Ｗの中心Ｗ／２に配置し、向きを車両の後進方向としている。
【００２５】
操作手段としてのパラメータ調整部７ｃは、電圧Ｖ１を分圧する抵抗Ｒ１と可変抵抗Ｒ２とを有し、可変抵抗Ｒ２の抵抗値を調整することによってパラメータ選択スイッチ７ｂにより選択されたパラメータの値に対応する電圧Ｖ２を調整する。上述したようにパラメータ選択スイッチ７ｂを設けることによって、パラメータごとにパラメータ調整部７ｃを設ける必要がなくコストダウンを図ることができる。
【００２６】
また、マイコン２のＲＯＭ２ｂは、電圧Ｖ２に対応するパラメータの値と、図３（ａ）に示すようにカメラ３を中心として、カメラ３の向きをｙ軸、このｙ軸に垂直な直線をｘ軸としたとき、ｘ軸から距離ｙｃｐ−ｄ（ｄは車両の最後尾からカメラ３までの距離）だけ離れた位置に配置された物体としての長さＬの棒８のエッジ上の全ての点のｘｙ座標とが予め記憶され、座標データ記憶手段として働きまた、カメラ３の水平方向画角Ｗｘ、垂直方向画角Ｘｙ、収差ｋ及び焦点距離ｆと、イメージプレーン３ｂを構成するピクセル数ＣＰｘ＊ＣＰｙと、フレームメモリ４を構成するピクセル数ＣＧｘ＊ＣＧｙとが予め記憶され、撮像表示データ記憶手段としても働いている。ＲＡＭ２ａは、パラメータ記憶手段として働き、ＲＯＭ２ｂから読み取った可変抵抗Ｒ２により調整された電圧Ｖ２に対応するパラメータを一時記憶するエリアが形成されている。
【００２７】
また、ＣＰＵ２ｃは、上述した従来の動作に加え、ＲＯＭ２ｂに記憶されている棒８のエッジの点のｘｙ座標をＲＡＭ２ａに記憶されているパラメータを用いて幾何学的にフレームメモリ４に蓄えられている画素データＤ２のピクセルに対応する座標に変換し、変換した全ての座標に対応するピクセルを予め定めた輝度に変換した画素データＤ２を調整画像データＤ４としてディスプレイ６に出力することによって、ＲＡＭ２ａに記憶されているパラメータに応じた取付位置に配置されたカメラ３が所定の位置の棒８を撮像したときの画像を形成し、この形成した物体の画像をディスプレイ６に表示された画像上に重ねて表示させ、第２の画像形成手段として働く。
【００２８】
ＣＰＵ２ｃは、さらに、フレームメモリ４に蓄えられている画素データＤ２の各ピクセルについてある一定値以下の輝度であれば棒８上の点であるとして抽出し、抽出したピクセルと棒８のエッジの点の座標をＲＡＭ２ａに記憶されているパラメータを用いて変換した座標に応じたピクセルとを比較し、変換して得た全てのピクセルが抽出したピクセルに含まれているとき、一致信号Ｓ３をディスプレイ６に対して出力し、一致検出手段として働く。なお、棒８はカメラ３により撮像されたときの画素データＤ２において棒８を構成するピクセルが一定値以下の輝度となるものを使用する。
【００２９】
ディスプレイ６は、図４に示すようにマイコン２から出力される調整画像データＤ４に基づいて、棒８をカメラ３により実際に撮像した実画像８ａ上にＣＰＵ２ｃにより形成したＲＡＭ２ａに記憶されているパラメータに応じた取付位置に配置されたカメラ３が棒８を撮像したとき得られる調整画像８ｂを重ねて表示する。また、ディスプレイ６は、マイコン２から一致信号Ｓ３が出力されると、実画像８ａと調整画像８ｂの画像が一致したとしてその旨を知らせる表示を行うため例えば、調整画像８ｂの表示色を変える。
【００３０】
上述した車両用周辺監視装置の動作を以下説明する。ユーザーがカメラ３を車両の後方に取り付けた後、図３に示すようにパラメータを入力するため車両の進行方向と垂直に車両後方から距離ｙｃｐだけ離れたところに棒８を配置する。その後、ユーザーが図示しない入力スイッチをオンした後、設定スイッチ７ａをオンにすると、マイコン２は、ＲＯＭ２ｂに記憶されている棒８のエッジの点のｘｙ座標をＲＡＭ２ａに記憶されているパラメータを用いて幾何学的にフレームメモリ４に蓄えられている画素データＤ２のピクセルに対応する座標に変換し、変換した座標に対応するフレームメモリ４から読み出した画素データＤ２のピクセルを予め定めた輝度に変換することにより、カメラ３をパラメータに応じた位置に取り付け、棒８を撮像したときに得られる画像を形成し、この画像を実際にカメラ３により撮像して得た画像上に重ねる。このときの変換式は、ＲＯＭ２ｂ内に記憶された棒８のエッジの座標データを［ｘ、ｙ］、変換後の座標を［ｇｘ、ｇｙ］、カメラ３の収差をｋ、焦点距離をｆ、水平画角をＷｘ、垂直画角をＸｙ、イメージプレーン３ｂを構成するピクセル数をＣＰｘ＊ＣＰｙ、フレームメモリ４を構成するピクセル数をＣＧｘ＊ＣＧｙとし、ＲＡＭ２ａ内に記憶されているパラメータをｈ０、θｙ０とすると、以下の式を用いる。
【００３１】
【数１７】
【数１８】
【数１９】
【数２０】
【数２１】
その後、上述した棒８のエッジの全ての座標［ｘ、ｙ］についてを変換式（１）、（２）及び（３′）〜（５′）に従って変換して得た座標［ｇｘ、ｇｙ］に対応するフレームメモリ４に蓄えられた画素データＤ２上のピクセルｇｘ＊ｇｙを同一輝度にすることにより調整画像データＤ４を形成し、ディスプレイ６に対して出力する。ディプレイ６は、調整画像データＤ４に基づいて図４に示すように実際にカメラ３により棒８を撮像して得た画像である実画像８ａとＣＰＵ２ｃにより形成された画像である調整画像８ｂとを重ねて表示する。その結果、ＲＡＭ２ａ内に記憶されたｈ０及びθｙ０が実際のものと異なる値であった場合、図４のように、実画像８ａと調整画像８ｂの位置が一致しない。
【００３７】
つまり、上述した式（１）、（２）及び（３′）〜（５′）より、図５（ａ）に示すようなことがわかる。実際の路面に対するカメラ３の高さをｈ、俯角をθｙとすると、実画像８ａが調整画像８ｂより上方にありかつ横幅が短いときｈ＜ｈ０かつθｙ＜θｙ０である。また、実画像８ａが調整画像８ｂより下方にありかつ横幅が短いときはｈ＜ｈ０かつθｙ≦θｙ０またはｈ＜ｈ０かつθｙ＞θｙ０であり、実画像８ａが調整画像８ｂより上方にありかつ横幅が等しいときはｈ＝ｈ０かつθｙ＜θｙ０であり、実画像８ａが調整画像８ｂより下方にありかつ横幅が等しいときはｈ＝ｈ０かつθｙ＞θｙ０であり、実画像８ａが調整画像８ｂより上方にありかつ横幅が長いときはｈ＜ｈ０かつθｙ≧θｙ０または、ｈ＜ｈ０かつθｙ＜θｙ０である。
【００３８】
ユーザーが、上述した図５を参照にして実画像８ａと調整画像８ｂとが一致するように、パラメータ調整部７ｃの可変抵抗Ｒ２を操作してパラメータ選択スイッチ７ｂにより選択されたパラメータの値に対応する電圧Ｖ２を調整すると、ＣＰＵ２ｃは、電圧Ｖ２に応じたパラメータｈ０及びθｙ０をＲＯＭ２ｂから読み出し、読み出した値をＲＡＭ２ａ内に保持する。
【００３９】
上述したように調整した結果、実画像８ａと調整画像８ｂとが一致してＲＡＭ２ａに記憶されているパラメータである路面に対する高さｈ０及び俯角θｙ０が実際の高さｈ及び俯角θｙと等しくなったとき、画素データＤ２の予め定めた値以下の輝度を持つピクセルに、式（１）、（２）及び（３′）〜（５′）を用いて変換して得たピクセルｇｘ＊ｇｙが含まれ、ＣＰＵ２ｃは一致信号Ｓ３をディスプレイ６に対して出力する。ディスプレイ６は、一致信号Ｓ３に基づき、実画像８ａと調整画像８ｂの画像が一致した旨を知らせる表示を行うため例えば、調整画像８ｂの表示色を変える。
【００４０】
このため、ユーザーがカメラ３の路面に対する高さｈ及び俯角θｙを測定することなくパラメータｈ０及びθｙ０を設定することができるので、車両にカメラ３を取り付ける際に、取付位置に関するパラメータを容易かつ正確に設定することができる。また、設定スイッチ７ａがオンしていないときは、上述した従来の動作と同様に、ハンドルの舵角に対応する予想軌跡Ｍをカメラ３によって得られる後方又は側後方の視界の画像に重ねて表示する。上述したように設定スイッチ７ａは、切替手段として働き、設定スイッチ７ａがオンのときは、調整画像８ｂのみを表示させ、オフのときは予想軌跡Ｍなどの重畳画像のみを重ねて表示させる。
【００４１】
上述した車両用周辺監視装置の動作の詳細を図６のＣＰＵ２ｃの処理動作を示すフローチャートを参照にして以下説明する。図示しない入力スイッチをオンすると動作を開始し、ＲＡＭ２ａ内に記憶されているパラメータｈ０及びθｙ０を取り込む（ステップＳＰ１）。次に、設定スイッチ７ａの状態を読みとり、オンであれば（ステップＳＰ２でＹ）、ＲＡＭ２ａ内に記憶されたパラメータｈ０及びθｙ０に初期値ｈ１及びθｙ１を代入して再びＲＡＭ２ａに保持する（ステップＳＰ３）。次に、ＲＯＭ２ｂ内に記憶された棒８のエッジにある全ての点についてのｘｙ座標［ｘ、ｙ］を読み出し、パラメータｈ０及びθｙ０を用いた変換式（１）、（２）及び（３′）〜（５′）により座標［ｘ、ｙ］を変換し、変換した座標に対応するフレームメモリ４から読み出した画素データＤ２のピクセルを予め定めた輝度に変換して調整画像データＤ４としてディスプレイ６に出力することによって、ディスプレイ６には、カメラ３を路面に対する高さｈ０及び俯角θｙ０のところに取付け、棒８を撮像したときに得られる画像をカメラ３により撮像して得た画像上に重ねた画像が表示される（ステップＳＰ５）。
【００４２】
次に、画素データＤ２の各ピクセルについてある一定値以下の輝度であれば棒８上の点であるとして抽出する（ステップＳＰ６）。この抽出したピクセルと変換して得た座標［ｇｘ、ｇｙ］に応じた画素データＤ２上のピクセルｇｘ＊ｇｙとを比較し、変換した全てのピクセルが抽出したピクセルに含まれるとき（ステップＳＰ７でＹ）、実画像８ａと調整画像８ｂとが一致したとして一致信号Ｓ３をディスプレイ６に対して出力すると共に、設定スイッチ７ａの状態をオフにして（ステップＳＰ８）、ステップＳＰ２へ戻る。
【００４３】
また、変換して得たピクセルｇｘ＊ｇｙが抽出したピクセルに含まれなかったとき（ステップＳＰ７でＮ）、パラメータ調整部７ｃから出力される電圧Ｖ２を取り込みＡ／Ｄ変換して、ディジタル値に変換する（ステップＳＰ９）。さらに、パラメータ選択スイッチ７ｂの状態を取り込み（ステップＳＰ１０）、パラメータｈ０を選択した状態であれば（ステップＳＰ１１でＹ）、ステップＳＰ９でＡ／Ｄ変換した電圧Ｖ２のディジタル値に対応したｈ０の値をＲＯＭ２ｂ内から取り込み、取り込んだ値をＲＡＭ２ａ内に保持し（ステップＳＰ１２）、再びステップＳＰ４へ戻る。
【００４４】
また、パラメータ選択スイッチ７ｂの状態がθｙ０を選択した状態であれば（ステップＳＰ１３でＹ）、ステップＳＰ９で求めた電圧Ｖ２のディジタル値に対応したθｙ０の値を代入して、ＲＡＭ２ａ内に保持し（ステップＳＰ１４）、ステップＳＰ４へ戻る。パラメータ選択スイッチ７ｂの状態がθｙ０を選択した状態でなかった場合（ステップＳＰ１３でＮ）、ステップＳＰ１１へ戻るまた、設定スイッチ７ａがオフのときは（ステップＳＰ２でＮ）、図示しない入力スイッチをオフするまで上述した従来例通りディスプレイ６にハンドルの舵角に対応する予想軌跡Ｍをカメラ３によって得られる後方又は側後方の視界の画像に重ねて表示させる（ステップＳＰ１５）。
【００４５】
第２実施例
なお、上述した実施例ではユーザーが手動でパラメータ調整部７ｃの可変抵抗Ｒ２を操作することによりパラメータｈ０及びθ０の値を調整していたが、例えば、設定部７を取り除きＣＰＵ２ｃをパラメータ調整手段として働かせ、ＣＰＵ２ｃにより図５（ａ）に示すようにディスプレイ６上の実画像８ａと調整画像８ｂとの位置関係に従ってパラメータを自動的に加減して調整するようにしてもよい。このとき、マイコン２は、実画像８ａと調整画像８ｂとの位置関係を以下に説明するようにして判断する。先ず、図６のステップＳＰ４で変換された座標［ｇｘ、ｇｙ］に応じた画素データＤ２のピクセルｇｘ＊ｇｙの縦成分であるｇｙの最大値がステップＳＰ６で抽出されたピクセルの縦成分の最大値より大きいとき、調整画像８ｂが実画像８ａより上方にあると判断し、小さいとき、下方にあると判断する。また、ステップＳＰ４で変換された座標［ｇｘ、ｇｙ］に応じた画素データＤ２のピクセルｇｘ＊ｇｙの横成分であるｇｘの最大値と最小値との差の絶対値がステップＳＰ６で抽出されたピクセルのｎ成分の最大値と最小値との差の絶対値より大きいとき、調整画像８ｂが実画像８ａより横幅が長いと判断し、小さいとき、短いと判断する。
【００４６】
上述した車両用周辺監視装置の動作についてＣＰＵ２ｃの処理動作を示す図７のフローチャートを参照にして以下説明する。ステップＳＰ１〜ＳＰ８及びステップＳＰ１５については図６に示す第１実施例のＣＰＵ２ｃの処理動作と同様に行う。図６のステップＳＰ７でＮのとき、ディスプレイ６に表示されている調整画像８ｂと実画像８ａとの横幅が一致していない場合、（ステップＳＰ１６でＮ）、調整画像８ｂの横幅が実画像８ａの横幅より短ければ（ステップＳＰ１７でＹ）、ｈ＜ｈ０と判断し、ＲＡＭ２ａ内に保持されているパラメータｈ０及びθｙ０の値を単位量減少させて（ステップＳＰ１８）、図６のステップＳＰ４へ戻る。調整画像８ｂ横幅が実画像８ａの横幅より長ければ（ステップＳＰ１７でＮ）、ｈ＞ｈ０と判断し、ＲＡＭ２ａ内に保持されているパラメータｈ０の値を単位量増加させて（ステップＳＰ１９）、図６のステップＳＰ４へ戻る。
【００４７】
また、ディスプレイ６に表示されている調整画像８ｂと実画像８ａとの横幅が等しい場合、（ステップＳＰ１６でＹ）、調整画像８ｂが実画像８ａより上方にあれば（ステップＳＰ２０でＹ）、θｙ＜θｙ０と判断し、ＲＡＭ２ａ内に保持されているパラメータｈ０の値を単位量減少させて（ステップＳＰ２１）、図６のステップＳＰ４へ戻る。調整画像８ｂが実画像８ａより下方にあれば（ステップＳＰ２０でＮ）、θｙ＞θｙ０と判断し、ＲＡＭ２ａ内に保持されているパラメータθｙ０の値を単位量増加させて（ステップＳＰ２２）、ステップＳＰ４へ戻る。
【００４８】
第３実施例
また、上述した第１又は第２実施例では図３（ａ）に示すようにカメラ３を車幅Ｗの中心Ｗ／２の位置で、カメラ３の向きを車両の進行方向と同一に向け、路面に対する高さｈ０及び俯角θｙ０の２つをパラメータとしていたが、例えば、カメラ３をｙ軸から距離ｓ０の位置で、カメラ３の向きをｙ軸から角θｘ０の向きに向けるように設置したとき、距離ｓ、角θｘを予めＲＯＭ２ｂ内に記憶させておくか、距離ｓ０、角θｘ０を入力できる入力装置を設けるかして、座標の変換式を以下に示すようにしたものを第１又は第２実施例に適用するようにしてもよい。
【００４９】
【数２２】
【数２３】
【数２４】
【数２５】
【数２６】
【数２７】
【数２８】
【数２９】
上述した第３実施例はカメラ３をｙ軸から距離ｓの位置で、カメラ３の向きをｙ軸から角θｘの向きに向けるように設置したとき、路面に対する高さｈ０及び俯角θｙ０の２つをパラメータとしていたが、例えば、カメラ３を路面に対する高さｈ及び俯角θｙの位置に設置したとき、カメラ３のｙ軸に対する距離ｓ０及び角θｘ０の２つをパラメータとしてもよい。この場合、実画像８ａと調整画像８ｂとの位置関係から図５（ｂ）に示すようなことがわかる。
【００５７】
つまり、実際のカメラ３のｙ軸に対する距離をｓ、角をθｘ、ＲＡＭ２ａに記憶されているパラメータをｓ０及びθｘ０とすると、調整画像８ｂが実画像８ａより右側にありかつ調整画像８ｂのラインの傾きが所定値以上のとき、ｓ≦ｓ０かつθｘ＜θｘ０、ｓ＜ｓ０かつθｘ＞θｘ０または、ｓ＞ｓ０かつθｘ＜θｘ０である。また、調整画像８ｂが実画像８ａより右側にあり調整画像８ｂのラインの傾きがないとき、ｓ＜ｓ０かつθｘ＝θｘ０であり、調整画像８ｂが実画像８ａより左側にありかつ調整画像８ｂのラインの傾きが所定値以下のとき、ｓ≦ｓ０かつθｘ＞θｘ０またはｓ＞ｓＯかつθｘ＞θｘ０であり、調整画像８ｂが実画像８ａより左側にありかつ調整画像８ｂのラインの傾きが所定値以上のとき、ｓ＞ｓ０かつθｘ＜θｘ０であり、調整画像８ｂが実画像８ａより右側にあり調整画像８ｂのラインの傾きがないとき、ｓ＞ｓＯかつθｘ＝θｘ０である。上述した図５（ｂ）に示したことを参照にして、パラメータｓ０及びθｘ０の値を手動又は自動に調整することができる。
【００５８】
第５実施例
上述した第３実施例及び第４実施例では、カメラ３の路面に対する高さｈ及びθｙ又は、カメラ３のｙ軸に対する距離ｓ及び角θｘのどちらかをパラメータとしていたが、ｈ、θｙ、ｓ及びθｘの４つをパラメータとするようにしてもよい。この場合、図５（ａ）、（ｂ）に示されたことを参照して、パラメータｈ０、θｙ０、ｓ０及びθｘ０の値を手動又は自動に調整することができる。このように、調整するパラメータの数を増やすとその調整は困難になる。このため、ＣＰＵ２ｃは、フレームメモリ４に蓄えられている画素データＤ２から抽出したピクセルと棒８のエッジの点の座標をＲＡＭ２ａに記憶されているパラメータを用いて変換した座標に応じたピクセルとを比較し、変換して得た全てのピクセルが抽出したピクセルに最も多く含まれているとき、ほぼ実画像８ａと調整画像８ｂとが一致したとして一致信号Ｓ３をディスプレイ６に対して出力する。
【００５９】
【発明の効果】
以上説明したように、請求項１記載の発明によれば、表示手段により表示される撮像手段が撮像した第２の物体の実画像と、画像形成手段が形成した第２の物体の調整画像とが一致するようにパラメータ調整手段でパラメータを調整することにより、ユーザーが実際の撮像手段の取付位置に関するパラメータを測定することなくパラメータ記憶手段に記憶されているパラメータと実際の撮像手段の取付位置に関するパラメータとを等しくすることができるので、車両に撮像手段を取り付ける際に、取付位置に関するパラメータを容易かつ正確に設定することができる車両用周辺監視装置を得ることができる。
【００６０】
請求項２記載の発明によればパラメータごとに操作手段を設ける必要がないので、コストダウンを図った車両用周辺監視装置を得ることができる。
【００６１】
請求項３記載の発明によれば、切替手段によって第１の画像形成手段が形成する重畳画像と第２の画像修正手段が形成する調整画像とを切り替えることにより、重畳画像と調整画像とが同時に表示手段により表示されることがないので、第１の画像形成手段が形成する重畳画像と第２の画像形成手段が形成する調整画像とを見間違えることが車両用周辺監視装置を得ることができる。
【００６２】
請求項４記載の発明によれば、撮像手段が撮像した物体の画像と画像形成手段が形成した物体の画像とが一致した旨を表示手段により知らせることによって、ユーザーの視覚に頼って一致を確認する必要がないので、パラメータを調整する際の誤差を少なくすることができ、正確にパラメータを調整することができる車両用周辺監視装置を得ることができる。
【００６３】
請求項５記載の発明によれば、ｘｙ平面上での第２の物体のエッジの座標データ［ｘ、ｙ］をｓ０、θｘ０、ｈ０及びθｙ０を用いた変換式によって表示手段上の座標データ［ｇｘ、ｇｙ］に変換することによって画像を形成することにより、第２の物体のエッジの座標データ［ｘ、ｙ］を格納するメモリのみ必要とし、複数のパラメータの値の組み合わせに応じた第２の物体の調整画像を予め記憶するメモリを必要がなく、メモリを最小限にすることができるので、コストダウンを図ることができる。さらに、第２の形成画像手段により形成される調整画像の収差による誤差をなくすことができるので、パラメータを調整する際の誤差を少なくすることができ、正確にパラメータを調整することができる車両用周辺監視装置を得ることができる。
【００６４】
請求項６記載の発明によれば、表示手段により表示される撮像手段が撮像した第２の物体の実画像と、画像形成手段が形成した第２の物体の調整画像とが一致するようにパラメータ調整手段でパラメータを調整することにより、ユーザーが実際の撮像手段の取付位置に関するパラメータを測定することなくパラメータ記憶手段に記憶されているパラメータと実際の撮像手段の取付位置に関するパラメータとを等しくすることができるので、車両用周辺監視装置の撮像手段を車両に取り付ける際に、取付位置に関するパラメータを容易かつ正確に設定するための車両用周辺監視装置のパラメータ調整方法を得ることができる。
【図面の簡単な説明】
【図１】本発明による車両用周辺監視装置の基本構成図を示す図である。
【図２】本発明による車両用周辺監視装置の一実施の形態を示すブロック図である。
【図３】図２の車両用周辺監視装置を構成するカメラ３の取付位置を示す図である。
【図４】図２の車両用周辺監視装置を構成するディスプレイ６の表示例を示す図である。
【図５】ディスプレイ６に表示される実画像８ａ及び調整画像８の位置とパラメータとの関係を説明する説明図である。
【図６】図２の車両用周辺監視装置を構成するＣＰＵ２ｃの第１実施例での処理動作を示すフローチャート図である。
【図７】図２の車両用周辺監視装置を構成するＣＰＵ２ｃの第２実施例での処理動作を示すフローチャート図である。
【図８】従来の車両用周辺監視装置の一例を示すブロック図である。
【図９】図８の車両用周辺監視装置の動作を説明するための図である。
【符号の説明】
３ 撮像手段
６ 表示手段
２ａ パラメータ記憶手段
２ｃ−１ 第１の画像形成手段
２ｃ−２ 第２の画像形成手段
７ パラメータ調整手段
７ｃ 操作手段
７ｂ パラメータ選択手段
７ａ 切替手段
２ｃ−３ 一致検出手段
２ｂ−１ 座標データ記憶手段
２ｂ−２ 撮像表示データ記憶手段
Claims (6)
- 車両に搭載された撮像手段により撮像された車両周辺の実画像を表示手段が表示し、第１の画像形成手段がパラメータ記憶手段に記憶されている前記撮像手段の取付位置に関する複数のパラメータに応じた取付位置の前記撮像手段により所定の位置の第１の物体を撮像したときの重畳画像を形成し、当該形成した重畳画像を前記実画像上に重ねて表示させる車両用周辺監視装置において、
前記パラメータ記憶手段に記憶されている複数のパラメータに応じた取付位置に配置された前記撮像手段が所定の位置の第２の物体を撮像したときの調整画像を形成し、当該形成した調整画像を前記表示手段により表示された前記実画像上に重ねて表示させる第２の画像形成手段と、
所定の位置に前記第２の物体を配置したとき、前記表示手段により表示される前記撮像手段により撮像された前記第２の物体の実画像と前記第２の画像形成手段により形成された前記第２の物体の調整画像とが一致するように前記パラメータ記憶手段に記憶された前記複数のパラメータを調整するパラメータ調整手段とを備えた
ことを特徴とする車両用周辺監視装置。 - 前記パラメータ調整手段は単一の操作手段と、調整したいパラメータを選択するパラメータ選択手段とを有し、前記パラメータ選択手段により選択されたパラメータの値を前記操作手段により調整する
ことを特徴とする請求項１記載の車両用周辺監視装置。 - パラメータを調整するとき、前記表示手段による前記第１の画像形成手段が形成した前記第１の物体の前記重畳画像の表示を行なわず、
前記重畳画像を表示するとき、前記第２の画像形成手段が形成した前記第２の物体の調整画像の表示を行わないように、前記第１の画像形成手段が形成する前記重畳画像と前記第２の画像形成手段が形成する前記第２の物体の調整画像とを切り替える切替手段をさらに有する
ことを特徴とする請求項１又は２記載の車両用周辺監視装置。 - 前記撮像手段が撮像した前記第２の物体の実画像と、前記第２の画像形成手段が形成した前記第２の物体の調整画像とが一致したことを検出する一致検出手段をさらに有し、
前記表示手段は前記一致手段２ｃ−３が前記実画像と前記調整画像との一致を検出したとき、その旨を知らせる表示を行う
ことを特徴とする請求項１〜３記載の車両用周辺監視装置。 - 前記複数のパラメータは、車両の中心を通り車両の進行方向をｙ軸としたとき、前記撮像手段のｙ軸に対する距離ｓ及び角θｘと、路面に対する高さｈ及びθｙであり、
前記撮像手段は、レンズと該レンズにより規定された水平方向画角Ｗｘ及び垂直方向画角Ｗｙ内の画像が結像されるＣＰｘ＊ＣＰｙ画素からなるイメージプレーンとを有し、
前記表示手段は、ＣＧｘ＊ＣＧｙ画素からなり、
前記第２の画像形成手段は、車両の進行方向をｙ軸、前記撮像手段を通り前記ｙ軸と垂直な方向をｘ軸とした路面上のｘｙ平面上の前記第２の物体のエッジの座標データ［ｘ、ｙ］を記憶する座標データ記憶手段と、前記撮像手段の収差ｋ、焦点距離ｆ、前記水平方向画角Ｗｘ、前記垂直方向画角Ｗｙ、前記ＣＰｘ＊ＣＰｙ画素及び前記ＣＧｘ＊ＣＧｙ画素を記憶する撮像表示データ記憶手段を有し、前記座標データ［ｘ、ｙ］を前記パラメータ記憶手段に記憶されているｓ、θｘ、ｈ及びθｙと撮像表示データ記憶手段に記憶されているｋ、ｆ、Ｗｘ、Ｗｙ、ＣＰｘ、ＣＰｙ、ＣＧｘ及びＣＧｙを用いた以下に示す変換式（１）〜（８）
- 車両に搭載された撮像手段により撮像された車両周辺の実画像を表示手段が表示し、第１の画像形成手段がパラメータ記憶手段に記憶されている前記撮像手段の取付位置に関する複数のパラメータに応じた取付位置の前記撮像手段により所定の位置の第１の物体を撮像したときの重畳画像を形成し、当該形成した重畳画像を前記実画像上に重ねて表示させる車両用周辺監視装置の前記撮像手段の取付位置に関するパラメータを調整する車両用周辺監視装置のパラメータ調整方法であって、
第２の物体を所定の位置に配置したとき、前記撮像手段により撮像される前記第２の物体の実画像を表示手段が表示し、
第２の画像形成手段が、パラメータ記憶手段に記憶されている複数のパラメータに応じた取付位置に配置された前記撮像手段により所定の位置の前記第２の物体を撮像したときの調整画像を形成し、当該成形した調整画像を前記表示手段により表示された前記第２の物体の実画像上に重ねて表示し、
パラメータ調整手段により表示手段に表示されている撮像手段が撮像した前記第２の物体の実画像と前記第２の画像形成手段が形成した前記第２の物体の前記調整画像とが一致するように前記パラメータ記憶手段に記憶された前記複数のパラメータを調整する
ことを特徴とする車両用周辺監視装置のパラメータ調整方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP00953699A JP3649428B2 (ja) | 1999-01-18 | 1999-01-18 | 車両用周辺監視装置及び車両用周辺監視装置のパラメータ調整方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP00953699A JP3649428B2 (ja) | 1999-01-18 | 1999-01-18 | 車両用周辺監視装置及び車両用周辺監視装置のパラメータ調整方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000209577A JP2000209577A (ja) | 2000-07-28 |
| JP3649428B2 true JP3649428B2 (ja) | 2005-05-18 |
Family
ID=11723001
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP00953699A Expired - Fee Related JP3649428B2 (ja) | 1999-01-18 | 1999-01-18 | 車両用周辺監視装置及び車両用周辺監視装置のパラメータ調整方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3649428B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4521551B2 (ja) * | 2005-04-26 | 2010-08-11 | トヨタ車体株式会社 | 車載光学装置の方向調整方法 |
| JP2012095283A (ja) * | 2011-09-13 | 2012-05-17 | Pioneer Electronic Corp | 端末装置、端末装置によって実行される画像表示方法及び画像表示プログラム |
| JP6012982B2 (ja) | 2012-02-24 | 2016-10-25 | 京セラ株式会社 | 較正処理装置、カメラ較正装置、カメラシステム、およびカメラ較正方法 |
| JP5883688B2 (ja) * | 2012-03-13 | 2016-03-15 | 日本電産エレシス株式会社 | 設置状態検出システム、設置状態検出装置、及び設置状態検出方法 |
| JP6025365B2 (ja) | 2012-04-04 | 2016-11-16 | 京セラ株式会社 | 較正処理装置、カメラ較正装置、カメラシステム、およびカメラ較正方法 |
| JP6234335B2 (ja) * | 2014-06-26 | 2017-11-22 | 京セラ株式会社 | 撮像装置及び撮像装置を設置した移動体 |
| JP7037413B2 (ja) | 2018-03-28 | 2022-03-16 | 京セラ株式会社 | 撮像装置、移動体、および撮像方法 |
-
1999
- 1999-01-18 JP JP00953699A patent/JP3649428B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000209577A (ja) | 2000-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112965503B (zh) | 多路摄像头融合拼接方法、装置、设备及存储介质 | |
| EP2237223B1 (en) | Calibrating apparatus for on-board camera of vehicle | |
| US9238434B2 (en) | Rear view mirror simulation | |
| US20200017143A1 (en) | Vehicular trailer assist system | |
| JP4861034B2 (ja) | 車載カメラのキャリブレーションシステム | |
| EP2237224B1 (en) | Calibrating apparatus for on-board camera of vehicle | |
| EP3368373B1 (en) | Filling in surround view areas blocked by mirrors or other vehicle parts | |
| JP4794510B2 (ja) | カメラシステムおよびカメラの取り付け誤差の補正方法 | |
| US20100085170A1 (en) | Camera unit with driving corridor display functionality for a vehicle, method for displaying anticipated trajectory of a vehicle, and system for generating driving corridor markers | |
| CN107054222A (zh) | 一种用于机动车辆的后视系统 | |
| US20120007985A1 (en) | Calibration device, method, and program for on-board camera | |
| JP2010246088A (ja) | 車載カメラ装置の画像調整装置及び方法、並びに車載カメラ装置 | |
| JP5240527B2 (ja) | 車載カメラの校正装置、方法、及びプログラム | |
| KR102057021B1 (ko) | 패널 변환 | |
| CN104247394A (zh) | 校正操作装置、摄像机装置、摄像机系统和摄像机校正方法 | |
| JP7158521B2 (ja) | 車両用のビューイングシステム、およびビューイングシステムによって表示される画像領域間で切り換える方法 | |
| JP2010276429A (ja) | 校正目標検出装置と、校正目標を検出する校正目標検出方法と、校正目標検出装置のためのプログラム | |
| CN101861255A (zh) | 图像处理装置和方法、驾驶支持系统、车辆 | |
| JP3649428B2 (ja) | 車両用周辺監視装置及び車両用周辺監視装置のパラメータ調整方法 | |
| KR102124298B1 (ko) | 후방 교차 교통-퀵 룩스 | |
| US20040212484A1 (en) | Control device and method for automatically adjusting view angle of rearview angle of outside camera in response to output of navigation system | |
| CN110378836A (zh) | 获取对象的3d信息的方法、系统和设备 | |
| JP3982357B2 (ja) | 画像変換システム及び画像処理装置 | |
| JP2009100261A (ja) | 車両周囲画像提供装置及び広角画像の補正方法 | |
| JP2009083744A (ja) | 合成画像調整装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040610 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040615 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050208 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20050214 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20050214 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050214 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090225 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090225 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100225 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100225 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110225 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110225 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120225 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130225 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140225 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |