以下、本発明の実施形態について図面を用いて説明する。図1は、本発明が適用された車両周辺監視装置100の概略的な構成を示すブロック図である。図1に示す車両周辺監視装置1は、車両に搭載されるものであり、カメラ1、A/D変換部2、画像処理部3、表示器4、操作スイッチ群5、I/O処理部6、記憶部7、および制御部8を備えている。なお、車両周辺監視装置100を搭載している車両を以降では自車両と呼ぶ。
カメラ1は、自車両の車体に取り付けられる車載カメラであって、例えば広角レンズによって撮像範囲が広角(例えば180度など)に設定された公知のCCDカメラ等によって構成されている。なお、本実施形態では、一例として、カメラ1は自車両の車体後部に取り付けられ、自車両後方に所定角範囲で広がる領域を撮像するものとして説明を続ける。また、カメラ1が撮像した自車両後方周辺の画像のアナログ映像信号が、A/D変換部2に供給される。なお、以下、カメラ1によって撮像された自車両後方周辺の画像を車両後方画像という。
A/D変換部2は、カメラ1から供給されるアナログ映像信号をデジタル信号のデータに変換してデジタル映像を得る。なお、以降では、このデジタル映像を撮像画像と呼ぶものとする。また、A/D変換部2は、得られた撮像画像を画像処理部3に供給する。
なお、本実施形態では、カメラ1が撮像した自車両後方周辺の画像のアナログ映像信号をA/D変換部2でデジタル信号のデータに変換する構成を示したが、必ずしもこれに限らない。例えば、カメラ1として、DSP(digital signalprocessor)などの処理装置内蔵のカメラを用いることによって、カメラ1においてデジタル信号のデータを得て、画像処理部3に供給する構成としてもよい。
画像処理部3は、撮像画像に画像処理が必要な場合に、種々の画像処理を行って制御部8に供給する。画像処理部3で行う画像処理としては、例えば鏡像に変換する鏡像変換や広角レンズの特性で画像周辺部に生じる歪みを補正する高視野角歪み補正や鳥瞰画像に変換する鳥瞰変換等の画像処理がある。また、画像処理部3で行う画像処理としては、ピッチ方向、ヨー方向、およびロール方向の表示画像のずれの修正に関連する画像処理があるが、この画像処理については後に詳述する。
表示器4は、制御部8から出力される画像データに従った画像を逐次表示するものであり、自車両の車室内に設けられている。例えば表示器4は、フルカラー表示が可能なものであり、液晶ディスプレイ、有機ELディスプレイ、プラズマディスプレイ等を用いて構成することができる。なお、表示器4としては、例えば、車載ナビゲーション装置に設けられたディスプレイを利用する構成としてもよいが、車載ナビゲーション装置のディスプレイとは別に、インストゥルメントパネル等に設けたディスプレイを用いる構成としてもよい。
操作スイッチ群5は、例えば表示器4と一体になったタッチスイッチもしくはメカニカルなスイッチ等が用いられ、スイッチ操作により制御部8へ各種機能の操作指示を行う。詳しくは、操作スイッチ群5から出力される上記操作指示の信号が、I/O処理部6を介して制御部8に入力されることにより、制御部8へ各種機能の操作指示が行われることになる。また、本実施形態では、操作スイッチ群5は、例えばユーザが自車両後方周辺の画像を表示器4に表示することを指示するために操作する表示切替スイッチを含んでいるものとする。なお、操作スイッチ群5が請求項の修正指定受け付け手段に相当する。
I/O処理部6は、制御部8への信号の入力を仲介する。例えば、I/O処理部6は、前述したように、操作スイッチ群5から入力されてくる操作指示の信号を仲介して制御部8に入力する。また、I/O処理部6は、図示しないシフトポジションセンサから例えば車内LANを介して入力されてくるシフト位置が後退位置「R」にあることを示すリバース信号を仲介して制御部8に入力したり、図示しない前照灯スイッチから例えば車内LANを介して入力されてくるイルミネーション信号(ILL信号)を仲介して制御部8に入力したりする。
記憶部7は、例えばRAM等を有し、制御部8が画像処理部3から受け取った画像データ等を保存する。制御部8は、CPU、ROM、RAM、バックアップRAM等よりなるマイクロコンピュータを主体として構成され、画像処理部3、I/O処理部6、記憶部7から入力された各種情報に基づき、ROMに記憶された各種の制御プログラムを実行することで、表示器4での画像表示に関する処理や表示画像の画面上での位置(以下、表示位置)の修正方向および修正量の設定に関する処理などの各種の処理を実行する。なお、制御部8が請求項の表示制御手段および補正値設定手段に相当する。
ここで、図2を用いて、車両周辺監視装置100の動作フローについての説明を行う。なお、図2は、車両周辺監視装置100の動作フローを示すフローチャートである。本フローは、例えば自車両のアクセサリ電源がオンされ、車両周辺監視装置100の電源がオンになったときに開始される。なお、図2のフローは、表示切替スイッチがオフされたときやアクセサリ電源がオフになったときなどに終了する構成とすればよい。
まず、ステップS1では、シフト位置が後退位置「R」であるか否かを制御部8が判定する。シフト位置が後退位置「R」であるか否かの判定については、I/O処理部6から制御部8にリバース信号が入力されている場合に肯定判定し、I/O処理部6から制御部8にリバース信号が入力されていない場合には否定判定する構成とすればよい。そして、シフト位置が「R」と判定した場合(ステップS1でYES)には、ステップS3に移る。また、シフト位置が「R」と判定しなかった場合(ステップS1でNO)には、ステップS2に移る。
ステップS2では、前述の表示切替スイッチがオンになったか否かを制御部8が判定する。表示切替スイッチがオンになったか否かについては、I/O処理部6から制御部8に表示切替スイッチがオンになったことを示す信号が入力された場合に肯定判定し、その信号が入力されていない場合には否定判定する構成とすればよい。そして、表示切替スイッチがオンになったと判定した場合(ステップS2でYES)には、ステップS3に移る。また、表示切替スイッチがオンになったと判定しなかった場合(ステップS2でNO)には、ステップS1に戻ってフローを繰り返す。
ステップS3では、表示位置の修正方向および修正量を規定する画像補正値が設定済みか否かを制御部8が判定する。画像補正値が設定済みか否かについては、例えば記憶部7に画像補正値が記憶されているか否かに応じて判定する構成とすればよい。そして、画像補正値が設定済みと判定した場合(ステップS3でYES)には、ステップS4に移る。また、画像補正値が設定済みと判定しなかった場合(ステップS3でNO)には、ステップS5に移る。
なお、本実施形態では、画像補正値が記憶部7に記憶される構成を示したが、必ずしもこれに限らない。例えば画像補正値が制御部8のEEPROM等の書き込み可能な不揮発性メモリに記憶される構成としてもよい。この場合には、制御部8の不揮発性メモリに画像補正値が記憶されているか否かに応じて、画像補正値が設定済みか否かを制御部8が判定する構成とすればよい。
ステップS4では、設定済みの画像補正値を制御部8が記憶部7から読み出して画像処理部3に出力し、画像処理部3が撮像画像に対してその画像補正値に従った変換を含む画像処理を行う。そして、画像処理後の画像データを制御部8に出力して、ステップS6に移る。なお、ステップS4では、画像処理として、画像補正値に従った変換以外にも、例えば鏡像変換や高視野角歪み補正等を行う。
また、ステップS5では、画像処理部3が撮像画像に対して、画像補正値に従った変換以外の例えば鏡像変換や高視野角歪み補正等の画像処理を行い、画像処理後の画像データを制御部8に出力して、ステップS6に移る。
ステップS6では、前照灯が点灯されているか否かを制御部8が判定する。前照灯が点灯されているか否かの判定については、I/O処理部6から制御部8にILL信号が入力されている場合に肯定判定し、I/O処理部6から制御部8にILL信号が入力されていない場合には否定判定する構成とすればよい。そして、前照灯が点灯されていると判定した場合(ステップS6でYES)には、ステップS7に移る。また、前照灯が点灯されていると判定しなかった場合(ステップS6でNO)には、画像処理部3での画像処理後の画像データを制御部8に出力し、制御部8がその画像データを表示器4に出力してステップS8に移る。よって、制御部8が請求項の信号受け付け手段に相当する。
ステップS7では、制御部8が表示器4の画面の明るさを下げる補正をすることで表示器4に表示する画像の明るさを下げる補正をし、ステップS8に移る。よって、制御部8が請求項の明るさ補正手段に相当する。なお、明るさの下げ幅は、夜間や雨天等の車内が暗い状況において、表示器4での表示が眩しくなりすぎない程度の明るさとなるように予め設定される任意の値であるものとする。また、画像の明るさを抑える補正として、表示器4の画面の輝度(つまり、表示輝度)の設定値を下げる補正をする構成としてもよいし、表示器4の画面の明度の設定値を下げる補正を行う構成としてもよい。
これによれば、自車両の前照灯を点灯させるような夜間や雨天等の車外および車内が暗い状況において、表示器4の表示が眩しくなりすぎないように表示器4に表示する画像の明るさを抑え、利便性を向上させることができる。
ステップS8では、制御部8から出力された画像データに従った画像を表示器4が表示し、ステップS9に移る。ステップS9では、表示位置の修正の設定(以下、画像ずれ修正設定)を開始するか否かを制御部8が判断する。画像ずれ修正設定を開始するか否かの判断については、操作スイッチ群5で画像ずれ修正設定の開始を指示する入力を受け付けたことを示す信号が、I/O処理部6から制御部8に入力された場合に肯定判断し、入力されていない場合には否定判断する構成とすればよい。そして、画像ずれ修正設定を開始すると判断した場合(ステップS9でYES)には、ステップS10に移る。また、画像ずれ修正設定を開始すると判断しなかった場合(ステップS9でNO)には、ステップS1に戻ってフローを繰り返す。
ステップS10では、画像ずれ修正設定処理を行ってステップS1に戻ってフローを繰り返す。ここで、図3を用いて画像ずれ修正設定処理についての詳細な説明を行う。なお、図3は、画像ずれ修正設定処理のフローの一例を示すフローチャートである。
まず、ステップS101では、制御部8が画像ずれ修正設定画面を表示器4に表示させ、ステップS102に移る。画像ずれ修正設定画面は、図4に示すように、ヨー方向のずれ修正設定に移行するためのタッチスイッチの表示(図4中のA参照)、ピッチ方向のずれ修正設定に移行するためのタッチスイッチの表示(図4中のB参照)、ロール方向のずれ修正設定に移行するためのタッチスイッチの表示(図4中のC参照)、画像ずれ修正設定処理を終了するためのタッチスイッチの表示(図4中のD参照)を含んでいる。また、画像ずれ修正設定画面では、例えばこれらのタッチスイッチの表示が図4に示すように自車両後方周辺の画像に重畳される構成としてもよい。
なお、以降では、ヨー方向のずれ修正設定に移行するためのタッチスイッチを左右修正移行スイッチ、ピッチ方向のずれ修正を行うためのタッチスイッチを上下修正移行スイッチ、ロール方向のずれ修正を行うためのタッチスイッチを回転修正スイッチ、画像ずれ修正設定処理を終了するためのタッチスイッチをEXITスイッチと呼ぶ。また、これらのタッチスイッチは、静電容量方式のものであってもよいし、感圧式のものであってもよい。
ステップS102では、左右修正移行スイッチがオンされたか否かを制御部8が判定する。左右修正移行スイッチが操作されたか否かについては、I/O処理部6から制御部8に左右修正移行スイッチがオンされたことを示す信号が入力された場合に肯定判定し、その信号が入力されていない場合には否定判定する構成とすればよい。
そして、左右修正移行スイッチがオンされたと判定した場合(ステップS102でYES)には、ステップS103に移る。また、左右修正移行スイッチがオンされたと判定しなかった場合(ステップS102でNO)には、ステップS104に移る。
ステップS103では、左右修正設定処理を行い、ステップS102に戻ってフローを繰り返す。ここで、図5を用いて左右修正設定処理についての詳細な説明を行う。なお、図5は、左右修正設定処理のフローの一例を示すフローチャートである。
まず、ステップS301では、制御部8が左右修正設定画面を表示器4に表示させ、ステップS302に移る。左右修正設定画面は、図7(b)〜図7(d)に示すように、画像の左右方向(つまり、ヨー方向)の表示位置を修正するためのタッチスイッチの表示(図中のE参照)を含んでいる。なお、以降では、左右方向の表示位置を修正するためのタッチスイッチを左右修正スイッチと呼ぶ。また、左右修正設定画面では、この左右修正スイッチの表示が図7(b)〜図7(d)に示すように自車両後方周辺の画像に重畳されるものとする。
この左右修正スイッチは、左方向に表示位置を修正するためのスイッチ(以下、左修正スイッチ)と右方向に表示位置を修正するためのスイッチ(以下、右修正スイッチ)とを含んでいる。また、それらのスイッチに対応するスイッチ表示は、例えば図7(b)〜図7(d)に示すような左向きの矢印および右向きの矢印とする。
ステップS302では、制御部8が、自車両後方周辺の画像の中央の位置に十字のマーク(以下、センター十字キャラクター)を重畳して表示器4に表示させ、ステップS303に移る。センター十字キャラクターは、例えば左右修正設定処理の開始前の自車両後方周辺の画像の中心に最初は表示されるものとし、図5のフローが終了するまでは、画像の表示位置の修正によってこの自車両後方周辺の画像の中心が画面中央から移動するのに伴って移動するものとする。
ステップS303では、表示画像の左右方向の表示位置を修正する操作(以下、左右ずれ修正操作)が行われたか否かを制御部8が判定する。左右ずれ修正操作が行われたか否かについては、I/O処理部6から制御部8に、左修正スイッチもしくは右修正スイッチがオンされたこと示す信号が入力されるとともに、その信号の入力が例えば3秒間の間において継続され続けなかった場合に肯定判定し、その信号が入力されていない場合や上記信号の入力が例えば3秒間の間において継続され続けた場合には否定判定する構成とすればよい。そして、左右ずれ修正操作が行われたと判定した場合(ステップS303でYES)には、ステップS305に移る。また、左右ずれ修正操作が行われたと判定しなかった場合(ステップS303でNO)には、ステップS304に移る。
ステップS304では、左右修正設定処理を終了する操作が行われた(つまり、左右修正終了)か否かを制御部8が判定する。左右修正設定処理を終了する操作が行われたか否かについては、I/O処理部6から制御部8に、左右修正スイッチがオンされたこと示す信号の入力が例えば3秒間の間において継続され続けた場合に肯定判定し、その信号が入力されていない場合には否定判定する構成とすればよい。そして、左右修正設定処理を終了する操作が行われたと判定した場合(ステップS304でYES)には、ステップS102に戻ってフローを繰り返す。また、左右修正設定処理を終了する操作が行われたと判定しなかった場合(ステップS304でNO)には、ステップ303に戻ってフローを繰り返す。
ステップS305では、左右画像補正値設定処理を行って、ステップS306に移る。左右画像補正値設定処理では、左右ずれ修正操作として左修正スイッチが操作された場合には、その操作量に応じたピクセル数だけ画像の左側を切り取るパラメータを画像補正値として制御部8が設定する。例えば、操作量に応じたピクセル数だけ画像の左側を切り取るパラメータとは、撮像画像の四隅のピクセル座標のうちの左上と左下の隅のピクセル座標の左右方向の座標値を操作量に応じたピクセル数だけ加算したピクセル座標を、画像の新たな左上と左下の隅のピクセル座標とするものである。なお、右上と右下の隅のピクセル座標については変更がないものとする。ここで、ピクセル座標は画像の左右方向(以下、x軸方向)と上下方向(以下、y軸方向)との2軸で表され、左上の隅のピクセル座標を(0,0)とするものとし、以降の説明でも同様とする。
また、右修正スイッチが操作された場合には、その操作量に応じたピクセル数だけ画像の右側を切り取るパラメータを画像補正値として制御部8が設定する。例えば、操作量に応じたピクセル数だけ画像の右側を切り取るパラメータとは、撮像画像の四隅のピクセル座標のうちの右上と右下の隅のピクセル座標の左右方向の座標値を操作量に応じたピクセル数だけ減算したピクセル座標を、新たな右上と右下の隅のピクセル座標とするものである。なお、左上と左下の隅のピクセル座標については変更がないものとする。
ここで言うところの操作量とは、例えば所定の時間(任意に設定可能とする)以下の間隔で連続して行われた左右修正スイッチの操作(例えば押す、触るなど)の回数であるものとする。
また、左右画像補正値設定処理では、切り取られるピクセル数だけ画像をリサイズするパラメータも画像補正値として制御部8が設定する。なお、リサイズについては周知の方法と同様にして行う構成とすればよい。例えば、切り取られるピクセル数だけ画像をリサイズするパラメータとは、切り取り後の画像の左上、右上、左下、右下の四隅のピクセル座標を表示器4の表示領域の左上、右上、左下、右下の四隅にそれぞれ対応させるようにアフィン変換する変換行列である。また、リサイズを行う場合には、周知の3次補間法などを用いてピクセルを補間する構成とすればよい。
ステップS306では、ステップS305で設定した画像補正値を制御部8が記憶部7に記憶し、ステップS307に移る。ステップS307では、設定済みの画像補正値を制御部8が記憶部7から読み出して画像処理部3に出力し、画像処理部3が撮像画像に対してその画像補正値に従った変換を含む画像処理を行い、ステップS308に移る。
ステップS308では、ステップS6と同様の処理を行い、前照灯が点灯されていると判定した場合(ステップS308でYES)には、ステップS309に移る。また、前照灯が点灯されていると判定しなかった場合(ステップS308でNO)には、画像処理部3での画像処理後の画像データを制御部8に出力し、制御部8がその画像データを表示器4に出力してステップS310に移る。
ステップS309では、ステップS7と同様の処理を行い、ステップS310に移る。そして、ステップS310では、制御部8から出力される画像データに従った画像を表示器4が表示し、ステップS301に戻ってフローを繰り返す。
ここで、図6および図7(a)〜図8(c)を用いて、左右修正設定処理の一例を説明する。なお、図6は、カメラ1が規定の取り付け位置および取り付け角度に正確に取り付けられた場合の自車両後方周辺の画像の一例を示す模式図である。また、図7(a)〜図8(c)は、左右修正設定処理の一例を説明するための模式図である。ここでは、図7(a)に示すように画像が図6に示す画像よりも左方向に偏っており、右方向への表示位置の修正が必要な場合を例に挙げて説明を行う。
まず、図7(b)に示すように、左右修正設定画面が表示される。ここで、右向きの矢印で示す右修正スイッチを操作すると、その操作量に応じたピクセル数だけ画像の右側を切り取るパラメータおよび切り取られるピクセル数だけ画像をリサイズするパラメータを画像補正値として制御部8が設定する。なお、図7(c)中の破線で示す領域が切り取った残りの画像の範囲を示している。
続いて、撮像画像に対して、設定した画像補正値に従った変換が行われ、上記操作量に応じたピクセル数だけ画像の右側が切り取られるとともに、切り取られたピクセル数だけリサイズされた画像が表示器4に表示される(図7(d)参照)。このとき、センター十字キャラクター(図中のF参照)は、変換前の画像の中心に固定されているので、画像が右方向に引き伸ばされるのに伴って、変換前の画像の中心とともに右方向に移動する。これによれば、表示位置を左右方向にどの程度修正したかがユーザに判り易くなり、利便性が向上する。
ここで、画像の右方向への表示位置の修正がまだ必要な場合には、左右修正設定画面(図8(a)参照)でさらに右修正スイッチを操作することで、その操作量に応じたピクセル数だけさらに画像の右側を切り取るパラメータおよび切り取られるピクセル数だけ画像をリサイズするパラメータを新たな画像補正値として制御部8が設定する。なお、図8(b)の破線で示す領域が切り取った残りの画像の範囲を示している。
そして、撮像画像に対して、設定した画像補正値に従った変換が行われ、積算された操作量に応じたピクセル数だけ画像の右側が切り取られるとともに、切り取られたピクセル数だけリサイズされた画像が表示器4に表示される(図8(c)参照)。ここで、画像の左右方向への表示位置の修正が必要でなくなった場合には、左右修正スイッチを3秒間以上オンし続ける操作を行うことで左右修正設定処理を終了し、次の処理に移行することになる。
図3に戻って、ステップS104では、上下修正移行スイッチがオンされたか否かを制御部8が判定する。上下修正移行スイッチが操作されたか否かについては、I/O処理部6から制御部8に上下修正移行スイッチがオンされたことを示す信号が入力された場合に肯定判定し、その信号が入力されていない場合には否定判定する構成とすればよい。
そして、上下修正移行スイッチがオンされたと判定した場合(ステップS104でYES)には、ステップS105に移る。また、上下修正移行スイッチがオンされたと判定しなかった場合(ステップS104でNO)には、ステップS106に移る。
ステップS105では、上下修正設定処理を行い、ステップS104に戻ってフローを繰り返す。ここで、図9を用いて上下修正設定処理についての詳細な説明を行う。なお、図9は、上下修正設定処理のフローの一例を示すフローチャートである。
まず、ステップS501では、制御部8が上下修正設定画面を表示器4に表示させ、ステップS502に移る。上下修正設定画面は、図10(b)〜図10(d)に示すように、画像の上下方向(つまり、ピッチ方向)の表示位置を修正するためのタッチスイッチの表示(図中のG参照)を含んでいる。なお、以降では、上下方向の表示位置を修正するためのタッチスイッチを上下修正スイッチと呼ぶ。また、上下修正設定画面では、この上下修正スイッチの表示が図10(b)〜図10(d)に示すように自車両後方周辺の画像に重畳されるものとする。
この上下修正スイッチは、上方向に表示位置を修正するためのスイッチ(以下、上修正スイッチ)と下方向に表示位置を修正するためのスイッチ(以下、下修正スイッチ)とを含んでいる。また、それらのスイッチに対応するスイッチ表示は、例えば図10(b)〜図10(d)に示すような上向きの矢印および下向きの矢印とする。
ステップS502では、制御部8が、自車両後方周辺の画像の中央の位置に十字のマーク(以下、センター十字キャラクター)を重畳して表示器4に表示させ、ステップS503に移る。センター十字キャラクターは、例えば上下修正設定処理の開始前の自車両後方周辺の画像の中心に最初は表示されるものとし、図9のフローが終了するまでは、画像の表示位置の修正によってこの自車両後方周辺の画像の中心が画面中央から移動するのに伴って移動するものとする。
ステップS503では、表示画像の上下方向の表示位置を修正する操作(以下、上下ずれ修正操作)が行われたか否かを制御部8が判定する。上下ずれ修正操作が行われたか否かについては、I/O処理部6から制御部8に、上修正スイッチもしくは下修正スイッチがオンされたこと示す信号が入力されるとともに、その信号の入力が例えば3秒間の間において継続され続けなかった場合に肯定判定し、その信号が入力されていない場合や上記信号の入力が例えば3秒間の間において継続され続けた場合には否定判定する構成とすればよい。そして、上下ずれ修正操作が行われたと判定した場合(ステップS503でYES)には、ステップS505に移る。また、上下ずれ修正操作が行われたと判定しなかった場合(ステップS503でNO)には、ステップS504に移る。
ステップS504では、上下修正設定処理を終了する操作が行われた(つまり、上下修正終了)か否かを制御部8が判定する。上下修正設定処理を終了する操作が行われたか否かについては、I/O処理部6から制御部8に、上下修正スイッチがオンされたこと示す信号の入力が例えば3秒間の間において継続され続けた場合に肯定判定し、その信号が入力されていない場合には否定判定する構成とすればよい。そして、上下修正設定処理を終了する操作が行われたと判定した場合(ステップS504でYES)には、ステップS104に戻ってフローを繰り返す。また、上下修正設定処理を終了する操作が行われたと判定しなかった場合(ステップS504でNO)には、ステップ503に戻ってフローを繰り返す。
ステップS505では、上下画像補正値設定処理を行って、ステップS506に移る。上下画像補正値設定処理では、上下ずれ修正操作として上修正スイッチが操作された場合には、その操作量に応じたピクセル数だけ画像の上側を切り取るパラメータを画像補正値として制御部8が設定する。例えば、操作量に応じたピクセル数だけ画像の上側を切り取るパラメータとは、撮像画像の四隅のピクセル座標のうちの左上と右上の隅のピクセル座標のx軸方向の座標値を操作量に応じたピクセル数だけ加算したピクセル座標を、新たな左上と右上の隅のピクセル座標とするものである。なお、左下と右下の隅のピクセル座標については変更がないものとする。
また、下修正スイッチが操作された場合には、その操作量に応じたピクセル数だけ画像の下側を切り取るパラメータを画像補正値として制御部8が設定する。例えば、操作量に応じたピクセル数だけ画像の下側を切り取るパラメータとは、撮像画像の四隅のピクセル座標のうちの左下と右下の隅のピクセル座標の左右方向の座標値を操作量に応じたピクセル数だけ減算したピクセル座標を、画像の新たな左下と右下の隅のピクセル座標とするものである。なお、左上と右上の隅のピクセル座標については変更がないものとする。
ここで言うところの操作量とは、例えば所定の時間(任意に設定可能とする)以下の間隔で連続して行われた上下修正スイッチの操作(例えば押す、触るなど)の回数であるものとする。
また、上下画像補正値設定処理では、切り取られるピクセル数だけ画像をリサイズするパラメータも画像補正値として制御部8が設定する。なお、リサイズについては周知の方法と同様にして行う構成とすればよい。例えば、切り取られるピクセル数だけ画像をリサイズするパラメータとは、切り取り後の画像の左上、右上、左下、右下の四隅のピクセル座標を表示器4の表示領域の左上、右上、左下、右下の四隅にそれぞれ対応させるようにアフィン変換する変換行列である。また、リサイズを行う場合には、周知の3次補間法などを用いてピクセルを補間する構成とすればよい。
ステップS506では、ステップS505で設定した画像補正値を制御部8が記憶部7に記憶し、ステップS507に移る。ステップS507では、設定済みの画像補正値を制御部8が記憶部7から読み出して画像処理部3に出力し、画像処理部3が撮像画像に対してその画像補正値に従った変換を含む画像処理を行い、ステップS508に移る。
ステップS508では、ステップS6と同様の処理を行い、前照灯が点灯されていると判定した場合(ステップS508でYES)には、ステップS509に移る。また、前照灯が点灯されていると判定しなかった場合(ステップS508でNO)には、画像処理部3での画像処理後の画像データを制御部8に出力し、制御部8がその画像データを表示器4に出力してステップS510に移る。
ステップS509では、ステップS7と同様の処理を行い、ステップS510に移る。そして、ステップS510では、制御部8から出力される画像データに従った画像を表示器4が表示し、ステップS501に戻ってフローを繰り返す。
ここで、図10(a)〜図10(d)を用いて、上下修正設定処理の一例を説明する。なお、図10(a)〜図10(d)は、上下修正設定処理の一例を説明するための模式図である。ここでは、図10(a)に示すように画像が図6に示す画像よりも下方向に偏っており、上方向への表示位置の修正が必要な場合を例に挙げて説明を行う。
まず、図10(b)に示すように、上下修正設定画面が表示される。ここで、上向きの矢印で示す上修正スイッチを操作すると、その操作量に応じたピクセル数だけ画像の上側を切り取るパラメータおよび切り取られるピクセル数だけ画像をリサイズするパラメータを画像補正値として制御部8が設定する。なお、図10(c)中の破線で示す領域が切り取った残りの画像の範囲を示している。
続いて、撮像画像に対して、設定した画像補正値に従った変換が行われ、上記操作量に応じたピクセル数だけ画像の上側が切り取られるとともに、切り取られたピクセル数だけリサイズされた画像が表示器4に表示される(図10(d)参照)。このとき、センター十字キャラクター(図中のH参照)は、変換前の画像の中心に固定されているので、画像が上方向に引き伸ばされるのに伴って、変換前の画像の中心とともに上方向に移動する。これによれば、表示位置を上下方向にどの程度修正したかがユーザに判り易くなり、利便性が向上する。
ここで、画像の上下方向への表示位置の修正が必要でなくなった場合には、上下修正スイッチを3秒間以上オンし続ける操作を行うことで上下修正設定処理を終了し、次の処理に移行することになる。
図3に戻って、ステップS106では、回転修正移行スイッチがオンされたか否かを制御部8が判定する。回転修正移行スイッチが操作されたか否かについては、I/O処理部6から制御部8に回転修正移行スイッチがオンされたことを示す信号が入力された場合に肯定判定し、その信号が入力されていない場合には否定判定する構成とすればよい。
そして、回転修正移行スイッチがオンされたと判定した場合(ステップS106でYES)には、ステップS107に移る。また、回転修正移行スイッチがオンされたと判定しなかった場合(ステップS106でNO)には、ステップS108に移る。
ステップS107では、回転修正設定処理を行い、ステップS106に戻ってフローを繰り返す。ここで、図11を用いて回転修正設定処理についての詳細な説明を行う。なお、図11は、回転修正設定処理のフローの一例を示すフローチャートである。
まず、ステップS701では、制御部8が回転修正設定画面を表示器4に表示させ、ステップS702に移る。回転修正設定画面は、図12(b)〜図12(d)に示すように、画像の回転方向(つまり、ロール方向)の表示位置を修正するためのタッチスイッチの表示(図中のI参照)を含んでいる。なお、以降では、回転方向の表示位置を修正するためのタッチスイッチを回転修正スイッチと呼ぶ。また、回転修正設定画面では、この回転修正スイッチの表示が図12(b)〜図12(d)に示すように自車両後方周辺の画像に重畳されるものとする。
この回転修正スイッチは、反時計回り方向に表示位置を修正するためのスイッチ(以下、反時計回り修正スイッチ)と時計回り方向に表示位置を修正するためのスイッチ(以下、時計回り修正スイッチ)とを含んでいる。また、それらのスイッチに対応するスイッチ表示は、例えば図12(b)〜図12(d)に示すような左カーブ矢印および右カーブ矢印とする。
ステップS702では、制御部8が、自車両後方周辺の画像の中央の位置に十字のマーク(以下、センター十字キャラクター)を重畳して表示器4に表示させ、ステップS703に移る。センター十字キャラクターは、例えば回転修正設定処理が開始したときの自車両後方周辺の画像の上下方向および左右方向に、十字を構成する各線が向くように表示されるものとし、図11のフローが終了するまでは、表示位置の修正によってこの自車両後方周辺の画像が回転するのに伴って回転するものとする。
ステップS703では、表示画像の回転方向の表示位置を修正する操作(以下、回転ずれ修正操作)が行われたか否かを制御部8が判定する。回転ずれ修正操作が行われたか否かについては、I/O処理部6から制御部8に、時計回り修正スイッチもしくは反時計回り修正スイッチがオンされたこと示す信号が入力されるとともに、その信号の入力が例えば3秒間の間において継続され続けなかった場合に肯定判定し、その信号が入力されていない場合や上記信号の入力が例えば3秒間の間において継続され続けた場合には否定判定する構成とすればよい。そして、回転ずれ修正操作が行われたと判定した場合(ステップS703でYES)には、ステップS705に移る。また、回転ずれ修正操作が行われたと判定しなかった場合(ステップS703でNO)には、ステップS704に移る。
ステップS704では、回転修正設定処理を終了する操作が行われた(つまり、回転修正終了)か否かを制御部8が判定する。回転修正設定処理を終了する操作が行われたか否かについては、I/O処理部6から制御部8に、回転修正スイッチがオンされたこと示す信号の入力が例えば3秒間の間において継続され続けた場合に肯定判定し、その信号が入力されていない場合には否定判定する構成とすればよい。そして、回転修正設定処理を終了する操作が行われたと判定した場合(ステップS704でYES)には、ステップS106に戻ってフローを繰り返す。また、回転修正設定処理を終了する操作が行われたと判定しなかった場合(ステップS704でNO)には、ステップ703に戻ってフローを繰り返す。
ステップS705では、回転画像補正値設定処理を行って、ステップS706に移る。回転画像補正値設定処理では、回転ずれ修正操作として時計回り修正スイッチが操作された場合には、その操作量に応じた角度だけ画像を時計回りに回転させるパラメータ、および回転後の画像に4隅が内接するy軸方向およびx軸方向にそれぞれ平行な辺をもつ四角形を想定した場合のその四角形の外側に位置するピクセル数だけ画像の上下左右を切り取るパラメータを画像補正値として制御部8が設定する。
例えば、操作量に応じた角度だけ画像を時計回りに回転させるパラメータとは、撮像画像の4隅のピクセル座標を左上の隅のピクセル座標(0,0)を中心に操作量に応じた角度だけ時計回りに回転させるようにアフィン変換する変換行列である。そして、回転後の画像に4隅が内接するy軸方向およびx軸方向にそれぞれ平行な辺をもつ四角形を想定した場合のその四角形の外側に位置するピクセル数だけ画像の上下左右を切り取るパラメータとは、回転後の画像に4隅が内接するy軸方向およびx軸方向にそれぞれ平行な辺をもつ四角形を想定した場合のその四角形の4隅のピクセル座標を、画像の新たな4隅のピクセル座標とするものである。
なお、ここで言うところの回転後の画像に4隅が内接するy軸方向およびx軸方向にそれぞれ平行な辺をもつ四角形の4隅のピクセル座標は、例えば回転後の画像の四辺(回転前の画像の左辺、右辺、上辺、下辺に対応する辺であって、便宜上、左辺、右辺、上辺、下辺と呼ぶ)上のピクセルのうち、以下の条件を満たすピクセルの座標値を求めることによって得る構成とすればよい。
その条件を満たすピクセルとは、左辺上のピクセルのピクセル座標のx軸方向の座標値と下辺上のピクセルのピクセル座標のx軸方向の座標値とが同一、左辺上のピクセルのピクセル座標のy軸方向の座標値と上辺上のピクセルのピクセル座標のy軸方向の座標値とが同一、下辺上のピクセルのピクセル座標のy軸方向の座標値と右辺上のピクセル座標のy軸方向の座標値とが同一、上辺上のピクセルのピクセル座標のx軸方向の座標値と右辺上のピクセル座標のx軸方向の座標値とが同一という条件の全てを満たす上下左右の各辺上のピクセルである。
また、反時計回り修正スイッチが操作された場合には、その操作量に応じた角度だけ画像を反時計回りに回転させるパラメータ、および回転後の画像に内接する上下方向および左右方向にそれぞれ平行な辺をもつ四角形を想定した場合のその四角形の外側に位置するピクセル数だけ画像の上下左右を切り取るパラメータを画像補正値として制御部8が設定する。
例えば、操作量に応じた角度だけ画像を反時計回りに回転させるパラメータとは、撮像画像の4隅のピクセル座標を左上の隅のピクセル座標(0,0)を中心に操作量に応じた角度だけ反時計回りに回転させるようにアフィン変換する変換行列である。そして、回転後の画像に4隅が内接するy軸方向およびx軸方向にそれぞれ平行な辺をもつ四角形を想定した場合のその四角形の外側に位置するピクセル数だけ画像の上下左右を切り取るパラメータとは、回転後の画像に4隅が内接するy軸方向およびx軸方向にそれぞれ平行な辺をもつ四角形を想定した場合のその四角形の4隅のピクセル座標を、画像の新たな4隅のピクセル座標とするものである。
なお、ここで言うところの回転後の画像に4隅が内接するy軸方向およびx軸方向にそれぞれ平行な辺をもつ四角形の4隅のピクセル座標は、例えば回転後の画像の四辺(回転前の画像の左辺、右辺、上辺、下辺に対応する辺であって、便宜上、左辺、右辺、上辺、下辺と呼ぶ)上のピクセルのうち、以下の条件を満たすピクセルの座標値を求めることによって得る構成とすればよい。
その条件を満たすピクセルとは、左辺上のピクセルのピクセル座標のx軸方向の座標値と上辺上のピクセルのピクセル座標のx軸方向の座標値とが同一、左辺上のピクセルのピクセル座標のy軸方向の座標値と下辺上のピクセルのピクセル座標のy軸方向の座標値とが同一、上辺上のピクセルのピクセル座標のy軸方向の座標値と右辺上のピクセル座標のy軸方向の座標値とが同一、下辺上のピクセルのピクセル座標のx軸方向の座標値と右辺上のピクセル座標のx軸方向の座標値とが同一という条件の全てを満たす上下左右の各辺上のピクセルである。
なお、ここで言うところの操作量とは、例えば所定の時間(任意に設定可能とする)以下の間隔で連続して行われた回転修正スイッチの操作(例えば押す、触るなど)の回数であるものとする。
また、回転画像補正値設定処理では、切り取られるピクセル数だけ画像をリサイズするパラメータも画像補正値として制御部8が設定する。なお、リサイズについては周知の方法と同様にして行う構成とすればよい。詳しくは、切り取られるピクセル数だけ画像をリサイズするパラメータとは、切り取り後の画像の左上、右上、左下、右下の四隅のピクセル座標を表示器4の表示領域の左上、右上、左下、右下の四隅にそれぞれ対応させるようにアフィン変換する変換行列である。また、リサイズを行う場合には、周知の3次補間法などを用いてピクセルを補間する構成とすればよい。
ステップS706では、ステップS705で設定した画像補正値を制御部8が記憶部7に記憶し、ステップS707に移る。ステップS707では、設定済みの画像補正値を制御部8が記憶部7から読み出して画像処理部3に出力し、画像処理部3が撮像画像に対してその画像補正値に従った変換を含む画像処理を行い、ステップS708に移る。
ステップS708では、ステップS6と同様の処理を行い、前照灯が点灯されていると判定した場合(ステップS708でYES)には、ステップS709に移る。また、前照灯が点灯されていると判定しなかった場合(ステップS708でNO)には、画像処理部3での画像処理後の画像データを制御部8に出力し、制御部8がその画像データを表示器4に出力してステップS710に移る。
ステップS709では、ステップS7と同様の処理を行い、ステップS710に移る。そして、ステップS710では、制御部8から出力される画像データに従った画像を表示器4が表示し、ステップS701に戻ってフローを繰り返す。
ここで、図12(a)〜図12(d)を用いて、回転修正設定処理の一例を説明する。なお、図12(a)〜図12(d)は、回転修正設定処理の一例を説明するための模式図である。ここでは、図12(a)に示すように画像が図6に示す画像よりも時計回り方向に傾いており、反時計回り方向への表示位置の修正が必要な場合を例に挙げて説明を行う。
まず、図12(b)に示すように、回転修正設定画面が表示される。ここで、右カーブ矢印で示す反時計回り修正スイッチを操作すると、その操作量に応じた角度だけ画像を反時計回りに回転させるパラメータ、回転後の画像に内接する上下方向および左右方向にそれぞれ平行な辺をもつ四角形を想定した場合のその四角形の外側に位置するピクセル数だけ画像の上下左右を切り取るパラメータ、および切り取られるピクセル数だけ画像をリサイズするパラメータを画像補正値として制御部8が設定する。なお、図12(c)中の破線で示す領域が切り取った残りの画像の範囲を示している。
続いて、撮像画像に対して、設定した画像補正値に従った変換が行われ、上記操作量に応じたピクセル数だけ画像の上下左右が切り取られるとともに、切り取られたピクセル数だけ上下方向および左右方向にリサイズされた画像が表示器4に表示される(図12(d)参照)。このとき、センター十字キャラクター(図中のJ参照)の十字を構成する各線は、変換前の画像の上下方向および左右方向を向くように固定されているので、画像が回転されるのに伴って回転する。これによれば、表示位置を回転方向にどの程度修正したかがユーザに判り易くなり、利便性が向上する。
ここで、画像の回転方向への表示位置の修正が必要でなくなった場合には、回転修正スイッチを3秒間以上オンし続ける操作を行うことで回転修正設定処理を終了し、次の処理に移行することになる。
図3に戻って、ステップS108では、EXITスイッチがオンされたか否かを制御部8が判定する。EXITスイッチが操作されたか否かについては、I/O処理部6から制御部8にEXITスイッチがオンされたことを示す信号が入力された場合に肯定判定し、その信号が入力されていない場合には否定判定する構成とすればよい。
そして、EXITスイッチがオンされたと判定した場合(ステップS108でYES)には、制御部8が画像ずれ修正設定画面の表示を終了させ、ステップS1に戻ってフローを繰り返す。なお、画像ずれ修正設定画面の表示を終了した後も、例えば自車両後方周辺の画像の表示を維持しておく構成とすればよい。また、EXITスイッチがオンされたと判定しなかった場合(ステップS108でNO)には、ステップS102に戻ってフローを繰り返す。
ここで、図13〜図16を用いて、画像補正値に従った実際の画像の変換の一例についての説明を行う。なお、図13は、画像変換前の自車両後方周辺の画像の一例を示す図である。また、図14は、左右画像補正値設定処理で設定された画像補正値に従った変換(つまり、左右補正)の一例を示す図である。さらに、図15は、上下画像補正値設定処理で設定された画像補正値に従った変換(つまり、上下補正)の一例を示す図である。そして、図16は、回転画像補正値設定処理で設定された画像補正値に従った変換(つまり、回転補正)の一例を示す図である。
なお、ここでは、左右画像補正値設定処理で左方向への表示位置の修正が行われ、上下画像補正値設定処理で下方向への表示位置の修正が行われ、回転画像補正値設定処理で時計回り方向への表示位置の修正が行われた場合を例に挙げて説明を行う。
本例における画像補正値に従った変換では、図13に示すような画像変換前の撮像画像に対して、左右画像補正値設定処理で設定されたピクセル数だけ画像の左側が切り取られるとともに、切り取られたピクセル数だけ画像を引き伸ばすリサイズが行われ、左右補正が終了する(図14参照)。
続いて、左右補正が終了した画像に対して、上下画像補正値設定処理で設定されたピクセル数だけ画像の下側が切り取られるとともに、切り取られたピクセル数だけ画像を引き伸ばすリサイズが行われ、上下補正が終了する(図15参照)。そして、上下補正が終了した画像に対して、回転画像補正値設定処理で設定された角度だけ時計回りに回転が行われるとともに、回転画像補正値設定処理で設定されたピクセル数だけ画像の上下左右が切り取られた後に、切り取られたピクセル数だけ画像を引き伸ばすリサイズが行われ、回転補正が終了する(図16参照)。
以上の構成によれば、ユーザが操作スイッチ群5を操作することによって、表示器4に表示される画像の画面上での位置を、画像の上下方向や左右方向や回転方向にユーザが所望するようにずらすことができる。従って、カメラ1の取り付け向きの違いによる画像のずれを抑えるだけでなく、当該カメラ1の取り付け位置の違いによる画像のずれをより小さく抑えることが可能になる。
なお、前述の実施形態では、左右修正設定処理、上下修正設定処理、回転修正設定処理が続いているときに、自車両後方周辺の画像の中央の位置に十字のマークを重畳して表示器4に表示させる構成を示したが、必ずしもこれに限らず、画像の変換の度合いを確認するための指標となるマークであれば十字のマーク以外のマークであってもよい。
また、前述の実施形態では、操作スイッチ群5で受け付けた修正方向および修正量に応じた分だけカメラ1で撮像した撮像範囲の画像を切り取り、且つ、切り取った残りの範囲の画像をリサイズする画像補正値を設定する構成を示したが、必ずしもこれに限らない。例えば、カメラ1で撮像した撮像範囲の画像のうちの一部の範囲を、表示器4での表示用に切り出して表示器4に表示させるものとし、操作スイッチ群5で受け付けた修正方向および修正量に応じた分だけカメラ1で撮像した撮像範囲の画像のうちから表示用に切り出す位置を移動させる画像補正値を設定する構成としてよい
この場合には、左右修正スイッチや上下修正スイッチや回転修正スイッチの操作量に応じたピクセル数だけ画像の切り出し位置を左右に移動させたり、上下に移動させたり、回転させたりするパラメータを画像補正値として制御部8が設定することになる。そして、画像補正値に従って画像を変換する場合には、変換前の表示用の切り出し位置の例えば4隅のピクセル座標を画像補正値としての上記パラメータに従って変換することによって、切り出し位置を変更する構成とすればよい。なお、切り出し後の画像を表示させる場合には、切り出し後の画像の4隅のピクセルが表示器4の表示領域の4隅に対応するようにして表示させる構成とすればよい。
これによれば、カメラ1で撮像した撮像範囲の画像のうちから表示用に切り出す位置を移動させることによって画像のずれの修正を行うので、ユーザにあたかもカメラ1の撮像位置自体が修正されたかのように感じさせることができる。
また、前述の実施形態では、カメラ1で撮像した自車両後方周辺の画像を表示する構成に本発明を適用する構成を示したが、必ずしもこれに限らない。例えば、自車両前方周辺や自車両側方周辺など、他の自車両周辺の画像を表示する構成に本発明を適用する構成としてもよい。
なお、本発明は、上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。