JP5488338B2 - 車両周辺監視装置 - Google Patents

車両周辺監視装置 Download PDF

Info

Publication number
JP5488338B2
JP5488338B2 JP2010188453A JP2010188453A JP5488338B2 JP 5488338 B2 JP5488338 B2 JP 5488338B2 JP 2010188453 A JP2010188453 A JP 2010188453A JP 2010188453 A JP2010188453 A JP 2010188453A JP 5488338 B2 JP5488338 B2 JP 5488338B2
Authority
JP
Japan
Prior art keywords
image
correction
display
correction value
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010188453A
Other languages
English (en)
Other versions
JP2012049700A (ja
Inventor
直樹 中川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2010188453A priority Critical patent/JP5488338B2/ja
Publication of JP2012049700A publication Critical patent/JP2012049700A/ja
Application granted granted Critical
Publication of JP5488338B2 publication Critical patent/JP5488338B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、車両周辺監視装置に関するものである。
従来から、車両の周辺の状況を撮像した画像を表示部に表示することによって、車両周辺の障害物の存在などをユーザに知らせる技術が知られている。例えば、特許文献1には、カメラによって車両周辺を撮像した周辺画像を俯瞰画像に変換して表示する駐車支援システムが開示されている。
しかしながら、特許文献1に開示の駐車支援システムでは、車両周辺を撮像するカメラが規定の取り付け位置および取り付け角度に正確に取り付けられなかった場合には、カメラの撮像方向が想定した方向からずれてしまい、本来の目的とする画像からずれた画像しか得られなくなってしまうという問題点があった。
また、カメラはボディに穴を開けて取り付ける必要がある場合などがあり、取り付け後に位置や角度の調整を行うことが困難なことも多い。特に、後付けタイプのものをユーザが取り付ける場合には正確に取り付けることは非常に困難であり、上記問題点が生じやすかった。
そこで、近年では、カメラの取り付け誤差を容易に補正するための技術が提案されている。例えば、特許文献2では、カメラの位置の誤差の補正を除く、カメラの向きのみの誤差を補正するためのルールが記載された誤差補正用テーブルを複数有し、その誤差補正用テーブルを用いて画素データを変換する技術が開示されている。
また、特許文献3では、車両の周囲に配設された校正指標を含むカメラ画像データに重畳されたマーカ線と当該校正指標とを重ね合わせるようにマーカ線の描画位置を変更させた時のマーカ線の移動量を、カメラモジュールの車両に対する取り付け向きの誤差として検出し、その移動量をもとにカメラ画像データを校正する技術が開示されている。
さらに、特許文献4では、補正用マークが撮像された画像データ上の当該補正用マークの位置と当該画像データ上の基準位置とに基づいて撮像方向のズレ量を算出し、そのズレ量に基づいて撮像方向のズレ角度を定量化する技術が開示されている。
特開2003−125394号公報 特開2007−6175号公報 特開2007−158695号公報 特開平8−276787号公報
しかしながら、特許文献2〜4に開示の技術は、いずれもカメラの取り付け向きの違いによる画像のずれを補正するだけのものであるので、カメラの取り付け位置の違いによる画像のずれを抑えることできないという問題点を有していた。
詳しくは、特許文献2〜4に開示の技術では、カメラの取り付け向きの違いによる画像のずれを解消するように補正するので、カメラの取り付け位置自体がずれていた場合には、補正後の画像は撮像位置のずれの分だけずれることになる。
本発明は、上記従来の問題点に鑑みなされたものであって、その目的は、周辺監視用のカメラの取り付け向きの違いによる画像のずれを抑えるだけでなく、当該カメラの取り付け位置の違いによる画像のずれをより小さく抑えることを可能にする車両周辺監視装置を提供することにある。
請求項1の車両周辺監視装置によれば、修正指定受け付け手段でユーザから指定を受け付けた、表示器に表示される画像の画面上での位置を少なくともピッチ方向とヨー方向とのいずれかにずらす修正方向および修正量に応じて設定された補正値に従って、車載カメラで撮像する画像を変換し、表示器に表示される画像の画面上での位置を修正することになる。よって、修正指定受け付け手段への入力を通じて、表示器に表示される画像の画面上での位置を、画像のピッチ方向(つまり、上下方向)やヨー方向(つまり、左右方向)にユーザが所望するようにずらすことができる。従って、車載カメラの取り付け位置の違いによって生じる、表示器に表示される画像の画面上での上下方向や左右方向の位置のずれを小さく抑えるように修正を行うことが可能になる。
その結果、周辺監視用の車載カメラの取り付け向きの違いによる画像のずれを抑えるだけでなく、当該車載カメラの取り付け位置の違いによる画像のずれをより小さく抑えることが可能になる。
また、請求項の構成によれば、補正値設定手段での補正値の設定が続いているときに、その設定中の補正値に従って変換した画像に当該変換の度合いを確認するための指標となるマークを重畳して表示器に表示させるので、表示器に表示される画像の画面上での位置をどの程度修正したかがユーザに判り易くなり、利便性が向上する。
また、請求項の構成によれば、車両の前照灯が点灯していることを示すイルミネーション信号の入力を受け付けていることをもとに、表示器に表示する画像の明るさを補正するので、車両の前照灯を点灯させるような夜間や雨天等の車外および車内が暗い状況において、表示器の表示が眩しくなりすぎないように表示器に表示する画像の明るさを抑える補正をすることが可能となり、利便性を向上させることができる。
車両周辺監視装置100の概略的な構成を示すブロック図である。 車両周辺監視装置100の動作フローを示すフローチャートである。 画像ずれ修正設定処理のフローの一例を示すフローチャートである。 画像ずれ修正設定画面の一例を示す図である。 左右修正設定処理のフローの一例を示すフローチャートである。 カメラ1が規定の取り付け位置および取り付け角度に正確に取り付けられた場合の自車両後方周辺の画像の一例を示す模式図である。 (a)〜(d)は、左右修正設定処理の一例を説明するための模式図である。 (a)〜(c)は、左右修正設定処理の一例を説明するための模式図である。 上下修正設定処理のフローの一例を示すフローチャートである。 (a)〜(d)は、上下修正設定処理の一例を説明するための模式図である。 回転修正設定処理のフローの一例を示すフローチャートである。 (a)〜(d)は、回転修正設定処理の一例を説明するための模式図である。 画像変換前の自車両後方周辺の画像の一例を示す図である。 左右画像補正値設定処理で設定された画像補正値に従った変換の一例を示す図である。 上下画像補正値設定処理で設定された画像補正値に従った変換の一例を示す図である。 回転画像補正値設定処理で設定された画像補正値に従った変換の一例を示す図である。
以下、本発明の実施形態について図面を用いて説明する。図1は、本発明が適用された車両周辺監視装置100の概略的な構成を示すブロック図である。図1に示す車両周辺監視装置1は、車両に搭載されるものであり、カメラ1、A/D変換部2、画像処理部3、表示器4、操作スイッチ群5、I/O処理部6、記憶部7、および制御部8を備えている。なお、車両周辺監視装置100を搭載している車両を以降では自車両と呼ぶ。
カメラ1は、自車両の車体に取り付けられる車載カメラであって、例えば広角レンズによって撮像範囲が広角(例えば180度など)に設定された公知のCCDカメラ等によって構成されている。なお、本実施形態では、一例として、カメラ1は自車両の車体後部に取り付けられ、自車両後方に所定角範囲で広がる領域を撮像するものとして説明を続ける。また、カメラ1が撮像した自車両後方周辺の画像のアナログ映像信号が、A/D変換部2に供給される。なお、以下、カメラ1によって撮像された自車両後方周辺の画像を車両後方画像という。
A/D変換部2は、カメラ1から供給されるアナログ映像信号をデジタル信号のデータに変換してデジタル映像を得る。なお、以降では、このデジタル映像を撮像画像と呼ぶものとする。また、A/D変換部2は、得られた撮像画像を画像処理部3に供給する。
なお、本実施形態では、カメラ1が撮像した自車両後方周辺の画像のアナログ映像信号をA/D変換部2でデジタル信号のデータに変換する構成を示したが、必ずしもこれに限らない。例えば、カメラ1として、DSP(digital signalprocessor)などの処理装置内蔵のカメラを用いることによって、カメラ1においてデジタル信号のデータを得て、画像処理部3に供給する構成としてもよい。
画像処理部3は、撮像画像に画像処理が必要な場合に、種々の画像処理を行って制御部8に供給する。画像処理部3で行う画像処理としては、例えば鏡像に変換する鏡像変換や広角レンズの特性で画像周辺部に生じる歪みを補正する高視野角歪み補正や鳥瞰画像に変換する鳥瞰変換等の画像処理がある。また、画像処理部3で行う画像処理としては、ピッチ方向、ヨー方向、およびロール方向の表示画像のずれの修正に関連する画像処理があるが、この画像処理については後に詳述する。
表示器4は、制御部8から出力される画像データに従った画像を逐次表示するものであり、自車両の車室内に設けられている。例えば表示器4は、フルカラー表示が可能なものであり、液晶ディスプレイ、有機ELディスプレイ、プラズマディスプレイ等を用いて構成することができる。なお、表示器4としては、例えば、車載ナビゲーション装置に設けられたディスプレイを利用する構成としてもよいが、車載ナビゲーション装置のディスプレイとは別に、インストゥルメントパネル等に設けたディスプレイを用いる構成としてもよい。
操作スイッチ群5は、例えば表示器4と一体になったタッチスイッチもしくはメカニカルなスイッチ等が用いられ、スイッチ操作により制御部8へ各種機能の操作指示を行う。詳しくは、操作スイッチ群5から出力される上記操作指示の信号が、I/O処理部6を介して制御部8に入力されることにより、制御部8へ各種機能の操作指示が行われることになる。また、本実施形態では、操作スイッチ群5は、例えばユーザが自車両後方周辺の画像を表示器4に表示することを指示するために操作する表示切替スイッチを含んでいるものとする。なお、操作スイッチ群5が請求項の修正指定受け付け手段に相当する。
I/O処理部6は、制御部8への信号の入力を仲介する。例えば、I/O処理部6は、前述したように、操作スイッチ群5から入力されてくる操作指示の信号を仲介して制御部8に入力する。また、I/O処理部6は、図示しないシフトポジションセンサから例えば車内LANを介して入力されてくるシフト位置が後退位置「R」にあることを示すリバース信号を仲介して制御部8に入力したり、図示しない前照灯スイッチから例えば車内LANを介して入力されてくるイルミネーション信号(ILL信号)を仲介して制御部8に入力したりする。
記憶部7は、例えばRAM等を有し、制御部8が画像処理部3から受け取った画像データ等を保存する。制御部8は、CPU、ROM、RAM、バックアップRAM等よりなるマイクロコンピュータを主体として構成され、画像処理部3、I/O処理部6、記憶部7から入力された各種情報に基づき、ROMに記憶された各種の制御プログラムを実行することで、表示器4での画像表示に関する処理や表示画像の画面上での位置(以下、表示位置)の修正方向および修正量の設定に関する処理などの各種の処理を実行する。なお、制御部8が請求項の表示制御手段および補正値設定手段に相当する。
ここで、図2を用いて、車両周辺監視装置100の動作フローについての説明を行う。なお、図2は、車両周辺監視装置100の動作フローを示すフローチャートである。本フローは、例えば自車両のアクセサリ電源がオンされ、車両周辺監視装置100の電源がオンになったときに開始される。なお、図2のフローは、表示切替スイッチがオフされたときやアクセサリ電源がオフになったときなどに終了する構成とすればよい。
まず、ステップS1では、シフト位置が後退位置「R」であるか否かを制御部8が判定する。シフト位置が後退位置「R」であるか否かの判定については、I/O処理部6から制御部8にリバース信号が入力されている場合に肯定判定し、I/O処理部6から制御部8にリバース信号が入力されていない場合には否定判定する構成とすればよい。そして、シフト位置が「R」と判定した場合(ステップS1でYES)には、ステップS3に移る。また、シフト位置が「R」と判定しなかった場合(ステップS1でNO)には、ステップS2に移る。
ステップS2では、前述の表示切替スイッチがオンになったか否かを制御部8が判定する。表示切替スイッチがオンになったか否かについては、I/O処理部6から制御部8に表示切替スイッチがオンになったことを示す信号が入力された場合に肯定判定し、その信号が入力されていない場合には否定判定する構成とすればよい。そして、表示切替スイッチがオンになったと判定した場合(ステップS2でYES)には、ステップS3に移る。また、表示切替スイッチがオンになったと判定しなかった場合(ステップS2でNO)には、ステップS1に戻ってフローを繰り返す。
ステップS3では、表示位置の修正方向および修正量を規定する画像補正値が設定済みか否かを制御部8が判定する。画像補正値が設定済みか否かについては、例えば記憶部7に画像補正値が記憶されているか否かに応じて判定する構成とすればよい。そして、画像補正値が設定済みと判定した場合(ステップS3でYES)には、ステップS4に移る。また、画像補正値が設定済みと判定しなかった場合(ステップS3でNO)には、ステップS5に移る。
なお、本実施形態では、画像補正値が記憶部7に記憶される構成を示したが、必ずしもこれに限らない。例えば画像補正値が制御部8のEEPROM等の書き込み可能な不揮発性メモリに記憶される構成としてもよい。この場合には、制御部8の不揮発性メモリに画像補正値が記憶されているか否かに応じて、画像補正値が設定済みか否かを制御部8が判定する構成とすればよい。
ステップS4では、設定済みの画像補正値を制御部8が記憶部7から読み出して画像処理部3に出力し、画像処理部3が撮像画像に対してその画像補正値に従った変換を含む画像処理を行う。そして、画像処理後の画像データを制御部8に出力して、ステップS6に移る。なお、ステップS4では、画像処理として、画像補正値に従った変換以外にも、例えば鏡像変換や高視野角歪み補正等を行う。
また、ステップS5では、画像処理部3が撮像画像に対して、画像補正値に従った変換以外の例えば鏡像変換や高視野角歪み補正等の画像処理を行い、画像処理後の画像データを制御部8に出力して、ステップS6に移る。
ステップS6では、前照灯が点灯されているか否かを制御部8が判定する。前照灯が点灯されているか否かの判定については、I/O処理部6から制御部8にILL信号が入力されている場合に肯定判定し、I/O処理部6から制御部8にILL信号が入力されていない場合には否定判定する構成とすればよい。そして、前照灯が点灯されていると判定した場合(ステップS6でYES)には、ステップS7に移る。また、前照灯が点灯されていると判定しなかった場合(ステップS6でNO)には、画像処理部3での画像処理後の画像データを制御部8に出力し、制御部8がその画像データを表示器4に出力してステップS8に移る。よって、制御部8が請求項の信号受け付け手段に相当する。
ステップS7では、制御部8が表示器4の画面の明るさを下げる補正をすることで表示器4に表示する画像の明るさを下げる補正をし、ステップS8に移る。よって、制御部8が請求項の明るさ補正手段に相当する。なお、明るさの下げ幅は、夜間や雨天等の車内が暗い状況において、表示器4での表示が眩しくなりすぎない程度の明るさとなるように予め設定される任意の値であるものとする。また、画像の明るさを抑える補正として、表示器4の画面の輝度(つまり、表示輝度)の設定値を下げる補正をする構成としてもよいし、表示器4の画面の明度の設定値を下げる補正を行う構成としてもよい。
これによれば、自車両の前照灯を点灯させるような夜間や雨天等の車外および車内が暗い状況において、表示器4の表示が眩しくなりすぎないように表示器4に表示する画像の明るさを抑え、利便性を向上させることができる。
ステップS8では、制御部8から出力された画像データに従った画像を表示器4が表示し、ステップS9に移る。ステップS9では、表示位置の修正の設定(以下、画像ずれ修正設定)を開始するか否かを制御部8が判断する。画像ずれ修正設定を開始するか否かの判断については、操作スイッチ群5で画像ずれ修正設定の開始を指示する入力を受け付けたことを示す信号が、I/O処理部6から制御部8に入力された場合に肯定判断し、入力されていない場合には否定判断する構成とすればよい。そして、画像ずれ修正設定を開始すると判断した場合(ステップS9でYES)には、ステップS10に移る。また、画像ずれ修正設定を開始すると判断しなかった場合(ステップS9でNO)には、ステップS1に戻ってフローを繰り返す。
ステップS10では、画像ずれ修正設定処理を行ってステップS1に戻ってフローを繰り返す。ここで、図3を用いて画像ずれ修正設定処理についての詳細な説明を行う。なお、図3は、画像ずれ修正設定処理のフローの一例を示すフローチャートである。
まず、ステップS101では、制御部8が画像ずれ修正設定画面を表示器4に表示させ、ステップS102に移る。画像ずれ修正設定画面は、図4に示すように、ヨー方向のずれ修正設定に移行するためのタッチスイッチの表示(図4中のA参照)、ピッチ方向のずれ修正設定に移行するためのタッチスイッチの表示(図4中のB参照)、ロール方向のずれ修正設定に移行するためのタッチスイッチの表示(図4中のC参照)、画像ずれ修正設定処理を終了するためのタッチスイッチの表示(図4中のD参照)を含んでいる。また、画像ずれ修正設定画面では、例えばこれらのタッチスイッチの表示が図4に示すように自車両後方周辺の画像に重畳される構成としてもよい。
なお、以降では、ヨー方向のずれ修正設定に移行するためのタッチスイッチを左右修正移行スイッチ、ピッチ方向のずれ修正を行うためのタッチスイッチを上下修正移行スイッチ、ロール方向のずれ修正を行うためのタッチスイッチを回転修正スイッチ、画像ずれ修正設定処理を終了するためのタッチスイッチをEXITスイッチと呼ぶ。また、これらのタッチスイッチは、静電容量方式のものであってもよいし、感圧式のものであってもよい。
ステップS102では、左右修正移行スイッチがオンされたか否かを制御部8が判定する。左右修正移行スイッチが操作されたか否かについては、I/O処理部6から制御部8に左右修正移行スイッチがオンされたことを示す信号が入力された場合に肯定判定し、その信号が入力されていない場合には否定判定する構成とすればよい。
そして、左右修正移行スイッチがオンされたと判定した場合(ステップS102でYES)には、ステップS103に移る。また、左右修正移行スイッチがオンされたと判定しなかった場合(ステップS102でNO)には、ステップS104に移る。
ステップS103では、左右修正設定処理を行い、ステップS102に戻ってフローを繰り返す。ここで、図5を用いて左右修正設定処理についての詳細な説明を行う。なお、図5は、左右修正設定処理のフローの一例を示すフローチャートである。
まず、ステップS301では、制御部8が左右修正設定画面を表示器4に表示させ、ステップS302に移る。左右修正設定画面は、図7(b)〜図7(d)に示すように、画像の左右方向(つまり、ヨー方向)の表示位置を修正するためのタッチスイッチの表示(図中のE参照)を含んでいる。なお、以降では、左右方向の表示位置を修正するためのタッチスイッチを左右修正スイッチと呼ぶ。また、左右修正設定画面では、この左右修正スイッチの表示が図7(b)〜図7(d)に示すように自車両後方周辺の画像に重畳されるものとする。
この左右修正スイッチは、左方向に表示位置を修正するためのスイッチ(以下、左修正スイッチ)と右方向に表示位置を修正するためのスイッチ(以下、右修正スイッチ)とを含んでいる。また、それらのスイッチに対応するスイッチ表示は、例えば図7(b)〜図7(d)に示すような左向きの矢印および右向きの矢印とする。
ステップS302では、制御部8が、自車両後方周辺の画像の中央の位置に十字のマーク(以下、センター十字キャラクター)を重畳して表示器4に表示させ、ステップS303に移る。センター十字キャラクターは、例えば左右修正設定処理の開始前の自車両後方周辺の画像の中心に最初は表示されるものとし、図5のフローが終了するまでは、画像の表示位置の修正によってこの自車両後方周辺の画像の中心が画面中央から移動するのに伴って移動するものとする。
ステップS303では、表示画像の左右方向の表示位置を修正する操作(以下、左右ずれ修正操作)が行われたか否かを制御部8が判定する。左右ずれ修正操作が行われたか否かについては、I/O処理部6から制御部8に、左修正スイッチもしくは右修正スイッチがオンされたこと示す信号が入力されるとともに、その信号の入力が例えば3秒間の間において継続され続けなかった場合に肯定判定し、その信号が入力されていない場合や上記信号の入力が例えば3秒間の間において継続され続けた場合には否定判定する構成とすればよい。そして、左右ずれ修正操作が行われたと判定した場合(ステップS303でYES)には、ステップS305に移る。また、左右ずれ修正操作が行われたと判定しなかった場合(ステップS303でNO)には、ステップS304に移る。
ステップS304では、左右修正設定処理を終了する操作が行われた(つまり、左右修正終了)か否かを制御部8が判定する。左右修正設定処理を終了する操作が行われたか否かについては、I/O処理部6から制御部8に、左右修正スイッチがオンされたこと示す信号の入力が例えば3秒間の間において継続され続けた場合に肯定判定し、その信号が入力されていない場合には否定判定する構成とすればよい。そして、左右修正設定処理を終了する操作が行われたと判定した場合(ステップS304でYES)には、ステップS102に戻ってフローを繰り返す。また、左右修正設定処理を終了する操作が行われたと判定しなかった場合(ステップS304でNO)には、ステップ303に戻ってフローを繰り返す。
ステップS305では、左右画像補正値設定処理を行って、ステップS306に移る。左右画像補正値設定処理では、左右ずれ修正操作として左修正スイッチが操作された場合には、その操作量に応じたピクセル数だけ画像の左側を切り取るパラメータを画像補正値として制御部8が設定する。例えば、操作量に応じたピクセル数だけ画像の左側を切り取るパラメータとは、撮像画像の四隅のピクセル座標のうちの左上と左下の隅のピクセル座標の左右方向の座標値を操作量に応じたピクセル数だけ加算したピクセル座標を、画像の新たな左上と左下の隅のピクセル座標とするものである。なお、右上と右下の隅のピクセル座標については変更がないものとする。ここで、ピクセル座標は画像の左右方向(以下、x軸方向)と上下方向(以下、y軸方向)との2軸で表され、左上の隅のピクセル座標を(0,0)とするものとし、以降の説明でも同様とする。
また、右修正スイッチが操作された場合には、その操作量に応じたピクセル数だけ画像の右側を切り取るパラメータを画像補正値として制御部8が設定する。例えば、操作量に応じたピクセル数だけ画像の右側を切り取るパラメータとは、撮像画像の四隅のピクセル座標のうちの右上と右下の隅のピクセル座標の左右方向の座標値を操作量に応じたピクセル数だけ減算したピクセル座標を、新たな右上と右下の隅のピクセル座標とするものである。なお、左上と左下の隅のピクセル座標については変更がないものとする。
ここで言うところの操作量とは、例えば所定の時間(任意に設定可能とする)以下の間隔で連続して行われた左右修正スイッチの操作(例えば押す、触るなど)の回数であるものとする。
また、左右画像補正値設定処理では、切り取られるピクセル数だけ画像をリサイズするパラメータも画像補正値として制御部8が設定する。なお、リサイズについては周知の方法と同様にして行う構成とすればよい。例えば、切り取られるピクセル数だけ画像をリサイズするパラメータとは、切り取り後の画像の左上、右上、左下、右下の四隅のピクセル座標を表示器4の表示領域の左上、右上、左下、右下の四隅にそれぞれ対応させるようにアフィン変換する変換行列である。また、リサイズを行う場合には、周知の3次補間法などを用いてピクセルを補間する構成とすればよい。
ステップS306では、ステップS305で設定した画像補正値を制御部8が記憶部7に記憶し、ステップS307に移る。ステップS307では、設定済みの画像補正値を制御部8が記憶部7から読み出して画像処理部3に出力し、画像処理部3が撮像画像に対してその画像補正値に従った変換を含む画像処理を行い、ステップS308に移る。
ステップS308では、ステップS6と同様の処理を行い、前照灯が点灯されていると判定した場合(ステップS308でYES)には、ステップS309に移る。また、前照灯が点灯されていると判定しなかった場合(ステップS308でNO)には、画像処理部3での画像処理後の画像データを制御部8に出力し、制御部8がその画像データを表示器4に出力してステップS310に移る。
ステップS309では、ステップS7と同様の処理を行い、ステップS310に移る。そして、ステップS310では、制御部8から出力される画像データに従った画像を表示器4が表示し、ステップS301に戻ってフローを繰り返す。
ここで、図6および図7(a)〜図8(c)を用いて、左右修正設定処理の一例を説明する。なお、図6は、カメラ1が規定の取り付け位置および取り付け角度に正確に取り付けられた場合の自車両後方周辺の画像の一例を示す模式図である。また、図7(a)〜図8(c)は、左右修正設定処理の一例を説明するための模式図である。ここでは、図7(a)に示すように画像が図6に示す画像よりも左方向に偏っており、右方向への表示位置の修正が必要な場合を例に挙げて説明を行う。
まず、図7(b)に示すように、左右修正設定画面が表示される。ここで、右向きの矢印で示す右修正スイッチを操作すると、その操作量に応じたピクセル数だけ画像の右側を切り取るパラメータおよび切り取られるピクセル数だけ画像をリサイズするパラメータを画像補正値として制御部8が設定する。なお、図7(c)中の破線で示す領域が切り取った残りの画像の範囲を示している。
続いて、撮像画像に対して、設定した画像補正値に従った変換が行われ、上記操作量に応じたピクセル数だけ画像の右側が切り取られるとともに、切り取られたピクセル数だけリサイズされた画像が表示器4に表示される(図7(d)参照)。このとき、センター十字キャラクター(図中のF参照)は、変換前の画像の中心に固定されているので、画像が右方向に引き伸ばされるのに伴って、変換前の画像の中心とともに右方向に移動する。これによれば、表示位置を左右方向にどの程度修正したかがユーザに判り易くなり、利便性が向上する。
ここで、画像の右方向への表示位置の修正がまだ必要な場合には、左右修正設定画面(図8(a)参照)でさらに右修正スイッチを操作することで、その操作量に応じたピクセル数だけさらに画像の右側を切り取るパラメータおよび切り取られるピクセル数だけ画像をリサイズするパラメータを新たな画像補正値として制御部8が設定する。なお、図8(b)の破線で示す領域が切り取った残りの画像の範囲を示している。
そして、撮像画像に対して、設定した画像補正値に従った変換が行われ、積算された操作量に応じたピクセル数だけ画像の右側が切り取られるとともに、切り取られたピクセル数だけリサイズされた画像が表示器4に表示される(図8(c)参照)。ここで、画像の左右方向への表示位置の修正が必要でなくなった場合には、左右修正スイッチを3秒間以上オンし続ける操作を行うことで左右修正設定処理を終了し、次の処理に移行することになる。
図3に戻って、ステップS104では、上下修正移行スイッチがオンされたか否かを制御部8が判定する。上下修正移行スイッチが操作されたか否かについては、I/O処理部6から制御部8に上下修正移行スイッチがオンされたことを示す信号が入力された場合に肯定判定し、その信号が入力されていない場合には否定判定する構成とすればよい。
そして、上下修正移行スイッチがオンされたと判定した場合(ステップS104でYES)には、ステップS105に移る。また、上下修正移行スイッチがオンされたと判定しなかった場合(ステップS104でNO)には、ステップS106に移る。
ステップS105では、上下修正設定処理を行い、ステップS104に戻ってフローを繰り返す。ここで、図9を用いて上下修正設定処理についての詳細な説明を行う。なお、図9は、上下修正設定処理のフローの一例を示すフローチャートである。
まず、ステップS501では、制御部8が上下修正設定画面を表示器4に表示させ、ステップS502に移る。上下修正設定画面は、図10(b)〜図10(d)に示すように、画像の上下方向(つまり、ピッチ方向)の表示位置を修正するためのタッチスイッチの表示(図中のG参照)を含んでいる。なお、以降では、上下方向の表示位置を修正するためのタッチスイッチを上下修正スイッチと呼ぶ。また、上下修正設定画面では、この上下修正スイッチの表示が図10(b)〜図10(d)に示すように自車両後方周辺の画像に重畳されるものとする。
この上下修正スイッチは、上方向に表示位置を修正するためのスイッチ(以下、上修正スイッチ)と下方向に表示位置を修正するためのスイッチ(以下、下修正スイッチ)とを含んでいる。また、それらのスイッチに対応するスイッチ表示は、例えば図10(b)〜図10(d)に示すような上向きの矢印および下向きの矢印とする。
ステップS502では、制御部8が、自車両後方周辺の画像の中央の位置に十字のマーク(以下、センター十字キャラクター)を重畳して表示器4に表示させ、ステップS503に移る。センター十字キャラクターは、例えば上下修正設定処理の開始前の自車両後方周辺の画像の中心に最初は表示されるものとし、図9のフローが終了するまでは、画像の表示位置の修正によってこの自車両後方周辺の画像の中心が画面中央から移動するのに伴って移動するものとする。
ステップS503では、表示画像の上下方向の表示位置を修正する操作(以下、上下ずれ修正操作)が行われたか否かを制御部8が判定する。上下ずれ修正操作が行われたか否かについては、I/O処理部6から制御部8に、上修正スイッチもしくは下修正スイッチがオンされたこと示す信号が入力されるとともに、その信号の入力が例えば3秒間の間において継続され続けなかった場合に肯定判定し、その信号が入力されていない場合や上記信号の入力が例えば3秒間の間において継続され続けた場合には否定判定する構成とすればよい。そして、上下ずれ修正操作が行われたと判定した場合(ステップS503でYES)には、ステップS505に移る。また、上下ずれ修正操作が行われたと判定しなかった場合(ステップS503でNO)には、ステップS504に移る。
ステップS504では、上下修正設定処理を終了する操作が行われた(つまり、上下修正終了)か否かを制御部8が判定する。上下修正設定処理を終了する操作が行われたか否かについては、I/O処理部6から制御部8に、上下修正スイッチがオンされたこと示す信号の入力が例えば3秒間の間において継続され続けた場合に肯定判定し、その信号が入力されていない場合には否定判定する構成とすればよい。そして、上下修正設定処理を終了する操作が行われたと判定した場合(ステップS504でYES)には、ステップS104に戻ってフローを繰り返す。また、上下修正設定処理を終了する操作が行われたと判定しなかった場合(ステップS504でNO)には、ステップ503に戻ってフローを繰り返す。
ステップS505では、上下画像補正値設定処理を行って、ステップS506に移る。上下画像補正値設定処理では、上下ずれ修正操作として上修正スイッチが操作された場合には、その操作量に応じたピクセル数だけ画像の上側を切り取るパラメータを画像補正値として制御部8が設定する。例えば、操作量に応じたピクセル数だけ画像の上側を切り取るパラメータとは、撮像画像の四隅のピクセル座標のうちの左上と右上の隅のピクセル座標のx軸方向の座標値を操作量に応じたピクセル数だけ加算したピクセル座標を、新たな左上と右上の隅のピクセル座標とするものである。なお、左下と右下の隅のピクセル座標については変更がないものとする。
また、下修正スイッチが操作された場合には、その操作量に応じたピクセル数だけ画像の下側を切り取るパラメータを画像補正値として制御部8が設定する。例えば、操作量に応じたピクセル数だけ画像の下側を切り取るパラメータとは、撮像画像の四隅のピクセル座標のうちの左下と右下の隅のピクセル座標の左右方向の座標値を操作量に応じたピクセル数だけ減算したピクセル座標を、画像の新たな左下と右下の隅のピクセル座標とするものである。なお、左上と右上の隅のピクセル座標については変更がないものとする。
ここで言うところの操作量とは、例えば所定の時間(任意に設定可能とする)以下の間隔で連続して行われた上下修正スイッチの操作(例えば押す、触るなど)の回数であるものとする。
また、上下画像補正値設定処理では、切り取られるピクセル数だけ画像をリサイズするパラメータも画像補正値として制御部8が設定する。なお、リサイズについては周知の方法と同様にして行う構成とすればよい。例えば、切り取られるピクセル数だけ画像をリサイズするパラメータとは、切り取り後の画像の左上、右上、左下、右下の四隅のピクセル座標を表示器4の表示領域の左上、右上、左下、右下の四隅にそれぞれ対応させるようにアフィン変換する変換行列である。また、リサイズを行う場合には、周知の3次補間法などを用いてピクセルを補間する構成とすればよい。
ステップS506では、ステップS505で設定した画像補正値を制御部8が記憶部7に記憶し、ステップS507に移る。ステップS507では、設定済みの画像補正値を制御部8が記憶部7から読み出して画像処理部3に出力し、画像処理部3が撮像画像に対してその画像補正値に従った変換を含む画像処理を行い、ステップS508に移る。
ステップS508では、ステップS6と同様の処理を行い、前照灯が点灯されていると判定した場合(ステップS508でYES)には、ステップS509に移る。また、前照灯が点灯されていると判定しなかった場合(ステップS508でNO)には、画像処理部3での画像処理後の画像データを制御部8に出力し、制御部8がその画像データを表示器4に出力してステップS510に移る。
ステップS509では、ステップS7と同様の処理を行い、ステップS510に移る。そして、ステップS510では、制御部8から出力される画像データに従った画像を表示器4が表示し、ステップS501に戻ってフローを繰り返す。
ここで、図10(a)〜図10(d)を用いて、上下修正設定処理の一例を説明する。なお、図10(a)〜図10(d)は、上下修正設定処理の一例を説明するための模式図である。ここでは、図10(a)に示すように画像が図6に示す画像よりも下方向に偏っており、上方向への表示位置の修正が必要な場合を例に挙げて説明を行う。
まず、図10(b)に示すように、上下修正設定画面が表示される。ここで、上向きの矢印で示す上修正スイッチを操作すると、その操作量に応じたピクセル数だけ画像の上側を切り取るパラメータおよび切り取られるピクセル数だけ画像をリサイズするパラメータを画像補正値として制御部8が設定する。なお、図10(c)中の破線で示す領域が切り取った残りの画像の範囲を示している。
続いて、撮像画像に対して、設定した画像補正値に従った変換が行われ、上記操作量に応じたピクセル数だけ画像の上側が切り取られるとともに、切り取られたピクセル数だけリサイズされた画像が表示器4に表示される(図10(d)参照)。このとき、センター十字キャラクター(図中のH参照)は、変換前の画像の中心に固定されているので、画像が上方向に引き伸ばされるのに伴って、変換前の画像の中心とともに上方向に移動する。これによれば、表示位置を上下方向にどの程度修正したかがユーザに判り易くなり、利便性が向上する。
ここで、画像の上下方向への表示位置の修正が必要でなくなった場合には、上下修正スイッチを3秒間以上オンし続ける操作を行うことで上下修正設定処理を終了し、次の処理に移行することになる。
図3に戻って、ステップS106では、回転修正移行スイッチがオンされたか否かを制御部8が判定する。回転修正移行スイッチが操作されたか否かについては、I/O処理部6から制御部8に回転修正移行スイッチがオンされたことを示す信号が入力された場合に肯定判定し、その信号が入力されていない場合には否定判定する構成とすればよい。
そして、回転修正移行スイッチがオンされたと判定した場合(ステップS106でYES)には、ステップS107に移る。また、回転修正移行スイッチがオンされたと判定しなかった場合(ステップS106でNO)には、ステップS108に移る。
ステップS107では、回転修正設定処理を行い、ステップS106に戻ってフローを繰り返す。ここで、図11を用いて回転修正設定処理についての詳細な説明を行う。なお、図11は、回転修正設定処理のフローの一例を示すフローチャートである。
まず、ステップS701では、制御部8が回転修正設定画面を表示器4に表示させ、ステップS702に移る。回転修正設定画面は、図12(b)〜図12(d)に示すように、画像の回転方向(つまり、ロール方向)の表示位置を修正するためのタッチスイッチの表示(図中のI参照)を含んでいる。なお、以降では、回転方向の表示位置を修正するためのタッチスイッチを回転修正スイッチと呼ぶ。また、回転修正設定画面では、この回転修正スイッチの表示が図12(b)〜図12(d)に示すように自車両後方周辺の画像に重畳されるものとする。
この回転修正スイッチは、反時計回り方向に表示位置を修正するためのスイッチ(以下、反時計回り修正スイッチ)と時計回り方向に表示位置を修正するためのスイッチ(以下、時計回り修正スイッチ)とを含んでいる。また、それらのスイッチに対応するスイッチ表示は、例えば図12(b)〜図12(d)に示すような左カーブ矢印および右カーブ矢印とする。
ステップS702では、制御部8が、自車両後方周辺の画像の中央の位置に十字のマーク(以下、センター十字キャラクター)を重畳して表示器4に表示させ、ステップS703に移る。センター十字キャラクターは、例えば回転修正設定処理が開始したときの自車両後方周辺の画像の上下方向および左右方向に、十字を構成する各線が向くように表示されるものとし、図11のフローが終了するまでは、表示位置の修正によってこの自車両後方周辺の画像が回転するのに伴って回転するものとする。
ステップS703では、表示画像の回転方向の表示位置を修正する操作(以下、回転ずれ修正操作)が行われたか否かを制御部8が判定する。回転ずれ修正操作が行われたか否かについては、I/O処理部6から制御部8に、時計回り修正スイッチもしくは反時計回り修正スイッチがオンされたこと示す信号が入力されるとともに、その信号の入力が例えば3秒間の間において継続され続けなかった場合に肯定判定し、その信号が入力されていない場合や上記信号の入力が例えば3秒間の間において継続され続けた場合には否定判定する構成とすればよい。そして、回転ずれ修正操作が行われたと判定した場合(ステップS703でYES)には、ステップS705に移る。また、回転ずれ修正操作が行われたと判定しなかった場合(ステップS703でNO)には、ステップS704に移る。
ステップS704では、回転修正設定処理を終了する操作が行われた(つまり、回転修正終了)か否かを制御部8が判定する。回転修正設定処理を終了する操作が行われたか否かについては、I/O処理部6から制御部8に、回転修正スイッチがオンされたこと示す信号の入力が例えば3秒間の間において継続され続けた場合に肯定判定し、その信号が入力されていない場合には否定判定する構成とすればよい。そして、回転修正設定処理を終了する操作が行われたと判定した場合(ステップS704でYES)には、ステップS106に戻ってフローを繰り返す。また、回転修正設定処理を終了する操作が行われたと判定しなかった場合(ステップS704でNO)には、ステップ703に戻ってフローを繰り返す。
ステップS705では、回転画像補正値設定処理を行って、ステップS706に移る。回転画像補正値設定処理では、回転ずれ修正操作として時計回り修正スイッチが操作された場合には、その操作量に応じた角度だけ画像を時計回りに回転させるパラメータ、および回転後の画像に4隅が内接するy軸方向およびx軸方向にそれぞれ平行な辺をもつ四角形を想定した場合のその四角形の外側に位置するピクセル数だけ画像の上下左右を切り取るパラメータを画像補正値として制御部8が設定する。
例えば、操作量に応じた角度だけ画像を時計回りに回転させるパラメータとは、撮像画像の4隅のピクセル座標を左上の隅のピクセル座標(0,0)を中心に操作量に応じた角度だけ時計回りに回転させるようにアフィン変換する変換行列である。そして、回転後の画像に4隅が内接するy軸方向およびx軸方向にそれぞれ平行な辺をもつ四角形を想定した場合のその四角形の外側に位置するピクセル数だけ画像の上下左右を切り取るパラメータとは、回転後の画像に4隅が内接するy軸方向およびx軸方向にそれぞれ平行な辺をもつ四角形を想定した場合のその四角形の4隅のピクセル座標を、画像の新たな4隅のピクセル座標とするものである。
なお、ここで言うところの回転後の画像に4隅が内接するy軸方向およびx軸方向にそれぞれ平行な辺をもつ四角形の4隅のピクセル座標は、例えば回転後の画像の四辺(回転前の画像の左辺、右辺、上辺、下辺に対応する辺であって、便宜上、左辺、右辺、上辺、下辺と呼ぶ)上のピクセルのうち、以下の条件を満たすピクセルの座標値を求めることによって得る構成とすればよい。
その条件を満たすピクセルとは、左辺上のピクセルのピクセル座標のx軸方向の座標値と下辺上のピクセルのピクセル座標のx軸方向の座標値とが同一、左辺上のピクセルのピクセル座標のy軸方向の座標値と上辺上のピクセルのピクセル座標のy軸方向の座標値とが同一、下辺上のピクセルのピクセル座標のy軸方向の座標値と右辺上のピクセル座標のy軸方向の座標値とが同一、上辺上のピクセルのピクセル座標のx軸方向の座標値と右辺上のピクセル座標のx軸方向の座標値とが同一という条件の全てを満たす上下左右の各辺上のピクセルである。
また、反時計回り修正スイッチが操作された場合には、その操作量に応じた角度だけ画像を反時計回りに回転させるパラメータ、および回転後の画像に内接する上下方向および左右方向にそれぞれ平行な辺をもつ四角形を想定した場合のその四角形の外側に位置するピクセル数だけ画像の上下左右を切り取るパラメータを画像補正値として制御部8が設定する。
例えば、操作量に応じた角度だけ画像を反時計回りに回転させるパラメータとは、撮像画像の4隅のピクセル座標を左上の隅のピクセル座標(0,0)を中心に操作量に応じた角度だけ反時計回りに回転させるようにアフィン変換する変換行列である。そして、回転後の画像に4隅が内接するy軸方向およびx軸方向にそれぞれ平行な辺をもつ四角形を想定した場合のその四角形の外側に位置するピクセル数だけ画像の上下左右を切り取るパラメータとは、回転後の画像に4隅が内接するy軸方向およびx軸方向にそれぞれ平行な辺をもつ四角形を想定した場合のその四角形の4隅のピクセル座標を、画像の新たな4隅のピクセル座標とするものである。
なお、ここで言うところの回転後の画像に4隅が内接するy軸方向およびx軸方向にそれぞれ平行な辺をもつ四角形の4隅のピクセル座標は、例えば回転後の画像の四辺(回転前の画像の左辺、右辺、上辺、下辺に対応する辺であって、便宜上、左辺、右辺、上辺、下辺と呼ぶ)上のピクセルのうち、以下の条件を満たすピクセルの座標値を求めることによって得る構成とすればよい。
その条件を満たすピクセルとは、左辺上のピクセルのピクセル座標のx軸方向の座標値と上辺上のピクセルのピクセル座標のx軸方向の座標値とが同一、左辺上のピクセルのピクセル座標のy軸方向の座標値と下辺上のピクセルのピクセル座標のy軸方向の座標値とが同一、上辺上のピクセルのピクセル座標のy軸方向の座標値と右辺上のピクセル座標のy軸方向の座標値とが同一、下辺上のピクセルのピクセル座標のx軸方向の座標値と右辺上のピクセル座標のx軸方向の座標値とが同一という条件の全てを満たす上下左右の各辺上のピクセルである。
なお、ここで言うところの操作量とは、例えば所定の時間(任意に設定可能とする)以下の間隔で連続して行われた回転修正スイッチの操作(例えば押す、触るなど)の回数であるものとする。
また、回転画像補正値設定処理では、切り取られるピクセル数だけ画像をリサイズするパラメータも画像補正値として制御部8が設定する。なお、リサイズについては周知の方法と同様にして行う構成とすればよい。詳しくは、切り取られるピクセル数だけ画像をリサイズするパラメータとは、切り取り後の画像の左上、右上、左下、右下の四隅のピクセル座標を表示器4の表示領域の左上、右上、左下、右下の四隅にそれぞれ対応させるようにアフィン変換する変換行列である。また、リサイズを行う場合には、周知の3次補間法などを用いてピクセルを補間する構成とすればよい。
ステップS706では、ステップS705で設定した画像補正値を制御部8が記憶部7に記憶し、ステップS707に移る。ステップS707では、設定済みの画像補正値を制御部8が記憶部7から読み出して画像処理部3に出力し、画像処理部3が撮像画像に対してその画像補正値に従った変換を含む画像処理を行い、ステップS708に移る。
ステップS708では、ステップS6と同様の処理を行い、前照灯が点灯されていると判定した場合(ステップS708でYES)には、ステップS709に移る。また、前照灯が点灯されていると判定しなかった場合(ステップS708でNO)には、画像処理部3での画像処理後の画像データを制御部8に出力し、制御部8がその画像データを表示器4に出力してステップS710に移る。
ステップS709では、ステップS7と同様の処理を行い、ステップS710に移る。そして、ステップS710では、制御部8から出力される画像データに従った画像を表示器4が表示し、ステップS701に戻ってフローを繰り返す。
ここで、図12(a)〜図12(d)を用いて、回転修正設定処理の一例を説明する。なお、図12(a)〜図12(d)は、回転修正設定処理の一例を説明するための模式図である。ここでは、図12(a)に示すように画像が図6に示す画像よりも時計回り方向に傾いており、反時計回り方向への表示位置の修正が必要な場合を例に挙げて説明を行う。
まず、図12(b)に示すように、回転修正設定画面が表示される。ここで、右カーブ矢印で示す反時計回り修正スイッチを操作すると、その操作量に応じた角度だけ画像を反時計回りに回転させるパラメータ、回転後の画像に内接する上下方向および左右方向にそれぞれ平行な辺をもつ四角形を想定した場合のその四角形の外側に位置するピクセル数だけ画像の上下左右を切り取るパラメータ、および切り取られるピクセル数だけ画像をリサイズするパラメータを画像補正値として制御部8が設定する。なお、図12(c)中の破線で示す領域が切り取った残りの画像の範囲を示している。
続いて、撮像画像に対して、設定した画像補正値に従った変換が行われ、上記操作量に応じたピクセル数だけ画像の上下左右が切り取られるとともに、切り取られたピクセル数だけ上下方向および左右方向にリサイズされた画像が表示器4に表示される(図12(d)参照)。このとき、センター十字キャラクター(図中のJ参照)の十字を構成する各線は、変換前の画像の上下方向および左右方向を向くように固定されているので、画像が回転されるのに伴って回転する。これによれば、表示位置を回転方向にどの程度修正したかがユーザに判り易くなり、利便性が向上する。
ここで、画像の回転方向への表示位置の修正が必要でなくなった場合には、回転修正スイッチを3秒間以上オンし続ける操作を行うことで回転修正設定処理を終了し、次の処理に移行することになる。
図3に戻って、ステップS108では、EXITスイッチがオンされたか否かを制御部8が判定する。EXITスイッチが操作されたか否かについては、I/O処理部6から制御部8にEXITスイッチがオンされたことを示す信号が入力された場合に肯定判定し、その信号が入力されていない場合には否定判定する構成とすればよい。
そして、EXITスイッチがオンされたと判定した場合(ステップS108でYES)には、制御部8が画像ずれ修正設定画面の表示を終了させ、ステップS1に戻ってフローを繰り返す。なお、画像ずれ修正設定画面の表示を終了した後も、例えば自車両後方周辺の画像の表示を維持しておく構成とすればよい。また、EXITスイッチがオンされたと判定しなかった場合(ステップS108でNO)には、ステップS102に戻ってフローを繰り返す。
ここで、図13〜図16を用いて、画像補正値に従った実際の画像の変換の一例についての説明を行う。なお、図13は、画像変換前の自車両後方周辺の画像の一例を示す図である。また、図14は、左右画像補正値設定処理で設定された画像補正値に従った変換(つまり、左右補正)の一例を示す図である。さらに、図15は、上下画像補正値設定処理で設定された画像補正値に従った変換(つまり、上下補正)の一例を示す図である。そして、図16は、回転画像補正値設定処理で設定された画像補正値に従った変換(つまり、回転補正)の一例を示す図である。
なお、ここでは、左右画像補正値設定処理で左方向への表示位置の修正が行われ、上下画像補正値設定処理で下方向への表示位置の修正が行われ、回転画像補正値設定処理で時計回り方向への表示位置の修正が行われた場合を例に挙げて説明を行う。
本例における画像補正値に従った変換では、図13に示すような画像変換前の撮像画像に対して、左右画像補正値設定処理で設定されたピクセル数だけ画像の左側が切り取られるとともに、切り取られたピクセル数だけ画像を引き伸ばすリサイズが行われ、左右補正が終了する(図14参照)。
続いて、左右補正が終了した画像に対して、上下画像補正値設定処理で設定されたピクセル数だけ画像の下側が切り取られるとともに、切り取られたピクセル数だけ画像を引き伸ばすリサイズが行われ、上下補正が終了する(図15参照)。そして、上下補正が終了した画像に対して、回転画像補正値設定処理で設定された角度だけ時計回りに回転が行われるとともに、回転画像補正値設定処理で設定されたピクセル数だけ画像の上下左右が切り取られた後に、切り取られたピクセル数だけ画像を引き伸ばすリサイズが行われ、回転補正が終了する(図16参照)。
以上の構成によれば、ユーザが操作スイッチ群5を操作することによって、表示器4に表示される画像の画面上での位置を、画像の上下方向や左右方向や回転方向にユーザが所望するようにずらすことができる。従って、カメラ1の取り付け向きの違いによる画像のずれを抑えるだけでなく、当該カメラ1の取り付け位置の違いによる画像のずれをより小さく抑えることが可能になる。
なお、前述の実施形態では、左右修正設定処理、上下修正設定処理、回転修正設定処理が続いているときに、自車両後方周辺の画像の中央の位置に十字のマークを重畳して表示器4に表示させる構成を示したが、必ずしもこれに限らず、画像の変換の度合いを確認するための指標となるマークであれば十字のマーク以外のマークであってもよい。
また、前述の実施形態では、操作スイッチ群5で受け付けた修正方向および修正量に応じた分だけカメラ1で撮像した撮像範囲の画像を切り取り、且つ、切り取った残りの範囲の画像をリサイズする画像補正値を設定する構成を示したが、必ずしもこれに限らない。例えば、カメラ1で撮像した撮像範囲の画像のうちの一部の範囲を、表示器4での表示用に切り出して表示器4に表示させるものとし、操作スイッチ群5で受け付けた修正方向および修正量に応じた分だけカメラ1で撮像した撮像範囲の画像のうちから表示用に切り出す位置を移動させる画像補正値を設定する構成としてよい
この場合には、左右修正スイッチや上下修正スイッチや回転修正スイッチの操作量に応じたピクセル数だけ画像の切り出し位置を左右に移動させたり、上下に移動させたり、回転させたりするパラメータを画像補正値として制御部8が設定することになる。そして、画像補正値に従って画像を変換する場合には、変換前の表示用の切り出し位置の例えば4隅のピクセル座標を画像補正値としての上記パラメータに従って変換することによって、切り出し位置を変更する構成とすればよい。なお、切り出し後の画像を表示させる場合には、切り出し後の画像の4隅のピクセルが表示器4の表示領域の4隅に対応するようにして表示させる構成とすればよい。
これによれば、カメラ1で撮像した撮像範囲の画像のうちから表示用に切り出す位置を移動させることによって画像のずれの修正を行うので、ユーザにあたかもカメラ1の撮像位置自体が修正されたかのように感じさせることができる。
また、前述の実施形態では、カメラ1で撮像した自車両後方周辺の画像を表示する構成に本発明を適用する構成を示したが、必ずしもこれに限らない。例えば、自車両前方周辺や自車両側方周辺など、他の自車両周辺の画像を表示する構成に本発明を適用する構成としてもよい。
なお、本発明は、上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
1 カメラ(車載カメラ)、2 A/D変換部、3 画像処理部、4 表示器、5 操作スイッチ群(修正指定受け付け手段)、6 I/O処理部、7 記憶部、8 制御部(表示制御手段、補正値設定手段、信号受け付け手段、明るさ補正手段)、100 車両周辺監視装置

Claims (3)

  1. 車両に搭載され、
    前記車両の周辺を撮像する車載カメラと、
    画像を表示する表示器と、
    前記車載カメラで撮像した画像を前記表示器に表示させる表示制御手段と、を備えている車両周辺監視装置であって、
    前記表示器に表示される画像の画面上での位置を当該画像のピッチ方向、ヨー方向、およびロール方向のうちの少なくともピッチ方向とヨー方向とのいずれかにずらす修正方向および修正量を指定するユーザからの入力を受け付ける修正指定受け付け手段と、
    前記修正指定受け付け手段で受け付けた修正方向および修正量に応じて前記車載カメラで撮像した画像を変換するための補正値を設定する補正値設定手段と、を備え、
    前記補正値設定手段は、前記修正指定受け付け手段で受け付けた修正方向および修正量に応じた分だけ前記車載カメラで撮像した撮像範囲の画像を切り取る補正値、およびその切り取った残りの範囲の画像を元の大きさにリサイズする補正値を設定し、
    前記表示制御手段は、前記補正値設定手段で前記補正値を設定した後は、前記車載カメラで撮像する画像をその設定した補正値に従って切り取った上で前記リサイズする変換を行い、変換後の画像を前記表示器に表示させるとともに、当該リサイズによって画像が引き伸ばされるのに伴ってその引き伸ばされる方向に移動するマークを当該変換後の画像に重畳表示させることを特徴とする車両周辺監視装置。
  2. 請求項1において、
    前記表示制御手段は、前記修正指定受け付け手段で受け付けた修正方向および修正量に応じた前記補正値設定手段での補正値の設定が続いているときに、前記車載カメラで撮像した画像をその設定中の補正値に従って変換し、変換後の画像を前記表示器に表示させることを特徴とする車両周辺監視装置。
  3. 請求項1または2において、
    前記車両の前照灯が点灯していることを示すイルミネーション信号の入力を受け付ける信号受け付け手段と、
    前記信号受け付け手段で前記イルミネーション信号の入力を受け付けていることをもとに、前記表示器に表示する画像の明るさを補正する明るさ補正手段と、を備えることを特徴とする車両周辺監視装置。
JP2010188453A 2010-08-25 2010-08-25 車両周辺監視装置 Expired - Fee Related JP5488338B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010188453A JP5488338B2 (ja) 2010-08-25 2010-08-25 車両周辺監視装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010188453A JP5488338B2 (ja) 2010-08-25 2010-08-25 車両周辺監視装置

Publications (2)

Publication Number Publication Date
JP2012049700A JP2012049700A (ja) 2012-03-08
JP5488338B2 true JP5488338B2 (ja) 2014-05-14

Family

ID=45904101

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010188453A Expired - Fee Related JP5488338B2 (ja) 2010-08-25 2010-08-25 車両周辺監視装置

Country Status (1)

Country Link
JP (1) JP5488338B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6851782B2 (ja) * 2016-11-07 2021-03-31 株式会社デンソーテン 画像処理装置、画像処理システムおよび画像処理方法
CN109410122A (zh) * 2018-08-27 2019-03-01 上海途擎微电子有限公司 车载系统及其车载图像调整的方法
JP2020036166A (ja) * 2018-08-29 2020-03-05 アルパイン株式会社 画像表示装置、画像表示方法
KR102564021B1 (ko) * 2018-09-14 2023-08-07 현대자동차주식회사 후방 영상 표시 제어 장치 및 방법, 그리고 차량 시스템

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0544703U (ja) * 1991-11-26 1993-06-15 クラリオン株式会社 車載用機器の表示装置
JP3979330B2 (ja) * 2003-04-02 2007-09-19 トヨタ自動車株式会社 車両用画像表示装置
JP4794510B2 (ja) * 2007-07-04 2011-10-19 ソニー株式会社 カメラシステムおよびカメラの取り付け誤差の補正方法
JP5310017B2 (ja) * 2009-01-16 2013-10-09 株式会社デンソー 車両用表示装置及びそれを備えた車両周辺視野表示システム

Also Published As

Publication number Publication date
JP2012049700A (ja) 2012-03-08

Similar Documents

Publication Publication Date Title
JP2010246088A (ja) 車載カメラ装置の画像調整装置及び方法、並びに車載カメラ装置
JP4316619B2 (ja) 車両用表示装置及び車両表示システム並びに車両
JP4766841B2 (ja) 車両に搭載されるカメラ装置及び車両周辺監視装置
JP4677104B2 (ja) 車両用表示装置
US11336839B2 (en) Image display apparatus
JP4758481B2 (ja) 車両用画像処理装置及び車両用画像処理プログラム
US20060038895A1 (en) Image processing device
JP6277652B2 (ja) 車両周辺画像表示装置及びカメラの調整方法
EP2233357A2 (en) Driving support device, driving support method, and driving support program
WO2017018400A1 (ja) 車両用表示装置
JP2007526162A5 (ja)
JP2007108159A (ja) 運転支援装置
JP2010103730A (ja) 車載カメラのキャリブレーション装置およびキャリブレーション方法
JP5488338B2 (ja) 車両周辺監視装置
JP2011105306A (ja) 車両用表示装置
JP5966513B2 (ja) 車両の後側方撮影装置
JP2007256030A (ja) 車載カメラのキャリブレーション装置およびキャリブレーション方法
JP2011148369A (ja) 運転支援装置
JP2007168560A (ja) 駐車支援装置
JP2016046747A (ja) 画像処理装置、画像処理方法、及び、画像表示システム
JP4436392B2 (ja) 映像処理装置
JP7133644B2 (ja) 車体構造
JP2008307981A (ja) 車両用運転支援装置
JP2017021019A (ja) 車両用表示装置及び車両用表示方法
JP5827095B2 (ja) キャリブレーションシステム、パラメータ取得装置、標識体、及び、パラメータ取得方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121016

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130409

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130423

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130620

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140210

R151 Written notification of patent or utility model registration

Ref document number: 5488338

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees