JP3778849B2

JP3778849B2 - 車両周辺画像処理装置及び記録媒体

Info

Publication number: JP3778849B2
Application number: JP2001384587A
Authority: JP
Inventors: 勝之今西; 博彦柳川; 哲理石川
Original assignee: Denso Corp; Nippon Soken Inc
Current assignee: Denso Corp; Soken Inc
Priority date: 2001-12-18
Filing date: 2001-12-18
Publication date: 2006-05-24
Anticipated expiration: 2021-12-18
Also published as: JP2003189291A

Description

【０００１】
【発明の属する技術分野】
本発明は、例えば車両の周辺を撮影してモニタに表示できる車両周辺画像処理装置及び記録媒体に関するものである。
【０００２】
【従来の技術】
従来より、車両の後方の様子を表示する装置として、車両の後部に取り付けたカメラの画像を、そのままモニタに出力する表示装置が知られている。
この表示装置では、車両後方の状態が有る程度分かるが、自車両とモニタに表示されている対象物（例えば駐車枠）の画像の相対位置関係が分かりに難いという問題がある。
【０００３】
また、これとは別に、特開平１０−２１１８４９号公報には、後方カメラで撮影した画像（後方カメラ画像）を鳥瞰図に変換し、自車両をその中に表示するという技術が提案されている。
【０００４】
【発明が解決しようとする課題】
この技術の場合には、鳥瞰図の中に自車両を示すので、画像に表示された対象物と自車両の位置関係は、撮影した画像をそのままモニタに表示するものより分かり易くなっているが、カメラの現在の視野の外にあるものは表示できないという別の問題があった。
【０００５】
そのため、例えば車両を後退させて駐車枠に入れるような場合には、カメラの視野外に出た駐車枠を表示できないので、依然として、車両を駐車枠に入れる操作が容易ではないという問題があった。
これに対して、既に本願発明者らにより、車両後部に取り付けたカメラから、車両後方の画像を撮影し、画像処理でこれらを上から見た鳥瞰画像に変換し、変換した画像の時間的変化から車両の動きを算出して、カメラの視野外に消えて行く画像領域を算出し、更に現時刻の変換画像を貼り付けて（合成画像を作成し）、従来より広い範囲を表示する技術が開発されている。
【０００６】
ところが、上述した鳥瞰図画像は上空から見た画像であり、通常ドライバーが見慣れている画像（即ちカメラで撮影したままの状態の画像）とは異なっているので、見にくさを感じるドライバーがいるという問題があった。
本発明は、前記課題を解決するためになされたものであり、鳥瞰図画像を変換してカメラ等で撮影したような画像とすることにより、見やすい画像を表示することができる車両周辺画像処理装置及び記録媒体を提供することを目的とする。
【０００７】
【課題を解決するための手段及び発明の効果】
（１）請求項１の発明は、車両周辺の画像を撮影する撮影手段（例えばカメラ）と、画像を表示する表示手段（例えばモニタ）とを備えた車両に対して、撮影手段により撮影された画像を処理して表示手段に表示する車両周辺画像処理装置に関するものである。
【０００８】
本発明では、撮影手段により撮影した画像を、例えば撮影手段を視点として投影した地上面座標系のデータに変換して鳥瞰図画像の画像データを順次作成する。これにより、画像は、例えばカメラで撮影したままの歪んだ画像ではなく、地面の上方より見たような見やすい鳥瞰図画像となる。
【０００９】
そして、車両の移動状態に対応して、（例えば前回得られた鳥瞰図画像や前回の合成鳥瞰図画像の様な）第１鳥瞰図画像を移動させて移動後鳥瞰図画像の画像データを作成し、この移動後鳥瞰図画像の画像データと、（第１鳥瞰図画像より）新しい第２鳥瞰図画像の画像データとを合成して合成鳥瞰図画像の画像データを作成する。
【００１０】
つまり、車両が移動するにつれて、例えばカメラの視野が変化するので、当然、撮影した時間が異なる第１鳥瞰図画像と第２鳥瞰図画像では、画像のずれ（撮影された部分の違い）が発生する。そこで、第２鳥瞰図画像に、そのずれの部分（即ち過去に視野内であったが現在視野から消えている部分）の移動後鳥瞰図画像を適宜加味することにより、モニタ等にカメラの視野から消えた部分を表示するのである。
【００１１】
特に本発明では、上述した合成鳥瞰図画像をそのままモニタ等に表示するのではなく、合成鳥瞰図画像を所定の視点（例えば車室内のルームミラーに取り付けた仮想のカメラ位置）からの投影画像に変換し、その投影画像をモニタ等に表示する。
【００１２】
つまり、例えばカメラで撮影した画像を鳥瞰図変換する手法とは逆に、鳥瞰図画像をカメラで撮影したような投影画像に変換し、あたかも、カメラで撮影した様な画像をモニタ等に表示するのである。
これにより、モニタ等には、通常ドライバーが見慣れている画像が表示されるので、見にくさを感じ難いという効果がある。
【００１３】
また、カメラで撮影したままの画像データを用いて、車両の移動に伴って変化する周囲の画像の合成を行う場合には、各画像が歪んでいることもあり、各画像中の各画素の距離を計測する必要があるが、これを精度良く計測できるセンサが無いという問題がある。
【００１４】
本発明では、平面的な鳥瞰図画像を用いることで距離が分かり、これより合成された鳥瞰図画像をもとの投影画像に変更するので、測距センサ等を用いずに、容易に合成された投影画像を作成できるという利点がある。
（２）請求項２の発明では、視点を撮影手段の撮影位置とは異なる仮想の位置に移動し、その仮想の位置を視点として投影画像を求める。
【００１５】
通常、後方カメラは車両の後端側に配置されているので、例えば実際のカメラの位置を視点として投影画像を求める場合に、駐車場にて車両がバックして壁に近接したときには、殆ど壁の画像が表示されてしまい、あまり有用とは言えない。
【００１６】
この様な場合には、例えばカメラの位置を、仮想的に車両の前端等に移動して投影画像を作製することにより、駐車枠全体を表示可能であるので、例えば車両の現在位置を重ねて表示することにより、駐車枠内における車両位置を分かりやすく表示することができる。
【００１７】
（３）請求項３の発明では、視点の仮想の位置を、ユーザにより変更可能としている。
従って、ユーザは、例えば駐車枠内での車両の位置が分かり易いように視点を移動させることにより、駐車時等における車両の操作が容易になる。
【００１８】
（４）請求項４の発明では、表示手段に表示する画像を、合成鳥瞰図画像と投影画像とにユーザにより変更可能としている。
従って、ユーザは、自分の見やすい表示を選択できるので、車両操作が容易になる。
【００１９】
（５）請求項５の発明では、表示手段に投影画像を表示する場合には、自車両を示す画像を加えて表示する。
本発明では、車両の周囲の状況を示す投影画像に自車両を示す画像を加えて表示することにより、自車両と例えば駐車枠との位置関係が明瞭となるので、車両の操作が容易になる。
【００２０】
尚、自車両は、車両の写真のような画像、車両の形状をした絵、枠等のシンボルで表示することができる。
（６）請求項６の発明では、第１鳥瞰図画像として、今回の合成鳥瞰図画像より前に作成した合成鳥瞰図画像を用いる。
【００２１】
これにより、モニタには、過去に撮影した画像の鳥瞰図画像（車両の移動に合わせて移動させた画像）を逐次加えた連続した合成鳥瞰図画像を変換した投影画像を表示することができる。
（７）請求項７の発明では、合成鳥瞰図画像は、第２鳥瞰図画像を表示する表示領域以外に、移動後鳥瞰図画像を加入した画像である。
【００２２】
本発明は、合成鳥瞰図画像の形成方法を例示したものである。これにより、車両の周囲の画像を連続して表示することができる。
つまり、例えばカメラにより現在撮影されている画像は、第２鳥瞰図画像部分の投影画像としてモニタに表示可能であるので、それ以前のモニタから消えてしまう画像を、移動後鳥瞰図画像部分の投影画像として第２鳥瞰図画像部分の投影画像の表示領域以外に加えることにより、カメラの視野から消えた過去の周囲の状況をもモニタに表示することができる。
【００２３】
尚、合成鳥瞰図画像に用いる第２鳥瞰図画像として、通常、最新の鳥瞰図画像が用いられる。
（８）請求項８の発明は、上述した車両周辺画像処理装置による処理を実行させる手段を記憶している記録媒体である。
【００２４】
つまり、上述した車両周辺画像処理装置の処理を実行させることができる例えばプログラム等の手段を記憶したものであれば、特に限定はない。
例えば記録媒体としては、マイクロコンピュータとして構成される電子制御装置、マイクロチップ、フロッピィディスク、ハードディスク、光ディスク等の各種の記録媒体が挙げられる。
【００２５】
【発明の実施の形態】
以下に、本発明の車両周辺画像処理装置及び記録媒体の実施の形態の例（実施例）を説明する。
（実施例）
ａ）本実施例の基本的なシステム構成を図１及び図２を用いて説明する。
【００２６】
図１に示す様に、本実施例の車両周辺画像処理装置は、自動車の後部に配置されたカメラ（例えばＣＣＤカメラ）１と、ダッシュボードに配置された車載モニタ（例えば液晶ディスプレイ）３と、車速を検出する車速センサ５と、ヨーレイトを検出するヨーレイトセンサ７と、画像処理を行う画像処理ユニット９とを備えている。
【００２７】
前記画像処理ユニット９は、図２に示す様に、マイクロコンピュータを主要部とする画像データの処理を行う電子装置であり、カメラ１で撮影した画像データの座標変換（鳥瞰図変換）を行って鳥瞰図画像を作成する鳥瞰図変換回路１１と、作成された鳥瞰図画像の画像データを一時的に蓄える画像メモリＡと、画像メモリＡの鳥瞰図画像を移動（例えば回転移動）して合成する等の画像処理などの演算を行うＣＰＵ１３と、ＣＰＵ１３にて処理した画像データを保存する画像メモリＢと、画像メモリＢに記憶した鳥瞰図画像の画像データの座標変換（逆鳥瞰図変換）を行って鳥瞰図画像を投影画像に戻す逆鳥瞰図変換回路１５と、（モニタＣに表示する）投影画像の画像データを記憶する画像メモリＣとを備えている。
【００２８】
前記画像処理ユニット９には、車速信号を入力する車速信号入力回路１７と、ヨーレイト信号を入力するヨーレイト信号入力回路１９とが接続され、各信号はＣＰＵ１３に入力される。
ここで、画像メモリＢに記憶する鳥瞰図画像の画像データとは、後述する様に、前回（例えば時刻Ｔに）カメラ１にて撮影され、その画像データに基づいて作成された鳥瞰図画像（第１鳥瞰図画像）を移動させた鳥瞰図画像（移動後鳥瞰図画像）と、新たに（例えば時刻Ｔ＋１に）カメラ１にて撮影され、その画像データに基づいて作成された鳥瞰図画像（第２鳥瞰図画像）とを合成した鳥瞰図画像（合成鳥瞰図画像）の画像データである。
【００２９】
また、画像メモリＣに記憶する投影画像の画像データとは、後述する様に、画像メモリＢに記憶した合成鳥瞰図画像を、所定の視点（本実施例では、カメラ１の位置ではなく車両の先端側に移動させた仮想位置）から見た画像であるカメライメージに変換した投影画像である。
【００３０】
尚、画像処理ユニット９は、カメラ１と一体の構造となっていてもよく、画像処理ユニット９内の各構成は、一部又は全体で一体化してＬＳＩで構成してもよい。い。
ｂ）次に、本実施例における画像処理の手順等を、図３〜図７に基づいて説明する。
【００３１】
ここでは、車両を後退（バック）させて駐車枠内に入れる場合を例に挙げる。
▲１▼最初に、カメラ１から入力された画像を、鳥瞰図変換回路１１で上空から見た鳥瞰図画像に変換し、画像メモリＡに保存する手順を説明する。
まず、カメラ１から出力される原画像（出力画像）を、図３（ａ）に示すが、この原画像は、車両の後部の上部に配置されたカメラ１により、地上に描かれた駐車枠及びその周囲を撮影した画像であるので、自車両（従ってカメラ１）と駐車枠の各線の位置との距離などに応じて、本来矩形である駐車枠が歪んで表示されている。
【００３２】
よって、後に▲２▼にて詳述する様に、原画像の画像データを座標変換して、図３（ｂ）に示す様な歪みのない鳥瞰図画像を作成し、この鳥瞰図画像の画像データを画像メモリＡに記憶する。
▲２▼次に、前記カメラ１で撮影された原画像を鳥瞰図画像に変換する手順を説明する。尚、この手順は、以下に説明する様に、従来技術（例えば特開平１０−２１１８４９号公報）を利用できる。
【００３３】
ここでは、通常の透視変換の逆の処理を行うことにより、地上平面における画像（例えば駐車枠）の位置を鳥瞰図として求める。
具体的には、図４に示す様に、地上の画像の位置データをカメラ位置Ｒからの焦点距離ｆにあるスクリーン平面Ｔに投影するときの透視変換を実行する。
【００３４】
詳しくは、カメラ１は、Ｚ軸上の点Ｒ（０，０，Ｈ）に位置し（カメラ高さ：Ｈ）、カメラ焦点距離ｆ、見下ろし角（カメラのレンズの軸中心の俯角）τにて、地上面（ｘｙ座標面）における画像をモニタしているとすると、スクリーン平面Ｔの画像上の座標（Ｘ、Ｙ）と実空間上（鳥瞰図上）の座標（ｘ、ｙ）との関係は、下記式（１）にて与えられる。

つまり、上記式（１）を用いることにより、投影画像データを（鳥瞰図画像を示す）モニタ３の画面に対応した画像データに変換してモニタ表示することができる。
【００３５】
▲３▼次に、車速信号とヨーレイト信号を用い、車両の動き量（移動量）に応じて、前記画像メモリＡに記憶した鳥瞰図画像を移動（例えば回転移動）させる手順を説明する。
ここでは、図５に時刻Ｔの車両位置を示すが、時刻Ｔ＋１になるまでの車両の移動距離はＬ、時刻Ｔ＋１になるまでに車両が動いた角度はθ１（＝回転中心における回転角度θＣ）とする。
【００３６】
・まず、カメラ１のサンプリング時間が１００[ｍｓ]の場合、車速信号から得られる車速Ｓ[ｋｍ／ｈ]を用いて、下記式（２）から、車両が移動した距離Ｌ[ｍ]を算出できる。

また、図５に示す図形の関係があるので、ヨーレイト信号から得られるヨーレイトθ０[度／ｓ]を用いて、下記式（３）から、車両が動いた角度θ１を算出できる。
θ１[度]＝θ０[度／ｓ]×１００[ｍｓ]÷１０００[ｍｓ／ｓ]・・・（３）
更に、ここでは、車両の回転中心は後輪車軸の延長線上にあるとしているので、その回転中心は、カメラ位置を原点として算出し、車両の進行方向をＹ、これに垂直な方向をＸとすると、Ｘ方向の回転中心位置ＸＣ[ｍ]は、下記式（４）から算出できる。
ＸＣ[ｍ]＝Ｌ[ｍ]÷ＴＡＮ（θ１）・・・（４）
一方、Ｙ方向の中心位置は、後輪車軸上であるので、カメラ１と後輪車軸までの距離はＹＣ[ｃｍ]である。
【００３７】
また、回転中心における回転角度θＣは、図５に示す図形の関係から、車両が動いた角度θ１に一致する。
・次に、上述した様にして求めた回転中心位置（ＸＣ、ＹＣ）、回転角度θＣを用いて、下記の様にして、鳥瞰図画像を移動する。
【００３８】
画像メモリＡに記憶された鳥瞰図画像の画像データは、一旦、画像メモリＢにも記憶される。尚、画像メモリＡに記憶された画像データを用いてモニタ３に表示すると図６（ａ）の様になる。
従って、ここでは、画像メモリＢに記憶された鳥瞰図画像の画像データを、ＣＰＵ１３の内部メモリに転送し、前記回転中心位置（ＸＣ、ＹＣ）及び回転角度θＣを用いて、鳥瞰図画像を回転移動する。
【００３９】
この回転移動を行うための変換式を、下記式（５）に示すが、この変換式を用いたＣＰＵ１３の内部処理により、回転角度θにて移動させた移動後の座標（ＸＢ、ＹＢ）に対して、移動前の対応する点（ＸＡ、ＹＡ）を算出し、（ＸＡ、ＹＡ）の画素値を（ＸＢ、ＹＢ）のアドレスメモリに保存する。
ＸＡ＝ＸＢ・ＣＯＳθ＋ＹＢ・ＳＩＮθ ・・・（５）
ＹＡ＝ＹＢ・ＣＯＳθ−ＸＢ・ＳＩＮθ
但し、（ＸＡ、ＹＢ）：移動前の座標
（ＸＢ、ＹＢ）：移動後の座標
θ ：回転角度
・そして、全ての座標についてこれらの演算を行うことにより、画像メモリＡに記憶された鳥瞰図画像（時刻Ｔにおける第１鳥瞰図画像）から、移動後の鳥瞰図画像（時刻Ｔにおける移動後鳥瞰図画像）を作成する。
【００４０】
それとともに、新たにカメラ１により撮影した画像に基づいて作成した鳥瞰図画像、即ち、現在の鳥瞰図画像（時刻Ｔ＋１における第２鳥瞰図画像）を、新たに画像メモリＡよりＣＰＵ１３に転送する。
よって、ＣＰＵ１３では、第２鳥瞰図画像を時刻Ｔと位置関係が対応する位置（移動後鳥瞰図画像との画像のずれが生じない位置）に書き込み、それによって、移動後鳥瞰図画像と第２鳥瞰図画像とを合成した合成鳥瞰図画像の画像データを作成し、画像メモリＢに上書して記憶する。
【００４１】
尚、この段階で、画像メモリＢに記憶した合成鳥瞰図画像の画像データを用いて、モニタ３に表示すると、例えば図６（ｂ）の後に図６（ｃ）の様になる。
▲４▼次に、合成鳥瞰図画像を投影画像に変換する逆鳥瞰図変換の手順について説明する。
【００４２】
この逆鳥瞰図変換とは、基本的には、上述したカメラ１にて撮影した画像を鳥瞰図画像に変換する処理の逆の処理である。
ここでは、図７に示す様に、合成鳥瞰図画像が見える仮想的なカメラ（仮想カメラ）１ｋの位置を設定し、この仮想カメラ１ｋで撮影したような画像をモニタ３に表示する。
【００４３】
例えば、仮想カメラ１ｋの高さＨk、カメラ俯角τk、焦点距離ｆkとし、仮想カメラ１ｋの前後方向の位置を、実際のカメラ１の位置よりＺｋ前方（フロントバンパの上空）とすると、実空間座標（鳥瞰図座標）（ｘ、ｙ）と仮想カメラ画像座標（Ｘk、Ｙk）との関係は、上記式（１）を変形した下記式（６）にて示される。

これにより、仮想カメラ画像座標（Ｘk、Ｙk）の画像データ（即ち投影画像の画像データ）は、実空間座標（鳥瞰図座標）（ｘ、ｙ）の画像データ（即ち合成鳥瞰図画像の画像データ）を、上記式（６）に代入することにより得られることになる。
【００４４】
従って、この様にして、合成鳥瞰図画像を投影画像に変換し、その画像データを画像メモリＣに記憶する。
そして、この画像メモリＣに記憶した画像データに基づいた投影画像を、モニタ３に表示するのである。
【００４５】
例えば図７の駐車開始図面に示す様に、実際のカメラ１の画像は、同図の上方の三角形内の画像に過ぎないが、仮想カメラ１ｋの様に、車両の先端側に視点を移動させることにより、車両の周囲の画像も表示することができる。
尚、投影画像を作成する際には、自車両の位置やカメラ１の視野角の画像なども加入して画像メモリＣに記憶し、その投影画像をモニタ３の画面に表示してもよいが、自車両の位置やカメラ１の視野角の画像などは画像メモリＣに記憶せずに、モニタ３に画像メモリＣに記憶した投影画像を描画する際に、自車両の位置やカメラ１の視野角の画像など加えて描画してもよい。
【００４６】
ｃ）次に、前記画像処理ユニット９等にて行われる処理を、図８のフローチャートに基づいて説明する。
図８に示す様に、まず、ステップ１００にて、シフト位置がバックであるか否かを判定する。ここで肯定判断されるとステップ１１０に進み、一方否定判断されるとステップ２１０に進む。
【００４７】
尚、シフト位置は、シフト位置検出センサ（図示せず）からの信号や、他の電子制御装置からの信号により検出することができる。
ステップ２１０では、以前に描画したカメラの視野外の領域の画像を消去し、即ち、現在のカメラの画像（鳥瞰図画像）のみを表示し、前記ステップ１００に戻る。
【００４８】
一方、ステップ１１０では、カメラ１で撮影した画像の座標変換（前記鳥瞰図変換）を行って、鳥瞰図画像を作成する。
続くステップ１２０では、前記鳥瞰図画像を画像メモリＡに記憶する。尚、このときには、画像メモリＢにも同様な鳥瞰図画像を記憶する。
【００４９】
続くステップ１３０では、車速信号及びヨーレイト信号に基づいて、移動距離Ｌ及び回転角度θＣで示される車両の動き量（移動量）を求める。
続くステップ１４０では、車両の移動量に基づいて、前記画像メモリＢに記憶されている鳥瞰図画像（時刻Ｔの第１鳥瞰図画像）を移動させて、移動後の鳥瞰図画像（時刻Ｔの移動後鳥瞰図画像）を求める。
【００５０】
続くステップ１５０では、新たに撮影されて画像メモリＡに記憶された（時刻Ｔ＋１における）第２鳥瞰図画像を、画像メモリＡから読み込む。
続くステップ１６０では、移動後鳥瞰図画像と第２鳥瞰図画像とを合成して合成鳥瞰図画像を作成する。
【００５１】
具体的には、移動後鳥瞰図画像上で対応する座標位置に画像メモりＡの画像を全て上書きする。
続くステップ１７０では、合成鳥瞰図画像を、画像メモリＢに記憶する。
続くステップ１８０では、合成鳥瞰図画像を逆鳥瞰図変換して投影画像を作成する。
【００５２】
続くステップ１９０では、投影画像を画像メモリＣに記憶する。
続くステップ２００では、車両を示す画像や視野角を示す画像などを加味して、画像メモリＣに記憶した投影画像をモニタ３に表示し、一旦本処理を終了する。
【００５３】
以後同様な処理を、新たにカメラ１で撮影された画像が取り込まれる毎に実施する。つまり、次回には、合成鳥瞰図画像を車両の移動に応じて移動させて移動後鳥瞰図画像を作成し、その移動後鳥瞰図画像と新たな第２鳥瞰図画像とを合成し、その合成鳥瞰図画像から投影画像を作成してモニタ３に表示し、以後同様な処理を繰り返してゆく。
【００５４】
ｄ）この様に、本実施例では、カメラ１で撮影した画像を鳥瞰図画像に変換し、車両信号に基づいて車両の移動量を検出し、その車両の移動量に応じて鳥瞰図画像を移動させて移動後鳥瞰図画像を作成する。そして、移動後鳥瞰図画像と新たに読み込んだ鳥瞰図画像とを合成して合成鳥瞰図画像を作成し、その合成鳥瞰図画像を投影画像に変換し、モニタ３の画面に表示している。
【００５５】
つまり、本実施例では、合成鳥瞰図画像をそのままモニタ３に表示するのではなく、合成鳥瞰図画像をカメラ１で撮影したような投影画像に逆鳥瞰図変換し、あたかも、カメラ１で撮影した様な画像をモニタ３に表示するのである。
これにより、モニタ３には、通常ドライバーが見慣れている画像が表示されるので、見にくさを感じることがないという効果がある。
【００５６】
また、本実施例では、平面的な鳥瞰図画像を用いて画像の合成を行い、合成された鳥瞰図画像をもとの投影画像に変更するので、画像処理の負担やメモリの負担が少なくて済むという利点がある。
更に、本実施例では、平面的な鳥瞰図画像を用いることで距離が分かり、これより合成された鳥瞰図画像をもとの投影画像に変更するので、測距センサ等を用いずに、容易に合成された投影画像を作成できるという利点がある。
【００５７】
その上、本実施例では、投影画像を作成する際の視点を、カメラ１の位置ではなく、車両の先端側の上方の仮想の位置に移動するので、例えば車両を駐車する際の操作が容易になる。
例えば、カメラ１が車両の後端に配置されている場合には、駐車場にて車両がバックして壁に近接したときには、カメラ１で撮影したままの画像を表示すると、図９（ａ）に示す様に、モニタ３には殆ど壁の画像が表示されてしまい、また、この合成鳥瞰図画像を表示した場合でも、図９（ｂ）に示す様に、壁と地面とが表面的に表示されるので、あまり見やすいものではない。
【００５８】
そこで、この合成鳥瞰図画像に対して視点を仮想位置にずらして逆鳥瞰図変換して投影画像を求め、その投影画像をモニタ３に表示すると、図９（ｂ）に示す様に、きわめて見やすい違和感のないものとなる。
尚、本発明は前記実施例になんら限定されるものではなく、本発明を逸脱しない範囲において種々の態様で実施しうることはいうまでもない。
【００５９】
（１）例えば、前記実施例では、車両周辺画像処理装置について述べたが、この装置による処理を実行させる手段を記憶している記録媒体も、本発明の範囲である。この記録媒体としては、マイクロコンピュータとして構成される電子制御装置、マイクロチップ、フロッピィディスク、ハードディスク、光ディスク等の各種の記録媒体が挙げられる。
【００６０】
つまり、上述した車両周辺画像処理装置の処理を実行させることができる例えばプログラム等の手段を記憶したものであれば、特に限定はない。
（２）また、視点の仮想の位置（仮想カメラの位置）は、予め設定された固定の位置でもよいが、ユーザにより任意に変更可能としてもよい。これにより、各ユーザにとって最も見やすい画像を表示することができる。
【００６１】
（３）更に、モニタに表示する画像としては、合成鳥瞰図画像と投影画像とを、ユーザにより任意に変更可能としてもより。これにより、各ユーザにとって最も見やすい画像を表示することができる。
（４）その上、前記実施例では、車両の移動状態を車速センサやヨーレートセンサを用いて検出し、その情報に基づいて移動後鳥瞰図画像を作成する様にしたが、例えばカメラで撮影した画像（鳥瞰図画像）の動きベクトルを求め、この動きベクトルから車両の移動状態を推定して、移動後鳥瞰図画像を求めてもよい。
【００６２】
例えばいわゆる画像のマッチングの処理により、第１鳥瞰図画像とそれより後の第２鳥瞰図画像との移動状態を検出し、その画像の移動状態から車両の移動状態を求めるようにしてもよい。
【図面の簡単な説明】
【図１】実施例の車両周辺画像処理装置の主要構成を示す説明図である。
【図２】実施例の車両周辺画像処理装置の電気的構成を示す説明図である。
【図３】実施例の車両周辺画像処理装置により用いられる画像を示し、（ａ）はカメラにより撮影された画像の説明図、（ｂ）は鳥瞰図画像を示す説明図である。
【図４】実施例の車両周辺画像処理装置による座標変換の際の位置関係を示す説明図である。
【図５】実施例の車両周辺画像処理装置による車両の移動量を求めるための手法を示す説明図である。
【図６】実施例の車両周辺画像処理装置のよる画像作成の手順を示す説明図である。
【図７】実施例の車両周辺画像処理装置のよる画像作成の方法を示し、（ａ）はカメラの位置等を示す説明図、（ｂ）は駐車開始時の画像を示す説明図、（ｃ）は駐車中の画像を示す説明図、（ｄ）は駐車終了の画像を示す説明図である。
【図８】実施例の車両周辺画像処理装置の処理を示すフローチャートである。
【図９】実施例の車両周辺画像処理装置のよる画像作成の手順を示す説明図である。
【符号の説明】
１…カメラ
３…車載モニタ（モニタ）
５…車速センサ
７…ヨーレイトセンサ
９…画像処理ユニット

Claims

車両周辺の画像を撮影する撮影手段と、画像を表示する表示手段とを備えた車両に対して、前記撮影手段により撮影された画像を処理して前記表示手段に表示する車両周辺画像処理装置において、
前記撮影手段により撮影された画像に基づいて作成された第１鳥瞰図画像を記憶する鳥瞰図画像記憶手段と、
前記第１鳥瞰図画像を、前記車両の移動状態に応じて移動させて、移動後鳥瞰図画像を作成する移動後鳥瞰図画像作成手段と、
前記第１鳥瞰図画像より後に撮影されて作成された第２鳥瞰図画像と、前記移動後鳥瞰図画像とを合成して、合成鳥瞰図画像を作成する合成鳥瞰図画像作成手段と、
前記合成鳥瞰図画像を所定の視点からの投影画像に変換する画像変換手段と、
を備え、
前記投影画像を前記表示手段に表示することを特徴とする車両周辺画像処理装置。
前記視点を前記撮影手段の撮影位置とは異なる仮想の位置に移動し、その仮想の位置を視点として前記投影画像を求めることを特徴とする前記請求項１に記載の車両周辺画像処理装置。
前記視点の仮想の位置を、ユーザにより変更可能としたことを特徴とする前記請求項１又は２に記載の車両周辺画像処理装置。
前記表示手段に表示する画像を、前記合成鳥瞰図画像と前記投影画像とに、ユーザにより変更可能としたことを特徴とする前記請求項１〜３のいずれかに記載の車両周辺画像処理装置。
前記表示手段に前記投影画像を表示する場合には、自車両を示す画像を加えて表示することを特徴とする前記請求項１〜４のいずれかに記載の車両周辺画像処理装置。
前記第１鳥瞰図画像として、今回の合成鳥瞰図画像より前に作成した合成鳥瞰図画像を用いることを特徴とする前記請求項１〜５のいずれかに記載の車両周辺画像処理装置。
前記合成鳥瞰図画像は、前記第２鳥瞰図画像を表示する表示領域以外に、前記移動後鳥瞰図画像を加入した画像であることを特徴とする前記請求項１〜６のいずれかに記載の車両周辺画像処理装置。
前記請求項１〜７のいずれかに記載の車両周辺画像処理装置による処理を実行させる手段を記憶していることを特徴とする記録媒体。