JP4071463B2 - 車両周辺画像処理装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、例えば車両の周辺を撮影してモニタに表示できる車両周辺画像処理装置に関するものである。
【０００２】
【従来の技術】
従来より、車両の後方の様子を表示する装置として、車両の後部に取り付けたカメラの画像を、そのままモニタに出力する表示装置が知られている。
この表示装置では、車両後方の状態が有る程度分かるが、自車両とモニタに表示されている対象物（例えば駐車枠）の画像の相対位置関係が分かりに難いという問題がある。
【０００３】
また、これとは別に、特開平１０−２１１８４９号公報には、後方カメラで撮影した画像（後方カメラ画像）を鳥瞰図に変換し、自車両をその中に表示するという技術が提案されている。
【０００４】
【発明が解決しようとする課題】
この技術の場合には、鳥瞰図の中に自車両を示すので、画像に表示された対象物と自車両の位置関係は、撮影した画像をそのままモニタに表示するものより分かり易くなっているが、カメラの現在の視野の外にあるものは表示できないという別の問題があった。
【０００５】
そのため、例えば車両を後退させて駐車枠に入れるような場合には、カメラの視野外に出た駐車枠を表示できないので、依然として、車両を駐車枠に入れる操作が容易ではないという問題があった。
これに対して、既に本願発明者らにより、車両後部に取り付けたカメラから、車両後方の画像を撮影し、画像処理でこれらを上から見た鳥瞰画像に変換し、変換した画像の時間的変化から車両の動きを算出して、カメラの視野外に消えて行く画像領域を算出し、更に現時刻の変換画像を貼り付けて、従来より広い範囲を表示する技術が開発されている。
【０００６】
この技術は、それ以前の技術よりも優れているものであるが、モニタに表示される画像は、その大部分が過去の画像データに基づくものであるので、例えば新たな障害物が、モニタに表示された（過去のデータに基づく）領域に進入した場合には、これを監視できないという問題があった。
【０００７】
本発明は、前記課題を解決するためになされたものであり、例えばカメラの視野の外に出た部分を推定して描画することができるとともに、車両の周囲をリアルタイムで監視することができる車両周辺画像処理装置を提供することを目的とする。
【００１６】
【課題を解決するための手段及び発明の効果】
（１）請求項１の発明は、車両周辺の画像を撮影する撮影手段（例えばカメラ）と、画像を表示する表示手段（例えばモニタ）とを備えた車両に対して、撮影手段により撮影された画像を処理して表示手段に表示する車両周辺画像処理装置に関するものである。
本発明では、撮影手段により撮影した画像を、例えば撮影手段を視点として投影した地上面座標系のデータに変換して鳥瞰図画像の画像データを順次作成する。即ち、第１鳥瞰図画像及びそれより後の画像である第２鳥瞰図画像等の画像データを作成する。これにより、画像は、例えばカメラで撮影したままの歪んだ画像ではなく、地面の上方より見たような見やすい鳥瞰図画像となる。
更に、車両の移動状態に対応して、第１鳥瞰図画像を移動させて移動後鳥瞰図画像の画像データを作成し、この移動後鳥瞰図画像の画像データと、（第１鳥瞰図画像より）新しい第２鳥瞰図画像の画像データとを合成して合成鳥瞰図画像の画像データを作成する。すなわち、第２鳥瞰図画像を表示する表示領域以外に移動後鳥瞰図画像を加入して表示するように合成鳥瞰図画像を作成する。
つまり、車両が移動するにつれて、例えばカメラの視野が変化するので、当然、撮影した時間が異なる第１鳥瞰図画像と第２鳥瞰図画像では、画像のずれ（撮影された部分の違い）が発生する。そこで、第２鳥瞰図画像に、そのずれの部分（即ち過去に視野内であったが現在視野から消えている部分）の移動後鳥瞰図画像を適宜加味することにより、モニタ等にカメラの視野から消えた部分を表示する。
更に、本発明では、障害物検出手段（例えば超音波センサ）によって検出された障害物を示す画像を、合成鳥瞰図画像に加入して、表示手段に表示する。
従って、モニタ等には、周囲の画像だけでなく、障害物の位置等を表示することができるので、車両の操作における安全性が一層向上するという効果がある。
つまり、モニタ等にカメラの視野から消えた部分を表示する技術においては、モニタ等に表示される画像は、その大部分が過去の画像データに基づくものであるが、本発明によれば、例えば新たな車両や人等の障害物が、モニタに表示された領域（過去のデータに基づいて作成された画面の領域）に進入した場合にも、これを監視できるという顕著な効果を奏する。
尚、車両の移動状態から合成鳥瞰図画像を作成する手法としては、画像の時間的変化から車両の動きを算出して移動後鳥瞰図画像を作成したり、車両信号を用いて移動後鳥瞰図画像を作成する手法を採用できる。
特に、本発明では、障害物を示す画像を加入した合成鳥瞰図画像を記憶しておき、この障害物の画像を加入した合成鳥瞰図画像を車両の移動に応じて移動させて移動後鳥瞰図画像を作成し、障害物画像を含む移動後鳥瞰図画像と新たな第２鳥瞰図画像とを合成して新たな合成鳥瞰図画像を作成し、表示手段に画像を表示する際に、新たな合成鳥瞰図画像に障害物検出手段によって新たに検出された障害物を示す画像を加入して、表示手段に表示する。
例えばモニタに、障害物を含む合成鳥瞰図画像を表示した場合には、次に、合成鳥瞰図画像を作成する場合には、（モニタに表示した）障害物を含む合成鳥瞰図画像と新たに撮影によって得られた第２鳥瞰図画像とを合成する。
これにより、車両の移動につれて、モニタ上に連続的に画像を表示する場合でも、障害物の画像を、変化するモニタ画面上にて対応する同じ場所に表示できる。よって、例えば駐車枠の角に障害物があった場合には、表示画像が変化しても同じ駐車枠の角に障害物を表示できるので、障害物を継続的に認識することができ、車両の運転の際の安全性が向上する。
この手法は、障害物が移動しない固定物である場合に特に有効である。また、障害物が車両等の様に移動物である場合には、障害物の移動してゆく状態が分かるという利点がある。
【００２２】
（２）請求項２の発明では、メモリＡに鳥瞰図画像作成手段により作成された鳥瞰図画像の画像データを記憶し、メモリＢに合成鳥瞰図画像作成手段により作成された合成鳥瞰図画像の画像データを記憶し、メモリＣに障害物を示す画像データを記憶する。
【００２３】
本発明は、画像データを記憶する記憶手段を例示したものである。
【００３０】
【発明の実施の形態】
以下に、本発明の車両周辺画像処理装置の実施の形態の例（実施例）を説明する。
（実施例１）
ａ）本実施例の基本的なシステム構成を図１及び図２を用いて説明する。
【００３１】
図１に示す様に、本実施例の車両周辺画像処理装置は、自動車の後部に配置されたカメラ（例えばＣＣＤカメラ）１と、ダッシュボードに配置された車載モニタ（例えば液晶ディスプレイ）３と、車速を検出する車速センサ５と、ヨーレイトを検出するヨーレイトセンサ７と、車両に周囲の障害物を検出する超音波センサ８と、画像処理を行う画像処理ユニット９を備えている。
【００３２】
前記画像処理ユニット９は、図２に示す様に、マイクロコンピュータを主要部とする画像データの処理を行う電子装置であり、カメラ１で撮影した画像データの座標変換を行って鳥瞰図画像を作成する座標変換部（鳥瞰図変換回路）１１と、作成された鳥瞰図画像の画像データを一時的に蓄える画像メモリＡと、車速信号を入力する車速信号入力回路１３と、ヨーレイト信号を入力するヨーレイト信号入力回路１５と、超音波センサ８からの超音波信号を入力する超音波信号入力回路１６と、車速信号及びヨーレイト信号を読み込んで鳥瞰図画像を移動（例えば回転移動）させたり障害物を示す画像の処理等の演算を行うＣＰＵ１７と、モニタ３に表示する鳥瞰図画像のデータを記憶する画像メモリＢとを備えている。
【００３３】
ここで、画像メモリＢに記憶する鳥瞰図画像の画像データとは、後述する様に、前回（例えば時刻Ｔに）カメラ１にて撮影され、その画像データに基づいて作成された鳥瞰図画像（第１鳥瞰図画像）を移動させた鳥瞰図画像（移動後鳥瞰図画像）と、新たに（例えば時刻Ｔ＋１に）カメラ１にて撮影され、その画像データに基づいて作成された鳥瞰図画像（第２鳥瞰図画像）とを合成した鳥瞰図画像（合成鳥瞰図画像）の画像データである。
【００３４】
特に本実施例では、この合成鳥瞰図画像には、超音波センサ８によって検出された障害物を示す画像が書き込まれている。
また、前記超音波センサ８は、図３に示す様に、車両の周囲の障害物を検出できる様に、車両の左右の側面及び後部に所定の間隔を保って配置されている。
【００３５】
従って、例えばセンサＡ〜Ｅの様に配置された各超音波センサ８から超音波を発信し、その受信波を受信することにより、各超音波センサ８の検出範囲内に障害物があるか否かだけでなく、その障害物との距離や障害物の大きさを検出することができる。
【００３６】
尚、画像処理ユニット３は、カメラ１と一体の構造となっていてもよく、画像処理ユニット９内の各構成は、一部又は全体で一体化してＬＳＩで構成してもよい。い。
ｂ）次に、本実施例における画像処理の手順等を、図４〜図６に基づいて説明する。
【００３７】
ここでは、車両を後退（バック）させて駐車枠内に入れる場合を例に挙げる。
▲１▼最初に、カメラ１から入力された画像を、鳥瞰図変換回路１１で上空から見た鳥瞰図画像に変換し、画像メモリＡに保存する手順を説明する。
まず、カメラ１から出力される原画像（出力画像）を、図４（ａ）に示すが、この原画像は、車両の後部の上部に配置されたカメラ１により、地上に描かれた駐車枠及びその周囲を撮影した画像であるので、自車両（従ってカメラ１）と駐車枠の各線の位置との距離などに応じて、本来矩形である駐車枠が歪んで表示されている。
【００３８】
よって、後に▲２▼にて詳述する様に、原画像の画像データを座標変換して、図４（ｂ）に示す様な歪みのない鳥瞰図画像を作成し、この鳥瞰図画像の画像データを画像メモリＡに記憶する。
▲２▼次に、前記カメラ１で撮影された原画像を鳥瞰図画像に変換する手順を説明する。尚、この手順は、以下に説明する様に、従来技術（例えば特開平１０−２１１８４９号公報）を利用できる。
【００３９】
ここでは、通常の透視変換の逆の処理を行うことにより、地上平面における画像（例えば駐車枠）の位置を鳥瞰図として求める。
具体的には、図５に示す様に、地上の画像の位置データをカメラ位置Ｒからの焦点距離ｆにあるスクリーン平面Ｔに投影するときの透視変換を実行する。
【００４０】
詳しくは、カメラ１は、Ｚ軸上の点Ｒ（０，０，Ｈ）に位置し、見下ろし角τで地上面（ｘｙ座標面）における画像をモニタしているとする。
従って、ここでは、下記式（１）に示す様にして、スクリーン平面Ｔ上の２次元座標（α、β）を、地上面上の座標（鳥瞰図座標）に変換（逆の透視変換）できる。
【００４１】
【数１】

【００４２】
つまり、上記式（１）を用いることにより、投影画像データを（鳥瞰図画像を示す）モニタ５の画面に対応した画像データに変換してモニタ表示することができる。
▲３▼次に、車速信号とヨーレイト信号を用い、車両の動き量（移動量）に応じて、前記画像メモリＡに記憶した鳥瞰図画像を移動（例えば回転移動）させる手順を説明する。
【００４３】
ここでは、図６に時刻Ｔの車両位置を示すが、時刻Ｔ＋１になるまでの車両の移動距離はＬ、時刻Ｔ＋１になるまでに車両が動いた角度はθ１（＝回転中心における回転角度θＣ）とする。
・まず、カメラ１のサンプリング時間が１００[ｍｓ]の場合、車速信号から得られる車速Ｓ[ｋｍ／ｈ]を用いて、下記式（２）から、車両が移動した距離Ｌ[ｍ]を算出できる。
【００４４】
Ｌ[ｍ]＝Ｓ[ｋｍ／ｈ]×１０００[ｍ／ｋｍ]÷３６００[Ｓ／ｈ]
×１００[ｍｓ]÷１０００[ｍｓ／ｓ] ・・・（２）
また、図６に示す図形の関係があるので、ヨーレイト信号から得られるヨーレイトθ０[度／ｓ]を用いて、下記式（３）から、車両が動いた角度θ１を算出できる。
【００４５】
θ１[度]＝θ０[度／ｓ]×１００[ｍｓ]÷１０００[ｍｓ／ｓ]・・・（３）
更に、ここでは、車両の回転中心は後輪車軸の延長線上にあるとしているので、その回転中心は、カメラ位置を原点として算出し、車両の進行方向をＹ、これに垂直な方向をＸとすると、Ｘ方向の回転中心位置ＸＣ[ｍ]は、下記式（４）から算出できる。
【００４６】
ＸＣ[ｍ]＝Ｌ[ｍ]÷ＴＡＮ（θ１） ・・・（４）
一方、Ｙ方向の中心位置は、後輪車軸上であるので、カメラと後輪車軸までの距離はＹＣ[ｃｍ]である。
また、回転中心における回転角度θＣは、図６に示す図形の関係から、車両が動いた角度θ１に一致する。
【００４７】
・次に、上述した様にして求めた回転中心位置（ＸＣ、ＹＣ）、回転角度θＣを用いて、下記の様にして、鳥瞰図画像を移動する。
画像メモリＡに記憶された鳥瞰図画像の画像データは、一旦、画像メモリＢにも記憶される。従って、ここでは、画像メモリＢに記憶された鳥瞰図画像の画像データを、ＣＰＵ１７の内部メモリに転送し、前記回転中心位置（ＸＣ、ＹＣ）及び回転角度θＣを用いて、鳥瞰図画像を回転移動する。
【００４８】
この回転移動を行うための変換式を、下記式（５）に示すが、この変換式を用いたＣＰＵ１７の内部処理により、回転角度θにて移動させた移動後の座標（ＸＢ、ＹＢ）に対して、移動前の対応する点（ＸＡ、ＹＡ）を算出し、（ＸＡ、ＹＡ）の画素値を（ＸＢ、ＹＢ）のアドレスメモリに保存する。
【００４９】
ＸＡ＝ＸＢ・ＣＯＳθ＋ＹＢ・ＳＩＮθ ・・・（５）
ＹＡ＝ＹＢ・ＣＯＳθ−ＸＢ・ＳＩＮθ
但し、（ＸＡ、ＹＢ）：移動前の座標
（ＸＢ、ＹＢ）：移動後の座標
θ ：回転角度
・そして、全ての座標についてこれらの演算を行うことにより、画像メモリＡに記憶された鳥瞰図画像（時刻Ｔにおける第１鳥瞰図画像）から、移動後の鳥瞰図画像（時刻Ｔにおける移動後鳥瞰図画像）を作成する。
【００５０】
それとともに、新たにカメラ１により撮影した画像に基づいて作成した鳥瞰図画像、即ち、現在の鳥瞰図画像（時刻Ｔ＋１における第２鳥瞰図画像）を、新たに画像メモリＡよりＣＰＵ１７に転送する。
よって、ＣＰＵ１７では、第２鳥瞰図画像を時刻Ｔと位置関係が対応する位置（移動後鳥瞰図画像との画像のずれが生じない位置）に書き込み、それによって、移動後鳥瞰図画像と第２鳥瞰図画像とを合成した合成鳥瞰図画像の画像データを作成する。
【００５１】
▲４▼次に、超音波センサ８によって検出した障害物を示す画像の処理について説明する。
上述した画像処理とは別に、各超音波センサ８から超音波を発信し、その反射波を受信することによって、車両の周囲の障害物を検出する。
【００５２】
そして、障害物が検出された場合には、障害物を検出した位置のデータ、即ち障害物が車両に対してどの位置（障害物を検出した当該超音波センサ８の発信方向）にて、どれほど離れているかを示す位置のデータや、障害物の大きさのデータを求める。
【００５３】
次に、前記合成鳥瞰図画像に対して、前記位置等のデータに基づいて、障害物がどの位置にあるかを求め、その求めた位置に障害物であることを示す画像（障害物画像）を書き込む処理を行う。
例えば超音波センサ８により、障害物との距離や大きさが分かった場合には、その障害物の情報に基づいて、障害物に大きさに比例した赤色のリングを（合成鳥瞰図画像に対して）障害物がある位置に書き込む。
【００５４】
そして、この障害物画像を書き込んだ合成鳥瞰図画像（書込合成鳥瞰図画像）を、画像メモリＢに記憶し、この画像メモリＢに記憶した書込合成鳥瞰図画像を、モニタ３に表示する。
尚、合成鳥瞰図画像を作成する際には、自車両の位置やカメラ１の視野角の画像なども加入して画像メモリＢに記憶し、その合成鳥瞰図画像をモニタ５の画面に表示してもよいが、自車両の位置やカメラ１の視野角の画像などは画像メモリＢに記憶せずに、モニタ５に画像メモリＢに記憶した合成鳥瞰図画像を描画する際に、自車両の位置やカメラ１の視野角の画像など加えて描画してもよい。
【００５５】
ｃ）次に、前記画像処理ユニット５等にて行われる処理を、図７のフローチャートに基づいて説明する。
図７に示す様に、まず、ステップ１００にて、シフト位置がバックであるか否かを判定する。ここで肯定判断されるとステップ１１０に進み、一方否定判断されるとステップ２１０に進む。
【００５６】
尚、シフト位置は、シフト位置検出センサ（図示せず）からの信号や、他の電子制御装置からの信号により検出することができる。
ステップ２１０では、以前に描画したカメラの視野外の領域の画像を消去し、即ち、現在のカメラの画像（鳥瞰図画像）のみを表示し、前記ステップ１００に戻る。
【００５７】
一方、ステップ１１０では、カメラ１で撮影した画像の座標変換（前記鳥瞰図変換）を行って、鳥瞰図画像を作成する。
続くステップ１２０では、前記鳥瞰図画像を画像メモリＡに記憶する。尚、このときには、画像メモリＢにも同様な鳥瞰図画像を記憶する。
【００５８】
続くステップ１３０では、車速信号及びヨーレイト信号に基づいて、移動距離Ｌ及び回転角度θＣで示される車両の動き量（移動量）を求める。
続くステップ１４０では、車両の移動量に基づいて、前記画像メモリＢに記憶されている鳥瞰図画像（時刻Ｔの第１鳥瞰図画像）を移動させて、移動後の鳥瞰図画像（時刻Ｔの移動後鳥瞰図画像）を求める。
【００５９】
続くステップ１５０では、新たに撮影されて画像メモリＡに記憶された（時刻Ｔ＋１における）第２鳥瞰図画像を、画像メモリＡから読み込む。
続くステップ１６０では、移動後鳥瞰図画像と第２鳥瞰図画像とを合成して合成鳥瞰図画像を作成する。
【００６０】
具体的には、図８に示す様に、新たな（第２鳥瞰図画像に対応する）カメラ視野の外に、今回の車両の移動によりカメラ視野外となった部分、即ち、第１鳥瞰図画像を車両の移動量に対応して移動させて形成した移動後鳥瞰図画像の一部（詳しくは第２鳥瞰図画像と重なる部分は除いたもの）を書き込むようにして、合成鳥瞰図画像を作成する。
【００６１】
尚、同図で車両は参考にために記載したものであり、実際には、例えばモニタ画面の描画の際に、車両を示す枠等を描画する。
続くステップ１７０では、超音波センサ８からの信号に基づいて、障害物の位置及び障害物の大きさを求める。
【００６２】
続くステップ１８０では、検出した障害物の情報に基づいて、障害物を示す画像（例えば赤色のリング）を、合成鳥瞰図画像に対して障害物が存在する位置に書き込む。これによって、障害物画像が書き込まれた合成鳥瞰図画像（書込合成鳥瞰図画像）が作成される。
【００６３】
続くステップ１９０では、書込合成鳥瞰図画像を、画像メモリＢに記憶する。続くステップ２００では、車両を示す画像や視野角を示す画像などを加味して、画像メモリＢに記憶した書込合成鳥瞰図画像をモニタ５に表示し、一旦本処理を終了する。
【００６４】
以後同様な処理を、新たにカメラ１で撮影された画像が取り込まれる毎に実施する。つまり、次回には、書込合成鳥瞰図画像を車両の移動に応じて移動させて移動後鳥瞰図画像を作成し、その（障害物画像を含む）移動後鳥瞰図画像と新たな第２鳥瞰図画像とを合成して、障害物がある場合には障害物画像を加えてモニタ３に表示する画像を作成し、以後同様な処理を繰り返してゆく。
【００６５】
尚、毎回検出される障害物が、画像において同じ位置にある場合、例えば駐車枠の角に障害物があり、画面が移動しても同様に駐車枠の角に障害物がある様な場合には、同一の（固定の）障害物であると見なして、同じ障害物の画像を表示する。
【００６６】
ｄ）この様に、本実施例では、カメラ１で撮影した画像を鳥瞰図画像に変換し、車両信号に基づいて車両の移動量を検出し、その車両の移動量に応じて鳥瞰図画像を移動させて移動後鳥瞰図画像を作成している。
そして、移動後鳥瞰図画像と新たに読み込んだ鳥瞰図画像とを合成して合成鳥瞰図画像を作成し、その合成鳥瞰図画像に、（超音波センサ８からの信号によって求めた）障害物画像を加えるとともに、自車両及び視野角の画像を加えて、モニタ５の画面に表示している。
【００６７】
つまり、本実施例では、車両が移動する際にカメラ視野から外れた領域を推定し、合成することによって、通常はカメラ視野外となる表示できない部分も含めて表示することができるので、図９に示す様に、自車両と駐車枠との位置関係が明瞭に把握できる。そのため、バックで駐車する操作などが容易になる。
【００６８】
尚、前記図９では、車両が駐車枠に対して、回転移動した後に後方に直線的に移動する際に、本実施例の手法によって演算処理されたモニタ３の表示画面を、（ａ）、（ｂ）、（ｃ）と順を追って示している。
特に本実施例では、例えば図９（ｂ）に示す様に、カメラ１の視野外に障害物が存在する場合（又は進入した場合）でも、障害物の位置をモニタに表示できるので、リアルタイムで車両の周囲を監視でき、安全性が向上するという利点がある。
【００６９】
また、本実施例では、一旦モニタに表示された画像（即ち書込合成鳥瞰図画像として作成された画像）には、障害物画像が残っており、その後、再度画像メモリＢの画像データを用いて、新たな合成鳥瞰図画像が作成される場合には、その画像には障害物画像が残っている。よって、特に障害物が移動しない場合には、図９（ｃ）に示す様に、車両が移動した場合でも、元の位置に障害物画像を残して置くことができるので、運転者に対して注意を喚起することができるという利点がある。
（実施例２）
次に、実施例２について説明するが、前記実施例１と同様な箇所の説明は省略する。
【００７０】
本実施例は、障害物画像を書き込んだ合成鳥瞰図画像を次の合成鳥瞰図画像の作成の際に用いるものではなく、毎回新たな障害物画像を合成鳥瞰図画像に書き込んで、モニタに表示するものである。
ａ）本実施例では、図１０に示す様に、カメラ１から読み込んで鳥瞰図画像に変換した鳥瞰図画像の画像データを画像メモリＡに記憶し、（障害物画像が書き込まれていない）合成鳥瞰図画像の画像データを画像メモリＢに記憶し、障害物画像の画像データを画像メモリＣに記憶し、（障害物画像が書き込まれ）モニタに表示される書込合成鳥瞰図画像を画像メモリＤに記憶する。
【００７１】
ｂ）本実施例では、図１１のフローチャートに示す様に、ステップ３００にて、前記実施例１の手法により、新たな鳥瞰図画像と移動後鳥瞰図画像とを合成して合成鳥瞰図画像を作成する。
続くステップ３１０では、画像メモリＢに合成鳥瞰図画像に記憶する。
【００７２】
続くステップ３２０では、超音波センサ８によって障害物の位置等を検出する。 続くステップ３３０では、障害物を示す画像のデータ、即ち障害物画像の位置や大きさ等を示すデータを、画像メモリＣに記憶する。
続くステップ３４０では、前記画像メモリＢから合成鳥瞰図画像の画像データを読み出すとともに、画像メモリＣから障害物画像の画像データを読み出す。
【００７３】
続くステップ３５０では、合成鳥瞰図画像に障害物画像を書き込んで書込合成鳥瞰図画像を作成する。
続くステップ３６０では、書込合成鳥瞰図画像を画像メモリＤに記憶する。
続くステップ３７０では、画像メモリＤに記憶されたを書込合成鳥瞰図画像をモニタ３に表示し、一旦本処理を終了する。
【００７４】
以後同様な処理を、新たにカメラ１で撮影された画像が取り込まれる毎に実施する。
つまり、次の合成鳥瞰図画像を作成する場合には、画像メモリＢから（障害物画像を含まない）合成鳥瞰図画像を読み出し、車両の移動に合わせて移動後鳥瞰図画像を作成し、その（障害物画像を含まない）移動後鳥瞰図画像と新たな第２鳥瞰図画像とを合成して、新たなに合成鳥瞰図画像を作成する。そして、新たに障害物がある場合には障害物画像を書き込んで、モニタ３に表示し、以後同様な処理を繰り返すのである。
【００７５】
ｃ）この様に、本実施例では、モニタに画像を表示する際に、合成鳥瞰図画像に障害物画像を書き込み、その書込合成鳥瞰図画像をモニタに表示している。
つまり、新たに移動後鳥瞰図画像を作成する場合には、障害物画像が書き込まれていない合成鳥瞰図画像を用いている。
【００７６】
従って、特に障害物が移動する場合には、過去の障害物画像ではなく、常に最新の障害物画像をモニタ３に表示できるので、リアルタイムで車両の周囲を監視でき、一層運転操作の安全性が向上するという効果がある。
この様に、カメラ１の視野外を過去の画像を用いて表示する場合には、障害物が例えば車両や人の様に移動しているときには、過去の障害物の位置を表示しても、運転者に正確な障害物の情報を提供できるとは限らないので、本実施例では、最新の障害物の位置等に関する情報をモニタ３に表示することにより、一層運転の安全性の向上に寄与するものである。
【００７７】
尚、本発明は前記実施例になんら限定されるものではなく、本発明を逸脱しない範囲において種々の態様で実施しうることはいうまでもない。
【００７９】
例えば前記実施例では、車両の移動状態を車速センサやヨーレートセンサを用いて検出し、その情報に基づいて移動後鳥瞰図画像を作成する様にしたが、例えばカメラで撮影した画像（鳥瞰図画像）の動きベクトルを求め、この動きベクトルから車両の移動状態を推定して、移動後鳥瞰図画像を求めてもよい。
【００８０】
例えばいわゆる画像のマッチングの処理により、第１鳥瞰図画像とそれより後の第２鳥瞰図画像との移動状態を検出し、その画像の移動状態から車両の移動状態を求めるようにしてもよい。
【図面の簡単な説明】
【図１】 実施例１の車両周辺画像処理装置の主要構成を示す説明図である。
【図２】 実施例１の車両周辺画像処理装置の電気的構成を示す説明図である。
【図３】 実施例１の車両に配置された超音波センサの位置や検出領域を示す説明図である。
【図４】 実施例１の車両周辺画像処理装置により用いられる画像を示し、（ａ）はカメラにより撮影された画像の説明図、（ｂ）は鳥瞰図画像を示す説明図である。
【図５】 実施例１の車両周辺画像処理装置による座標変換の際の位置関係を示す説明図である。
【図６】 実施例１の車両周辺画像処理装置による車両の移動量を求めるための手法を示す説明図である。
【図７】 実施例１の車両周辺画像処理装置の処理を示すフローチャートである。
【図８】 実施例１の車両周辺画像処理装置のよる画像作成の手順を示す説明図である。
【図９】 実施例１の車両周辺画像処理装置により表示されるモニタ画像を示
【図１０】 実施例２の車両周辺画像処理装置のメモリ等の構成を示す説明図である。
【図１１】 実施例２の車両周辺画像処理装置の処理を示すフローチャートである。
【符号の説明】
１…カメラ
３…車載モニタ（モニタ）
５…車速センサ
７…ヨーレイトセンサ
８…超音波センサ
９…画像処理ユニット

Claims (2)

1. 車両周辺の画像を撮影する撮影手段と、画像を表示する表示手段とを備えた車両に対して、前記撮影手段により撮影された画像を処理して前記表示手段に表示する車両周辺画像処理装置において、
   前記撮影手段により撮影した画像に基づいて、その鳥瞰図画像を作成する鳥瞰図画像作成手段と、
   前記鳥瞰図画像作成手段によって作成された第１鳥瞰図画像を、前記車両の移動状態に応じて移動させて、移動後鳥瞰図画像を作成する鳥瞰図画像移動手段と、
   前記第１鳥瞰図画像より後に撮影されて作成された第２鳥瞰図画像と、前記移動後鳥瞰図画像とを用いて、前記第２鳥瞰図画像を表示する表示領域以外に前記移動後鳥瞰図画像を加入して表示するように合成して合成鳥瞰図画像を作成する合成鳥瞰図画像作成手段と、
   前記車両の周囲にある障害物を検出する障害物検出手段と、
   前記障害物検出手段によって検出された障害物を示す画像を、前記合成鳥瞰図画像に加入して、前記表示手段に表示する障害物表示手段と、
   を備え、
   前記障害物を示す画像を加入した合成鳥瞰図画像を記憶しておき、この障害物の画像を加入した合成鳥瞰図画像を前記車両の移動に応じて移動させて移動後鳥瞰図画像を作成し、該障害物画像を含む移動後鳥瞰図画像と新たな前記第２鳥瞰図画像とを合成して新たな合成鳥瞰図画像を作成し、前記表示手段に画像を表示する際に、前記新たな合成鳥瞰図画像に前記障害物検出手段によって新たに検出された障害物を示す画像を加入して、前記表示手段に表示することを特徴とする車両周辺画像処理装置。
2. 前記鳥瞰図画像作成手段により作成された鳥瞰図画像の画像データを記憶するメモリＡと、
   前記合成鳥瞰図画像作成手段により作成された合成鳥瞰図画像の画像データを記憶するメモリＢと、
   前記障害物を示す画像データを記憶するメモリＣと、
   を備えたことを特徴とする前記請求項１に記載の車両周辺画像処理装置。

Images