JP3813085B2 - 車両周辺画像処理装置及び記録媒体 - Google Patents
車両周辺画像処理装置及び記録媒体 Download PDFInfo
- Publication number
- JP3813085B2 JP3813085B2 JP2001384588A JP2001384588A JP3813085B2 JP 3813085 B2 JP3813085 B2 JP 3813085B2 JP 2001384588 A JP2001384588 A JP 2001384588A JP 2001384588 A JP2001384588 A JP 2001384588A JP 3813085 B2 JP3813085 B2 JP 3813085B2
- Authority
- JP
- Japan
- Prior art keywords
- bird
- eye view
- image
- view image
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 64
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 282
- 240000004050 Pentaglottis sempervirens Species 0.000 claims description 235
- 230000033001 locomotion Effects 0.000 claims description 51
- 238000000034 method Methods 0.000 claims description 22
- 239000002131 composite material Substances 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 8
- 230000002093 peripheral effect Effects 0.000 claims description 5
- 230000008878 coupling Effects 0.000 claims 1
- 238000010168 coupling process Methods 0.000 claims 1
- 238000005859 coupling reaction Methods 0.000 claims 1
- 238000006243 chemical reaction Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 239000000203 mixture Substances 0.000 description 3
- 241000791900 Selene vomer Species 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、例えば車両の周辺を撮影してモニタに表示できる車両周辺画像処理装置及び記録媒体に関するものである。
【０００２】
【従来の技術】
従来より、車両の後方の様子を表示する装置として、車両の後部に取り付けたカメラの画像を、そのままモニタに出力する表示装置が知られている。
この表示装置では、車両後方の状態が有る程度分かるが、自車両とモニタに表示されている対象物（例えば駐車枠）の画像の相対位置関係が分かりに難いという問題がある。
【０００３】
また、これとは別に、特開平１０−２１１８４９号公報には、後方カメラで撮影した画像（後方カメラ画像）を鳥瞰図に変換し、自車両をその中に表示するという技術が提案されている。
【０００４】
【発明が解決しようとする課題】
この技術の場合には、鳥瞰図の中に自車両を示すので、画像に表示された対象物と自車両の位置関係は、撮影した画像をそのままモニタに表示するものより分かり易くなっているが、カメラの現在の視野の外にあるものは表示できないという別の問題があった。
【０００５】
そのため、例えば車両を後退させて駐車枠に入れるような場合には、カメラの視野外に出た駐車枠を表示できないので、依然として、車両を駐車枠に入れる操作が容易ではないという問題があった。
これに対して、既に本願発明者らにより、車両後部に取り付けたカメラから、車両後方の画像を撮影し、画像処理でこれらを上から見た鳥瞰画像に変換し、変換した画像の時間的変化から車両の動きを算出して、カメラの視野外に消えて行く画像領域を算出し、更に現時刻の変換画像を貼り付けて（合成画像を作成し）、従来より広い範囲を表示する技術が開発されている。
【０００６】
ところが、上述した技術の場合でも、使用するカメラは、車両後端の上部等に取り付けられた後方カメラだけであるので、車両周囲の状況を十分には確認できないという問題があった。
本発明は、前記課題を解決するためになされたものであり、車両周囲の状況をより好適に把握することができる車両周辺画像処理装置及び記録媒体を提供することを目的とする。
【０００７】
【課題を解決するための手段及び発明の効果】
（１）請求項１の発明は、車両周辺の画像を撮影する撮影手段（例えばカメラ）と、画像を表示する表示手段（例えばモニタ）とを備えた車両に対して、撮影手段により撮影された画像を処理して表示手段に表示する車両周辺画像処理装置に関するものである。
【０００８】
本発明では、車両に撮影手段を複数配置し、各撮影手段の撮影方向を違えることにより異なる撮影範囲の撮影を行う。そして、各撮影手段により撮影した各画像を、例えば各撮影手段を視点として投影した地上面座標系のデータに変換して第１鳥瞰図画像の画像データを順次作成する。これにより、画像は、例えばカメラで撮影したままの歪んだ画像ではなく、地面の上方より見たような見やすい鳥瞰図画像となる。
【０００９】
次に、各第１鳥瞰図画像を、各撮影手段の位置関係を考慮して結合して結合鳥瞰図画像の画像データを作成する。そして、車両の移動状態に対応して、結合鳥瞰図画像を移動させて移動後鳥瞰図画像の画像データを作成し、この移動後鳥瞰図画像の画像データと、（第１鳥瞰図画像より）新しい各第２鳥瞰図画像の画像データとを合成して結合合成鳥瞰図画像の画像データを作成する。尚、合成に用いる第２鳥瞰図画像は、車両の進行方向等を考慮して、各第２鳥瞰図画像のうちから適宜選択してもよい。
【００１０】
つまり、車両が移動するにつれて、例えばカメラの視野が変化するので、当然、撮影した時間が異なる第１鳥瞰図画像と第２鳥瞰図画像では、画像のずれ（撮影された部分の違い）が発生する。そこで、例えば、第２鳥瞰図画像に、そのずれの部分（即ち過去に視野内であったが現在視野から消えている部分）の移動後の鳥瞰図画像を適宜加味することにより、モニタ等にカメラの視野から消えた部分を表示することができる。
【００１１】
これにより、モニタ等には、単一のカメラ等で撮影された画像に基づく合成鳥瞰図画像ではなく、他のカメラ等で撮影された画像を結合した画像に基づく結合合成鳥瞰図画像を表示できるので、車両の周囲に状況を正確に把握することができるという効果がある。
【００１２】
また、複数の第１鳥瞰図画像を結合した結合鳥瞰図画像を移動させるので、下記請求項２又は請求項３の発明に比べて、結合合成鳥瞰図画像を作成するための演算処理が少なくて済むという利点がある。
更に、本発明では、車両の周囲の障害物を、障害物検知センサにより検知した場合には、その検知した障害物の位置を、結合合成鳥瞰図画像に加入して、表示手段に表示する。
例えば超音波センサや電波を利用したレーダセンサ等により車両の周囲の障害物を検知した場合には、その検知した位置に対応するモニタ上の結合合成鳥瞰図画像の位置に、障害物を示すシンボルを表示する。これにより、障害物の状態が分かるので、車両の操作が容易になる。
（２）請求項２の発明では、車両周辺の画像を撮影する撮影手段（例えばカメラ）と、画像を表示する表示手段（例えばモニタ）とを備えた車両に対して、撮影手段により撮影された画像を処理して表示手段に表示する車両周辺画像処理装置に関するものである。
【００１３】
本発明では、車両に撮影手段を複数配置し、各撮影手段の撮影方向を違えることにより異なる撮影範囲の撮影を行う。そして、各撮影手段により撮影した各画像を、例えば各撮影手段を視点として投影した地上面座標系のデータに変換して第１鳥瞰図画像の画像データを順次作成する。これにより、画像は、例えばカメラで撮影したままの歪んだ画像ではなく、地面の上方より見たような見やすい鳥瞰図画像となる。
【００１４】
次に、各第１鳥瞰図画像を、車両の移動状態に応じてそれぞれ移動させて、各移動後鳥瞰図画像し、この各移動後鳥瞰図画像を、各撮影手段の位置関係を考慮して結合して結合移動後鳥瞰図画像を作成する。
その後、結合移動後鳥瞰図画像と各第２鳥瞰図画像とを合成して結合移動後鳥瞰図画像の画像データを作成する。尚、合成に用いる第２鳥瞰図画像は、車両の進行方向等を考慮して、各第２鳥瞰図画像のうちから適宜選択してもよい。
【００１５】
これにより、モニタ等には、単一のカメラ等で撮影された画像に基づく合成鳥瞰図画像ではなく、他のカメラ等で撮影された画像を結合した画像に基づく結合合成鳥瞰図画像を表示できるので、車両の周囲に状況を正確に把握することができるという効果がある。
更に、本発明では、車両の周囲の障害物を、障害物検知センサにより検知した場合には、その検知した障害物の位置を、結合合成鳥瞰図画像に加入して、表示手段に表示する。
例えば超音波センサや電波を利用したレーダセンサ等により車両の周囲の障害物を検知した場合には、その検知した位置に対応するモニタ上の結合合成鳥瞰図画像の位置に、障害物を示すシンボルを表示する。これにより、障害物の状態が分かるので、車両の操作が容易になる。
【００１６】
（３）請求項３の発明では、車両周辺の画像を撮影する撮影手段（例えばカメラ）と、画像を表示する表示手段（例えばモニタ）とを備えた車両に対して、撮影手段により撮影された画像を処理して表示手段に表示する車両周辺画像処理装置に関するものである。
【００１７】
本発明では、車両に撮影手段を複数配置し、各撮影手段の撮影方向を違えることにより異なる撮影範囲の撮影を行う。そして、各撮影手段により撮影した各画像を、例えば各撮影手段を視点として投影した地上面座標系のデータに変換して第１鳥瞰図画像の画像データを順次作成する。これにより、画像は、例えばカメラで撮影したままの歪んだ画像ではなく、地面の上方より見たような見やすい鳥瞰図画像となる。
【００１８】
次に、各第１鳥瞰図画像を、車両の移動状態に応じてそれぞれ移動させて各移動後鳥瞰図画像し、この各移動後鳥瞰図画像と各第２鳥瞰図画像とを合成して各合成鳥瞰図画像の画像データを作成する。尚、合成に用いる第２鳥瞰図画像は、車両の進行方向等を考慮して、各第２鳥瞰図画像のうちから適宜選択してもよい。
【００１９】
その後、各合成鳥瞰図画像を、各撮影手段の位置関係を考慮して結合して結合合成鳥瞰図画像を作成する。
これにより、モニタ等には、単一のカメラ等で撮影された画像に基づく合成鳥瞰図画像ではなく、他のカメラ等で撮影された画像を結合した画像に基づく結合合成鳥瞰図画像を表示できるので、車両の周囲に状況を正確に把握することができるという効果がある。
更に、本発明では、車両の周囲の障害物を、障害物検知センサにより検知した場合には、その検知した障害物の位置を、結合合成鳥瞰図画像に加入して、表示手段に表示する。
例えば超音波センサや電波を利用したレーダセンサ等により車両の周囲の障害物を検知した場合には、その検知した位置に対応するモニタ上の結合合成鳥瞰図画像の位置に、障害物を示すシンボルを表示する。これにより、障害物の状態が分かるので、車両の操作が容易になる。
【００２０】
（４）請求項４の発明では、複数の撮影手段の撮影方向は、車両の前方と後方である。
本発明は、例えばカメラの撮影方向を例示したものである。この様に車両の前後を撮影してモニタ等に表示することにより、車両の周囲の状況をより的確に把握することができる。
【００２１】
（５）請求項５の発明では、表示手段に結合合成鳥瞰図画像を表示する場合には、自車両を示す画像を加えて表示する。
本発明では、車両の周囲の状況を示す画像に自車両を示す画像を加えて表示することにより、自車両と例えば駐車枠との位置関係が明瞭となるので、車両の操作が容易になる。
【００２２】
尚、自車両は、車両の写真のような画像、車両の形状をした絵、枠等のシンボルで表示することができる。
【００２４】
（６）請求項６の発明では、第１鳥瞰図画像として、今回の結合合成鳥瞰図画像より前に作成した結合合成鳥瞰図画像を用いる。
これにより、モニタには、過去に撮影した画像の鳥瞰図画像（車両の移動に合わせて移動させた画像）を逐次加えた連続した結合合成鳥瞰図画像を変換した投影画像を表示することができる。
【００２５】
（７）請求項７の発明では、結合合成鳥瞰図画像は、第２鳥瞰図画像を表示する表示領域以外に、移動後の鳥瞰図画像を加入した画像である。
本発明は、結合合成鳥瞰図画像の形成方法を例示したものである。これにより、車両の周囲の画像を連続して表示することができる。
【００２６】
つまり、例えばカメラにより現在撮影されている画像は、第２鳥瞰図画像部分の投影画像としてモニタに表示可能であるので、それ以前のモニタから消えてしまう画像を第２鳥瞰図画像部分の表示領域以外に加えることにより、カメラの視野から消えた過去の周囲の状況をもモニタに表示することができる。
【００２７】
尚、結合合成鳥瞰図画像に用いる第２鳥瞰図画像として、通常、最新の鳥瞰図画像が用いられる。
（８）請求項８の発明は、上述した車両周辺画像処理装置による処理を実行させる手段を記憶している記録媒体である。
【００２８】
つまり、上述した車両周辺画像処理装置の処理を実行させることができる例えばプログラム等の手段を記憶したものであれば、特に限定はない。
例えば記録媒体としては、マイクロコンピュータとして構成される電子制御装置、マイクロチップ、フロッピィディスク、ハードディスク、光ディスク等の各種の記録媒体が挙げられる。
【００２９】
【発明の実施の形態】
以下に、本発明の車両周辺画像処理装置及び記録媒体の実施の形態の例（実施例）を説明する。
（実施例１）
ここでは、各第１鳥瞰図画像を作成した後に結合して結合鳥瞰図画像を作成する場合を例に挙げて説明する。
【００３０】
ａ）本実施例の基本的なシステム構成を図１及び図２を用いて説明する。
図１に示す様に、本実施例の車両周辺画像処理装置は、自動車の前部に配置された前カメラ（例えばＣＣＤカメラ）１と、自動車の後部に配置された後カメラ（例えばＣＣＤカメラ）２と、ダッシュボードに配置された車載モニタ（例えば液晶ディスプレイ）３と、車速を検出する車速センサ５と、ヨーレイトを検出するヨーレイトセンサ７と、車両に周囲の障害物を検出する超音波センサ（ソナー）８と、画像処理を行う画像処理ユニット９とを備えている。
【００３１】
前記画像処理ユニット９は、図２に示す様に、マイクロコンピュータを主要部とする画像データの処理を行う電子装置であり、前カメラ１で撮影した画像データの座標変換（鳥瞰図変換）を行って鳥瞰図画像を作成する第１鳥瞰図変換回路１１と、後カメラ２で撮影した画像データの座標変換（鳥瞰図変換）を行って鳥瞰図画像を作成する第２鳥瞰図変換回路１３と、第１鳥瞰図変換回路１１にて作成された鳥瞰図画像の画像データを一時的に蓄える画像メモリＡと、第２鳥瞰図変換回路１３にて作成された鳥瞰図画像の画像データを一時的に蓄える画像メモリＢと、画像メモリＡ及び画像メモリＢの鳥瞰図画像を移動（例えば回転移動）して合成する等の画像処理などの演算を行うＣＰＵ１５と、ＣＰＵ１５にて処理した画像データを保存する画像メモリＣと、（モニタ３に表示する）鳥瞰図画像の画像データを記憶する画像メモリＤとを備えている。
【００３２】
前記画像処理ユニット９には、車速信号を入力する車速信号入力回路１７と、ヨーレイト信号を入力するヨーレイト信号入力回路１９と、超音波センサ８からの超音波信号を入力する超音波信号入力回路２１が接続され、各信号はＣＰＵ１５に入力される。
【００３３】
また、前記超音波センサ８は、図３に示す様に、車両の周囲の障害物を検出できる様に、車両の左右の側面及び後部に所定の間隔を保って配置されている。
従って、例えばセンサＡ〜Ｅの様に配置された各超音波センサ８から超音波を発信し、その受信波を受信することにより、各超音波センサ８の検出範囲内に障害物があるか否かだけでなく、その障害物との距離や障害物の大きさを検出することができる。
【００３４】
ここで、前記画像メモリＣに記憶する鳥瞰図画像の画像データとは、後述する様に、前回（例えば時刻Ｔに）前カメラ１及び後カメラ２にてそれぞれ撮影された画像データに基づいて作成された各鳥瞰図画像（第１鳥瞰図画像）を結合させ、その結合鳥瞰図画像を移動させた鳥瞰図画像（移動後鳥瞰図画像）と、新たに（例えば時刻Ｔ＋１に）前カメラ１及び後カメラ２にて撮影された画像データに基づいて作成された鳥瞰図画像（第２鳥瞰図画像）とを合成した鳥瞰図画像（結合合成鳥瞰図画像）の画像データである。
【００３５】
また、画像メモリＤに記憶する画像データとは、モニタ３に表示するために、画像メモリＣから転送された結合合成鳥瞰図画像の画像データである。尚、この画像メモリＤには、超音波センサ８によって検出された障害物を示す画像のデータも書き込まれている。
【００３６】
尚、画像処理ユニット９は、例えば後カメラ２と一体の構造となっていてもよく、画像処理ユニット９内の各構成は、一部又は全体で一体化してＬＳＩで構成してもよい。
ｂ）次に、本実施例における画像処理の手順等を、図４〜図７に基づいて説明する。
【００３７】
ここでは、道路を走行中の車両を例に挙げる。
▲１▼最初に、前カメラ１から入力された画像を、第１鳥瞰図変換回路１１で上空から見た第１鳥瞰図画像に変換し、画像メモリＡに保存する手順を説明する。
まず、前カメラ１から入力される原画像（入力画像）を、図４（ａ）に示すが、この原画像は、車両のフロントガラスの上部近傍に配置された前カメラ１により、車両の前方を撮影した画像であるので、本来平行である車線を示す白線が一点に集中するように表示されている。
【００３８】
よって、後に▲２▼にて詳述する様に、原画像の画像データを座標変換して、図４（ｃ）に示す様な白線が平行の鳥瞰図画像（第１鳥瞰図画像）を作成し、この鳥瞰図画像の画像データを画像メモリＡに記憶する。
一方、後カメラ２から入力される原画像（入力画像）を、図４（ｂ）に示すが、この原画像は、車両の後端に配置された後カメラ１により、車両の後方を撮影した画像であるので、前記と同様に、平行な白線が一点に集中するように表示されている。
【００３９】
よって、原画像の画像データを座標変換して、図４（ｄ）に示す様な白線が平行の鳥瞰図画像（第１鳥瞰図画像）を作成し、この鳥瞰図画像の画像データを画像メモリＢに記憶する。
▲２▼次に、前記前カメラ１で撮影された原画像を鳥瞰図画像に変換する手順を説明する。尚、この手順は、以下に説明する様に、従来技術（例えば特開平１０−２１１８４９号公報）を利用できる。
【００４０】
ここでは、通常の透視変換の逆の処理を行うことにより、地上平面における画像（例えば駐車枠）の位置を鳥瞰図として求める。
具体的には、図５に示す様に、地上の画像の位置データをカメラ位置Ｒからの焦点距離ｆにあるスクリーン平面Ｔに投影するときの透視変換を実行する。
【００４１】
詳しくは、前カメラ１は、Ｚ軸上の点Ｒ（０，０，Ｈ）に位置し、見下ろし角τで地上面（ｘｙ座標面）における画像をモニタしているとする。
従って、ここでは、下記式（１）に示す様にして、スクリーン平面Ｔ上の２次元座標（α、β）を、地上面上の座標（鳥瞰図座標）に変換（逆の透視変換）できる。
【００４２】
【数１】
【００４３】
これにより、第１鳥瞰図画像が作成される。つまり、上記式（１）を用いることにより、投影画像データを（鳥瞰図画像を示す）モニタ３の画面に対応した画像データに変換して、例えば図４（ｃ）に示す様に、モニタ表示することが可能である。
【００４４】
尚、後カメラ２で撮影された原画像を鳥瞰図画像に変換する手順は、カメラの取り付け位置に違いによる数値（例えば高さや見下ろし角）の違いだけであるので、その説明は省略する。
▲３▼次に、前カメラ１及び後カメラ２による両第１鳥瞰図画像を結合する手法について説明する。
【００４５】
前カメラ１による第１鳥瞰図画像（前第１鳥瞰図画像）は車両の前方側を示し、後カメラ２による第１鳥瞰図画像（後第１鳥瞰図画像）は車両の後方側を示し、しかも、前カメラ１と後カメラ２の位置は固定であるので、前第１鳥瞰図画像と後第１鳥瞰図画像を、１つの鳥瞰図画像として示すことが可能である。
【００４６】
従って、例えば図６（ａ）に示す様に、モニタ画面上にて、前第１鳥瞰図画像を示すとともに、前カメラ１と後カメラ２との距離に対応する分だけ間隔を開けて、後第１鳥瞰図画像を示すように、ＣＰＵ１５では、画像メモリＡの前第１鳥瞰図画像の画像データと画像メモリＢの後第１鳥瞰図画像の画像データを読み込み、その前第１鳥瞰図画像の画像データと後第１鳥瞰図画像の画像データを結合して結合鳥瞰図画像の画像データを作成する。
【００４７】
例えば前第１鳥瞰図画像及び後第１鳥瞰図画像の画像データの座標軸の原点が、それぞれ前カメラ１の位置及び後カメラ２の位置である場合には、例えば後第１鳥瞰図画像の画像データの座標を、原点から車両の後方側に、前カメラ１と後カメラ２の距離に対応する分だけずらすようにし、その後、両第１鳥瞰図画像のデータを重ね合わせることにより、両画像データを結合した結合鳥瞰図画像の画像データを得ることができる。
【００４８】
そして、このようにして求めた結合鳥瞰図画像の画像データを、一旦画像メモリＣに記憶する。
▲４▼次に、車速信号とヨーレイト信号を用い、車両の動き量（移動量）に応じて、前記画像メモリＣに記憶した結合鳥瞰図画像を移動（例えば回転移動）させる手順を説明する。
【００４９】
ここでは、図７に時刻Ｔの車両位置を示すが、時刻Ｔ＋１になるまでの車両の移動距離はＬ、時刻Ｔ＋１になるまでに車両が動いた角度はθ１（＝回転中心における回転角度θＣ）とする。
・まず、カメラ１のサンプリング時間が１００[ｍｓ]の場合、車速信号から得られる車速Ｓ[ｋｍ／ｈ]を用いて、下記式（２）から、車両が移動した距離Ｌ[ｍ]を算出できる。
また、図７に示す図形の関係があるので、ヨーレイト信号から得られるヨーレイトθ０[度／ｓ]を用いて、下記式（３）から、車両が動いた角度θ１を算出できる。
θ１[度]＝θ０[度／ｓ]×１００[ｍｓ]÷１０００[ｍｓ／ｓ]・・・（３）
更に、ここでは、車両の回転中心は後輪車軸の延長線上にあるとしているので、その回転中心は、カメラ位置を原点として算出し、車両の進行方向をＹ、これに垂直な方向をＸとすると、Ｘ方向の回転中心位置ＸＣ[ｍ]は、下記式（４）から算出できる。
ＸＣ[ｍ]＝Ｌ[ｍ]÷ＴＡＮ（θ１） ・・・（４）
一方、Ｙ方向の中心位置は、後輪車軸上であるので、カメラと後輪車軸までの距離はＹＣ[ｃｍ]である。
【００５０】
また、回転中心における回転角度θＣは、図６に示す図形の関係から、車両が動いた角度θ１に一致する。
・次に、上述した様にして求めた回転中心位置（ＸＣ、ＹＣ）、回転角度θＣを用いて、下記の様にして、結合鳥瞰図画像を移動する。
【００５１】
画像メモリＣに記憶された結合鳥瞰図画像の画像データを、ＣＰＵ１５の内部メモリに転送し、前記回転中心位置（ＸＣ、ＹＣ）及び回転角度θＣを用いて、結合鳥瞰図画像を回転移動する。
この回転移動を行うための変換式を、下記式（５）に示すが、この変換式を用いたＣＰＵ１５の内部処理により、回転角度θにて移動させた移動後の座標（ＸＢ、ＹＢ）に対して、移動前の対応する点（ＸＡ、ＹＡ）を算出し、（ＸＡ、ＹＡ）の画素値を（ＸＢ、ＹＢ）のアドレスメモリに保存する。
ＸＡ＝ＸＢ・ＣＯＳθ＋ＹＢ・ＳＩＮθ ・・・（５）
ＹＡ＝ＹＢ・ＣＯＳθ−ＸＢ・ＳＩＮθ
但し、（ＸＡ、ＹＢ）：移動前の座標
（ＸＢ、ＹＢ）：移動後の座標
θ ：回転角度
・そして、全ての座標についてこれらの演算を行うことにより、画像メモリＣに記憶された結合鳥瞰図画像（時刻Ｔにおける結合鳥瞰図画像）から、移動後の鳥瞰図画像（時刻Ｔにおける移動後鳥瞰図画像）を作成する。
【００５２】
それとともに、新たに前カメラ１及び後カメラ２により撮影した画像に基づいて作成した鳥瞰図画像、即ち、現在の鳥瞰図画像（時刻Ｔ＋１における各第２鳥瞰図画像）を、新たに画像メモリＡ及び画像メモリＢよりＣＰＵ１５に転送する。
【００５３】
よって、ＣＰＵ１５では、各第２鳥瞰図画像を時刻Ｔと位置関係が対応する位置（移動後鳥瞰図画像との画像のずれが生じない位置）に書き込み、それによって、移動後鳥瞰図画像と各第２鳥瞰図画像とを合成した結合合成鳥瞰図画像の画像データを作成する。
【００５４】
そして、この結合合成鳥瞰図画像を、画像メモリＣ及び画像メモリＤに記憶する。
▲５▼次に、超音波センサ８によって検出した障害物を示す画像の処理について説明する。
【００５５】
上述した画像処理とは別に、各超音波センサ８から超音波を発信し、その反射波を受信することによって、車両の周囲の障害物を検出する。
そして、障害物が検出された場合には、障害物を検出した位置のデータ、即ち障害物が車両に対してどの位置（障害物を検出した当該超音波センサ８の発信方向）にて、どれほど離れているかを示す位置のデータや、障害物の大きさのデータを求める。
【００５６】
次に、前記合成鳥瞰図画像に対して、前記位置等のデータに基づいて、障害物がどの位置にあるかを求め、その求めた位置に障害物であることを示す画像（障害物画像）を書き込む処理を行う。
例えば超音波センサ８により、障害物との距離や大きさが分かった場合には、その障害物の情報に基づいて、障害物に大きさに比例した赤色等のシンボルを（結合合成鳥瞰図画像に対して）障害物がある位置に書き込む。
【００５７】
そして、この障害物画像を書き込んだ結合合成鳥瞰図画像を、画像メモリＤに上書きして記憶し、この画像メモリＤに記憶した結合合成鳥瞰図画像を、モニタ３に表示する。
尚、結合合成鳥瞰図画像を作成する際には、自車両の位置や前カメラ１及び後カメラ２の視野角の画像なども加入して画像メモリＤに記憶し、その結合合成鳥瞰図画像をモニタ３の画面に表示してもよいが、自車両の位置や前カメラ１及び後カメラ２の視野角の画像などは画像メモリＤに記憶せずに、モニタ３に画像メモリＤに記憶した結合合成鳥瞰図画像を描画する際に、自車両の位置や前カメラ１及び後カメラ２の視野角の画像など加えて描画してもよい。
【００５８】
ｃ）次に、前記画像処理ユニット９等にて行われる処理を、図８のフローチャートに基づいて説明する。
尚、本処理は、（ＡＴ車の）シフト位置がＤレンジ又はバックである場合に開始される。
【００５９】
図８に示す様に、ステップ１１０では、前カメラ１及び後カメラ２で撮影した画像の座標変換（前記鳥瞰図変換）を行って、各第１鳥瞰図画像を作成する。
続くステップ１２０では、前記各第１鳥瞰図画像をそれぞれ画像メモリＡ及び画像メモリＢに記憶する。
【００６０】
続くステップ１３０では、画像メモリＡ及び画像メモリＢに記憶されている各第１鳥瞰図画像を読み出し、その各第１鳥瞰図画像を結合して結合鳥瞰図画像を作成して、画像メモリＣに記憶する。この結合鳥瞰図画像をモニタ３に表示すると前記図６のような画像となる。
【００６１】
続くステップ１４０では、車速信号及びヨーレイト信号に基づいて、移動距離Ｌ及び回転角度θＣで示される車両の動き量（移動量）を求める。
続くステップ１５０では、車両の移動量に基づいて、前記画像メモリＣに記憶されている結合鳥瞰図画像（時刻Ｔの結合鳥瞰図画像）を移動させて、移動後鳥瞰図画像（時刻Ｔの移動後鳥瞰図画像）を求める。
【００６２】
続くステップ１６０では、新たに撮影されて画像メモリＡ及び画像メモリＢに記憶された（時刻Ｔ＋１における）第２鳥瞰図画像を、画像メモリＡ及び画像メモリＢからそれぞれ読み込む。
続くステップ１７０では、移動後鳥瞰図画像と各第２鳥瞰図画像とを合成して結合合成鳥瞰図画像を作成する。
【００６３】
具体的には、図９（ａ）に示す様に、新たな（第２鳥瞰図画像に対応する）カメラ視野の外に、今回の車両の移動によりカメラ視野外となった部分（同図の１００ｍｓの移動量に対応するＶ字形の帯状部分）、即ち、結合鳥瞰図画像を車両の移動量に対応して移動させて形成した移動後鳥瞰図画像の一部（詳しくは第２鳥瞰図画像と重なる部分は除いたもの）を書き込むようにして、結合合成鳥瞰図画像を作成する。
【００６４】
続くステップ１８０では、超音波センサ８からの信号に基づいて、障害物の位置及び障害物の大きさを求める。
続くステップ１９０では、検出した障害物の情報に基づいて、障害物を示す画像（例えば図９（ｂ）に示す破線状の記号）を、結合合成鳥瞰図画像に対して障害物が存在する位置に書き込む。これによって、障害物画像が書き込まれた結合合成鳥瞰図画像が作成される。
【００６５】
続くステップ２００では、結合合成鳥瞰図画像を、画像メモリＤに記憶する。続くステップ２１０では、車両を示す画像や視野角を示す画像などを加味して、画像メモリＤに記憶した結合合成鳥瞰図画像をモニタ３に表示し、一旦本処理を終了する。
【００６６】
以後同様な処理を、新たに前カメラ１及び後カメラ２で撮影された画像が取り込まれる毎に実施する。つまり、次回には、結合合成鳥瞰図画像を車両の移動に応じて移動させて移動後鳥瞰図画像を作成し、その移動後鳥瞰図画像と新たな第２鳥瞰図画像とを合成して、障害物がある場合には障害物画像を加えてモニタ３に表示する画像を作成し、以後同様な処理を繰り返してゆく。
【００６７】
ｄ）この様に、本実施例では、前カメラ１及び後カメラ２で撮影した各画像を第１鳥瞰図画像に変換し、この各第１鳥瞰図画像を前カメラ１と後カメラ２の間隔を考慮して結合させて結合鳥瞰図画像を作成している。
そして、その結合鳥瞰図画像を移動させて移動後鳥瞰図画像を作成し、移動後鳥瞰図画像と新たに読み込んだ第２鳥瞰図画像とを合成して結合合成鳥瞰図画像を作成し、その結合合成鳥瞰図画像に、（超音波センサ８からの信号によって求めた）障害物画像を加えるとともに、自車両及び視野角の画像を加えて、モニタ５の画面に表示している。
【００６８】
つまり、本実施例では、車両が移動する際にカメラ視野から外れた車両の前後の領域を推定し合成することによって、通常はカメラ視野外となる表示できない部分も含めて表示することができるので、車両の周囲の状況を明瞭に把握できる。
【００６９】
また、一つのモニタ画面上にて、車両の前後の画像を同時に表示するので、その点からも、一層車両の周囲の状況を明瞭に把握することができる。
更に、本実施例では、前カメラ１及び後カメラ２の視野外に障害物が存在する場合（又は進入した場合）でも、障害物の位置をモニタ３に表示できるので、リアルタイムで車両の周囲を監視でき、安全性が向上するという利点がある。
（実施例２）
次に、実施例２について説明するが、前記実施例１と同様な箇所の説明は省略する。
【００７０】
本実施例では、各第１鳥瞰図画像を作成した後に各移動後鳥瞰図画像を作成し、その後結合移動後鳥瞰図画像を作成する場合を説明する。
本実施例では、図１０のフローチャートに示す様に、ステップ３１０では、前カメラ１及び後カメラ２で撮影した画像の座標変換を行って、各第１鳥瞰図画像を作成する。
【００７１】
続くステップ３２０では、前記各第１鳥瞰図画像をそれぞれ画像メモリＡ及び画像メモリＢに記憶する。
続くステップ３３０では、車速信号及びヨーレイト信号に基づいて、移動距離Ｌ及び回転角度θＣで示される車両の動き量（移動量）を求める。
【００７２】
続くステップ３４０では、車両の移動量に基づいて、前記各第１鳥瞰図画像を移動させて、各移動後鳥瞰図画像を求める。
続くステップ３５０では、前記各移動後鳥瞰図画像を結合させて、結合移動後鳥瞰図画像を求める。
【００７３】
続くステップ３６０では、新たに撮影されて画像メモリＡ及び画像メモリＢに記憶された第２鳥瞰図画像を、画像メモリＡ及び画像メモリＢからそれぞれ読み込む。
続くステップ３７０では、結合移動後鳥瞰図画像と各第２鳥瞰図画像とを合成して結合合成鳥瞰図画像を作成する。
【００７４】
続くステップ３８０では、超音波センサ８からの信号に基づいて、障害物の位置及び障害物の大きさを求める。
続くステップ３９０では、検出した障害物の情報に基づいて、障害物を示す画像を、結合合成鳥瞰図画像に対して障害物が存在する位置に書き込む。
【００７５】
続くステップ４００では、結合合成鳥瞰図画像を、画像メモリＤに記憶する。続くステップ４１０では、車両を示す画像や視野角を示す画像などを加味して、画像メモリＤに記憶した結合合成鳥瞰図画像をモニタ３に表示し、一旦本処理を終了する。
【００７６】
以後同様な処理を、新たに前カメラ１及び後カメラ２で撮影された画像が取り込まれる毎に実施する。
本実施例では、前記実施例１とは画像を結合するタイミングが異なるが、前記実施例１とほぼ同様な効果を奏する。
（実施例３）
次に、実施例３について説明するが、前記実施例１と同様な箇所の説明は省略する。
【００７７】
本実施例では、各第１鳥瞰図画像を作成した後に各移動後鳥瞰図画像を作成し、その後各移動後鳥瞰図画像から合成鳥瞰図画像を作成し、その後結合合成鳥瞰図画像を作成する場合を説明する。
本実施例では、図１１のフローチャートに示す様に、ステップ５１０では、前カメラ１及び後カメラ２で撮影した画像の座標変換を行って、各第１鳥瞰図画像を作成する。
【００７８】
続くステップ５２０では、前記各第１鳥瞰図画像をそれぞれ画像メモリＡ及び画像メモリＢに記憶する。
続くステップ５３０では、車速信号及びヨーレイト信号に基づいて、移動距離Ｌ及び回転角度θＣで示される車両の動き量（移動量）を求める。
【００７９】
続くステップ５４０では、車両の移動量に基づいて、前記各第１鳥瞰図画像を移動させて、各移動後鳥瞰図画像を求める。
続くステップ５５０では、新たに撮影されて画像メモリＡ及び画像メモリＢに記憶された第２鳥瞰図画像を、画像メモリＡ及び画像メモリＢからそれぞれ読み込む。
【００８０】
続くステップ５６０では、各移動後鳥瞰図画像と各第２鳥瞰図画像とを合成して各合成鳥瞰図画像を作成する。
続くステップ５７０では、前記各合成鳥瞰図画像を結合させて、結合合成鳥瞰図画像を求める。
【００８１】
続くステップ５８０では、超音波センサ８からの信号に基づいて、障害物の位置及び障害物の大きさを求める。
続くステップ５９０では、検出した障害物の情報に基づいて、障害物を示す画像を、結合合成鳥瞰図画像に対して障害物が存在する位置に書き込む。
【００８２】
続くステップ６００では、結合合成鳥瞰図画像を、画像メモリＤに記憶する。
続くステップ６１０では、車両を示す画像や視野角を示す画像などを加味して、画像メモリＤに記憶した結合合成鳥瞰図画像をモニタ３に表示し、一旦本処理を終了する。
【００８３】
以後同様な処理を、新たに前カメラ１及び後カメラ２で撮影された画像が取り込まれる毎に実施する。
本実施例では、前記実施例１とは画像を結合するタイミングが異なるが、前記実施例１とほぼ同様な効果を奏する。
【００８４】
尚、本発明は前記実施例になんら限定されるものではなく、本発明を逸脱しない範囲において種々の態様で実施しうることはいうまでもない。
（１）例えば、前記実施例では、車両周辺画像処理装置について述べたが、この装置による処理を実行させる手段を記憶している記録媒体も、本発明の範囲である。この記録媒体としては、マイクロコンピュータとして構成される電子制御装置、マイクロチップ、フロッピィディスク、ハードディスク、光ディスク等の各種の記録媒体が挙げられる。
【００８５】
つまり、上述した車両周辺画像処理装置の処理を実行させることができる例えばプログラム等の手段を記憶したものであれば、特に限定はない。
（２）また、前記実施例では、車両の移動状態を車速センサやヨーレートセンサを用いて検出し、その情報に基づいて移動後鳥瞰図画像を作成する様にしたが、例えばカメラで撮影した画像（鳥瞰図画像）の動きベクトルを求め、この動きベクトルから車両の移動状態を推定して、移動後鳥瞰図画像を求めてもよい。
【００８６】
例えばいわゆる画像のマッチングの処理により、第１鳥瞰図画像とそれより後の第２鳥瞰図画像との移動状態を検出し、その画像の移動状態から車両の移動状態を求めるようにしてもよい。
【図面の簡単な説明】
【図１】 実施例１の車両周辺画像処理装置の主要構成を示す説明図である。
【図２】 実施例１の車両周辺画像処理装置の電気的構成を示す説明図である。
【図３】 実施例１の超音波センサの検出範囲を示す説明図である。
【図４】 実施例１の車両周辺画像処理装置により用いられる画像を示し、（ａ）は前カメラにより撮影された画像の説明図、（ｂ）は後カメラにより撮影された画像の説明図、（ｃ）は前カメラによる鳥瞰図画像の説明図、（ｄ）は後カメラによる鳥瞰図画像の説明図である。
【図５】 実施例１の車両周辺画像処理装置による座標変換の際の位置関係を示す説明図である。
【図６】 実施例１の車両周辺画像処理装置による結合鳥瞰図画像を示す説明図である。
【図７】 実施例１の車両周辺画像処理装置による車両の移動量を求めるための手法を示す説明図である。
【図８】 実施例１の車両周辺画像処理装置の処理を示すフローチャートである。
【図９】 実施例１の車両周辺画像処理装置のよる画像作成の手順を示す説明図である。
【図１０】 実施例２の車両周辺画像処理装置の処理を示すフローチャートである。
【図１１】 実施例３の車両周辺画像処理装置の処理を示すフローチャートである。
【符号の説明】
１…前カメラ
２…後カメラ
３…車載モニタ（モニタ）
５…車速センサ
７…ヨーレイトセンサ
８…超音波センサ
９…画像処理ユニット
【発明の属する技術分野】
本発明は、例えば車両の周辺を撮影してモニタに表示できる車両周辺画像処理装置及び記録媒体に関するものである。
【０００２】
【従来の技術】
従来より、車両の後方の様子を表示する装置として、車両の後部に取り付けたカメラの画像を、そのままモニタに出力する表示装置が知られている。
この表示装置では、車両後方の状態が有る程度分かるが、自車両とモニタに表示されている対象物（例えば駐車枠）の画像の相対位置関係が分かりに難いという問題がある。
【０００３】
また、これとは別に、特開平１０−２１１８４９号公報には、後方カメラで撮影した画像（後方カメラ画像）を鳥瞰図に変換し、自車両をその中に表示するという技術が提案されている。
【０００４】
【発明が解決しようとする課題】
この技術の場合には、鳥瞰図の中に自車両を示すので、画像に表示された対象物と自車両の位置関係は、撮影した画像をそのままモニタに表示するものより分かり易くなっているが、カメラの現在の視野の外にあるものは表示できないという別の問題があった。
【０００５】
そのため、例えば車両を後退させて駐車枠に入れるような場合には、カメラの視野外に出た駐車枠を表示できないので、依然として、車両を駐車枠に入れる操作が容易ではないという問題があった。
これに対して、既に本願発明者らにより、車両後部に取り付けたカメラから、車両後方の画像を撮影し、画像処理でこれらを上から見た鳥瞰画像に変換し、変換した画像の時間的変化から車両の動きを算出して、カメラの視野外に消えて行く画像領域を算出し、更に現時刻の変換画像を貼り付けて（合成画像を作成し）、従来より広い範囲を表示する技術が開発されている。
【０００６】
ところが、上述した技術の場合でも、使用するカメラは、車両後端の上部等に取り付けられた後方カメラだけであるので、車両周囲の状況を十分には確認できないという問題があった。
本発明は、前記課題を解決するためになされたものであり、車両周囲の状況をより好適に把握することができる車両周辺画像処理装置及び記録媒体を提供することを目的とする。
【０００７】
【課題を解決するための手段及び発明の効果】
（１）請求項１の発明は、車両周辺の画像を撮影する撮影手段（例えばカメラ）と、画像を表示する表示手段（例えばモニタ）とを備えた車両に対して、撮影手段により撮影された画像を処理して表示手段に表示する車両周辺画像処理装置に関するものである。
【０００８】
本発明では、車両に撮影手段を複数配置し、各撮影手段の撮影方向を違えることにより異なる撮影範囲の撮影を行う。そして、各撮影手段により撮影した各画像を、例えば各撮影手段を視点として投影した地上面座標系のデータに変換して第１鳥瞰図画像の画像データを順次作成する。これにより、画像は、例えばカメラで撮影したままの歪んだ画像ではなく、地面の上方より見たような見やすい鳥瞰図画像となる。
【０００９】
次に、各第１鳥瞰図画像を、各撮影手段の位置関係を考慮して結合して結合鳥瞰図画像の画像データを作成する。そして、車両の移動状態に対応して、結合鳥瞰図画像を移動させて移動後鳥瞰図画像の画像データを作成し、この移動後鳥瞰図画像の画像データと、（第１鳥瞰図画像より）新しい各第２鳥瞰図画像の画像データとを合成して結合合成鳥瞰図画像の画像データを作成する。尚、合成に用いる第２鳥瞰図画像は、車両の進行方向等を考慮して、各第２鳥瞰図画像のうちから適宜選択してもよい。
【００１０】
つまり、車両が移動するにつれて、例えばカメラの視野が変化するので、当然、撮影した時間が異なる第１鳥瞰図画像と第２鳥瞰図画像では、画像のずれ（撮影された部分の違い）が発生する。そこで、例えば、第２鳥瞰図画像に、そのずれの部分（即ち過去に視野内であったが現在視野から消えている部分）の移動後の鳥瞰図画像を適宜加味することにより、モニタ等にカメラの視野から消えた部分を表示することができる。
【００１１】
これにより、モニタ等には、単一のカメラ等で撮影された画像に基づく合成鳥瞰図画像ではなく、他のカメラ等で撮影された画像を結合した画像に基づく結合合成鳥瞰図画像を表示できるので、車両の周囲に状況を正確に把握することができるという効果がある。
【００１２】
また、複数の第１鳥瞰図画像を結合した結合鳥瞰図画像を移動させるので、下記請求項２又は請求項３の発明に比べて、結合合成鳥瞰図画像を作成するための演算処理が少なくて済むという利点がある。
更に、本発明では、車両の周囲の障害物を、障害物検知センサにより検知した場合には、その検知した障害物の位置を、結合合成鳥瞰図画像に加入して、表示手段に表示する。
例えば超音波センサや電波を利用したレーダセンサ等により車両の周囲の障害物を検知した場合には、その検知した位置に対応するモニタ上の結合合成鳥瞰図画像の位置に、障害物を示すシンボルを表示する。これにより、障害物の状態が分かるので、車両の操作が容易になる。
（２）請求項２の発明では、車両周辺の画像を撮影する撮影手段（例えばカメラ）と、画像を表示する表示手段（例えばモニタ）とを備えた車両に対して、撮影手段により撮影された画像を処理して表示手段に表示する車両周辺画像処理装置に関するものである。
【００１３】
本発明では、車両に撮影手段を複数配置し、各撮影手段の撮影方向を違えることにより異なる撮影範囲の撮影を行う。そして、各撮影手段により撮影した各画像を、例えば各撮影手段を視点として投影した地上面座標系のデータに変換して第１鳥瞰図画像の画像データを順次作成する。これにより、画像は、例えばカメラで撮影したままの歪んだ画像ではなく、地面の上方より見たような見やすい鳥瞰図画像となる。
【００１４】
次に、各第１鳥瞰図画像を、車両の移動状態に応じてそれぞれ移動させて、各移動後鳥瞰図画像し、この各移動後鳥瞰図画像を、各撮影手段の位置関係を考慮して結合して結合移動後鳥瞰図画像を作成する。
その後、結合移動後鳥瞰図画像と各第２鳥瞰図画像とを合成して結合移動後鳥瞰図画像の画像データを作成する。尚、合成に用いる第２鳥瞰図画像は、車両の進行方向等を考慮して、各第２鳥瞰図画像のうちから適宜選択してもよい。
【００１５】
これにより、モニタ等には、単一のカメラ等で撮影された画像に基づく合成鳥瞰図画像ではなく、他のカメラ等で撮影された画像を結合した画像に基づく結合合成鳥瞰図画像を表示できるので、車両の周囲に状況を正確に把握することができるという効果がある。
更に、本発明では、車両の周囲の障害物を、障害物検知センサにより検知した場合には、その検知した障害物の位置を、結合合成鳥瞰図画像に加入して、表示手段に表示する。
例えば超音波センサや電波を利用したレーダセンサ等により車両の周囲の障害物を検知した場合には、その検知した位置に対応するモニタ上の結合合成鳥瞰図画像の位置に、障害物を示すシンボルを表示する。これにより、障害物の状態が分かるので、車両の操作が容易になる。
【００１６】
（３）請求項３の発明では、車両周辺の画像を撮影する撮影手段（例えばカメラ）と、画像を表示する表示手段（例えばモニタ）とを備えた車両に対して、撮影手段により撮影された画像を処理して表示手段に表示する車両周辺画像処理装置に関するものである。
【００１７】
本発明では、車両に撮影手段を複数配置し、各撮影手段の撮影方向を違えることにより異なる撮影範囲の撮影を行う。そして、各撮影手段により撮影した各画像を、例えば各撮影手段を視点として投影した地上面座標系のデータに変換して第１鳥瞰図画像の画像データを順次作成する。これにより、画像は、例えばカメラで撮影したままの歪んだ画像ではなく、地面の上方より見たような見やすい鳥瞰図画像となる。
【００１８】
次に、各第１鳥瞰図画像を、車両の移動状態に応じてそれぞれ移動させて各移動後鳥瞰図画像し、この各移動後鳥瞰図画像と各第２鳥瞰図画像とを合成して各合成鳥瞰図画像の画像データを作成する。尚、合成に用いる第２鳥瞰図画像は、車両の進行方向等を考慮して、各第２鳥瞰図画像のうちから適宜選択してもよい。
【００１９】
その後、各合成鳥瞰図画像を、各撮影手段の位置関係を考慮して結合して結合合成鳥瞰図画像を作成する。
これにより、モニタ等には、単一のカメラ等で撮影された画像に基づく合成鳥瞰図画像ではなく、他のカメラ等で撮影された画像を結合した画像に基づく結合合成鳥瞰図画像を表示できるので、車両の周囲に状況を正確に把握することができるという効果がある。
更に、本発明では、車両の周囲の障害物を、障害物検知センサにより検知した場合には、その検知した障害物の位置を、結合合成鳥瞰図画像に加入して、表示手段に表示する。
例えば超音波センサや電波を利用したレーダセンサ等により車両の周囲の障害物を検知した場合には、その検知した位置に対応するモニタ上の結合合成鳥瞰図画像の位置に、障害物を示すシンボルを表示する。これにより、障害物の状態が分かるので、車両の操作が容易になる。
【００２０】
（４）請求項４の発明では、複数の撮影手段の撮影方向は、車両の前方と後方である。
本発明は、例えばカメラの撮影方向を例示したものである。この様に車両の前後を撮影してモニタ等に表示することにより、車両の周囲の状況をより的確に把握することができる。
【００２１】
（５）請求項５の発明では、表示手段に結合合成鳥瞰図画像を表示する場合には、自車両を示す画像を加えて表示する。
本発明では、車両の周囲の状況を示す画像に自車両を示す画像を加えて表示することにより、自車両と例えば駐車枠との位置関係が明瞭となるので、車両の操作が容易になる。
【００２２】
尚、自車両は、車両の写真のような画像、車両の形状をした絵、枠等のシンボルで表示することができる。
【００２４】
（６）請求項６の発明では、第１鳥瞰図画像として、今回の結合合成鳥瞰図画像より前に作成した結合合成鳥瞰図画像を用いる。
これにより、モニタには、過去に撮影した画像の鳥瞰図画像（車両の移動に合わせて移動させた画像）を逐次加えた連続した結合合成鳥瞰図画像を変換した投影画像を表示することができる。
【００２５】
（７）請求項７の発明では、結合合成鳥瞰図画像は、第２鳥瞰図画像を表示する表示領域以外に、移動後の鳥瞰図画像を加入した画像である。
本発明は、結合合成鳥瞰図画像の形成方法を例示したものである。これにより、車両の周囲の画像を連続して表示することができる。
【００２６】
つまり、例えばカメラにより現在撮影されている画像は、第２鳥瞰図画像部分の投影画像としてモニタに表示可能であるので、それ以前のモニタから消えてしまう画像を第２鳥瞰図画像部分の表示領域以外に加えることにより、カメラの視野から消えた過去の周囲の状況をもモニタに表示することができる。
【００２７】
尚、結合合成鳥瞰図画像に用いる第２鳥瞰図画像として、通常、最新の鳥瞰図画像が用いられる。
（８）請求項８の発明は、上述した車両周辺画像処理装置による処理を実行させる手段を記憶している記録媒体である。
【００２８】
つまり、上述した車両周辺画像処理装置の処理を実行させることができる例えばプログラム等の手段を記憶したものであれば、特に限定はない。
例えば記録媒体としては、マイクロコンピュータとして構成される電子制御装置、マイクロチップ、フロッピィディスク、ハードディスク、光ディスク等の各種の記録媒体が挙げられる。
【００２９】
【発明の実施の形態】
以下に、本発明の車両周辺画像処理装置及び記録媒体の実施の形態の例（実施例）を説明する。
（実施例１）
ここでは、各第１鳥瞰図画像を作成した後に結合して結合鳥瞰図画像を作成する場合を例に挙げて説明する。
【００３０】
ａ）本実施例の基本的なシステム構成を図１及び図２を用いて説明する。
図１に示す様に、本実施例の車両周辺画像処理装置は、自動車の前部に配置された前カメラ（例えばＣＣＤカメラ）１と、自動車の後部に配置された後カメラ（例えばＣＣＤカメラ）２と、ダッシュボードに配置された車載モニタ（例えば液晶ディスプレイ）３と、車速を検出する車速センサ５と、ヨーレイトを検出するヨーレイトセンサ７と、車両に周囲の障害物を検出する超音波センサ（ソナー）８と、画像処理を行う画像処理ユニット９とを備えている。
【００３１】
前記画像処理ユニット９は、図２に示す様に、マイクロコンピュータを主要部とする画像データの処理を行う電子装置であり、前カメラ１で撮影した画像データの座標変換（鳥瞰図変換）を行って鳥瞰図画像を作成する第１鳥瞰図変換回路１１と、後カメラ２で撮影した画像データの座標変換（鳥瞰図変換）を行って鳥瞰図画像を作成する第２鳥瞰図変換回路１３と、第１鳥瞰図変換回路１１にて作成された鳥瞰図画像の画像データを一時的に蓄える画像メモリＡと、第２鳥瞰図変換回路１３にて作成された鳥瞰図画像の画像データを一時的に蓄える画像メモリＢと、画像メモリＡ及び画像メモリＢの鳥瞰図画像を移動（例えば回転移動）して合成する等の画像処理などの演算を行うＣＰＵ１５と、ＣＰＵ１５にて処理した画像データを保存する画像メモリＣと、（モニタ３に表示する）鳥瞰図画像の画像データを記憶する画像メモリＤとを備えている。
【００３２】
前記画像処理ユニット９には、車速信号を入力する車速信号入力回路１７と、ヨーレイト信号を入力するヨーレイト信号入力回路１９と、超音波センサ８からの超音波信号を入力する超音波信号入力回路２１が接続され、各信号はＣＰＵ１５に入力される。
【００３３】
また、前記超音波センサ８は、図３に示す様に、車両の周囲の障害物を検出できる様に、車両の左右の側面及び後部に所定の間隔を保って配置されている。
従って、例えばセンサＡ〜Ｅの様に配置された各超音波センサ８から超音波を発信し、その受信波を受信することにより、各超音波センサ８の検出範囲内に障害物があるか否かだけでなく、その障害物との距離や障害物の大きさを検出することができる。
【００３４】
ここで、前記画像メモリＣに記憶する鳥瞰図画像の画像データとは、後述する様に、前回（例えば時刻Ｔに）前カメラ１及び後カメラ２にてそれぞれ撮影された画像データに基づいて作成された各鳥瞰図画像（第１鳥瞰図画像）を結合させ、その結合鳥瞰図画像を移動させた鳥瞰図画像（移動後鳥瞰図画像）と、新たに（例えば時刻Ｔ＋１に）前カメラ１及び後カメラ２にて撮影された画像データに基づいて作成された鳥瞰図画像（第２鳥瞰図画像）とを合成した鳥瞰図画像（結合合成鳥瞰図画像）の画像データである。
【００３５】
また、画像メモリＤに記憶する画像データとは、モニタ３に表示するために、画像メモリＣから転送された結合合成鳥瞰図画像の画像データである。尚、この画像メモリＤには、超音波センサ８によって検出された障害物を示す画像のデータも書き込まれている。
【００３６】
尚、画像処理ユニット９は、例えば後カメラ２と一体の構造となっていてもよく、画像処理ユニット９内の各構成は、一部又は全体で一体化してＬＳＩで構成してもよい。
ｂ）次に、本実施例における画像処理の手順等を、図４〜図７に基づいて説明する。
【００３７】
ここでは、道路を走行中の車両を例に挙げる。
▲１▼最初に、前カメラ１から入力された画像を、第１鳥瞰図変換回路１１で上空から見た第１鳥瞰図画像に変換し、画像メモリＡに保存する手順を説明する。
まず、前カメラ１から入力される原画像（入力画像）を、図４（ａ）に示すが、この原画像は、車両のフロントガラスの上部近傍に配置された前カメラ１により、車両の前方を撮影した画像であるので、本来平行である車線を示す白線が一点に集中するように表示されている。
【００３８】
よって、後に▲２▼にて詳述する様に、原画像の画像データを座標変換して、図４（ｃ）に示す様な白線が平行の鳥瞰図画像（第１鳥瞰図画像）を作成し、この鳥瞰図画像の画像データを画像メモリＡに記憶する。
一方、後カメラ２から入力される原画像（入力画像）を、図４（ｂ）に示すが、この原画像は、車両の後端に配置された後カメラ１により、車両の後方を撮影した画像であるので、前記と同様に、平行な白線が一点に集中するように表示されている。
【００３９】
よって、原画像の画像データを座標変換して、図４（ｄ）に示す様な白線が平行の鳥瞰図画像（第１鳥瞰図画像）を作成し、この鳥瞰図画像の画像データを画像メモリＢに記憶する。
▲２▼次に、前記前カメラ１で撮影された原画像を鳥瞰図画像に変換する手順を説明する。尚、この手順は、以下に説明する様に、従来技術（例えば特開平１０−２１１８４９号公報）を利用できる。
【００４０】
ここでは、通常の透視変換の逆の処理を行うことにより、地上平面における画像（例えば駐車枠）の位置を鳥瞰図として求める。
具体的には、図５に示す様に、地上の画像の位置データをカメラ位置Ｒからの焦点距離ｆにあるスクリーン平面Ｔに投影するときの透視変換を実行する。
【００４１】
詳しくは、前カメラ１は、Ｚ軸上の点Ｒ（０，０，Ｈ）に位置し、見下ろし角τで地上面（ｘｙ座標面）における画像をモニタしているとする。
従って、ここでは、下記式（１）に示す様にして、スクリーン平面Ｔ上の２次元座標（α、β）を、地上面上の座標（鳥瞰図座標）に変換（逆の透視変換）できる。
【００４２】
【数１】
これにより、第１鳥瞰図画像が作成される。つまり、上記式（１）を用いることにより、投影画像データを（鳥瞰図画像を示す）モニタ３の画面に対応した画像データに変換して、例えば図４（ｃ）に示す様に、モニタ表示することが可能である。
【００４４】
尚、後カメラ２で撮影された原画像を鳥瞰図画像に変換する手順は、カメラの取り付け位置に違いによる数値（例えば高さや見下ろし角）の違いだけであるので、その説明は省略する。
▲３▼次に、前カメラ１及び後カメラ２による両第１鳥瞰図画像を結合する手法について説明する。
【００４５】
前カメラ１による第１鳥瞰図画像（前第１鳥瞰図画像）は車両の前方側を示し、後カメラ２による第１鳥瞰図画像（後第１鳥瞰図画像）は車両の後方側を示し、しかも、前カメラ１と後カメラ２の位置は固定であるので、前第１鳥瞰図画像と後第１鳥瞰図画像を、１つの鳥瞰図画像として示すことが可能である。
【００４６】
従って、例えば図６（ａ）に示す様に、モニタ画面上にて、前第１鳥瞰図画像を示すとともに、前カメラ１と後カメラ２との距離に対応する分だけ間隔を開けて、後第１鳥瞰図画像を示すように、ＣＰＵ１５では、画像メモリＡの前第１鳥瞰図画像の画像データと画像メモリＢの後第１鳥瞰図画像の画像データを読み込み、その前第１鳥瞰図画像の画像データと後第１鳥瞰図画像の画像データを結合して結合鳥瞰図画像の画像データを作成する。
【００４７】
例えば前第１鳥瞰図画像及び後第１鳥瞰図画像の画像データの座標軸の原点が、それぞれ前カメラ１の位置及び後カメラ２の位置である場合には、例えば後第１鳥瞰図画像の画像データの座標を、原点から車両の後方側に、前カメラ１と後カメラ２の距離に対応する分だけずらすようにし、その後、両第１鳥瞰図画像のデータを重ね合わせることにより、両画像データを結合した結合鳥瞰図画像の画像データを得ることができる。
【００４８】
そして、このようにして求めた結合鳥瞰図画像の画像データを、一旦画像メモリＣに記憶する。
▲４▼次に、車速信号とヨーレイト信号を用い、車両の動き量（移動量）に応じて、前記画像メモリＣに記憶した結合鳥瞰図画像を移動（例えば回転移動）させる手順を説明する。
【００４９】
ここでは、図７に時刻Ｔの車両位置を示すが、時刻Ｔ＋１になるまでの車両の移動距離はＬ、時刻Ｔ＋１になるまでに車両が動いた角度はθ１（＝回転中心における回転角度θＣ）とする。
・まず、カメラ１のサンプリング時間が１００[ｍｓ]の場合、車速信号から得られる車速Ｓ[ｋｍ／ｈ]を用いて、下記式（２）から、車両が移動した距離Ｌ[ｍ]を算出できる。
θ１[度]＝θ０[度／ｓ]×１００[ｍｓ]÷１０００[ｍｓ／ｓ]・・・（３）
更に、ここでは、車両の回転中心は後輪車軸の延長線上にあるとしているので、その回転中心は、カメラ位置を原点として算出し、車両の進行方向をＹ、これに垂直な方向をＸとすると、Ｘ方向の回転中心位置ＸＣ[ｍ]は、下記式（４）から算出できる。
ＸＣ[ｍ]＝Ｌ[ｍ]÷ＴＡＮ（θ１） ・・・（４）
一方、Ｙ方向の中心位置は、後輪車軸上であるので、カメラと後輪車軸までの距離はＹＣ[ｃｍ]である。
【００５０】
また、回転中心における回転角度θＣは、図６に示す図形の関係から、車両が動いた角度θ１に一致する。
・次に、上述した様にして求めた回転中心位置（ＸＣ、ＹＣ）、回転角度θＣを用いて、下記の様にして、結合鳥瞰図画像を移動する。
【００５１】
画像メモリＣに記憶された結合鳥瞰図画像の画像データを、ＣＰＵ１５の内部メモリに転送し、前記回転中心位置（ＸＣ、ＹＣ）及び回転角度θＣを用いて、結合鳥瞰図画像を回転移動する。
この回転移動を行うための変換式を、下記式（５）に示すが、この変換式を用いたＣＰＵ１５の内部処理により、回転角度θにて移動させた移動後の座標（ＸＢ、ＹＢ）に対して、移動前の対応する点（ＸＡ、ＹＡ）を算出し、（ＸＡ、ＹＡ）の画素値を（ＸＢ、ＹＢ）のアドレスメモリに保存する。
ＸＡ＝ＸＢ・ＣＯＳθ＋ＹＢ・ＳＩＮθ ・・・（５）
ＹＡ＝ＹＢ・ＣＯＳθ−ＸＢ・ＳＩＮθ
但し、（ＸＡ、ＹＢ）：移動前の座標
（ＸＢ、ＹＢ）：移動後の座標
θ ：回転角度
・そして、全ての座標についてこれらの演算を行うことにより、画像メモリＣに記憶された結合鳥瞰図画像（時刻Ｔにおける結合鳥瞰図画像）から、移動後の鳥瞰図画像（時刻Ｔにおける移動後鳥瞰図画像）を作成する。
【００５２】
それとともに、新たに前カメラ１及び後カメラ２により撮影した画像に基づいて作成した鳥瞰図画像、即ち、現在の鳥瞰図画像（時刻Ｔ＋１における各第２鳥瞰図画像）を、新たに画像メモリＡ及び画像メモリＢよりＣＰＵ１５に転送する。
【００５３】
よって、ＣＰＵ１５では、各第２鳥瞰図画像を時刻Ｔと位置関係が対応する位置（移動後鳥瞰図画像との画像のずれが生じない位置）に書き込み、それによって、移動後鳥瞰図画像と各第２鳥瞰図画像とを合成した結合合成鳥瞰図画像の画像データを作成する。
【００５４】
そして、この結合合成鳥瞰図画像を、画像メモリＣ及び画像メモリＤに記憶する。
▲５▼次に、超音波センサ８によって検出した障害物を示す画像の処理について説明する。
【００５５】
上述した画像処理とは別に、各超音波センサ８から超音波を発信し、その反射波を受信することによって、車両の周囲の障害物を検出する。
そして、障害物が検出された場合には、障害物を検出した位置のデータ、即ち障害物が車両に対してどの位置（障害物を検出した当該超音波センサ８の発信方向）にて、どれほど離れているかを示す位置のデータや、障害物の大きさのデータを求める。
【００５６】
次に、前記合成鳥瞰図画像に対して、前記位置等のデータに基づいて、障害物がどの位置にあるかを求め、その求めた位置に障害物であることを示す画像（障害物画像）を書き込む処理を行う。
例えば超音波センサ８により、障害物との距離や大きさが分かった場合には、その障害物の情報に基づいて、障害物に大きさに比例した赤色等のシンボルを（結合合成鳥瞰図画像に対して）障害物がある位置に書き込む。
【００５７】
そして、この障害物画像を書き込んだ結合合成鳥瞰図画像を、画像メモリＤに上書きして記憶し、この画像メモリＤに記憶した結合合成鳥瞰図画像を、モニタ３に表示する。
尚、結合合成鳥瞰図画像を作成する際には、自車両の位置や前カメラ１及び後カメラ２の視野角の画像なども加入して画像メモリＤに記憶し、その結合合成鳥瞰図画像をモニタ３の画面に表示してもよいが、自車両の位置や前カメラ１及び後カメラ２の視野角の画像などは画像メモリＤに記憶せずに、モニタ３に画像メモリＤに記憶した結合合成鳥瞰図画像を描画する際に、自車両の位置や前カメラ１及び後カメラ２の視野角の画像など加えて描画してもよい。
【００５８】
ｃ）次に、前記画像処理ユニット９等にて行われる処理を、図８のフローチャートに基づいて説明する。
尚、本処理は、（ＡＴ車の）シフト位置がＤレンジ又はバックである場合に開始される。
【００５９】
図８に示す様に、ステップ１１０では、前カメラ１及び後カメラ２で撮影した画像の座標変換（前記鳥瞰図変換）を行って、各第１鳥瞰図画像を作成する。
続くステップ１２０では、前記各第１鳥瞰図画像をそれぞれ画像メモリＡ及び画像メモリＢに記憶する。
【００６０】
続くステップ１３０では、画像メモリＡ及び画像メモリＢに記憶されている各第１鳥瞰図画像を読み出し、その各第１鳥瞰図画像を結合して結合鳥瞰図画像を作成して、画像メモリＣに記憶する。この結合鳥瞰図画像をモニタ３に表示すると前記図６のような画像となる。
【００６１】
続くステップ１４０では、車速信号及びヨーレイト信号に基づいて、移動距離Ｌ及び回転角度θＣで示される車両の動き量（移動量）を求める。
続くステップ１５０では、車両の移動量に基づいて、前記画像メモリＣに記憶されている結合鳥瞰図画像（時刻Ｔの結合鳥瞰図画像）を移動させて、移動後鳥瞰図画像（時刻Ｔの移動後鳥瞰図画像）を求める。
【００６２】
続くステップ１６０では、新たに撮影されて画像メモリＡ及び画像メモリＢに記憶された（時刻Ｔ＋１における）第２鳥瞰図画像を、画像メモリＡ及び画像メモリＢからそれぞれ読み込む。
続くステップ１７０では、移動後鳥瞰図画像と各第２鳥瞰図画像とを合成して結合合成鳥瞰図画像を作成する。
【００６３】
具体的には、図９（ａ）に示す様に、新たな（第２鳥瞰図画像に対応する）カメラ視野の外に、今回の車両の移動によりカメラ視野外となった部分（同図の１００ｍｓの移動量に対応するＶ字形の帯状部分）、即ち、結合鳥瞰図画像を車両の移動量に対応して移動させて形成した移動後鳥瞰図画像の一部（詳しくは第２鳥瞰図画像と重なる部分は除いたもの）を書き込むようにして、結合合成鳥瞰図画像を作成する。
【００６４】
続くステップ１８０では、超音波センサ８からの信号に基づいて、障害物の位置及び障害物の大きさを求める。
続くステップ１９０では、検出した障害物の情報に基づいて、障害物を示す画像（例えば図９（ｂ）に示す破線状の記号）を、結合合成鳥瞰図画像に対して障害物が存在する位置に書き込む。これによって、障害物画像が書き込まれた結合合成鳥瞰図画像が作成される。
【００６５】
続くステップ２００では、結合合成鳥瞰図画像を、画像メモリＤに記憶する。続くステップ２１０では、車両を示す画像や視野角を示す画像などを加味して、画像メモリＤに記憶した結合合成鳥瞰図画像をモニタ３に表示し、一旦本処理を終了する。
【００６６】
以後同様な処理を、新たに前カメラ１及び後カメラ２で撮影された画像が取り込まれる毎に実施する。つまり、次回には、結合合成鳥瞰図画像を車両の移動に応じて移動させて移動後鳥瞰図画像を作成し、その移動後鳥瞰図画像と新たな第２鳥瞰図画像とを合成して、障害物がある場合には障害物画像を加えてモニタ３に表示する画像を作成し、以後同様な処理を繰り返してゆく。
【００６７】
ｄ）この様に、本実施例では、前カメラ１及び後カメラ２で撮影した各画像を第１鳥瞰図画像に変換し、この各第１鳥瞰図画像を前カメラ１と後カメラ２の間隔を考慮して結合させて結合鳥瞰図画像を作成している。
そして、その結合鳥瞰図画像を移動させて移動後鳥瞰図画像を作成し、移動後鳥瞰図画像と新たに読み込んだ第２鳥瞰図画像とを合成して結合合成鳥瞰図画像を作成し、その結合合成鳥瞰図画像に、（超音波センサ８からの信号によって求めた）障害物画像を加えるとともに、自車両及び視野角の画像を加えて、モニタ５の画面に表示している。
【００６８】
つまり、本実施例では、車両が移動する際にカメラ視野から外れた車両の前後の領域を推定し合成することによって、通常はカメラ視野外となる表示できない部分も含めて表示することができるので、車両の周囲の状況を明瞭に把握できる。
【００６９】
また、一つのモニタ画面上にて、車両の前後の画像を同時に表示するので、その点からも、一層車両の周囲の状況を明瞭に把握することができる。
更に、本実施例では、前カメラ１及び後カメラ２の視野外に障害物が存在する場合（又は進入した場合）でも、障害物の位置をモニタ３に表示できるので、リアルタイムで車両の周囲を監視でき、安全性が向上するという利点がある。
（実施例２）
次に、実施例２について説明するが、前記実施例１と同様な箇所の説明は省略する。
【００７０】
本実施例では、各第１鳥瞰図画像を作成した後に各移動後鳥瞰図画像を作成し、その後結合移動後鳥瞰図画像を作成する場合を説明する。
本実施例では、図１０のフローチャートに示す様に、ステップ３１０では、前カメラ１及び後カメラ２で撮影した画像の座標変換を行って、各第１鳥瞰図画像を作成する。
【００７１】
続くステップ３２０では、前記各第１鳥瞰図画像をそれぞれ画像メモリＡ及び画像メモリＢに記憶する。
続くステップ３３０では、車速信号及びヨーレイト信号に基づいて、移動距離Ｌ及び回転角度θＣで示される車両の動き量（移動量）を求める。
【００７２】
続くステップ３４０では、車両の移動量に基づいて、前記各第１鳥瞰図画像を移動させて、各移動後鳥瞰図画像を求める。
続くステップ３５０では、前記各移動後鳥瞰図画像を結合させて、結合移動後鳥瞰図画像を求める。
【００７３】
続くステップ３６０では、新たに撮影されて画像メモリＡ及び画像メモリＢに記憶された第２鳥瞰図画像を、画像メモリＡ及び画像メモリＢからそれぞれ読み込む。
続くステップ３７０では、結合移動後鳥瞰図画像と各第２鳥瞰図画像とを合成して結合合成鳥瞰図画像を作成する。
【００７４】
続くステップ３８０では、超音波センサ８からの信号に基づいて、障害物の位置及び障害物の大きさを求める。
続くステップ３９０では、検出した障害物の情報に基づいて、障害物を示す画像を、結合合成鳥瞰図画像に対して障害物が存在する位置に書き込む。
【００７５】
続くステップ４００では、結合合成鳥瞰図画像を、画像メモリＤに記憶する。続くステップ４１０では、車両を示す画像や視野角を示す画像などを加味して、画像メモリＤに記憶した結合合成鳥瞰図画像をモニタ３に表示し、一旦本処理を終了する。
【００７６】
以後同様な処理を、新たに前カメラ１及び後カメラ２で撮影された画像が取り込まれる毎に実施する。
本実施例では、前記実施例１とは画像を結合するタイミングが異なるが、前記実施例１とほぼ同様な効果を奏する。
（実施例３）
次に、実施例３について説明するが、前記実施例１と同様な箇所の説明は省略する。
【００７７】
本実施例では、各第１鳥瞰図画像を作成した後に各移動後鳥瞰図画像を作成し、その後各移動後鳥瞰図画像から合成鳥瞰図画像を作成し、その後結合合成鳥瞰図画像を作成する場合を説明する。
本実施例では、図１１のフローチャートに示す様に、ステップ５１０では、前カメラ１及び後カメラ２で撮影した画像の座標変換を行って、各第１鳥瞰図画像を作成する。
【００７８】
続くステップ５２０では、前記各第１鳥瞰図画像をそれぞれ画像メモリＡ及び画像メモリＢに記憶する。
続くステップ５３０では、車速信号及びヨーレイト信号に基づいて、移動距離Ｌ及び回転角度θＣで示される車両の動き量（移動量）を求める。
【００７９】
続くステップ５４０では、車両の移動量に基づいて、前記各第１鳥瞰図画像を移動させて、各移動後鳥瞰図画像を求める。
続くステップ５５０では、新たに撮影されて画像メモリＡ及び画像メモリＢに記憶された第２鳥瞰図画像を、画像メモリＡ及び画像メモリＢからそれぞれ読み込む。
【００８０】
続くステップ５６０では、各移動後鳥瞰図画像と各第２鳥瞰図画像とを合成して各合成鳥瞰図画像を作成する。
続くステップ５７０では、前記各合成鳥瞰図画像を結合させて、結合合成鳥瞰図画像を求める。
【００８１】
続くステップ５８０では、超音波センサ８からの信号に基づいて、障害物の位置及び障害物の大きさを求める。
続くステップ５９０では、検出した障害物の情報に基づいて、障害物を示す画像を、結合合成鳥瞰図画像に対して障害物が存在する位置に書き込む。
【００８２】
続くステップ６００では、結合合成鳥瞰図画像を、画像メモリＤに記憶する。
続くステップ６１０では、車両を示す画像や視野角を示す画像などを加味して、画像メモリＤに記憶した結合合成鳥瞰図画像をモニタ３に表示し、一旦本処理を終了する。
【００８３】
以後同様な処理を、新たに前カメラ１及び後カメラ２で撮影された画像が取り込まれる毎に実施する。
本実施例では、前記実施例１とは画像を結合するタイミングが異なるが、前記実施例１とほぼ同様な効果を奏する。
【００８４】
尚、本発明は前記実施例になんら限定されるものではなく、本発明を逸脱しない範囲において種々の態様で実施しうることはいうまでもない。
（１）例えば、前記実施例では、車両周辺画像処理装置について述べたが、この装置による処理を実行させる手段を記憶している記録媒体も、本発明の範囲である。この記録媒体としては、マイクロコンピュータとして構成される電子制御装置、マイクロチップ、フロッピィディスク、ハードディスク、光ディスク等の各種の記録媒体が挙げられる。
【００８５】
つまり、上述した車両周辺画像処理装置の処理を実行させることができる例えばプログラム等の手段を記憶したものであれば、特に限定はない。
（２）また、前記実施例では、車両の移動状態を車速センサやヨーレートセンサを用いて検出し、その情報に基づいて移動後鳥瞰図画像を作成する様にしたが、例えばカメラで撮影した画像（鳥瞰図画像）の動きベクトルを求め、この動きベクトルから車両の移動状態を推定して、移動後鳥瞰図画像を求めてもよい。
【００８６】
例えばいわゆる画像のマッチングの処理により、第１鳥瞰図画像とそれより後の第２鳥瞰図画像との移動状態を検出し、その画像の移動状態から車両の移動状態を求めるようにしてもよい。
【図面の簡単な説明】
【図１】 実施例１の車両周辺画像処理装置の主要構成を示す説明図である。
【図２】 実施例１の車両周辺画像処理装置の電気的構成を示す説明図である。
【図３】 実施例１の超音波センサの検出範囲を示す説明図である。
【図４】 実施例１の車両周辺画像処理装置により用いられる画像を示し、（ａ）は前カメラにより撮影された画像の説明図、（ｂ）は後カメラにより撮影された画像の説明図、（ｃ）は前カメラによる鳥瞰図画像の説明図、（ｄ）は後カメラによる鳥瞰図画像の説明図である。
【図５】 実施例１の車両周辺画像処理装置による座標変換の際の位置関係を示す説明図である。
【図６】 実施例１の車両周辺画像処理装置による結合鳥瞰図画像を示す説明図である。
【図７】 実施例１の車両周辺画像処理装置による車両の移動量を求めるための手法を示す説明図である。
【図８】 実施例１の車両周辺画像処理装置の処理を示すフローチャートである。
【図９】 実施例１の車両周辺画像処理装置のよる画像作成の手順を示す説明図である。
【図１０】 実施例２の車両周辺画像処理装置の処理を示すフローチャートである。
【図１１】 実施例３の車両周辺画像処理装置の処理を示すフローチャートである。
【符号の説明】
１…前カメラ
２…後カメラ
３…車載モニタ（モニタ）
５…車速センサ
７…ヨーレイトセンサ
８…超音波センサ
９…画像処理ユニット
Claims (8)
- 車両周辺の画像を撮影する撮影手段と、画像を表示する表示手段とを備えた車両に対して、前記撮影手段により撮影された画像を処理して前記表示手段に表示する車両周辺画像処理装置において、
前記車両に、撮影方向が異なる前記撮影手段を複数配置するとともに、
前記各撮影手段により撮影された各画像に基づいてそれぞれ作成された各第１鳥瞰図画像を記憶する鳥瞰図画像記憶手段と、
前記各第１鳥瞰図画像を、前記各撮影手段の位置関係に基づいて結合して結合鳥瞰図画像を作成する結合鳥瞰図画像作成手段と、
前記結合鳥瞰図画像を、前記車両の移動状態に応じて移動させて、移動後鳥瞰図画像を作成する移動後鳥瞰図画像作成手段と、
前記各第１鳥瞰図画像より後に撮影されて作成された各第２鳥瞰図画像と、前記移動後鳥瞰図画像とを合成して、結合合成鳥瞰図画像を作成する結合合成鳥瞰図画像作成手段と、
を備え、
前記結合合成鳥瞰図画像を、前記表示手段に表示するとともに、
前記車両の周囲の障害物を、障害物検知センサにより検知した場合には、当該検知した障害物の位置を、前記結合合成鳥瞰図画像に加入して前記表示手段に表示することを特徴とする車両周辺画像処理装置。 - 車両周辺の画像を撮影する撮影手段と、画像を表示する表示手段とを備えた車両に対して、前記撮影手段により撮影された画像を処理して前記表示手段に表示する車両周辺画像処理装置において、
前記車両に、撮影方向が異なる前記撮影手段を複数配置するとともに、
前記各撮影手段により撮影された各画像に基づいてそれぞれ作成された各第１鳥瞰図画像を記憶する鳥瞰図画像記憶手段と、
前記各第１鳥瞰図画像を、前記車両の移動状態に応じてそれぞれ移動させて、各移動後鳥瞰図画像を作成する移動後鳥瞰図画像作成手段と、
前記各移動後鳥瞰図画像を、前記各撮影手段の位置関係に基づいて結合して結合移動後鳥瞰図画像を作成する結合移動後鳥瞰図画像作成手段と、
前記各第１鳥瞰図画像より後に撮影されて作成された各第２鳥瞰図画像と、前記結合移動後鳥瞰図画像とを合成して、結合合成鳥瞰図画像を作成する結合合成鳥瞰図画像作成手段と、
を備え、
前記結合合成鳥瞰図画像を、前記表示手段に表示するとともに、
前記車両の周囲の障害物を、障害物検知センサにより検知した場合には、当該検知した障害物の位置を、前記結合合成鳥瞰図画像に加入して前記表示手段に表示することを特徴とする車両周辺画像処理装置。 - 車両周辺の画像を撮影する撮影手段と、画像を表示する表示手段とを備えた車両に対して、前記撮影手段により撮影された画像を処理して前記表示手段に表示する車両周辺画像処理装置において、
前記車両に、撮影方向が異なる前記撮影手段を複数配置するとともに、
前記各撮影手段により撮影された各画像に基づいてそれぞれ作成された各第１鳥瞰図画像を記憶する鳥瞰図画像記憶手段と、
前記各第１鳥瞰図画像を、前記車両の移動状態に応じてそれぞれ移動させて、各移動後鳥瞰図画像を作成する移動後鳥瞰図画像作成手段と、
前記各第１鳥瞰図画像より後に撮影されて作成された各第２鳥瞰図画像と、前記各移動後鳥瞰図画像とを合成して、各合成鳥瞰図画像を作成する合成鳥瞰図画像作成手段と、
前記各合成鳥瞰図画像を、前記各撮影手段の位置関係に基づいて結合して結合合成鳥瞰図画像を作成する結合合成鳥瞰図画像作成手段と、
を備え、
前記結合合成鳥瞰図画像を、前記表示手段に表示するとともに、
前記車両の周囲の障害物を、障害物検知センサにより検知した場合には、当該検知した障害物の位置を、前記結合合成鳥瞰図画像に加入して前記表示手段に表示することを特徴とする車両周辺画像処理装置。 - 前記複数の撮影手段の撮影方向は、前記車両の前方と後方であることを特徴とする前記請求項１〜３のいずれかに記載の車両周辺画像処理装置。
- 前記表示手段に結合合成鳥瞰図画像を表示する場合には、自車両を示す画像を加えて表示することを特徴とする前記請求項１〜４のいずれかに記載の車両周辺画像処理装置。
- 前記第１鳥瞰図画像として、今回の結合合成鳥瞰図画像より前に作成した結合合成鳥瞰図画像を用いることを特徴とする前記請求項１〜５のいずれかに記載の車両周辺画像処理装置。
- 前記結合合成鳥瞰図画像は、前記第２鳥瞰図画像を表示する表示領域以外に、前記移動後の鳥瞰図画像を加入した画像であることを特徴とする前記請求項１〜６のいずれかに記載の車両周辺画像処理装置。
- 前記請求項１〜７のいずれかに記載の車両周辺画像処理装による処理を実行させる手段を記憶していることを特徴とする記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001384588A JP3813085B2 (ja) | 2001-12-18 | 2001-12-18 | 車両周辺画像処理装置及び記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001384588A JP3813085B2 (ja) | 2001-12-18 | 2001-12-18 | 車両周辺画像処理装置及び記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003189292A JP2003189292A (ja) | 2003-07-04 |
| JP3813085B2 true JP3813085B2 (ja) | 2006-08-23 |
Family
ID=27594283
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001384588A Expired - Fee Related JP3813085B2 (ja) | 2001-12-18 | 2001-12-18 | 車両周辺画像処理装置及び記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3813085B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10744941B2 (en) | 2017-10-12 | 2020-08-18 | Magna Electronics Inc. | Vehicle vision system with bird's eye view display |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4573242B2 (ja) * | 2004-11-09 | 2010-11-04 | アルパイン株式会社 | 運転支援装置 |
| JP4934308B2 (ja) * | 2005-10-17 | 2012-05-16 | 三洋電機株式会社 | 運転支援システム |
| JP6024581B2 (ja) * | 2013-04-15 | 2016-11-16 | 株式会社デンソー | 車両用画像処理装置 |
| KR101844683B1 (ko) * | 2016-11-03 | 2018-04-02 | 재단법인 다차원 스마트 아이티 융합시스템 연구단 | Od 및 bsd를 통합한 차량용 영상 모니터링 시스템 및 그 동작 방법 |
-
2001
- 2001-12-18 JP JP2001384588A patent/JP3813085B2/ja not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10744941B2 (en) | 2017-10-12 | 2020-08-18 | Magna Electronics Inc. | Vehicle vision system with bird's eye view display |
| US11242004B2 (en) | 2017-10-12 | 2022-02-08 | Magna Electronics Inc. | Method of generating images for display for vehicular vision system |
| US11618383B2 (en) | 2017-10-12 | 2023-04-04 | Magna Electronics Inc. | Vehicular vision system with display of combined images |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003189292A (ja) | 2003-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4156214B2 (ja) | 車両周辺画像処理装置及び記録媒体 | |
| JP3778849B2 (ja) | 車両周辺画像処理装置及び記録媒体 | |
| US9858639B2 (en) | Imaging surface modeling for camera modeling and virtual view synthesis | |
| JP5182042B2 (ja) | 画像処理装置、画像処理方法及びコンピュータプログラム | |
| US20110210868A1 (en) | Parking assistance apparatus | |
| US20100171828A1 (en) | Driving Assistance System And Connected Vehicles | |
| US20050074143A1 (en) | Vehicle backing assist apparatus and vehicle backing assist method | |
| WO2001021446A1 (en) | Device for assisting automobile driver | |
| JP2008013015A (ja) | 車両周辺画像生成装置および画像切替方法 | |
| JP2004114977A (ja) | 移動体周辺監視装置 | |
| JP4192680B2 (ja) | 移動体周辺監視装置 | |
| JP2006268076A (ja) | 運転支援システム | |
| JP4154980B2 (ja) | 移動体周辺監視装置 | |
| JP2011259152A (ja) | 運転支援装置 | |
| JP2002354467A (ja) | 車両周囲情報表示装置 | |
| JP4071463B2 (ja) | 車両周辺画像処理装置 | |
| JP3796417B2 (ja) | 車両周辺画像処理装置及び記録媒体 | |
| JP3813085B2 (ja) | 車両周辺画像処理装置及び記録媒体 | |
| JP4932293B2 (ja) | 障害物認識装置 | |
| JP3395393B2 (ja) | 車両周囲表示装置 | |
| JP2004252837A (ja) | 車両周辺表示装置および車両周辺表示プログラム | |
| CN111402132B (zh) | 倒车辅助方法及系统、图像处理器及相应的辅助驾驶系统 | |
| JP2006252577A (ja) | 地図データ生成装置 | |
| JP3850271B2 (ja) | 車両周辺画像処理装置及び記録媒体 | |
| JP4207519B2 (ja) | 移動体周辺監視装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040408 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060216 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060221 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060424 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060523 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060530 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3813085 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090609 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100609 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100609 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110609 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110609 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120609 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120609 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130609 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140609 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |