JP4067424B2

JP4067424B2 - 車両周辺画像処理装置及びプログラム並びに記録媒体

Info

Publication number: JP4067424B2
Application number: JP2003044732A
Authority: JP
Inventors: 博彦柳川; 学小野; 勝之今西; 竜也植木
Original assignee: Denso Corp; Nippon Soken Inc
Current assignee: Denso Corp; Soken Inc
Priority date: 2003-02-21
Filing date: 2003-02-21
Publication date: 2008-03-26
Anticipated expiration: 2023-02-21
Also published as: JP2004254219A

Description

【０００１】
【発明の属する技術分野】
本発明は、例えば車両の後方を撮影してモニタに表示できる車両周辺画像処理装置及びプログラム並びに記録媒体に関するものである。
【０００２】
【従来の技術】
従来より、車両の後方の様子を表示する装置として、車両の後部に取り付けたカメラの画像を、そのままモニタに出力する表示装置が知られている。
この表示装置では、車両後方の状態が有る程度分かるが、自車両とモニタに表示されている駐車枠の画像の相対位置関係が分かりに難いという問題がある。
【０００３】
この対策として、後方カメラで撮影した画像（後方カメラ画像）を鳥瞰図に変換し、自車両をその中に表示するという技術が提案されている（特許文献１参照）。
【０００４】
【特許文献１】
特開２００２−８７１６０号公報（第４，５頁、図８）
【０００５】
【発明が解決しようとする課題】
この技術の場合には、自車と駐車枠との位置関係が一目瞭然に分かるので好適であるが、表示範囲が通常例えば自車の周辺数ｍであるので、駐車枠から遠いアプローチ時には、場合によっては、バックする際の目標が分かりにくいという問題があった。
【０００６】
本発明は、前記課題を解決するためになされたものであり、例えばバックによる駐車時に、運転者に分かりやすい画面表示ができる車両周辺画像処理装置及びプログラム並びに記録媒体を提供することを目的とする。
【０００７】
【課題を解決するための手段及び発明の効果】
（１）請求項１の発明は、車両周辺の画像を撮影する撮影手段（例えばカメラ）と、画像を表示する表示手段（例えばモニタ）とを備えた車両に対して、撮影手段により撮影された画像を処理して表示手段に表示する車両周辺画像処理装置に関するものである。
【０００８】
本発明では、撮影手段により撮影された画像のデータ（例えば撮影手段により撮影された現在の画像データ、又は現在や過去の画像を合成した合成画像のデータ等）に基づいて鳥瞰図画像を生成する。例えば、撮影された通常の画像等を、撮影手段を視点として投影した地上面座標系のデータに変換して鳥瞰図画像を生成する。これにより、画像は、例えばカメラで撮影したままの歪んだ画像ではなく、地面の上方より見たような見やすい鳥瞰図画像となる。
【０００９】
特に本発明では、表示手段に、撮影手段により撮影された（鳥瞰図変換されない）原画像と鳥瞰図画像生成手段により生成された鳥瞰図画像とを共に表示する。例えば同じモニタの画面に、カメラで撮影した状態の原画像と（例えば原画像や合成画像を鳥瞰図変換した）鳥瞰図画像とを、並列して同時に表示する。
【００１０】
従って、運転者は、表示手段に表示された原画像により、車両周辺の状態を例えばカメラで撮影したままの画像（いわゆるカメラ画像）で全体的に把握できるとともに、鳥瞰図画像により、例えば車両と駐車枠との相対位置が正確に把握できるので、例えばバックにて駐車する際に非常に便利である。
【００１１】
（２）請求項１の発明では、表示手段に、原画像及び鳥瞰図画像の両画像のうち、どちらの画像を強調して表示するかを判定し、その判定結果に基づいて、強調表示すべき画像を表示手段に強調して表示する。
これにより、運転者は、強調された画像を見て、車両の周囲の状態を的確に把握できるという効果がある。
【００１２】
尚、画像を強調する方法としては、強調する画像を拡大する方法や、その画像を目立たせるために色のついた枠で囲む方法等、運転者の注意を引くための各種の方法が考えられる。
（３）請求項１の発明では、強調表示判定手段は、原画像又は鳥瞰図画像に含まれる駐車枠の画像と、シフト位置及びハンドルの操作状態である車両の運転状態とに基づいて判定を行う。
例えば車両がバックにより駐車する状態（特に駐車枠に近づいている状態）であることを、例えばカメラで撮影した画像中（又はその画像の鳥瞰図画像の画像中）に駐車枠が写っていること、及びシフト位置がバックで、ハンドルが大きく切られていることにより検出した場合には、自動的に、その運転状態に適した画像を強調して表示することができる。
【００１４】
尚、マニュアルの例えばスイッチ操作にて、強調する画像を指定してもよい。
（４）請求項２に記載の発明のように、強調表示判定手段は、車両の運転状態に基づく判定を行い、車両の運転状態が所定の条件を満たした場合に限り、原画像又は鳥瞰図画像に含まれる駐車枠の画像に基づいて判定を行っても良い。
こうすることにより、所定の条件を満たしていない場合は、撮影手段が撮影した画像に駐車枠が含まれているか否かの判定を行う必要がなくなる。
【００１７】
（５）請求項３の発明は、車両周辺の画像を撮影する撮影手段（例えばカメラ）と、画像を表示する表示手段（例えばモニタ）とを備えた車両に対して、前記撮影手段により撮影された画像を処理して前記表示手段に表示する車両周辺画像処理装置に関するものである。
【００１８】
本発明では、撮影手段により撮影された画像のデータ（例えば撮影手段により撮影された現在の画像データ、又は現在や過去の画像を合成した合成画像のデータ等）に基づいて鳥瞰図画像を生成する。例えば、撮影された通常の画像等を、撮影手段を視点として投影した地上面座標系のデータに変換して鳥瞰図画像を生成する。これにより、画像は、例えばカメラで撮影したままの歪んだ画像ではなく、地面の上方より見たような見やすい鳥瞰図画像となる。
【００１９】
特に本発明では、表示手段に、撮影手段により撮影された（鳥瞰図変換されない）原画像及び鳥瞰図画像生成手段により生成された鳥瞰図画像のうち、どちらの画像を表示するかを判定し、その判定結果に基づいて、表示すべき画像を表示手段に表示する。
【００２０】
従って、表示手段には、運転状態に適した画像を適宜選択して表示することができるので、運転が非常に容易になる。例えばバックにて駐車する際に鳥瞰図画像を表示すれば、車両と駐車枠との相対位置を把握できるので、非常に便利である。
（６）請求項３の発明では、表示判定手段は、原画像又は鳥瞰図画像に含まれる駐車枠の画像と、シフト位置及びハンドルの操作状態である車両の運転状態とに基づいて判定を行う。
例えば車両がバックにより駐車する状態（特に駐車枠に近づいている状態）であることを、例えばカメラで撮影した画像中（又はその画像の鳥瞰図画像の画像中）に駐車枠が写っていること、及びシフト位置がバックで、ハンドルが大きく切られていることにより検出した場合には、自動的に、その運転状態に適した画像を選択して表示することができる。
【００２２】
尚、マニュアルの例えばスイッチ操作にて、表示する画像を指定してもよい。
（７）請求項４に記載の発明のように、表示判定手段は、車両の運転状態に基づく判定を行い、車両の運転状態が所定の条件を満たした場合に限り、原画像又は鳥瞰図画像に含まれる駐車枠の画像に基づいて判定を行っても良い。
こうすることにより、所定の条件を満たしていない場合は、撮影手段が撮影した画像に駐車枠が含まれているか否かの判定を行う必要がなくなる。
【００２５】
（８）請求項５の発明では、表示判定手段による判定結果に基づいて、現在表示されている原画像を鳥瞰図画像に切り替える。
つまり、例えばカメラで撮影された画像が表示されている場合に、バックにて駐車する状態（特に駐車枠に近接した状態）となった場合には、その駐車の際の操作に好適な鳥瞰図画像に切り替える。これにより、駐車の際の操作が容易になる。
【００２６】
（９）請求項６の発明では、撮影手段により撮影される画像は、車両の後方の画像である。
従って、車両後方の画像（原画像や鳥瞰図画像）を表示することにより、バックでの駐車時の操作が容易になる。
【００２７】
（１０）請求項７の発明（プログラム）は、請求項１〜６のいずれかに記載の車両周辺画像処理装置の機能を実現するための手段を有している。
つまり、上述した車両周辺画像処理装置の機能を実現するための各手段は、コンピュータのプログラムにより実行される処理により実現することができる。
【００２８】
（１１）請求項８の発明（記録媒体）は、請求項７に記載のプログラムの機能を実現するための手段を記憶している。
つまり、上述した様なプログラムをコンピュータシステムにて実現する機能は、例えば、コンピュータシステム側で起動するプログラムとして備えることができる。このようなプログラムの場合、例えば、フレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ、ハードディスク等のコンピュータ読み取り可能な記録媒体に記録し、必要に応じてコンピュータシステムにロードして起動することにより用いることができる。この他、ＲＯＭやバックアップＲＡＭ等をコンピュータ読み取り可能な記録媒体として前記プログラムを記録しておき、このＲＯＭあるいはバックアップＲＡＭ等をコンピュータシステムに組み込んで用いても良い。
【００２９】
【発明の実施の形態】
以下に、本発明の車両周辺画像処理装置及びプログラム並びに記録媒体の実施の形態の例（実施例）を説明する。
（実施例１）
ここでは、モニタの表示画面に、原画像と鳥瞰図画像とを切り替えて表示する装置を例に挙げて説明する。
【００３０】
ａ）本実施例の基本的なシステム構成を図１及び図２を用いて説明する。
図１に示す様に、本実施例の車両周辺画像処理装置は、自動車の後部に配置されたカメラ（例えばＣＣＤカメラ）１と、ダッシュボードに配置された車載モニタ（例えば液晶ディスプレイ）３と、画像処理等の処理を行うデータ処理ユニット５とを備えている。尚、データ処理ユニット３は、カメラ１又はモニタ５と一体の構造となっていてもよい。
【００３１】
前記データ処理ユニット５は、図２に示す様に、マイクロコンピュータを主要部とする画像データ等の処理を行う電子制御装置であり、機能的に、カメラ１で撮影した原画像の画像データや（原画像等を合成した）合成画像の画像データの座標変換を行って鳥瞰図画像を生成する座標変換部１１と、鳥瞰図画像から駐車枠の画像データを抽出する駐車枠処理部１３と、モニタ３に表示する画像を切り替える切替判断部１５と、モニタ３に表示する画像を描画する描画部１７とを備えている。
【００３２】
また、前記切替判断部１５には、画像の切替の判定の際に用いるために、車速センサ２１からの車速のデータ、ヨーレートセンサ２３からのヨーレートのデータ、ステアリングセンサ２５からのステアリング（ハンドル）のステアリング角（操舵角）のデータ等が入力される。
【００３３】
そして、後に詳述するように、本実施例では、上述した構成を用いて、モニタ３の表示画面に、カメラ１にて撮影された（通常のカメラ画像である）原画像と（原画像や合成画像を鳥瞰図変換した）鳥瞰図画像とを、駐車の際の運転状態に応じて切り替えて表示する。
【００３４】
ｂ）次に、本実施例における基本的な画像処理の手順等を、図３に基づいて説明する。
ここでは、車両を後退（バック）させて駐車枠内に入れる場合を例に挙げる。
▲１▼まず、カメラ１から出力される画像（原画像：出力画像）を、図３（ａ）左図に示す。
【００３５】
この画像は、車両の後部の上部に配置されたカメラ１により、地上に描かれた駐車枠及びその周囲を撮影した画像であるので、自車両（従ってカメラ１）と駐車枠の各線の位置との距離などに応じて、本来矩形である駐車枠が歪んで表示されている。
【００３６】
▲２▼次に、図３（ａ）左図の画像を座標変換して鳥瞰図画像を生成し、更に、その鳥瞰図画像に、自車両の位置やカメラ１の視野角の画像を加入して合成し、その合成画像を、図３（ｂ）右図に示す様に、モニタ５の画面に表示する。
つまり、カメラ１の取り付け高さや、取り付け角度、視野角は既知であるため、カメラ１の出力画像を座標変換部１１にて座標変換（周知の鳥瞰図変換）し、図３（ａ）右図に示す様な鳥瞰図画像とする。
【００３７】
尚、カメラ１で撮影した画像を鳥瞰図画像に変換してモニタ５に表示する処理は、例えば前記先行文献１に記載の様に周知技術であるので、詳しい説明は省略する。
▲３▼そして、車両がバックして駐車枠に近づくと、図３（ｂ）左図及び図３（ｃ）左図に示す様に、車両に近い部分は、カメラ１の視野から徐々に外れてしまうので、ここでは、時間的に連続した２つの鳥瞰図画像を取り込んでマッチングさせて、現在の視野の画像に視野外に消えた画像を加えた合成画像とする。
【００３８】
▲４▼次に、この合成画像をモニタ３に表示する場合には、図３（ｂ）右図及び図３（ｃ）右図に示す様に、描画部１７により、上述した合成画像を描画するとともに、車両の位置とカメラ１の視野角の画像も合成して描画する。
ｃ）次に、本実施例の要部である表示画像の切替処理の手順等を、図４及び図５に基づいて説明する。
【００３９】
本実施例では、バックでの駐車の際に、図４の▲１▼、▲２▼、▲３▼の矢印で示される様な走行経路であることを、車両のセンサからのデータや画像処理によって抽出した駐車枠のデータにより判定し、その様なバックでの駐車であると判断された場合には、原画像の表示を鳥瞰図画像の表示に切り替えるものである。以下、順を追って説明する。
【００４０】
図５に示す様に、まず、ステップ１００にて、シフト位置がバックであるか否かを判定する。ここで肯定判断されるとステップ１１０に進み、一方否定判断されると一旦本処理を終了する。
尚、シフト位置は、シフト位置検出センサ（図示せず）からの信号や、他の電子制御装置からの信号により検出することができる。
【００４１】
ステップ１１０では、カメラ１で撮影した原画像（通常のカメラ画像）の座標変換（鳥瞰図変換）を行って、鳥瞰図画像を得る。
続くステップ１２０では、ステアリング角（又はヨーレート）が、一定値より大であるか否か、即ち、大きくハンドルが切られた状態であるか否かを判定する。ここで肯定判断されるとステップ１７０に進み、一方否定判断されるとステップ１３０に進む。
【００４２】
ステップ１７０では、シフト位置がバックで且つ大きくハンドルが切られた状態であるので、即ち図４の▲３▼の点線（前進）及び実線（後進）の走行経路を移動して、駐車枠に近接する駐車動作の状態であるとして、駐車動作が容易となるように、モニタ３に鳥瞰図画像を表示して、一旦本処理を終了する。
【００４３】
これにより、モニタ３には、例えば図６（ａ）に示す様に、車両が駐車枠に平行な鳥瞰図画像が表示される。
一方、ステップ１３０では、シフト位置がバックで且つハンドルが殆ど切られていない状態であるので、即ち図４の▲１▼の実線（後進）の走行経路を移動する駐車動作の最初の状態であるとして、車両後方全体を広く確認できるように、モニタ３に原画像を表示する。
【００４４】
続くステップ１４０では、駐車枠があるか否かを、例えば鳥瞰図画像の画像データから判定する。
具体的には、鳥瞰図画像の画像データを解析して、周知の画像処理によって路面上の白線を抽出し、この白線が駐車枠を示すか否かを判定する。例えば平行な白線が所定間隔を開けて存在すれば駐車枠であると判定する。
【００４５】
そして、ここで肯定判断されると、駐車枠内に入れる際の駐車動作の状態であるとして、前記ステップ１７０に進んで、原画像を鳥瞰図画像に切り替える。これにより、モニタ３には、例えば図６（ｂ）に示す様な鳥瞰図画像が表示される。一方、ここで否定判断されるとステップ１５０に進む。
【００４６】
ステップ１５０では、車速が一定値より大であるか否かを判定し、ここで肯定判断されると前記ステップ１３０に戻り、一方否定判断されるとステップ１６０に進む。
ステップ１６０では、ステアリング角（又はヨーレート）が、一定値より大であるか否かを判定し、ここで肯定判断されると前記ステップ１７０に進み、一方否定判断されると前記ステップ１３０に戻る。
【００４７】
つまり、ここでは、車速が低速で大きくハンドルが切られた場合には、例えば図４の▲２▼の点線（前進）及び実線（後進）の走行経路を移動して、駐車枠に近接する駐車動作の状態、或いは、前記図４の▲１▼の実線（後進）の走行経路を移動した後の駐車動作の後半の状態（駐車枠に近接した状態）であるとして、駐車動作が容易となるように、原画像を鳥瞰図画像に切り替える。これにより、モニタ３には、例えば図６（ｂ）に示す画像とほぼ同様な鳥瞰図画像が表示される。
【００４８】
この様に、本実施例では、車両をバックにて駐車する際には、その駐車の動作及びそれに伴う駐車枠の画像データに基づいて、最も好ましい画像が原画像か鳥瞰図画像かを判定して、好ましい画像のみをモニタ３に表示するので、駐車動作が容易であるという顕著な効果を奏する。
【００４９】
例えば、バックにて駐車を開始する際に、モニタ３に原画像が表示される場合に、車両が駐車枠に接近したときには、モニタ３に表示される画像は、原画像から鳥瞰図画像に切り替えられる。
つまり、車両をバックにて駐車する際には、モニタ３に表示する画像を、運転状態等に応じて、最初から鳥瞰図画像にするか、又は、原画像から鳥瞰図画像に切り替えるので、バックでの駐車が非常に容易になるという顕著な効果を奏する。
（実施例２）
次に、実施例２について説明するが、前記実施例１と同様な箇所の説明は省略する。
【００５０】
本実施例では、モニタに原画像と鳥瞰図画像とを同時に並列して表示するものである。
図７に示す様に、本実施例では、バックにて駐車する際には、モニタ３１に、カメラにて撮影した原画像と（原画像又は合成画像の）鳥瞰図画像とが、並列して表示される。
【００５１】
前記モニタ３１の表示画面には、この両画像が表示される領域として、表示画面の左側の小領域３３と右側の大領域３５とが設定されており、大領域３５には、現時点で運転操作にとってより必要とされる画像が表示される。
例えば前記実施例１の表示画像の切り替えの際の判定処理の様にして、強調（具体的には拡大）して表示すべき画像が拡大して表示される。これは、拡大表示が選択された画像の方が、現時点での駐車動作に対して必要性が高いからである。
【００５２】
従って、本実施例では、駐車動作の状態等に応じて、モニタ３１の小領域３３と大領域３５に表示される画像が適宜入れ替わって表示されることになる。
例えば、バックにて駐車を開始する際には、鳥瞰図画像が小領域３３に小さく表示されるとともに、原画像が大領域３５に大きく表示されるが、車両が駐車枠に接近した場合には、画像が切り替わって、原画像が小領域３３に小さく表示されるとともに、鳥瞰図画像が大領域３５に大きく表示される。
【００５３】
また、本実施例では、モニタ３１の画面上に、マニュアルのパネルスイッチが設定されている。
このうち、第１スイッチ３７は、大領域３５にカメラ画像（原画像）を表示させるスイッチである。尚、この第１スイッチ３７が操作されると、小領域には何も表示されない。
【００５４】
第２スイッチ３９は、大領域３５に鳥瞰図画像を表示させるスイッチである。尚、この第２スイッチ３９が操作されると、小領域には何も表示されない。
第３スイッチ４１は、小領域３３及び大領域３５に原画像及び鳥瞰図画像を表示させるスイッチであり、この第３スイッチ３９が操作される毎に、原画像と鳥瞰図画像とが入れ替わる。
【００５５】
尚、戻るスイッチ４３は、元の操作モードに戻るスイッチである。
この様に、本実施例では、必要な画像を強調して（この場合は拡大して）表示するので、前記実施例１と同様な効果を奏するとともに、両画像を並列して表示するので、車両周辺の情報が多く得られ、よって、一層運転が容易になるという利点がある。
【００５６】
尚、本発明は前記実施例になんら限定されるものではなく、本発明を逸脱しない範囲において種々の態様で実施しうることはいうまでもない。
例えば前記実施例１、２では、車両周辺画像処理装置について述べたが、この装置による処理を実行させる手段（プログラム）を記憶している記録媒体も、本発明の範囲である。
【００５７】
例えば記録媒体としては、マイクロコンピュータとして構成される電子制御装置、マイクロチップ、フレキシブルディスク、ハードディスク、ＤＶＤ、光ディスク等の各種の記録媒体が挙げられる。
つまり、上述した車両周辺画像処理装置の処理を実行させることができる例えばプログラム等の手段を記憶したものであれば、特に限定はない。
【図面の簡単な説明】
【図１】実施例１の車両周辺画像処理装置の主要構成を示す説明図である。
【図２】実施例１の車両周辺画像処理装置の電気的構成を示す説明図である。
【図３】実施例１の車両周辺画像処理装置による基本的な処理の手順を示す説明図である。
【図４】駐車の際の車両の動作を示す説明図である。
【図５】実施例１の車両周辺画像処理装置の処理を示すフローチャートである。
【図６】駐車動作の際の鳥瞰図画像を示す説明図である。
【図７】実施例２の車両周辺画像処理装置のモニタの表示画面を示す説明図である。
【符号の説明】
１…カメラ
３、３１…車載モニタ（モニタ）
５…データ処理ユニット
１１…座標変換部
１３…駐車枠処理部
１５…切替判断部
１７…描画部

Claims

車両周辺の画像を撮影する撮影手段と、画像を表示する表示手段とを備えた車両に対して、前記撮影手段により撮影された画像を処理して前記表示手段に表示する車両周辺画像処理装置において、
前記撮影手段により撮影された画像のデータに基づいて鳥瞰図画像を生成する鳥瞰図画像生成手段と、
前記表示手段に、前記撮影手段により撮影された原画像と前記鳥瞰図画像生成手段により生成された前記鳥瞰図画像とを共に表示する表示制御手段と、
前記表示手段に、前記原画像及び前記鳥瞰図画像の両画像のうち、どちらの画像を強調して表示するかを判定する強調表示判定手段と、
前記強調表示判定手段による判定結果に基づいて、強調表示すべき画像を前記表示手段に強調して表示する強調表示制御手段と、
を備え、
前記強調表示判定手段は、前記原画像又は前記鳥瞰図画像に含まれる駐車枠の画像と、シフト位置及びハンドルの操作状態である車両の運転状態とに基づいて判定を行うこと、
を特徴とする車両周辺画像処理装置。
前記強調表示判定手段は、前記車両の運転状態に基づく判定を行い、前記車両の運転状態が所定の条件を満たした場合に限り、前記原画像又は前記鳥瞰図画像に含まれる駐車枠の画像に基づいて判定を行うことを特徴とする請求項１に記載の車両周辺画像処理装置。
車両周辺の画像を撮影する撮影手段と、画像を表示する表示手段とを備えた車両に対して、前記撮影手段により撮影された画像を処理して前記表示手段に表示する車両周辺画像処理装置において、
前記撮影手段により撮影された画像のデータに基づいて鳥瞰図画像を生成する鳥瞰図画像生成手段と、
前記表示手段に、前記撮影手段により撮影された原画像及び前記鳥瞰図画像生成手段により生成された前記鳥瞰図画像のうち、どちらの画像を表示するかを判定する表示判定手段と、
前記表示判定手段による判定結果に基づいて、表示すべき画像を前記表示手段に表示する選択表示制御手段と、
を備え、
前記表示判定手段は、前記原画像又は前記鳥瞰図画像に含まれる駐車枠の画像と、シフト位置及びハンドルの操作状態である車両の運転状態とに基づいて判定を行うこと、
を特徴とする車両周辺画像処理装置。
前記表示判定手段は、前記車両の運転状態に基づく判定を行い、前記車両の運転状態が所定の条件を満たした場合に限り、前記原画像又は前記鳥瞰図画像に含まれる駐車枠の画像に基づいて判定を行うことを特徴とする請求項３に記載の車両周辺画像処理装置。
前記選択表示制御手段は、前記表示判定手段による判定結果に基づいて、現在表示されている前記原画像を前記鳥瞰図画像に切り替えることを特徴とする前記請求項３又は４に記載の車両周辺画像処理装置。
前記撮影手段により撮影される画像は、車両の後方の画像であることを特徴とする前記請求項１〜５のいずれかに記載の車両周辺画像処理装置。
前記請求項１〜６のいずれかに記載の車両周辺画像処理装置の機能を実現するための手段を有することを特徴とするプログラム。
前記請求項７に記載のプログラムの機能を実現するための手段を記憶していることを特徴とする記録媒体。