JP3677458B2 - 車両周辺画像表示装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、車両周辺を撮影してモニタに表示する車両周辺画像表示装置に関する。
【０００２】
【従来の技術】
従来より、車両後退時の操作等を支援するために、車両の後部にカメラ（以下「後部カメラ」という）を取り付け、その後部カメラにて撮影された画像を、そのままモニタに表示する装置や、後部カメラにて撮影された画像を、鉛直方向から地上面を見下ろした鳥瞰図を表す画像に変換し、その画像（以下「変換画像」という）の中に自車両を表す画像（以下「自車両表示」という）を合成してモニタに表示する装置（例えば特開平１０−２１１８４９号公報）が知られている。
【０００３】
特に、自車両表示を合成する後者の装置では、自車両と変換画像に示された物体（駐車枠等）との位置関係が明確になるため、後部カメラでの撮影画像をそのままモニタに表示する前者の装置と比較して使い勝手が向上する。
ところが、後者の装置では、モニタ中の変換画像の表示領域は、自車両表示より後方だけの狭い範囲に限られてしまうため、周辺画像の表示が見難く、モニタの表示画面を有効利用できないという問題があった。例えば、実際には道路面の駐車枠Ｗが、図４（ａ）に示すように描かれていたとしても、モニタには、図４（ｂ）に示すように、その一部分しか表示されず、十分な情報を得ることができないのである。また、駐車枠Ｗ内に車両が進入すると、車両の両側方に位置する駐車枠Ｗは、後部カメラの視野から外れてモニタには表示されないため、最終的に、自車両がどのような状態で駐車枠Ｗの中に収まっているのかを、モニタからは確認することができなかった。
【０００４】
これに対して、図５に示すように、車両の後退に伴って（図中（ａ）→（ｂ）→（ｃ）の順）、後部カメラの視野から外れた部分の画像ＳＯを、後部カメラからの撮影画像と現在表示中の画像とを比較することで抽出し、この抽出された視野外画像を後部カメラからの撮影画像ＳＩと合成することにより、後部カメラの視野外の画像ＳＯもモニタに表示させる装置が提案されている。
【０００５】
【発明が解決しようとする課題】
しかし、このように視野外の画像ＳＯを合成する装置であっても、車両が移動を始めた直後には（図５（ａ）参照）、合成すべき視野外の画像ＳＯが存在しないため、結局、合成を行わない従来装置と同様に、車両後部の限られた範囲にしか周辺画像が表示されず、モニタから十分な情報を得ることができないという問題があった。
【０００６】
本発明は、上記問題点を解決するために、車両周辺の様子を自車両と共に表示するための表示画面が有効に利用され、可能な限り多くの情報が常に得られる車両周辺画像表示装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記目的を達成するための発明である請求項１記載の車両周辺画像表示装置では、斜め下方を俯瞰して撮影するように車両に取り付けられた撮影手段を備えており、この撮影手段での撮影により得られた撮影画像を、画像変換手段が、鉛直方向から地上面を見下ろした鳥瞰図を表す画像に変換する。
【０００８】
そして、合成手段が、画像変換手段にて生成された変換画像と、表示手段にて表示中の周辺画像との間に一致する領域がある場合、変換画像とは不一致となる領域を周辺画像から抽出し、その抽出された領域を付加画像として変換画像に合成する。
【０００９】
すると、車両表示手段が、表示手段の表示画像中の特定位置に自車両を表示すると共に、この自車両の表示に対応するように、表示制御手段が、画像変換手段にて生成された変換画像、或いは合成手段にて付加画像が合成された変換画像にて、表示手段が表示する周辺画像を更新する。
【００１０】
なお、合成手段にて変換画像に合成された付加画像の占める領域が、予め設定された下限より狭い場合、表示変更手段が、表示画面中での変換画像の表示領域が拡大するように、この表示領域、及び車両表示手段による自車両の表示位置を変更する。
【００１１】
つまり、付加画像が抽出されないか、わずかしか抽出されず、周辺画像のほとんどが変換画像のみからなる時には、変換画像を表示するための領域が拡大されることになる。
このように、本発明の車両周辺画像表示装置によれば、周辺画像の全く表示されない領域が必要最小限に抑えられ、表示画面が有効に利用されるため、可能な限り多くの情報を表示手段を介して得ることができる。
【００１２】
また、本発明の車両周辺画像表示装置によれば、撮影手段が、斜め下方を俯瞰して撮影するように設置されているが、変換手段が、この撮影画像を、鉛直方向から地上面を見下ろした俯瞰図を表す画像に変換するため、表示手段に表示される画像は、撮影手段にて撮影したままの画像とは異なり、歪みのない見やすいものとなる。
【００１３】
更に、本発明の車両周辺画像表示装置によれば、表示画面中に、自車両の位置を表す画像が表示されるため、周辺画像に示された固定物体（例えば駐車枠など）と自車両との位置関係が明瞭となり、車両の操作が容易になる。
特に、撮影手段が、例えば請求項２記載のように、車両の後方を撮影するように構成されている場合には、駐車枠内に車両を後退させて駐車する時等に好適に使用することができる。
【００１４】
この場合、後退の開始時には、付加画像（撮影手段の視野外となった画像）が抽出されないため、実際の撮影画像から生成される変換画像を表示するための領域が、自車両表示の後方側に広く確保される。その後、車両が後退するに従って、車両に近い側の領域は撮影手段の視野から外れて、撮影画像（ひいては変換画像）に含まれなくなる。しかし、この部分の画像が付加画像として抽出され変換画像に合成されることにより、当初は表示のなかった自車両表示の側方部にも周辺画像が表示される。この付加画像に基づく周辺画像の表示領域が拡大するのに応じて、変換画像に基づく周辺画像の表示領域が縮小され、付加画像に基づく周辺画像の表示領域も十分に確保されることになる。このように、表示画面に表示される周辺画像から、車両の後方だけでなく車両の周囲の状況を明確に把握することができるのである。
【００１５】
また、画像変換手段は、請求項３記載のように、車線を示す画像を抽出して変換画像を生成するように構成してもよい。この場合、撮影画像を２値化処理する等すれば、白線で示された車線等を抽出することができ、鳥瞰図に変換する際の画像処理の負荷を軽減することができる。
【００１６】
【発明の実施の形態】
以下に本発明の実施形態を図面と共に説明する。
図１は、本実施形態の車両後方画像表示装置の主要構成を表す説明図である。図１に示すように、本実施形態の車両後方画像処理装置は、自動車の後部に、斜め下方を俯瞰して撮影するように配置された撮影手段としてのカメラ（例えばＣＣＤカメラ）１と、ダッシュボードに配置された表示手段としての車載モニタ（例えば液晶ディスプレイ）３と、マイクロコンピュータを主要部として構成され、カメラ１での撮影により得られた撮影画像データに基づいて、実際の表示に使用する表示画像データを生成する画像処理ユニット５とを備えている。
【００１７】
なお、画像処理ユニット５は、カメラ１又はモニタ３のいずれかと一体の構造となっていてもよい。また、モニタ３は、当該装置に専用のものを設けてもよいし、ナビゲーション装置など、他の車載装置のために既に設置されているモニタを使用してもよい。
【００１８】
ここで、画像処理ユニット５が表示画像データを生成するために実行する処理を、図２に示すフローチャートに沿って説明する。なお、本処理は、一定周期（例えば１００ｍｓ間隔）で起動されるものとする。
本処理が起動すると、まずシフトレバーが、後退走行を表すシフト位置に設定されているか否かを判断する（Ｓ１１０）。このシフト位置は、シフト位置検出センサ（図示せず）からの信号や、他の電子制御装置からの信号により検出することができる。
【００１９】
シフトレバーが後退走行を表すシフト位置になければ、画像を消去（Ｓ１８０）して本処理を終了し、一方、後退走行を表すシフト位置にあれば、カメラ１から撮影画像データを取り込んで（Ｓ１２０）、この斜め上方向から地上面を見下ろした画像を表す撮影画像データに対して座標変換を行うことにより、鉛直方向から地上面を見下ろした鳥瞰図画像を表す変換画像データを生成する（Ｓ１３０）。
【００２０】
なお、カメラ１からの撮影画像データを変換画像データに変換する処理は、例えば通常の透視変換とは逆の処理を行うことにより実現でき、具体的には特開平１０−２１１８４９号公報などに詳述されているので、ここではその説明を省略する。
【００２１】
次に、先のＳ１３０にて生成された変換画像データと、モニタ３に表示中の周辺画像に対応する周辺画像データとを比較して、カメラ１の視野から外れた領域を抽出し（Ｓ１４０）、この抽出された領域（以下「付加領域」という）を変換画像にマッチングをとって合成し、これをモニタ３での表示を更新するための周辺画像データとする（Ｓ１５０）。
【００２２】
なお、視野外領域の抽出は、具体的には、周知の画像マッチングの方法を用いて変換画像と周辺画像とで一致する領域を特定し、周辺画像からこの一致領域を除くことで行うことができる。但し、変換画像と周辺画像とで一致する領域がない場合には、付加領域は存在しないものとみなし、この場合、Ｓ１５０では、画像の合成を行うことなく、変換画像データを、そのまま周辺画像データとする。
【００２３】
続けて、Ｓ１４０にて抽出された付加領域の大きさに応じた描画モード（周辺画像の描画領域や自車両を表す画像（以下「自車両表示」という）の描画位置を規程する）を設定し（Ｓ１６０）、その設定された描画モードに従って、Ｓ１５０にて生成された周辺画像データをモニタ３に供給すると共に、自車両表示や、カメラ１の視野角を表す表示を合成することにより（Ｓ１７０）、設定された描画モードに応じた表示をモニタ３に行わせて本処理を終了する。
【００２４】
なお、本実施形態では、３種類の描画モードが設けられており、自車両表示の車両全体が表示されるモード１，車両後側の約半分が表示されるモード２，車両後側の約１／４が表示されるモード３からなる。このモード１からモード３に移行するに従って、カメラ１からのリアルタイム画像（変換画像）が表示される領域が縮小され、逆に、視野外領域となった画像が表示される領域が拡大されるようにされている。
【００２５】
そして、モード１の時に視野外領域の表示用に確保される全領域に対して、実際に表示される視野外領域の占める割合が第１しきい値ＴＨ１（例えば２０％）未満であればモード３、第１しきい値ＴＨ１以上第２しきい値ＴＨ２（例えば５０％）未満であればモード２、第２しきい値以上であればモード１を選択するようにされている。
【００２６】
なお、Ｓ１３０が画像変換手段、Ｓ１４０，Ｓ１５０が合成手段、Ｓ１７０が車両表示手段，表示制御手段、Ｓ１６０が表示変更手段に相当する。
このように構成された本実施形態の車両周辺画像表示装置では、例えば、車両を後退させて駐車枠内に入れる場合に、シフトレバーを後退走行を表すシフト位置に操作すると、モニタ３に、車両後方の道路面に描かれた駐車枠の画像が表示される。
【００２７】
この時、カメラ１の位置からみて駐車枠には奥行きがあるため、その撮影画像中に示される駐車枠は、本来の形状からは歪んだものとなる（図３（ａ）左図参照）。しかし、本実施形態では、この撮影画像を鳥瞰図画像に変換しているため、モニタ３には、歪みのない本来の形状をした駐車枠Ｗが表示され、しかも、自車両表示Ｃも表示される（図３（ａ）右図参照）。
【００２８】
また、車両が後退を開始した直後のモニタ３には、図３（ａ）に示すように、カメラ１からのリアルタイムな撮影画像に基づく車両後方の画像（変換画像）ＳＩのみが表示されるが、後退するに従って、カメラ１の視野外となった付加領域の画像ＳＯも、順次合成されて表示される。更に、付加領域の画像ＳＯの占める割合が増大するに従って、自車両表示Ｃの表示位置がより画面の中央に近付くように段階的に変更され、これと共に、付加領域の画像ＳＯを表示するための領域が拡大される（図３（ｂ）（ｃ）参照）。このため、最終的には、図３（ｃ）に示すように、駐車枠Ｗと自車両Ｃとの位置関係が、カメラ１の視野内にある後方部分だけでなく、カメラ１の視野外となる側方部分についても明確に表示されることになる。
【００２９】
以上説明したように、本実施形態の車両周辺画像表示装置では、周辺画像を表示するモニタ３に、自車両表示Ｃ及び視野角表示Ａの画像を加えて表示するだけでなく、車両の移動によってカメラ１の視野外となった付加領域も、過去の画像から抽出，合成して表示するようにされているので、自車両と駐車枠との位置関係を明瞭に把握できる。
【００３０】
しかも、付加領域を表す画像の占める割合に応じて、自車両位置を表す画像の表示位置を変化させることにより、カメラ１の撮影画像に基づく画像の表示領域と、視野外領域を表す画像の表示領域との割合を変化させ、提供可能な画像情報が最大限に表示されるようにしているため、周辺画像の表示が見やすくなり、且つその周辺画像から必要な情報（例えば、カメラ１の視野外となった車両側方にある駐車枠との位置関係など）を確実に得ることができる。
【００３１】
その結果、車両を後退させて駐車する操作などが、極めて容易になるという顕著な効果を奏する。
なお、上記実施形態では、表示される視野外領域の占める割合に応じて、３段階に表示を切り替えているが、２段階又は４段階以上に切り替えるように構成してもよい。また、何も表示されない領域が可能な限り小さくなるように、無段階で連続的に表示を切り替えるように構成してもよい。
【００３２】
更に、上記実施形態では、カメラ１からの撮影画像を、そのまま鳥瞰図画像に変換しているが、撮影画像から、駐車枠等の車両操作の目印となる画像を抽出して、この抽出された画像のみを座標変換し、これをモニタ３に表示するように構成してもよい。
【００３３】
また、駐車枠等の車両の操作の目印となる画像は、単に撮影した画像を座標変換して表示するだけではなく、色彩や色の濃淡等で強調して表示させるように構成してもよい。
【図面の簡単な説明】
【図１】 実施形態の車両後方画像表示装置の主要構成を示す説明図である。
【図２】 画像処理ユニットが実行する処理の内容を示すフローチャートである。
【図３】 モニタの表示の変化を表す説明図である。
【図４】 従来装置の問題点を表す説明図である。
【図５】 従来装置の動作、及び問題点を表す説明図である。
【符号の説明】
１…カメラ ３…車載モニタ ５…画像処理ユニット

Claims (3)

1. 各種画像を表示するための表示手段と、
   斜め下方を俯瞰して撮影するように車両に取り付けられた撮影手段と、
   該撮影手段での撮影により得られた撮影画像を、鉛直方向から地上面を見下ろした鳥瞰図を表す画像に変換する画像変換手段と、
   該画像変換手段にて生成された変換画像と前記表示手段にて表示中の周辺画像との間に一致する領域がある場合、前記変換画像とは不一致となる領域を前記周辺画像から抽出し、該抽出された領域を付加画像として前記変換画像に合成する合成手段と、
   前記表示手段の表示画面中の特定位置に自車両を表示する車両表示手段と、
   前記画像変換手段にて生成された変換画像、或いは前記合成手段にて付加画像が合成された変換画像にて、前記表示手段が表示する周辺画像を更新する表示制御手段と、
   を備えた車両周辺画像表示装置において、
   前記合成手段にて前記変換画像に合成される付加画像の占める領域が、予め設定された下限より狭い場合、前記表示画面中での前記変換画像の表示領域が拡大するように、該表示領域及び前記車両表示手段による自車両の表示位置を変更する表示変更手段を設けたことを特徴とする車両周辺画像表示装置。
2. 前記撮影手段は、車両後方の画像を撮影することを特徴とする請求項１に記載の車両周辺画像処理装置。
3. 前記画像変換手段は、車線を示す画像を抽出して変換画像を生成することを特徴とする請求項１又は２に記載の車両周辺画像処理装置。

Images