JP6679939B2 - 車両用表示装置および車両用表示方法 - Google Patents

Description

本発明は、車両用表示技術に関し、特に画像を表示する車両用表示装置および車両用表示方法に関する。

車両に設置されたカメラで当該車両の周辺を撮影した撮影画像を鳥瞰画像へと変換する視点変換処理がなされる。このような視点変換処理では、撮影画像に写り込んだ被写体は路面上に投影されていると仮定し、その投影された被写体を仮想視点から見た画像に変換するので、立体物が被写体である場合に、被写体が歪み、いびつなものとなることがある。この歪みを抑制するために、探査波を送受信した結果にもとづいて特定した立体物の輪郭によって鳥瞰画像が修正される（例えば、特許文献１参照）。

特開２０１２−１５６６３２号公報

さらに、鳥瞰画像、つまり俯瞰画像を生成するための視点変換では、一般的に、車両の周辺に存在し上下方向の位置の差がある物体間の距離や位置関係を正確に表すことができない。そのため、違和感を生じたり、物体までの距離や位置関係を正確に把握できなかったりする場合がある。物体までの距離や位置関係が正確に把握できなければ、物体に接触する危険性が生じる。

本発明はこうした状況に鑑みてなされたものであり、その目的は、俯瞰画像を用いた車両周辺状況を把握しながら余裕のある対応を行うことができ、障害物等の物体が存在する場合に、物体との接触の危険性を低減することができる技術を提供することである。

上記課題を解決するために、本発明のある態様の車両用表示装置は、車両の周辺を撮像した画像を取得する画像取得部と、画像取得部において取得した画像に対して、車両の上方から見たように視点を変換することによって、俯瞰画像を生成する生成部と、画像取得部において取得した画像に撮像された物体との距離を取得する距離取得部と、距離取得部において取得した物体の距離のうちの少なくとも１つを選択する選択部と、選択部において選択した少なくとも１つの距離をもとに、生成部において生成した俯瞰画像に対して、車両を示す画像が含まれている第１領域と、選択部において選択した少なくとも１つの距離だけ隔てた物体が含まれている第２領域とを識別可能な俯瞰画像とし、選択した物体が、地面に接している場合は選択した物体までを第２領域の境界線とし、地面に接していない場合は選択した物体より第１領域側になるような第２領域の境界線として、俯瞰画像に重畳する画像処理部と、画像処理部において第１領域と第２領域とが識別可能な俯瞰画像を表示部に表示させる表示処理部と、を備える。

本発明の別の態様は、車両用表示方法である。この方法は、車両の周辺を撮像した画像を取得するステップと、取得した画像に対して、車両の上方から見たように視点を変換することによって、俯瞰画像を生成するステップと、取得した画像に撮像された物体との距離を取得するステップと、取得した物体の距離のうちの少なくとも１つを選択するステップと、選択した少なくとも１つの距離をもとに、生成した俯瞰画像に対して、車両を示す画像が含まれている第１領域と、選択した少なくとも１つの距離だけ隔てた物体が含まれている第２領域とを識別可能な俯瞰画像とし、選択した物体が、地面に接している場合は選択した物体までを第２領域の境界線とし、地面に接していない場合は選択した物体より第１領域側になるような第２領域の境界線として、俯瞰画像に重畳するステップと、第１領域と第２領域とが識別可能な俯瞰画像を表示させるステップと、を備える。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、俯瞰画像を用いた車両周辺状況を把握しながら余裕のある対応を行うことができ、障害物等の物体が存在する場合に、物体との接触の危険性を低減することができる。

本発明の実施例に係る車両の周辺に形成される撮像範囲を示す斜視図である。 図２（ａ）−（ｂ）は、本発明の実施例の比較対象における処理の概要を示す図である。 本発明の実施例に係る車両用表示装置の構成を示す図である。 図３の生成部において生成される俯瞰画像を示す図である。 図３の距離取得部における処理の概要を示す図である。 図３の距離取得部における別の処理の概要を示す図である。 図３の画像処理部において生成される俯瞰画像を示す図である。 図３の車両用表示装置による表示手順例を示すフローチャートである。

本発明を具体的に説明する前に、まず前提を説明する。本発明の実施例は、車両に設置された複数の撮像部において撮像した画像に対して、視点変換により俯瞰画像を生成し、生成した俯瞰画像を表示する車両用表示装置に関する。視点変換では、撮像した画像が地面上の平面にマッピングされるので、撮像した画像に含まれた各物体が地面の平面上に並んでいるように表示される。そのため、視点変換によって、俯瞰画像に示される自車を示すアイコンと障害物との距離や位置関係が、実際の距離や位置関係と異なる場合がある。

例えば、実際の障害物までの距離よりも、俯瞰画像における障害物までの距離が離れるように表示される。具体的に説明すると、物体が立体物であっても、地面上に張り付いているように表示されるので、立体物までの距離は、立体物の下端の距離が一番近くに見える。立体物が地面に接地している場合、接地面までの距離が立体物までの実際の距離となるが、地面に接地していない場合、立体物までの距離は実際の距離より遠くに見える。このような状況下において、運転者が、モニタに表示された俯瞰画像を見ながら車庫入れ等を実行すると、障害物など車両の周辺に存在する物体とに接触しないと判断して操舵した場合であっても、物体に接触したり、適切な回避が困難となったりする可能性がある。

これに対応するために、本実施例に係る車両用表示装置は、次の処理を実行する。車両用表示装置は、撮像した画像に含まれた物体までの距離を測定し、測定した距離をもとに物体が含まれた領域を識別可能な俯瞰映像を生成する。さらに、車両用表示装置は、生成された俯瞰画像を表示する。物体を含んだ領域が識別可能として運転者に対して実際の距離の目安を提供し、視点変換による錯誤があることを警告する。

以下、本発明の実施例について、図面を参照しつつ説明する。実施例に示す具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、本発明に直接関係のない要素は図示を省略する。

図１は、本発明の実施例に係る車両１００の周辺に形成される撮像範囲を示す斜視図である。車両１００の前方部分、例えばバンパー、ボンネット等には、前方撮像部１２が設置される。前方撮像部１２は、前方撮像部１２から前方に向かうように前方撮像領域２０を形成し、前方撮像領域２０において画像を撮像する。車両の左側方部分、例えば、左側ドアミラーの下部等には、左側方撮像部１４が設置される。左側方撮像部１４は、左側方撮像部１４から左方に向かうように左側方撮像領域２２を形成し、左側方撮像領域２２において画像を撮像する。

車両の後方部分、例えば、バンパー、トランク等には、後方撮像部１６が設置される。後方撮像部１６は、後方撮像部１６から後方に向かうように後方撮像領域２４を形成し、後方撮像領域２４において画像を撮像する。左側方撮像部１４と左右対称になるように、車両の右側部分には、図示しない右側方撮像部１８が設置される。右側方撮像部１８は、右側方撮像部１８から右方に向かうように、右側方撮像領域２６を形成し、右側方撮像領域２６において画像を撮像する。前方撮像部１２、左側方撮像部１４、後方撮像部１６および右側方撮像部１８を撮像部１０とし、撮像部１０において撮像した画像によって、車両１００の周辺が撮像される。

図２（ａ）−（ｂ）は、本発明の実施例の比較対象における処理の概要を示す。比較対象では、図１に示すように、車両１００に設置された撮像部１０において画像を撮像する場合を想定する。特に、比較対象では、画像に対する視点変換により俯瞰画像を生成するための処理が、これまでなされていた処理に相当する。図２（ａ）は、図１の車両１００を左側方から見た場合を示す。前述のごとく、車両１００の後方部分には後方撮像部１６が設置されている。また、車両１００の後方には、他車両１１０が駐車あるいは停車している。

さらに、地面には枠線６０が描画されており、枠線６０は、他車両１１０の前方端部の下に存在する。ここで、他車両１１０のタイヤによって、他車両１１０の前方端部と図面との間には隙間がある。そのため、車両１００、他車両１１０を上方から見下ろした場合、枠線６０は他車両１１０に遮蔽される。一方、後方撮像部１６は、車両１００の上方ではない位置から斜めに他車両１１０および枠線６０を撮像しているので、後方撮像部１６によって撮像された画像には、他車両１１０の前方端部、枠線６０が含まれる。

図２（ｂ）は、撮像部１０において撮像した画像に対して、視点変換を実行して生成した俯瞰画像７８を示す。前述のごとく、俯瞰画像７８を生成するための処理には、これまでなされていた処理が実行されている。俯瞰画像７８の中央部分には、車両１００を示す画像である自車アイコン８０が配置される。自車アイコン８０の前方には前方画像７０が配置され、自車アイコン８０の左側方には左側方画像７２が配置され、車両１００の後方には後方画像７４が配置され、車両１００の右側方には右側方画像７６が配置される。特に、後方画像７４は、図２（ａ）における撮像範囲６２を撮像した画像をもとに生成されている。そのため、後方画像７４では、車両１００の後方に他車両１１０が配置されるとともに、車両１００と他車両１１０との間に枠線６０が配置される。つまり、本来、上方から見た場合に他車両１１０に遮蔽されるはずの枠線６０が、他車両１１０に遮蔽されなくなり、俯瞰画像７８と実際の状況とが異なる。このため、運転者において、他車両１１０が、地面上の枠線６０より後方にあると錯誤する可能性がある。

図３は、本発明の実施例に係る車両用表示装置３０の構成を示す。車両用表示装置３０は、撮像部１０を構成する前方撮像部１２、左側方撮像部１４、後方撮像部１６、右側方撮像部１８に接続されるとともに、表示部５０にも接続される。車両用表示装置３０は、画像取得部３２、生成部３４、距離取得部３６、選択部３８、画像処理部４０、表示制御部４２を含む。

前方撮像部１２、左側方撮像部１４、後方撮像部１６、右側方撮像部１８は、前述のごとく、画像を撮像する。画像は動画像であるが、静止画像であってもよい。前方撮像部１２、左側方撮像部１４、後方撮像部１６、右側方撮像部１８は、画像を画像取得部３２に出力する。画像取得部３２は、前方撮像部１２、左側方撮像部１４、後方撮像部１６、右側方撮像部１８のそれぞれから画像を取得する。つまり、画像取得部３２は、車両１００の周辺を撮像した画像を取得する。画像取得部３２は、取得した画像を生成部３４、距離取得部３６に出力する。

生成部３４は、画像取得部３２からの画像を入力する。生成部３４は、画像に対して、車両１００の上方から見たように視点を変換することによって俯瞰画像を生成する。当該変換には、公知の技術が使用されればよいが、例えば、仮想的な三次元空間における立体曲面に画像の各画素を投影するとともに、車両１００の上方からの仮想視点に応じて、立体曲面の必要な領域を切り出す。切り出した領域が、視点を変換した画像に相当する。

図４は、生成部３４において生成される俯瞰画像９８を示す。図４における俯瞰画像９８の中央部分には、自車アイコン８０が配置される。自車アイコン８０は、車両１００を上方から見た画像であり、かつ俯瞰画像９８における車両１００のサイズを有する。自車アイコン８０の前方には前方画像９０が配置され、自車アイコン８０の左側方には左側方画像９２が配置され、自車アイコン８０の後方には後方画像９４が配置され、自車アイコン８０の右側方には右側方画像９６が配置される。また、俯瞰画像９８には、車両１００の周囲に存在する物体の例として、第１物体１４０、第２物体１４２が示される。ここで、第１物体１４０、第２物体１４２が立体物である場合、地面に接地しているか否かは、不明である。図３に戻る。生成部３４は、俯瞰画像９８を画像処理部４０に出力する。

距離取得部３６は、画像取得部３２において取得した画像に撮像された物体との距離を取得する。また、距離取得部３６は、画像取得部３２において取得した画像に撮像された物体の高さ情報も取得する。画像から、物体までの距離と、高さを測定する方法としては、例えば、次の２つの方法が示される。１つ目では、車両１００が移動することにより、移動前後の画像を比較して測定し、２つ目では、複数の撮像部１０からの画像を比較して測定する。距離取得部３６は、ミリ波レーダやレーザレーダなど他の手法を用いまたは併用してもよいが、画像取得部３２において取得した画像を用いることで、装置の簡素化が可能である。まず、図５を使用しながら、１つ目を説明する。

図５は、距離取得部３６における処理の概要を示す。図示のごとく、直交座標系であるｘ軸、ｙ軸、ｚ軸が規定される。ｘ軸は、地面上の横方向を示し、ｙ軸は、地面状の縦方向を示し、ｚ軸は、地面に垂直な方向を示す。車両１００、後方撮像部１６は、前述の通りである。また、車両１００が示された位置に、最初の状態において車両１００が存在している。後退後車両２００は、後方、つまりｚ軸の負方向側に移動した車両１００に相当する。後退後車両２００における後方撮像部１６が後退後後方撮像部２１６である。障害物１２０は、車両１００の後方に存在する立体物であり、図形１２２は、地面上の平面図、例えば、前述の枠線６０である。なお、図形１２２は、後方撮像部１６において撮像した画像において、障害物１２０に重なっているとする。

ここで、後方撮像部１６の位置から地面に垂直に交わる点を原点として、地面から後方撮像部１６までの高さを「ａ」とした場合、障害物１２０と図形１２２の上面は以下のように導出される。後方撮像部１６からは、障害物１２０も図形１２２も同じものに見えるので、後方撮像部１６からの第１直線２５０として示される。第１直線２５０は、ｚ軸からの角度を「θ１」とし、ｘ軸からの角度を「φ１」とした場合、次のように示される。
（ｘ／（ｓｉｎθ１×ｃｏｓφ１））＝（ｙ／（ｓｉｎθ１×ｓｉｎφ１））＝（（ｚ＋ａ）／（ｃｏｓθ１））・・・式（１）

また、後退後後方撮像部２１６から障害物１２０への第２直線２５２は、車両の移動量を「ｂ」とし、ｚ軸からの角度を「θ２」とし、ｘ軸からの角度を「φ２」とした場合、次のように示される。
（（ｘ−ｂ）／（ｓｉｎθ２×ｃｏｓφ２））＝（ｙ／（ｓｉｎθ２×ｓｉｎφ２））＝（（ｚ＋ａ）／（ｃｏｓθ２））・・・式（２）
さらに、後退後後方撮像部２１６から図形１２２への第３直線２５４は、ｚ軸からの角度を「θ３」とし、ｘ軸からの角度を「φ３」とした場合、次のように示される。
（（ｘ−ｂ）／（ｓｉｎθ３＊ｃｏｓφ３））＝（ｙ／（ｓｉｎθ３＊ｓｉｎφ３））＝（（ｚ＋ａ）／（ｃｏｓθ３））・・・式（３）

距離取得部３６は、式（１）、式（２）の連立方程式を解くことによって、式（１）と式（２）の交点である障害物１２０の位置を導出する。また、距離取得部３６は、式（１）、式（３）の連立方程式を解くことによって、式（１）と式（３）の交点である図形１２２の位置を導出する。さらに、距離取得部３６は、連立方程式の解のｘ軸の値から移動量「ｂ」を減算することによって、車両１００の後端から障害物１２０、図形１２２への距離を導出する。距離取得部３６は、連立方程式の解のｙ軸の値から車両の幅の半分を減算することによって、車両側面から障害物１２０、図形１２２への距離を導出する。距離取得部３６は、連立方程式の解のｚ軸の値を障害物１２０、図形１２２の高さとする。

ここでは、後方撮像部１６を使用した場合を説明したが、同様な方法で、前方撮像部１２、左側方撮像部１４、右側方撮像部１８でも障害物の位置を測定することが可能である。車両１００の移動を利用した測定では、撮像部１０の移動が前提となるので、車両１００が静止した状態では測定不可能である。しかしながら、１つの撮像部だけで測定が可能なので、他の撮像部もそれぞれ使用することによって、車両１００の全周囲の測定が可能になる。

次に、図６を使用しながら、２つ目を説明する。図６は、距離取得部３６における別の処理の概要を示す。図６でも図５と同様の直交座標系が規定される。車両１００、後方撮像部１６、右側方撮像部１８、障害物１２０、図形１２２は、前述の通りである。ここで、後方撮像部１６の位置から地面に垂直に交わる点を原点として、地面から後方撮像部１６までの高さを「ａ」とした場合、障害物１２０と図形１２２の上面は以下のように導出される。

右側方撮像部１８からは、障害物１２０も図形１２２も同じものに見えるので、右側方撮像部１８からの第１直線２６０として示される。第１直線２６０は、右側方撮像部１８のｙ軸からの距離を「ｂ」とし、ｘ軸からの距離を「ｃ」とし、地面からの距離を「ｄ」とし、ｚ軸からの角度を「θ１」とし、ｘ軸からの角度を「φ１」とした場合、次のように示される。
（（ｘ＋ｃ）／（ｓｉｎθ１＊ｃｏｓφ１））＝（（ｙ＋ｂ）／（ｓｉｎθ１＊ｓｉｎφ１））＝（（ｚ＋ｄ）／（ｃｏｓθ１））・・・式（４）

一方、後方撮像部１６からは、障害物１２０も図形１２２が異なったものとして見えるので、後方撮像部１６から障害物１２０への第２直線２６２は、ｚ軸からの角度を「θ２」とし、ｘ軸からの角度を「φ２」とした場合、次のように示される。
（ｘ／（ｓｉｎθ２＊ｃｏｓφ２））＝（ｙ／（ｓｉｎθ２＊ｓｉｎφ２））＝（（ｚ＋ａ）／（ｃｏｓθ２））・・・式（５）
さらに、後方撮像部１６から図形１２２への第３直線２６４は、ｚ軸からの角度を「θ３」とし、ｘ軸からの角度を「φ３」とした場合、次のように示される。
（ｘ／（ｓｉｎθ３＊ｃｏｓφ３））＝（ｙ／（ｓｉｎθ３＊ｓｉｎφ３））＝（（ｚ＋ａ）／（ｃｏｓθ３））・・・式（６）

距離取得部３６は、式（４）、式（５）の連立方程式を解くことによって、式（４）と式（５）の交点である障害物１２０の位置を導出する。また、距離取得部３６は、式（４）、式（６）の連立方程式を解くことによって、式（４）と式（６）の交点である図形１２２の位置を導出する。さらに、距離取得部３６は、連立方程式の解のｘ軸の値を、車両１００から障害物１２０、図形１２２への距離とし、連立方程式の解のｚ軸の値を障害物１２０、図形１２２の高さとする。また、距離取得部３６は、連立方程式の解のｙ軸の値から車両の幅の半分を減算することによって、車両側面から障害物１２０、図形１２２への距離を導出する。

ここでは、後方撮像部１６、右側方撮像部１８を使用した場合を説明したが、同様な方法で、左側方撮像部１４あるいは右側方撮像部１８と、前方撮像部１２でも障害物の位置を測定することが可能である。２つ目の方法では、車両１００が静止した状態でも測定が可能である。図３に戻る。距離取得部３６は、１つ目の方法あるいは２つ目の方法で導出した物体までの距離、高さの情報を選択部３８に出力する。なお、複数の物体が画像に含まれる場合、距離取得部３６は、それらの距離、高さの情報を選択部３８に出力する。

選択部３８は、距離取得部３６から、１つ上の物体に関する距離、高さの情報を入力する。選択部３８は、距離取得部３６において取得した物体の距離のうちの少なくとも１つを選択する。具体的に説明すると、選択部３８は、入力した１つ以上の情報をもとに、（１）取得した高さの情報が予め設定された高さ以上である物体までの距離を選択する。ここで、「予め設定された高さ」は、例えば、５ｃｍのように設定される。予め設定された高さは、車両１００が乗り越えることが困難な高さや、障害物として回避すべき物体の高さが設定される。また、「予め設定された高さ」の別の設定例として、例えば２０ｃｍのように設定される。この高さは、車両１００の車体が接触してしまう高さが設定される。また、選択部３８は、入力した１つ以上の情報をもとに、（２）予め設定された距離未満の距離を選択する。ここで、「予め設定された距離」は、例えば、５０ｃｍのように設定される。予め設定された距離は、例えば駐車動作や徐行動作時に物体の存在を把握しなければならない距離が設定される。なお、選択部３８は、（１）と（２）のいずれか一方の選択を実行してもよいし、（１）と（２）の両方を満たした距離を選択してもよい。また、同一の方向に複数の物体が存在するときは、車両１００に最も近い物体までの距離を選択する。このような選択は、車両１００との衝突の危険性の低い物体を無視したり、車両１００から十分に離れた物体を無視したりすることに相当する。選択部３８は、選択した少なくとも１つの距離の情報を画像処理部４０に出力する。

画像処理部４０は、生成部３４からの俯瞰画像９８を入力するとともに、選択部３８から、少なくとも１つの距離の情報を入力する。さらに、画像処理部４０は、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）を介してＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）から、選択されているギアに関する情報も取得する。画像処理部４０は、リバースギアが選択されていない場合、生成部３４からの俯瞰画像９８を表示制御部４２に出力する。一方、画像処理部４０は、リバースギアが選択されている場合、次の処理を実行する。リバースギアの選択による次の処理の実行は一例であり、例えば、現在位置情報および走行速度情報にもとづき駐車動作が行われていることが判断された場合であってもよい。また、運転者の操作によって開始されてもよい。

画像処理部４０は、少なくとも１つの距離をもとに、生成部３４において生成した俯瞰画像９８に対して、本車両１００の自車アイコン８０が表示されている第１領域１３０と、選択部３８において選択した少なくとも１つの距離だけ隔てた物体が含まれている第２領域１３２とを識別可能な俯瞰画像を生成する。ここでは、図７を使用しながら、この処理を具体的に説明する。

図７は、画像処理部４０において生成される俯瞰画像９８を示しており、図４と同様に示される。ここで、画像処理部４０は、一例として、第１物体１４０までの距離の情報と、第２物体１４２までの距離の情報とを入力する。画像処理部４０は、俯瞰画像９８上において第１物体１４０を特定することによって、第１物体１４０が車両１００の後方に存在することを認識する。また、画像処理部４０は、車両１００である自車アイコン８０の後部に平行になり、かつ第１物体１４０までの距離だけ離れた第１境界線１３４ａを生成して俯瞰画像９８に重畳する。第１境界線１３４ａは、自車アイコン８０が含まれた第１領域１３０と、第１物体１４０が含まれた第１−第２領域１３２ａとを区別するための境界であり、例えば、直線で示される。ここで、第１領域１３０、第１−第２領域１３２ａは、いずれも矩形状を有する。なお、第１物体１４０は地面に接していない障害物であるので、第１境界線１３４ａは、第１物体１４０よりも車両１００側に重畳される。また、第１−第２領域１３２ａ内には、第１領域１３０との識別を容易にするために着色がなされる。

画像処理部４０は、第２物体１４２に対しても同様の処理を実行し、車両１００である自車アイコン８０の右側方に平行になり、かつ第２物体１４２までの距離だけ離れた第２境界線１３４ｂを生成して俯瞰画像９８に重畳する。第２境界線１３４ｂは、自車アイコン８０が含まれた第１領域１３０と、第２物体１４２が含まれた第２−第２領域１３２ｂとを区別するための境界である。なお、第２物体１４２は地面に接している障害物であるので、第２境界線１３４ｂは、第２物体１４２の画像に接する。また、第２−第２領域１３２ｂ内にも、第１領域１３０との識別を容易にするために着色がなされる。

ここで、車両１００に対して同一方向に複数の物体が存在する場合、画像処理部４０は、最も近い物体に対して、前述の処理を実行すればよい。また、第１−第２領域１３２ａ、第２−第２領域１３２ｂ内に着色がなされず、第１境界線１３４ａ、第２境界線１３４ｂが重畳されるだけであってもよい。また、第１境界線１３４ａ、第２境界線１３４ｂを重畳させずに、第１−第２領域１３２ａ、第２−第２領域１３２ｂの着色のみであってもよい。第２領域１３２に着色する場合は、俯瞰画像９８に写し出されている物体や路面の状況などが判別可能であり、かつ第１領域１３０との識別が可能となるように着色する。具体的には、薄い灰色を透過させた表示とする。第１領域と第２領域とが表示部５０の表示画面上で識別可能であれば、識別可能とする表示形態は任意である。画像処理部４０におけるこのような処理は、生成部３４において俯瞰画像９８が更新されるごと、あるいは短い一定期間ごとになされるので、車両１００が移動しても、第２領域１３２および境界線１３４はそれに追従される。画像処理部４０は、俯瞰画像９８、あるいは境界線１３４が重畳された俯瞰画像９８（以下、これもまた「俯瞰画像９８」という）を表示制御部４２に出力する。

表示制御部４２は、画像処理部４０からの俯瞰画像９８を入力する。表示制御部４２は、俯瞰画像９８を表示する処理を実行することによって、俯瞰画像９８を表示部５０に表示させる。表示部５０は、例えば、表示パネルである。表示部５０には、図７のような俯瞰画像９８が表示される。

この構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

以上の構成による車両用表示装置３０の動作を説明する。図８は、車両用表示装置３０による表示手順例を示すフローチャートである。画像処理部４０がリバースギアが選択された情報を取得した場合（Ｓ１０のＹ）、表示制御部４２は、生成部３４において生成した俯瞰画像９８を表示部５０に表示させる（Ｓ１２）。画像処理部４０がリバースギアが選択された情報を取得していない場合（Ｓ１０のＮ）、処理は終了される。距離取得部３６は、少なくとも１つの物体までの距離を取得する（Ｓ１４）。予め設定された高さ以上であり（Ｓ１６のＹ）、かつ予め設定された距離未満である（Ｓ１８のＹ）ような距離は、選択部３８に選択される（Ｓ２０）。画像処理部４０は、距離をもとに、俯瞰画像９８に境界線１３４を重畳する（Ｓ２２）。距離が予め設定された高さ以上でない場合（Ｓ１６のＮ）、あるいは距離が予め設定された距離未満でない場合（Ｓ１８のＮ）、ステップ２０、ステップ２２はスキップされる。表示制御部４２は、俯瞰画像９８を表示部５０に表示させる（Ｓ２４）。画像処理部４０が、リバースギア解除の情報を取得しなければ（Ｓ２６のＮ）、ステップ１４に戻る。一方、画像処理部４０が、リバースギア解除の情報を取得すれば（Ｓ２６のＹ）、処理は終了される。

本実施例によれば、物体までの距離をもとに、本車両が含まれている第１領域と、物体が含まれている第２領域とを区別するための境界線を俯瞰画像に重畳するので、物体までの距離の目安を運転者に提供できる。また、物体までの距離の目安を運転者に提供するので、運転者は、俯瞰画像を用いた車両周辺状況を把握しながら余裕のある対応を行うことができる。また、物体までの距離の目安を運転者に提供するので、障害物等の物体が存在する場合に、物体との接触の危険性を低減することができる。また、撮像した画像のみから見えている物体にかかわらず、実際の物体までの距離の目安を提供するので、表示上の錯誤による事故の発生を抑制できる。また、境界線を直線とするので、処理を簡易にできる。また、物体の高さを制限するので、車止め等の障害にならない物体を排除できる。また、物体までの距離を制限するので、車両から離れた物体を排除できる。

以上、実施例をもとに本発明を説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

本実施例において、画像処理部４０は、直線である境界線１３４を俯瞰画像９８に重畳している。しかしながらこれに限らず例えば、俯瞰画像９８に含まれた曲面上に境界線１３４を重畳する場合、境界線１３４は、当該曲面に沿った曲線であってもよい。この場合、第２領域１３２の形状は、矩形状ではなく、曲面になる。本変形例によれば、俯瞰画像９８に適合した第２領域１３２、境界線１３４を表示できる。

１０ 撮像部、 １２ 前方撮像部、 １４ 左側方撮像部、 １６ 後方撮像部、 １８ 右側方撮像部、 ３０ 車両用表示装置、 ３２ 画像取得部、 ３４ 生成部、 ３６ 距離取得部、 ３８ 選択部、 ４０ 画像処理部、 ４２ 表示制御部、 ５０ 表示部、 １００ 車両。

Claims (7)

1. 車両の周辺を撮像した画像を取得する画像取得部と、
   前記画像取得部において取得した画像に対して、前記車両の上方から見たように視点を変換することによって、俯瞰画像を生成する生成部と、
   前記画像取得部において取得した画像に撮像された物体との距離を取得する距離取得部と、
   前記距離取得部において取得した物体の距離のうちの少なくとも１つを選択する選択部と、
   前記選択部において選択した少なくとも１つの距離をもとに、前記生成部において生成した俯瞰画像に対して、前記車両を示す画像が含まれている第１領域と、前記選択部において選択した少なくとも１つの距離だけ隔てた物体が含まれている第２領域とを識別可能な俯瞰画像とし、前記選択した物体が、地面に接している場合は前記選択した物体までを前記第２領域の境界線とし、地面に接していない場合は前記選択した物体より前記第１領域側になるような前記第２領域の境界線として、俯瞰画像に重畳する画像処理部と、
   前記画像処理部において前記第１領域と前記第２領域とが識別可能な俯瞰画像を表示部に表示させる表示処理部と、
   を備えることを特徴とする車両用表示装置。
2. 前記選択部は、前記距離取得部において取得した物体の距離のうち、前記車両に最も近い物体の距離を選択することを特徴とする請求項１に記載の車両用表示装置。
3. 前記選択部は、前記距離取得部において取得した物体の距離のうち、予め設定された距離未満の距離を選択することを特徴とする請求項２に記載の車両用表示装置。
4. 前記距離取得部は、前記画像取得部において取得した画像に撮像された物体の高さ情報も取得し、
   前記選択部は、前記距離取得部において取得した物体の距離のうち、前記距離取得部において取得した高さ情報が予め設定された高さ以上である物体までの距離を選択することを特徴とする請求項１から３のいずれか１項に記載の車両用表示装置。
5. 前記画像処理部は、前記第１領域と前記第２領域とを識別するために少なくとも前記第２領域に着色することで、前記俯瞰画像における前記第１領域と前記第２領域とを識別可能とすることを特徴とする請求項１から４のいずれか１項に記載の車両用表示装置。
6. 前記画像処理部は、前記第２領域の形状が矩形となるように、前記俯瞰画像における前記第１領域と前記第２領域とを識別可能とすることを特徴とする請求項１から５のいずれか１項に記載の車両用表示装置。
7. 車両の周辺を撮像した画像を取得するステップと、
   取得した画像に対して、前記車両の上方から見たように視点を変換することによって、俯瞰画像を生成するステップと、
   取得した画像に撮像された物体との距離を取得するステップと、
   取得した物体の距離のうちの少なくとも１つを選択するステップと、
   選択した少なくとも１つの距離をもとに、生成した俯瞰画像に対して、前記車両を示す画像が含まれている第１領域と、選択した少なくとも１つの距離だけ隔てた物体が含まれている第２領域とを識別可能な俯瞰画像とし、前記選択した物体が、地面に接している場合は前記選択した物体までを前記第２領域の境界線とし、地面に接していない場合は前記選択した物体より前記第１領域側になるような前記第２領域の境界線として、俯瞰画像に重畳するステップと、
   前記第１領域と前記第２領域とが識別可能な俯瞰画像を表示させるステップと、
   を備えることを特徴とする車両用表示方法。

Images