JP6662655B2 - 車両用画像表示装置 - Google Patents

Description

本発明は、車両周囲を車両上方から見下ろした俯瞰画像を表示する技術に関する。

駐車時などに車両周囲の俯瞰画像を表示する車両用画像表示装置が知られている。特許文献１に記載の車両用画像表示装置は、車両の舵角やギア位置などの情報に応じて、車両の進行方向側の領域がより広く表示されるように、俯瞰画像として表示させる車両周囲の表示対象領域を変更する。これにより、ドライバーは、駐車時等に、車両の進行方向側の目視が困難な位置に存在する障害物等を、俯瞰画像上で容易に確認することができる。

特開２０１１−２８８４号公報

しかし、上記車両用画像表示装置では、俯瞰画像において、車両の進行方向側の領域がより広く表示されている時、進行方向の反対側の領域はより狭く表示される。そのため、ドライバーは、車両の進行方向の反対側の障害物を俯瞰画像上で確認し難くなる。

本発明はこうした状況に鑑みてなされたものであり、その目的は、車両の進行方向と異なる方向の障害物をより容易に確認できる車両用画像表示装置を提供することにある。

上記課題を解決するために、本発明のある態様の車両用画像表示装置は、車両周囲を撮像する複数の車載カメラと、前記複数の車載カメラで撮像された複数の画像を視点変換して、車両周囲を車両上方から見下ろした俯瞰画像を生成する俯瞰画像生成部と、前記俯瞰画像を表示する表示部と、ドライバーによる前記表示部の画面上のタッチ位置を検出するタッチ位置検出部と、（１）方向指示スイッチがオンであり、操舵角が所定角度より大きく、かつ、車速が所定速度以下である場合、前記俯瞰画像として表示させる車両周囲の表示対象領域を、車両の状態を表す車両信号に応じて進行方向側の領域が進行方向の反対側の領域より広くなるように基本状態の表示対象領域から変更し、（２）方向指示スイッチがオフであるか、操舵角が前記所定角度以下であるか、または、車速が前記所定速度より高い場合、前記表示対象領域を基本状態の表示対象領域から変更せず、（３）前記表示対象領域を変更した後で前記タッチ位置検出部によりタッチ位置が検出された場合、前記俯瞰画像においてタッチ位置の周囲の領域がより広く表示されるように、タッチ位置に対応する領域に前記表示対象領域を変更する、表示対象領域変更部と、を備える。

この態様によると、ドライバーが要求する領域を俯瞰画像に表示できる。したがって、ドライバーは、車両の進行方向と異なる方向の障害物をより容易に確認できる。

本発明によれば、車両の進行方向と異なる方向の障害物をより容易に確認できる。

第１の実施形態に係る車両用画像表示装置のブロック図である。 （ａ）は、基本状態において表示部に表示される画像を示す図であり、（ｂ）は、左折時に表示部に表示される画像を示す図であり、（ｃ）は、左折時にタッチ操作があった場合に表示部に表示される画像を示す図である。 図１の制御ユニットの処理を示すフローチャートである。 第１の実施形態の変形例に係る、左折時に表示部に表示される画像を示す図である。 第２の実施形態に係る制御ユニットの処理を示すフローチャートである。

（第１の実施形態）
図１は、第１の実施形態に係る車両用画像表示装置１００のブロック図である。車両用画像表示装置１００は、複数の車載カメラ１０ａ，１０ｂ，１０ｃ，１０ｄと、操舵角センサ２０と、方向指示スイッチ３０と、車速センサ４０と、シフト位置検出部５０と、制御ユニット６０と、表示部７０と、タッチ位置検出部８０と、を備える。

車載カメラ１０ａ〜１０ｄは、車両周囲を撮像する。車載カメラ１０ａは、例えば、車両のフロントグリル中央部に設けられ、車両の前方を撮像する。車載カメラ１０ｂは、例えば、車両のリアウインドウ上端中央部に設けられ、車両の後方を撮像する。車載カメラ１０ｃは、例えば、車両左側のドアミラー下部に設けられ、車両の左側方を撮像する。車載カメラ１０ｄは、例えば、車両右側のドアミラー下部に設けられ、車両の右側方を撮像する。車載カメラ１０ａ〜１０ｄは、撮像された画像の信号を制御ユニット６０に送信する。

操舵角センサ２０は、車両の操舵角と操舵方向を検出する。操舵角センサ２０は、例えば、ステアリングの中立位置から右方向への操舵角に正の値を割り当て、左方向への操舵角に負の値を割り当てる。操舵角センサ２０は、操舵方向を含む操舵角に対応する操舵角信号を制御ユニット６０に送信する。

方向指示スイッチ３０は、車両に設けられた方向指示器を作動させる。方向指示スイッチ３０は、方向指示器に左方向の方向指示を行わせるための左オン操作と、右方向の方向指示を行わせるための右オン操作とを行うことができる。方向指示スイッチ３０は、左オン操作に対応する左オン信号、右オン操作に対応する右オン信号、または、オフ信号を、方向指示信号として制御ユニット６０に送信する。

車速センサ４０は、自車両の車速を検出する。車速センサ４０は、車速に対応する車速信号を制御ユニット６０に送信する。

シフト位置検出部５０は、車両のシフト位置を検出する。シフト位置検出部５０は、シフト位置に対応するシフト位置信号を制御ユニット６０に送信する。

制御ユニット６０は、車載カメラ１０ａ〜１０ｄで撮像された車両周囲の複数の画像に基づいて、車両周囲を車両上方から見下ろした俯瞰画像を生成し、俯瞰画像を表示部７０に表示させる。俯瞰画像は、ドライバーが車両周辺の状況を確認するための画像である。

制御ユニット６０は、俯瞰画像生成部６２と、表示対象領域変更部６４と、を有する。
俯瞰画像生成部６２は、車載カメラ１０ａ〜１０ｄで撮像された複数の画像を視点変換して、俯瞰画像を生成する。視点変換は、既知の技術を用いればよい。

表示対象領域変更部６４は、後述するように、所定の場合、俯瞰画像として表示させる車両周囲の表示対象領域を、車両の状態を表す車両信号に応じて変更する。車両信号は、前述の操舵角信号、方向指示信号、車速信号およびシフト位置信号を含む。具体的には、表示対象領域変更部６４は、当該車両の状態、即ち、直進状態、右左折状態または車速の高低等に応じて、表示対象領域を変更する。

制御ユニット６０はコンピュータを含み、制御ユニット６０の各種機能は、ハードウェア的には、回路ブロック、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、制御ユニット６０の各種機能はハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

表示部７０は、例えば、液晶パネル等を含み、制御ユニット６０で生成された俯瞰画像を表示する。

タッチ位置検出部８０は、例えば、タッチパネルセンサ等を含み、ドライバーによる表示部７０の画面上のタッチ位置を検出する。タッチ位置検出部８０は、タッチ位置に対応するタッチ位置信号を制御ユニット６０に送信する。

次に、図２（ａ）〜（ｃ）および図３を参照して、車両用画像表示装置１００の動作について説明する。
図２（ａ）は、基本状態において表示部７０に表示される画像を示す図である。図２（ａ）に示すように、基本状態では、車両周囲を車両上方から見下ろした俯瞰画像２００が表示されている。

俯瞰画像２００には、自車両に対応する位置に、自車両を上方から見た仮想的な車両画像２０２が合成されている。俯瞰画像２００において、自車両の左側の領域と右側の領域とがほぼ同じ面積になるよう、表示対象領域が設定されている。自車両は、表示対象領域の重心付近に位置しており、自車両の周囲が俯瞰画像２００に表示される。
車両画像２０２は、予め制御ユニット６０内のメモリ等に格納されている。

図３は、図１の制御ユニット６０の処理を示すフローチャートである。図３の処理は、シフト位置がドライブポジションの場合の処理である。
まず、俯瞰画像生成部６２が図２（ａ）の俯瞰画像２００を生成している状態で、表示対象領域変更部６４は、タッチ位置検出部８０によりタッチ位置が検出されたか、即ちタッチ操作があるか判定する（Ｓ１）。タッチ操作がない場合（Ｓ１のＮ）、表示対象領域変更部６４は、車両信号に基づいて、方向指示スイッチオン、操舵角＞Ａ１[deg]、且つ、車速≦Ｖ１[km/h]であるか判定する（Ｓ２）。Ａ１は、例えば９０である。Ｖ１は、例えば５である。Ａ１およびＶ１は、特に限定されず、実験等により適宜設定できる。方向指示スイッチオン、操舵角＞Ａ１[deg]、且つ、車速≦Ｖ１[km/h]でなければ（Ｓ２のＮ）、Ｓ１に戻る。

方向指示スイッチオン、操舵角＞Ａ１[deg]、且つ、車速≦Ｖ１[km/h]である場合（Ｓ２のＹ）、表示対象領域変更部６４は、表示対象領域を車両信号に応じて変更する（Ｓ３）。

Ｓ２の条件を満たす場合、ドライバーは、ステアリングを右又は左に９０［deg］より大きく操舵して、車両をゆっくり前進させている。このような場合として、駐車場の駐車位置から発進する場合や、Ｔ字路などを右左折する場合などが挙げられる。

表示対象領域変更部６４は、操舵角信号が左方向の操舵角を示す場合、車両画像２０２が表示対象領域の右下側に位置するように、表示対象領域を変更する。表示対象領域変更部６４は、操舵角信号が右方向の操舵角を示す場合、車両画像２０２が表示対象領域の左下側に位置するように、表示対象領域を変更する。これにより、俯瞰画像生成部６２は、図２（ｂ）に示す俯瞰画像２００を生成する。

図２（ｂ）は、左折時に表示部７０に表示される画像を示す図である。図２（ｂ）に示すように、俯瞰画像２００では、車両画像２０２が表示対象領域車両の右下側に位置し、自車両の左側の領域が右側の領域より広くなり、自車両の前方の領域が後方の領域より広くなるよう、表示対象領域が設定されている。車両の進行方向側の領域が基本状態より広いため、ドライバーは、車両の進行方向側の目視が困難な位置に存在する障害物等を、俯瞰画像２００上で容易に確認することができる。ただし、俯瞰画像２００には、自車両の後方の領域は殆ど表示されていない。

図３に戻り、Ｓ３の後、表示対象領域変更部６４は、方向指示スイッチオフ、操舵角≦Ａ２[deg]、又は、車速＞Ｖ２［km/h]であるか判定する（Ｓ４）。表示対象領域変更部６４は、Ｓ４の条件を満たす場合（Ｓ４のＹ）、表示対象領域を基本状態の表示対象領域に、即ち元に戻す（Ｓ５）。これにより、俯瞰画像生成部６２は、図２（ａ）に示す基本状態の俯瞰画像２００を生成する。Ｓ５の後、Ｓ１に戻る。

Ａ２は、Ａ１より小さく、例えば１５である。Ｖ２は、Ｖ１より大きく、例えば７である。Ａ２およびＶ２は、特に限定されず、実験等により適宜設定できる。Ｓ４の条件を満たす場合、ドライバーは、車両を直進に近い状態でより速度を高めて前進させている。自車両の周囲がほぼ均等に俯瞰画像２００に表示されるので、ドライバーは後方なども確認できる。

表示対象領域変更部６４は、方向指示スイッチオフ、操舵角≦Ａ２[deg]、又は、車速＞Ｖ２［km/h]でない場合（Ｓ４のＮ）、タッチ操作があるか判定する（Ｓ６）。タッチ操作がない場合（Ｓ６のＮ）、Ｓ４に戻る。

ドライバーは、図２（ｂ）の画像が表示された状態において、車両の進行方向と異なる方向を俯瞰画像２００上で確認したい場合には、俯瞰画像２００上の確認したい位置をタッチすればよい。ここでは、タッチ位置Ｐ１は、車両の右前方の位置であるとして説明する。

表示対象領域変更部６４は、表示対象領域を変更した後でタッチ位置検出部８０によりタッチ位置が再び検出された場合、即ち再びタッチ操作がある場合（Ｓ６のＹ）、タッチ位置に対応する領域に表示対象領域を変更し（Ｓ７）、Ｓ４に戻る。これにより、俯瞰画像生成部６２は、図２（ｃ）に示す俯瞰画像２００を生成する。

図２（ｃ）は、左折時にタッチ操作があった場合に表示部７０に表示される画像を示す図である。図２（ｃ）に示すように、俯瞰画像２００では、タッチ位置Ｐ１に対応する領域、具体的にはタッチ位置Ｐ１をほぼ中心とした領域に表示対象領域が変更されている。これにより、俯瞰画像２００において、タッチ位置Ｐ１付近の車両の右前方側の領域がより広く表示される。このように、ドライバーが要求する領域を俯瞰画像２００に表示できる。よって、車両の進行方向側とは異なる、ドライバーが要求する領域の障害物をより容易に確認できる。

一方、図２（ａ）の俯瞰画像２００が表示されている状態のＳ１においてタッチ操作がある場合（Ｓ１のＹ）、表示対象領域変更部６４は、タッチ位置に対応する領域に表示対象領域を変更する（Ｓ８）。例えば、図２（ａ）においてタッチ位置Ｐ１が車両の右前方の位置である場合、図２（ｃ）に示す俯瞰画像２００が生成される。これにより、ドライバーが希望するタイミングで、ドライバーが要求する領域の障害物を容易に確認できる。

この後、方向指示スイッチの状態、操舵角または車速が変化した場合でも、図２（ｃ）に示す俯瞰画像２００が表示され続けるので、ドライバーが要求する領域の障害物を確認し続けることができる。

表示対象領域変更部６４は、表示対象領域を変更した後でタッチ位置検出部８０によりタッチ位置が再び検出された場合、即ち再びタッチ操作がある場合（Ｓ９のＹ）、表示対象領域を基本状態の表示対象領域に戻す（Ｓ５）。これにより、俯瞰画像生成部６２は、図２（ａ）に示す基本状態の俯瞰画像２００を生成する。Ｓ９においてタッチ操作がない場合（Ｓ９のＮ）、Ｓ９に戻る。Ｓ９では、ドライバーの表示対象領域の変更意志を確認できればよいため、タッチ位置は任意の位置でよい。

以上で説明したように、本実施形態によれば、表示対象領域を変更した後でタッチ位置検出部８０によりタッチ位置が検出された場合、タッチ位置に対応する領域に表示対象領域を変更するので、ドライバーが要求する領域を俯瞰画像２００に表示できる。
以上から、ドライバーは、車両の進行方向と異なる方向の障害物をより容易に確認できる。

（第１の実施形態の変形例）
Ｓ３において、表示対象領域変更部６４は、図４に示すように、操舵方向によらず車両画像２０２が表示対象領域の下側の中央に位置するように表示対象領域を変更してもよい。

図４は、第１の実施形態の変形例に係る、左折時に表示部７０に表示される画像を示す図である。俯瞰画像２００において、図２（ｂ）と比較して、車両の左側の領域はより狭く表示されるが、車両の右側の領域はより広く表示される。そのため、ドライバーは進行方向の反対方向のより広い領域を確認することができる。また、俯瞰画像２００に加えて斜め俯瞰画像３００も表示されてもよい。斜め俯瞰画像３００は、車両周囲を車両の左斜め後方から見た画像であり、俯瞰画像生成部６２により生成される。斜め俯瞰画像３００には、自車両に対応する位置に、自車両の位置を表す仮想的な車両画像３０２が合成されている。ドライバーは、斜め俯瞰画像３００を確認することにより、操舵方向の巻き込み確認を行うことができる。操舵方向が右である場合、斜め俯瞰画像３００は、車両周囲を車両の右斜め後方から見た画像になる。

また、Ｓ２とＳ４において、表示対象領域変更部６４は、方向指示スイッチ、操舵角、車速のうち１つまたは２つのみを用いて判定を行ってもよい。

また、シフト位置がドライブポジションの場合の処理について説明したが、シフト位置がリバースポジションの場合にも同様に処理できる。この場合、Ｓ３において、表示対象領域変更部６４は、操舵角信号が左方向の操舵角を示す場合、車両画像２０２が表示対象領域車両の右上側に位置するように、表示対象領域を変更する。Ｓ３において、表示対象領域変更部６４は、操舵角信号が右方向の操舵角を示す場合、車両画像２０２が表示対象領域車両の左上側に位置するように、表示対象領域を変更する。また、Ｓ３において、表示対象領域変更部６４は、操舵方向によらず車両画像２０２が表示対象領域の上側の中央に位置するように表示対象領域を変更してもよい。

また、タッチ位置検出部８０に替えて、ドライバーの操作を検出する遠隔操作デバイスを設けてもよい。遠隔操作デバイスとしては、例えば、ハプティックデバイスなどが挙げられる。遠隔操作デバイスは、例えば、車両のステアリングホイールに設けられる。ドライバーが俯瞰画像上の位置を指定する場合には、遠隔操作デバイスの操作に応じて、俯瞰画像２００に重畳して表示させたポインタを移動させ、位置を指定してもよい。ドライバーは、画面をタッチする必要がないので、ステアリングホイールから手を離さずに容易に操作できる。

さらに、タッチ位置検出部８０に替えて、ドライバーの視点を検出する視点検出部を設けてもよい。この場合、タッチ位置を検出することに替えてドライバーの視点を検出して、上述の各処理を行うことができる。

（第２の実施形態）
第２の実施形態では、Ｓ３において表示対象領域を変更した後でタッチ位置が検出された場合、基本状態の表示対象領域に変更する。以下では、第１の実施形態との相違点を中心に説明する。

図５は、第２の実施形態に係る制御ユニット６０の処理を示すフローチャートである。図５において、Ｓ１〜Ｓ６，Ｓ８，Ｓ９は第１の実施形態と同じであり、Ｓ６においてタッチ操作がある場合の処理が異なる。

表示対象領域変更部６４は、Ｓ６においてタッチ操作がある場合（Ｓ６のＹ）、即ち表示対象領域を変更した後でタッチ位置が再び検出された場合、表示対象領域を元に戻す（Ｓ５）。Ｓ６では、ドライバーの表示対象領域の変更意志を確認できればよいため、タッチ位置は任意の位置でよい。これにより、俯瞰画像生成部６２は、図２（ａ）に示す俯瞰画像２００を生成する。

表示対象領域が変更された図２（ｂ）の状態において、ドライバーが車両の後方などを確認したい場合、Ｓ４の条件が満たされていなくとも、画面上の任意の位置にタッチ操作を行うことにより、表示対象領域を元に戻すことができる。よって、ドライバーが希望するタイミングで、図２（ａ）の俯瞰画像２００によって車両の後方などを確認することができる。

このように、本実施形態によれば、ドライバーが希望するタイミングで表示対象領域を変更できる。よって、ドライバーは、車両の進行方向と異なる方向の障害物をより容易に確認できる。

なお、ハードウェアスイッチであるカメラ表示スイッチを設けても良い。カメラ表示スイッチは、車両のセンターコンソールまたはステアリングホイールに配置され、ドライバーによる押圧操作が可能である。カメラ表示スイッチは、ドライバーが押圧操作している間だけオンになり、押圧操作を止めるとオフになるモーメンタリスイッチである。この場合、図５のフローチャートのＳ６，Ｓ９において、表示対象領域変更部６４は、カメラ表示スイッチがオンであるか判定すればよい。このような構成であっても、第２の実施形態と同様の効果が得られる。また、カメラ表示スイッチがステアリングホイールに配置されている場合、ドライバーは、ステアリングホイールから手を離さずにカメラ表示スイッチを容易に操作できる。

（第３の実施形態）
第３の実施形態では、ソフトウェアスイッチがオンの間、車両信号に応じて表示対象領域を変更する。以下では、第１の実施形態との相違点を中心に説明する。

ソフトウェアスイッチは、表示部７０の画面に表示されている（図示せず）。ソフトウェアスイッチは、俯瞰画像２００の外側に表示されてもよく、俯瞰画像２００に重畳して表示されてもよい。ドライバーがソフトウェアスイッチを画面上でタッチしたことをタッチ位置検出部８０が検出すると、ソフトウェアスイッチはオンになる。ソフトウェアスイッチがオンの時に、ドライバーがソフトウェアスイッチをタッチしたことをタッチ位置検出部８０が検出すると、ソフトウェアスイッチはオフになる。

ソフトウェアスイッチがオンの場合、表示対象領域変更部６４は、巻込確認モードになり、表示対象領域を車両信号に応じて自動的に切り替える。表示対象領域変更部６４は、巻込確認モードにおいて、方向指示スイッチオン、操舵角＞Ａ１[deg]、且つ、車速≦Ｖ１[km/h]である場合、操舵方向に応じて表示対象領域を変更する。これにより、俯瞰画像生成部６２は、図２（ｂ）に示す俯瞰画像２００を生成する。

表示対象領域変更部６４は、巻込確認モードにおいて、方向指示スイッチオフ、操舵角≦Ａ２[deg]、又は、車速＞Ｖ２［km/h]である場合、表示対象領域を元に戻す。これにより、俯瞰画像生成部６２は、図２（ａ）の基本状態の俯瞰画像２００を生成する。

ソフトウェアスイッチがオフの場合、表示対象領域変更部６４は、巻込確認モードを解除して、表示対象領域を元に戻し、表示対象領域を車両信号によらず変更しない。したがって、ソフトウェアスイッチがオフの場合、俯瞰画像生成部６２は、図２（ａ）の基本状態の俯瞰画像２００を生成する。

ドライバーは、図２（ａ）の画像が表示された状態において、俯瞰画像２００上で車両の進行方向側に加えて後方なども確認したい場合には、ソフトウェアスイッチをオンにしなければよい。これにより、ドライバーの意図しないタイミングで俯瞰画像２００の表示対象領域が変化することを防止できる。

ドライバーは、図２（ｂ）の画像が表示された状態において、車両の進行方向と異なる後方などを確認したい場合には、ソフトウェアスイッチをオフに切り替えればよい。これにより、図２（ａ）のように自車両の周囲がほぼ均等に俯瞰画像２００に表示され、後方などを確認できる。

このように、本実施形態によれば、ドライバーが希望するタイミングで表示対象領域を変更できる。よって、ドライバーは、車両の進行方向と異なる方向の障害物をより容易に確認できる。

なお、第３の実施形態を第１の実施形態と組み合わせてもよい。この場合、ソフトウェアスイッチがオンであれば、図３の処理が行われ、Ｓ９においてタッチ操作が検出された場合（Ｓ９のＹ）、Ｓ２に戻るようにしてもよい。一方、ソフトウェアスイッチがオフであれば、図３のＳ１，Ｓ８，Ｓ９，Ｓ５の処理が行われ、Ｓ２〜Ｓ４，Ｓ６，Ｓ７の処理は行われない。つまり、Ｓ９においてタッチ操作が検出された場合（Ｓ９のＹ）、Ｓ５の処理が行われる。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１０ａ，１０ｂ，１０ｃ，１０ｄ…車載カメラ、２０…操舵角センサ、３０…方向指示スイッチ、４０…車速センサ、５０…シフト位置検出部、６０…制御ユニット、６２…俯瞰画像生成部、６４…表示対象領域変更部、７０…表示部、８０…タッチ位置検出部、１００…車両用画像表示装置、２００…俯瞰画像。

Claims (1)

1. 車両周囲を撮像する複数の車載カメラと、
   前記複数の車載カメラで撮像された複数の画像を視点変換して、車両周囲を車両上方から見下ろした俯瞰画像を生成する俯瞰画像生成部と、
   前記俯瞰画像を表示する表示部と、
   ドライバーによる前記表示部の画面上のタッチ位置を検出するタッチ位置検出部と、
   （１）方向指示スイッチがオンであり、操舵角が所定角度より大きく、かつ、車速が所定速度以下である場合、前記俯瞰画像として表示させる車両周囲の表示対象領域を、車両の状態を表す車両信号に応じて進行方向側の領域が進行方向の反対側の領域より広くなるように基本状態の表示対象領域から変更し、（２）方向指示スイッチがオフであるか、操舵角が前記所定角度以下であるか、または、車速が前記所定速度より高い場合、前記表示対象領域を基本状態の表示対象領域から変更せず、（３）前記表示対象領域を変更した後で前記タッチ位置検出部によりタッチ位置が検出された場合、前記俯瞰画像においてタッチ位置の周囲の領域がより広く表示されるように、タッチ位置に対応する領域に前記表示対象領域を変更する、表示対象領域変更部と、
   を備えることを特徴とする車両用画像表示装置。

Images