JP6136565B2 - 車両用表示装置 - Google Patents

Description

本発明は、車両に設けられたカメラの撮像画像に基づいて、車両前方の状況を乗員に提示する車両用の表示装置に関する。

この種の装置に関し、自車両前方に設定した仮想先行車両の画像を、実際に撮像された自車両の前方の風景に重ねて表示する経路案内システムに関し、実在する先行車両と仮想先行車両とが重なる部分を算出してその重なる部分の仮想先行車両の光透過度を高くする技術が知られている（特許文献１）。

特開２００６−２８４１９５号公報

しかしながら、従来の装置では透過度を一律に変更するので、透過度が高すぎると他車両との距離の把握が困難になり、透過度が低すぎると他車両に隠れた障害物の存否の判断が困難になるという問題がある。

本発明が解決しようとする課題は、他車両との距離を正確に把握しつつも、他車両に隠れた障害物の存否も正確に判断できるようにすることである。

本発明は、第１カメラにより撮像された第１撮像画像と第２カメラにより撮像された第２撮像画像とを取得し、第２撮像画像から抽出された第２障害物の画像と、第１撮像画像とを重畳してディスプレイに表示させる際に、第１撮像画像のうち、第２障害物の画像を隠蔽する第１障害物の像の一部又は全部に対応する隠蔽領域が抽出された場合には、隠蔽領域に基づいて設定された制御領域の透過度を相対的に高く変更することにより、上記課題を解決する。

本発明によれば、歩行者などの第２障害物が、第１撮像画像に含まれる先行他車両などの第１障害物により隠蔽されてしまう場合であっても、第１障害物によって生じる隠蔽領域に応じて設定される制御領域の透過度を高くして第２障害物を視認しやすくするので、歩行者などの第２障害物をドライバが視認しやすいようにすることができる。

本実施形態に係る情報提供システムのブロック構成図である。 本実施形態の重畳画像の一例を示す図である。 本実施形態の重畳画像であって、制御領域の透過度を第１透過度にした場合の重畳画像の一例を示す図である。 本実施形態の重畳画像であって、制御領域の透過度を第１透過度よりも低い第２透過度にした場合の重畳画像の一例を示す図である。 本実施形態に係る車両用表示装置の制御手順を説明するためのフローチャートである。 本実施形態に係る車両用表示装置の第１サブルーチンを説明するためのフローチャートである。

以下、本発明の実施形態を図面に基づいて説明する。本実施形態では、本発明に係る車両用表示装置を、情報提供システム１に適用した場合を例にして説明する。

図１は、本実施形態に係る車両用表示装置１００を備える情報提供システム１のブロック構成を示す図である。車両用表示装置１００及びこれを含む情報提供システム１は、車両に搭載されている。情報提供システム１は、ドライバに自車両の周囲の様子を示す画像情報を提供する。車両用表示装置１００は、自車両の周囲の第１障害物を含む第１撮像画像を、第２障害物の画像を重畳させた画像情報を生成して提示する。

図１に示すように、情報提供システム１は、車両用表示装置１００と、車載装置２００とを有する。車載装置２００は、車両コントローラ５０と、ナビゲーション装置６０とを備える。車両用表示装置１００と各車載装置２００とは、相互に情報の授受を行うためにＣＡＮ（Controller Area Network）その他の車載ＬＡＮによって接続されている。

本実施形態の車両コントローラ５０は、車両情報５１を記憶する。車両情報５１は、車両に対する運転席の位置、ドライバごとの運転席の位置、運転席に着座するドライバの視点の位置、ドライバの視点から視認可能な領域を示す視野情報を含む。車両の運転席の位置は車種ごとに定義され、ドライバごとの運転席の位置は、識別された各ドライバの座席位置の調整量を考慮して各車両の運転席の位置に基づいて定義される。各ドライバの識別は、各ドライバが使用する鍵情報に基づいて行うことができる。ドライバの視点や視野領域は、基本情報としてドライバが入力したドライバの身長などの身体情報に基づいて算出し、記憶してもよい。また、ドライバの視点や視野領域は、座席位置の調整量に基づいて算出したドライバの身長などに基づいて算出して、記憶してもよい。後述する表示制御機能は、この車両情報５１を参照して重畳画像を生成する。

本実施形態のナビゲーション装置６０は、位置検出装置６１と、地図情報６２とを備え、自車両の現在位置から目的地までの経路を示してドライバを誘導する。また、ナビゲーション装置６０は、外部との通信が可能であり、通信回線を介して各地点の信号情報、標識設置情報などの情報を取得することもできる。ナビゲーション装置６０は、取得した情報、演算した情報を、車両用表示装置１００、ディスプレイ３０に出力する。

また、同図に示すように、本実施形態の車両用表示装置１００は、制御装置１０と、第１カメラ２１と、第２カメラ２２と、ディスプレイ３０とを備える。

本実施形態の第１カメラ２１，第２カメラ２２は、ＣＣＤ等の撮像素子を用いたカメラである。第１カメラ２１と第２カメラ２２は、車両の周囲の異なる領域を撮像する。本実施形態の第１カメラ２１と第２カメラ２２とは物理的に別体の装置である。本実施形態において、第１カメラ２１は第１撮像領域を撮像し、第２カメラ２２は第１撮像領域とは異なる第２撮像領域を撮像する。本実施形態の第１撮像領域と第２撮像領域とは、一部が重複する領域であってもよいが、全く同じ領域ではない。第２撮像領域は、第１撮像領域よりも自車両から遠い位置であることが好ましい。本実施形態では、共通の視点を基準として重畳したときに第１撮像領域と第２撮像領域に重複する領域が存在するように、第１カメラ２１と第２カメラ２２を設定する。共通視点を基準としたときに第２撮像領域から抽出される第２障害物の像が第１撮像領域内に含まれるように、第１カメラ２１と第２カメラ２２を設定することが好ましい。

本実施形態では、第１カメラ２１と第２カメラ２２とは異なる位置に設置する。特に限定されないが、第１カメラ２１は、車両の天井又はバックミラー近傍に設けられ、車両の進行方向前方の領域を撮像する。本実施形態の第１カメラ２１の設置位置は、これに限定されず、サイドミラー近傍に設けてもよい。また、第１カメラ２１は単数でも複数でもよい。本実施形態では、広角の第１カメラ２１を一つ設けている。第１カメラ２１を複数設ける場合には、各第１カメラ２１の設置位置に応じて共通の座標に変換し、一の視点から見た撮像画像を取得すればよい。第２カメラ２２も上述した第１カメラ２１と同様の機能を備え、第１カメラ２１とは異なる位置に設けることができる。

本実施形態の第２カメラ２２は、第１撮像領域よりも遠い第２撮像領域を撮像することができるように構成することが好ましい。例えば、第２カメラ２２は、第１カメラ２１よりも高い位置に設置してもよい。または、第２カメラ２２に、第１撮像領域よりも離隔した（自車両から遠い）第２撮像領域を撮像できるように構成されたレンズ群を含む光学系を備えさせてもよい。第２カメラ２２が第１撮像領域よりも自車両から離隔した第２撮像領域を撮像できることにより、第１カメラ２１には撮像できない障害物（第２障害物）を撮像することができる。

第１カメラ２１と第２カメラ２２とは、同じタイミングで撮像処理を実行する。つまり、第１撮像画像と第２撮像画像とは、車両の周囲を同じタイミング、同じ場所で撮像した画像である。

本実施形態のディスプレイ３０は、車両のドライバが視認可能なダッシュボード周囲に設置され、本実施形態の重畳画像、車両前方の撮像画像、ナビゲーション装置６０の案内情報などを提示する。

続いて、本実施形態の制御装置１０について説明する。本実施形態の車両用表示装置１００の制御装置１０は、第１カメラ２１により撮像された第１撮像画像を、第２カメラ２２により撮像された第２撮像画像の第２障害物に重畳させた重畳画像において、制御領域の透過度を制御してディスプレイ３０に表示するプログラムが格納されたＲＯＭ（Read Only Memory）１２と、このＲＯＭに格納されたプログラムを実行することで、車両用表示装置１００と情報提供システム１として機能する動作回路としてのＣＰＵ（Central Processing Unit）１１と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）１３と、を備えるコンピュータである。

本実施形態に係る車両用表示装置１００の制御装置１０は、現在位置取得機能と、第１画像取得機能と、第１障害物検出機能と、第２画像取得機能と、第２障害物検出機能と、表示制御機能とを有する。本実施形態の制御装置１０は、上記機能を実現するためのソフトウェアと、上述したハードウェアの協働により各機能を実行する。

以下、本実施形態に係る車両用表示装置１００の各機能について説明する。

まず、本実施形態の制御装置１０の現在位置取得機能について説明する。制御装置１０は、ナビゲーション装置６０のＧＰＳ（Global Positioning System）を備える位置検出装置６１が検出した位置情報を取得する。現在位置情報の取得手法はこれに限定されず、制御装置１０は、路側装置に搭載された高度道路交通システム：ＩＴＳ（Intelligent Transport Systems）が提供する位置情報を、近距離通信を介して、自車両の現在位置として取得することができる。

本実施形態の制御装置１０の第１画像取得機能について説明する。制御装置１０は、第１カメラ２１が自車両周囲の第１撮像領域を撮像した第１撮像画像を取得する。取得した第１撮像画像は、第１障害物の抽出処理や隠蔽領域の抽出処理に利用されるとともに、車両前方の状況を示す映像としてディスプレイ３０に提示される画像として利用される。

本実施形態の制御装置１０の第２画像取得機能について説明する。制御装置１０は、第２カメラ２２が自車両周囲の第２撮像領域を撮像した第２撮像画像を取得する。取得した第２撮像画像は、第２障害物の抽出処理に利用される。この第２障害物の像は、重畳画像の映像としてディスプレイ３０に提示される画像として利用される。

上述したように第１撮像画像と第２撮像画像とは異なる第１カメラ２１，第２カメラ２２により撮像されるため、第１撮像画像と第２撮像画像は異なる障害物を含むことがある。

本実施形態の制御装置１０の第１障害物検出機能について説明する。制御装置１０は、第１画像取得機能により取得された第１撮像画像から第１障害物を検出する。第１カメラ２１は、自車両により近い第１撮像領域を撮像する。このため、第１カメラ２１により撮像される第１撮像画像は、自車両の近くに存在する自車両の先行他車両、自車両の対向他車両、又は自車両と交差する交差他車両などの他車両を第１障害物として含む可能性が高い。第１障害物としての他車両は、自車両の直近に存在する他車両である。例えば、複数台の先行車両に自車両が連なって走行している場合には、自車両の直前に存在する他車両などである。なお、第１障害物の検出手法は特に限定されず、出願時に知られた画像情報から物体のエッジを抽出・分析する物体検出手法を適宜に利用することができる。

本実施形態の制御装置１０の第２障害物検出機能について説明する。制御装置１０は、第２画像取得機能により取得された第２撮像画像から第２障害物を検出する。第２カメラ２２は、自車両からは相対的に第１撮像領域よりも遠い第２撮像領域を撮像する。このため、第２カメラ２２により撮像される第２撮像画像は、第１障害物よりも遠くに存在する自車両の先行他車両、自車両の対向他車両、又は自車両と交差する交差他車両などの他車両や歩行者、信号などの画像を第２障害物として含む可能性が高い。第２撮像画像に含まれる第２障害物は、第１障害物である他車両の影にいる歩行者や、直前を走る他車両の影になっている他車両などである。なお、第２障害物の検出手法は特に限定されず、出願時に知られた画像情報から物体のエッジを抽出・分析する物体検出手法を適宜に利用することができる。

次に、表示制御機能を説明する。本実施形態の制御装置１０は、各地点において随時取得される第１カメラ２１で撮像した第１撮像画像と、第２カメラ２２で撮像した第２撮像画像から検出された第２障害物の画像とを、所定の共通視点を基準として重畳させる。第１撮像画像及び第２障害物の画像はそれぞれ所定の透過度の画像であるので、重畳させると第１撮像画像の映像と第２障害物の画像とが重なり合って見える。第１撮像画像の上に第２障害物を重畳してもよいし、第２障害物の画像の上に第１撮像画像を重畳させてもよい。第２障害物を特に限定されないが、共通視点としては、各ドライバの視点の位置に基づいて定義することが好ましい。

本実施形態の重畳画像は、自車両のドライバからは他車両などの影になって見えない歩行者などの第２障害物と、ドライバも肉眼で視認できる先行車両などの第１障害物とを含む。ただし、重畳画像が第２障害物（歩行者など）を含んでいたとしても、第１撮像画像に含まれる第１障害物（他車両など）の像の位置が第２障害物（歩行者など）の像の位置と共通し、これらが重なりあってしまうと、重畳処理のみを行った重畳画像では第２障害物の像が第１障害物に隠れて見えない可能性が高い。本実施形態では、所定の共通視点を基準として第１撮像画像と第２障害物の画像とを重畳したときに、第１障害物の像と第２障害物の像とが重なりあう領域（隠蔽領域）が存在する場合には、第１障害物が第２障害物を隠蔽する可能性があると判断する。

本実施形態の制御装置１０は、共通視点を基準として第１撮像画像を第２障害物の像に重畳したときに、第１撮像画像のうち、第２障害物の画像を隠蔽する第１障害物の像の一部又は全部に対応する隠蔽領域が抽出された場合には、隠蔽領域に応じて設定される制御領域の透過度を高く変更する。特に限定されないが、制御装置１０は、制御領域の透過度を、隠蔽領域が抽出された場合には、隠蔽領域が抽出される前の透過度よりも相対的に高い透過度としてもよいし、制御領域以外の領域の透過度よりも相対的に高い透過度としてもよいし、撮像画像をディスプレイ３０に表示するときの透過度よりも相対的に高い透過度としてもよい。

他方、本処理において隠蔽領域が抽出されない場合には、隠蔽領域に応じて設定される制御領域の透過度を維持する(変更しない)又は相対的に低くする。

ちなみに、本実施形態における第１障害物は、自車両の走行に影響を与える可能性のある物体であって、例えば、自車両の先行他車両、自車両の対向他車両、又は自車両と交差する交差他車両などの他車両である。他車両は、四輪車のみならず、二輪車や大型のトレーラなども含む。第２障害物は、第１障害物の裏側に存在して、運転席からは視認できない可能性のある物体であって、例えば、先行他車両などの影に存在する歩行者、他車両、立体標識、路面標識、信号機などである。

このように、本実施形態では、第１カメラ２１による第１撮像画像に捉えることができない第２障害物が存在する場合において、第２カメラ２２による第２撮像画像から第２障害物を検出する。そして、第２障害物の画像が他車両などの第１障害物によって隠蔽されてしまう場合には、第２障害物の画像を隠す第１障害物の像の一部又は全部である隠蔽領域に応じた制御領域の透過度を高めて、第２障害物の画像がドライバが視認しやすいようにする。これにより、ドライバは、先行他車両などの存在にかかわらず、その先行他車両に隠れて存在する歩行者などの第２障害物をディスプレイ３０で視認することができる。

図２Ａは、所定の共通視点を基準として、第１撮像画像を第２障害物の画像に重畳した重畳画像の一例を示す図である。この重畳処理は、ドライバの視点に応じた共通視点を基準に行われる。本実施形態の重畳画像はドライバが視認できる映像に、運転席に着座するドライバには視認することができない第２障害物が含まれている。図２Ａの例において、運転席に着座するドライバは他車両に隠された歩行者を視認することができないが、第２カメラ２２により撮像された歩行者の像が第２障害物として含まれている。つまり、同図に示す例においては、第１撮像画像には自車両の前を走行する先行他車両（第１障害物）の像ＶＸが含まれており、この第１撮像画像を第２障害物の画像に重畳すると、他車両（第１障害物）の像ＶＸが、自車両から見て他車両の影に居る歩行者(第２障害物)の画像を隠蔽する。このため、ドライバは重畳画像を見ても歩行者(第２障害物)を視認することができない。

このため、本実施形態における制御装置１０は、共通視点を基準として第１撮像画像を第２障害物の画像に重畳した場合に、第１撮像画像のうち、第２障害物（隠れた歩行者など）の画像を隠蔽する第１障害物（先行車両）の像の一部又は全部に対応する隠蔽領域が抽出された場合には、隠蔽領域に応じて設定された制御領域の透過度を高く変更する。他方、第１撮像画像のうち、歩行者などの第２障害物の画像を隠蔽する他車両などの第１障害物の像の一部又は全部に対応する隠蔽領域が抽出されない場合には、隠蔽領域に応じて設定された制御領域の透過度の変更を行わない。つまり、本実施形態では、第１撮像画像に含まれる第１障害物が隠蔽領域を形成する場合には制御領域の透過度を高くし、隠蔽領域が形成されない場合には制御領域の透過度を変更しない(維持する)又は低くする。これにより、第１撮像画像に含まれる第１障害物が第２障害物を隠蔽しても、ドライバは重畳画像において第２障害物を視認することができる。

図２Ｂは、歩行者などの第２障害物の画像の一部又は全部を隠蔽する他車両などの第１障害物の像の全部を制御領域として設定し、この制御領域の透過度を高くした場合の重畳画像の一例を示す図である。制御領域は、第２障害物の画像と第１障害物の画像とが重なる領域であってもよいし、第２障害物の画像の一部又は全部と重なる第１障害物の全体の像に対応する領域であってもよい。

また、図２Ｃは、図２Ｂにおける制御領域の透過度よりも低い透過度とした重畳画像の一例を示す。図２Ｂ、図２Ｃでは隠蔽領域を形成する他車両（第１障害物）の像ＶＸの全体を制御領域として設定し、この制御領域を高い透過度で示す。これにより、制御領域を略透明化し、これを透かして歩行者、横断歩道の標識、横断歩道の路面標識などの第２障害物ＶＸＰを表示することができる。図２Ｃの例では制御領域を半透明化し、これを透かして歩行者などの第２障害物ＶＸＰが図２Ｂに比べてぼんやりと示される。このように、第２障害物を隠す隠蔽領域に応じた制御領域の透過度を変更できるので、場面に応じて制御領域の透過度を変更し、他車両（第１障害物）に隠れた歩行者（第２障害物ＶＸＰ）の見え方を制御することができる。

つまり、歩行者などの第２障害物ＶＸＰの画像が他車両などの第１障害物ＶＸによって隠蔽されてしまう場合には、第２障害物の画像を隠す第１障害物の像の一部又は全部に対応する制御領域の透過度を高めて、歩行者などの第２障害物の画像が見やすいようにする。これにより、ドライバは、自車両の走行に影響を及ぼす可能性のある他車両などの存在にかかわらず、他車両に隠れた歩行者を視認することができる。

なお、図２Ｂ、図２Ｃに示す例では、第２障害物（歩行者）を隠蔽する第１障害物（他車両）の全体の透過度を変更する制御をした場合の例を示すが、第１障害物の像のうち、第２障害物を隠蔽する隠蔽領域（他車両の画像と歩行者の画像の重複領域）に対応する制御領域ＶＸＰのみの透過度を変更することも可能である。

本実施形態における「制御領域」は、第２障害物の画像を隠蔽する第１障害物の像に対応する領域に基づいて設定される。制御領域は、隠蔽領域を形成する第１障害物の像の一部であってもよいし全部であってもよい。例えば、第１障害物である他車両の画像の一部が歩行者などの第２障害物を隠蔽している場合には、第１障害物である他車両の画像の一部が第２障害物を隠す隠蔽領域となる。この場合において、その隠蔽領域と同じ領域を制御領域として設定してもよいし、隠蔽領域を形成する第１障害物である他車両の画像の全部を制御領域として設定してもよい。これに加えて、又は別に以下の制御領域を併せて設定することができる。

本実施形態の制御装置１０は、抽出された隠蔽領域に上下又は左右に拡張領域を付加した領域を制御領域として設定し、その制御領域の透過度を高く変更する。これにより、隠蔽領域だけを透過させるのではなく、第２障害物の全体乃至その周囲も透過させるので、ドライバが第２障害物を識別しやすくすることができる。例えば、第２障害物としての歩行者の一部だけが第１障害物としての他車両と重複している場合に、その重複した一部分だけを透過させても、それが人間であるのか、標識であるのか、他車両の前を走る別の他車両であるのかが分からない場合がある。本例のように、隠蔽領域を縦横に拡張した広い範囲を制御領域とすることにより、第２障害物の大部分乃至全部に対応する領域について第１撮像画像の透過度を高くすることができるので、ドライバが第２障害物が何であるのかを正確に認識することができる。ドライバは、第２障害物が人間であるのか、標識であるのか、二輪車であるのかを正確に判断し、各物体の速度や挙動を予測して適切な運転制御をすることができる。

本実施形態の制御装置１０は、抽出された隠蔽領域を含み、第１撮像画像の上端から下端に至る短冊状の領域を制御領域として設定し、その制御領域の透過度を高く変更する。例えば、図２Ｂに示すように、他車両ＶＸによって隠蔽される歩行者（子供）ＶＸＰの像の領域が含まれるとともに、その上端から下端に至る短冊状の領域Ｑを制御領域として設定し、透過度を高くする。このように、制御領域を縦長にすることで、人間の頭部や顔の画像を制御領域に含めることができる。人間の特徴的な部分である頭や顔が確認できることにより、ドライバは第２障害物が人間であるか否かを正確に判断することができる。また、制御領域に重畳画像（第１撮像画像）の下端を含めると、制御領域に地面を含めることができるので、ドライバが自車両の走行路面に連なる地面を基準にその地面に立つ人間と自車両との距離感を正確に認識することができる。

本実施形態の制御装置１０は、第２障害物が信号機である場合には、信号機の信号表示部分に対応する領域を制御領域として設定する。これにより、信号機の全体ではなく、信号機の信号表示部分に対応する制御領域の透過度を低くすることにより、信号表示部分以外の像を重畳画像に表示しないので、ドライバの注意を信号の内容に集中させることができる。信号機のうち信号表示部分を特定する手法は特に限定されないが、形状によるパターンマッチングや、信号色の各色又はその組み合わせに基づくマッチングなどの手法を用いることができる。

本実施形態において、制御領域の画像の透過度を変更する手法は特に限定されず、出願時に知られた手法を適宜に用いることができる。例えば、制御領域に対応する第１障害物の像の画素密度を低くする一方で第２障害物の画像の画素密度を高くし、制御領域における第２障害物の画素の混合率（存在率）を高くして、第２障害物の画像を優先的にドライバに示してもよい。又は制御領域に対応する第１障害物の像の色を、第２障害物の色に変更することで、第２障害物の情報を優先的にドライバに示してもよい。

第１撮像画像に第２障害物を重畳する手法として、本実施形態の制御装置１０は、第１撮像画像の制御領域（第１障害物に対応する）の透過度を、第２撮像画像の制御領域（第２障害物に対応する）の透過度に対して相対的に高く設定する。つまり、第１障害物の画像の透過度を高くして、第２障害物の画像の透過度を低くする。第１撮像画像の制御領域の透過度を略８０％程度の高い値とし、第２撮像画像の制御領域の透過度を略３０％程度の低い値とすれば、重畳画像においては、第２障害物の画像が第１撮像画像に重畳された状態にすることができる。もちろん、重畳の順序を逆にして、第１撮像画像の上に第２障害物の画像を重畳させてもよい。

第２障害物を視認しやすくする観点から、隠蔽された第２障害物の画像を第１撮像画像の上に重畳して表示してもよい。この場合には、第２障害物を含む画像を第２撮像画像から切り出して、これを共通の視点を基準として、第１撮像画像の上に張り付ける。

この場合において、制御装置１０は、第１障害物の画像の面積が大きいほど、第２障害物の画像を拡大して、第１撮像画像に重畳する。たとえば、第１障害物である先行他車両が大型の車両である場合には、第１障害物がドライバの視線を遮断する面積が広くなる。第１障害物が大きいほどドライバが視認できる領域までの距離が短くなり、ドライバは遠くに存在する障害物を確認することができない。第１障害物が大きい場合に検出された第２障害物は自車両から離隔して存在し、小さい画像として検出される可能性が高い。本実施形態では、このように小さい画像として検出される第２障害物についてもドライバの注意を喚起する観点から、これを大きく拡大して第１撮像画像に重畳する。つまり、第１障害物に隠されて、小さい画像として検出された第２障害物を拡大することにより、ドライバの注意を喚起することができる。大型車両は遠くの視界までをも妨げるので、大型車両が右左折したとたんに、歩行者が現れるという事態が発生する場合もある。本処理例によれば、このような事態の発生を抑制することができる。

また、第２障害物を視認しやすくする観点から、第２障害物の画像を強調表示し、強調表示した第２障害物の画像を第１撮像画像に重畳して表示する。本実施形態において、画像の強調表示とは、乗員の視覚に相対的に強い刺激を与え、乗員の注意を相対的に強く引きつける表示態様を意味し、例えば、非点滅表示に対する点滅表示や、低輝度の表示に対する高輝度の表示や、彩色された線図が相対的に遠くに見える後退色に対し、彩色された線図が相対的に近くに見える進出色での表示や、細線表示に対する太線表示や、単一線表示に対する多重線表示などを含む。また、第２障害物の存在境界を縁取りした線図を付加してもよい。

一方、第２障害物の画像以外は、非強調表示をする。これにより、第２障害物だけを強調することができる。画像の非強調表示とは、乗員の注意を引きつける効果が相対的に弱い表示態様を意味し、例えば、点滅表示に対する非点滅表示や、高輝度の表示に対する低輝度の表示や、彩色された線図が相対的に近くに見える進出色に対し、彩色された線図が相対的に遠くに見える後退色での表示や、太線表示に対する細線表示や、多重線表示に対する単一線表示などを含む。

具体的に点滅表示とは、所定周期で表示と非表示を繰り返す、又は点灯と消灯とを繰り返す表示である。また、高輝度表示とは、輝度を相対的に高くする表示である。進出色とは、彩色された線図が相対的に近くに見える色であって、色相環において相対的に暖色系、高明度、高彩度の色であり、例えば黄色、橙色、赤色である。他方後退色とは、彩色された線図が相対的に遠くに見える色であって、色相環において相対的に寒色系、低明度、低彩度の色であり、例えば青色、紫色、黒色である。このような進出色により表示された画像は相対的に強調されて見える。また、明度の高い黄色、赤色によって表示された画像も相対的に強調して表示することができる。さらに、「JIS Z9101安全色及び安全標識」において「注意」の意味が規定されている黄色や、「停止」の意味が規定されている赤色を強調表示として用いることが望ましい。また、有彩色の中で最も明るい黄色で強調表示し、その補色のうち最も暗い黒色で非強調表示をすることもできる。このような黄色と黒色の組み合わせは目立つため、第２障害物の画像を明確に表示することができる。また、強調表示となる線図の太さと非強調表示となる線図の太さは予め定義しておくことができる。制御装置１０は、第２障害物の画像の輪郭を強調する線図を付加し、輪郭を強調する表示を付加した第２障害物の像を第１撮像画像に重畳して表示する。また、制御装置は、重畳画像において、第２障害物の画像を点滅表示させることもできる。

制御装置１０は、隠蔽領域が抽出されたタイミングにおける自車両から第２障害物までの距離が近いほど制御領域の透過度を高く変更する。これにより、第１障害物により隠蔽された場合であっても、第２障害物をドライバに表示することができる。

本処理において、制御装置１０は、隠蔽領域が抽出されたタイミングにおける自車両の車速が速いほど制御領域の透過度を高く変更する。これにより、第１障害物が存在した場合であっても、自車両の車速が速く、これに応じてドライバが視認すべき第２障害物も速い速度で自車両に接近している場合には、これを明確に表示することができる。

本処理において、制御装置１０は第１撮像画像に対する隠蔽領域の面積比が所定値以上である場合には、第２障害物の一部又は全部を隠蔽する第１障害物の全部に対応する領域を制御領域として設定する。もちろん、この制御領域には先述した短冊状の制御領域（図２ＢのＱ）を付加してもよい。これにより、隠蔽領域が撮像画像に対して占める面積割合が大きい場合には、隠蔽領域の原因となる第１障害物の全部を制御領域として広い範囲の透過度を高くすることができるので、第１障害物の影響を排除して第２障害物をドライバに視認しやすくすることができる。他方、制御装置１０は第１撮像画像に対する隠蔽領域の面積比が所定値未満である場合には、隠蔽領域のみの相対的に狭い範囲を制御領域とし、この制御領域の透過度を高くするので、第１障害物の影響を最小限で排除し、第２障害物をドライバに視認しやすくすることができる。

面積比を評価する閾値は、道路種別、走行地域、道路形状、運転席の高さ（視野の広さ）に応じて適宜に設定することができる。道路種別が車両専用道路である、道路が直進形状である、運転席が高い（視野が広い）場合には、閾値を高く設定する。具体的に、道路種別が見通しのよい車両専用道路である、道路が直進形状である、運転席が高い（視野が広い）場合には、閾値を高く設定して、隠蔽領域が大きい場合に限って第１障害物の全部を制御領域とする。他方、道路種別が見通しの悪い市街道路である、道路が直進形状ではななく曲がっている、運転席が低い（視野が狭い）場合には、閾値を低く設定して、隠蔽領域が小さくても第１障害物の全部を制御領域とする。これにより、周囲の確認が容易な環境であるときには制御領域を小さくし、周囲の確認が困難な環境であるときには制御領域を大きくすることができる。

続いて、本実施形態の情報提供システム１の重畳画像の表示手順を、図３のフローチャートに基づいて説明する。なお、図３に示す処理内容は、所定周期で連続的に行われる。

図３に示すように、ステップＳ１１０において、制御装置１０は、第１カメラ２１が撮像した第１撮像画像を取得し、第１撮像画像から第１障害物を抽出する。

同時に又は相前後して、ステップＳ１２０において、制御装置１０は、第２カメラ２２が撮像した第２撮像画像を取得し、第２撮像画像から第２障害物を抽出する。

次にステップＳ１３０において、制御装置１０は重畳処理を実行する。制御装置１０は、第１撮像画像と第２障害物の画像とを重畳させて、重畳画像を生成する（図３Ａを参照）。

ステップＳ１４０において、制御装置１０は、第１撮像画像の第１障害物の画像と第２障害物の画像とが重なり、第２障害物の画像を隠蔽する隠蔽領域が存在するか否かを判断する。具体的に、制御装置１０は、第１撮像画像と第２障害物の画像とを共通視点を基準として重畳したときに、第１撮像画像のうち、第２障害物の画像を隠蔽する第１障害物の像の一部又は全部に対応する隠蔽領域が抽出可能であるか否かを判断する。つまり、制御装置１０は、重畳画像において、第２障害物の画像と重なる像を形成する第１障害物が存在するか否かを判断する。

ステップＳ１４０において隠蔽領域が存在すると判断された場合には、ステップＳ１５０へ進み、そうでない場合にはステップＳ１７０へ進む。ステップＳ１５０において第２障害物の画像を隠蔽する隠蔽領域を抽出する。制御装置１０は、抽出した隠蔽領域に基づいて制御領域を設定する。

続くステップＳ１６０において、制御装置１０は、設定された制御領域の透過度を高く設定し、第２障害物が明確に視認できる重畳画像を生成する。その後、ステップＳ１７０において、制御装置１０は、制御領域の透過度を高く変更した重畳画像をディスプレイ３０に表示する。

図４は、隠蔽領域を抽出した後に、透過度を制御する範囲を設定する処理の一例を示すフローチャート図である。
図４に示すように、ステップＳ１５０において隠蔽領域が抽出され、制御領域が設定されたら、ステップＳ２１０において、撮像画像に対する隠蔽領域の面積比が所定値以上であるか否かを判断する。

ステップＳ２１０において、隠蔽領域の面積比が所定値以上である場合には、ステップＳ２２０へ進み、隠蔽領域を含む障害物全体の像に対応する領域を制御領域として設定し、その制御領域の透過度を高く設定する。この場合には、ステップＳ１７０において、図２Ｂ，図２Ｃに示すような重畳画像が提示される。

他方、ステップＳ２１０において、隠蔽領域の面積比が所定値未満である場合には、ステップＳ２３０へ進み、隠蔽領域を含む障害物全体の像ではなく、隠蔽領域に対応する領域（隠蔽領域と同じ領域）を制御領域として設定し、その制御領域の透過度を高く設定する。この場合には、ステップＳ１７０において、図２Ｂ，図２Ｃに示す、他車両に隠蔽された歩行者の画像、路面に描かれた横断歩道標識の画像や、路側に設置された立体の横断歩道標識の画像などの隠蔽部分の領域が透けて、各第２障害物識が視認できる重畳画像がドライバに提示される。制御領域には先述した短冊状の制御領域（図２ＢのＱ）を付加することができる。

本実施形態の車両用表示装置１００によれば、以下の効果を奏する。

[１]本実施形態の車両用表示装置１００によれば、歩行者などの第２障害物が、第１撮像画像に含まれる先行他車両などの第１障害物により隠蔽されてしまう場合であっても、第１障害物によって生じる隠蔽領域に応じて設定される制御領域の透過度を高くして第２障害物を視認しやすくすることができる。この結果、歩行者などの第２障害物をドライバが視認しやすいようにすることができる。

[２]本実施形態の車両用表示装置１００によれば、抽出された隠蔽領域に上下又は左右の拡張領域を付加した領域を制御領域として設定し、透過度を高く変更するので、第２障害物の大部分乃至全部に対応する領域について第１撮像画像の透過度を高くすることができる。これにより、ドライバが第２障害物が人間であるのか、標識であるのか、二輪車であるのかを正確に認識することができるので、第２障害物の属性に応じて適切な運転制御をすることができる。

[３]本実施形態の車両用表示装置１００によれば、抽出された隠蔽領域を含み、第１撮像画像の上端から下端に至る短冊状の縦長の領域を制御領域として設定するので、制御領域に人間の頭部や顔を含めることができる。ドライバは、人間の特徴点である頭部や顔の存在を認識することにより、第２障害物が人間であるか否かを正確に判断することができる。また、制御領域に重畳画像（第１撮像画像）の下端を含めると、制御領域に地面を含めることができるので、ドライバが自車両の走行路面に連なる地面を基準にその地面に立つ人間と自車両との距離感を正確に認識することができる。

[４]本実施形態の車両用表示装置１００によれば、第１撮像画像の制御領域の透過度を、第２撮像画像の制御領域の透過度に対して相対的に高くするので、ドライバが重畳画像を見るときに第２障害物を視認しやすいようにすることができる。

[５]本実施形態の車両用表示装置１００によれば、隠蔽された第２障害物の画像を第１撮像画像に重畳して表示するので、ドライバが重畳画像を見るときに第２障害物を視認しやすいようにすることができる。

[６]本実施形態において、第１障害物の画像の面積が大きいほど、第２障害物の画像を拡大して、第１撮像画像に重畳して表示する。第１障害物が大きいほどドライバが視認できる領域の距離が短くなり、ドライバは遠くに存在する障害物を確認することができない。第１障害物の大きさが大きいほど、その状況で検出された第２障害物は自車両から離隔して存在し、小さい画像として検出される。本実施形態では、このように小さい画像として検出される第２障害物についてもドライバの注意を喚起する観点から、これを大きく拡大して第１撮像画像に重畳する。つまり、小さい画像として検出された第２障害物を拡大して表示することにより、遠くに存在する第２障害物の存在をドライバに知らせることができる。

[７]本実施形態において、第２障害物の画像を強調表示し、強調表示させた第２障害物の画像を第１撮像画像に重畳して表示するので、ドライバが重畳画像を見るときに第２障害物を視認しやすいようにすることができる。

[８]本実施形態の車両用表示装置１００によれば、隠蔽領域が抽出されたタイミングにおける、自車両の車速が速いほど制御領域の透過度を高く変更するので、障害物が存在した場合であっても、自車両の車速が速く、これに応じてドライバが視認すべき第２障害物も速い速度で自車両に接近している場合には、これを明確に表示することができる。

[９]本実施形態の車両用表示装置１００によれば、撮像画像に対する隠蔽領域の面積比が所定値以上である場合には、障害物の全部に対応する領域を制御領域として設定する。隠蔽領域形成の原因となる障害物の全部に相当する広い範囲を制御領域とし、この制御領域の透過度を高くするので、障害物の影響を排除してドライバが第２障害物を視認しやすいようにすることができる。他方、制御装置１０は、撮像画像に対する隠蔽領域の面積比が所定値未満である場合には、障害物の一部に対応する領域だけを制御領域として設定するので、障害物の影響を最小限で排除し、第２障害物をドライバに視認しやすくすることができる。

[１０] 本実施形態の車両用表示装置１００によれば、第１カメラ２１は第１撮像領域を撮像し、第２カメラ２２は第１撮像領域とは異なる第２撮像領域を撮像するようにするので、第１カメラ２１では撮像できない第２障害物を第２カメラ２２によって撮像することができる。つまり、運転席に着座するドライバが視認できない他車両の影の人間や物体を第２カメラ２２により検出することができる。

[１１] 本実施形態の車両用表示装置１００によれば、第１障害物は、自車両の先行他車両、自車両の対向他車両、又は自車両と交差する交差他車両とし、これらの第１障害物によって生じる隠蔽領域を抽出するので、自車両に接近する他車両が隠蔽してもドライバに第２障害物を視認させることができる。

[１２] 本実施形態の車両用表示装置１００によれば、第２障害物は、自車両の先行他車両、自車両の対向他車両、又は自車両と交差する交差他車両、歩行者、信号などの立体物とし、これらの第２障害物が隠蔽された場合であっても、重畳画像に示すことができる。

[１３] 本実施形態の車両用表示装置１００によれば、第２障害物が信号機である場合には、信号機の信号表示部分に対応する領域を制御領域として設定し、信号機が第１障害物に隠蔽された場合であっても、その信号表示部分を重畳画像に表示するので、ドライバの注意を信号が発する情報に集中させることができる。

なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

すなわち、本明細書では、本発明に係る車両用表示装置１００と車載装置２００とを備える情報提供システム１を例にして説明するが、本発明はこれに限定されるものではない。

本明細書では、本発明に係る車両用表示装置の一態様として、制御装置１０と、第１カメラ２１と、第２カメラ２２と、ディスプレイ３０とを備える車両用表示装置１００を一例として説明するが、これに限定されるものではない。

本明細書では、現在位置取得手段と、第１画像取得手段と、第１障害物検出手段と、第２画像取得手段と、第２障害物検出手段と、表示制御手段と、を備える本発明に係る車両用表示装置の一例として、現在位置取得機能と、第１画像取得機能と、第１障害物検出機能と、第２画像取得機能と、第２障害物検出機能と、表示制御機能とを実行する制御装置１０を備える車両用表示装置１００を一例として説明するが、これに限定されるものではない。

１…情報提供システム
１００…車両用表示装置
１０…制御装置
１１…ＣＰＵ
１２…ＲＯＭ
１３…ＲＡＭ
２１…第１カメラ
２２…第２カメラ
３０…ディスプレイ
２００…車載装置
５０…車両コントローラ
６０…ナビゲーション装置

Claims (13)

1. 自車両の現在位置を取得する現在位置取得手段と、
   前記自車両の周囲の第１撮像領域を第１カメラにより撮像した第１撮像画像を取得する第１画像取得手段と、
   前記第１撮像画像から第１障害物を検出する第１障害物検出手段と、
   前記自車両の周囲の第２撮像領域を、前記第１カメラとは異なる第２カメラにより撮像した第２撮像画像を取得する第２画像取得手段と、
   前記第２撮像画像から第２障害物を検出する第２障害物検出手段と、
   各地点において随時取得される前記第１撮像画像と前記第２撮像画像から検出された前記第２障害物の像とを、所定の共通視点を基準として重畳し、ディスプレイに表示させる表示制御手段と、
   前記表示制御手段は、前記第２障害物の画像を隠蔽する前記第１障害物の像の一部又は全部に対応する隠蔽領域が抽出された場合には、前記隠蔽領域に基づいて前記第１撮像画像内に設定された制御領域の透過度を相対的に高く変更し、前記第１撮像画像と前記第２障害物の画像とを重畳することを特徴とする車両用表示装置。
2. 前記表示制御手段は、前記抽出された前記隠蔽領域に上下又は左右の拡張領域を付加した領域を前記制御領域として設定し、当該制御領域の透過度を高く変更することを特徴とする請求項１に記載の車両用表示装置。
3. 前記表示制御手段は、前記抽出された前記隠蔽領域を含み、前記第１撮像画像の上端から下端に至る短冊状の領域を前記制御領域として設定し、当該制御領域の透過度を高く変更することを特徴とする請求項２に記載の車両用表示装置。
4. 前記表示制御手段は、前記第１撮像画像の前記制御領域の透過度を、前記第２撮像画像の前記制御領域の透過度に対して相対的に高くすることを特徴とする請求項１〜３の何れか一項に記載の車両用表示装置。
5. 前記表示制御手段は、前記隠蔽された前記第２障害物の画像を前記第１撮像画像に重畳して表示することを特徴とする請求項１〜３の何れか一項に記載の車両用表示装置。
6. 前記表示制御手段は、前記第１障害物の画像の面積が大きいほど、前記第２障害物の画像を拡大して、前記第１撮像画像に重畳して表示することを特徴とする請求項４又は５に記載の車両用表示装置。
7. 前記表示制御手段は、前記第２障害物の画像を強調表示し、前記強調表示させた前記第２障害物の画像を前記第１撮像画像に重畳して表示することを特徴とする請求項４〜６の何れか一項に記載の車両用表示装置。
8. 前記表示制御手段は、前記隠蔽領域が抽出されたタイミングにおける前記自車両の車速が速いほど前記制御領域の透過度を高く変更することを特徴とする請求項１〜７の何れか一項に記載の車両用表示装置。
9. 前記第１撮像画像に対する前記隠蔽領域の面積比が所定値以上である場合には、前記第１障害物の全部に対応する領域を前記制御領域として設定し、前記第１撮像画像に対する前記隠蔽領域の面積比が所定値未満である場合には、前記第１障害物の一部に対応する領域を前記制御領域として設定することを特徴とする請求項１〜８の何れか一項に記載の車両用表示装置。
10. 前記第１カメラは第１撮像領域を撮像し、前記第２カメラは前記第１撮像領域とは異なる第２撮像領域を撮像することを特徴とする請求項１〜９の何れか一項に記載の車両用表示装置。
11. 前記第１障害物は、前記自車両の先行他車両、前記自車両の対向他車両、又は前記自車両と交差する交差他車両であることを特徴とする請求項１〜１０の何れか一項に記載の車両用表示装置。
12. 前記第２障害物は、前記自車両の先行他車両、前記自車両の対向他車両、又は前記自車両と交差する交差他車両、歩行者、信号などの立体物であることを特徴とする請求項１〜１１の何れか一項に記載の車両用表示装置。
13. 前記表示制御手段は、前記第２障害物が信号機である場合には、前記信号機の信号表示部分に対応する領域を前記制御領域として設定することを特徴とする請求項１〜１２の何れか一項に記載の車両用表示装置。

Images