JP4398216B2 - 情報表示装置および情報表示方法 - Google Patents

Description

本発明は、情報表示装置および情報表示方法に係り、特に、自車両前方の走行状況をナビゲーション情報に重ねて表示する手法に関する。

従来より、車両に設けられたディスプレイに、ナビゲーション情報とともに、前方の走行状況を表示する情報表示装置が知られている。例えば、特許文献１には、赤外線カメラによって撮影された赤外画像のうち、自車両が走行する領域に対応する部分画像を、地図画像に重ね合わせて表示画面上に表示する車両用表示装置が開示されている。この特許文献１によれば、必要性の低い部分がカットされた赤外画像を地図画像に重ね合わせることにより、障害物の種類や大きさなどの認知性の向上を図ることができる。また、特許文献２には、クルーズコントロール装置において、地図情報から生成した道路形状に周辺車両や追従車両の位置情報を重ねて表示する情報表示装置が開示されている。この特許文献２によれば、自車位置を示すマーク、追従車の位置を示すマーク、および追従車両以外の周辺車両位置を示すマークが、それぞれ色や模様を変えて道路上に重ねて表示される。
特開平１１−２５０３９６号公報 特開２００２−４６５０４号公報

しかしながら、上記の特許文献１および２に開示された手法によれば、実際に前方に存在する対象物の色と、表示装置に表示される対象物の色とが対応しないことがある。そのため、この両者の色彩的な違いが、利用者に違和感を与える可能性がある。このような情報表示装置は、安全かつ快適なドライブを楽しむための装置であり、利用者にとっての使い勝手のよさが付加価値となり、購買意欲があおられることになる。そのため、この類の装置では、使い勝手がよく、かつ、その装置にユニークな機能が求められている。

本発明は、かかる事情に鑑みてなされたものであり、その目的は、ナビゲーション情報とともに前方の走行状況を表示する情報表示装置において、利用者の利便性の向上を図ることである。

かかる課題を解決するために、第１の発明は、自車両前方の景色を撮像することにより、カラー画像を出力するカメラと、自車両の走行に応じたナビゲーション情報を出力するナビゲーションシステムと、出力されたカラー画像に基づいて認識された自車両前方に存在する対象物の色情報を出力するとともに、対象物の色情報が対象物の実際の色とは異なるような走行状況であると判断した場合には、経時的に前に出力された対象物の色情報に基づいて特定された対象物の色情報を出力する認識部と、情報を表示する表示装置と、認識された対象物を示すシンボルを、出力されたナビゲーション情報に重ねて表示するように表示装置を制御するとともに、出力された対象物の色情報に対応する表示カラーを用いてシンボルを表示するように表示装置を制御する制御部とを有する情報表示装置を提供する。

第２の発明は、自車両前方の景色を撮像することにより、カラー画像を出力するカメラと、自車両の走行に応じたナビゲーション情報を出力するナビゲーションシステムと、出力されたカラー画像に基づいて、自車両前方に存在する対象物を認識するとともに、この認識された対象物の色情報を出力する認識部と、情報を表示する表示装置と、認識された対象物を示すシンボルを、出力されたナビゲーション情報に重ねて表示するように表示装置を制御し、出力された対象物の色情報に対応する表示カラーを用いてシンボルを表示するように表示装置を制御するとともに、認識部から色情報が出力されていない対象物について、当該対象物を示すシンボルを予め設定された所定の表示カラーを用いて表示するように表示装置を制御する制御部とを有する情報制御装置を提供する。

第３の発明は、コンピュータが、自車両前方の景色が撮像されたカラー画像に基づいて認識された自車両前方に存在する対象物の色情報を生成するとともに、対象物の色情報が対象物の実際の色とは異なるような走行状況であると判断した場合には、経時的に前に生成された対象物の色情報に基づいて特定された対象物の色情報を生成する第１のステップと、コンピュータが、自車両の走行に応じたナビゲーション情報を取得する第２のステップと、コンピュータが、認識された対象物を示すシンボルをナビゲーション情報に重ねて表示するように表示装置を制御するとともに、生成された対象物の色情報に対応する表示カラーを用いてシンボルを表示するように表示装置を制御する第３のステップとを有する情報表示方法を提供する。

第４の発明は、コンピュータが、自車両前方の景色が撮像されたカラー画像に基づいて、自車両前方に存在する対象物を認識するとともに、当該認識された対象物の色情報を生成する第１のステップと、コンピュータが、自車両の走行に応じたナビゲーション情報を取得する第２のステップと、コンピュータが、認識された対象物を示すシンボルを、ナビゲーション情報に重ねて表示するように表示装置を制御し、生成された対象物の色情報に対応する表示カラーを用いてシンボルを表示するように表示装置を制御するとともに、色情報が生成されていない対象物について、当該対象物を示すシンボルを予め設定された所定の表示カラーを用いて表示するように表示装置を制御する第３のステップとを有する情報表示方法を提供する。

本発明によれば、前方の景色が撮像されたカラー画像に基づいて、自車両前方に存在する対象物が認識されるとともに、その対象物の色情報が出力される。そして、この認識された対象物を示すシンボルが、ナビゲーション情報に重ねて表示されるように表示装置が制御される。この場合、表示されるシンボルは、出力された対象物の色情報に対応する表示カラーを用いて表示される。そのため、実際にドライバーが認識する走行状況と、表示装置に表示されるシンボルとが色的に対応することとなり、両者の間に生じる色彩的な相違感を低減することができる。よって、利用者の認視性の向上を図ることができるので、利用者の利便性の向上を図ることができる。

図１は、本実施形態にかかる情報表示装置１の全体構成を示すブロック図である。自車両前方の景色を撮像するステレオカメラは、例えば、ルームミラー近傍に取付けられている。このステレオカメラは、一対のカメラ２，３で構成されており、メインカメラ２は、ステレオ画像処理を行う際に必要な基準画像を撮像し、サブカメラ３は、比較画像を撮像する。それぞれのカメラ２，３には、赤緑青のそれぞれに別個のイメージセンサが内蔵されており（例えば、３板式カラーＣＣＤ）、各カメラ２，３から、赤画像、緑画像および青画像の３つの原色画像が出力される。したがって、一対のカメラ２，３が１回の撮影タイミングで出力する画像は合計６枚になる。互いの同期が取れている状態において、カメラ２，３から出力された各アナログ画像は、Ａ／Ｄコンバータ４，５により、所定の輝度階調（例えば、256階調のグレースケール）のデジタル画像に変換される。

画像補正部６は、デジタル化された３つの原色画像対（計６つの原色画像）のそれぞれについて、輝度の補正や画像の幾何学的な変換等を行う。通常、一対のカメラ２，３の取付位置は、程度の差はあるものの誤差が存在するため、それに起因したずれが左右の各画像対に生じている。このずれを補正するために、アフィン変換等を用いて、画像の回転や平行移動等の幾何学的な変換が行われる。

このような画像処理を経て、メインカメラ２より３つの原色画像に対応する基準画像データが得られ、サブカメラ３より３つの原色画像に対応する比較画像データが得られる。これらの画像データは、各画素の輝度値（0〜255）の集合である。ここで、画像データによって規定される画像平面は、ｉ−ｊ座標系で表現され、画像の左下隅を原点として、水平方向をｉ座標軸、垂直方向をｊ座標軸とする。一フレーム相当の基準画像データと比較画像データとは、後段のステレオ画像処理部７に出力されるとともに、画像データメモリ９に格納される。

ステレオ画像処理部７は、基準画像データと比較画像データとに基づいて、一フレーム相当の撮像画像に関する距離データを算出する。ここで、「距離データ」とは、画像データによって規定される画像平面において小領域毎に算出された視差の集合であり、個々の視差は画像平面上の位置（ｉ，ｊ）と対応付けられている。それぞれの視差は、基準画像平面の一部を構成する所定面積（例えば、4×4画素）の画素ブロック毎に１つ算出される。それぞれのカメラ２，３から３つの原色画像が出力される本実施形態において、このステレオマッチングは、同一色の原色画像毎に、別個に行われる。

ある画素ブロック（相関元）に関する視差を算出する場合、この画素ブロックの輝度特性と相関を有する領域（相関先）を比較画像において特定する。カメラ２，３から対象物までの距離は、基準画像と比較画像との間における水平方向のずれ量として現れる。したがって、比較画像において相関先を探索する場合、相関元となる画素ブロックのｊ座標と同じ水平線（エピポーラライン）上を探索すればよい。ステレオ画像処理部７は、相関元のｉ座標を基準に設定された所定の探索範囲内において、エピポーラライン上を一画素ずつシフトしながら、相関元と相関先の候補との間の相関性を順次評価する（ステレオマッチング）。そして、原則として、最も相関が高いと判断される相関先（相関先の候補の内のいずれか）の水平方向のずれ量を、その画素ブロックの視差とする。換言すれば、距離データは、自車両前方の距離の二次元的な分布である。そして、ステレオ画像処理部７は、同一色の原色画像同士でステレオマッチングをそれぞれ行い、後段の融合処理部８に出力する。これにより、基準画像における一画素ブロックに関して、３つの視差（以下、それぞれを「原色視差」という）が算出される。

融合処理部８は、ある画素ブロックに関して算出された３つの原色視差を融合し、その画素ブロックに関する統一的な視差Ｎiを算出する。原色視差の融合は、検出対象選定部８ａより得られるパラメータ（具体的には各色の重み係数）に基づき、積和演算によって行われる。このようにして求められた視差Ｎiの一フレーム分の集合は、距離データとして距離データメモリ１０に格納される。なお、融合処理部８および検出対象選定部８ａの詳細なシステム構成およびシステム処理については、本出願人によって既に出願されている特願２００１−３４３８０１号に開示されているので、必要ならば参照されたい。

マイクロコンピュータ１１は、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インターフェース等で構成されているが、これを機能的に捉えた場合、認識部１２と、制御部１３とを有する。認識部１２は、画像データメモリ９に格納された原色画像に基づいて、自車両前方に存在する対象物を認識するとともに、この認識された対象物の色情報を生成する。認識部１２が認識すべき対象物は、典型的に、立体物であり、自動車、二輪車、歩行者などがこれに該当する。認識部１２によって認識された対象物の情報、および生成された色情報は、制御部１３に対して出力される。制御部１３は、認識部１２によって認識された対象物を示すシンボルを、ナビゲーション情報に重ねて表示するように、後段に設けられた表示装置１５を制御する。この場合、この対象物に対応するシンボルは、出力された対象物の色情報に対応する表示カラーを用いて表示される。

ここで、ナビゲーション情報は、自車両の現在位置や自車両の予定経路を地図情報とともに表示装置１５に表示するために必要な情報であり、周知のナビゲーションシステム１４から取得することができる。このナビゲーションシステム１４は、図１には明示されていないが、車速センサ、ジャイロスコープ、ＧＰＳ受信機、地図データ入力部、およびナビ制御部を主体に構成されている。車速センサは車両の速度を検出するセンサであり、ジャイロスコープは車両に加わる回転運動の角速度に基づいて車両の方位角変化量を検出する。ＧＰＳ受信機は、アンテナを介し、ＧＰＳ用の人工衛星から送信された電波を受信し、車両の位置、方位（進行方向）などといった測位情報を検出する。地図データ入力部は、一般にＣＤ−ＲＯＭやＤＶＤといった記録媒体に格納された地図情報のデータ（以下「地図データ」という）をシステム１４に入力するための装置である。ナビ制御部は、ＧＰＳ受信機から得られる測位情報、或いは車速に応じた車両の移動距離および車両の方位変化量に基づいて、車両の現在位置を算出する。算出された現在位置、およびこの現在位置に対応した地図データは、走行状況に応じ、ナビゲーション情報としてナビゲーションシステム１４からマイクロコンピュータ１１に対して出力される。

図２は、本実施形態にかかる情報表示処理の手順を示したフローチャートである。このフローチャートに示すルーチンは所定間隔毎に呼び出され、マイクロコンピュータ１１によって実行される。まず、ステップ１において、距離データおよび画像データ（例えば基準画像データ）が読み込まれる。それぞれのカメラ２，３によって３つの原色画像が出力される本実施形態では、各原色画像に対応する３つの画像データ（以下、それぞれを「原色画像データ」という）がそれぞれ読み込まれる。

ステップ２において、自車両前方に存在する立体物が認識される。立体物認識では、まず、グループフィルタ処理によって距離データに含まれるノイズ、すなわち、信頼性が低いと思われる視差Ｎiが除去される。ノイズ等の影響によるミスマッチにより生じた視差Ｎiは、周囲の視差Ｎiの値と大きく異なり、かつ、その視差Ｎiと同様の値を有するグループの面積が比較的小さくなるという特性がある。そこで、それぞれの画素ブロックに関して算出された視差Ｎiについて、その上下および左右方向に隣接した画素ブロックにおける視差Ｎiとの変化量が所定のしきい値以内のものをグループ化する。そして、グループの面積の大きさが検出され、所定の大きさ（例えば２画素ブロック）よりも大きな面積を有するグループが有効グループと判断される。一方、所定の大きさ以下の面積を有するグループに属する視差Ｎiは、算出された視差Ｎiの信頼性が低いと判断され、距離データから除去される。

つぎに、グループフィルタ処理によって抽出された視差Ｎiと、この視差に対応する画像平面上の座標位置とに基づいて、周知の座標変換式を用いて、実空間上の位置が算出される。そして、算出された実空間上の位置と、道路面の位置とを比較することにより、道路面よりも上に位置する視差Ｎi、すなわち、立体物に相当する視差（以下「立体物視差」という）Ｎiが抽出される。道路面の位置は、道路形状を規定する道路モデルを算出することにより、特定可能である。道路モデルは、実空間の座標系において、水平方向および垂直方向における直線式で表現され、この直線式のパラメータを実際の道路形状に合致するような値に設定することにより、算出される。路面上に描かれた白線は道路面と比較して高輝度であるという知得に基づき、画像データが参照される。この画像データに基づいて、道路の幅方向の輝度変化を評価することにより、画像平面上の左右の白線の位置が特定される。白線の位置を特定する場合、３つの原色画像データのそれぞれについて輝度変化を評価してもよいが、例えば、赤画像のみ、或いは、赤画像および青画像のみといったように、ある特定の原色画像データについて輝度変化を評価してもよい。そして、白線の画像平面上の位置に基づき、距離データを用いて白線の実空間上の位置が検出される。道路モデルは、道路上の白線を距離方向に複数区間に分割し、各区間における左右の白線を三次元の直線で近似し、これらを折れ線状に連結することにより、算出される。

つぎに、距離データが格子状に区分され、この格子状の区分毎に、各区分に属する立体物視差Ｎiに関するヒストグラムが作成される。このヒストグラムは単位区分あたりに含まれる立体物視差Ｎiの頻度の分布を示しており、このヒストグラムにおいて、ある立体物を示す視差Ｎiの頻度は高くなる。そのため、作成されたヒストグラムにおいて、度数が判定値以上となる立体物視差Ｎiを検出し、この検出された立体物視差Ｎiが自車両前方に存在する立体物の候補として検出される。この際、立体物の候補までの距離も算出される。つぎに、隣接する区分において、算出された距離が近接する立体物の候補同士がグループ化され、各グループが立体物として認識される。認識された立体物は、左右の端部位置、中心位置および距離などがパラメータとして対応付けられる。なお、グループフィルタにおける具体的な処理手順、および立体物認識の具体的な処理手順については、特開平１０−２８５５８２号公報に開示されているので、必要ならば参照されたい。

ステップ３において、現在の走行状況が立体物の色情報を生成するのに適した状況であるか否かが判断される。後述するように、立体物の色情報は、各原色画像データの輝度値に基づいて、生成される。通常の走行状況において、原色画像データをベースに生成された色情報は、立体物の実際の色を精度よく再現することができる。しかしながら、自車両がトンネル内を走行しているといったケースでは、トンネル内の照明や照度の低下に起因して、画像ベースで生成される立体物の色情報が、実際のそれと相違することがある。そこで、色情報を誤って生成することを回避すべく、ステップ４の認識処理の前に、ステップ３の判断が設けられている。自車両がトンネル内を走行しているか否かの判断は、時系列的に出力される各原色画像データの輝度特性が低輝領域にシフトしたこと、ヘッドライトの点灯状態などから判断することができる。なお、ヘッドライトについてはランプ切れといった事態も考えられるため、ヘッドライトの点灯状態ではなく、ヘッドライトの操作スイッチの状態を検出してもよい。

ステップ３において肯定判定された場合、すなわち、色情報を生成するのに適した走行状況である場合には、ステップ４に進む。そして、ステップ４において、認識された立体物のそれぞれを処理対象として、色情報が生成される。この色情報の生成処理では、まず、距離データによって規定される二次元平面（ｉｊ平面）において、立体物と認識されたグループに該当する立体物視差Ｎiに対応付けられた画像平面上の位置群（（ｉ，ｊ）の集合）が特定される。つぎに、各原色画像データにおいて、この特定された位置群の輝度値が検出される。３つの原色画像データを用いる本実施形態では、赤画像における位置群の輝度値（以下「Ｒ輝度値」という）、緑画像における位置群の輝度値（以下「Ｇ輝度値」という）、および青画像における位置群の輝度値（以下「Ｂ輝度値」という）がそれぞれ検出される。そして、その立体物の特徴的な色を特定すべく、各原色画像データにおいて検出された輝度値（正確には、位置群に該当する輝度値の集合）に基づいて、最頻輝度値、または位置群の輝度平均値が、その立体物の色情報として認識される。そのため、本実施形態において、立体物の色情報は、Ｒ輝度値、Ｇ輝度値およびＢ輝度値の３つの色成分の集合となる。例えば、ボディーカラーが白色の先行車、或いは白い服装の歩行者は、その色情報が、Ｒ輝度値「255」、Ｇ輝度値「255」およびＢ輝度値「255」として生成されるといった如くである。

一方、このステップ３において否定判定された場合、すなわち、色情報を生成するのに不適な走行状況である場合には、ステップ５に進む。このケースでは、適切な走行状況で生成された立体物の色情報、すなわち、経時的に前に生成された色情報に基づいて、立体物の色情報が特定される（ステップ５）。まず、現在認識された立体物について、その立体物が以前に実行されたサイクルのなかで認識されているか否かが判断される。具体的には、現在認識された立体物の中から順次立体物が選択され、所定時間前に認識された立体物との位置的な比較が行われる。通常、走行状況が経時的に変化したとしても、同一の立体物に関する車幅方向の移動量、および車高方向の移動量が大きく変化する可能性は低い。そこで、立体物の車幅方向への移動量（更には車高方向への移動量）が所定の判定値以下であるか否かを判定することにより、以前に実行されたサイクルのなかで認識された立体物であるか否かが判断される（すなわち、異なる時間で認識された立体物の同一性の判断）。

この判断において、所定時間前に認識された立体物と同一の対象物がない、すなわち、本サイクルにおいて初めて認識された立体物について、その色情報が「認識不能」と特定される。一方、以前のサイクルから引き続き認識されている立体物について、既に生成されている色情報が、その色情報として特定される。この場合、適切な走行状況で色情報が生成されている立体物については、既にステップ４の処理において色情報が得られているため、この生成された色情報が、立体物の色情報として特定される。一方、トンネル内を走行している途中に認識された立体物については、以前のサイクルにおいて色情報が生成されていないので、引き続き、その色情報が「認識不能」のままとなる。

ステップ６において、ナビゲーション情報と、認識部１２による認識結果とに基づいて、表示処理が行われる。具体的には、制御部１３は、次の（１），（２）に示す表示形態となるように表示装置１５を制御する。
（１） 立体物を示すシンボルをナビゲーション情報に重ねて表示する
距離データを用いた立体物認識において、立体物の位置は、自車両を原点位置とした座標系（本実施形態では三次元座標系）で表現される。そこで、制御部１３は、立体物を示すシンボルを、ナビゲーションシステム１４から得られる自車両の現在位置を基準に、認識された対象物の位置に基づいて、実空間における対象物の位置に対応させた上で、地図データ上に重ね合わせる。この場合、道路モデルを参照し、地図データ上の道路位置と、道路モデルを基準とした立体物の位置との対応させることにより、より正確な位置にシンボルを表示することができる。
（２） シンボルを所定の表示カラーで表示する
地図データに重ね合わせて表示されるシンボルは、その対象物について生成・出力された色情報に対応する表示カラーで表示される。すなわち、赤色の色情報（例えば、Ｒ輝度値「255」、Ｇ輝度値「0」、Ｂ輝度値「0」）が出力されている立体物を示すシンボルは、この出力された色情報と同じ表示カラーで表示される。また、その色情報が生成・特定されていない立体物（「認識不能」）を示すシンボルについては、予め設定された表示カラーを用いて表示する。この表示カラーは、交通環境において認識され得る色情報とは異なるような色であることが好ましく、例えば、紫色などが挙げられる。

図３は表示装置１５の表示状態を示す説明図である。図４は実際の走行状態を示す模式図であり、自車両前方に存在する立体物と、その立体物の色（例えば、ボディーカラーなど）とが示されている。図３には、立体物として自動車が３台、二輪車が１台だけ認識されるケースにおいて（図４参照）、いわゆる、ドライバーズアイと呼ばれる手法を用いて地図データが表示されており、その上に各立体物を示すシンボルが重ねて表示されている。図３において、立体物を示すシンボルは、一例として、立方体を模したデザインが用いられており、認識された立体物の色情報に対応する表示カラーによって表示されることとなる。

また、制御部１３は、上記の（１），（２）の条件以外にも、同図に示すように、認識された立体物の大きさに応じて、表示されるシンボルの大きさが相対的に異なるように表示装置１５を表示してもよい。また、シンボルに遠近感が表現されるように、表示装置１５を制御してもよい。このケースでは、認識された立体物から自車両までの距離に応じ、遠方に存在する立体物ほど、そのシンボルの表示サイズが小さくなるように表示される。さらに、制御部１３は、位置的に遠方に表示されるシンボルと、それよりも近い位置に表示されるシンボルとがオーバーラップするようなケースでは、前者のシンボルが後者のシンボルよりも上面側に表示されるように、表示装置１５を制御してもよい。これにより、遠方のシンボルが、近傍のシンボルによって覆い隠されるため、シンボルが見やすくなるとともに、シンボル間の位置的な前後関係を表現することができる。

このように、本実施形態によれば、カラー画像に基づいて、自車両前方に存在する対象物（本実施形態では、立体物）が認識されるとともに、この立体物の色情報が生成・出力される。そして、この認識された対象物を示すシンボルが、ナビゲーション情報に重ねて表示される。この場合、表示されるシンボルは、対象物について出力された色情報に対応した表示カラーとなるように表示装置１５が制御される。そのため、実際にドライバーが認識する走行状況と、表示装置１５に表示されるシンボルとが色的に対応することとなり、両者の間に生じる色彩的な相違感を低減することができる。また、表示と実際の走行環境の色彩とを対応させることにより、利用者（典型的には、ドライバー）による認視性の向上を図ることができる。その結果、従来にはない機能により、利便性の向上を図ることができるので、ユーザーフレンドリーといった観点から、商品訴求力の向上を図ることができる。

なお、認識されたすべての立体物に対応するシンボルをすべて表示した場合、走行状況を詳細に表示するといった点で有利であるものの、画面上に表示される情報量が増える。すなわち、自車両から遠方に存在する先行車のように、運転に直接関係のない情報までも表示していることもある。そこで、不要な情報を排除するといった観点から、自車両から近い複数個の立体物を選択し、この選択された立体物に対応するシンボルのみを表示してもよい。

また、本実施形態では、シンボルを表示する場合、生成された色情報の色成分（すなわち、Ｒ輝度値、Ｇ輝度値およびＢ輝度値）と完全に一致した表示カラーを用いて表示を行うことに限定されない。すなわち、利用者の視覚的な相違がないと想定される範囲内において、適宜その表示カラーを調整してもよい。さらに、ドライバーズアイといった表示手法以外にも、その他の鳥瞰図的な手法（例えば、バードビュー）や、平面図的な手法を用いた表示手法にも本発明を適用することができる。

また、カラー画像を出力する一対のカメラによってステレオカメラを構成することにより、カラー画像を出力するカメラとしての機能、および、この後段の画像処理系によって距離データを出力するセンサとしての機能を両立しているが、本発明はこれに限定されるものではない。これ以外にも、カラー画像を出力する単眼カメラと、レーザレーダやミリ波レーダといった距離データを算出し得る周知のセンサとを併用することにより、本実施形態と同様の機能を得ることができる。また、単に自車両前方に存在する立体物の色情報を認識し、この認識された立体物の色情報に対応する表示カラーを用いてシンボルを表示するのであれば、距離データを出力するセンサを必ずしも設ける必要はない。このケースでは、オプティカルフローなどの周知の画像処理技術、或いは路面とは異なる色成分を検出するなどといった手法を用いることにより、画像データから立体物を認識することができる。ただし、距離データを用いることにより、立体物の位置情報を精度よく認識することができる。そのため、この位置情報を表示処理に反映させることで、表示における実際の走行状況の再現性を向上させることができる。

また、認識部１２は、対象物の認識結果に基づいて、ドライバーへの警報が必要と判定した場合には、表示装置１５やスピーカ１６を動作させ、ドライバーに注意喚起を促すことができる。また、認識部１２は、必要に応じて制御装置１７を制御し、シフトダウン、ブレーキコントロールなどの車両制御を行ってもよい。

本実施形態にかかる情報表示装置の全体構成を示すブロック図 本実施形態にかかる情報表示処理の手順を示したフローチャート 表示装置の表示状態を示す説明図 前方の走行状況を示した模式図

符号の説明

１ 情報表示装置
２，３ カメラ
４，５ Ａ／Ｄコンバータ
６ 画像補正部
７ ステレオ画像処理部
８ 融合処理部
９ 画像データメモリ
１０ 距離データメモリ
１１ マイクロコンピュータ
１２ 認識部
１３ 制御部
１４ ナビゲーションシステム
１５ 表示装置
１６ スピーカ
１７ 制御装置

Claims (4)

1. 情報表示装置において、
   前記自車両前方の景色を撮像することにより、カラー画像を出力するカメラと、
   前記自車両の走行に応じたナビゲーション情報を出力するナビゲーションシステムと、
   前記出力されたカラー画像に基づいて認識された前記自車両前方に存在する対象物の色情報を出力するとともに、前記対象物の色情報が前記対象物の実際の色とは異なるような走行状況であると判断した場合には、経時的に前に出力された前記対象物の色情報に基づいて特定された前記対象物の色情報を出力する認識部と、
   情報を表示する表示装置と、
   前記認識された対象物を示すシンボルを、前記出力されたナビゲーション情報に重ねて表示するように前記表示装置を制御するとともに、前記出力された対象物の色情報に対応する表示カラーを用いて前記シンボルを表示するように前記表示装置を制御する制御部と
   を有することを特徴とする情報表示装置。
2. 情報表示装置において、
   前記自車両前方の景色を撮像することにより、カラー画像を出力するカメラと、
   前記自車両の走行に応じたナビゲーション情報を出力するナビゲーションシステムと、
   前記出力されたカラー画像に基づいて、前記自車両前方に存在する対象物を認識するとともに、当該認識された対象物の色情報を出力する認識部と、
   情報を表示する表示装置と、
   前記認識された対象物を示すシンボルを、前記出力されたナビゲーション情報に重ねて表示するように前記表示装置を制御し、前記出力された対象物の色情報に対応する表示カラーを用いて前記シンボルを表示するように前記表示装置を制御するとともに、前記認識部から色情報が出力されていない対象物について、当該対象物を示す前記シンボルを予め設定された所定の表示カラーを用いて表示するように前記表示装置を制御する制御部と
   を有することを特徴とする情報制御装置。
3. 情報表示方法において、
   コンピュータが、自車両前方の景色が撮像されたカラー画像に基づいて認識された自車両前方に存在する対象物の色情報を生成するとともに、前記対象物の色情報が前記対象物の実際の色とは異なるような走行状況であると判断した場合には、経時的に前に生成された前記対象物の色情報に基づいて特定された前記対象物の色情報を生成する第１のステップと、
   前記コンピュータが、自車両の走行に応じたナビゲーション情報を取得する第２のステップと、
   前記コンピュータが、前記認識された対象物を示すシンボルを前記ナビゲーション情報に重ねて表示するように表示装置を制御するとともに、前記生成された対象物の色情報に対応する表示カラーを用いて前記シンボルを表示するように前記表示装置を制御する第３のステップと
   を有することを特徴とする情報表示方法。
4. 情報表示方法において、
   コンピュータが、自車両前方の景色が撮像されたカラー画像に基づいて、前記自車両前方に存在する対象物を認識するとともに、当該認識された対象物の色情報を生成する第１のステップと、
   前記コンピュータが、自車両の走行に応じたナビゲーション情報を取得する第２のステップと、
   前記コンピュータが、前記認識された対象物を示すシンボルを、前記ナビゲーション情報に重ねて表示するように表示装置を制御し、前記生成された対象物の色情報に対応する表示カラーを用いて前記シンボルを表示するように前記表示装置を制御するとともに、前記色情報が生成されていない対象物について、当該対象物を示す前記シンボルを予め設定された所定の表示カラーを用いて表示するように前記表示装置を制御する第３のステップと
   を有することを特徴とする情報表示方法。

Images