JP5192009B2 - 車両の周辺監視装置 - Google Patents

Description

この発明は、車両の周辺を監視するための装置に関し、より具体的には、車両の周辺の監視に応じて表示の形態を制御する装置に関する。

従来より、車両の周辺の対象物を検出するための装置を該車両に搭載し、該検出された対象物について警報を発行することが行われている。下記の特許文献１には、レーダで検知した障害物への到達時間を予測し、該到達時間が２秒以内であれば直ちに警報音を発し、該到達時間が２秒以上であれば、表示警報を提示する装置が開示されている。

特開２００１−２３０９４号公報

上記のような警報は、運転者に、危険性を認知させることができるような形態で発せられるのが好ましい。特に、運転者が視認するのに視線移動を必要とする場所に表示装置が設けられている場合、該表示装置上での警報は、運転者に、より短時間で危険性を認知させることができるような形態で表示されるのが望ましい。

上記の特許文献では、障害物への到達時間を予測し、予測した到達時間が所定時間以内か否かで、警報形態を変更している。しかしながら、警報表示の具体的な形態については記載されていない。

他方、車両の周辺の視界の状態が良好な場合には、上記のような危険性認知のための表示によって運転者に危険度合いを認識させることにより、運転者は、視線を前方に移せば容易に注意すべき対象物を発見し、回避動作を行うことができる。しかしながら、雨天や雪など視界の状態が不良な場合には、視線を前方に移しても注意すべき対象物の発見が困難となりうる。その結果、表示装置上の映像に依存してしまうおそれがあり、よって、前方に迫る危険な状況を発見する機会を逃してしまうおそれがある。

したがって、この発明の一つの目的は、危険性の度合いについて運転者の速やかな認識を可能にしつつ、視界の状態にかかわらず、表示装置上の映像に依存せずに直接的な前方の目視を運転者に促すような表示を行う手法を提供することである。

この発明の一つの側面によると、車両の周辺監視装置は、車両の周辺を撮像する撮像装置によって取得された画像に基づいて、車両の周辺の所定の対象物を検出する手段と、前記画像に基づいて生成される表示画像を、車両の乗員が視認可能なように表示装置上に表示するとともに、前記対象物が該車両に対して所定の位置関係にある場合に、該表示画像上の該対象物を強調的に表示する表示手段と、を備える。さらに、該装置は、車両の周辺の視界状態を推定する手段を備え、前記表示手段は、前記視界状態が良好と推定された場合には、前記表示画像上で、前記車両から所定距離の位置に第１の強調表示を表示し、前記視界状態が良好ではないと推定された場合には、前記視界状態が良好と推定された場合に比べ、該第１の強調表示を、前記車両側に近づけて表示する。

この発明によれば、第１の強調表示が、車両から所定距離の位置に表示されるため、該第１の強調表示の表示により、運転者は、危険性の度合いを容易に認識することができる。また、対象物が、たとえば予測された車両の進路内に存在して表示装置上に強調的に表示される場合には、該対象物と第１の強調表示との位置関係を瞬時に理解できるので、該対象物に対する衝突の危険性の度合いを、速やかに認識することができる。運転者は、このような表示によって危険性を認識した後、視線を前方に移すことで、歩行者等の注意すべき対象物を容易に発見できる。視界が不良な場合に、視界が良好な場合と同じ位置に第１の強調表示を表示すると、運転者は、実際の目視で該対象物を発見できないために表示画面を注視してしまうおそれがあるが、この発明では、視界が不良な場合には、該第１の強調表示を車両側に近づけて表示する。したがって、該表示画面を注視してしまうことを防止することができる。視界が良好な場合と同様に、該第１の強調表示によって危険度合いを認識し、前方に視線を移すことで対象物を発見することができる。

この発明の一実施形態によると、前記表示手段は、前記視界状態が良好ではないと推定された場合、前記第１の強調表示を、該視界状態が良好でない状況で運転者による目視が可能であると設定された所定位置まで、前記車両側に近づけて表示する。こうして、視界が良好でない場合でも、運転者は、第１の強調表示に対応する実空間上の位置を目視することができるので、運転者が表示画面を注視するのを防止することができる。

この発明の一実施形態によると、車両の速度を検出する手段を備え、視界状態が良好と推定された場合に前記第１の強調表示が表示される前記所定距離の位置は、該車両の速度に基づいて算出される該車両の所定の予想到達時間に応じた位置である。こうして、車両の所定の到達時間に応じた位置に第１の強調表示が表示されるので、対象物の位置を、該到達時間と関連づけて把握することができる。

この発明の一実施形態によると、 前記所定距離の位置は、前記予想到達時間が第１の所定値である場合に応じた第１の位置である。前記表示手段は、さらに、前記車両の速度に基づいて算出される予想到達時間が、前記第１の所定値よりも小さい第２の所定値である場合に応じた第２の位置に、第２の強調表示を表示する。前記表示手段は、前記視界状態が良好と推定された場合と良好ではないと推定された場合の両方において、前記表示画像において該第２の強調表示を同じ位置に表示する。こうして、危険性の比較的低いことを示す第１の強調表示については、視界状態に応じて表示位置を変更するが、危険性の比較的高いことを示す第２の強調表示については、その位置を変更することなく表示を行う。

この発明の一実施形態によると、前記視界状態が良好ではないと推定された場合、前記表示手段は、前記第１の強調表示を、前記車両のヘッドライトの照射範囲内の所定位置に対応する前記表示画像上の位置に表示する。こうして、視界が良好でない場合でも、運転者は、第１の強調表示に対応する実空間上の位置を、ヘッドライトにより、より確実に目視することができる。したがって、運転者が表示画面を注視するのを防止することができる。一実施形態では、該ヘッドライトの照射範囲内の所定位置は、該ヘッドライトがハイビームの照射を行っているか否かに応じて変更される。

本発明のその他の特徴及び利点については、以下の詳細な説明から明らかである。

この発明の一実施例に従う、車両の周辺監視装置の構成を示すブロック図。 この発明の一実施例に従う、表示装置およびカメラの取り付け位置を示す図。 この発明の一実施例に従う、補助線（強調表示）の表示の一例を示す図。 この発明の一実施例に従う、視界状態に応じた補助線が表示される位置の一例を示す図。 この発明の一実施例に従う、視界状態に応じた補助線が表示される位置の一例を示す図。 この発明の一実施例に従う、視界状態に応じた補助線が表示される位置の一例を示す図。 この発明の一実施例に従う、画像処理ユニットにおけるプロセスを示すフローチャート。 この発明の一実施例に従う、補助線の表示の他の例、および対象物の強調表示の一例を示す図。 この発明の一実施例に従う、対象物検出処理のプロセスを示すフローチャート。

次に図面を参照してこの発明の実施の形態を説明する。図１は、この発明の一実施形態に従う、ナビゲーション装置の表示装置を利用した、車両の周辺監視装置の構成を示すブロック図であり、図２は、表示装置とカメラの車両への取り付けを示す図である。

車両には、ナビゲーション装置が搭載されており、該ナビゲーション装置は、ナビゲーションユニット５と、表示装置４とを備えている。表示装置４は、図２の（ａ）に示すように、車両のハンドル（ステアリング・ホイール）２１の中心を通り、かつ車両の前後方向に伸長する線Ｌ１（図には、わかりやすいよう図の垂直方向に伸長するよう示されている）に対して所定距離だけ離れた位置に、運転者が視認可能なように取り付けられている。この実施例では、表示装置４は、車両のダッシュボード２３にはめこまれている。

ナビゲーションユニット５は、中央処理装置（ＣＰＵ）およびメモリを備えたコンピュータで実現される。ナビゲーションユニット５は、たとえば人工衛星を利用して車両１０の位置を測定するためのＧＰＳ信号を、該ナビゲーションユニット５に備えられた通信装置（図示せず）を介して受信し、該ＧＰＳ信号に基づいて、車両１０の現在位置を検出する。ナビゲーションユニット５は、車両の周辺の地図情報（これは、ナビゲーション装置の記憶装置に記憶されることもできるし、該通信装置を介して所定のサーバから受信することもできる）に、該現在位置を示す画像を重畳させて、表示装置４の表示画面２５に表示する。また、表示装置４の表示画面２５はタッチパネルを構成しており、該タッチパネルを介して、またはキーやボタン等の他の入力装置２７を介して、乗員はナビゲーションユニット５に目的地を入力することができる。ナビゲーションユニット５は、該目的地までの車両の最適経路を算出し、該最適経路を示す画像を地図情報に重畳させて、表示装置４の表示画面２５に表示することができる。

また、ナビゲーションユニット５には、スピーカ３が接続されており、必要に応じて、たとえば一時停止や交差点等の経路案内を行う際に、表示装置４上への表示だけでなく、スピーカ３を介して音または音声によって乗員に知らせることができる。なお、最近のナビゲーション装置には、交通情報の提供や車両近傍の施設案内等、他にも様々な機能が搭載されており、この実施形態では、任意の適切なナビゲーション装置を利用することができる。

車両の周辺監視装置は、車両に搭載され、遠赤外線を検出可能な２つの赤外線カメラ１Ｒおよび１Ｌと、カメラ１Ｒおよび１Ｌによって撮像された画像データに基づいて車両周辺の対象物を検出するための画像処理ユニット２と、を備えている。画像処理ユニット２は、表示装置４およびスピーカ３に接続されている。表示装置４は、カメラ１Ｒまたは１Ｌの撮像を介して得られた画像を表示すると共に、該画像から検出された車両周辺の対象物の存在について警報表示を行うのに利用される。また、スピーカ３は、該対象物の検出結果に基づいて音または音声で警報を発行するのに利用される。

この実施例では、図２の（ｂ）に示すように、カメラ１Ｒおよび１Ｌは、車両１０の前方を撮像するよう、車両１０の前部に、車幅の中心を通る中心軸に対して対称な位置に配置されている。２つのカメラ１Ｒおよび１Ｌは、両者の光軸が互いに平行となり、両者の路面からの高さが等しくなるように車両に固定されている。赤外線カメラ１Ｒおよび１Ｌは、対象物の温度が高いほど、その出力信号のレベルが高くなる（すなわち、撮像画像における輝度が大きくなる）特性を有している。

画像処理ユニット２は、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路、デジタル化した画像信号を記憶する画像メモリ、各種演算処理を行う中央演算処理装置（ＣＰＵ）、ＣＰＵが演算に際してデータを記憶するのに使用するＲＡＭ（ランダムアクセスメモリ）、ＣＰＵが実行するプログラムおよび用いるデータ（テーブル、マップを含む）を記憶するＲＯＭ（リードオンリーメモリ）、スピーカ３に対する駆動信号および表示装置４に対する表示信号などを出力する出力回路を備えている。カメラ１Ｒおよび１Ｌの出力信号は、デジタル信号に変換されてＣＰＵに入力されるよう構成されている。

走行状態検出部７は、車両の速度を検出するセンサを含む。車両の速度を検出するためのセンサは、いわゆる車速センサでもよいし、代替的に、加速度センサや車輪速センサでもよい。さらに、この実施形態では、走行状態検出部７は、車両の進路を予測するのに用いられる他の走行状態を検出するためのセンサを含む。一実施形態では、車両のヨーレートを検出するためのヨーレートセンサや、車両の操舵角を検出するための舵角センサを含むことができる。こうして、走行状態検出部７によって検出された車両の走行状態を示すデータは、画像処理ユニット２に送られる。

視界状態推定部９は、画像処理ユニット２の機能の一つとして設けられており（代替的に、視界状態推定部９の機能を、他の電子制御ユニットによって実現してもよい）、運転者から見た車両周辺の視界状態が良好な状態か否かを推定する。視界状態推定部９は、任意の適切な手法で該推定を行うことができる。一例では、雨滴センサ（図示せず）を車両に設け、該センサにより雨滴が検知されたならば、視界状態が良好ではないと推定し、検知されなければ、良好であると推定する。他の例では、ナビゲーションユニット５が、所定のサーバに接続することによって天気に関する情報を取得することを利用する。車両の現在位置を含む地域の天気情報を取得し、該天気情報が、晴れまたは曇りを示していれば、良好であると推定し、雨または雪、あるいは霧の発生等を示していれば、良好ではないと推定する。

さらなる他の例では、夜間は、昼間に比べて視界状態が良好でないことが多いため、昼間の場合には視界状態が良好であると推定し、夜間の場合には視界状態が良好ではないと推定してもよい。ここで、車両のヘッドライトの照射がオンされているか否かで、視界状態を推定してもよい。該ライトの照射がオンされていなければ、昼間であって視界状態が良好と推定し、オンされていなければ、夜間であって、もしくは昼間でも薄暗いため、視界状態が良好ではないと推定してもよい。

画像処理ユニット２は、走行状態検出部７によって検出された該走行状態に基づいて、車両の進路を予測すると共に、カメラ１Ｒ、１Ｌによって撮像され表示装置４上に表示される画像上の該予測進路の領域に、運転者に危険性の度合いを知らせるための強調表示を行う。

このように、この実施例では、ナビゲーション装置の表示装置４を、カメラ１Ｒおよび１Ｌによる撮像を介して得られた画像の表示、および該画像から検出された所定の対象物の存在を運転者に通知（警報）するための表示に利用する。 前述したように、フロントウィンドウ上の、運転者の前方位置に画面が表示されるように設けられたヘッドアップディスプレイ（ＨＵＤ）と異なり、表示装置４は、ハンドル２１から、車幅方向に所定距離だけ離れた位置に設けられているので、ＨＵＤに比べて、運転者が運転中に表示装置４の画面を視認するには水平方向に視線を移動させる必要がある。したがって、より短時間で、運転者に危険性の度合いを認識させることのできる表示を行うのが好ましく、本願発明では、これを、強調表示によって実現する。

この実施形態では、該強調表示の一例として、補助線の重畳表示を行う。この点について、図３を参照すると、表示装置４上の表示画像１０１上に重畳表示された補助線１１１の一例が示されている。表示画像１０１は、カメラ１Ｒ，１Ｌの撮像を介して得られたグレースケール画像であり（なお、図では、見やすくするため、細かい輝度変化は示されていない）、該画像１０１上で、ライン１０３と１０５で囲まれた領域が、予測された進路に対応する画像領域である。補助線１１１は、該予測進路上に重畳表示されている。補助線は、後述するように、車両から所定の距離の位置に表示されるので、運転者は、該補助線の表示により、前方の距離感を容易に把握することができ、危険度合いを認識することができる。たとえば、補助線近傍に、歩行者等の注意すべき対象物が撮像していれば、該対象物の位置を実感として捉えることができ、前方に視線を移すことにより、容易に対象物を発見して回避動作を行うことができる。

さらに、本願発明では、該補助線の表示位置を、視界状態推定部９によって推定された視界状態に応じて変更する。この変更手法について、いくつかの形態を説明する。

図４は、第１の形態を示しており、車両からどの程度の距離に対応する表示位置に補助線を表示するかを示している。この形態では、（ａ）に示すように、視界状態が良好と推定された場合には、車両１０から所定距離Ｄａの位置に対応する表示位置に、補助線１１１を表示する。（ｂ）に示すように、視界状態が良好ではないと推定された場合には、車両１０から所定距離Ｄｂの位置に対応する表示位置に、補助線１１１を表示する。ここで、距離Ｄｂは、距離Ｄａよりも小さい。このように、視界が良好でない場合には、視界が良好な場合に比べて、補助線を車両側に近づけて表示する。

視界が良好な場合には、補助線表示で危険度合いを認識し、前方に視線を移すことで、該補助線付近の対象物についても容易に発見することができる。しかしながら、視界が良好でない場合に、同様の位置に補助線を表示すると、赤外線カメラでは該補助線近傍の対象物についても検出することがほぼ可能であるものの、運転者の目視では、該補助線近傍を見ることができないおそれがある。その結果、表示装置４上に表示された画像を注視しつづけてしまうおそれがあり、前方への注意がおろそかになるおそれがある。

これを防止するため、補助線１１１を、車両１０に近づけて表示する。これにより、視界が良好な場合と同様に、補助線表示で危険度合いを認識し、前方に視線を移すことで、該補助線付近の対象物を発見することができる。

このように、強調表示としての上記補助線は、対象物の存在を初めて運転者に知らせて、運転者の目視によって対象物の発見を促す働きがある。したがって、好ましくは、Ｄ１は、視界が良好な場合に車両の運転者が目視可能な距離値に設定され、Ｄ２は、視界が不良な場合でも車両の運転者が目視可能な距離値に設定される。これらの該目視可能な距離値は、たとえば実験等によって予め設定される所定値とすることができる。

補助線表示の第２の形態では、視界状態が良好と推定された場合の所定距離Ｄａが、車両１０の速度に応じて設定される。たとえば、所定距離Ｄａを、走行状態検出部７によって検出された車両の速度に基づいて算出された所定の予想到達時間ＴＴＣに対応する距離とすることができる。ここで、予想到達時間ＴＴＣは、任意の適切な時間（たとえば、数秒）に設定されることができる。現在の車速Ｖとすると、距離Ｄａは、Ｖ×ＴＴＣにより算出され、この距離に対応する位置に補助線１１１が表示される。視界状態が良好でない場合には、前述したように、Ｄａ＞Ｄｂとなるように距離Ｄｂが決定され、該距離Ｄｂに対応する表示位置に、補助線１１１が表示される。

この形態では、補助線１１１は、車両が所定時間後に到達する位置を示すこととなるので、運転者は、対象物と到達時間との関係を速やかに認識することができる。補助線付近に対象物が存在すれば、運転者は、該到達時間ＴＴＣ後に該対象物に到達することを認識できるので、目視で該対象物を発見して該対象物をより確実に回避することができる。また、視界が不良な場合には、良好な場合よりも補助線が車両近くに表示されるので、前述したように、運転者が表示装置４上の画像を注視しつづけることを防止して、前方への目視を促すことができる。

上記のように、視界状態が不良である場合でも、運転者が目視可能な場所に補助線の位置を決定するのが好ましい。これにより、表示画面上の補助線表示により示される危険性を認知して前方に視線を移せば、注意すべき対象物を、より確実に発見することができる。そのため、図５に示す第３の形態では、（ｂ）に示すように、視界状態が良好ではないと推定された場合の補助線１１１の位置は、車両１０のヘッドライトからの光の照射範囲内１５１に設定される。該照射範囲１５１は予め決まっているので、該照射範囲内に補助線の位置が含まれるように、距離Ｄｂを決定することができる。こうすることにより、前方に視線を移せば、ヘッドライトの光で対象物を発見することができる。

ここで、ヘッドライトがロービームとハイビームとの間で切り換えられたことに応じて、上記の照射範囲１５１の大きさを変更してもよい。ヘッドライトがロービームの照射を行っているかハイビームの照射を行っているかを、任意の適切な手段で検出し、ロービームの照射を行っていれば、該ロービームで照射される範囲１５１に応じて決定された距離Ｄｂに補助線１１１を表示し、ハイビームの照射を行っていれば、該ハイビームで照射される範囲１５１に応じて決定された距離Ｄｂに補助線１１１を表示することができる。

なお、この第３の形態では、（ａ）に示す視界状態が良好な場合の補助線１１１の位置は、図４を参照して説明した第１または第２の形態と同じであり、距離Ｄａは、距離Ｄｂよりも大きくなるよう設定される。

図６は、第４の形態を示しており、ここでは、複数の強調表示を用いる。この例では、複数の強調表示として、複数の補助線を用いる。補助線１１１は第１の補助線であり、これに加え、第２の補助線１１２および第３の補助線１１３が用いられる。第１の補助線１１１は、前述した第１〜第３の形態に従って表示されることができる。第２の補助線１１２は、第１の補助線１１１よりも高い危険度を運転者に認識させるためのものであり、第１の補助線１１１よりも車両近くに表示される。第３の補助線は、さらに高い危険度を運転者に認識させるためのものであり、第２の補助線１１２よりも車両近くに表示される。

したがって、（ａ）に示すように、視界状態が良好であると推定された場合、Ｄａ＞Ｄａ２＞Ｄａ３であり、（ｂ）に示すように、視界状態が良好ではないと推定された場合、Ｄｂ＞Ｄｂ２＞Ｄｂ３である。ＤａとＤｂの比率が、Ｄａ２とＤｂ２の比率と同じとなるように、第２の補助線１１２の距離Ｄａ２およびＤｂ２を決定することができる。

第３の補助線１１３は、最も高い危険性を示すものなので、図に示すように、視界の良好性に関係なく同じ位置に表示されるのがよい。したがって、図において、Ｄａ３＝Ｄｂ３である。

第１の補助線１１１の表示位置が、予想到達時間ＴＴＣに基づいて決定される場合には、第２の補助線１１２および第３の補助線１１３の表示位置も、予想到達時間ＴＴＣに基づいて決定されることができる。ここで、第１の補助線１１１の表示位置の決定に使用される第１のＴＴＣ時間よりも、第２の補助線１１２の表示位置の決定に使用される第２のＴＴＣ時間は小さく、該第２のＴＴＣ時間よりも、第３の補助線１１３の表示位置の決定に使用される第３のＴＴＣ時間は小さい。

好ましくは、第３の補助線１１３の距離Ｄａ３、Ｄｂ３は、車両が現時点で所定の減速度のブレーキ操作を行った場合に停止可能な距離となるように決定される。たとえば、ブレーキの所定の減速度（正値で表す）をＧとし、車両の現在の速度をＶとすると、Ｖ^２／（２・Ｇ）が、車両の停止可能な最小の距離値となる。したがって、第３の補助線１１３の距離Ｄａ３、ＤＢ３は、車両から、当該距離値以上の値を有するように決定されるのがよい。こうすることにより、第３の補助線１１３の位置に対象物が存在するのを認知したことに応じてブレーキ操作を行った場合でも、該対象物をより確実に回避することができる。

なお、この例では、３つの補助線を用いているが、この数に限定されるものではなく、この数よりも多くしてもよいし、少なくしてもよい。たとえば、第１および第３の補助線のみを表示してもよい。

また、上記の例では、補助線を用いた強調表示を行っているが、該強調表示は、補助線の形態に制限されるものではなく、他の形態（たとえば、マークのような何らかの図形を重畳表示する等）で実現してもよい。

図７は、この発明の一実施形態に従う、画像処理ユニット２によって実行されるプロセスを示すフローチャートである。該プロセスは、所定の時間間隔で実行される。このプロセスは、上記の第４の形態（図６）に基づいている。

ステップＳ１１において、カメラ１Ｒおよび１Ｌの出力信号（すなわち、撮像画像のデータ）を入力として受け取り、これをＡ／Ｄ変換して、画像メモリに格納する。格納される画像データは、輝度情報を含んだグレースケール画像であり、これが、表示装置４上に表示される画像（表示画像）となる。

ステップＳ１２において、走行状態検出部７によって検出された車両の走行状態に基づいて、車両の進路を予測する。該進路の予測手法には、任意の適切な手法を用いることができる。一実施形態では、検出された車速およびヨーレートに基づいて、車両の進路を予測することができる。たとえば、特開平７−１０４０６２号公報に記載された手法を用いることができる。ヨーレートに代えて、舵角センサによって検出された操舵角を用いてもよい。車速と操舵角に基づいて車両の進路を予測する手法は、たとえば特開２００９−１６６６３号公報に記載されている。

なお、進路の予測に、ナビゲーションユニット５によって取得される情報を用いてもよい。たとえば、車両が現在の進行方向を維持すると仮定して、車両の現在位置から進路となる経路を、地図情報に基づいて求める。たとえば、或る道路を走行している車両の場合、該道路を”道なり”に進行する経路が、予測された進路となる。あるいは、ナビゲーションユニット５によって算出された最適経路に沿って車両が誘導されている場合には、該最適経路を、予測進路としてもよい。

ステップＳ１３において、走行状態検出部７によって検出された車両の速度に基づいて、車両の所定の予想到達時間ＴＴＣに対応する位置を算出する。第４の形態について前述したように、この実施形態では、予想到達時間ＴＴＣ（秒）として、第１のＴＴＣ時間、第２のＴＴＣ時間、第３のＴＴＣ時間という３つの値を用いる（第１のＴＴＣ時間＞第２のＴＴＣ時間＞第３のＴＴＣ時間）。予想到達時間ＴＴＣが第１のＴＴＣ時間である場合の対応位置（第１のＴＴＣ位置と呼ぶ）は、車両が、検出された現在の速度で、上記の予測された進路を現時点から第１のＴＴＣ時間にわたって走行した場合に該車両が到達する位置を示す。したがって、車両の現在の速度をＶとし、第１のＴＴＣ時間をｔ１秒とすると、車両の現在位置から、Ｖ×ｔ１により算出された距離だけ予測進路を進んだ位置が、第１のＴＴＣ位置として特定される。第２のＴＴＣ時間に対応する第２のＴＴＣ位置、および第３のＴＴＣ時間に対応する第３のＴＴＣ位置についても同様である。結果として、車両からの距離は、第１のＴＴＣ位置＞第２のＴＴＣ位置＞第３のＴＴＣ位置となる。前述したように、好ましくは、第３のＴＴＣ位置の車両からの距離が、現時点で所定の減速度のブレーキ操作により停止可能な距離となるように、第３のＴＴＣ時間が決定される。

ステップＳ１４において、視界状態推定部９によって、車両周辺の視界の状態が良好か否かを推定する。前述したように、たとえば雨滴センサの検出結果に基づいて、もしくはヘッドライトの照射がオンされているか否かに基づいて、視界状態を推定してもよい。代替的に、ナビゲーションユニット５を介して取得した、車両の現在位置を含む地域の天気に関する情報に基づいて、視界状態を推定してもよい。

視界状態が良好と推定されたならば（Ｓ１５がＹｅｓ）、ステップＳ１６に進み、ステップＳ１１で得られた表示画像上で、予測進路に対応する画像領域を見極め、該予測進路上の、第１〜第３のＴＴＣ位置に対応する画像上の位置に、第１〜第３の補助線１１１〜１１３を重畳し、該重畳した画像を、表示装置４上に表示する。ここで、第１〜第３の補助線１１１〜１１３は、互いに、異なる色、および（または）異なる形状で表示されるのが好ましい。

ここで、図８（ａ）を参照すると、表示画像１０１上に重畳表示された第１〜第３の補助線１１１〜１１３の一例が示されている。前述したように、表示画像は、撮像を介して得られたグレースケール画像であり（なお、図では、見やすくするため、細かい輝度変化は示されていない）、該画像上で、ライン１０３と１０５で囲まれた領域が、予測された進路に対応する画像領域である。第１の補助線１１１が、第１のＴＴＣ位置に対応し、第２の補助線１１２が、第２のＴＴＣ位置に対応し、第３の補助線１１３が、第３のＴＴＣ位置に対応している。

この実施例では、これらの補助線は、互いに異なる色で表示されており（図には、ハッチングの異なる種類によって示されている）、たとえば、第１の補助線１１１は緑ないし青色で表示され、第２の補助線１１２は黄色で表示され、第３の補助線１１３は赤色で表示される。こうして、信号機と同様に、最も危険性の高い第３のＴＴＣ位置に対しては赤色表示が行われ、最も危険性の低い第１のＴＴＣ位置に対しては緑または青色表示が行われる。このような色表示とすることにより、運転者に、第１から第３の補助線に向かうにつれて危険性が高いことを速やかに知らせることができ、また、危険性が高、中、低の位置が、車両からどの程度の場所に存在するかを、運転者に実感させることができる。

この例では、第１〜第３の補助線１１１〜１１３は、互いに異なる色で表示されるが、代替的に、または該色の相違に加え、互いに異なる形状で表示してもよい。たとえば、第１のＴＴＣ位置に表示される第１の補助線１１１を、最も細い線で表示し、第３のＴＴＣ位置に表示される第３の補助線１１３を、最も太い線で表示し、第２のＴＴＣ位置に表示される補助線を、その中間の太さの線で表示することができる。こうして運転者は、色または形状の違いにより、危険性の度合いを瞬時に把握することができる。また、対象物が撮像されている場合には、該対象物と補助線との位置関係から、該対象物の危険性の度合いを瞬時に理解することができる。したがって、運転者が、対象物がどの辺りに存在するかを見極めようとして表示装置４上に視線を釘付けにするのを回避することができる。

図７に戻り、視界状態が良好ではないと推定されたならば（Ｓ１５がＮｏ）、ステップＳ１７において、ステップＳ１１で得られた表示画像上で、予測進路に対応する画像領域を見極め、該予測進路に対応する画像領域に、視界不良用のＴＴＣ位置の表示を行う。この実施例では、視界不良用のＴＴＣ位置として、図６の（ｂ）に示すような形態が用いられる。したがって、視界状態が良好な場合（ステップＳ１６の場合）に比べて、第１および第２のＴＴＣ位置を車両に近づけ、該近づけた第１および第２のＴＴＣ位置に対応する画像上の位置に、それぞれ、第１の補助線１１１および第２の補助線１１２を重畳表示すると共に、視界状態が良好な場合と同じ第３のＴＴＣ位置に対応する画像上の位置に、第３の補助線１１３を重畳表示する。前述したように、第１のＴＴＣ位置を、目視可能として予め設定された距離に対応する位置まで、あるいはヘッドライトの照射範囲内の所定位置に対応する位置まで、近づけることができる。そして、やはり前述したように、第１のＴＴＣ位置を近づけたのと同じ比率で、第２のＴＴＣ位置を近づけることができる。ステップＳ１６を参照して述べたのと同様に、ステップＳ１７においても、第１〜第３の補助線１１１〜１１３を、互いに異なる色および（または）異なる形状で表示することができる。

ステップＳ２１以下において、撮像画像から検出された所定の対象物（この処理は、図９を参照して後述される）についての警報表示に関する処理が行われる。ステップＳ２１では、該検出された所定の対象物が、予測された進路内に存在するかどうかを判断する。存在するならば（Ｓ２１がＹｅｓ）、ステップＳ２２において、該対象物までの予想到達時間ＴＴＣを算出する。具体的には、該対象物までの自車両からの距離と、該車両の該対象物に対する相対速度に基づいて、該予想到達時間ＴＴＣ（＝距離／相対速度）を算出することができる。一実施形態では、車両の進路を横切る対象物を想定し、該相対速度に、自車両の速度Ｖを設定することができる。代替的に、対象物を時間的に追跡して、対象物の車両に対する相対速度を算出するようにしてもよく、この具体的な手法は、たとえば特開２００１−６０９６号公報に記載されている。

ステップＳ２３において、第１〜第３のＴＴＣ時間のうち、該対象物について算出された予想到達時間ＴＴＣに最も近いＴＴＣ時間を選択し、該選択したＴＴＣ時間に対応するＴＴＣ位置を特定する。こうして、対象物までの予想到達時間ＴＴＣと、第１〜第３のＴＴＣ時間を互いに比較することにより、対象物が存在している位置が、どの程度の危険性を有するかを判断することができる。代替的に、第１〜第３のＴＴＣ位置のうち、対象物の車両からの現在の距離に最も近いＴＴＣ位置を選択するようにしてもよい。

ステップＳ２４において、ステップ２３で特定されたＴＴＣ位置における上記のＴＴＣ表示と相関を持たせて、表示画像上の該対象物を強調的に表示する。

ここで、図８（ｂ）を参照すると、図８（ａ）のような表示画像１０１に対し、対象物の強調表示が行われた場合の一例が示されている。この例では、前述したように、第１のＴＴＣ位置には、緑または青色の第１の補助線１１１が表示される。したがって、対象物の予想到達時間ＴＴＣに最も近いＴＴＣ時間に対応するＴＴＣ位置が第１のＴＴＣ位置であると特定されたならば、符号１３１に示すように、該対象物を緑または青色で表示する。同様に、対象物の予想到達時間ＴＴＣに最も近いＴＴＣ時間に対応するＴＴＣ位置が第２のＴＴＣ位置であると特定されたならば、符号１３２に示すように、該対象物を黄色で表示する。対象物の予想到達時間ＴＴＣに最も近いＴＴＣ時間に対応するＴＴＣ位置が第３のＴＴＣ位置であると特定されたならば、符号１３３に示すように、該対象物を赤色で表示する。

なお、対象物を所定の色で表示する手法は、たとえば、対象物として抽出された領域の画素の色を、該所定の色に変換して表示してもよいし、該所定の色の人間を模したアイコン画像を該対象物として抽出された領域上に重畳表示させてもよい。こうして、対象物は、最も近いと判定されたＴＴＣ位置の色と相関を持つように表示される。

上記のように、対象物を、各ＴＴＣ位置に応じた色で表示することに代えて、該対象物を囲むように強調枠を表示し、該強調枠の色を、各ＴＴＣ位置に応じた色としてもよい。

また、第１〜第３の補助線１１１〜１１３の形状が互いに異なる場合には、対象物を、上記のように特定された最も近いＴＴＣ位置の形状と相関を持つように表示してもよい。たとえば、それぞれのＴＴＣ位置に、互いに異なるマークを付して表示する。そして、最も近いと判定されたＴＴＣ位置に付されたマークと同じマークを、その対象物にも付して表示する。こうして、互いに関連していることを、マークで表すことができる。

こうして、対象物を、対応するＴＴＣ位置と同様の表示形態となるよう表示させることにより、どの到達時間に関連した対象物が存在するかを、運転者は速やかに把握することができる。ＴＴＣ位置が、危険の度合いに応じて段階的に表示されるので、対象物の位置する危険性を、瞬時に見極めることができる。

図３に戻り、ステップＳ２５は、対象物が存在することを、上述したような強調表示による警報表示だけでなく、スピーカ３を介した警報音でも知らせるために設けられており、これは、任意の処理である。この警報音についても、ＴＴＣ位置毎に異ならせることができる。たとえば、対象物が第１のＴＴＣ位置と相関するよう表示された場合には、１つの短い音（たとえば、ピッという音）を出力し、対象物が第２のＴＴＣ位置と相関するよう表示された場合には、２つの短い音（たとえば、ピッピッという音）を出力し、対象物が第３のＴＴＣ位置と相関するよう表示された場合には、１つの長い音（たとえば、ピーーッという音）を出力することができる。なお、複数の対象物が予測進路内に存在し、それぞれが異なるＴＴＣ位置と相関するよう表示された場合には、最も危険性の高いＴＴＣ位置用の警報音を出力すればよい。たとえば、図８の（ｂ）に示すように、第１〜第３のＴＴＣ位置に相関して３人の歩行者１３１〜１３３が存在する場合には、最も危険性の度合いが大きい第３のＴＴＣ位置用の警報音を出力する。

ステップＳ２１に戻り、撮像画像から検出された所定の対象物が、予測された進路内に存在しなければ（Ｓ２１がＮｏ）、これは、該対象物が予測進路外に存在することを示す。この場合、ステップＳ２６に進み、該対象物を、ステップＳ２４での対象物に対する警報表示に比べて、強調度合いを低減した状態で表示する。一例では、該対象物には、何ら強調表示を施さないようにすることができる。他の例では、ステップＳ２４の強調表示に比べて見分けにくい（識別しにくい）所定の色で該対象物を表示することができる。たとえば、ステップＳ２４では、カラーを用いて強調表示を行ったが、ステップＳ２６では、モノクロの色（たとえば、白と黒の間の中間色）で、該対象物を強調表示する。たとえば、所定のモノクロの色で、該対象物を表示してもよいし、該モノクロの色の枠で、該対象物を囲むようにしてもよい。ステップＳ２４の強調表示と明瞭に区別するため、ステップＳ２６では、第１〜第３のＴＴＣ位置に関連して用いた色とは異なる色を用いるのがよい。

図８の（ｂ）には、このような対象物の表示例も示されており、符号１３５に示す歩行者は、予測進路外に存在しているため、所定のグレー値に着色されて表示されている。こうして、予測された進路外にいる対象物については、危険性が低いため、単なる通知にとどめることができる。

なお、当然ながら、撮像を介して取得された画像から所定の対象物が検出されなかった場合には、ステップＳ２１以下の処理を実行することなく、補助線が表示された表示画像のみを表示装置４上に表示すればよい。

図９は、撮像画像から対象物を検出するプロセスのフローチャートを示す。 ステップＳ３１において、カメラ１Ｒで撮像された右画像を基準画像とし（代替的に、左画像を基準画像としてもよい）、その画像信号の２値化を行う。具体的には、輝度閾値ＩＴＨより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行う。この２値化処理により、たとえば生体のような所定の温度より高い対象物が、白領域として抽出される。輝度閾値ＩＴＨは、任意の適切な手法で決定されることができる。

ステップＳ３２において、２値化した画像データを、ランレングスデータに変換する。具体的には、２値化により白となった領域について、各画素行の該白領域（ラインと呼ぶ）の開始点（各ラインの左端の画素）の座標と、開始点から終了点（各ラインの右端の画素）までの長さ（画素数で表される）とで、ランレングスデータを表す。ここで、画像における垂直方向にｙ軸をとり、水平方向にｘ軸をとる。たとえば、ｙ座標がｙ１である画素行における白領域が、（ｘ１，ｙ１）から（ｘ３，ｙ１）までのラインであるとすると、このラインは３画素からなるので、（ｘ１，ｙ１，３）というランレングスデータで表される。

ステップＳ３３およびＳ３４において、対象物のラベリングを行い、対象物を抽出する処理を行う。すなわち、ランレングスデータ化したラインのうち、ｙ方向に重なる部分のあるラインを合わせて１つの対象物とみなし、これにラベルを付与する。こうして、１または複数の対象物が抽出される。

ステップＳ３５において、こうして抽出された対象物のそれぞれについて、注意すべき所定の対象物か否かを判定する。この実施形態では、該注意すべき所定の対象物は、歩行者であり、該歩行者に加えて動物を含めてもよい。ここで、対象物が歩行者か動物かを判定する処理は、任意の適切な手法で実現されることができる。たとえば、周知のパターンマッチングを利用し、上記のように抽出された対象物と、歩行者を表す所定のパターンとの類似度を算出し、該類似度が高ければ、歩行者であると判定することができる。動物についても、同様に判定することができる。このような判定処理の例示として、歩行者かどうかを判定する処理は、たとえば特開２００７−２４１７４０号公報、特開２００７−３３４７５１号公報等に記載されている。動物かどうかを判定する処理は、たとえば特開２００７−３１０７０５号公報、特開２００７−３１０７０６号公報等に記載されている。

こうして、歩行者と判定された対象物について、図７のステップＳ２１以下の処理が実行されることとなる。

なお、車両から所定の距離の範囲内にある対象物について、上記のステップＳ２４およびＳ２６のような強調表示を行うようにしてもよい。この場合、該所定の距離は、上記の第１のＴＴＣ位置の距離以上を有するように設定されるのがよい。たとえば、第１のＴＴＣ時間がｔ１秒とすると、“ｔ２（≧ｔ１）×車両の速度Ｖ”により算出される値を、該所定の距離とすることができる。図９のステップＳ３５では、ステップＳ３４で抽出された対象物のうち、該所定の距離の範囲内に対する対象物について判定を行い、その結果、歩行者（動物を含めてもよい）と判定された対象物について、図７のステップＳ２１以下の処理を実行すればよい。

また、上記のように視界状態が良好でないと推定された場合に補助線の表示位置が変更されたとき、該変更されたことが乗員にわかるようにしてもよい。たとえば、表示装置４上に、現在表示されている補助線が、車両からどの程度の距離に対応するかを乗員に知らせるために、補助線に、対応する距離値を付して表示してもよい。あるいは、視界状態が良好でないと推定された場合に、補助線の位置が車両にどの程度近づいたかわかるような表示を行ったり、近づいた距離を音声で知らせてもよい。

上記の実施形態では、ナビゲーション装置に備えられた表示装置を用いている。上記に述べたように、本願発明では、視界状態に応じて上記のような強調表示（実施形態では、補助線）を表示するので、運転者による視線移動が必要な該表示装置を用いても、危険性の度合いを速やかに運転者に認識させることができる。しかしながら、表示装置として、前述したようなＨＵＤを用いてもよい。

さらに、上記の実施形態では、遠赤外線カメラを用いているが、本願発明は、他のカメラ（たとえば、可視カメラ）にも適用可能である。

以上のように、この発明の特定の実施形態について説明したが、本願発明は、これら実施形態に限定されるものではない。

１Ｒ，１Ｌ 赤外線カメラ（撮像手段）
２ 画像処理ユニット
３ スピーカ
４ 表示装置

Claims (6)

1. 車両の周辺を撮像する撮像装置によって取得された画像に基づいて、前記車両の周辺の所定の対象物を検出する手段と、
   前記画像に基づいて生成される表示画像を、前記車両の乗員が視認可能なように表示装置上に表示するとともに、前記対象物が該車両に対して所定の位置関係にある場合に、該表示画像上の該対象物を強調的に表示する表示手段と、を有する車両の周辺監視装置であって、
   さらに、前記車両の周辺の視界状態を推定する手段を備え、
   前記表示手段は、前記対象物を強調的に表示するほか、前記視界状態が良好と推定された場合には、前記表示画像上で、前記車両から所定距離の位置に第１の強調表示を表示し、前記視界状態が良好ではないと推定された場合には、前記視界状態が良好と推定された場合に比べ、該第１の強調表示を、前記車両側に近づけて表示する、車両の周辺監視装置。
2. さらに、前記表示手段は、前記視界状態が良好ではないと推定された場合、前記第１の強調表示を、該視界状態が良好でない状況で運転者による目視が可能であると設定された所定位置まで、前記車両側に近づけて表示する、
   請求項１に記載の車両の周辺監視装置。
3. さらに、前記車両の速度を検出する手段を備え、
   前記視界状態が良好と推定された場合に前記第１の強調表示が表示される前記所定距離の位置は、該車両の速度に基づいて算出される該車両の所定の予想到達時間に応じた位置である、
   請求項１または２に記載の車両の周辺監視装置。
4. 前記所定距離の位置は、前記予想到達時間が第１の所定値である場合に応じた第１の位置であり、
   前記表示手段は、さらに、前記車両の速度に基づいて算出される予想到達時間が、前記第１の所定値よりも小さい第２の所定値である場合に応じた第２の位置に、第２の強調表示を表示し、
   前記表示手段は、前記視界状態が良好と推定された場合と良好ではないと推定された場合の両方において、前記表示画像において該第２の強調表示を同じ位置に表示する、
   請求項３に記載の車両の周辺監視装置。
5. 前記視界状態が良好ではないと推定された場合、前記表示手段は、前記第１の強調表示を、前記車両のヘッドライトの照射範囲内の所定位置に対応する前記表示画像上の位置に表示する、
   請求項１から４のいずれかに記載の車両の周辺監視装置。
6. 前記車両のヘッドライトの照射範囲内の所定位置は、該ヘッドライトがハイビームの照射を行っているか否かに応じて変更される、
   請求項５のいずれかに記載の車両の周辺監視装置。