JP5192009B2 - 車両の周辺監視装置 - Google Patents

車両の周辺監視装置 Download PDF

Info

Publication number
JP5192009B2
JP5192009B2 JP2010058280A JP2010058280A JP5192009B2 JP 5192009 B2 JP5192009 B2 JP 5192009B2 JP 2010058280 A JP2010058280 A JP 2010058280A JP 2010058280 A JP2010058280 A JP 2010058280A JP 5192009 B2 JP5192009 B2 JP 5192009B2
Authority
JP
Japan
Prior art keywords
vehicle
display
good
displayed
ttc
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010058280A
Other languages
English (en)
Other versions
JP2011192070A (ja
Inventor
浩 岩見
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2010058280A priority Critical patent/JP5192009B2/ja
Publication of JP2011192070A publication Critical patent/JP2011192070A/ja
Application granted granted Critical
Publication of JP5192009B2 publication Critical patent/JP5192009B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Description

この発明は、車両の周辺を監視するための装置に関し、より具体的には、車両の周辺の監視に応じて表示の形態を制御する装置に関する。
従来より、車両の周辺の対象物を検出するための装置を該車両に搭載し、該検出された対象物について警報を発行することが行われている。下記の特許文献1には、レーダで検知した障害物への到達時間を予測し、該到達時間が2秒以内であれば直ちに警報音を発し、該到達時間が2秒以上であれば、表示警報を提示する装置が開示されている。
特開2001−23094号公報
上記のような警報は、運転者に、危険性を認知させることができるような形態で発せられるのが好ましい。特に、運転者が視認するのに視線移動を必要とする場所に表示装置が設けられている場合、該表示装置上での警報は、運転者に、より短時間で危険性を認知させることができるような形態で表示されるのが望ましい。
上記の特許文献では、障害物への到達時間を予測し、予測した到達時間が所定時間以内か否かで、警報形態を変更している。しかしながら、警報表示の具体的な形態については記載されていない。
他方、車両の周辺の視界の状態が良好な場合には、上記のような危険性認知のための表示によって運転者に危険度合いを認識させることにより、運転者は、視線を前方に移せば容易に注意すべき対象物を発見し、回避動作を行うことができる。しかしながら、雨天や雪など視界の状態が不良な場合には、視線を前方に移しても注意すべき対象物の発見が困難となりうる。その結果、表示装置上の映像に依存してしまうおそれがあり、よって、前方に迫る危険な状況を発見する機会を逃してしまうおそれがある。
したがって、この発明の一つの目的は、危険性の度合いについて運転者の速やかな認識を可能にしつつ、視界の状態にかかわらず、表示装置上の映像に依存せずに直接的な前方の目視を運転者に促すような表示を行う手法を提供することである。
この発明の一つの側面によると、車両の周辺監視装置は、車両の周辺を撮像する撮像装置によって取得された画像に基づいて、車両の周辺の所定の対象物を検出する手段と、前記画像に基づいて生成される表示画像を、車両の乗員が視認可能なように表示装置上に表示するとともに、前記対象物が該車両に対して所定の位置関係にある場合に、該表示画像上の該対象物を強調的に表示する表示手段と、を備える。さらに、該装置は、車両の周辺の視界状態を推定する手段を備え、前記表示手段は、前記視界状態が良好と推定された場合には、前記表示画像上で、前記車両から所定距離の位置に第1の強調表示を表示し、前記視界状態が良好ではないと推定された場合には、前記視界状態が良好と推定された場合に比べ、該第1の強調表示を、前記車両側に近づけて表示する。
この発明によれば、第1の強調表示が、車両から所定距離の位置に表示されるため、該第1の強調表示の表示により、運転者は、危険性の度合いを容易に認識することができる。また、対象物が、たとえば予測された車両の進路内に存在して表示装置上に強調的に表示される場合には、該対象物と第1の強調表示との位置関係を瞬時に理解できるので、該対象物に対する衝突の危険性の度合いを、速やかに認識することができる。運転者は、このような表示によって危険性を認識した後、視線を前方に移すことで、歩行者等の注意すべき対象物を容易に発見できる。視界が不良な場合に、視界が良好な場合と同じ位置に第1の強調表示を表示すると、運転者は、実際の目視で該対象物を発見できないために表示画面を注視してしまうおそれがあるが、この発明では、視界が不良な場合には、該第1の強調表示を車両側に近づけて表示する。したがって、該表示画面を注視してしまうことを防止することができる。視界が良好な場合と同様に、該第1の強調表示によって危険度合いを認識し、前方に視線を移すことで対象物を発見することができる。
この発明の一実施形態によると、前記表示手段は、前記視界状態が良好ではないと推定された場合、前記第1の強調表示を、該視界状態が良好でない状況で運転者による目視が可能であると設定された所定位置まで、前記車両側に近づけて表示する。こうして、視界が良好でない場合でも、運転者は、第1の強調表示に対応する実空間上の位置を目視することができるので、運転者が表示画面を注視するのを防止することができる。
この発明の一実施形態によると、車両の速度を検出する手段を備え、視界状態が良好と推定された場合に前記第1の強調表示が表示される前記所定距離の位置は、該車両の速度に基づいて算出される該車両の所定の予想到達時間に応じた位置である。こうして、車両の所定の到達時間に応じた位置に第1の強調表示が表示されるので、対象物の位置を、該到達時間と関連づけて把握することができる。
この発明の一実施形態によると、 前記所定距離の位置は、前記予想到達時間が第1の所定値である場合に応じた第1の位置である。前記表示手段は、さらに、前記車両の速度に基づいて算出される予想到達時間が、前記第1の所定値よりも小さい第2の所定値である場合に応じた第2の位置に、第2の強調表示を表示する。前記表示手段は、前記視界状態が良好と推定された場合と良好ではないと推定された場合の両方において、前記表示画像において該第2の強調表示を同じ位置に表示する。こうして、危険性の比較的低いことを示す第1の強調表示については、視界状態に応じて表示位置を変更するが、危険性の比較的高いことを示す第2の強調表示については、その位置を変更することなく表示を行う。
この発明の一実施形態によると、前記視界状態が良好ではないと推定された場合、前記表示手段は、前記第1の強調表示を、前記車両のヘッドライトの照射範囲内の所定位置に対応する前記表示画像上の位置に表示する。こうして、視界が良好でない場合でも、運転者は、第1の強調表示に対応する実空間上の位置を、ヘッドライトにより、より確実に目視することができる。したがって、運転者が表示画面を注視するのを防止することができる。一実施形態では、該ヘッドライトの照射範囲内の所定位置は、該ヘッドライトがハイビームの照射を行っているか否かに応じて変更される。
本発明のその他の特徴及び利点については、以下の詳細な説明から明らかである。
この発明の一実施例に従う、車両の周辺監視装置の構成を示すブロック図。 この発明の一実施例に従う、表示装置およびカメラの取り付け位置を示す図。 この発明の一実施例に従う、補助線(強調表示)の表示の一例を示す図。 この発明の一実施例に従う、視界状態に応じた補助線が表示される位置の一例を示す図。 この発明の一実施例に従う、視界状態に応じた補助線が表示される位置の一例を示す図。 この発明の一実施例に従う、視界状態に応じた補助線が表示される位置の一例を示す図。 この発明の一実施例に従う、画像処理ユニットにおけるプロセスを示すフローチャート。 この発明の一実施例に従う、補助線の表示の他の例、および対象物の強調表示の一例を示す図。 この発明の一実施例に従う、対象物検出処理のプロセスを示すフローチャート。
次に図面を参照してこの発明の実施の形態を説明する。図1は、この発明の一実施形態に従う、ナビゲーション装置の表示装置を利用した、車両の周辺監視装置の構成を示すブロック図であり、図2は、表示装置とカメラの車両への取り付けを示す図である。
車両には、ナビゲーション装置が搭載されており、該ナビゲーション装置は、ナビゲーションユニット5と、表示装置4とを備えている。表示装置4は、図2の(a)に示すように、車両のハンドル(ステアリング・ホイール)21の中心を通り、かつ車両の前後方向に伸長する線L1(図には、わかりやすいよう図の垂直方向に伸長するよう示されている)に対して所定距離だけ離れた位置に、運転者が視認可能なように取り付けられている。この実施例では、表示装置4は、車両のダッシュボード23にはめこまれている。
ナビゲーションユニット5は、中央処理装置(CPU)およびメモリを備えたコンピュータで実現される。ナビゲーションユニット5は、たとえば人工衛星を利用して車両10の位置を測定するためのGPS信号を、該ナビゲーションユニット5に備えられた通信装置(図示せず)を介して受信し、該GPS信号に基づいて、車両10の現在位置を検出する。ナビゲーションユニット5は、車両の周辺の地図情報(これは、ナビゲーション装置の記憶装置に記憶されることもできるし、該通信装置を介して所定のサーバから受信することもできる)に、該現在位置を示す画像を重畳させて、表示装置4の表示画面25に表示する。また、表示装置4の表示画面25はタッチパネルを構成しており、該タッチパネルを介して、またはキーやボタン等の他の入力装置27を介して、乗員はナビゲーションユニット5に目的地を入力することができる。ナビゲーションユニット5は、該目的地までの車両の最適経路を算出し、該最適経路を示す画像を地図情報に重畳させて、表示装置4の表示画面25に表示することができる。
また、ナビゲーションユニット5には、スピーカ3が接続されており、必要に応じて、たとえば一時停止や交差点等の経路案内を行う際に、表示装置4上への表示だけでなく、スピーカ3を介して音または音声によって乗員に知らせることができる。なお、最近のナビゲーション装置には、交通情報の提供や車両近傍の施設案内等、他にも様々な機能が搭載されており、この実施形態では、任意の適切なナビゲーション装置を利用することができる。
車両の周辺監視装置は、車両に搭載され、遠赤外線を検出可能な2つの赤外線カメラ1Rおよび1Lと、カメラ1Rおよび1Lによって撮像された画像データに基づいて車両周辺の対象物を検出するための画像処理ユニット2と、を備えている。画像処理ユニット2は、表示装置4およびスピーカ3に接続されている。表示装置4は、カメラ1Rまたは1Lの撮像を介して得られた画像を表示すると共に、該画像から検出された車両周辺の対象物の存在について警報表示を行うのに利用される。また、スピーカ3は、該対象物の検出結果に基づいて音または音声で警報を発行するのに利用される。
この実施例では、図2の(b)に示すように、カメラ1Rおよび1Lは、車両10の前方を撮像するよう、車両10の前部に、車幅の中心を通る中心軸に対して対称な位置に配置されている。2つのカメラ1Rおよび1Lは、両者の光軸が互いに平行となり、両者の路面からの高さが等しくなるように車両に固定されている。赤外線カメラ1Rおよび1Lは、対象物の温度が高いほど、その出力信号のレベルが高くなる(すなわち、撮像画像における輝度が大きくなる)特性を有している。
画像処理ユニット2は、入力アナログ信号をデジタル信号に変換するA/D変換回路、デジタル化した画像信号を記憶する画像メモリ、各種演算処理を行う中央演算処理装置(CPU)、CPUが演算に際してデータを記憶するのに使用するRAM(ランダムアクセスメモリ)、CPUが実行するプログラムおよび用いるデータ(テーブル、マップを含む)を記憶するROM(リードオンリーメモリ)、スピーカ3に対する駆動信号および表示装置4に対する表示信号などを出力する出力回路を備えている。カメラ1Rおよび1Lの出力信号は、デジタル信号に変換されてCPUに入力されるよう構成されている。
走行状態検出部7は、車両の速度を検出するセンサを含む。車両の速度を検出するためのセンサは、いわゆる車速センサでもよいし、代替的に、加速度センサや車輪速センサでもよい。さらに、この実施形態では、走行状態検出部7は、車両の進路を予測するのに用いられる他の走行状態を検出するためのセンサを含む。一実施形態では、車両のヨーレートを検出するためのヨーレートセンサや、車両の操舵角を検出するための舵角センサを含むことができる。こうして、走行状態検出部7によって検出された車両の走行状態を示すデータは、画像処理ユニット2に送られる。
視界状態推定部9は、画像処理ユニット2の機能の一つとして設けられており(代替的に、視界状態推定部9の機能を、他の電子制御ユニットによって実現してもよい)、運転者から見た車両周辺の視界状態が良好な状態か否かを推定する。視界状態推定部9は、任意の適切な手法で該推定を行うことができる。一例では、雨滴センサ(図示せず)を車両に設け、該センサにより雨滴が検知されたならば、視界状態が良好ではないと推定し、検知されなければ、良好であると推定する。他の例では、ナビゲーションユニット5が、所定のサーバに接続することによって天気に関する情報を取得することを利用する。車両の現在位置を含む地域の天気情報を取得し、該天気情報が、晴れまたは曇りを示していれば、良好であると推定し、雨または雪、あるいは霧の発生等を示していれば、良好ではないと推定する。
さらなる他の例では、夜間は、昼間に比べて視界状態が良好でないことが多いため、昼間の場合には視界状態が良好であると推定し、夜間の場合には視界状態が良好ではないと推定してもよい。ここで、車両のヘッドライトの照射がオンされているか否かで、視界状態を推定してもよい。該ライトの照射がオンされていなければ、昼間であって視界状態が良好と推定し、オンされていなければ、夜間であって、もしくは昼間でも薄暗いため、視界状態が良好ではないと推定してもよい。
画像処理ユニット2は、走行状態検出部7によって検出された該走行状態に基づいて、車両の進路を予測すると共に、カメラ1R、1Lによって撮像され表示装置4上に表示される画像上の該予測進路の領域に、運転者に危険性の度合いを知らせるための強調表示を行う。
このように、この実施例では、ナビゲーション装置の表示装置4を、カメラ1Rおよび1Lによる撮像を介して得られた画像の表示、および該画像から検出された所定の対象物の存在を運転者に通知(警報)するための表示に利用する。 前述したように、フロントウィンドウ上の、運転者の前方位置に画面が表示されるように設けられたヘッドアップディスプレイ(HUD)と異なり、表示装置4は、ハンドル21から、車幅方向に所定距離だけ離れた位置に設けられているので、HUDに比べて、運転者が運転中に表示装置4の画面を視認するには水平方向に視線を移動させる必要がある。したがって、より短時間で、運転者に危険性の度合いを認識させることのできる表示を行うのが好ましく、本願発明では、これを、強調表示によって実現する。
この実施形態では、該強調表示の一例として、補助線の重畳表示を行う。この点について、図3を参照すると、表示装置4上の表示画像101上に重畳表示された補助線111の一例が示されている。表示画像101は、カメラ1R,1Lの撮像を介して得られたグレースケール画像であり(なお、図では、見やすくするため、細かい輝度変化は示されていない)、該画像101上で、ライン103と105で囲まれた領域が、予測された進路に対応する画像領域である。補助線111は、該予測進路上に重畳表示されている。補助線は、後述するように、車両から所定の距離の位置に表示されるので、運転者は、該補助線の表示により、前方の距離感を容易に把握することができ、危険度合いを認識することができる。たとえば、補助線近傍に、歩行者等の注意すべき対象物が撮像していれば、該対象物の位置を実感として捉えることができ、前方に視線を移すことにより、容易に対象物を発見して回避動作を行うことができる。
さらに、本願発明では、該補助線の表示位置を、視界状態推定部9によって推定された視界状態に応じて変更する。この変更手法について、いくつかの形態を説明する。
図4は、第1の形態を示しており、車両からどの程度の距離に対応する表示位置に補助線を表示するかを示している。この形態では、(a)に示すように、視界状態が良好と推定された場合には、車両10から所定距離Daの位置に対応する表示位置に、補助線111を表示する。(b)に示すように、視界状態が良好ではないと推定された場合には、車両10から所定距離Dbの位置に対応する表示位置に、補助線111を表示する。ここで、距離Dbは、距離Daよりも小さい。このように、視界が良好でない場合には、視界が良好な場合に比べて、補助線を車両側に近づけて表示する。
視界が良好な場合には、補助線表示で危険度合いを認識し、前方に視線を移すことで、該補助線付近の対象物についても容易に発見することができる。しかしながら、視界が良好でない場合に、同様の位置に補助線を表示すると、赤外線カメラでは該補助線近傍の対象物についても検出することがほぼ可能であるものの、運転者の目視では、該補助線近傍を見ることができないおそれがある。その結果、表示装置4上に表示された画像を注視しつづけてしまうおそれがあり、前方への注意がおろそかになるおそれがある。
これを防止するため、補助線111を、車両10に近づけて表示する。これにより、視界が良好な場合と同様に、補助線表示で危険度合いを認識し、前方に視線を移すことで、該補助線付近の対象物を発見することができる。
このように、強調表示としての上記補助線は、対象物の存在を初めて運転者に知らせて、運転者の目視によって対象物の発見を促す働きがある。したがって、好ましくは、D1は、視界が良好な場合に車両の運転者が目視可能な距離値に設定され、D2は、視界が不良な場合でも車両の運転者が目視可能な距離値に設定される。これらの該目視可能な距離値は、たとえば実験等によって予め設定される所定値とすることができる。
補助線表示の第2の形態では、視界状態が良好と推定された場合の所定距離Daが、車両10の速度に応じて設定される。たとえば、所定距離Daを、走行状態検出部7によって検出された車両の速度に基づいて算出された所定の予想到達時間TTCに対応する距離とすることができる。ここで、予想到達時間TTCは、任意の適切な時間(たとえば、数秒)に設定されることができる。現在の車速Vとすると、距離Daは、V×TTCにより算出され、この距離に対応する位置に補助線111が表示される。視界状態が良好でない場合には、前述したように、Da>Dbとなるように距離Dbが決定され、該距離Dbに対応する表示位置に、補助線111が表示される。
この形態では、補助線111は、車両が所定時間後に到達する位置を示すこととなるので、運転者は、対象物と到達時間との関係を速やかに認識することができる。補助線付近に対象物が存在すれば、運転者は、該到達時間TTC後に該対象物に到達することを認識できるので、目視で該対象物を発見して該対象物をより確実に回避することができる。また、視界が不良な場合には、良好な場合よりも補助線が車両近くに表示されるので、前述したように、運転者が表示装置4上の画像を注視しつづけることを防止して、前方への目視を促すことができる。
上記のように、視界状態が不良である場合でも、運転者が目視可能な場所に補助線の位置を決定するのが好ましい。これにより、表示画面上の補助線表示により示される危険性を認知して前方に視線を移せば、注意すべき対象物を、より確実に発見することができる。そのため、図5に示す第3の形態では、(b)に示すように、視界状態が良好ではないと推定された場合の補助線111の位置は、車両10のヘッドライトからの光の照射範囲内151に設定される。該照射範囲151は予め決まっているので、該照射範囲内に補助線の位置が含まれるように、距離Dbを決定することができる。こうすることにより、前方に視線を移せば、ヘッドライトの光で対象物を発見することができる。
ここで、ヘッドライトがロービームとハイビームとの間で切り換えられたことに応じて、上記の照射範囲151の大きさを変更してもよい。ヘッドライトがロービームの照射を行っているかハイビームの照射を行っているかを、任意の適切な手段で検出し、ロービームの照射を行っていれば、該ロービームで照射される範囲151に応じて決定された距離Dbに補助線111を表示し、ハイビームの照射を行っていれば、該ハイビームで照射される範囲151に応じて決定された距離Dbに補助線111を表示することができる。
なお、この第3の形態では、(a)に示す視界状態が良好な場合の補助線111の位置は、図4を参照して説明した第1または第2の形態と同じであり、距離Daは、距離Dbよりも大きくなるよう設定される。
図6は、第4の形態を示しており、ここでは、複数の強調表示を用いる。この例では、複数の強調表示として、複数の補助線を用いる。補助線111は第1の補助線であり、これに加え、第2の補助線112および第3の補助線113が用いられる。第1の補助線111は、前述した第1〜第3の形態に従って表示されることができる。第2の補助線112は、第1の補助線111よりも高い危険度を運転者に認識させるためのものであり、第1の補助線111よりも車両近くに表示される。第3の補助線は、さらに高い危険度を運転者に認識させるためのものであり、第2の補助線112よりも車両近くに表示される。
したがって、(a)に示すように、視界状態が良好であると推定された場合、Da>Da2>Da3であり、(b)に示すように、視界状態が良好ではないと推定された場合、Db>Db2>Db3である。DaとDbの比率が、Da2とDb2の比率と同じとなるように、第2の補助線112の距離Da2およびDb2を決定することができる。
第3の補助線113は、最も高い危険性を示すものなので、図に示すように、視界の良好性に関係なく同じ位置に表示されるのがよい。したがって、図において、Da3=Db3である。
第1の補助線111の表示位置が、予想到達時間TTCに基づいて決定される場合には、第2の補助線112および第3の補助線113の表示位置も、予想到達時間TTCに基づいて決定されることができる。ここで、第1の補助線111の表示位置の決定に使用される第1のTTC時間よりも、第2の補助線112の表示位置の決定に使用される第2のTTC時間は小さく、該第2のTTC時間よりも、第3の補助線113の表示位置の決定に使用される第3のTTC時間は小さい。
好ましくは、第3の補助線113の距離Da3、Db3は、車両が現時点で所定の減速度のブレーキ操作を行った場合に停止可能な距離となるように決定される。たとえば、ブレーキの所定の減速度(正値で表す)をGとし、車両の現在の速度をVとすると、V/(2・G)が、車両の停止可能な最小の距離値となる。したがって、第3の補助線113の距離Da3、DB3は、車両から、当該距離値以上の値を有するように決定されるのがよい。こうすることにより、第3の補助線113の位置に対象物が存在するのを認知したことに応じてブレーキ操作を行った場合でも、該対象物をより確実に回避することができる。
なお、この例では、3つの補助線を用いているが、この数に限定されるものではなく、この数よりも多くしてもよいし、少なくしてもよい。たとえば、第1および第3の補助線のみを表示してもよい。
また、上記の例では、補助線を用いた強調表示を行っているが、該強調表示は、補助線の形態に制限されるものではなく、他の形態(たとえば、マークのような何らかの図形を重畳表示する等)で実現してもよい。
図7は、この発明の一実施形態に従う、画像処理ユニット2によって実行されるプロセスを示すフローチャートである。該プロセスは、所定の時間間隔で実行される。このプロセスは、上記の第4の形態(図6)に基づいている。
ステップS11において、カメラ1Rおよび1Lの出力信号(すなわち、撮像画像のデータ)を入力として受け取り、これをA/D変換して、画像メモリに格納する。格納される画像データは、輝度情報を含んだグレースケール画像であり、これが、表示装置4上に表示される画像(表示画像)となる。
ステップS12において、走行状態検出部7によって検出された車両の走行状態に基づいて、車両の進路を予測する。該進路の予測手法には、任意の適切な手法を用いることができる。一実施形態では、検出された車速およびヨーレートに基づいて、車両の進路を予測することができる。たとえば、特開平7−104062号公報に記載された手法を用いることができる。ヨーレートに代えて、舵角センサによって検出された操舵角を用いてもよい。車速と操舵角に基づいて車両の進路を予測する手法は、たとえば特開2009−16663号公報に記載されている。
なお、進路の予測に、ナビゲーションユニット5によって取得される情報を用いてもよい。たとえば、車両が現在の進行方向を維持すると仮定して、車両の現在位置から進路となる経路を、地図情報に基づいて求める。たとえば、或る道路を走行している車両の場合、該道路を”道なり”に進行する経路が、予測された進路となる。あるいは、ナビゲーションユニット5によって算出された最適経路に沿って車両が誘導されている場合には、該最適経路を、予測進路としてもよい。
ステップS13において、走行状態検出部7によって検出された車両の速度に基づいて、車両の所定の予想到達時間TTCに対応する位置を算出する。第4の形態について前述したように、この実施形態では、予想到達時間TTC(秒)として、第1のTTC時間、第2のTTC時間、第3のTTC時間という3つの値を用いる(第1のTTC時間>第2のTTC時間>第3のTTC時間)。予想到達時間TTCが第1のTTC時間である場合の対応位置(第1のTTC位置と呼ぶ)は、車両が、検出された現在の速度で、上記の予測された進路を現時点から第1のTTC時間にわたって走行した場合に該車両が到達する位置を示す。したがって、車両の現在の速度をVとし、第1のTTC時間をt1秒とすると、車両の現在位置から、V×t1により算出された距離だけ予測進路を進んだ位置が、第1のTTC位置として特定される。第2のTTC時間に対応する第2のTTC位置、および第3のTTC時間に対応する第3のTTC位置についても同様である。結果として、車両からの距離は、第1のTTC位置>第2のTTC位置>第3のTTC位置となる。前述したように、好ましくは、第3のTTC位置の車両からの距離が、現時点で所定の減速度のブレーキ操作により停止可能な距離となるように、第3のTTC時間が決定される。
ステップS14において、視界状態推定部9によって、車両周辺の視界の状態が良好か否かを推定する。前述したように、たとえば雨滴センサの検出結果に基づいて、もしくはヘッドライトの照射がオンされているか否かに基づいて、視界状態を推定してもよい。代替的に、ナビゲーションユニット5を介して取得した、車両の現在位置を含む地域の天気に関する情報に基づいて、視界状態を推定してもよい。
視界状態が良好と推定されたならば(S15がYes)、ステップS16に進み、ステップS11で得られた表示画像上で、予測進路に対応する画像領域を見極め、該予測進路上の、第1〜第3のTTC位置に対応する画像上の位置に、第1〜第3の補助線111〜113を重畳し、該重畳した画像を、表示装置4上に表示する。ここで、第1〜第3の補助線111〜113は、互いに、異なる色、および(または)異なる形状で表示されるのが好ましい。
ここで、図8(a)を参照すると、表示画像101上に重畳表示された第1〜第3の補助線111〜113の一例が示されている。前述したように、表示画像は、撮像を介して得られたグレースケール画像であり(なお、図では、見やすくするため、細かい輝度変化は示されていない)、該画像上で、ライン103と105で囲まれた領域が、予測された進路に対応する画像領域である。第1の補助線111が、第1のTTC位置に対応し、第2の補助線112が、第2のTTC位置に対応し、第3の補助線113が、第3のTTC位置に対応している。
この実施例では、これらの補助線は、互いに異なる色で表示されており(図には、ハッチングの異なる種類によって示されている)、たとえば、第1の補助線111は緑ないし青色で表示され、第2の補助線112は黄色で表示され、第3の補助線113は赤色で表示される。こうして、信号機と同様に、最も危険性の高い第3のTTC位置に対しては赤色表示が行われ、最も危険性の低い第1のTTC位置に対しては緑または青色表示が行われる。このような色表示とすることにより、運転者に、第1から第3の補助線に向かうにつれて危険性が高いことを速やかに知らせることができ、また、危険性が高、中、低の位置が、車両からどの程度の場所に存在するかを、運転者に実感させることができる。
この例では、第1〜第3の補助線111〜113は、互いに異なる色で表示されるが、代替的に、または該色の相違に加え、互いに異なる形状で表示してもよい。たとえば、第1のTTC位置に表示される第1の補助線111を、最も細い線で表示し、第3のTTC位置に表示される第3の補助線113を、最も太い線で表示し、第2のTTC位置に表示される補助線を、その中間の太さの線で表示することができる。こうして運転者は、色または形状の違いにより、危険性の度合いを瞬時に把握することができる。また、対象物が撮像されている場合には、該対象物と補助線との位置関係から、該対象物の危険性の度合いを瞬時に理解することができる。したがって、運転者が、対象物がどの辺りに存在するかを見極めようとして表示装置4上に視線を釘付けにするのを回避することができる。
図7に戻り、視界状態が良好ではないと推定されたならば(S15がNo)、ステップS17において、ステップS11で得られた表示画像上で、予測進路に対応する画像領域を見極め、該予測進路に対応する画像領域に、視界不良用のTTC位置の表示を行う。この実施例では、視界不良用のTTC位置として、図6の(b)に示すような形態が用いられる。したがって、視界状態が良好な場合(ステップS16の場合)に比べて、第1および第2のTTC位置を車両に近づけ、該近づけた第1および第2のTTC位置に対応する画像上の位置に、それぞれ、第1の補助線111および第2の補助線112を重畳表示すると共に、視界状態が良好な場合と同じ第3のTTC位置に対応する画像上の位置に、第3の補助線113を重畳表示する。前述したように、第1のTTC位置を、目視可能として予め設定された距離に対応する位置まで、あるいはヘッドライトの照射範囲内の所定位置に対応する位置まで、近づけることができる。そして、やはり前述したように、第1のTTC位置を近づけたのと同じ比率で、第2のTTC位置を近づけることができる。ステップS16を参照して述べたのと同様に、ステップS17においても、第1〜第3の補助線111〜113を、互いに異なる色および(または)異なる形状で表示することができる。
ステップS21以下において、撮像画像から検出された所定の対象物(この処理は、図9を参照して後述される)についての警報表示に関する処理が行われる。ステップS21では、該検出された所定の対象物が、予測された進路内に存在するかどうかを判断する。存在するならば(S21がYes)、ステップS22において、該対象物までの予想到達時間TTCを算出する。具体的には、該対象物までの自車両からの距離と、該車両の該対象物に対する相対速度に基づいて、該予想到達時間TTC(=距離/相対速度)を算出することができる。一実施形態では、車両の進路を横切る対象物を想定し、該相対速度に、自車両の速度Vを設定することができる。代替的に、対象物を時間的に追跡して、対象物の車両に対する相対速度を算出するようにしてもよく、この具体的な手法は、たとえば特開2001−6096号公報に記載されている。
ステップS23において、第1〜第3のTTC時間のうち、該対象物について算出された予想到達時間TTCに最も近いTTC時間を選択し、該選択したTTC時間に対応するTTC位置を特定する。こうして、対象物までの予想到達時間TTCと、第1〜第3のTTC時間を互いに比較することにより、対象物が存在している位置が、どの程度の危険性を有するかを判断することができる。代替的に、第1〜第3のTTC位置のうち、対象物の車両からの現在の距離に最も近いTTC位置を選択するようにしてもよい。
ステップS24において、ステップ23で特定されたTTC位置における上記のTTC表示と相関を持たせて、表示画像上の該対象物を強調的に表示する。
ここで、図8(b)を参照すると、図8(a)のような表示画像101に対し、対象物の強調表示が行われた場合の一例が示されている。この例では、前述したように、第1のTTC位置には、緑または青色の第1の補助線111が表示される。したがって、対象物の予想到達時間TTCに最も近いTTC時間に対応するTTC位置が第1のTTC位置であると特定されたならば、符号131に示すように、該対象物を緑または青色で表示する。同様に、対象物の予想到達時間TTCに最も近いTTC時間に対応するTTC位置が第2のTTC位置であると特定されたならば、符号132に示すように、該対象物を黄色で表示する。対象物の予想到達時間TTCに最も近いTTC時間に対応するTTC位置が第3のTTC位置であると特定されたならば、符号133に示すように、該対象物を赤色で表示する。
なお、対象物を所定の色で表示する手法は、たとえば、対象物として抽出された領域の画素の色を、該所定の色に変換して表示してもよいし、該所定の色の人間を模したアイコン画像を該対象物として抽出された領域上に重畳表示させてもよい。こうして、対象物は、最も近いと判定されたTTC位置の色と相関を持つように表示される。
上記のように、対象物を、各TTC位置に応じた色で表示することに代えて、該対象物を囲むように強調枠を表示し、該強調枠の色を、各TTC位置に応じた色としてもよい。
また、第1〜第3の補助線111〜113の形状が互いに異なる場合には、対象物を、上記のように特定された最も近いTTC位置の形状と相関を持つように表示してもよい。たとえば、それぞれのTTC位置に、互いに異なるマークを付して表示する。そして、最も近いと判定されたTTC位置に付されたマークと同じマークを、その対象物にも付して表示する。こうして、互いに関連していることを、マークで表すことができる。
こうして、対象物を、対応するTTC位置と同様の表示形態となるよう表示させることにより、どの到達時間に関連した対象物が存在するかを、運転者は速やかに把握することができる。TTC位置が、危険の度合いに応じて段階的に表示されるので、対象物の位置する危険性を、瞬時に見極めることができる。
図3に戻り、ステップS25は、対象物が存在することを、上述したような強調表示による警報表示だけでなく、スピーカ3を介した警報音でも知らせるために設けられており、これは、任意の処理である。この警報音についても、TTC位置毎に異ならせることができる。たとえば、対象物が第1のTTC位置と相関するよう表示された場合には、1つの短い音(たとえば、ピッという音)を出力し、対象物が第2のTTC位置と相関するよう表示された場合には、2つの短い音(たとえば、ピッピッという音)を出力し、対象物が第3のTTC位置と相関するよう表示された場合には、1つの長い音(たとえば、ピーーッという音)を出力することができる。なお、複数の対象物が予測進路内に存在し、それぞれが異なるTTC位置と相関するよう表示された場合には、最も危険性の高いTTC位置用の警報音を出力すればよい。たとえば、図8の(b)に示すように、第1〜第3のTTC位置に相関して3人の歩行者131〜133が存在する場合には、最も危険性の度合いが大きい第3のTTC位置用の警報音を出力する。
ステップS21に戻り、撮像画像から検出された所定の対象物が、予測された進路内に存在しなければ(S21がNo)、これは、該対象物が予測進路外に存在することを示す。この場合、ステップS26に進み、該対象物を、ステップS24での対象物に対する警報表示に比べて、強調度合いを低減した状態で表示する。一例では、該対象物には、何ら強調表示を施さないようにすることができる。他の例では、ステップS24の強調表示に比べて見分けにくい(識別しにくい)所定の色で該対象物を表示することができる。たとえば、ステップS24では、カラーを用いて強調表示を行ったが、ステップS26では、モノクロの色(たとえば、白と黒の間の中間色)で、該対象物を強調表示する。たとえば、所定のモノクロの色で、該対象物を表示してもよいし、該モノクロの色の枠で、該対象物を囲むようにしてもよい。ステップS24の強調表示と明瞭に区別するため、ステップS26では、第1〜第3のTTC位置に関連して用いた色とは異なる色を用いるのがよい。
図8の(b)には、このような対象物の表示例も示されており、符号135に示す歩行者は、予測進路外に存在しているため、所定のグレー値に着色されて表示されている。こうして、予測された進路外にいる対象物については、危険性が低いため、単なる通知にとどめることができる。
なお、当然ながら、撮像を介して取得された画像から所定の対象物が検出されなかった場合には、ステップS21以下の処理を実行することなく、補助線が表示された表示画像のみを表示装置4上に表示すればよい。
図9は、撮像画像から対象物を検出するプロセスのフローチャートを示す。 ステップS31において、カメラ1Rで撮像された右画像を基準画像とし(代替的に、左画像を基準画像としてもよい)、その画像信号の2値化を行う。具体的には、輝度閾値ITHより明るい領域を「1」(白)とし、暗い領域を「0」(黒)とする処理を行う。この2値化処理により、たとえば生体のような所定の温度より高い対象物が、白領域として抽出される。輝度閾値ITHは、任意の適切な手法で決定されることができる。
ステップS32において、2値化した画像データを、ランレングスデータに変換する。具体的には、2値化により白となった領域について、各画素行の該白領域(ラインと呼ぶ)の開始点(各ラインの左端の画素)の座標と、開始点から終了点(各ラインの右端の画素)までの長さ(画素数で表される)とで、ランレングスデータを表す。ここで、画像における垂直方向にy軸をとり、水平方向にx軸をとる。たとえば、y座標がy1である画素行における白領域が、(x1,y1)から(x3,y1)までのラインであるとすると、このラインは3画素からなるので、(x1,y1,3)というランレングスデータで表される。
ステップS33およびS34において、対象物のラベリングを行い、対象物を抽出する処理を行う。すなわち、ランレングスデータ化したラインのうち、y方向に重なる部分のあるラインを合わせて1つの対象物とみなし、これにラベルを付与する。こうして、1または複数の対象物が抽出される。
ステップS35において、こうして抽出された対象物のそれぞれについて、注意すべき所定の対象物か否かを判定する。この実施形態では、該注意すべき所定の対象物は、歩行者であり、該歩行者に加えて動物を含めてもよい。ここで、対象物が歩行者か動物かを判定する処理は、任意の適切な手法で実現されることができる。たとえば、周知のパターンマッチングを利用し、上記のように抽出された対象物と、歩行者を表す所定のパターンとの類似度を算出し、該類似度が高ければ、歩行者であると判定することができる。動物についても、同様に判定することができる。このような判定処理の例示として、歩行者かどうかを判定する処理は、たとえば特開2007−241740号公報、特開2007−334751号公報等に記載されている。動物かどうかを判定する処理は、たとえば特開2007−310705号公報、特開2007−310706号公報等に記載されている。
こうして、歩行者と判定された対象物について、図7のステップS21以下の処理が実行されることとなる。
なお、車両から所定の距離の範囲内にある対象物について、上記のステップS24およびS26のような強調表示を行うようにしてもよい。この場合、該所定の距離は、上記の第1のTTC位置の距離以上を有するように設定されるのがよい。たとえば、第1のTTC時間がt1秒とすると、“t2(≧t1)×車両の速度V”により算出される値を、該所定の距離とすることができる。図9のステップS35では、ステップS34で抽出された対象物のうち、該所定の距離の範囲内に対する対象物について判定を行い、その結果、歩行者(動物を含めてもよい)と判定された対象物について、図7のステップS21以下の処理を実行すればよい。
また、上記のように視界状態が良好でないと推定された場合に補助線の表示位置が変更されたとき、該変更されたことが乗員にわかるようにしてもよい。たとえば、表示装置4上に、現在表示されている補助線が、車両からどの程度の距離に対応するかを乗員に知らせるために、補助線に、対応する距離値を付して表示してもよい。あるいは、視界状態が良好でないと推定された場合に、補助線の位置が車両にどの程度近づいたかわかるような表示を行ったり、近づいた距離を音声で知らせてもよい。
上記の実施形態では、ナビゲーション装置に備えられた表示装置を用いている。上記に述べたように、本願発明では、視界状態に応じて上記のような強調表示(実施形態では、補助線)を表示するので、運転者による視線移動が必要な該表示装置を用いても、危険性の度合いを速やかに運転者に認識させることができる。しかしながら、表示装置として、前述したようなHUDを用いてもよい。
さらに、上記の実施形態では、遠赤外線カメラを用いているが、本願発明は、他のカメラ(たとえば、可視カメラ)にも適用可能である。
以上のように、この発明の特定の実施形態について説明したが、本願発明は、これら実施形態に限定されるものではない。
1R,1L 赤外線カメラ(撮像手段)
2 画像処理ユニット
3 スピーカ
4 表示装置

Claims (6)

  1. 車両の周辺を撮像する撮像装置によって取得された画像に基づいて、前記車両の周辺の所定の対象物を検出する手段と、
    前記画像に基づいて生成される表示画像を、前記車両の乗員が視認可能なように表示装置上に表示するとともに、前記対象物が該車両に対して所定の位置関係にある場合に、該表示画像上の該対象物を強調的に表示する表示手段と、を有する車両の周辺監視装置であって、
    さらに、前記車両の周辺の視界状態を推定する手段を備え、
    前記表示手段は、前記対象物を強調的に表示するほか、前記視界状態が良好と推定された場合には、前記表示画像上で、前記車両から所定距離の位置に第1の強調表示を表示し、前記視界状態が良好ではないと推定された場合には、前記視界状態が良好と推定された場合に比べ、該第1の強調表示を、前記車両側に近づけて表示する、車両の周辺監視装置。
  2. さらに、前記表示手段は、前記視界状態が良好ではないと推定された場合、前記第1の強調表示を、該視界状態が良好でない状況で運転者による目視が可能であると設定された所定位置まで、前記車両側に近づけて表示する、
    請求項1に記載の車両の周辺監視装置。
  3. さらに、前記車両の速度を検出する手段を備え、
    前記視界状態が良好と推定された場合に前記第1の強調表示が表示される前記所定距離の位置は、該車両の速度に基づいて算出される該車両の所定の予想到達時間に応じた位置である、
    請求項1または2に記載の車両の周辺監視装置。
  4. 前記所定距離の位置は、前記予想到達時間が第1の所定値である場合に応じた第1の位置であり、
    前記表示手段は、さらに、前記車両の速度に基づいて算出される予想到達時間が、前記第1の所定値よりも小さい第2の所定値である場合に応じた第2の位置に、第2の強調表示を表示し、
    前記表示手段は、前記視界状態が良好と推定された場合と良好ではないと推定された場合の両方において、前記表示画像において該第2の強調表示を同じ位置に表示する、
    請求項3に記載の車両の周辺監視装置。
  5. 前記視界状態が良好ではないと推定された場合、前記表示手段は、前記第1の強調表示を、前記車両のヘッドライトの照射範囲内の所定位置に対応する前記表示画像上の位置に表示する、
    請求項1から4のいずれかに記載の車両の周辺監視装置。
  6. 前記車両のヘッドライトの照射範囲内の所定位置は、該ヘッドライトがハイビームの照射を行っているか否かに応じて変更される、
    請求項5のいずれかに記載の車両の周辺監視装置。
JP2010058280A 2010-03-15 2010-03-15 車両の周辺監視装置 Expired - Fee Related JP5192009B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010058280A JP5192009B2 (ja) 2010-03-15 2010-03-15 車両の周辺監視装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010058280A JP5192009B2 (ja) 2010-03-15 2010-03-15 車両の周辺監視装置

Publications (2)

Publication Number Publication Date
JP2011192070A JP2011192070A (ja) 2011-09-29
JP5192009B2 true JP5192009B2 (ja) 2013-05-08

Family

ID=44796899

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010058280A Expired - Fee Related JP5192009B2 (ja) 2010-03-15 2010-03-15 車両の周辺監視装置

Country Status (1)

Country Link
JP (1) JP5192009B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5966513B2 (ja) * 2012-03-29 2016-08-10 マツダ株式会社 車両の後側方撮影装置
JP2015070280A (ja) * 2013-09-26 2015-04-13 京セラ株式会社 画像処理装置、カメラシステム、および画像処理方法
JP7189695B2 (ja) * 2018-08-07 2022-12-14 日立Astemo株式会社 運転支援装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000211542A (ja) * 1999-01-26 2000-08-02 Mazda Motor Corp 車両の運転支援装置
JP2006123610A (ja) * 2004-10-26 2006-05-18 Toyota Motor Corp 車両の姿勢制御装置
JP4847178B2 (ja) * 2006-03-30 2011-12-28 本田技研工業株式会社 車両用運転支援装置
JP2009040107A (ja) * 2007-08-06 2009-02-26 Denso Corp 画像表示制御装置及び画像表示制御システム

Also Published As

Publication number Publication date
JP2011192070A (ja) 2011-09-29

Similar Documents

Publication Publication Date Title
JP5706874B2 (ja) 車両の周辺監視装置
JP5503728B2 (ja) 車両の周辺監視装置
EP2759999B1 (en) Apparatus for monitoring surroundings of vehicle
JP5577398B2 (ja) 車両の周辺監視装置
JP5316713B2 (ja) 車線逸脱防止支援装置、車線逸脱防止方法、記憶媒体
JP4872245B2 (ja) 歩行者認識装置
US20110228980A1 (en) Control apparatus and vehicle surrounding monitoring apparatus
JP6307895B2 (ja) 車両用周辺監視装置
EP2546819B1 (en) Device for monitoring vicinity of vehicle
JP5299026B2 (ja) 車両用表示装置
JP5888339B2 (ja) 表示制御装置
US10866416B2 (en) Display control device and display control method
JP2007323578A (ja) 車両周辺監視装置
GB2550472A (en) Adaptive display for low visibility
JP5192007B2 (ja) 車両の周辺監視装置
US11858414B2 (en) Attention calling device, attention calling method, and computer-readable medium
JP5003473B2 (ja) 注意喚起装置
JP5192009B2 (ja) 車両の周辺監視装置
JP4701961B2 (ja) 歩行者検知装置
JP2012142832A (ja) 撮像装置
JP6956473B2 (ja) わき見状態判定装置
WO2021076734A1 (en) Method for aligning camera and sensor data for augmented reality data visualization
JP2018160023A (ja) 運転支援装置、運転支援方法およびプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120919

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120925

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130130

R150 Certificate of patent or registration of utility model

Ref document number: 5192009

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160208

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees