JP4775123B2 - 車両用監視装置 - Google Patents

Description

本発明は、車両周囲の映像をモニタに表示する車両用監視装置に関する。

従来から、車両の後方や後側方を確認するために、カメラで撮影された周囲映像をモニタに表示する車両用監視装置が知られている（例えば、特許文献１参照）。

特開２００５−２６７３３１号公報

しかしながら、運転中は車両の前方、左右やミラー等さまざまな方向に視線を向けて安全を確認する必要があるため、モニタ上の映像を見ることができる時間は短く、また、断続的に見て映像を確認するのが一般的である。そのため、様々な対象が映っている映像から注意すべき対象を瞬時に見つけるのは難しく、見落としてしまう可能性があった。

請求項１の発明は、撮像装置で撮像された車両周囲における対象物の映像を表示する表示装置を備え、車両周囲状況の監視に用いられる車両用監視装置に適用され、車両周囲の一または複数の対象物に関する情報を収集する収集手段と、収集手段で収集した情報に基づいて対象物に対する注意レベルを算出する第１の算出手段と、車両周囲の映像の所定領域に対する誘目性を算出する第２の算出手段と、注意レベルと誘目性とに基づいて映像を加工処理する処理手段とを備え、表示装置は、処理手段で加工処理された映像を表示することを特徴とする。
なお、処理手段で加工処理された映像の所定領域に対する誘目性を算出する第３の算出手段をさらに備え、第２の算出手段で算出された誘目性、第３の算出手段で算出された誘目性および注意レベルに基づいて、映像を加工処理するようにしても良い。

本発明によれば、注意レベルと誘目性とに基づいて映像を加工処理し、加工処理された映像を表示装置に表示するようにしたので、表示装置に表示された映像の視認性が向上し、注意すべき対象の見落としを防止することができる。

以下、図を参照して本発明を実施するための最良の形態について説明する。図１は本発明による車両用監視装置の一実施の形態を示すブロック図である。１０は監視装置の制御装置であり、機能的には推測部６、映像処理部７、検出部８を有している。１は車両に搭載され、車両周囲を撮影するカメラである。本実施の形態では、カメラ１は車両の後方映像を撮影する。カメラ１により撮影された後方映像の映像情報は、推測部６，映像処理部７および検出部８に入力される。映像処理部７に入力された映像情報は、後述する所定の映像処理が施され表示データとしてモニタ２に送られる。モニタ２には、映像処理後の後方映像が監視画像として表示される。

車両には、カメラ１とは別に、車両周囲を撮影するカメラ３が設けられている。カメラ３はカメラ１の撮影範囲とは異なる範囲を撮影しており、ここでは車両前方を撮影している。カメラ３で撮影された前方映像の映像情報は、推測部６に入力される。４はドライバーの視線方向を検出するアイトラッカーであり、アイトラッカー４の視線検出情報は推測部６に入力される。さらに、推測部６には、車両走行状態に関する情報としての車速が車速センサ９から入力される。

センサ５は自車周囲の状況や車両等を検出するための装置であり、自車に搭載しているレーダーやソナー、さらには他車との車間通信手段などが含まれる。そのため、センサ５から検出部８に入力されるセンサ情報としては、レーダーやソナーによる自車周囲の車両等に関する位置情報や速度情報、車間通信手段による追い越し車両の情報などがある。レーダーを用いることにより比較的離れている車両の位置や速度が得られ、一方、ソナーを用いることにより近接車両（例えば、側方を通過する駐車車両や後続するバイクなど）の位置や相対速度が得られる。

推測部６では、カメラ１，３からの映像情報、アイトラッカー４の視線検出信号および車速センサ９からの車速に基づいて、注意力マップＭ１，視線マップＭ２，車両情報マップＭ３および誘目性マップＭ４を算出する。詳細は後述するが、注意力マップＭ１は、ドライバーがモニタ２に表示されている後方映像に対してどの程度注意が向いているかを、車両前方の状況から推定したものである。視線マップＭ２は、モニタ画面のどの領域にどの程度視線を向けているかを、視線検出情報から推定したものである。車両情報マップＭ３は、モニタ２に表示されている後方映像の各領域に対する注意力を、車速から推定したものである。

これらのマップＭ１〜Ｍ３は、ドライバーのモニタ２の表示映像への運転環境の影響の度合いを数値化して、２次元マップとしたものである。これらのマップＭ１〜Ｍ３を一つのマップに統合したものが、運転状況マップＭ５である。一方、カメラ１の後方映像情報により推定される誘目性マップＭ４は、モニタ２に後方映像を表示した場合に、映像の各領域の誘目性がどの程度であるかを推定したものであり、誘目性のレベルを２次元マップとして表したものである。

ここで、誘目性とは、モニタ２に表示された映像をドライバーが一目見たときに、ドライバーの注意を引きやすい対象であるか否かを表す指標であり、各部分領域の輝度、コントラスト、色彩、大きさ、位置などの同一フレームでの空間的変化や、連続するフレーム間での時間的変化に基づいて推定される注視の度合いを表している。

本実施の形態の車両用監視装置では、注意すべき対象（例えば、接近する車両や障害物）に対してドライバーの注意が不足している場合に、モニタ２に表示されている映像を通じて注意を促すことに特徴がある。例えば、自車両後側方からすり抜けようとしているバイクに対してドライバーの注意が不足している場合に、ドライバーに注意を促す。ドライバーの注意は、注目の度合いである誘目性の値で表される。

接近する車両や障害物に対してドライバーの注意が不足しているか否かは、推定部６によって算出される誘目性マップＭ６によって表される。この誘目性マップＭ６は、映像情報のみから算出した誘目性マップＭ４に運転状況マップＭ５の情報を加味して算出され、映像のどの領域にドライバーの注意がどの程度向いているかを推定したものである。

一方、注意すべき対象の推定は、検出部８において行われる。すなわち、検出部８は、センサ５から入力されたセンサ情報に基づいて自車の周りの車両や接近しつつある車両等を推定し、カメラ１からの後方映像を参考にして注意レベルマップＭ７を算出する。注意レベルマップＭ７は、推定された対象がセンサ５で取得された位置や速度からその予想進行方向を推定し、自車の進行方向と重なる可能性を注意レベルとして求め、それを２次元的マップとしたものである。算出された注意レベルマップＭ７のデータは、映像処理部７に入力される。

映像処理部７は、推測部６から入力された誘目性マップＭ６と検出部８から入力された注意レベルマップＭ７とに基づいて、映像処理に用いる処理マップＭ８を算出する。そして、この処理マップＭ８に基づいて映像情報に画像処理を施し、モニタ２に監視画像として表示される映像の表示データを生成する。この監視画像は、映像の各領域に対して後述するような誘目性処理を施したものである。誘目性処理を施すことにより、注意する必要のあるにもかかわらず注意が向いていない対象が強調される。その結果、ドライバーは、モニタ２の映像により車両周囲の状況を確認し易くなり、注意すべき対象の見落としが低減される。

《マップＭ１〜Ｍ８の説明》
次に、マップＭ１〜Ｍ８について詳細に説明する。
［注意力マップＭ１］
まず、カメラ３の映像情報に基づいて算出される注意力マップＭ１について説明する。ドライバーへの負荷であるワークロードは、モニタ２に表示される映像への運転者の注意力を減退させる要因となるものであり、例えば、前方映像情報から得られる車間距離や交通量、ハンズフリー携帯電話の使用・不使用、ラジオ使用時の音量などがある。また、ステアリングのふらつきをドライバーの眠気によるものと推定し、それをワークロードの一つとして採用するようにしても良い。さらに、これらを組み合わせてワークロードを算出するようにしても良い。

このような情報から求められるワークロードから、モニタ２に表示されている後方映像への注意力レベルを推定し、注意力マップＭ１を算出する。ドライバーのワークロードが大きい場合には、後方映像が表示されているモニタ２への注意力が減るので、注意力の値を小さく設定する。逆にワークロードが小さい場合には、注意力の値を大きく設定する。

図２の（ａ），（ｂ）はワークロードの大小と注意力との相関関係を示したものである。図２（ａ）は、ワークロードとして車間距離や、交通量や、ラジオの音量を用いた場合を示す。この場合、車間距離、交通量、ラジオの音量の大小がワークロードの大小と対応しており、これらが大きくなるとワークロードが大きくなり、モニタ２の後方映像への注意力は反対に小さくなると推定できる。例えば、注意力の大きさを図２（ａ）に示すように１〜３の数値で表せば、ワークロード（例えば、車間距離）の大きさに応じて注意力は１〜３の間の数値となる。

図２（ｂ）は、ハンズフリー携帯電話の使用・不使用に応じた注意力の設定例を示したものである。この場合、注意力は大・小の２レベルを取り、使用時（オン）にはワークロードが大きくて注意力が減少するのでの注意力は小に設定され、不使用時にはワークロードが小さくなるので注意力は大に設定される。

図２（ｃ）は、注意力マップＭ１の表示例を示したものである。これらの注意力マップＭ１の範囲はモニタ２の表示範囲に対応しており、注意力が高いほど表示濃度を濃く表示している。注意力はドライバーがモニタ２に注意が向いているか否かの程度を表す指標であるので、注意力マップＭ１の全領域が一様な濃度（注意レベル）で表示されている。図２（ｃ）に示す３種類の注意力マップＭ１は、左側から順にレベル３の場合、レベル２の場合、レベル１の場合を表している。

図２（ｂ）に示すようなハンズフリー携帯電話の場合、レベル３とレベル１との２つの状態で注意力マップＭ１が表される。なお、図２（ａ）のような相関関係の場合であっても、図２（ｃ）に示す３種類の注意力マップＭ１を予め用意しておき、ワークロードの大きさに応じて３種類の注意力マップＭ１のいずれかを選択するようにしても良い。

［視線マップＭ２］
図３は、アイトラッカー４の情報に基づく視線マップＭ２の一例を説明する図である。アイトラッカー４はドライバーの視線を検出する装置であり、運転中における視線の移動を検出することができる。図３（ａ）は基準時間（例えば、数秒間）の間に検出された視線移動を示す図であり、１００は視線が移動した跡を示す視線軌跡である。視線軌跡１００から、車両後方確認のために一時的にモニタ２を見ているのが分かる。推測部６は、アイトラッカー４から入力されるこのような視線情報に基づいて、モニタ２上における視線滞留時間から推定される視線マップを算出する。

図３（ｂ），（ｃ）は、視線軌跡１００に基づく視線マップＭ２を示す図である。視線マップＭ２には領域Ｍ２ａ〜Ｍ２ｄの４つの領域が示されており、点１００ａは視線の停留点を示している。図３（ｂ）に示す例では、停留点１００ａが５つ有り、停留点１００ａの密度が高いところを中心として、所定の大きさの矩形領域Ｍ２ｂ〜Ｍ２ｄが形成されている。面積はＭ２ｄ，Ｍ２ｃ，Ｍ２ｂの順に大きくなる。なお、図３（ｂ）に示す例では、矩形領域Ｍ２ｂ〜Ｍ２ｄの中心が視線マップの中心から右斜め上方にずれているため、領域Ｍ２ｂに関してはその右側および上側の一部が欠けている。

停留点１００ａが３つ存在する領域Ｍ２ｄが最もモニタ２を見ている確率が高く、そこから遠ざかるにつれて確率が低くなると推定し、領域Ｍ２ｄ，Ｍ２ｃ，Ｍ２ｂの順にレベルを４，３，２と設定する。また、領域Ｍ２ｂの外側の領域である領域Ｍ２ａについては、レベルを１とする。基準時間の間、モニタ２に全く視線が向かなかった場合には、視線マップＭ２は全体が領域Ｍ２ａとなり、視線マップＭ２の全領域がレベル１に設定される。図３（ｃ）は、基準時間内における停留点１１０ａが１点の場合を示したものであるが、その場合、停留点１００ａを中心として矩形領域Ｍ２ｂ〜Ｍ２ｄを設定する。

［車両情報マップＭ３］
図４は、車速に基づく車両情報マップＭ３の一例を説明する図である。ここでは、車速に応じて図４の（ａ）〜（ｃ）に示す車両情報マップＭ３のいずれかが選択される。図４（ａ）は車両停止状態における車両情報マップＭ３を示したものであり、図４（ｂ）は市街地を時速３０ｋｍで走行している場合の車両情報マップＭ３を示し、図４（ｃ）は市街地を時速６０ｋｍで走行している場合の車両情報マップＭ３である。

車両情報マップＭ３は、誘目性に対する車速の影響を表すパラメータであって運転者の視認しやすさの指標であり、モニタ画面に対応する領域に２次元的に分布する数値によって表される。車両停止時には、モニタ２に表示されている後方映像における風景等は停止している。そのため、表示されている画像に対するドライバーの視認しやすさのレベルは高く、視認しやすさはモニタ全領域に対して均等となる。図４に示す例では、視認しやすさのレベルを１，２，３，４の４段階で表し、マップＭ３の全領域をレベル１，２，３，４の４つの領域Ｍ３ａ〜Ｍ３ｄに分割するようにした。ただし、車両停止状態では、視認しやすさはモニタ２内のどの位置でも同じなので、全領域が最高のレベル３に設定される。

一方、車両走行時には、風景は後方（消失点）へと流れるような動きを示し、モニタ２の周辺に近い映像ほど流れの動きが速い。すなわち、モニタ２の中心から遠ざかるにつれて視認性が低下する。そのため、変化の比較的小さなモニタ中心部分の映像にはドライバーの注意が行くが、周辺部に対する注意力は低下し、また、そのような傾向は車両速度が速くなればなるほど著しくなる。

図４（ｂ）に示す、市街地を時速３０ｋｍで走行している車両情報マップＭ３の場合には、マップ中央部に停止状態と同じレベル４の矩形領域Ｍ３ｄが設定されている。矩形領域Ｍ３ｄの周囲にはレベル３の領域Ｍ３ｃが設定され、さらに、領域Ｍ３ｃの周囲にはレベル２の領域Ｍ３ｂが設定されている。いずれの領域も、視認性に応じて垂直方向の寸法が水平方向の寸法よりも小さく設定されている。また、領域Ｍ３ｂの周囲の残りの領域Ｍ３ａは最も低いレベル１に設定される。

図４（ｃ）に示す、市街地を時速６０ｋｍで走行している車両情報マップＭ３の場合には、映像の周辺領域の変化が速くなって視認性がさらに低下するため、時速３０ｋｍの場合と比較してレベル２〜４の領域Ｍ３ｂ〜Ｍ３ｄの範囲がさらに狭くなる。ここでは、市街地走行を想定して車両情報マップＭ３を算出したが、高速道路を走行している場合のように単純な状況が続く状況においては、領域Ｍ３ｂ〜Ｍ３ｄの設定範囲を市街地の場合と変えるようにしても良い。例えば、ナビゲーションを搭載している車両であれば、ナビゲーション情報から道路種別を認識することができる。

なお、上述した車両情報マップＭ３の場合、車速に応じて図４の（ａ）〜（ｃ）のいずれかのマップを選択するようにしたが、図２（ａ）に示すワークロードの場合と同様に、車両情報マップＭ３を連続的に変化させるようにしても良い。図５はその一例を示す図であり、矩形領域Ｍ３ｂ〜Ｍ３ｄの上下方向の幅寸法と車速との関係を示したものである。曲線Ｌ１が領域Ｍ３ｂの縦幅、曲線Ｌ２が領域Ｍ３ｃの縦幅、曲線Ｌ３が領域Ｍ３ｄの縦幅をそれぞれ表しており、マップＭ３の縦幅を１として示したものである。なお、矩形領域の横幅は縦幅に応じて変化させる。図４（ｂ）、（ｃ）のマップＭ３は、図５の車速３０km/h，６０km/hで示した所に対応している。

［誘目性マップＭ４］
図６は誘目性マップＭ４の作成手順を示す図である。図７は図６の各ステップの具体的処理の一例を示したものであり、図６の各処理に対応する具体例には同一の符号を付した。ステップＳ１では、図８（ａ）に示すような後方映像を、図７に示すように多数の小さな部分領域に分割する。ステップＳ２は部分領域毎の誘目性を算出するルーチンであり、ステップＳ２１からステップＳ２４までの処理が行われる。これらのステップＳ２１からステップＳ２４までの処理は、各部分領域毎に行われる。

ステップＳ２１では、カラー映像をインテンシティの映像に変換する。このような変換を行うことで、視覚では視認しにくい色彩情報を低減することで、誘目性の精度を高めることができる。同様に、視認できていない周辺領域の特定周波数成分を低減させるようにしても良い。なお、図７に示す具体的処理においては、延滞画面の内の左上端の部分領域のインテンシティ映像と右下端のインテンシティの映像とを示した。

ステップＳ２２では、部分領域の映像に関してヒストグラムを計算する。図７には各々の具体的映像に対するヒストグラムが表示されており、左側の映像のヒストグラムでは平均値が１３０．４５、標準偏差６０．３５、中間値１１１となっている。一方、右側の映像のヒストグラムでは、平均値１０．００、標準偏差１７．６８、中間値７となっている。

ステップＳ２３では、ヒストグラムの標準偏差を誘目性の値Ａとする。前述したように、誘目性とは、モニタ２に表示された映像をドライバーが一目見たときに、ドライバーの注意を引きやすい対象であるか否かを表す指標であり、前述したように、各部分領域の輝度、コントラスト、色彩などから推定される注視の度合いを表すものである。

さらに、ステップＳ２４では、後方映像の各部分領域毎に得られた誘目性の値Ａの最大値と最小値とに基づいて、各部分領域の誘目性の値の大きさが０〜１となるようにスケーリングを行い、スケーリング後の値を誘目性の値Ｂとする。図７に示す具体例では、左側の部分領域は誘目性の値Ｂが０．８となり、右側の部分領域の誘目性の値Ｂは０．２となっている。図７の誘目性の値Ｂの下側に表示した矩形表示は、誘目性の値Ｂの大きさに応じて矩形領域をグレーススケール表示したものである。

このようにして、ステップＳ２の処理により、各部分領域毎の誘目性の値Ｂが算出される。ステップＳ３では、各部分領域の誘目性の値Ｂの計算結果を、後方映像全体としてまとめる。図９（ａ）は、図７で得られたグレースケール表示の部分領域を全体映像に対して示したものである。全ての部分領域を画面全体にまとめると、図９（ｂ）に示すような誘目性の値Ｂに関する誘目性マップＭ４が完成する。

図９（ｂ）のように全体画面にまとめ上げると、誘目性マップＭ４内には誘目性の値Ｂの異なる複数の領域が存在することが分かる。なお、図９（ｂ）に示す例では、誘目性マップＭ４内は１０の領域C1〜C10に分類されており、誘目性の値Ｂの大きさに応じた濃淡色により表されている。領域C10はＢ＝０．１、領域C3，C5，C9はＢ＝０．３、領域C6はＢ＝０．４、領域C7，C8はＢ＝０．６、領域C1，C2，C4はＢ＝０．８となっている。なお、図９（ｂ）では各領域C1〜C10レベルを、括弧内の数字で示した。これらの領域C1〜C10を図８（ａ）の後方映像と対比すると、一つの領域が車両や建物に対応していたり、背景としての空や道路に対応している。また、同じような色調、コントラストを有する対象の場合には、一つの領域として表される場合もある。

なお、後方車両は、大まかには道路が示す領域に位置するので、表示画面上において道路と推定される領域と同一画面領域にある対象について、誘目性を大きく設定するようにしても良い。ところで、ここで得られた誘目性マップＭ４は後方映像のみから作成されたものであるので、前述したように注意力マップＭ１，視線マップＭ２および車両情報マップＭ３に基づいて算出された運転状況マップＭ５を用いて、運転状況を考慮した誘目性マップＭ６を作成する。

［運転状況マップＭ５］
運転状況マップＭ５の作成方法の一例としては、注意力マップＭ１，視線マップＭ２および車両情報マップＭ３の各レベルを、所定の重み付けで加算する方法がある。例えば、視線マップＭ２の場合、ドライバーがメガネを掛けているとアイトラッカーによる視線の誤認識が生じるので、そのような場合には加算時の重み付けを下げる。また、車速に基づく車両情報マップＭ３の場合、道路種別が高速道路か市街地かによって、同じ速度であってもドライバーの注意の行き方が異なり、単純な状況が続く高速道路の場合には市街地の場合に比べて重み付けを下げる。

［誘目性マップＭ６］
運転状況マップＭ５と誘目性マップＭ４とから誘目性マップＭ６を算出する場合には、運転状況マップＭ５のレベルと誘目性マップＭ４の誘目性の値Ｂとを乗算して得られた値を誘目性の値Ｃとする。この場合も、重み付けを行ってから乗算するようにしても良い。一般的には、運転状況マップＭ５よりも誘目性マップＭ４の方の重み付けを大きくする。また、誘目性マップＭ４の各領域が運転状況マップＭ５内のレベルの異なる複数の領域と重なっている場合には、例えば、複数の領域の各レベルの中間のレベルを乗算に用いる。

図１０（ａ）は誘目性マップＭ６を示す図である。なお、図１０（ａ）の誘目性マップＭ６では、乗算後の値の大きさを０〜１に書き直しており、濃淡色と値の大きさとの対応付けは図９（ｂ）の誘目性マップＭ４と同じになっている。各領域の形状は図９（ｂ）に示した誘目性マップＭ４と同一であるが、運転状況マップＭ５を考慮したことによって領域C5，C9のレベルが相対的に増加し、領域C7，C8のレベルが相対的に減少している。他の領域C1〜C4，C6，C10のレベルは、誘目性マップＭ４と同様の値となっている。このようにして算出された誘目性マップＭ６は、映像処理部７に入力される。

［注意レベルマップＭ７］
図１０（ｂ）は、注意レベルマップＭ７を示す図である。前述したように、注意レベルマップＭ７は自車の周りの車両や接近しつつある車両等に関するマップである。センサ情報としては、レーダーにより検出される比較的離れている車両の位置や速度、ソナーにより検出される近接車両（例えば、側方を通過する駐車車両や後続するバイクなど）の位置や相対速度などがあり、また、車間通信手段により受信される情報から、追い越し車両を検知することができる。

図１０（ｂ）において、濃淡色で示された部分領域Ｄ４〜Ｄ９は注意すべき対象として推定されたものである。また、領域Ｄ１０は路面や空と認識された領域である。各領域には誘目性の値Ｃと同様の０〜１の値の注意レベルＤが、自車との位置関係や相対速度などに基づいて付与される。領域の符号とともに示した括弧内の数値が注意レベルＤを表している。例えば、追い越し車両の進行方向と自車の進行方向とから接触の危険度を推測することができ、その危険度が大きい対象ほど注意レベルＤを大きく設定する。

注意レベルマップＭ７の領域Ｄ９は図８（ａ）の後方映像からも分かるように自車を追い越そうとしているバイクに対応する領域であり、注意レベルＤ＝０．８が付与されている。同様に、領域Ｄ４は後方に接近しているバイクに対応する領域であり、領域Ｄ９と同様の注意レベルＤ＝０．８が付与されている。

領域Ｄ５，Ｄ７はほぼ同一速度で走行している後続車両に対応しており、距離の近い領域Ｄ５は注意レベルＤ＝０．６が付与され、距離のやや遠い領域Ｄ７は注意レベルＤ＝０．４が付与されている。一方、領域Ｄ６は建物や停車している車両に対応しており、注意レベルＤ＝０．２が付与されている。また、路面や空と認識されている領域Ｄ１０は、最も低い注意レベルＤ＝０．１が付与されている。

［処理マップＭ８］
推測部６で算出された誘目性マップＭ６、および、検出部８で算出された注意レベルマップＭ７はそれぞれ映像処理部７に入力され、映像処理部７では、それらのマップＭ６，Ｍ７に基づいて処理マップＭ８が算出される。処理マップＭ８は、カメラ１からの後方映像の各領域に対する誘目性処理を、２次元マップとして示したものである。誘目性処理としては種々の方法があるが、ここでは、画像に対して「ぼかし処理」と「強調処理」とを施すことにより、注意する必要のあるにもかかわらず注意が向いていない対象が強調されるようにした。

図１０（ｃ）は処理マップＭ８を示す図である。一般的には、誘目性の値Ｃと注意レベルＤのそれぞれに対して基準値を各々設定し、誘目性の値Ｃが基準値より小さく注意レベルＤが基準値よりも大きい場合には、その映像領域（対象）に対して誘目性を大きくするための「強調処理」を施す。逆に、誘目性の値Ｃが基準値より大きく注意レベルＤが基準値よりも小さい場合には、その映像領域に対して誘目性を小さくする「ぼかし処理」を施す。

ここでは、誘目性の値Ｃと注意レベルＤとの差分を算出し、その値に応じて「ぼかし処理」や「強調処理」を行うようにした。差分（Ｄ−Ｃ）がプラスの場合には、「強調処理」を施す。図１０（ｃ）の例では、領域Ｅ９が差分＝０．２であって、強調処理が行われる領域を示す縦縞模様に表示されている。差分がプラスであるということは、注意すべきと推定された領域であるにもかかわらず、見ている確率を示す誘目性が比較的低い場合であるので、強調処理を施してドライバーの注意を引くような表示とする。

一方、差分がマイナスの場合には、注意の必要性に比べて誘目性が高いので、他の注意すべき領域の誘目性を損なわないように「ぼかし処理」を施す。図１０（ｃ）に示す例では、横縞が施された領域Ｅ１，Ｅ２，Ｅ６，Ｅ８に「ぼかし処理」が施され、差分の大きな領域Ｅ１（差分＝−０．８），領域Ｅ２（差分＝−０．６）は、差分の小さな領域Ｅ６，Ｅ８（差分＝−０．１または−０．２）に比べてより強い「ぼかし処理」が施される。これらの領域は、図８（ａ）から分かるように建造物や停止している車両に対応している。

差分がゼロである領域Ｅ４，Ｅ５，Ｅ７，Ｅ１０については、処理を施さずに撮像された映像をそのまま表示する。これらは、自車とほぼ同一速度で走行している車両に対応する領域である。ここでは、差分がゼロとなるものについて無処理としたが、差分にいくぶん幅を持たせるようにしても良い。また、ぼかし処理と強調処理とを分ける差分の値についても、必ずしも０である必要はない。

図１０（ｃ）の処理マップＭ８に基づいて図８（ａ）の映像を処理すると、処理後の映像は図８（ｂ）に示すようなものとなる。強調処理としては、映像のコントラストを高くしたり、明るくしたりするなどの他に、領域Ｅ９に目に付く色の枠２００を表示したりしても良い。ぼかし処理としては、周辺のピクセルを含めて平均化したり、前後のフレームのピクセルの値を平均化するようにしても良い。また、平均化に用いるピクセルの範囲の大小によってぼかしの強弱を付けることができる。

ここでは、強調処理とぼかし処理とを併用したが、一方だけを用いても構わない。ぼかし処理を行うことによって注意の行っていない対象の誘目性が相対的に向上するので、結果的には注意の行っていない対象に強調処理を施した場合と同様の効果を得ることができる。

図８（ａ）に示す処理前の映像では、建造物や風景なども同じような調子で表示されているため、それらの対象と上述した注意すべき対象とが混在していて区別し難く、一瞬の観察では注意すべき対象を見落とす可能性があった。一方、図８（ｂ）に示す処理後の映像では、画面周辺部分の停車車両や建造物や風景にぼかし処理が施されているため、ぼかしが施されていない中央付近のバイクや２台の車両、強調処理を施された右側のバイクが、注意すべき対象として際だって観察される。特に、追い越しをしようとしている右側のバイクに関しては、枠２００が表示されていることにより、要注意対象であることが一目で分かり、見落としの防止を図ることができる。

《変形例》
図１１は、上述した実施の形態の変形例を示す図である。変形例では、映像処理された表示データは判定処理部７ａと推測部６とに入力される。推測部６は、入力された表示データに基づいて誘目性マップＭ４’を算出する。そして、誘目性マップＭ４’と運転状況マップＭ５とに基づいて、誘目性マップＭ６と同様の誘目性マップＭ６’を算出する。誘目性マップＭ４’およびＭ６’の算出方法は、上述した誘目性マップＭ４およびＭ６’の算出方法と全く同じであるので、ここでは説明を省略する。

算出された誘目性マップＭ６’は、判定処理部７ａに入力される。判定処理部７ａでは、誘目性マップＭ６およびＭ６’の誘目性の傾向と、検出部８から入力された注意レベルマップＭ７の注意レベルの傾向とを比較する。ところで、映像処理された表示データは、注意レベルマップＭ７を考慮して算出されたものであるので、算出が適切に行われていれば誘目性マップＭ６’の方が注意レベルマップＭ７により近いものとなるはずである。一方、算出が不適切であった場合には、誘目性マップＭ６の傾向の方が注意レベルマップＭ７により近くなる場合が生じる。

そこで、誘目性マップＭ６’の傾向の方が注意レベルマップＭ７により近い場合には、映像処理された表示データをモニタ２へと出力する。逆に、誘目性マップＭ６の傾向の方が注意レベルマップＭ７により近い場合には、映像処理が不適切であって処理後の表示データをモニタ２に表示するのは好ましくない。そのため、このような場合には、映像処理されていないカメラ１の映像をモニタ２へと出力する。

また、判定処理部７ａで、誘目性マップＭ６の傾向の方が注意レベルマップＭ７により近いと判定される頻度が高い場合には、判定処理部７ａの結果に基づいて、運転状況マップＭ５を算出する際の重み付けや、処理マップＭ８を算出する際の運転状況マップＭ５および誘目性マップＭ６の重み付け等を変更するようにしても良い。

例えば、図１０（ａ）の誘目性マップＭ６の周辺部の領域において誘目性の値Ｃが大きめに算出されて領域Ｅ９が強調処理されず、誘目性マップＭ６の傾向の方が注意レベルマップＭ７により近いと判定された場合を考える。このような場合、運転状況マップＭ５を算出する際の車両情報マップＭ３の重み付けを大きくすることにより、周辺部の注意レベルの低下が強調され、誘目性マップＭ６の周辺部の領域誘目性の値Ｃが小さくなる。その結果、領域Ｅ９における差分が大きくなり、強調の度合いも大きくなる。

上述したように、本実施の形態の車両用監視装置は、以下のような作用効果を奏することができる。
（ａ）撮像装置で撮像された車両周囲における対象物の映像を表示する表示装置を備え、車両周囲状況の監視に用いられる車両用監視装置に適用され、車両周囲の一または複数の対象物に関する情報を収集する収集手段と、収集手段で収集した情報に基づいて対象物に対する注意レベルを算出する第１の算出手段と、車両周囲の映像の所定領域に対する誘目性を算出する第２の算出手段と、注意レベルと誘目性とに基づいて映像を加工処理する処理手段とを備え、表示装置は、処理手段で加工処理された映像を表示するようにしたので、注意レベルが大きく誘目性の小さい対象、すなわち、注意する必要があるのに運転者の注意が向きにくい対象を、加工処理により注意の行きやすい表示にすることが可能となる。
（ｂ）なお、処理手段で加工処理された映像の所定領域に対する誘目性を算出する第３の算出手段をさらに備え、第２の算出手段で算出された誘目性、第３の算出手段で算出された誘目性および注意レベルに基づいて、映像を加工処理するようにしても良い。その結果、第２の算出手段で算出される誘目性の精度を高めることができる。

（ｃ）対象物の注意レベルが基準値より大きく、その対象物に対応する領域の誘目性が基準値より小さい場合には、加工処理後の映像における対象物に対応する領域の誘目性を大きくし、逆に、対象物の注意レベルが基準値より小さく、その対象物に対応する領域の誘目性が基準値より大きい場合には、加工処理後の映像における対象物に対応する領域の誘目性を小さくする。その結果、注意する必要があるのに運転者の注意が向きにくい対象の誘目性を相対的に大きくすることができる。
（ｄ）映像の輝度、色、コントラスト、大きさおよび位置の少なくとも一つの時間的変化または空間的変化に基づいて、誘目性を算出することにより、誘目性の精度向上を図ることができる。
（ｅ）運転者の視線方向を加味して誘目性を算出したり、車両速度を加味して誘目性を算出したり、運転者に加わるワークロード、例えば、車両周囲状況に依存するワークロード加味して誘目性を算出したりすることにより、表示映像に対する運転者の注意状況を誘目性に反映することができ、誘目性算出の精度を高めることができる。
（ｆ）また、予め設定された複数の車速影響パラメータ（車両状マップＭ３）から車両速度に応じた車速影響パラメータを一つ選択し、選択された車速影響パラメータを加味して誘目性を算出することにより、演算負荷を低減することができる。

なお、上述した実施の形態では、モニタ２に表示される映像はカメラ１で撮像された後方映像としているが、後方映像に限らず後側方や側方の映像であっても本発明は適用できる。さらに、同一カメラで撮影した映像の一部をモニタ２に表示し、その他の映像の全てまたは一部から注意力マップＭ１を算出するようにしても良い。また、本発明の特徴を損なわない限り、本発明は上記実施の形態に何ら限定されるものではない。

以上説明した実施の形態と特許請求の範囲の要素との対応において、カメラ１は請求項１の撮像手段を、カメラ３は第２の撮像装置を、センサ５は収集手段を、検出部８は第１の算出手段を、推測部６は第２の算出手段および第３の算出手段を、モニタ２は表示装置を、アイトラッカー４は視線検出装置を、映像処理部７は処理手段をそれぞれ構成する。

本発明による車両用監視装置の一実施の形態を示すブロック図である。 （ａ）、（ｂ）はワークロードと注意力との相関関係を示す図で、（ｃ）は注意力マップＭ１の表示例を示す図である。 視線マップＭ２の一例を説明する図であり、（ａ）は視線移動の様子を示す図、（ｂ）、（ｃ）は視線軌跡に基づく視線マップＭ２を示す図である。 車両情報マップＭ３を示す図であり、（ａ）は車両停止状態の場合、（ｂ）は低速の場合、（ｃ）は高速の場合のマップＭ４をそれぞれ示す。 車両情報マップＭ３を、車速に応じて連続的に変化させる場合を説明する図である。 誘目性マップＭ４の作成手順を示す図である。 図６の各処理の具体例を示す図である。 映像例を示す図であり、（ａ）は処理前の映像、（ｂ）は処理後の映像をそれぞれ示す。 誘目性の値Ｂを説明する図であり、（ａ）は全体画面に対する部分領域の誘目性を示し、（ｂ）は映像全体の誘目性である誘目性マップＭ４を示す。 （ａ）誘目性マップＭ６示す図、（ｂ）は注意レベルマップＭ７を示す図、（ｃ）は処理マップＭ８を示す図である。 変形例のブロック図である。

符号の説明

１，３：カメラ、２：モニタ、４：アイトラッカー、５：センサ、６：推測部、７：映像処理部、７ａ：判定処理部、８：検出部、９：車速センサ、１０：制御装置、Ｍ１：注意力マップ、Ｍ２：視線マップ、Ｍ３：車両情報マップ、Ｍ４，Ｍ６：誘目性マップ、Ｍ５：運転状況マップ、Ｍ７：注意レベルマップ、Ｍ８：処理マップ

Claims (12)

1. 撮像装置で撮像された車両周囲における対象物の映像を表示する表示装置を備え、車両周囲状況の監視に用いられる車両用監視装置において、
   車両周囲の一または複数の対象物に関する情報を収集する収集手段と、
   前記収集手段で収集した情報に基づいて前記対象物に対する注意レベルを算出する第１の算出手段と、
   前記車両周囲の映像の所定領域に対する誘目性を算出する第２の算出手段と、
   前記注意レベルと前記誘目性とに基づいて前記映像を加工処理する処理手段とを備え、
   前記表示装置は、前記処理手段で加工処理された映像を表示することを特徴とする車両用監視装置。
2. 請求項１に記載の車両用監視装置において、
   前記処理手段で加工処理された映像の所定領域に対する誘目性を算出する第３の算出手段をさらに備え、
   前記処理手段は、前記第２の算出手段で算出された誘目性、前記第３の算出手段で算出された誘目性および前記注意レベルに基づいて、前記映像を加工処理することを特徴とする車両用監視装置。
3. 請求項１または２に記載の車両用監視装置において、
   前記対象物の注意レベルが基準値より大きく、その対象物に対応する領域の前記誘目性が基準値より小さい場合には、前記処理手段は、前記加工処理後の映像における前記対象物に対応する領域の誘目性を大きくすることを特徴とする車両用監視装置。
4. 請求項１または２に記載の車両用監視装置において、
   前記対象物の注意レベルが基準値より小さく、その対象物に対応する領域の前記誘目性が基準値より大きい場合には、前記処理手段は、前記加工処理後の映像における前記対象物に対応する領域の誘目性を小さくすることを特徴とする車両用監視装置。
5. 請求項１〜４のいずれか一項に記載の車両用監視装置において、
   前記第２の算出手段は、前記映像の輝度、色、コントラスト、大きさおよび位置の少なくとも一つの時間的変化または空間的変化に基づいて、前記誘目性を算出することを特徴とする車両用監視装置。
6. 請求項１〜５のいずれか一項に記載の車両用監視装置において、
   前記表示装置に表示された映像に対する運転者の視線方向を検出する視線検出装置をさらに備え、
   前記第２の算出手段は、前記視線検出装置で検出された視線方向を加味して前記誘目性を算出することを特徴とする車両用監視装置。
7. 請求項１〜６のいずれか一項に記載の車両用監視装置において、
   車両速度を検出する車速センサをさらに備え、
   前記第２の算出手段は、前記車両速度を加味して前記誘目性を算出することを特徴とする車両用監視装置。
8. 請求項７に記載の車両用監視装置において、
   前記第２の算出手段は、誘目性に対して予め設定された複数の車速影響パラメータから前記車両速度に応じた車速影響パラメータを一つ選択し、選択された車速影響パラメータを加味して前記誘目性を算出することを特徴とする車両用監視装置。
9. 請求項１〜８のいずれか一項に記載の車両用監視装置において、
   前記第２の算出手段は、運転者に加わるワークロードを加味して前記誘目性を算出することを特徴とする車両用監視装置。
10. 請求項９に記載の車両用監視装置において、
    前記ワークロードは、車両周囲の映像に基づいて検出された車両周囲状況に応じて算出されることを特徴とする車両用監視装置。
11. 請求項１〜１０のいずれか一項に記載の車両用監視装置において、
    前記収集手段により収集される情報は、前記対象物の位置および相対速度であることを特徴とする車両用監視装置。
12. 請求項１〜１１のいずれか一項に記載の車両用監視装置において、
    前記収集手段により収集される情報は、他車両との通信により取得される他車両情報であることを特徴とする車両用監視装置。