JP4961868B2 - 車両用監視装置 - Google Patents

Description

本発明は、運転者が車両の車両周辺の状況を監視するための車両用監視装置に関する。

次のような車両用周囲モニタ装置が、例えば特許文献１によって知られている。この装置は、運転者が車両の死角に存在する物体を把握できるように、車両の左右それぞれの方向を撮影した映像を提示する。

特開平１１−３３８０７４号公報

しかしながら、従来の装置では、運転者は、運転中などモニタに表示された映像を長時間注視できない状況下では、映像内に存在する物体を見落としてしまう可能性があった。

本発明に係る車両用監視装置は、車両の進行方向に対して左右方向を撮影する撮影手段と、前記撮像手段により撮影された映像に基づいて、運転者に提示するための監視対象映像を生成する監視対象映像生成手段と、前記監視対象映像生成手段で生成した前記監視対象映像に含まれる監視対象の運転者による認識性を向上させる事前表示映像を生成する事前表示映像生成手段と、前記事前表示映像生成手段で生成した前記事前表示映像を表示した後に、前記監視対象映像生成手段で生成した前記監視対象映像を表示する表示制御手段とを備え、前記事前表示映像は、前記監視対象映像に含まれる可能性がある監視対象の映像を含むことを特徴とする。
その他の本発明に係る車両用監視装置は、車両の進行方向に対して左右方向を撮影する撮影手段と、前記撮像手段により撮影された映像に基づいて、運転者に提示するための監視対象映像を生成する監視対象映像生成手段と、前記監視対象映像生成手段で生成した前記監視対象映像に含まれる監視対象の運転者による認識性を向上させる事前表示映像を生成する事前表示映像生成手段と、前記事前表示映像生成手段で生成した前記事前表示映像を表示した後に、前記監視対象映像生成手段で生成した前記監視対象映像を表示する表示制御手段とを備え、前記事前表示映像は、前記監視対象映像に含まれる可能性がある監視対象を抽象化した映像を含むことを特徴とする。

本発明によれば、事前表示映像を表示した後に監視対象映像を表示するようにしたので、運転者が監視対象映像を長時間注視できない場合でも、監視対象映像内に含まれる監視対象の認識性を向上させて、監視対象の見落としを防止することができる。

図１は、本実施の形態における車両用監視装置の一実施の形態の構成を示すブロック図である。車両用監視装置１００は、車両に搭載され、右カメラ１０１と、左カメラ１０２と、映像合成装置１０３と、道路地図記憶装置１０４と、映像生成装置１０５と、表示制御装置１０６と、表示装置１０７とを備えている。

右カメラ１０１および左カメラ１０２は、それぞれ車両のフロントバンパーの左右に、進行方向に対しおおむね８０度程度のヨー角の方向を撮影するようにそれぞれ取り付けられている。すなわち、右カメラ１０１は、車両前方の右側（右側方）を撮影するように設置されており、左カメラ１０２は、車両前方の左側（左側方）を撮影するように設置されている。右カメラ１０１および左カメラ１０２で撮影された映像は、映像合成装置１０３へ出力される。

映像合成装置１０３は、右カメラ１０１および左カメラ１０２から入力された映像を一つの監視映像に合成する。例えば、映像合成装置１０３は、図２に示すように、右カメラ１０１で撮影された映像を運転者が車両の右側方を撮影した映像であると識別できるように車両の右側の窓の形状にトリミングして右映像２ａを生成する。また、左カメラ１０２で撮影された映像を運転者が車両の左側を撮影した映像であると識別できるように、車両の左側の窓の形状にトリミングして左映像２ｂを生成する。そして、自車両を示す図形２ｃの両側に生成した右映像２ａと左映像２ｂとを配置して合成映像２ｄを生成する。

道路地図記憶装置１０４には、例えばハードディスクドライブ（ＨＤＤ）が用いられ、カーナビゲーションなどに用いられるものと同様の道路地図のデータが記録されている。この道路地図には、道路に関する情報として、道路の位置、道路種別（国道、市道、など）、幅、一方通行などの規制の有無、制限速度、標準的な走行速度、および優先道路であるか否かなどの情報が記録されている。また、建物の存在、位置（座標）、および建物の外観情報などの建物に関する情報、湖・海・川などの地形情報、学校や駅などのランドマークの存在や位置などのランドマーク情報が記録されている。この他、特定の地点に対して、その地点で撮影された風景の写真または風景を描画した線画などを記憶していてもよい。

なお、道路地図のデータがＣＤ−ＲＯＭやＤＶＤ―ＲＯＭなどの記録媒体に記録されている場合には、道路地図記憶装置１０４としてこれらの記録媒体からデータを読み込むための読取装置、例えばＣＤドライブやＤＶＤドライブなどを用いてもよい。

映像生成装置１０５は、道路地図記憶装置１０４から読み込んだ地図データ、車両に搭載された車速センサから入力される車速信号、車両に搭載された時計から入力される時刻信号、およびＧＰＳセンサから入力される自車位置信号などの種々の信号に基づいて、後述するプライム映像（事前表示映像）を生成する。

ここで、プライム映像とは、映像合成装置１０３によって合成された合成映像２ｄを監視対象映像とした場合に、運転者にこの監視対象映像を見せる前にプライム映像を見せておくことによって、後に表示される監視対象映像に含まれる対象物の認識性をアップさせる効果がある映像をいう。このプライム映像を運転者に提示した後に監視対象映像を表示した場合には、何の情報も提示しないで監視対象映像を表示した場合と比較して、運転者による監視対象映像内に含まれる対象物の認識率が２〜３倍に向上することが知られている。換言すれば、予め使用者にプライム映像を提示しておくことによって、何の情報も提示しないで監視対象映像を表示した場合よりも、運転者が映像内に含まれる対象物を認識するために要する時間（認知時間）を短縮することができる。

本実施の形態における車両用監視装置１００では、このことを加味して、監視対象映像を表示する前にこのプライム映像を数秒程度表示することによって、運転者が運転中に長時間映像を注視することができない場合であっても、監視対象映像に含まれる対象物を十分に認識することができるようにする。なお、この効果は、運転者に対して事前にどのような監視対象に注意すべきかを提示しておくことによって得ることができる。このとき、１００％同じものを事前に表示しなくても、例えばジャンルが一致するもの、同じ対象物を回転したもの、スケールが異なるものを表示した場合にも同様の効果を得ることができる。また、対象物の予想される動きを予め提示した場合にも同様の効果を得ることができる。

さらに、人間の視覚認知処理は、目で映像をとらえた場合に、大まかな情報から細かい情報へと時間的順番で処理されることも知られている。このため、例えば、監視対象映像に含まれる背景、例えば建物の配置など事前に提示したり、対象物が出現する可能性が高い範囲を事前に提示することによって、運転者は監視対象映像の概要を事前に理解することができる。この場合にも実際に監視対象映像を提示したときの大まかな情報の理解に必要な時間を短縮することができ、結果として監視対象映像の認知に要する時間を短縮することができる。

本実施の形態では、映像生成装置１０５は、運転者による監視対象映像に含まれる監視対象の認識性を向上させて、監視対象映像の認知時間を短縮するために、以下の（ａ）〜（ｅ）の５パターンのプライム映像を生成する場合について説明する。なお、（ａ）〜（ｅ）で説明するプライム映像のうち、いずれのプライム映像を生成するかは、運転者によってあらかじめ選択されていてもよく、あるいは映像生成装置１０５が任意に選択するようにしてもよい。

（ａ）合成映像２ｄに含まれる可能性がある監視対象を図（写真または絵）で表したプライム映像、（ｂ）合成映像２ｄに含まれる可能性がある監視対象を抽象化して表したプライム映像、（ｃ）合成映像２ｄに含まれる背景を表示したプライム映像、（ｄ）合成映像２ｄに含まれる可能性がある監視対象の動きを表したプライム映像、（ｅ）合成映像２ｄ内で監視対象が出現する可能性が高い領域を示したプライム映像。

なお、（ａ）、（ｂ）、（ｃ）および（ｅ）における監視対象とは、例えば歩行者や他車両などの運転者が運転中に注意を向ける必要がある対象物をいい、（ｄ）における背景とは、例えば壁や建物などの構造物をいう。

本実施の形態では、映像生成装置１０５は、（ａ）〜（ｅ）のいずれのパターンでプライム映像を生成する場合でも、合成映像２ｄと同じ表示形態でプライム映像を生成する。例えば図３に示すように、右映像２ａに対応し、車両の右側の窓の形状で示した右プライム映像３ａ、左映像２ｂに対応し、車両の左側の窓の形状で示した左プライム映像３ｂ、および自車両を示す図形３ｃとを配置したプライム映像３ｄを生成する。

以下、（ａ）〜（ｅ）の各パターンごとに、映像合成装置１０３によるプライム映像の生成処理について説明する。なお、以下の説明においては、いずれも監視対象映像は合成映像２ｄであるものとし、運転者による合成映像２ｄの認識性を向上させるためのプライム映像を生成する場合について説明する。

（ａ）合成映像２ｄに含まれる可能性がある監視対象を図（写真または絵）で表したプライム映像
このプライム映像は、運転者に対して事前にどのような監視対象に注意すべきかを提示するための映像である。このようなプライム映像を生成する場合には、映像生成装置１０５は、まず、ＧＰＳセンサから取得した自車位置周辺の地図データを道路地図記憶装置１０４から読み込む。そして、地図データに含まれる道路に関する情報に基づいて、合成映像２ｄにおける右映像２ａと左映像２ｂのそれぞれに含まれる可能性がある監視対象を判定する。ここでは、映像生成装置１０５が、道路に関する情報に基づいて、車両の前方で右側方に延在している道路、および車両の前方で左側方に延在している道路が存在し、これらの道路がともに一方通行であり、他車両が走行して来るのは左側方の道路からだけであると判定した場合の処理について説明する。

この場合には、左側方の道路からは自動車と歩行者とが進入してくる可能性があるが、右側方の道路からは歩行者しか進入してくる可能性がないことから、映像生成装置１０５は、右映像２ａには、監視対象として歩行者のみが含まれる可能性があり、左映像２ｂには、監視対象として自動車と歩行者とが含まれる可能性があると判定する。そして、映像生成装置１０５は、この判定結果に基づいてプライム映像を生成する。

すなわち、図３に示すように、右映像２ａに含まれる可能性がある歩行者を示す図（絵や写真）を表示した右プライム映像３ａを生成する。また、左映像２ｂに含まれる可能性がある自動車を示す図と歩行者を示す図とを表示した左プライム映像３ｂを生成する。そして、右プライム映像３ａ、左プライム映像３ｂ、および自車両を示す図形３ｃを配置したプライム映像３ｄを生成する。

このとき、映像生成装置１０５は、道路に関する情報に基づいて右側方の道路の先には学校が存在することも検出した場合には、右側方の道路から子供が進入してくる可能性が高いことを示すために、右プライム映像３ａ内に表示する歩行者の図を子供の図に変更するようにしてもよい。さらに、右側方の道路や左側方の道路から、自転車やバイクも進入してくる可能性がある場合には、自転車やバイクの図も一緒に表示するようにしてもよい。

また、映像生成装置１０５は、現在の時刻を取得し、現在の時刻を反映したプライム映像３ｄを生成するようにしてもよい。すなわち、監視対象の色や明るさを現在の時刻のイメージにマッチしたものに変化させてもよい。例えば、現在が夜間であれば符号３ｅに示すように自動車を示す図を濃い色で表示し、現在が日中であれば符号３ｆに示すように自動車を示す図を薄い色で表示し、現在が朝であれば符号３ｇに示すように自動車を示す図を白で表示するようにしてもよい。

（ｂ）合成映像２ｄに含まれる可能性がある監視対象を抽象化して表したプライム映像
このプライム映像は、運転者に対して事前にどのような監視対象に注意すべきかを提示するための映像であり、上述したように、必ずしも監視対象と１００％同じものを事前に提示しなくてもプライム映像としての効果があることを加味して、監視対象を抽象化して提示するための映像である。

このプライム映像は、（ａ）で上述したプライム映像において、右プライム映像３ａおよび左プライム映像３ｂ内に表示する監視対象を示す図を抽象化して表したものである。すなわち、映像生成装置１０５は、図４に示すように右プライム映像３ａに表示する歩行者を示す図と、左プライム映像３ｂに表示する自動車および歩行者を示す図とを抽象化してプライム映像３ｄを生成する。

（ｃ）合成映像２ｄに含まれる背景を表示したプライム映像
このプライム映像は、上述したように、人間の視覚認知処理は、目で映像をとらえた場合に、大まかな情報から細かい情報へと時間的順番で処理されることを加味して、運転者に監視対象映像の概要を事前に理解させるための映像である。なお、ここでは、合成映像２ｄに含まれる背景として、建物と壁を表示したプライム映像を生成する場合について説明するが、その他の構造物を表示するようにしてもよい。

映像生成装置１０５は、まず、ＧＰＳセンサから取得した自車位置周辺の地図データを道路地図記憶装置１０４から読み込む。そして、地図データに含まれる建物に関する情報に基づいて、合成映像２ｄにおける右映像２ａと左映像２ｂのそれぞれに含まれる背景の映像を生成する。すなわち、建物や壁の座標や外観情報に基づいて、右映像２ａ、および左映像２ｂに含まれている建物や壁の図形を背景の図形として描画する。そして、映像生成装置１０５は、例えば図５に示すように、右映像２ａに含まれる背景の図形を表示した右プライム映像３ａ、および左映像２ｂに含まれる背景の図形を表示した左プライム映像３ｂ、および自車両を示す図形３ｃを配置したプライム映像３ｄを生成する。

なお、ここでは、地図データに含まれる建物に関する情報に基づいて、合成映像２ｄにおける右映像２ａと左映像２ｂのそれぞれに含まれる建物や壁の図形を描画する例について説明したが、あらかじめ背景の写真を撮影しておき、その写真をそのまま用いてもよい。

また、映像生成装置１０５は、現在の時刻を取得し、現在の時刻を反映したプライム映像３ｄを生成するようにしてもよい。すなわち、背景の表示色が現在の時刻において実際に見える色や明るさになるように変化させてもよい。例えば、現在が夜間である場合には、図６に示すように、右プライム映像３ａに表示する建物の色、および左プライム映像３ｂに表示する建物の色を夜間に実際に見える色および明るさとなるように変化させる。なお、夜間に実際に見える色および明るさに変化させるためには、時刻に応じた表示色を演算によって決定して着色してもよく、あらかじめ各時刻で撮影した写真をそのまま用いて表示するようにしてもよい。

（ｄ）合成映像２ｄに含まれる可能性がある監視対象の動きを表したプライム映像
このプライム映像は、上述したように、監視対象の予想される動きを予め提示した場合でもプライム映像としての効果を得ることができることを加味して、監視対象の動きを予想して、その予想した動きを運転者が認識できる表示形式に変換して提示するための映像である。

映像生成装置１０５は、まず、ＧＰＳセンサから取得した自車位置周辺の地図データを道路地図記憶装置１０４から読み込む。そして、地図データに含まれる道路に関する情報に基づいて、合成映像２ｄにおける右映像２ａに含まれる右側方の道路、および左映像２ｂに含まれる右側方の道路のどちらが優先道路であるか、またそれぞれの道路の道路種別、制限速度、道幅を判定する。この判定結果に基づいて、各道路から自動車が進入してくる場合の速度を予測する。なお、車両が道路の渋滞情報を取得するための渋滞情報取得装置を備えている場合には、取得した渋滞情報も加味して各道路から進入してくる自動車の速度を予測するようにしてもよい。

さらに映像生成装置１０５は、各道路の車両の進行方向を判定し、車両の進行方向と予測した速度とに基づいて、各道路から進入してくる自動車の動きをベクトルで表したプライム映像を生成する。このとき、映像生成装置１０５は、歩行者の一般的な歩行速度に基づいて、各道路から進入してくる歩行者の動きをベクトルで表してプライム映像上に表示する。すなわち、進入してくる自動車または歩行者の動きを、それぞれが動く方向を矢印で表し、進入速度の大きさを矢印の長さで示したベクトルに変換して表示する。

図７は、合成映像２ｄに含まれる可能性がある監視対象の動きを表したプライム映像の具体例を示す図である。この図７は、（ａ）で上述した場合と同様に、車両の右側方に延在している道路、および車両の左側方に延在している道路がともに一方通行であり、他車両が走行して来るのは左側方の道路からだけであるが、歩行者はいずれの道路からも進入してくる場合の具体例を示している。また、この図７に示す例では、自動車の動きを実線矢印で示し、歩行者の動きを破線矢印で示している。

すなわち、図７においては、映像生成装置１０５は、右映像２ａに含まれる可能性がある歩行者の動きをベクトルで表した右プライム映像３ａを生成し、左映像２ｂに含まれる可能性がある自動車と歩行者のそれぞれの動きをベクトルで表した左プライム映像３ｂを生成している。そして、右プライム映像３ａ、左プライム映像３ｂ。および自車両を示す図形３ｃを配置してプライム映像３ｄを生成している。

（ｅ）合成映像２ｄ内で監視対象が出現する可能性が高い領域を示したプライム映像
このプライム映像は、上述したように、監視対象が出現する可能性が高い範囲を予め提示した場合でもプライム映像としての効果を得ることができることを加味して、合成映像２ｄにおける右映像２ａおよび左映像２ｂ内で監視対象が出現する可能性が高い範囲を判定して、その領域を提示するための映像である。

映像生成装置１０５は、（ａ）、（ｂ）、または（ｄ）で上述した方法により、合成映像２ｄにおける右映像２ａに含まれる右側方の道路、および左映像２ｂに含まれる右側方の道路のうち自動車や歩行者が進入してくる可能性がある道路を特定する。そして、右映像２ａおよび左映像２ｂのそれぞれの中で、監視対象が進入してくる可能性がある道路（路面）を含む領域を特定する。例えば、映像内から（ｃ）で上述した方法によって検出した背景が含まれる領域を排除することによって、道路を含む領域を特定する。

そして、映像生成装置１０５は、特定した道路を含む領域を四角形の枠で囲んで表示したプライム映像を生成する。例えば、図８に示すように、右映像２ａにおける道路を含む領域８ａを表示した右プライム映像３ａ、左映像２ｂにおける道路を含む領域８ｂを表示した左プライム映像３ｂ、および自車両を示す図形３ｃを配置したプライム映像３ｄを生成する。

表示制御装置１０６は、運転者からの操作に応じて表示装置１０７のオン・オフを切り替えたり、表示装置１０７への表示内容を制御する。なお、表示装置１０７は、例えば液晶モニタなどが用いられ、車両がナビゲーション装置やテレビを搭載している場合には、ナビ画面やテレビ画面を表示することができる。また、映像合成装置１０３により生成された合成映像２ｄ（監視対象映像）や、映像生成装置１０５によって生成された（ａ）〜（ｅ）のいずれかのプライム映像も切り替えて表示することができる。

表示制御装置１０６は、自車両が、運転者が監視対象に対する注意が必要な交差点に接近したことを検出した場合には、交差点における左右方向の映像を運転者に提供するために、映像合成装置１０３で合成された合成映像２ｄを監視対象映像として表示装置１０７へ表示する。なお、表示制御装置１０６は、運転者によって監視対象映像への自動切換えモードが設定されているときのみ監視対象映像の表示を行うようにしてもよい。また、交差点への接近状況に関係なく、運転者からの指示に基づいて監視対象映像を表示するようにしてもよい。

監視対象映像を表示するに当たっては、上述したように、予めプライム映像を数秒程度表示することによって、運転者による監視対象映像内に含まれる対象物（監視対象）の認識率が２〜３倍に向上する。したがって、表示制御装置１０６は、合成映像２ｄを監視対象映像として表示する前に、数秒程度プライム映像を表示するように、表示装置１０７への表示を制御する。具体的には次のように処理する。

表示制御装置１０６は、ＧＰＳセンサから取得した自車位置周辺の地図データを道路地図記憶装置１０４から読み込む。そして、地図データに含まれる道路に関する情報に基づいて、走行先に存在する最も近い交差点までの距離を算出する。また、車速センサからの出力に基づいて、自車両の車速を検出する。そして、表示制御装置１０６は、自車位置から交差点までの距離が所定距離以下、例えば３０ｍ以下になり、かつ自車両の車速が所定速度以下、例えば４０ｋｍ/ｈ以下になったときに、自車両は運転者が監視対象に対する注意が必要な交差点に接近したことを検出し、プライム映像の表示条件が満たされたと判定する。表示制御装置１０６は、プライム映像の表示条件が満たされたと判定した場合に、映像生成装置１０５によって生成されたプライム映像を表示装置１０７に表示する。

表示制御装置１０６は、その後、自車位置から交差点までの距離の算出と自車両の車速の検出を継続する。そして、表示制御装置１０６は、自車両がさらに交差点に接近したタイミングで監視対象映像を表示装置１０７に表示する。例えば、表示制御装置１０６は、自車位置から交差点までの距離が３ｍ以下になり、かつ自車両の車速が１０ｋｍ/ｈ以下になったときに、監視対象映像の表示条件が満たされたと判定する。そして、表示制御装置１０６は、監視対象映像の表示条件が満たされたと判定した場合に、映像合成装置１０３で合成された合成映像２ｄを監視対象映像として表示装置１０７へ表示する。

これによって、運転者が監視対象に対する注意が必要な交差点に接近したときに、あらかじめプライム映像を表示した後に監視対象映像を表示することができ、監視対象映像に含まれる監視対象への運転者の認識性を向上することができる。換言すれば、運転者は運転中に表示装置１０７の表示内容を長時間注視することができない場合であっても、プライム映像を見てから監視対象映像を見ることによって、短時間の間に監視対象映像に含まれる注意が必要な監視対象を認識することができ、安全性が向上する。

図９は、本実施の形態における車両用監視装置１００の処理を示すフローチャートである。図９に示す処理は、車両のイグニションスイッチがオンされることにより、車両用監視装置１００の電源がオンされると起動する処理として実行される。

ステップＳ１０において、映像合成装置１０３は、上述したように、右カメラ１０１および左カメラ１０２から入力された映像の合成を開始する。その後、ステップＳ２０において、映像生成装置１０５は、上述した（ａ）〜（ｅ）の内、運転者によって選択されているいずれかのプライム映像の生成を開始する。その後、ステップＳ３０へ進む。

ステップＳ３０では、表示制御装置１０６は、運転者によって不図示の映像ソース選択スイッチが操作され、信号が入力されたか否かを判断する。スイッチ信号が入力されたと判断した場合には、ステップＳ４０へ進む。ステップＳ４０では、運転者によるスイッチ操作に応じた映像ソース、例えばナビ画面やテレビ画面へ表示装置１０７の表示内容を切り替え、ステップＳ３０へ戻る。これに対して、スイッチ信号が入力されていないと判断した場合には、ステップＳ５０へ進む。

ステップＳ５０では、表示制御装置１０６は、上述したプライム映像の表示条件が満たされているか否かを判断する。プライム映像の表示条件が満たされていると判断した場合には、ステップＳ６０へ進む。ステップＳ６０では、表示制御装置１０６は、表示装置１０７にプライム映像を表示してステップＳ５０へ戻る。これに対して、プライム映像の表示条件が満たされていないと判断した場合には、ステップＳ７０へ進む。

ステップＳ７０では、表示制御装置１０６は、上述した監視対象映像の表示条件が満たされているか否かを判断する。監視対象映像の表示条件が満たされていると判断した場合には、ステップＳ８０へ進む。ステップＳ８０では、表示制御装置１０６は、表示装置１０７に監視対象映像を表示してステップＳ７０へ戻る。これに対して、監視対象映像の表示条件が満たされていないと判断した場合には、ステップＳ９０へ進む。

ステップＳ９０では、車両のイグニションスイッチがオフされたか否かを判断する。オフされていないと判断した場合には、ステップＳ３０へ戻って処理を繰り返す。これに対してオフされたと判断した場合には、ステップＳ１００へ進む。ステップＳ１００では、映像生成装置１０５は、プライム映像の生成を終了してステップＳ１１０へ進む。ステップＳ１１０では、映像合成装置１０３は、右カメラ１０１および左カメラ１０２から入力される映像の合成を終了して、処理を終了する。

以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）監視対象映像を表示する前に、運転者にプライム映像を提示するようにした。これによって、監視対象映像に含まれる監視対象への運転者の認識性を向上することができ、運転者が監視対象を見落とすことを防止することができる。

（２）運転者が監視対象に対する注意が必要な交差点に接近したときに、プライム映像を表示した後に監視対象映像を表示するようにした。これによって、交差点においては、交差する道路から進入してくる自動車や歩行者など、注意の必要な監視対象が存在する可能性が高くなるが、このような監視対象を短時間の間に認識して安全に運転を行うことができるようになる。また、運転者は運転中は表示装置１０７の表示内容を長時間注視することができないが、このような場合であっても短時間の間に監視対象映像に含まれる注意が必要な監視対象を認識することができる。

（３）合成映像２ｄに含まれる可能性がある監視対象を図で表したプライム映像、合成映像２ｄに含まれる可能性がある監視対象を抽象化して表したプライム映像、または合成映像２ｄに含まれる可能性がある監視対象の動きを表したプライム映像を生成して運転者に提示するようにした。これによって、運転者に対して事前にどのような監視対象に注意すべきかを提示することができる。

（４）合成映像２ｄに含まれる背景を表示したプライム映像、または合成映像２ｄ内で監視対象が出現する可能性が高い領域を示したプライム映像を生成して運転者に提示するようにした。これによって、人間の視覚認知処理は、目で映像をとらえた場合に、大まかな情報から細かい情報へと時間的順番で処理されることを加味して、運転者に監視対象映像の概要を事前に理解させることができる。

（５）車両の現在位置に応じて読み込まれる地図データの道路に関する情報に基づいて、右側方の道路または左側方の道路から進入してくる可能性がある監視対象を判定するようにし、判定した監視対象に応じた図を表示したプライム映像を生成するようにした。すなわち、監視対象は自車両の現在位置に応じて決定するようにした。これによって、車両の現在位置に応じて、実際の周辺環境に則したプライム映像を生成することができ、このようなプライム映像を事前に提示することによって運転者による監視対象の視認性をさらに向上させることができる。

（６）プライム映像を生成するに当たっては、監視対象の表示色や明るさを、現在の時刻のイメージにマッチしたものとなるように、また現在の時刻において実際に見えるものと一致するように変化させるようにした。これによって、プライム映像に含める監視対象や背景の表示色や明るさを、現在の時刻を反映したものとすることができ、このようなプライム映像を事前に提示することによって運転者による監視対象の視認性をさらに向上させることができる。

―変形例―
なお、上述した実施の形態の車両用監視装置は、以下のように変形することもできる。
（１）上述した実施の形態では、表示制御装置１０６は、自車両が、運転者が監視対象に対する注意が必要な交差点に接近したことを検出した場合に、プライム映像および監視対象映像を表示装置１０７へ表示する例について説明した。しかしながら、表示制御装置１０６は、運転者の運転負荷が高いときには、運転者は表示装置１０７を見る余裕がないことを加味して、このような場合には表示装置１０７への表示を行わず、運転者の運転負荷が低いときのみプライム映像および監視対象映像を表示装置１０７へ表示するようにしてもよい。すなわち、表示制御装置１０６は、プライム映像の表示条件が満たされたと判定したとき、および監視対象映像の表示条件が満たされたと判定したときには運転者の運転負荷を推定するようにし、運転者の運転負荷が低いと推定した場合のみ、プライム映像および監視対象映像を表示装置１０７へ表示する。これによって、運転者が表示装置１０７を見る余裕がないときには、表示装置１０７への表示を行わないようにし、安全性を向上することができる。また、表示装置１０７への表示を運転者が表示装置１０７を見る余裕がある場合のみに限定することによって、処理の負荷を低減することもできる。

なお、運転者の運転負荷を推定する方法としては、次のようなものが考えられる。
（推定方法１）車両に、前方を走行している他車両との間の車間距離、および自車両と他車両との相対速度を検出するセンサを搭載しておき、自車両の前方に他車両が存在しており、かつ当該他車両との間の車間距離、および相対速度に基づいて、自車両が他車両に衝突、または急接近する可能性がある場合には、運転者の運転負荷は高いと判定する。一方、この条件に該当しないときには、運転者の運転負荷は低いと判定する。

（推定方法２）運転者の顔を撮影するカメラと、この車内カメラで撮影した映像に基づいて運転者の視線移動を認識する装置とを車両に搭載し、交差点の手前で運転者の視線が前方を見たまま移動しない場合には、運転者の運転負荷は高いと判定する。一方、交差点の手前で運転者が表示装置１０７を見ようとして視線を移動させた場合には、運転者の運転負荷は低いと判定する。

（２）上述した実施の形態では、映像生成装置１０５は、図３〜図８に示したように、合成映像２ｄと同じ表示形態でプライム映像を生成する例について説明した。しかしながら、運転者がプライム映像と監視対象映像の区別がつくように、プライム映像の表示形態を監視対象映像の表示形態と異なるものにしてもよい。例えば、図６に示したプライム映像３ｄにおいては、図１０に示すように、右プライム映像３ａおよび左プライム映像３ｂの形状を車窓の形状ではなく正方形または長方形とし、さらにそれぞれの周囲を枠１０ａで囲むようにする。また、プライム映像３ｄ内に自車両を示す図形３ｃを表示しないようにする。これによって、運転者は右プライム映像３ａおよび左プライム映像３ｂとして表示した映像が右カメラ１０１や左カメラ１０２によって実際に撮影された映像ではなく、背景を描画した図形、またはあらかじめ撮影した背景の写真であることを判別することができ、プライム映像とその後に表示される監視対象映像とを明確に区別することができる。

（３）上述した実施の形態では、車両用監視装置１００は車両に搭載される例について説明した。しかしこれに限定されず、車両用監視装置１００をその他の移動体に搭載するようにしてもよい。

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。

特許請求の範囲の構成要素と実施の形態との対応関係について説明する。右カメラ１０１および左カメラ１０２は撮影手段に、映像合成装置１０３は監視対象映像生成手段に相当する。映像生成装置１０５は事前表示映像生成手段に、表示制御装置１０６は表示制御手段および推定手段に相当する。なお、以上の説明はあくまでも一例であり、発明を解釈する際、上記の実施形態の記載事項と特許請求の範囲の記載事項の対応関係に何ら限定も拘束もされない。

車両用監視装置の一実施の形態の構成を示すブロック図である。 監視対象映像の具体例を示す図である。 プライム映像の具体例を示す第１の図である。 プライム映像の具体例を示す第２の図である。 プライム映像の具体例を示す第３の図である。 プライム映像の具体例を示す第４の図である。 プライム映像の具体例を示す第５の図である。 プライム映像の具体例を示す第６の図である。 車両用監視装置１００の処理を示すフローチャート図である。 プライム映像の具体例を示す第７の図である。

符号の説明

１００ 車両用監視装置
１０１ 右カメラ
１０２ 左カメラ
１０３ 映像合成装置
１０４ 道路地図記憶装置
１０５ 映像生成装置
１０６ 表示制御装置
１０７ 表示装置

Claims (10)

1. 車両の進行方向に対して左右方向を撮影する撮影手段と、
   前記撮像手段により撮影された映像に基づいて、運転者に提示するための監視対象映像を生成する監視対象映像生成手段と、
   前記監視対象映像生成手段で生成した前記監視対象映像に含まれる監視対象の運転者による認識性を向上させる事前表示映像を生成する事前表示映像生成手段と、
   前記事前表示映像生成手段で生成した前記事前表示映像を表示した後に、前記監視対象映像生成手段で生成した前記監視対象映像を表示する表示制御手段とを備え、
   前記事前表示映像は、前記監視対象映像に含まれる可能性がある監視対象の映像を含むことを特徴とする車両用監視装置。
2. 車両の進行方向に対して左右方向を撮影する撮影手段と、
   前記撮像手段により撮影された映像に基づいて、運転者に提示するための監視対象映像を生成する監視対象映像生成手段と、
   前記監視対象映像生成手段で生成した前記監視対象映像に含まれる監視対象の運転者による認識性を向上させる事前表示映像を生成する事前表示映像生成手段と、
   前記事前表示映像生成手段で生成した前記事前表示映像を表示した後に、前記監視対象映像生成手段で生成した前記監視対象映像を表示する表示制御手段とを備え、
   前記事前表示映像は、前記監視対象映像に含まれる可能性がある監視対象を抽象化した映像を含むことを特徴とする車両用監視装置。
3. 請求項１または２に記載の車両用監視装置において、
   前記監視対象映像に含まれる可能性がある監視対象は、車両の現在位置に応じて決定されることを特徴とする車両用監視装置。
4. 請求項１〜３のいずれか一項に記載の車両用監視装置において、
   前記事前表示映像は、前記監視対象映像に含まれる背景の映像を含むことを特徴とする車両用監視装置。
5. 請求項１〜４のいずれか一項に記載の車両用監視装置において、
   前記事前表示映像生成手段は、現在時刻に応じて、前記事前表示映像内に含む前記監視対象または前記背景の色および／または明るさを変化させることを特徴とする車両用監視装置。
6. 請求項１〜５のいずれか一項に記載の車両用監視装置において、
   前記事前表示映像は、前記監視対象映像内で前記監視対象が出現する可能性が高い領域を表示した映像を含むことを特徴とする車両用監視装置。
7. 請求項１〜６のいずれか一項に記載の車両用監視装置において、
   前記事前表示映像は、前記監視対象映像内に含まれる監視対象の予測される動きを表示した映像を含むことを特徴とする車両用監視装置。
8. 請求項１〜７のいずれか一項に記載の車両用監視装置において、
   前記表示制御手段は、車両が交差点へ接近したことを検出したときに、前記事前表示映像および前記監視対象映像を表示することを特徴とする車両用監視装置。
9. 請求項８に記載の車両用監視装置において、
   前記表示制御手段は、自車位置から交差点までの距離が所定の距離以下となり、かつ車両の車速が所定速度以下になったときに、車両が交差点へ接近したことを検出することを特徴とする車両用監視装置。
10. 請求項１〜９のいずれか一項に記載の車両用監視装置において、
    運転者の運転負荷を推定する推定手段をさらに備え、
    前記表示制御手段は、前記推定手段によって運転者の運転負荷が低いと推定された場合のみ、前記事前表示映像および前記監視対象映像を表示することを特徴とする車両用監視装置。
    

Images