JP4401890B2 - 車両の認知支援装置 - Google Patents

Description

本発明は、車両の認知支援装置に関する。

従来、例えばカメラやレーダにより自車両の外部に存在する物体を検知し、この検知結果に基づき、例えばフロントウィンドシールド上や運転者の頭部に装着した透過型液晶表示装置において、運転者から見て物体に重畳する位置に輝点表示を行う情報表示装置が知られている（例えば、特許文献１参照）。
また、従来、例えば自車両の運転者の死角領域を撮影し、この死角領域の撮影画像を表示装置に表示すると共に、警報音の出力や警報情報を表示装置に重畳することで、死角領域の撮影画像に対して運転者の注意を喚起する車両周辺監視装置が知られている（例えば、特許文献２参照）。
特開平１０−２４６６４０号公報 特開２００１−１８７１７号公報

ところで、上記従来技術に係る装置においては、単に、運転者の視線位置が自車両の外部の物体や死角領域に無い場合に、運転者の注意を促す輝点表示や警報出力を行うだけでは、例えば相対的に交通量の多い走行路等において過剰な輝点表示や警報出力が実行されてしまう虞がある。また、フロントウィンドシールド上や表示画面上において、自車両に対して障害物となりうる物体の周辺位置に輝点表示を行うだけでは、例えば運転者の視線方向に沿って重畳するようにして複数の物体が存在する場合に、これらの複数の物体に対して輝点表示が行われることになり、複数の物体の何れが自車両に対して危険度が高いかを運転者に瞬時に認識させることができないという問題が生じる。
本発明は上記事情に鑑みてなされたもので、自車両に対して相対的に危険度の高い物体の存在を運転者に適切に認識させることが可能な車両の認知支援装置を提供することを目的とする。

上記課題を解決して係る目的を達成するために、請求項１に記載の本発明の車両の認知支援装置は、自車両の外部を撮影する撮影手段（例えば、実施の形態での外界撮影カメラ１２ａ）と、自車両の内部に設けられた表示装置（例えば、実施の形態での前方表示装置１５、後方表示装置１６）と、前記撮影手段の撮影により得られる撮影画像を前記表示装置に表示する車両の認知支援装置であって、前記撮影手段の撮影により得られる撮影画像から対象物を抽出する対象物抽出手段（例えば、実施の形態での対象物抽出部２１）と、前記対象物抽出手段にて抽出された対象物に対する視認性の難易度を判定する視認難易度判定手段（例えば、実施の形態での視認難易度判定部２５）と、前記対象物の自車両に対する危険度を判定する危険度判定手段（例えば、実施の形態での危険度判定部２８）と、前記対象物を拡大撮影あるいは撮影して得た前記対象物の画像を拡大可能な拡大画像取得手段（例えば、実施の形態での拡大画像取得部２２）と、前記撮影手段の撮影により得られる撮影画像に、前記拡大画像取得手段にて得られる拡大画像を合成する合成手段（例えば、実施の形態での合成画像生成部３０）とを備え、少なくとも、前記視認難易度判定手段にて判定される視認性の難度が所定値を超えた場合、または、前記危険度判定手段にて判定される危険度が所定値を超えた場合には、前記合成手段にて得られる合成画像を前記表示装置に表示することを特徴としている。

上記構成の車両の認知支援装置によれば、少なくとも、視認性の難度が所定値を超えた場合、または、危険度が所定値を超えた場合に、対象物抽出手段にて抽出された対象物の拡大画像を、撮影手段の撮影により得られる撮影画像に合成して表示することにより、運転者が対象物を見落としてしまったり、見間違えてしまうことを防止して、運転者による対象物の認知動作を的確に支援することができる。

さらに、請求項２に記載の本発明の車両の認知支援装置では、前記視認難易度判定手段は、前記撮影画像において、対象物と該対象物の周辺領域との間の照度または色彩のコントラスト、または、対象物と該対象物の周辺領域との間の輪郭部の画像であるエッジ画像の形状の複雑度に基づき、視認性の難易度を判定することを特徴としている。

上記構成の車両の認知支援装置によれば、例えば夜間走行時等において対象物と該対象物の周辺領域との間の照度または色彩のコントラストが相対的に低い場合や、例えば対象物が他の遮蔽物によって遮蔽されることで対象物の一部のみが検知されたり、例えば複数の対象物が互いに重なり合うようにして検知されることで、対象物と該対象物の周辺領域との間の輪郭部の画像であるエッジ画像の形状が複雑化する場合には、視認性の難度を増大させ、拡大画像を表示させ易く設定することで、運転者による対象物の認知動作を、より一層、的確に支援することができる。

さらに、請求項３に記載の本発明の車両の認知支援装置では、前記危険度判定手段は、自車両と対象物との相対速度に基づき、前記対象物の自車両に対する危険度を判定することを特徴としている。

上記構成の車両の認知支援装置によれば、例えば自車両と対象物との相対速度が増大することに伴い、対象物の自車両に対する危険度を増大させ、拡大画像を表示させ易く設定することで、運転者による対象物の認知動作を、より一層、的確に支援することができる。

さらに、請求項４に記載の本発明の車両の認知支援装置では、前記対象物が案内、警戒、規制、指示、補助等の各標識からなる道路標識であるか否かを判定する標識判定手段（例えば、実施の形態での標識判定部２４）を備え、該標識判定手段にて前記対象物が道路標識であると判定された場合には、前記合成手段にて得られる合成画像を所定時間に亘って前記表示装置に表示することを特徴としている。

上記構成の車両の認知支援装置によれば、例えば道路標識が複数の標識から構成される等によって、表示内容が複雑化している状態であっても、運転者が見間違えてしまうことを防止して、運転者による道路標識の認知動作を的確に支援することができる。

本発明の車両の認知支援装置によれば、対象物抽出手段にて抽出された対象物の拡大画像を、撮影手段の撮影により得られる撮影画像に合成して表示することにより、運転者が対象物を見落としてしまったり、見間違えてしまうことを防止して、運転者による対象物の認知動作を的確に支援することができる。
さらに、請求項２に記載の発明の車両の認知支援装置によれば、対象物と該対象物の周辺領域との間の照度または色彩のコントラストが相対的に低い場合や、対象物と該対象物の周辺領域との間の輪郭部の画像であるエッジ画像の形状が複雑化する場合には、視認性の難度を増大させ、拡大画像を表示させ易く設定することで、運転者による対象物の認知動作を、より一層、的確に支援することができる。
さらに、請求項３に記載の発明の車両の認知支援装置によれば、自車両と対象物との相対速度が増大することに伴い、対象物の自車両に対する危険度を増大させ、拡大画像を表示させ易く設定することで、運転者による対象物の認知動作を、より一層、的確に支援することができる。
さらに、請求項４に記載の発明の車両の認知支援装置によれば、運転者が道路標識を見間違えてしまうことを防止して、運転者による道路標識の認知動作を的確に支援することができる。

以下、本発明の一実施形態に係る車両の認知支援装置について添付図面を参照しながら説明する。
本実施の形態による車両の認知支援装置１０は、例えば図１に示すように、自車両の外界を検出するためにＣＰＵ等を含む電子回路により構成された処理装置１１と、外界センサ１２と、対象物センサ１３と、車両状態量センサ１４と、前方表示装置１５と、後方表示装置１６と、副表示装置１７と、方向センサ１８とを備えて構成されている。

外界センサ１２は、例えば可視光領域や赤外線領域にて撮像可能なＣＣＤカメラやＣ−ＭＯＳカメラ等からなる外界撮影カメラ１２ａおよび画像処理部１２ｂを備えて構成されている。
外界撮影カメラ１２ａは、例えばフロントウィンドウ越しに自車両の進行方向前方および側方の所定検知範囲の外界を撮影する前方撮影用のカメラや、例えばリアウィンドウ越しに自車両の進行方向後方および側方の所定検知範囲の外界を撮影する後方撮影用のカメラ等を備えて構成されている。
画像処理部１２ｂは、外界撮影カメラ１２ａにより撮影して得た撮影画像に対して、例えばフィルタリングや二値化処理等の所定の画像処理を行い、二次元配列の画素からなる画像データを生成して処理装置１１へ出力する。

対象物センサ１３は、例えば可視光領域や赤外線領域にて撮像可能なＣＣＤカメラやＣ−ＭＯＳカメラ等からなる対象物撮影カメラ１３ａおよび画像処理部１３ｂを備えて構成され、処理装置１１から入力される制御信号に応じて、検知範囲を変更可能であり、さらに、この検知範囲内の対象物を適宜の倍率で撮影可能である。
対象物撮影カメラ１３ａは、例えばフロントウィンドウやリアウィンドウ越しに自車両の外界に存在する適宜の対象物を撮影する。
画像処理部１３ｂは、対象物撮影カメラ１３ａにより撮影して得た撮影画像に対して、例えばフィルタリングや二値化処理等の所定の画像処理を行い、二次元配列の画素からなる画像データを生成して処理装置１１へ出力する。

車両状態量センサ１４は、例えば人工衛星を利用して自車両の位置を測定するためのＧＰＳ（Global Positioning Systems）信号等の測位信号や自車両の外部の情報発信装置から発信される位置信号の受信や、例えば道路上に配置された基点マーカとの磁気作用等によって自車両の現在位置を検知する位置センサや、自車両の走行状態に係る車両状態量を検出するセンサ、例えば車速センサ、舵角センサ等を備えて構成され、各装置およびセンサから出力される検出信号は処理装置１１へ出力されている。
なお、車速センサは、例えば車輪の回転速度等に基づいて所定の単位処理時間毎における車両移動距離つまり自車両の速度（車速）を検出し、舵角センサは、例えばステアリングシャフト（図示略）に設けられたロータリエンコーダ等からなり、運転者が入力した操舵角度の方向と大きさを検出する。ジャイロセンサは、水平面内での自車両の向きや鉛直方向に対する傾斜角度（例えば、車両重心の上下方向軸回りの回転角であるヨー角等）および傾斜角度の変化量（例えば、ヨーレート）等を検出する。

前方表示装置１５は、例えば図２に示すように、車室内のインストルメントパネルの上部に配置された液晶表示装置等であって、外界撮影カメラ１２ａの撮影により得られた画像データのうち、特に、自車両の進行方向前方および側方の所定検知範囲の外界の画像データを表示すると共に、後述するように、処理装置１１での制御処理に応じて対象物撮影カメラ１３ａの撮影により得られた画像データを表示する。
後方・側方表示装置１６は、例えば図２に示すように、ルーフパネル前方部の車室内側でルームミラー近傍の位置に配置された液晶表示装置等であって、外界撮影カメラ１２ａの撮影により得られた画像データのうち、特に、自車両の進行方向後方および側方の所定検知範囲の外界の画像データを表示すると共に、後述するように、処理装置１１での制御処理に応じて対象物撮影カメラ１３ａの撮影により得られた画像データを表示する。
なお、後方・側方表示装置１６には、例えば、運転者がルームミラーを介して自車両の後方を視認する状態と同等の状態を想定して、外界撮影カメラ１２ａの後方撮影用のカメラの撮影により得られた撮影画像に対して鏡映変換を行って得た画像が表示される。

副表示装置１７は、例えば図３に示すように、運転者Ｄの頭部に装着可能なヘッドセット１９の先端部に配置された液晶表示装置等であって、後述するように、外界撮影カメラ１２ａの撮影により得られた画像データのうち、処理装置１１にて切り出された切出画像を表示する。
そして、ヘッドセット１９には、例えばジャイロセンサ等からなる方向センサ１８が備えられ、方向センサ１８から出力される検出信号は処理装置１１へ出力されている。この検出信号は、ヘッドセット１９を装着した運転者Ｄの頭部の向きを検知する処理において利用される。

処理装置１１は、対象物抽出部２１と、拡大画像取得部２２と、対象物画像切出部２３と、標識判定部２４と、視認難易度判定部２５と、自車両移動状態算出部２６と、対象物移動状態算出部２７と、危険度判定部２８と、対象物方向算出部２９と、合成画像生成部３０と、画像表示制御部３１と、切出画像表示制御部３２とを備えて構成されている。

対象物抽出部２１は、外界センサ１２から入力される画像データに対して、例えば他車両や歩行者や標識等を検知対象物とした特徴量算出および形状判別等の認識処理を行う。
なお、画像データの認識処理において、特徴量算出の処理では、例えば二値化処理後の画像データに対して、画素の連続性に基づく検知対象物の抽出およびラベリングを行い、抽出した検知対象物の重心および面積および外接四角形の縦横比等を算出する。また、形状判別の処理では、例えば予め記憶している所定パターン（例えば輪郭等）に基づき画像データ上の検索を行い、所定パターンとの類似性に応じて検知対象物を抽出する。

拡大画像取得部２２は、対象物抽出部２１にて抽出された対象物の拡大画像を取得するようにして、対象物センサ１３の対象物撮影カメラ１３ａの撮影方向および撮影倍率を指示する制御信号を対象物センサ１３へ出力し、対象物撮影カメラ１３ａの撮影により得られた画像データ、つまり対象物の拡大画像を取得し、画像表示制御部３１へ出力する。
対象物画像切出部２３は、対象物抽出部２１にて抽出された対象物の画像を外界センサ１２から入力される画像データから切り出して切出画像を生成し、切出画像表示制御部３２へ出力する。

標識判定部２４は、対象物抽出部２１にて抽出された対象物が、例えば案内、警戒、規制、指示、補助等の各標識からなる道路標識であるか否かを判定し、この判定結果を画像表示制御部３１へ出力する。
視認難易度判定部２５は、外界センサ１２から入力される画像データにおいて、照度や色彩のコントラストを検知したり、対象物抽出部２１にて抽出された対象物と対象物の周辺領域との間の輪郭部のエッジ画像の形状の複雑度を検知し、これらの検知結果に応じて視認性の難易度を算出する。
例えば、視認難易度判定部２５は、照度や色彩のコントラストが低下することに伴い、あるいは、エッジ画像の形状の複雑度が増大することに伴い、視認性の難度が増大傾向に変化するように設定する。そして、視認難易度判定部２５は、算出した視認性の難度が、所定難度を超えているか否かを判定し、この判定結果を画像表示制御部３１へ出力する。

自車両移動状態算出部２６は、車両状態量センサ１４から出力される測位信号に基づく算出処理や、車両状態量センサ１４の車速センサおよびジャイロセンサから出力される検出信号に基づく自律航法の算出処理によって自車両の現在位置を算出する。さらに、自車両移動状態算出部２６は、車両状態量センサ１４の車速センサおよびジャイロセンサから出力される検出信号（例えば、車速およびヨーレート等）に基づき、自車両の進行軌跡を推定し、危険度判定部２８へ出力する。
対象物移動状態算出部２７は、対象物抽出部２１にて抽出された対象物の画像データ内での位置の変化および自車両移動状態算出部２６にて算出された自車両の現在位置に基づき、対象物の移動状態として自車両に対する相対位置および相対速度を算出すると共に、対象物の進行軌跡を推定し、危険度判定部２８へ出力する。

危険度判定部２８は、自車両移動状態算出部２６から入力される自車両の現在位置や進行軌跡の推定値と、対象物移動状態算出部２７から入力される対象物の進行軌跡の推定値や相対位置や相対速度とに基づき、対象物が自車両の走行の支障となる度合、つまり危険度を算出する。例えば、危険度判定部２８は、対象物の相対速度が増大することに伴い、危険度が増大傾向に変化するように設定する。
そして、危険度判定部２８は、算出した危険度が所定危険度を超えているか否かを判定し、この判定結果を画像表示制御部３１および切出画像表示制御部３２へ出力する。

対象物方向算出部２９は、対象物抽出部２１にて抽出された対象物の画像データ内での位置に基づき、自車両から見た対象物の存在方向を算出し、切出画像表示制御部３２へ出力する。

合成画像生成部３０は、例えば画像表示制御部３１に具備され、外界センサ１２から入力される画像データに拡大画像取得部２２から入力される対象物の拡大画像を合成して合成画像を生成する。
例えば、図４に示すように、外界センサ１２から入力される自車両の進行方向前方の画像データＰにおいて対象物として、自車両の走行路Ｒを横断しようとしている歩行者Ａ１や、停車車両Ｃ１の陰から自車両の走行路Ｒ内へと侵入しようとしている歩行者Ａ２や、建造物Ｃ２の陰から自車両の走行路Ｒ内へと侵入しようとしている他車両Ａ３や、自車両の走行路Ｒの前方に配置された規制標識Ａ４や、自車両の走行路Ｒの前方に配置された案内標識Ａ５が抽出された場合、各対象物Ａ１，…，Ａ５の拡大画像Ｂ１，…，Ｂ５が画像データＰ内の適宜の位置、例えば走行路Ｒの認識に支障のない位置等に合成される。

そして、画像表示制御部３１は、少なくとも、視認難易度判定部２５にて算出した視認性の難度が所定難度を超えていると判定された場合、または、危険度判定部２８にて算出した危険度が所定危険度を超えていると判定された場合には、合成画像生成部３０にて生成された合成画像を前方表示装置１５または後方表示装置１６へ出力する。一方、視認難易度判定部２５にて算出した視認性の難度が所定難度以下であり、かつ、危険度判定部２８にて算出した危険度が所定危険度以下であると判定された場合には、外界センサ１２から入力される画像データのみを前方表示装置１５または後方表示装置１６へ出力する。

例えば、図４において、自車両に対して推定された進行軌跡αと、各対象物Ａ１，Ａ２，Ａ３に対して推定された進行軌跡β１，β２，β３とが交差する場合には、各対象物Ａ１，Ａ２，Ａ３に対して算出される危険度は所定危険度を超えることになり、また、例えば対象物Ａ１のように、夜間走行時等において、対象物の周辺領域に対する照度や色彩のコントラストが低い場合、あるいは、対象物Ａ２，Ａ３のように、他の物体により遮られることで歩行者や他車両等の対象物の形状の一部のみが検知され、輪郭部のエッジ画像の形状の複雑度が増大する場合には、対象物Ａ１，Ａ２，Ａ３に対して算出される視認性の難度は所定難度を超えることになり、画像データＰ内の適宜の位置に各対象物Ａ１，Ａ２，Ａ３の拡大画像Ｂ１，Ｂ２，Ｂ３が合成された合成画像が前方表示装置１５または後方表示装置１６に表示される。

なお、例えば対象物Ａ１のように周辺領域に対する照度や色彩のコントラストが低いことで視認性の難度が所定難度を超えていると判定された場合には、適宜の画像処理によって対象物Ａ１の周辺領域に対する照度や色彩のコントラストが高くされた拡大画像Ｂ１が画像データＰに合成されるようになっている。
また、例えば各対象物Ａ１，Ａ２，Ａ３に対して算出される危険度が所定危険度を超えていると判定された場合には、各対象物Ａ１，Ａ２，Ａ３の危険度に応じて各拡大画像Ｂ１，Ｂ２，Ｂ３の外周部Ｄ１，Ｄ２，Ｄ３の表示状態が変化するようになっており、例えば相対的に危険度が低い場合には各外周部Ｄ１，Ｄ２，Ｄ３の色が黄色に設定され、相対的に危険度が中程度の場合には各外周部Ｄ１，Ｄ２，Ｄ３の色が赤色に設定され、例えば相対的に危険度が高い場合には各外周部Ｄ１，Ｄ２，Ｄ３の色が赤色に設定されると共に所定周期で点滅するように設定される。

また、画像表示制御部３１は、標識判定部２４にて対象物抽出部２１で抽出された対象物が、例えば案内、警戒、規制、指示、補助等の各標識からなる道路標識であると判定された場合には、合成画像生成部３０にて生成された合成画像を前方表示装置１５または後方表示装置１６へ出力し、自車両が道路標識の位置を通過した以後であっても、通過後の所定時間に亘って合成画像の出力を継続する。
例えば、図４において、自車両の走行路Ｒの進行方向前方の位置に規制標識の対象物Ａ４と、案内標識の対象物Ａ５とが検知された場合には、画像データＰ内の適宜の位置に各対象物Ａ４，Ａ５の拡大画像Ｂ４，Ｂ５が合成された合成画像が前方表示装置１５または後方表示装置１６に表示される。そして、この合成画像の表示は、自車両が各対象物Ａ４，Ａ５を通過した以後の所定時間に亘って継続される。

切出画像表示制御部３２は、少なくとも、視認難易度判定部２５にて算出した視認性の難度が所定難度を超えていると判定された場合、または、危険度判定部２８にて算出した危険度が所定危険度を超えていると判定された場合には、対象物画像切出部２３にて生成された切出画像を副表示装置１７へ出力する。ここで、切出画像表示制御部３２は、対象物方向算出部２９にて算出された対象物の存在方向の情報と、方向センサ１８から出力される運転者Ｄの頭部の向きに係る検出信号とに基づき、運転者Ｄから見た対象物の存在方向を算出し、この存在方向の情報を副表示装置１７へ出力する。

例えば図４および図５に示すように、自車両に対して推定された進行軌跡αと、対象物Ａ１に対して推定された進行軌跡β１とが交差する場合には、対象物Ａ１に対して算出される危険度は所定危険度を超えることになり、また、例えば対象物Ａ１のように、夜間走行時等において、対象物の周辺領域に対する照度や色彩のコントラストが低い場合には、対象物Ａ１に対して算出される視認性の難度は所定難度を超えることになり、画像データＰから切り出された対象物Ａ１の切出画像Ｅ１が、運転者Ｄから見た対象物Ａ１の存在方向を示す矢印画像Ｆ１と共に副表示装置１７に表示される。
なお、例えば対象物Ａ１のように周辺領域に対する照度や色彩のコントラストが低いことで視認性の難度が所定難度を超えていると判定された場合には、適宜の画像処理によって対象物Ａ１の周辺領域に対する照度や色彩のコントラストが高くされた切出画像Ｅ１が副表示装置１７へ出力されるようになっている。

例えば図６に示すように、交差点を左折する自車両ＶのフロントピラーＦＰによって運転者の死角となる領域に、自車両Ｖが左折動作後に走行する走行路Ｒを横断する歩行者Ｇ１が存在する場合には、この歩行者Ｇ１に対して視認難易度判定部２５にて算出される視認性の難度が所定難度を超えていると判定されると共に、危険度判定部２８にて算出される危険度が所定危険度を超えていると判定される。そして、前方表示装置１５において、運転者から歩行者Ｇ１へと向かう視線方向Ｈ１と略同等の方向と交差する位置近傍に歩行者Ｇ１の画像Ｊ１が表示される。さらに、副表示装置１７には、歩行者Ｇ１の切出画像Ｋ１と、運転者から見た歩行者Ｇ１の存在方向を示す矢印画像Ｌ１とが表示される。
この場合、例えば、歩行者Ｇ１は相対的に危険度が中程度であると判定されると、歩行者Ｇ１の画像Ｊ１の外周部の色が赤色に設定されると共に、歩行者Ｇ１の存在方向を示す矢印画像Ｌ１の色が赤色に設定される。

また、例えば図７に示すように、交差点に侵入する自車両ＶのフロントピラーＦＰによって運転者の死角となる領域に、この交差点に侵入する他車両ＶＡが存在する場合には、この他車両ＶＡに対して視認難易度判定部２５にて算出される視認性の難度が所定難度を超えていると判定されると共に、危険度判定部２８にて算出される危険度が所定危険度を超えていると判定される。そして、前方表示装置１５において、運転者から他車両ＶＡへと向かう視線方向Ｈ２と略同等の方向と交差する位置近傍に他車両ＶＡの画像Ｊ２が表示される。さらに、副表示装置１７には、他車両ＶＡの切出画像Ｋ２と、運転者から見た他車両ＶＡの存在方向を示す矢印画像Ｌ２とが表示される。
この場合、他車両ＶＡは、例えば自車両Ｖに対する相対速度の大きさ等に応じて危険度が判定され、例えば相対的に危険度が低い場合には他車両ＶＡの画像Ｊ２の外周部の色および他車両ＶＡの存在方向を示す矢印画像Ｌ２の色が黄色に設定され、相対的に危険度が中程度の場合には画像Ｊ２の外周部の色および矢印画像Ｌ２の色が赤色に設定され、例えば相対的に危険度が高い場合には画像Ｊ２の外周部の色および矢印画像Ｌ２の色が赤色に設定されると共に所定周期で点滅するように設定される。

また、例えば図８に示すように、片側複数車線の走行路において自車両Ｖが車線変更を実行する際、自車両Ｖが車線変更後に走行する車線を自車両Ｖよりも後方の位置で走行中の他車両ＶＢが存在する場合には、この他車両ＶＢに対して視認難易度判定部２５にて算出される視認性の難度が所定難度を超えていると判定されると共に、危険度判定部２８にて算出される危険度が所定危険度を超えていると判定される。そして、後方表示装置１６において、例えば後方表示装置１６をルームミラーとして後方を見た場合に他車両ＶＢが存在する位置近傍に他車両ＶＢの画像Ｊ３が表示される。さらに、副表示装置１７には、他車両ＶＢの切出画像Ｋ３と、運転者から見た他車両ＶＢの存在方向を示す矢印画像Ｌ３とが表示される。
この場合、他車両ＶＢは、例えば自車両Ｖに対する相対速度の大きさ等に応じて危険度が判定され、例えば相対的に危険度が低い場合には他車両ＶＢの画像Ｊ２の外周部の色および他車両ＶＢの存在方向を示す矢印画像Ｌ３の色が黄色に設定される。

本実施の形態による車両の認知支援装置１０は上記構成を備えており、次に、この車両の認知支援装置１０の動作、特に、前方表示装置１５または後方表示装置１６に拡大画像を表示する動作について説明する。

先ず、例えば図９に示すステップＳ０１においては、外界センサ１２の外界撮影カメラ１２ａにより撮影して得た撮影画像の画像データを取得する。
次に、ステップＳ０２においては、取得した撮影画像の画像データを前方表示装置１５または後方表示装置１６に表示する。
次に、ステップＳ０３においては、外界センサ１２から入力される画像データに対して、例えば他車両や歩行者や標識等を検知対象物とした特徴量算出および形状判別等の認識処理を行い、自車両の外界に対象物が存在するか否かを判定する。
この判定結果が「ＮＯ」の場合には、一連の処理を終了する。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ０４に進む。

ステップＳ０４においては、画像データから抽出した対象物が、例えば案内、警戒、規制、指示、補助等の各標識からなる道路標識であるか否かを判定する。
この判定結果が「ＮＯ」の場合には、後述するステップＳ１１に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ０５に進む。
そして、ステップＳ０５においては、対象物センサ１３の対象物撮影カメラ１３ａにより道路標識を拡大撮影して得た拡大画像を取得する。
次に、ステップＳ０６においては、外界センサ１２から入力される画像データに道路標識の拡大画像を合成して合成画像を生成し、この合成画像を前方表示装置１５または後方表示装置１６に表示する。

次に、ステップＳ０７においては、自車両と、対象物として抽出された道路標識との相対位置を算出する。
次に、ステップＳ０８においては、自車両が道路標識の設置位置を通過したか否かを判定する。
この判定結果が「ＮＯ」の場合には、上述したステップＳ０６に戻る。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ０９に進む。
そして、ステップＳ０９においては、所定時間に亘って合成画像を前方表示装置１５または後方表示装置１６に継続して表示する。
そして、ステップＳ１０においては、外界センサ１２から入力される画像データに拡大画像を合成する処理を終了し、外界センサ１２から入力される画像データのみを前方表示装置１５または後方表示装置１６に表示する状態として、一連の処理を終了する。

また、ステップＳ１１においては、対象物センサ１３の対象物撮影カメラ１３ａにより道路標識以外の対象物（例えば、歩行者や他車両等）を拡大撮影して得た拡大画像を取得する。
次に、ステップＳ１２においては、対象物の移動状態（例えば、自車両に対する相対速度や進行軌跡の推定値）を算出する。
次に、ステップＳ１３においては、自車両の進行軌跡の推定値と、対象物の進行軌跡の推定値や相対速度とに基づき、対象物が自車両の走行の支障となる度合、つまり危険度を算出する。
次に、ステップＳ１４においては、外界センサ１２から入力される画像データにおいて、照度や色彩のコントラストを検知したり、抽出された対象物と対象物の周辺領域との間の輪郭部のエッジ画像の形状の複雑度を検知し、これらの検知結果に応じて視認性の難易度を算出する。

次に、ステップＳ１５においては、算出した視認性の難度が所定難度を超えているか否か、または、算出した危険度が所定危険度を超えているか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、ステップＳ１６に進み、外界センサ１２から入力される画像データに対象物の拡大画像を合成して合成画像を生成し、この合成画像を前方表示装置１５または後方表示装置１６に表示し、上述したステップＳ１２に戻る。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ１７に進み、この時点で合成画像の表示状態であれば外界センサ１２から入力される画像データに拡大画像を合成する処理を終了し、外界センサ１２から入力される画像データのみを前方表示装置１５または後方表示装置１６に表示して、一連の処理を終了する。

上述したように、本実施の形態による車両の認知支援装置１０によれば、少なくとも、視認性の難度が所定値を超えた場合、または、危険度が所定値を超えた場合に、抽出された対象物の拡大画像を、外界センサ１２から入力される画像データに合成して表示することにより、運転者が対象物を見落としてしまったり、見間違えてしまうことを防止して、運転者による対象物の認知動作を的確に支援することができる。
さらに、外界センサ１２から入力される画像データを表示する前方表示装置１５および後方表示装置１６に加えて副表示装置１７を備え、少なくとも、視認性の難度が所定値を超えた場合、または、危険度が所定値を超えた場合に、抽出された対象物の切出画像を副表示装置１７に表示することにより、運転者が対象物を見落としてしまったり、見間違えてしまうことを防止して、運転者による対象物の認知動作を的確に支援することができる。

さらに、抽出された対象物が道路標識である場合には、自車両が道路標識の位置を通過した以後であっても、通過後の所定時間に亘って、前方表示装置１５または後方表示装置１６での合成画像の表示および副表示装置１７での切出画像の表示を継続することにより、道路標識に表示内容が複雑化している状態であっても、運転者が見間違えてしまうことを防止して、運転者による道路標識の認知動作を的確に支援することができる。

しかも、副表示装置１７を運転者の頭部に装着可能なヘッドセット１９に備えたことにより、運転者の頭部の向きが変化する場合であっても、副表示装置１７の表示内容を運転者に常に視認させることができる。
さらに、ヘッドセット１９に運転者の頭部の向きを検知する方向センサ１８を備え、対象物方向算出部２９にて画像データに基づき算出される自車両から見た対象物の存在方向に、方向センサ１８から出力される運転者の頭部の向きに係る検出信号を加味して、運転者から見た対象物の存在方向を算出し、この存在方向を示す矢印画像を、対象物の切出画像と共に副表示装置１７に表示することにより、自車両に対する対象物の相対位置が変化する場合であっても、対象物の実際の位置を運転者に的確に認識させることができる。

なお、上述した実施の形態においては、対象物センサ１３の対象物撮影カメラ１３ａの撮影方向および撮影倍率を指示し、対象物撮影カメラ１３ａの焦点距離を変化させる光学ズームにより対象物の拡大画像を取得するとしたが、これに限定されず、例えば対象物センサ１３を省略し、外界センサ１２から入力される画像データのうち、対象物を含む画像領域を画像処理により補完拡大するデジタルズームにより対象物の拡大画像を取得してもよい。

なお、上述した実施の形態において、危険度判定部２８は、算出した危険度が所定危険度を超えているか否かを判定するとしたが、これに限定されず、例えば図１０に示すように、相対速度の増大に伴い、低下傾向に変化する判定閾値を設定し、算出した危険度が相対速度に応じた判定閾値を超えているか否かを判定してもよい。

本発明の一実施形態に係る車両の認知支援装置の構成図である。 図１に示す前方表示装置および後方表示装置を搭載した車両の内部を示す図である。 図１に示す副表示装置を示す図である。 前方表示装置に表示される自車両の進行方向前方の画像データの一例を示す図である。 副表示装置に表示される切出画像および矢印画像の一例を示す図である。 前方表示装置に表示される自車両の進行方向前方の画像データおよび副表示装置に表示される切出画像および矢印画像の一例を示す図である。 前方表示装置に表示される自車両の進行方向前方の画像データおよび副表示装置に表示される切出画像および矢印画像の一例を示す図である。 前方表示装置に表示される自車両の進行方向前方の画像データおよび副表示装置に表示される切出画像および矢印画像の一例を示す図である。 図１に示す車両の認知支援装置の動作を示すフローチャートである。 自車両と対象物との相対速度と、対象物の危険度に係る判定閾値との関係の一例を示すグラフ図である。

符号の説明

１０ 車両の認知支援装置
１２ａ 外界撮影カメラ（撮影手段）
１５ 前方表示装置（表示装置）
１６ 後方表示装置（表示装置）
２１ 対象物抽出部（対象物抽出手段）
２２ 拡大画像取得部（拡大画像取得手段）
２４ 標識判定部（標識判定手段）
２５ 視認難易度判定部（視認難易度判定手段）
２８ 危険度判定部（危険度判定手段）
３０ 合成画像生成部（合成手段）

Claims (4)

1. 自車両の外部を撮影する撮影手段と、自車両の内部に設けられた表示装置と、
   前記撮影手段の撮影により得られる撮影画像を前記表示装置に表示する車両の認知支援装置であって、
   前記撮影手段の撮影により得られる撮影画像から対象物を抽出する対象物抽出手段と、
   前記対象物抽出手段にて抽出された対象物に対する視認性の難易度を判定する視認難易度判定手段と、
   前記対象物の自車両に対する危険度を判定する危険度判定手段と、
   前記対象物を拡大撮影あるいは前記対象物の画像を拡大可能な拡大画像取得手段と、
   前記撮影手段の撮影により得られる撮影画像に、前記拡大画像取得手段にて得られる拡大画像を合成する合成手段とを備え、
   少なくとも、前記視認難易度判定手段にて判定される視認性の難度が所定値を超えた場合、または、前記危険度判定手段にて判定される危険度が所定値を超えた場合には、前記合成手段にて得られる合成画像を前記表示装置に表示することを特徴とする車両の認知支援装置。
2. 前記視認難易度判定手段は、前記撮影画像において、対象物と該対象物の周辺領域との間の照度または色彩のコントラスト、または、対象物と該対象物の周辺領域との間の輪郭部の画像であるエッジ画像の形状の複雑度に基づき、視認性の難易度を判定することを特徴とする請求項１に記載の車両の認知支援装置。
3. 前記危険度判定手段は、自車両と対象物との相対速度に基づき、前記対象物の自車両に対する危険度を判定することを特徴とする請求項１に記載の車両の認知支援装置。
4. 前記対象物が案内、警戒、規制、指示、補助等の各標識からなる道路標識であるか否かを判定する標識判定手段を備え、
   該標識判定手段にて前記対象物が道路標識であると判定された場合には、前記合成手段にて得られる合成画像を所定時間に亘って前記表示装置に表示することを特徴とする請求項１に記載の車両の認知支援装置。
   
   

Images