JP2024008333A - 車両支援装置 - Google Patents

Abstract

【課題】走行中に運転者に有用な情報を提供するまでの時間を短縮することができる車両支援装置を提供すること。【解決手段】車両支援装置１００は、運転者の視野範囲の一部に設定された監視領域を通して見える範囲に含まれる自車両周辺の物体を検出する物体検知部２２と、検出された物体に関する付加情報を生成する検知物体情報抽出部２４、付加情報生成部２６と、運転者の視線を検出するドライバー視線検知部４２と、検出した運転者の視線の移動が監視領域内で停止したことを判定するミラー注視判定部４４と、視線移動の停止が判定されたときに、付加情報生成部２６によってその時点で生成されている付加情報を音声出力する付加情報音声生成・出力部５０とを備えている。【選択図】図１

Description

本発明は、走行中に運転に有用な情報を提供する車両支援装置に関する。

従来から、ドアミラーやルームミラーなどに対する運転者の注視頻度を算出し、この算出した注視頻度を所定値と比較した結果にしたがって運転者に情報提供を行うことにより、情報提供の必要性が高いときだけ、後方に存在する障害物に関する情報を表示あるいは音声出力するようにした車両用障害物警報装置が知られている（例えば、特許文献１参照。）。

特開２００１－２６０７７６号公報

ところで、上述した特許文献１に開示された車両用障害物警報装置では、運転者の注視点を検出した後に、後方に位置する他車両の存在に関する情報を算出し、その後、注視頻度に応じた警報動作を行っているため、運転者がドアミラー等を注視してから実際に警報動作の内容を確認するまで時間がかかるという問題があった。

本発明は、このような点に鑑みて創作されたものであり、その目的は、走行中に運転者に有用な情報を提供するまでの時間を短縮することができる車両支援装置を提供することにある。

上述した課題を解決するために、本発明の車両支援装置は、運転者の視野範囲の一部に設定された監視領域を通して見える範囲に含まれる自車両周辺の障害物を検出する障害物検出手段と、障害物検出手段によって検出された障害物に関する付加情報を生成する付加情報生成手段と、運転者の視線を検出する視線検出手段と、視線検出手段によって検出した運転者の視線の移動が監視領域内で停止したことを判定する視線移動停止判定手段と、視線移動停止判定手段によって視線移動の停止が判定されたときに、付加情報生成手段によってその時点で生成されている付加情報を音声出力する付加情報出力手段とを備えている。

運転者の視線移動が停止したときに直ちに自車両周辺の障害物（他の車両等）に関する付加情報を音声で得ることができるため、運転者にとって有用な情報を得るまでの時間の短縮が可能となる。

また、上述した障害物検出手段および付加情報生成手段による動作と、視線検出手段および視線移動停止判定手段による動作は、並行して行われることが望ましい。これにより、視線移動停止判定直後に間をあけずに付加情報を出力することが可能となる。

また、上述した監視領域は、自車両の後方に位置する障害物の存在を確認するミラーに対応して設けられていることが望ましい。これにより、ドアミラーやルームミラーを見て何らかの障害物が存在することを知った際にこの障害物に関する詳細な情報を得ることが可能となる。

また、上述した監視領域は、向きが異なる複数の視野のそれぞれに対応して複数設定されていることが望ましい。これにより、運転者の視線移動が停止することが想定される複数箇所において障害物の情報を得ることが可能となる。

また、上述した付加情報には、障害物の種別、自車両に対する障害物の相対速度、相対位置の少なくとも一つが含まれることが望ましい。これにより、一瞬だけ見ただけでは詳細確認ができなかった障害物について、その種別や自車両に対する接近の有無を知ることができ、運転者がその障害物に注意をはらう必要があるか否かを容易に判断することが可能となる。

また、上述した付加情報出力手段は、付加情報を複数のスピーカから出力することにより、付加情報の出力音声の音像の位置あるいは向きを、障害物の実際の向きに合わせることが望ましい。これにより、障害物が存在する方向を容易に確認することができる。

一実施形態の車両支援装置の構成を示す図である。 車両支援装置によって付加情報生成の対象となる物体が含まれる範囲を示す図である。 物体検知・付加情報生成部によって付加情報生成を行う動作手順を示す流れ図である。 運転者の注視判定を行って物体情報音声を出力する動作手順を示す流れ図である。

以下、本発明を適用した一実施形態の車両支援装置について、図面を参照しながら説明する。

図１は、一実施形態の車両支援装置の構成を示す図である。図１に示す本実施形態の車両支援装置１００は、自車両の運転者が運転中に後方を確認するために、ルームミラー、右側ドアミラー、左側ドアミラーのいずれかを注視したときに、そのミラーに人や車両などの物体（障害物）が映っている場合に、この物体に関連する付加情報を生成して遅延なく音声出力する動作を行っている。ここで、付加情報とは、運転者から直接見える物体として車両等そのものではなく、この車両等に関連する情報である。例えば、ミラー越しに後続車両が見えたときに、この後続車両の種別（一般車／トラック／バイク／緊急車両）、後続車両の走行速度、自車両に接近している場合の相対速度など、一瞥しただけでは判別が難しい情報や見ただけでは取得が困難な情報が含まれる。

図２は、車両支援装置１００によって付加情報生成の対象となる物体が含まれる範囲を示す図である。図２に示すように、運転者が運転席に座って前を向いている状態では、自車両の後方を確認するために、ルームミラー１１０、右側ドアミラー１１２、左側ドアミラー１１４のいずれかが用いられる。

本実施形態では、運転者の視野範囲の中から運転者の視線移動の停止を判定する対象となる「監視領域」が設定されている。図２に示す例では、ルームミラー１１０の反射面が監視領域１１０Ｓに、右側ドアミラー１１２の反射面が監視領域１１２Ｓに、左側ドアミラー１１４の反射面が監視領域１１４Ｓに設定されている。これらの監視領域１１０Ｓ、１１２Ｓ、１１４Ｓのいずれかに監視対象の物体が含まれ、その物体を運転者が注視したときに付加情報の音声出力が開始される。

図１に示すように、本実施形態の車両支援装置１００は、リアカメラ１０、右サイドカメラ１２、左サイドカメラ１４、物体検知・付加情報生成部２０、ドライバーモニタリング（ＤＭ）カメラ３０、ミラー注視判定処理部４０、付加情報音声生成・出力部５０、スピーカ６０を備えている。

リアカメラ１０は、車両後方の所定位置（例えばナンバープレート上部）に取り付けられ、自車両後方を撮像する。このリアカメラ１０の撮像範囲には、ルームミラー１１０を通して見ることができる範囲が含まれる。

右サイドカメラ１２は、車両右側の所定位置（例えば右側ドアミラー１１２の下部）に取り付けられており、自車両の右側後方を撮像する。この右サイドカメラ１２の撮像範囲には、右側ドアミラー１１２を通して見ることができる範囲が含まれる。

左サイドカメラ１４は、車両左側の所定位置（例えば左側ドアミラー１１４の下部）に取り付けられており、自車両の左側後方を撮像する。この左サイドカメラ１４の撮像範囲には、左側ドアミラー１１４を通して見ることができる範囲が含まれる。

物体検知・付加情報生成部２０は、監視対象の物体を検知し、この物体に関する付加情報を生成する。このために、物体検知・付加情報生成部２０は、物体検知部２２、検知物体情報抽出部２４、付加情報生成部２６を有する。物体検知部２２は、リアカメラ１０、右サイドカメラ１２、左サイドカメラ１４による撮像で得られた画像の中から物体を検知する。ここで検知対象となるのは、運転者が気を付ける必要がある後続車両等の物体であり、物体検知部２２は、全体画像の中から物体特有の特徴（形状や色など）を有する部分画像をパターン認識等の手法によって切出すことにより、その有無を判定する。検知物体情報抽出部２４は、検知された物体に対して種別（人／一般車／トラック／バイク／緊急車両）と、物体の移動速度、方位を含む物体情報を抽出する。付加情報生成部２６は、検知された物体の付加情報を生成する。例えば、自車両との相対速度差、相対距離、緊急車両の有無、合流車両の有無などが含まれる付加情報が生成される。この付加情報の生成は、抽出された物体情報だけでなく、自車両の速度などを含む車両情報や、合流などの道路形状などを含む地図データなどを用いて行われる。また、物体との距離や物体の速度は、物体検知部２２によって検知される各物体の大きさやその時間変化などに基づいて知ることができる。

ドライバーモニタリングカメラ３０は、運転者の眼球を含む顔全体を撮像する。例えば、赤外線カメラが用いられる。

ミラー注視判定処理部４０は、運転者がルームミラー１１０、右側ドアミラー１１２、左側ドアミラー１１４のいずれかを注視しているか否かを判定する。このために、ミラー注視判定処理部４０は、ドライバー視線検知部４２とミラー注視判定部４４を有する。ドライバー視線検知部４２は、ドライバーモニタリングカメラ３０の撮像によって得られた運転者の顔画像、特に左右の眼球の画像からそれらの向きを判定することにより、運転者の視線を検知する。ミラー注視判定部４４は、運転者がルームミラー１１０、右側ドアミラー１１２、左側ドアミラー１１４のいずれかを注視しているか否かを判定する。例えば、運転者の注視位置が監視領域１１０Ｓ、１１２Ｓ、１１４Ｓ（図２）のいずれかに含まれるか否が判定される。なお、本実施形態では、運転者がルームミラー１１０等に映っている物体の存在を確認したときに、速やかにその物体の付加情報を音声出力するものであるため、運転者は、物体がルームミラー１１０等に映っていることを知ることができれば十分であり、注視時間を長く設定する必要はない。例えば、運転者の視線移動が監視領域１１０Ｓ、１１２Ｓ、１１４Ｓのいずれかで０．５秒停止したときに、運転者が注視していると判定する場合が考えられる。

付加情報音声生成・出力部５０は、運転者の注視先に存在する物体に関する付属情報の音声信号を生成して出力する。このために、付加情報音声生成・出力部５０は、付加情報取得部５２、音声データ生成部５４、音声出力位置決定部５６、音声出力部５８を有する。付加情報取得部５２は、ミラー注視判定部４４によって注視している旨の判定が行われた監視領域１１０Ｓ等に含まれる物体に関する付加情報を物体検知・付加情報生成部２０から取得する。音声データ生成部５４は、取得した付加情報の内容を音声出力するための音声データを生成する。音声出力位置決定部５６は、音声出力対象となる物体の位置を音声出力位置として決定する。音声出力部５８は、音像の位置が、音声出力位置決定部５６によって決定した物体の位置と同じになるように、音声生成データに対応する音声信号を複数のスピーカ６０から出力する。なお、物体の位置と音像の位置を一致させるかわりに、物体の向きと音像の向きを一致させるようにしてもよい。

上述したリアカメラ１０、右サイドカメラ１２、左サイドカメラ１４、物体検知部２２が障害物検出手段に、検知物体情報抽出部２４、付加情報生成部２６が付加情報生成手段に、ドライバーモニタリングカメラ３０、ドライバー視線検知部４２が視線検出手段に、ミラー注視判定部４４が視線移動停止判定手段に、付加情報音声生成・出力部５０、スピーカ６０が付加情報出力手段にそれぞれ対応する。

本実施形態の車両支援装置１００はこのような構成を有しており、次にその動作を説明する。

図３は、物体検知・付加情報生成部２０によって付加情報生成を行う動作手順を示す流れ図である。この動作手順は、一定の時間間隔で繰り返される。また、この動作手順は、ミラー注視判定処理部４０の動作等とは別に、並行して行われる。

まず、リアカメラ１０、右サイドカメラ１２、左サイドカメラ１４による撮像が行われると（ステップ１００）、物体検知部２２は、撮像で得られた画像の中から物体特有の特徴を有する部分画像を切り出すことにより、付加情報音声の出力対象となる物体を検知する（ステップ１０２）。なお、各カメラの撮像範囲全体を物体の検知対象とする必要はなく、各監視領域１１０Ｓ、１１２Ｓ、１１４Ｓ（図２）に映る範囲のみを検知対象とすればよい。

次に、物体検知部２２は、物体が検知されたか否かを判定する（ステップ１０４）。検知された物体が存在しない場合には否定判断が行われ、付加情報生成に関する一連の動作が終了する。

また、物体が検知された場合にはステップ１０４の判定において肯定判断が行われる。次に、検知物体情報抽出部２４は、検知された物体について物体情報（種別、移動速度、方位など）を抽出する（ステップ１０６）。この物体情報生成動作は、検知された物体が複数ある場合には、それぞれの物体について行われる。

次に、付加情報生成部２６は、物体情報が抽出された物体について付加情報を生成する（ステップ１０８）。このようにして、付加情報生成に関する一連の動作が終了する。

図４は、運転者の注視判定を行って物体情報音声を出力する動作手順を示す流れ図である。ドライバーモニタリングカメラ３０による撮像が行われると（ステップ２００）、ドライバー視線検知部４２は、この撮像によって得られた運転者の顔画像から運転者の視線を検知する（ステップ２０２）。また、ミラー注視判定部４４は、運転者がルームミラー１１０、右側ドアミラー１１２、左側ドアミラー１１４のいずれかを注視しているか否か（例えば、運転者の視線の移動が監視領域１１０Ｓ、１１２Ｓ、１１４Ｓ（図２）のいずれかで０．５秒停止したか否か）を判定する（ステップ２０４）。視線移動が停止していない場合には否定判断が行われ、ステップ２００に戻ってドライバーモニタリングカメラ３０による撮像動作が繰り返される。

また、運転者の視線移動が停止した場合にはステップ２０４の判定において肯定判断が行われる。次に、付加情報取得部５２は、視線移動が停止した（注視している）監視領域に含まれる物体に対応する付加情報を付加情報生成部２６から取得する（ステップ２０６）。

次に、音声データ生成部５４は、取得した付加情報が含まれる音声データを生成する（ステップ２０８）。また、音声出力位置決定部５６は、物体の位置を音声出力位置として決定する（ステップ２１０）。

次に、音声出力部５８は、物体の位置あるいは方向から音が聞こえるように、複数のスピーカ６０から音声データに対応する音声を出力する（ステップ２１２）。

例えば、生成される付加情報と生成される音声データの組み合わせとして以下のようなものが考えられる。

（１）付加情報：物体が一般車、自車両との距離が１５０ｍ、物体の走行速度が１２０ｋｍ/ｈ、１５ｋｍ/ｈの速度差で接近。出力音声の内容「１５０ｍ後方、時速１２０キロで１５キロの速度差で一般車が接近中です」。

（２）付加情報：物体がバイク、自車両との距離が１００ｍ、物体の走行速度が１４０ｋｍ/ｈ、３５ｋｍ／ｈの速度差で接近。出力音声の内容「１００ｍ後方、時速１４０キロで３５キロの速度差でバイクが接近中です」。

（３）付加情報：物体が緊急車両、自車両との距離が１２０ｍ、物体の走行速度が７０ｋｍ／ｈ。出力音声の内容「１２０ｍ後方から緊急車両が接近中。道を開けて停車してください」。

音声出力後、ステップ２００に戻ってドライバーモニタリングカメラ３０による撮像動作が繰り返される。

このように、本実施形態の車両支援装置１００では、運転者の視線移動が停止したときに直ちに自車両周辺の物体に関する付加情報を音声で得ることができるため、運転者にとって有用な情報を得るまでの時間の短縮が可能となる。

特に、物体検知と付加情報生成の動作と、視線検知と視線移動停止判定（注視判定）の動作を並行して行うことにより、視線移動停止判定直後に間をあけずに付加情報を音声出力することが可能となる。

また、自車両の後方に位置する物体の存在を確認するミラーに対応して監視領域を設けることにより、ドアミラー（右サイドミラー１１２、左サイドミラー１１４）やルームミラー１１０を見て何らかの物体が接近してくることを知った際にこの物体に関する詳細な情報を得ることが可能となる。

また、向きが異なる複数の視野のそれぞれに対応して複数の監視領域を設定しておくことにより、運転者の視線移動が停止することが想定される複数箇所において物体の情報を得ることが可能となる。

また、音声出力される付加情報に障害物の種別、自車両に対する障害物の相対速度、相対位置などを含ませることにより、一瞬だけ見ただけでは詳細確認ができなかった物体について、その種別や自車両に対する接近の有無を知ることができ、運転者がその物体に注意をはらう必要があるか否かを容易に判断することが可能となる。

また、付加情報を含む音声を複数のスピーカ６０から出力することにより、出力音声の音像の位置や向きを、物体の実際の位置や向きに合わせることにより、物体が存在する方向を容易に確認することができる。

なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨の範囲内において種々の変形実施が可能である。例えば、上述した実施形態では、ミラーを通して自車両後方に存在する物体を検知するようにしたが、ミラー以外（図２に示すフロントガラスの一部あるいは全部）に監視領域を設定してこの監視領域内で運転者の視線移動が停止したときにこの監視領域内に存在する物体を検知するようにようにしてもよい。この場合には、追加した監視領域に対応する撮像範囲を有するカメラを追加すればよい。

また、後方の物体を確認する場合であって、鏡面を有するミラーの代わりにカメラで撮像した後方画像を表示装置に表示する電子ミラーを採用する場合には、この表示装置の画面を監視領域に設定することにより、同様の物体検知や視線検知が可能となり、同じ処理内容によって物体の付加情報の音声出力を得ることができる。

また、上述した実施形態では、自車両後方の物体を検知したときに付加情報を音声出力するようにしたが、この物体が自車両に接近している場合に限定して付加情報を音声出力するようにしてもよい。

上述したように、本発明によれば、運転者の視線移動が停止したときに直ちに自車両周辺の障害物（物体）に関する付加情報を音声で得ることができるため、運転者にとって有用な情報を得るまでの時間の短縮が可能となる。

１０ リアカメラ
１２ 右サイドカメラ
１４ 左サイドカメラ
２０ 物体検知・付加情報生成部
２２ 物体検知部
２４ 検知物体情報抽出部
２６ 付加情報生成部
３０ ドライバーモニタリングカメラ
４０ ミラー注視判定処理部
４２ ドライバー視線検知部
４４ ミラー注視判定部
５０ 付加情報音声生成・出力部
５２ 付加情報取得部
５４ 音声データ生成部
５６ 音声出力位置決定部
５８ 音声出力部
６０ スピーカ
１００ 車両支援装置
１１０ ルームミラー
１１０Ｓ、１１２Ｓ、１１４Ｓ 監視領域
１１２ 右側ドアミラー
１１４ 左側ドアミラー

Claims (6)

1. 運転者の視野範囲の一部に設定された監視領域を通して見える範囲に含まれる自車両周辺の障害物を検出する障害物検出手段と、
   前記障害物検出手段によって検出された障害物に関する付加情報を生成する付加情報生成手段と、
   運転者の視線を検出する視線検出手段と、
   前記視線検出手段によって検出した運転者の視線の移動が前記監視領域内で停止したことを判定する視線移動停止判定手段と、
   前記視線移動停止判定手段によって視線移動の停止が判定されたときに、前記付加情報生成手段によってその時点で生成されている前記付加情報を音声出力する付加情報出力手段と、
   を備えることを特徴とする車両支援装置。
2. 前記障害物検出手段および前記付加情報生成手段による動作と、前記視線検出手段および前記視線移動停止判定手段による動作は、並行して行われることを特徴とする請求項１に記載の車両支援装置。
3. 前記監視領域は、自車両の後方に位置する前記障害物の存在を確認するミラーに対応して設けられていることを特徴とする請求項１に記載の車両支援装置。
4. 前記監視領域は、向きが異なる複数の視野のそれぞれに対応して複数設定されていることを特徴とする請求項１に記載の車両支援装置。
5. 前記付加情報には、前記障害物の種別、自車両に対する前記障害物の相対速度、相対位置の少なくとも一つが含まれることを特徴とする請求項１に記載の車両支援装置。
6. 前記付加情報出力手段は、前記付加情報を複数のスピーカから出力することにより、前記付加情報の出力音声の音像の位置あるいは向きを、前記障害物の実際の向きに合わせることを特徴とする請求項１に記載の車両支援装置。

Images