本発明は、運転者の視線を利用した走行情報提供装置に関する。
従来、自車周辺の対象物の方向と、運転者の視線方向から、対象物に対する運転者の認知度合いを判定し、認知度が低い場合に警告情報を提示する装置が種々提案されている。
例えば、特許文献1に示す走行情報提供装置は、運転者の注視方向と、運転者が運転中に安全確認すべき注視必要方向とが一致する注視頻度を算出して、この注視頻度に基づいて運転者に報知すべき情報の報知レベルを決定している。
すなわち、この走行情報提供装置は、運転者が注視する注視点のみを基準として、運転者の注視点と、安全確認のために必要な対象物に対する注視点とを用いて対象物に対する認知の程度を判断している。なお、注視点とは両眼を用いて一物体を注視する際の点を示す。
これにより、運転者が視認していない状況に関しては確実に適切な情報を報知するとともに、運転者が視認していると判定された情報に関しては、認識程度の高さにあわせて報知レベルを下げ、煩わしさを低減している。
特許第2929927号公報
ところで、一般に、視覚情報の中で、視力検査で測定する視力に近い解像度で見ることが可能な部分は、注視点の周りおよそ2度程度であるといわれている。この解像度の高い部分で見ることを中心視という。また、中心視野周辺(注視点を中心に10度〜20度の範囲の視野)の対象物についても、瞬時に情報を受容して、大まかな物の形を把握することが可能であることが知られている。なお、このような中心視の中心である注視点周辺を見る(傍中心視)ことを、ここでは、周辺視という。この対象物を認知する際には、中心視だけでなく、この周辺視も重要な役割を果たすものと考えられている。
しかしながら、従来の走行情報提供装置においては、注視点と注視必要方向との一致頻度により、対象物を視認したかどうかを判定しており、人間の周辺視野による認知が考慮されていない。このため、中心視で認知していないが周辺視により認知している対象物に対しても認知していないと誤判定する可能性があり、その判定を受けて、煩雑な警報を発生させ、走行車両における安全性の確保を妨げる恐れがあるという問題がある。
また、従来の走行情報提供装置では、交差点右折時の横断歩道上に多数の歩行者が存在する場合等のように注視が必要な対象物が多数存在する場合において、周辺視で確認している対象物に対しても、注視頻度が少ない対象物として判定する可能性がある。よって、この判定を受けて、多数の煩雑な警報を発生させてしまい、走行車両の安全性の確保を妨げるという問題がある。
本発明の目的は、運転者の安全確認対象物の認知を、運転者の注視による安全確認対象物の認知だけでなく、周辺視を含めて正確に判定して、走行車両の安全性を確保する走行情報提供装置を提供することである。
本発明の走行情報提供装置は、搭載される自車の周辺状況の周辺情報を取得する周辺情報収集手段と、周辺情報収集手段により取得した前記周辺情報から、前記自車の運転者が行う安全確認の対象となる安全確認対象物を抽出する対象物抽出手段と、前記運転者の視線方向を検出する視線検出手段と、検出された前記安全確認対象物及び前記運転者の視線方向を用いて、運転者の視線方向から対象物までの距離又は角度に応じて、前記安全確認対象物に対する運転者の周辺視を考慮した視認度を算出する視認度算出手段と、算出された前記視認度に基づいて、安全確認の喚起又は車両の運転状態の制御を行う喚起・制御手段とを備える構成を採る。
本発明によれば、運転者の安全確認対象物の認知を、運転者の注視による安全確認対象物の認知だけでなく、周辺視を含めて正確に判定し、これを用いて走行車両の安全性を確保することができる。
本発明の実施の形態1における運転支援装置のブロック図
本発明の実施の形態1における運転支援装置において視認度算出に用いられる注視点からの角度と視認度との関係を示すテーブルの一例を示す図
本発明の実施の形態1における運転支援装置において視認度算出に用いられる注視点からの角度と視認度との関係を示すテーブルの他例を示す図
本発明の実施の形態1における運転支援装置の動作を示すフローチャート
本発明の実施の形態1に係る累積視認度算出方法の概念図
本発明の実施の形態1における運転支援装置において情報提示部により提示される情報提示の一例を示す図
本発明の実施の形態1における運転支援装置において情報提示部により提示される情報提示の一例を示す図
本発明の実施の形態2における運転支援装置のブロック図
本発明の実施の形態2における運転支援装置において周辺視野が加味された視認度を算出する際に用いられるテーブルの一例を示す図
本発明の実施の形態2における運転支援装置の動作を示すフローチャート
本発明の実施の形態3における運転支援装置のブロック図
本発明の実施の形態3における運転支援装置の動作を示すフローチャート
本発明の実施の形態3における運転支援装置において対象物分類部により対象物を分類する処理を模式的に示す図
本発明の実施の形態3における運転支援装置において対象物分類部により対象物を分類する処理を模式的に示す図
情報提示部において提示される提示情報の一例を示すものであり、累積視認度に応じた対象物群の提示の一例を示す概念図
情報提示部において提示される提示情報の別例を示すものであり、累積視認度に応じた対象物群の提示の別例を示す概念図
本発明の実施の形態2における運転支援装置の変形例を示すブロック図
本発明の実施の形態2における運転支援装置の変形例の動作を示すフローチャート
以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、本実施の形態では、走行情報提供装置を、運転手に、運転者の視認状態を走行情報として提供することで運転を支援する運転支援装置として説明する。
(実施の形態1)
図1は、本発明の実施の形態1における運転支援装置(走行情報提供装置)100の構成を示すブロック図である。
図1に示す運転支援装置100は、ここでは車両に搭載されるものであり、視線検出部110と、周辺情報収集部120と、対象物抽出部130と、視認度算出部140と、累積視認度算出部150と、提示情報処理部160と、情報提示部170とを有する。
視線検出部110は、視線情報取得部102により取得した運転者の視線情報を用いて運転者の視線方向(あるいは運転者の見ている点である注視点)を検出して、視認度算出部140に出力する。
視線情報取得部102は、運転者が実際に見ている方向を取得するものであり、運転者の視線方向を撮像するために車両内部に設置され、運転者の眼球画像を取得するアイカメラなどが適用される。この場合、視野検出部110では、アイカメラにより撮影された眼球画像を解析して、装着した被験者の眼球運動・視線を検出できるともに注視点を検出する。
なお、視線情報取得部102は、アイカメラとともに、運転者の顔面方向データを取得する指向性赤外線センサを用いてもよく、この場合、視野検出部110は、アイカメラからの顔面基準の視線方向データを指向性赤外線センサ顔面方向データの座標系に変換して合成して、運転者が実際に見ている視線方向(中心視方向)を検出すると共に、注視点を検出する。
周辺情報収集部120は、自車周辺の情報を収集するものであり、例えば、車両の周辺画像を撮像する車載カメラ、車両周囲の存在物の方向、距離及び相対速度などを検出する指向性を有する超音波センサ、車両の走行状態を検出するセンサなどにより構成され、これら収集した自車周辺の情報を周辺情報として収集し、対象物抽出部130に出力する。なお、この周辺情報収集部120は、自車周辺の情報を収集するものであれば、どのように構成されてもよい。
対象物抽出部130は、周辺情報収集部120から入力される周辺情報から、対向車両などの他車両、歩行者、二輪などの移動体や、標識・標示、信号、横断歩道、一時停止線などの交通環境対象物等といった、車両を走行中に安全確認すべき対象となる対象物を抽出して、視認度算出部140に出力する。
具体的に、対象物抽出部130は、交通環境対象物などの中心位置の相対距離、相対角度を、画像処理などにより抽出する。なお、対象物の相対角度は、対象物の中心座標などの基準点と、予め設定される自車の中心または運転座席の位置などの基準点から算出するものとする。
視認度算出部140は、視線検出部110及び対象物抽出部130から入力される情報を用いて、視線・注視点からそれぞれの対象物までの距離あるいは角度に応じて、ある一時点における対象物ごとの運転者の認識度合いを示す視認度を算出し、累積視認度算出部150に出力する。
視認度算出部140で算出される視認度は、入力される視線及び注視点に加え、視線及び注視点から算出される周辺視野も視認度を決定する基準として含まれる。周辺視野とは、瞬時に情報受容が可能な視野であり、注視点を中心に略10〜20度の範囲をいう。
言い換えれば、視認度は、注視点及び注視点近傍の視覚範囲である周辺視野を含む視野を用いた視認度合いである。
視認度算出部140は、メモリ142を備えており、このメモリ142に格納された注視点と視認度との関係を示すテーブルと、入力される視線及び注視点とで、視線及び注視点の対象物に対する視認度を算出している。
図2は、本発明の実施の形態1における運転支援装置において周辺視野が加味された視認度を算出する際に用いられるテーブルの一例を示し、視認度算出部140がメモリ142に備える注視点からの角度と視認度との関係を示すテーブルの一例を示す図である。
なお、図2において、横軸は注視点からの角度、縦軸は視認度合いを表し、グラフG1は、注視点からの角度に応じて、運転者の視認度がどのように変化するかを、連続的な値の変化として示している。このグラフG1を以下では視認度曲線G1という。
例えば、対象物Aに対する視線及び注視点が入力されると、視認度算出部140は、対象物Aの注視点からの角度が角度θAであった場合、メモリ142の視認度曲線G1を用いると、対象物Aの視認度として視認度RAが算出される。
図3は、本発明の実施の形態1における運転支援装置において周辺視野が加味された視認度を算出する際に用いられるテーブルの別例を示し、視認度算出部140がメモリ142に備える注視点からの角度と視認度との関係を示すテーブルの別例を示す図である。
図3に示すテーブルでは、注視点からの角度に対して、所定範囲毎に視認度を設定している。図3では、注視点からの角度θが、θ≦θ1を満たす対象物は視認度1.0を与え、θ1≦θ≦θ2の場合は視認度0.5を、θ≦θ2の場合は視認可能な視野の範囲外として、視認度は0としている。
これにより、視認度算出部140において、注視点から離れた周辺視野における認知も加味された視認度が算出される。
よって視線度算出部140は、対象物情報及び視線情報が入力されると、その時点における全ての対象物に対して、運転者の視認度を算出する。
累積視認度算出部150は、視認度算出部140から入力される視認度を、対象物ごとに累積して累積視認度を算出し、対象物毎の累積値として提示情報処理部160に出力する。
提示情報処理部160は、入力される対象物毎の累積値に応じて出力する提示情報を判断、変更・設定し、提示情報を情報提示部170に出力する。
提示情報処理部160は、計時部としてのタイマ162を備え、このタイマ162を用いて所定時間経過したと判定した際に、累積視認度算出部150から入力される累積視認度に対応する情報の設定、提示の処理を行う。
また提示情報処理部160は、所定時間経過したと判定した際に、入力される累積視認度を用いて、情報の提示を行なうか否かを判定する。具体的には、情報提示部170で提示されるタイミングを満たしているか否かを判定する。
また、提示情報処理部160は、視認判定部164により累積視認度の対象物に対する運転者の認知度合いを判定(視認判定)する。例えば、予め設定された基準値を用いて、累積視認度が、基準値(例えば1)以上であれば、当該累積視認度の対象物に対しては、運転者は認知していると判断し、それ未満であれば、運転者は認知していないものと判断する。
また、提示情報処理部160は、入力される累積視認度に対応して情報の提示を行う場合に、提示情報設定部166により、当該累積視認度に対応する提示情報を設定・変更し、設定・変更した提示情報を情報提示部170に出力する。つまり、提示情報処理部160は、提示情報設定部166において、安全確認対象物毎に算出された累積視認度に応じて、安全確認の喚起対象を変更する機能を有する。
なお、提示情報処理部160において設定される提示情報は、情報提示部170において提示される形態に対応するものとする。例えば、情報提示部170が、表示パネルなどを用いた表示装置である場合は、当該表示パネルに表示される表示画像として設定され、また、スピーカなどの発音装置であれば、提示情報を音声データとして設定される。
情報提示部170は、提示情報処理部160において設定された情報の提示を行い、この提示によって、運転支援装置が搭載される車両の走行に関する安全確認を喚起する。
ここでは、情報提示部170は、車両に搭載される表示パネル(表示部)を備え、車両の運転者に安全確認対象となる対象物の見落としを確認させるための表示を行うものとする。なお、この情報提示部170は、警告音、警告音声などを発して運転者に報知する発音装置により構成されてもよい。また、対向者、歩行者などに運転支援装置100が搭載される車両の運転者の見落としを報知したりする報知装置としてもよい。
これら提示情報処理部160と情報提示部170とにより、算出された視認度または累積視認度に基づいて、運転者に対して安全確認の喚起又は車両(ここでは、自車両)の運転状態の制御を行う喚起・制御部180を構成する。なお、車両の運転状態の制御を行う場合、喚起・制御部180は、累積視認度に対応して行われる視認判定に応じて、例えば、車両のブレーキ、ハンドル、アクセルなどを制御し、これにより走行車両の安全性を確保する。
喚起・制御部180が、車両の運転状態の制御を行う場合、提示情報処理部160では、提示情報設定部166は、安全確認対象物毎に算出された累積視認度に応じて、車両の運転状態の制御対象(ブレーキ、ハンドル、アクセル等)を設定したり、変更したりする。この設定・変更を用いて、喚起・制御部180は、制御対象に対して制御を行う。なお、制御対象となる車両は、ここでは自車両としたが、運転支援装置100が搭載されていない車両としてもよい。
次に、本発明の実施の形態1における運転支援装置における動作について図4を用いて説明する。図4は、本発明の実施の形態1における運転支援装置の動作を示すフローチャートである。
図4に示すように、ステップS11では、運転支援装置100を搭載した車両において、周辺情報収集部120が、走行中の自車周辺(周辺状況)の情報として周辺映像(周辺情報)をカメラなどにより収集するともに、視線検出部110が、視線情報取得部102により取得した運転者の視線情報を用いて、運転者の視線方向(及び注視点)の検出を行いステップS12に移行する。なお、この周辺状況取得と視線方向の検出は略同じタイミングで行われる。
ステップS12では、対象物抽出部130は、取得した周辺情報(周辺映像)から他車両、歩行者、二輪などの移動体や、標識・標示、信号、横断歩道、一時停止線等といった交通環境対象物等の中心位置の相対距離、相対角度を、画像処理などにより抽出してステップS13に移行する。
ステップS13では、視認度算出部140は、対象物情報及び視線情報が入力されると、その時点における全ての対象物に対して、運転者の視認度を算出してステップS14に移行する。
詳細に、ステップS13では、視認度算出部140は、入力される視線方向の角度及び、各対象物の自車に対する相対角度から、視線と対象物の角度差分(あるいは、注視点からの画像上での距離)から、ある一時点における対象物毎の視認度を算出する。
ステップS14では、累積視認度算出部150は、入力される一時点における対象物毎の視認度を、所定期間、同一対象物毎に累積して、対象物毎の累積視認度を算出して、ステップS15に移行する。
ステップS15では、提示情報処理部160は、所定時間経過したか否かを判定し、所定時間経過していれば、ステップS16に移行し、経過していなければ、ステップS17に移行して、車両の運転が終了していなければステップS11に戻る。なお、ステップS15において判定される所定時間とは、算出される視認度を累積するために予め設定された時間である。
また、ステップS17における車両運転の終了の判定は、車両のエンジンがストップしているか否か等によって行われ、エンジンが停止していれば、処理は終了する。
このように視認度算出部140及び累積視認度算出部150は、提示情報処理部160において、所定時間経過したと判定されるまで、所定時間の間、視認度の算出及び累積視認度の算出を継続する。
ここで、所定時間経過したと判定されるまで、つまり所定時間経過するまでの視認度算出部140における視認度算出処理及び累積視認度算出部150における累積視認度算出処理について説明する。
図5は運転中の注視点の変化を模式的に示す図であり、運転中の注視点の変化における視認度および、累積視認度を合わせて運転者が見る場面の一例を示した図である。
なお、ここでは、便宜上、累積視認度を算出する際に用いられる視認度は、図3に示す視認度曲線を用いて視認度算出部140によって算出されるものとする。つまり、図3に示すように、注視点からの角度θがθ≦θ1を満たす対象物は視認度を1.0、θ1≦θ≦θ2の場合は視認度を0.5、θ≦θ2の場合は視認度を0とする。
図5A、図5C、図5E、図5Gで順に示す場面は、所定期間の間、交差点31を走行しようしている車両の運転者が見る場面の一例、つまり所定期間の間における注視点の変化の一例を示している。また、図5において、運転者の注視点21、θ≦θ1を満たす範囲を中心視野22、θ1≦θ≦θ2を満たす範囲を周辺視野23とし、中心視野の視認度を1.0、周辺視野の視認度を0.5とする。
図5Aに示す場面1においては、視認度算出部140により対向車(対象物)32の視認度は0.5、歩行者(対象物)33の視認度は0として算出され、累積視認度算出部150では、算出された視認度の対象となる対象物のそれぞれの累積視認度が算出される。
この図5Aにおいて算出された視認度及び累積視認度は、図5Bに示すように、算出された対向車32の視認度0.5及び歩行者33の視認度0.0をメモリ142に記憶する。なお、このときにはまだ、それぞれの対象物の視認度は累積されていないため、このときの対向車及び歩行者の累積視認度は、対向車0.5、歩行者0.0となる。
その後、注視点21は、図5Aで示す状態から、図5Cで示す状態に変化する。ここでは、注視点21が対向車32と重なっており、運転者は対向車32を注視している。すると、これに伴い、累積視認度算出部150に、対向車32の視認度が入力され、先(図5Aの状態)における対象物毎に、同一の対象物の視認度に加算して、それぞれの累積視認度を算出する。図5Cの状態では、図5Dに示すように、視認度算出部140は、対向車32の視認度1.0、歩行者33の視認度0.0を算出し、累積視認度算出部150では、対象物毎に視認度を累積して、対向車32の視認度1.5、歩行者33の視認度0.0を算出している。
次いで、注視点21は、図5Cに示す状態から図5Eに示す状態に変化する。図5Eでは、注視点21は、ここでの例としてあげている対向車32及び歩行者33のいずれにも注視点は向けられておらず、周辺視もされていない。
よって、図5Eの状態では、図5Fに示すように、視認度算出部140は、対向車32の視認度0.0、歩行者33の視認度0.0を算出して、累積視認度算出部150では、対象物毎に視認度を累積して、対向車32の視認度1.5、歩行者33の視認度0.0を算出している。すなわち、ここでは、対向車32及び歩行者33の双方にも視認度が算出されていないため、図5Dに示す累積視認度と同じ数値(対向車の累積視認度1.5、歩行者の累積視認度0.0)となる。
その後、注視点21は、図5Eで示す状態から、図5Gで示す状態に変化する。ここでは、注視点21は、歩行者33の近傍に位置し、周辺視野23内に歩行者33が存在しているため、視認度算出部140は、対向車32の視認度0.0、歩行者33の視認度0.5を算出(図5H参照)し、累積視認度算出部150は、先(図5F)の状態における対象物毎に、同一の対象物の視認度に加算して、それぞれの路移籍視認度を算出する。図5Hに示すように、累積視認度算出部150は、対象物毎に視認度を累積、つまり、対向車0.0、歩行者0.5を先までの累積視認度1.5、0,0に累積して、対向車32の視認度1.5、歩行者33の視認度0.5を算出している。
ステップS16では、提示情報処理部160は、所定時間経過したと判定された際に入力される累積視認度に応じた情報の提示を行なうか否かを判定し、情報提示を行なわない場合にはステップS17に移行し、行う場合にはステップS18に移行する。ステップS17に移行して、車両の運転が終了していなければ、ステップS11に戻り累積視認度算出処理までを繰り返す。なお、このステップS16での判定は、運転者の視認度合いを情報提示部170により提示するタイミングであるか否かを意味する。
ステップS18では、提示情報処理部160は、累積視認度の対象物に対する運転者の視認(認知)度合いを判定してステップS19に移行する。
ステップS19では、提示情報処理部160は、対象物の認知度合いを反映させた、累積視認度に応じて提示情報を設定し、ステップS20に移行する。
ステップS20では、情報提示部170は、提示情報処理部160において設定された提示情報を運転者へ提示してステップS17に移行する。
本実施の形態では、情報提示部170として表示パネルを用いて車両の運転者に情報を提供するものとしており、提示情報処理部160では、提示情報を、表示パネルに対象物毎の累積視認度に対応して設定して表示されるものとする。ここでは、提示情報は、表示パネルに、安全確認の対象となる対象物に色を重畳して表示されて、当該対象物の認識度合いを示すものとする。これを受けて情報提示部170は、表示パネルに表示される視認度合いを示す提示情報に対して、累積視認度に応じて提示色を変更している。
図6及び図7は、本発明の実施の形態1における運転支援装置において情報提示部170により提示される情報提示の一例を示す図である。
なお、これら図6及び図7で示される提示情報は、情報提示の対象となる対象物に対する運転者の認知、不認知で異なる色で設定されるものとする。なお、ここでの、対象物に対する運転者の認知、不認知は、提示情報処理部160において、対象物毎の累積視認度が所定の基準値を超えているか否かで判定される。つまり、提示情報処理部160において、累積視認度が所定の基準値を超えている場合には、運転者は対象物を認知しているものと判定され、超えていない場合に、認知していないものと判定される。
図6に示すように、情報提示部170は、横断歩道41上の歩行者(対象物)42〜44については、運転者が認知していると判断して、薄い青色などの注意喚起の少ない色で対象物を強調表示する。なお、このように累積視認度が所定の基準値を超えている対象物であって運転者が認知しているものと判断された対象物については、情報の提示を行わなくてもよい。図6において、情報提示部170は、累積視認度が所定の基準値を満たしていない歩行者(対象物)45については、赤などの運転者の注意を引きやすい色で対象物を強調表示する。
これにより、運転支援装置100では、運転者の視認度が低い対象物ほど、強調して表示して、運転者へ視認させ、運転者に対する安全確認を促すことができる。
また、提示情報処理部160において、累積視認度の数値を、そのまま運転者の認識度合いと見なし、視認度の基準値を設けない場合、視認度にあわせた色の濃淡によって表示しても良い。なお、図7では、情報提示部170は、交差点36において、信号(対象物)48及び対向車(対象物)49は、累積視認度が高いため、青色で表示しており、横断歩道47を渡る累積視認度が低い歩行者(対象物)46を強調して表示している。
尚、運転中は、周辺状況取得から情報提示までのフローチャートに示す処理は、任意のタイミングで連続的に実行されている。
本実施の形態によれば、車両走行中に運転者が、安全確認の必要な対象物を認知しているか否かを、運転者の注視点を含む中心視野に加えて、注視点周辺の範囲の周辺視野も含めた視野によって判定している。これにより、運転者が見る対象物の認知、不認知の判定を正確に行うことができる。
また、安全確認の必要な対象物を認知していない場合に、その旨の情報を運転者に提示することによって、運転者は、自身が見落としている対象物に対する安全確認を喚起されて、当該対象物に対する確認を行うことができ、車両走行中において、歩行者などとの衝突を防ぎ、車両の安全性を向上させることができる。
(実施の形態2)
図8は、本発明の実施の形態2における運転支援装置200のブロック図である。なお、この実施の形態2における運転支援装置200は、図1に示す実施の形態1に対応する運転支援装置100と同様の基本的構成を有しており、同一の構成要素には同一の符号を付し、その説明を省略する。
この運転支援装置200では、運転支援装置100と比較して異なる点は、視認度算出部240において算出される視認度であり、運転支援装置200において算出される視認度には、運転者毎に異なる要素が加味されることである。
つまり、運転支援装置200では、対象物に対して算出する視認度に、運転者の視覚特性に影響を与える各要因を加味して算出するものである。
視覚特性に影響を与える要因として、運転者の年齢等の静的な運転者属性情報があり、例えば、年齢が高ければ高いほど、例えば、運転者の注視点を中心として視認できる範囲、ここでは周辺視野は狭くなることが考えられる。
また、同様に、運転者の視覚特性に影響を与える要因として、運転者の覚醒度合い、自車周辺の注意を払うべき対象物の数、天気・明るさなどが考えられる。
具体的には、覚醒時の運転時には、自車前方の広い範囲を視線が移動するのに対し、漫然運転などの覚醒度の低下時には、視線の移動範囲が中心付近に集中することが、これまでの研究で明らかになっている(参考文献:”Detection System of Gaze Direction for Excessive Concentration through Cellular Phone Use and Inattention” Shinji Mita,2002年ITS世界会議論文)。そこで、視線移動により覚醒度合いを推定し、覚醒度に応じて視認度を変更することで、運転者状態に応じた視認度の算出が可能となる。
また、車両運転時、自車周辺の注意を払うべき対象物数が多くなると、周辺視できる範囲も狭くなることがこれまでの研究で明らかになっている(参考文献:「ドライバの視覚的注意特性」自動車技術、Vol.58,No.12,2004)。そこで、自車周辺の対象物の数に応じて視認度を変更することで、環境情報に応じた視認度の算出が可能となる。さらに、運転者の視覚特性に影響を与える可能性のある、渋滞度合い、天気、明るさなどの環境情報を加味して、視認度を変更してもよい。
このようにして、運転者の覚醒度合い、自車周辺の車両数、渋滞度合い、天気、明るさなどの交通環境に応じて視認度を変更することで、運転者状態、環境情報に応じた視認度の算出が可能となる。
図8において、運転支援装置200は、図1における構成要素に加え、運転者情報操作入力部210と、運転者状態検出部220と、環境情報収集部230とを有する。
運転者情報操作入力部210は、運転者の年齢、性別、運転歴、違反歴などの運転者に関わる静的な情報である運転者属性情報が操作により入力されるものであり、入力された運転者属性情報を視認度算出部240に出力する。これら静的な運転者属性情報は、運転者の視野特性を設定、変更するパラメータとなる。
運転者状態検出部220は、運転者の視野特性に影響を与える運転者の動的な属性情報を検出するものであり、例えば、動的な属性情報としての運転者の覚醒度合いを検出して視認度算出部240に出力する。具体的には、運転者状態検出部220は、アイカメラ等、運転者の視線移動を検出するものが挙げられる。この動的な運転者属性情報は、運転者の視野特性を設定、変更するパラメータとなる。
環境情報収集部230は、運転者の静的、動的な属性以外に運転者の視野特性に影響を与える環境情報、例えば、自車周辺の車両数、渋滞度合い、天気、明るさなどの交通環境を収集して取得し、視認度算出部240に出力する。この環境情報収集部230は、無線通信などで各情報が入力される構成としても良いし、自車周辺の環境状況を撮像するカメラなどを用いて情報を収集する構成としても良い。これら運転者が運転する車両周辺の環境状況は、運転中の視野特性を設定、変更するパラメータとなる。
視認度算出部240は、図1に示す視認度算出部140と同様に、視線検出部110から運転者の視線方向、注視点の情報が入力され、対象物抽出部130から安全確認に必要となる対象物の情報が入力される。
視認度算出部240には、更に、運転者の属性情報、運転者の覚醒度合い等の運転者における動的な情報、自車周辺の車両数、渋滞度合い、天気、明るさなどの交通環境情報が入力される。
これら入力される情報を用いて、視認度算出部240は、運転者の視線・注視点からそれぞれの対象物までの距離あるいは角度に応じて、ある一時点における対象物ごとの運転者の認識度合いを示す視認度を算出し、累積視認度算出部150に出力する。
換言すれば、視認度算出部240は、視線方向の角度、対象物の自車に対する相対角度に加えて、運転者情報、運転者状態、交通環境を用いて、対象物ごとの視認度を算出して、累積視認度算出部150に出力する。
視認度算出部240で算出される視認度は、実施の形態1と同様に、入力される視線及び注視点に加え、視線及び注視点から算出される周辺視野も視認度を決定する基準として含まれる。周辺視野は、上述したように瞬時に情報受容が可能な視野であり、注視点を中心に略10〜20度の範囲とする。
具体的に、視認度算出部240は、メモリ242を備えており、このメモリ242に格納された注視点と視認度との関係を示すテーブルと、入力される視線及び注視点とで、視線及び注視点の対象物に対する視認度を算出している。
視認度算出部240が、メモリ242に格納するテーブルは、運転者情報操作入力部210と、運転者状態検出部220と、環境情報収集部230とから入力される情報に基づいて視認度を変更可能とするものである。その一例として、視認度を、年齢により変更して設定する処理について図9を用いて説明する。
図9は、本発明の実施の形態2における運転支援装置200において周辺視野が加味された視認度を算出する際に用いられるテーブルの一例を示す。図9は、視認度算出部240がメモリ242に備える運転者の年齢に応じたグラフ(視認度曲線)G2〜G4を示し、注視点からの角度と視認度との関係を示すテーブルの一例を示す図である。なお、図9において、0は注視点、横軸は注視点0からの角度、縦軸は視認度を表し、グラフ(視認度曲線)G2〜G4は、それぞれ注視点からの角度に応じて、運転者の視認度がどのように変化するかを示している。
図9では、視認度曲線G2は20代のドライバの視認度曲線、視認度曲線G3は40代のドライバの視認度曲線、視認曲線G4は60代のドライバの視認度曲線と定義する。このように年齢に応じた視認度曲線G2〜G4を用いると、対象物Aの注視点からの角度θAで運転者年齢が40歳の場合、対象物Aに対する視認度はR2と算出される。同様に、対象物Aの注視点からの角度θAで運転者年齢が20歳の場合、対象物Aに対する視認度はR1と算出され、同様の条件において算出される視認度は、40歳のそれより高くなる。
このようにして、視認度算出部240は、年齢に応じた対象物の視認特性を加味した上で、視認度の算出を行う。これにより、実際に運転する運転者及び運転者の運転状況に適格に対応して、運転者の視認度を正確に算出できる。
また、同様に、運転者状態検出部220から入力される、動的な属性情報としての運転者の覚醒度合いを加味する場合、覚醒度合いが低い場合には、覚醒度合いが通常の場合よりも勾配が急な視認度曲線を用いる。
例えば、図9のテーブルを用いる場合、運転者が20代の年齢の年齢である静的属性情報が入力された場合でも、視認度算出部240は、視認度曲線G2を用いずに、覚醒の低さ度合いに応じて、視認度曲線G2よりも勾配が急な視認度曲線G3、G4を用いて視認度を算出するような構成にする。
また、同様に、環境情報収集部230から、自車周辺の注意を払うべき情報が入力された場合、例えば、交通環境情報として自車周辺の車両数が多く、渋滞が緩やか、天気として曇りや雨で周辺が所定の明るさ(昼間)よりも暗いことを示す情報が入力された場合、通常時に用いられる視認度曲線よりも勾配が急な視認度曲線を用いる等する。
具体的には、実写周辺の注意を払うべき対象物の数としての自車周辺の車両数が10台以上や5台以上の場合、図9を適用すれば、運転者が20代の年齢であることを示す静的な運転者属性情報が入力された場合でも、視認度算出部240は、視認度曲線G2を用いずに、視認度曲線G2よりも勾配が急な視認度曲線G3、G4を用いて視認度を算出するような構成となる。
ここで、図10を用いて運転支援装置200の動作について説明する。
図10は、本発明の実施の形態2における運転支援装置の動作を示すフローチャートである。
図10に示すように、運転支援装置200を搭載した車両では、先ず、ステップS21において、運転者情報操作入力部210は、運転開始時あるいはシートの着席時に、運転者の操作によって、運転者の年齢、性別、運転歴、違反歴等の静的な運転者情報である運転者属性情報である運転者情報が入力され、これらの運転者属性情報を取得してステップS22に移行する。
ステップS22では、周辺状況収集部120が、走行中の自車周辺の情報として周辺映像(周辺情報)をカメラなどにより収集するとともに、視線検出部110が、視線情報取得部102により取得した運転者の視線情報を用いて、運転者の視線方向(及び注視点)の検出を行いステップS23に移行する。なお、この周辺状況取得と視線方向の検出は略同じタイミングで行われる。
ステップS23では、対象物抽出部130は、取得した周辺情報(周辺映像)から他車両、歩行者、二輪などの移動体や、標識・標示、信号、横断歩道、一時停止線等といった交通環境対象物等の中心位置の相対距離、相対角度を、画像処理などにより抽出してステップS24に移行する。
ステップS24では、運転者状態検出部220により運転者状態(ここでは運転者の覚醒度合い)を取得するとともに、環境情報収集部230により自車周辺の車両数、渋滞度合い、天気、明るさなどの交通環境を取得して、ステップS25に移行する。
ステップS25では、視認度算出部240は、対象物情報、視線情報、運転者状態(覚醒度合い)情報及び交通環境情報が入力されると、その時点における全ての対象物に対して、運転者の視認度を算出してステップS26に移行する。
詳細に、ステップS25では、視認度算出部240は、入力される視線方向の角度、対象物の自車に対する相対角度に加えて、運転者情報、運転者状態、交通環境を用いて、視線と対象物の角度差分(あるいは、注視点からの画像上での距離)から、ある一時点における対象物毎の視認度を算出する。
ステップS26では、累積視認度算出部150は、入力される一時点における対象物毎の視認度を、所定期間中、同一対象物毎に累積して、対象物毎の累積視認度を算出してステップS27に移行する。
ステップS27では、提示情報処理部160は、所定時間経過したか否かを判定し、所定時間経過していれば、ステップS28に移行し、経過していなければ、ステップS29に移行する。ステップS29において車両の運転が終了していなければステップS22に戻る。なお、ステップS27において判定される所定時間とは、算出される視認度を累積するために予め設定された時間である。
つまり、視認度算出部240及び累積視認度算出部150は、提示情報処理部160において、所定時間経過したと判定されるまで、所定時間の間、視認度の算出及び累積視認度の算出を継続する。なお、所定時間経過したと判定されるまで、つまり所定時間経過するまでの、視認度算出部240及び累積視認度算出部150の処理は、上述の視認度算出部140における視認度算出処理及び累積視認度算出部150における累積視認度算出処理と同様であるため説明は省略する。
ステップS28では、提示情報処理部160は、所定時間経過したと判定された後、入力される安全確認すべき対象物毎の累積視認度(累積値)に応じた情報の提示を行なうか否かを判定する。
ステップS28において、情報提示を行なわない場合にはステップS29に移行し、行う場合にはステップS30に移行する。なお、ステップS29に移行して、車両の運転が終了していなければ、運転支援装置200は、ステップS22に戻り累積視認度算出処理までを繰り返す。
ステップS30では、情報提示制御部160は、累積視認度の対象物に対する運転者の視認(認知)度合いを判定する。
このステップS30では、例えば、予め設定された基準値を用いて、累積視認度が、基準値(例えば1)以上で有れば、当該累積視認度の対象物に対しては、運転者は認知(視認)していると判断し、それ未満であれば、運転者は認知(視認)していないものと判断する。このような運転者の視認判定が行われた後、ステップS31へ移行する。
ステップS31では、情報提供制御部160は、対象物の認知度合いを反映させた、累積視認度に応じて提示情報を設定し、ステップS32に移行する。
ステップS32では、情報提示部170は、提示情報処理部160において設定された提示情報を運転者へ提示してステップS29に移行する。尚、運転中は、周辺状況取得から、情報提示までの処理は、任意のタイミングで連続的に実行されているものとする。
本運転支援装置200では、静的な運転者属性情報、運転者状態情報(動的な運転者属性情報)である運転者の覚醒度合い、交通環境(周辺環境)情報等の、運転者の視覚特性に影響を及ぼす各要因を加味して、対象物に対する視認度を算出している。
これにより、運転者に提供される情報として、運転者の安全確認を必要とする対象物の見落としなどを、運転者の実際の運転状態も加味して、より正確に提供して、安全確認を喚起することができる。
(実施の形態2の変形例)
図17は、本発明の実施の形態2における運転支援装置200aの変形例を示すブロック図である。なお、この実施の形態2における運転支援装置200aは、図8に示す実施の形態2に対応する運転支援装置200の構成に注視度算出部250を加えたものである。運転支援装置200aの他の構成要素は、運転支援装置200のものと同様のものであり、同様の機能を有する。したがって、同一の構成要素には同一の符号を付し、その説明を省略する。
この運転支援装置200aでは、運転支援装置100と比較して異なる点は、視認度算出部240において算出される視認度であり、運転支援装置200aにおいて算出される視認度には、運転者毎に異なる要素が加味されることである。
つまり、運転支援装置200では、対象物に対して算出する視認度に、運転者の視覚特性に影響を与える各要因を加味して算出するものである。
視覚特性に影響を与える要因として、運転者の年齢等の静的な運転者属性情報があり、例えば、年齢が高ければ高いほど、例えば、運転者の注視点を中心として視認できる範囲、ここでは周辺視野は狭くなることが考えられる。
また、同様に、運転者の視覚特性に影響を与える要因として、運転者の覚醒度合いや対象物への注視度合い、自車周辺の注意を払うべき対象物の数、天気・明るさなどが考えられる。
具体的には、覚醒時の運転時には、自車前方の広い範囲を視線が移動するのに対し、漫然運転などの覚醒度の低下時には、視線の移動範囲が中心付近に集中することが、これまでの研究で明らかになっている(参考文献:”Detection System of Gaze Direction for Excessive Concentration through Cellular Phone Use and Inattention” Shinji Mita,2002年ITS世界会議論文)。そこで、視線移動により覚醒度合いを推定し、覚醒度に応じて視認度を変更することで、運転者状態に応じた視認度の算出が可能となる。
また、車両運転時、自車周辺の注意を払うべき対象物数が多くなると、周辺視できる範囲も狭くなることがこれまでの研究で明らかになっている(参考文献:「ドライバの視覚的注意特性」自動車技術、Vol.58,No.12,2004)。そこで、自車周辺の対象物の数に応じて視認度を変更することで、環境情報に応じた視認度の算出が可能となる。さらに、運転者の視覚特性に影響を与える可能性のある、渋滞度合い、天気、明るさなどの環境情報を加味して、視認度を変更してもよい。
また、道路脇の歩行者に気を取られて先行車両に気づくのが遅れるというように、運手時に特定の対象物の確認に集中すると、周辺に対する注意力が低下し、周辺視野が狭くなることがある。そこで、このような場合にも対象物への視認を正確に判定し、運転者に警報を与えるために、対象物への注視度合いに応じて視認度を変更してもよい。
このようにして、運転者の覚醒度合いや対象物への注視度合い、自車周辺の車両数、渋滞度合い、天気、明るさなどの交通環境に応じて視認度を変更することで、運転者状態、環境情報に応じた視認度の算出が可能となる。
図17において、運転支援装置200は、図8における構成要素に加え、注視度算出部250を有する。
注視度算出部250は、対象物に対する運転者の注視度合いを算出し、視認度算出部240に出力する。この注視度算出部は、累積視認度算出部で対象物ごとに算出されている累積視認度の最大値(最も注視している対象物の累積視認度)を用いる。累積視認度は、所定時間内での注視度合いを示す指標であるため、最大値が大きいほど、一つの対象物に集中して注視しており、周辺の対象物への注意力が低下している可能性が高いと考えられる。
また、特定の対象物を注視時には、所定時間内の運転者の視線移動が小さくなることから、アイカメラなどで検出した視線方向から、所定時間内の視線移動量を算出し、小さいほど対象物に対する注視度合いが高いと判定しても良い。
以上のようにして動的に算出される注視度は、運転者の視野特性を設定、変更するパラメータとなる。
運転支援装置200aにおける視認度算出部240は、注視度算出部250からの注視度合いが入力される点を除き、運転支援装置200の視認度算出部240と同様の機能を有する。
特に、運転支援装置200aにおける視認度算出部240は、図1に示す視認度算出部140と同様に、視線検出部110から運転者の視線方向、注視点の情報が入力され、対象物抽出部130から安全確認に必要となる対象物の情報が入力される。
視認度算出部240には、更に、運転者の属性情報、運転者の覚醒度合い、対象物への注視度合い等の運転者における動的な情報、自車周辺の車両数、渋滞度合い、天気、明るさなどの交通環境情報が入力される。
これら入力される情報を用いて、視認度算出部240は、運転者の視線・注視点からそれぞれの対象物までの距離あるいは角度に応じて、ある一時点における対象物ごとの運転者の認識度合いを示す視認度を算出し、累積視認度算出部150に出力する。
換言すれば、視認度算出部240は、視線方向の角度、対象物の自車に対する相対角度に加えて、運転者情報、運転者状態(覚醒度合い、注視度合いを含む)、交通環境を用いて、対象物ごとの視認度を算出して、累積視認度算出部150に出力する。
この視認度算出部240における視認度算出は、上述したように、メモリ242に格納された注視点と視認度との関係を示すテーブルと、入力される視線及び注視点とで、視線及び注視点の対象物に対する視認度を算出している。
視認度算出部240は、視認度算出を、運転支援装置200のものと上述と同様にテーブルを用いて行うことに加えて、運転者が特定対象物に集中して注視している場合、図9を適用すれば、運転者が20代の年齢であることを示す静的な運転者属性情報が入力された場合でも、特定の対象物の確認に集中して周辺視野が狭まっていることが推定される場合、視認度算出部240は、視認度曲線G2を用いずに、視認度曲線G2よりも勾配が急な視認度曲線G3、G4を用いて視認度を算出するような構成となる。
ここで、運転支援装置200において、注視度算出部250も用いた場合の動作を説明する。
図18は、本発明の実施の形態2の変形例における運転支援装置の動作を示すフローチャートである。
なお、図18に示す処理は図10に示す処理において、ステップS24とステップS25の間にステップS33の処理を行う点のみ異なり、その他のステップでは同様の処理を行う。したがって、異なる点のみ説明し図10と同様の動作についての説明は省略する。
図18において、ステップS24では、運転者状態検出部220により運転者状態(ここでは運転者の覚醒度合い)を取得するとともに、環境情報収集部230により自車周辺の車両数、渋滞度合い、天気、明るさなどの交通環境を取得して、ステップS33に移行する。
ステップS33では、注視度算出部250より注視度を算出する。注視度は、既に累積視認度が算出されていれば累積視認度の最大値を基に、または、アイカメラで検出された視線方向から算出された視線移動量を基に算出し、ステップS25に移行する。
ステップS25では、視認度算出部240は、対象物情報、視線情報、運転者状態(覚醒度合い)情報及び交通環境情報、注視度が入力され、これらを用いて、その時点における全ての対象物に対して、運転者の視認度を算出してステップS26に移行する。
詳細に、ステップS25では、視認度算出部240は、入力される視線方向の角度、対象物の自車に対する相対角度に加えて、運転者情報、運転者状態、交通環境、注視度を用いて、視線と対象物の角度差分(あるいは、注視点からの画像上での距離)から、ある一時点における対象物毎の視認度を算出する。
以下同様処理を行い、本運転支援装置200では、静的な運転者属性情報、運転者状態情報(動的な運転者属性情報)である運転者の覚醒度合い、交通環境(周辺環境)情報、注視度等の、運転者の視覚特性に影響を及ぼす各要因を加味して、対象物に対する視認度を算出している。これにより、運転者に提供される情報として、運転者の安全確認を必要とする対象物の見落としなどを、運転者の実際の運転状態も加味して、より正確に提供して、安全確認を喚起することができる。
(実施の形態3)
図11は、本発明の実施の形態3における運転支援装置300のブロック図である。なお、この実施の形態3における運転支援装置300は、図1に示す実施の形態1に対応する運転支援装置100と同様の基本的構成を有している。このため、同一の構成要素には同一の符号を付し、その説明を省略する。
この運転支援装置300は、運転支援装置100の構成に、対象物分類部310を更に加えて構成されている。
対象物分類部310は、対象物抽出部130で抽出された複数の対象物を、対象物の種別、距離、速度等の属性により、いくつかのグループ(対象物群)に分類して、分類したグループ(対象物群)の情報を視認度算出部340に出力する。
視認度算出部340は、視線検出部110及び対象物分類部310から入力される情報を用いて、視線・注視点からそれぞれの対象物までの距離あるいは角度に応じて、ある一時点における全ての対象物に対する対象物のグループ毎に対する運転者の認識度合いを示す視認度を算出し、累積視認度算出部350に出力する。
視認度算出部340で算出される視認度は、入力される視線及び注視点に加え、視線及び注視点から算出される周辺視野も視認度を決定する基準として含まれる。なお、周辺視野は、上述したように、瞬時に情報受容が可能な視野であり、注視点を中心に略10〜20度の範囲をいう。
視認度算出部340は、メモリ342を備えており、このメモリ342に格納された注視点と視認度との関係を示すテーブルと、入力される視線及び注視点とで、視線及び注視点の対象物のグループに対する視認度を算出している。
累積視認度算出部350は、視認度算出部340から入力される一時点における全ての対象物群毎の視認度を、所定時間の間、対象物群ごとに累積して累積視認度を算出し、対象物毎の累積値として提示情報処理部160に出力する。
次に、本発明の実施の形態3における運転支援装置300における動作について図12を用いて説明する。図12は、本発明の実施の形態3における運転支援装置300の動作を示すフローチャートである。
図12に示すように、ステップS51では、運転支援装置300を搭載した車両において、周辺情報収集部120が、走行中の自車周辺(周辺状況)の情報として周辺映像(周辺情報)をカメラなどにより収集するともに、視線検出部110が、視線情報取得部102により取得した運転者の視線情報を用いて、運転者の視線方向(及び注視点)の検出を行いステップS52に移行する。なお、この周辺状況取得と視線方向の検出は略同じタイミングで行われる。
ステップS52では、対象物抽出部130は、取得した周辺情報(周辺映像)から他車両、歩行者、二輪などの移動体や、標識・標示、信号、横断歩道、一時停止線等といった交通環境対象物等の中心位置の相対距離、相対角度を、画像処理などにより抽出してステップS53に移行する。
ステップS53では、対象物分類部310が、対象物抽出部130にて抽出された複数の対象物を、対象物の属性(対象物の種別、距離、速度)を用いて、グループ(対象物群)に分類して、ステップS54に移行する。
ここで、対象物分類部310が、抽出された対象物から対象物群を抽出する対象物分類処理の概要を説明する。
図13及び図14は、本発明の実施の形態3における運転支援装置300において対象物分類部310により対象物を分類する処理を模式的に示す図である。
図13は、自車が左折する場面50であり、対象物(歩行者51〜55)の距離に応じて対象物を分類する例を示したものである。図13Aに示すように、歩行者55とともに、横断歩道56上における複数の歩行者51〜54が対象物抽出部130において抽出されている。
この場面において対象物抽出部130により抽出された対象物(特に、複数の歩行者51〜54)を、対象物分類部310では、対象物(特に、複数の歩行者51〜54)同士の中心間の距離が一定値以下の物を同一群と見なす。これにより、対象物分類部310では、図13Bに示すように歩行者群61、62が抽出される。
また、図14は、自車が右折する場面70であり、対象物71〜77の種別に応じて対象物を分類する例を示したものである。
図14Aに示す状態では、歩行者(対象物)71〜73、信号機(対象物)74、対向車(対象物)75〜77が対象物抽出部130において抽出されている。
この場面において対象物抽出部130により抽出された対象物71〜77を、対象物分類部310では、対象物の種別(歩行者、車両、交通設備)に着目して分類し、さらに対象物の中心間の距離が一定値の物を同一群と見なす。これにより、対象物分類部310では図14Bに示す歩行者群81、信号機群82、対向車群(対象物群)83が抽出される。
また、対象物分類部310では、対象物間の距離、対象物の種別に加え、対象物の移動速度が近いものを同一群と見なしても良い。
さらに、自車あるいは自車の予測される軌道に対して、接近してくるもの、遠ざかるもの同士を同一群と見なし、対象物をグループ化しても良い。また、対象物の存在する角度を用いて、所定の角度内に存在する対象物をグループ化する、などしても良い。
このように、対象物分類部310において、類似する対象物をグルーピングすることによって、このグルーピングした対象物に対して視認判定が行われることになる。よって、互いに接近している対象物毎に視認判定が行われる場合と比較して、煩雑な警報が低減されることになる。
ステップS54では、視認度算出部340は、対象物のグループ(対象物群)の情報及び視線情報が入力されると、分類された対象物群の全てに対して、対象物群毎に対する運転者の視認度を算出してステップS55に移行する。
詳細に、ステップS54では、視認度算出部340は、入力される視線方向の角度及び、対象物群の自車に対する相対角度から、視線と対象物群の角度差分(あるいは、注視点からの画像上での距離)から、ある一時点における対象物群毎の視認度を算出する。
ステップS55では、累積視認度算出部350は、入力される一時点における対象物群毎の視認度を、所定期間、同一対象物毎に累積して、対象物群毎の累積視認度を算出して、ステップS56に移行する。
ステップS56では、提示情報処理部160は、所定時間経過したか否かを判定し、所定時間経過していれば、ステップS57に移行し、経過していなければ、ステップS58に移行する。なお、ステップS56において判定される所定時間とは、算出される視認度を累積するために予め設定された時間である。
また、ステップS58では、車両の運転が終了した否かの判定、例えば、車両のエンジンがストップしているか否か等によって行われる。ステップS58では、運転が終了していなければ、つまりエンジンが停止していなければ、ステップS51に戻り、運転が終了、つまり、エンジンが停止していれば、処理は終了する。
このように視認度算出部340及び累積視認度算出部350は、提示情報処理部160において、所定時間経過したと判定されるまで、所定時間の間、対象物群に対する視認度の算出及び累積視認度の算出を継続する。
ステップS57では、提示情報処理部160は、所定時間経過したと判定された際に入力される累積視認度に応じて情報の提示を行なうか否かを判定し、情報提示を行なわない場合にはステップS58に移行し、行う場合にはステップS59に移行する。ステップS58に移行して、車両の運転が終了していなければ、ステップS51に戻り累積視認度算出処理までを繰り返す。
ステップS59は、提示情報処理部160は、累積視認度の対象物群に対する運転者の視認(認知)度合いを判定してステップS60に移行する。
ステップS60では、提示情報処理部160は、対象物群の認知度合いを反映させた、累積視認度に応じて提示情報を設定し、ステップS61に移行する。
ステップS61では、情報提示部170は、提示情報処理部160において設定された提示情報を運転者へ提示してステップS58に移行する。
本実施の形態では、情報提示部170として表示パネルを用いて車両の運転者に情報を提供するものとしており、提示情報処理部160では、提示情報を、表示パネルに対象物群毎の累積視認度に対応して設定して表示されるものとする。ここでは、提示情報は、表示パネルに、安全確認の対象となる対象物群に色を重畳して表示(例えば、図13B、14B参照)されて、当該対象物の認識度合いを示すものとする。これを受けて情報提示部170は、表示パネルに表示される視認度合いを示す提示情報を、累積視認度に応じて提示色変更する。
図15は、情報提示部170において提示される提示情報の一例を示すものであり、累積視認度に応じた対象物群の提示の一例を示す概念図である。なお、図15では、抽出される対象物群に対して累積視認度を算出し、累積視認度に応じて色を変えて、情報提示部170の表示パネルを用いて表示画面90、93として提示した場合を示す。
図15Aの表示画面90では、提示情報処理部160により対象物群として抽出された2つの対象物群である第1歩行者群91、第2歩行者群92が表示されている。
これら第1歩行者群91と第2歩行者群92とはそれぞれ異なる色にて表示(提示)されており、ここでは、より安全確認を行う必要のある第1歩行者群91を赤色、運転者が視認しており特に注意を払う必要のない第2歩行者群92を青色で表示している。
つまり、運転者は、第1歩行者群91に対しては視認しておらず、第2歩行者群92に対しては視認している。
なお、これら歩行者群91、92は、対象物分類部310においてそれぞれ対象物群として抽出され、視認度算出部340にて、対応する視認度が算出される。これら算出された視認度を用いることにより、累積視認度算出部350は、第1歩行者群91、第2歩行者群92のそれぞれの累積視認度が算出される。そして、これら累積視認度を判定して、提示情報処理部160は、それぞれ異なる色の形態で表示されるように提示情報を設定する。
また、図15Bの表示画面93では、提示情報処理部160により対象物群として抽出された3つの対象物群である第3歩行者群(対象物群)94、対向車群(対象物群)95及び信号機群(対象物群)96が表示されている。
第3歩行者群94、対向車群95及び信号機群96は、累積視認度に対応してそれぞれ異なる色にて表示(提示)されている。ここでは、より安全確認を行う必要のある第3歩行者群94を赤色、運転者が視認しており特に注意しなくてもよい対向車群95及び信号機群96を青色で表示している。
このように、このように情報提示部170の表示パネル90、93では、情報提示部170によって、対象物群ごとに累積視認度に応じた情報提示が行われる。
このため、運転者がどの対象物群を確認すべきかを把握することができる。なお、図15Aでは、第2歩行者群92よりも第1歩行者群91を把握すべきものとし、図15Bでは、対向車群95及び信号機群96よりも、第3歩行者群94を把握すべきものとしている。
また、情報提示部170として運転者に視認させる表示パネルを用いた場合において、運転支援装置300では、対象物群を複数の区間に分割し、分割された区間ごとに累積視認度を算出しても良い。
これにより、グルーピングした対象物群内部においても、どの部分の視認度が低いかを運転者が把握することができる。
例えば、分割する方法としては、対象物分類部310にて抽出した対象物群を、上下左右に4分割するなどしても良いし、画素単位に分割し、各画素について累積視認度を算出することで、グルーピングした対象物群の内部においても、どの部分の視認度が低いかを運転者が直感的に把握することができる。
図16は、情報提示部170において提示される提示情報の別例を示すものであり、累積視認度に応じた対象物群の提示の別例を示す概念図である。
図16Aの表示画面97aでは、抽出された対象物群として対象物群98a、99aが表示されている。これら対象物群98a、99aは、それぞれを構成する画素について累積視認度が算出され、算出された累積視認度に対応して、視認判定が行われ、視認していない対象物群98a内の詳細な視認度を赤色のグラデーション表示(色の連続的な変化により表示)している。
また、図16Bの表示画面97bでは、抽出された対象物群として対象物群98c、98d、98eが表示されている。これら対象物群98c、98d、98eは、それぞれを構成する画素について累積視認度が算出され、算出された累積視認度に対応して、視認判定が行われ、視認していない対象物群98c内の詳細な視認度を赤色のグラデーション表示(色の連続的な変化により表示)している。
つまり、運転支援装置300では、抽出された対象物群を構成する画素について累積視認度を算出する。これら算出された累積視認度に応じて、提示情報処理部160によって、対象物群内の詳細な視認度をグラデーション表示する。
これにより、図16に示す表示画面97a、97bのように、対象物群内部についても累積視認度に応じて色分けして表示されるため、対象物群のどの部分を確認すべきかを即座に把握することが可能となる。
なお、運転支援装置300において、対象物群内の視認度をグラデーション表示する際には、上述したように、安全確認の対象となる複数の対象物を対象物群にグルーピングしてから対象物群を分割して累積視認度を算出して表示してもよいが、これに限らない。例えば、個々の対象物に対して累積視認度を算出した後、表示の際に対象群を生成し、個々の累積視認度を加味してグラデーション表示を行うようにしてもよい。
この場合、運転支援装置100の構成において、提示情報処理部160が、対象物分類部310と同様の機能を有する構成とする構成が考えられる。この構成では、提示情報処理部160は、累積視認度算出部150から入力される対象物毎の累積視認度に対応して、情報提示情報としての表示形態(例えば、累積視認度が、比較される閾値より小さくなるにつれ色が濃くなるグラデーション)を設定する。
なお、運転中は、周辺状況取得から、情報提示までの処理は、任意のタイミングで連続的に実行されているものとする。
また、各実施の形態の運転支援装置100、200、300では、情報提示部170が情報提示を行う際には、表示パネルとしてカーナビゲーションなどの車載機の表示パネルを用い、この表示パネルの画面に前方映像を表示し、その画像上に視認度に応じた情報提示を行うものとする。
また、情報提示部170として、実際の景色に合わせてナビゲーション情報や道路情報などをフロントガラス越しに表示するウィンドシールドディスプレイを利用して、フロントガラス越しに視認度に応じた情報提示を行っても良い。
各実施の形態によれば、注視点による認知だけでなく、周辺視による認知も考慮して、対象物を見ている/見ていないを判定することが可能になり、結果として煩雑な警報を低減することが可能となる。
また、対象物群に対する視認判定を行なうことができ、交差点右折時の横断歩道上の多数の歩行者など、注視が必要な対象物が多数存在する場合でも、個々の対象物に対する警報を提示することなく、対象物群に対する警報を提示することができるため、結果として煩雑な警報を低減することができる。
また、各実施の形態の運転支援装置100、200、300において情報提示部170による情報提示を表示パネルを用いたものとしたが、これに限らず、上述した提示情報を音声により運転者に提供するものとしてもよい。また、音声及び表示によって情報提示を行うものとしてもよい。
さらに、各実施の形態の運転支援装置100、200、300では、情報提示部170は、運転支援装置100、200、300をそれぞれ搭載した車両の運転者に対して提示するものとしたがこれに限らない。つまり、運転者の視認状態によって、当該運転者が運転する車両と衝突の可能性がある対象に安全確認を喚起させる構成としてもよい。例えば、喚起・制御部180における情報提示部170を通信部とし、運転者の視認状態を無線通信を介して外部装置に提示する構成とする。この構成によって、当該運転者が乗車する車両と衝突の可能性がある歩行者や、対向車の運転者に対して情報を提示するようにしてもよい。これにより、当該運転者が乗車する車両と衝突の可能性がある歩行者や、対向車の運転者側から、当該運転者の視認度合いを確認でき、視認度合いが判定される運転者が運転する車両の安全性を確保することができる。
また、各実施の形態において、情報提示部170に変えて、提示情報処理部160において設定された提示情報に対応して車両の駆動を制御する構成要素を有する喚起・制御部180としてもよい。例えば、提示情報処理部160における対象物の視認判定で、安全確認が必要な対象物に対して運転者の視認度が低い場合、車両を制動して、対象物に対する衝突の危険を回避する構成としても良い。
このように、運転者の安全確認対象物の認知を、運転者の注視による安全確認対象物の認知だけでなく、周辺視を含めて正確に判定して、運転する車両を制動することによって、走行車両の安全性を確保する。
また、各実施の形態における提示情報処理部160は、累積視認度算出部150、350により算出される累積視認度に対応する提示情報を情報提示部170に出力する構成としたが、これに限らず、視認度が入力され、この入力される対象物毎の視認度に対応する提示情報を出力する構成としてもよい。つまり、提示情報処理部160は、入力される対象物毎の視認度に応じて出力する提示情報を判断、変更・設定し、提示情報を情報提示部170に出力する構成としてもよい。
具体的には、提示情報処理部160に視認度算出部140から視認度が入力される構成とし、視認判定部164により視認度の対象物に対する運転者の認知度合いを判定(視認判定)する。また、提示情報設定部166は、視認判定部164からの認知度合い判定された視認度に対応する提示情報を設定・変更して、設定・変更した提示情報を情報提示部170に出力する。これにより、喚起・制御部180は運転者に対する安全確認の喚起を行う。これを受けて運転者は、安全確認対象物の認知を、運転者の注視による安全確認対象物の認知に加え、周辺視を含めて判定でき、走行車両の安全性を確保できる。
2006年9月4日出願の特願2006−239591の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
本発明は、運転者の安全確認対象物の認知を、運転者の注視による安全確認対象物の認知だけでなく、周辺視を含めて正確に判定し、これを用いて、走行車両の安全性を確保する効果を有し、運転者の安全不確認を検出し、安全確認を促す提示を行う運転支援装置として有効である。
本発明は、運転者の視線を利用した走行情報提供装置に関する。
従来、自車周辺の対象物の方向と、運転者の視線方向から、対象物に対する運転者の認知度合いを判定し、認知度が低い場合に警告情報を提示する装置が種々提案されている。
例えば、特許文献1に示す走行情報提供装置は、運転者の注視方向と、運転者が運転中に安全確認すべき注視必要方向とが一致する注視頻度を算出して、この注視頻度に基づいて運転者に報知すべき情報の報知レベルを決定している。
すなわち、この走行情報提供装置は、運転者が注視する注視点のみを基準として、運転者の注視点と、安全確認のために必要な対象物に対する注視点とを用いて対象物に対する認知の程度を判断している。なお、注視点とは両眼を用いて一物体を注視する際の点を示す。
これにより、運転者が視認していない状況に関しては確実に適切な情報を報知するとともに、運転者が視認していると判定された情報に関しては、認識程度の高さにあわせて報知レベルを下げ、煩わしさを低減している。
特許第2929927号公報
ところで、一般に、視覚情報の中で、視力検査で測定する視力に近い解像度で見ることが可能な部分は、注視点の周りおよそ2度程度であるといわれている。この解像度の高い部分で見ることを中心視という。また、中心視野周辺(注視点を中心に10度〜20度の範囲の視野)の対象物についても、瞬時に情報を受容して、大まかな物の形を把握することが可能であることが知られている。なお、このような中心視の中心である注視点周辺を見る(傍中心視)ことを、ここでは、周辺視という。この対象物を認知する際には、中心視だけでなく、この周辺視も重要な役割を果たすものと考えられている。
しかしながら、従来の走行情報提供装置においては、注視点と注視必要方向との一致頻度により、対象物を視認したかどうかを判定しており、人間の周辺視野による認知が考慮されていない。このため、中心視で認知していないが周辺視により認知している対象物に対しても認知していないと誤判定する可能性があり、その判定を受けて、煩雑な警報を発生させ、走行車両における安全性の確保を妨げる恐れがあるという問題がある。
また、従来の走行情報提供装置では、交差点右折時の横断歩道上に多数の歩行者が存在する場合等のように注視が必要な対象物が多数存在する場合において、周辺視で確認している対象物に対しても、注視頻度が少ない対象物として判定する可能性がある。よって、この判定を受けて、多数の煩雑な警報を発生させてしまい、走行車両の安全性の確保を妨げるという問題がある。
本発明の目的は、運転者の安全確認対象物の認知を、運転者の注視による安全確認対象物の認知だけでなく、周辺視を含めて正確に判定して、走行車両の安全性を確保する走行情報提供装置を提供することである。
本発明の走行情報提供装置は、搭載される自車の周辺状況の周辺情報を取得する周辺情報収集手段と、周辺情報収集手段により取得した前記周辺情報から、前記自車の運転者が行う安全確認の対象となる安全確認対象物を抽出する対象物抽出手段と、前記運転者の視線方向を検出する視線検出手段と、検出された前記安全確認対象物及び前記運転者の視線方向を用いて、運転者の視線方向から対象物までの距離又は角度に応じて、前記安全確認対象物に対する運転者の周辺視を考慮した視認度を算出する視認度算出手段と、算出された前記視認度に基づいて、安全確認の喚起又は車両の運転状態の制御を行う喚起・制御手段とを備える構成を採る。
本発明によれば、運転者の安全確認対象物の認知を、運転者の注視による安全確認対象物の認知だけでなく、周辺視を含めて正確に判定し、これを用いて走行車両の安全性を確保することができる。
以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、本実施の形態では、走行情報提供装置を、運転手に、運転者の視認状態を走行情報として提供することで運転を支援する運転支援装置として説明する。
(実施の形態1)
図1は、本発明の実施の形態1における運転支援装置(走行情報提供装置)100の構成を示すブロック図である。
図1に示す運転支援装置100は、ここでは車両に搭載されるものであり、視線検出部110と、周辺情報収集部120と、対象物抽出部130と、視認度算出部140と、累積視認度算出部150と、提示情報処理部160と、情報提示部170とを有する。
視線検出部110は、視線情報取得部102により取得した運転者の視線情報を用いて運転者の視線方向(あるいは運転者の見ている点である注視点)を検出して、視認度算出部140に出力する。
視線情報取得部102は、運転者が実際に見ている方向を取得するものであり、運転者の視線方向を撮像するために車両内部に設置され、運転者の眼球画像を取得するアイカメラなどが適用される。この場合、視野検出部110では、アイカメラにより撮影された眼球画像を解析して、装着した被験者の眼球運動・視線を検出できるともに注視点を検出する。
なお、視線情報取得部102は、アイカメラとともに、運転者の顔面方向データを取得する指向性赤外線センサを用いてもよく、この場合、視野検出部110は、アイカメラからの顔面基準の視線方向データを指向性赤外線センサ顔面方向データの座標系に変換して合成して、運転者が実際に見ている視線方向(中心視方向)を検出すると共に、注視点を検出する。
周辺情報収集部120は、自車周辺の情報を収集するものであり、例えば、車両の周辺画像を撮像する車載カメラ、車両周囲の存在物の方向、距離及び相対速度などを検出する指向性を有する超音波センサ、車両の走行状態を検出するセンサなどにより構成され、これら収集した自車周辺の情報を周辺情報として収集し、対象物抽出部130に出力する。なお、この周辺情報収集部120は、自車周辺の情報を収集するものであれば、どのように構成されてもよい。
対象物抽出部130は、周辺情報収集部120から入力される周辺情報から、対向車両などの他車両、歩行者、二輪などの移動体や、標識・標示、信号、横断歩道、一時停止線などの交通環境対象物等といった、車両を走行中に安全確認すべき対象となる対象物を抽出して、視認度算出部140に出力する。
具体的に、対象物抽出部130は、交通環境対象物などの中心位置の相対距離、相対角度を、画像処理などにより抽出する。なお、対象物の相対角度は、対象物の中心座標などの基準点と、予め設定される自車の中心または運転座席の位置などの基準点から算出するものとする。
視認度算出部140は、視線検出部110及び対象物抽出部130から入力される情報を用いて、視線・注視点からそれぞれの対象物までの距離あるいは角度に応じて、ある一時点における対象物ごとの運転者の認識度合いを示す視認度を算出し、累積視認度算出部150に出力する。
視認度算出部140で算出される視認度は、入力される視線及び注視点に加え、視線及び注視点から算出される周辺視野も視認度を決定する基準として含まれる。周辺視野とは、瞬時に情報受容が可能な視野であり、注視点を中心に略10〜20度の範囲をいう。
言い換えれば、視認度は、注視点及び注視点近傍の視覚範囲である周辺視野を含む視野を用いた視認度合いである。
視認度算出部140は、メモリ142を備えており、このメモリ142に格納された注視点と視認度との関係を示すテーブルと、入力される視線及び注視点とで、視線及び注視点の対象物に対する視認度を算出している。
図2は、本発明の実施の形態1における運転支援装置において周辺視野が加味された視認度を算出する際に用いられるテーブルの一例を示し、視認度算出部140がメモリ142に備える注視点からの角度と視認度との関係を示すテーブルの一例を示す図である。
なお、図2において、横軸は注視点からの角度、縦軸は視認度合いを表し、グラフG1は、注視点からの角度に応じて、運転者の視認度がどのように変化するかを、連続的な値の変化として示している。このグラフG1を以下では視認度曲線G1という。
例えば、対象物Aに対する視線及び注視点が入力されると、視認度算出部140は、対象物Aの注視点からの角度が角度θAであった場合、メモリ142の視認度曲線G1を用いると、対象物Aの視認度として視認度RAが算出される。
図3は、本発明の実施の形態1における運転支援装置において周辺視野が加味された視認度を算出する際に用いられるテーブルの別例を示し、視認度算出部140がメモリ142に備える注視点からの角度と視認度との関係を示すテーブルの別例を示す図である。
図3に示すテーブルでは、注視点からの角度に対して、所定範囲毎に視認度を設定している。図3では、注視点からの角度θが、θ≦θ1を満たす対象物は視認度1.0を与え、θ1≦θ≦θ2の場合は視認度0.5を、θ≦θ2の場合は視認可能な視野の範囲外として、視認度は0としている。
これにより、視認度算出部140において、注視点から離れた周辺視野における認知も加味された視認度が算出される。
よって視線度算出部140は、対象物情報及び視線情報が入力されると、その時点における全ての対象物に対して、運転者の視認度を算出する。
累積視認度算出部150は、視認度算出部140から入力される視認度を、対象物ごとに累積して累積視認度を算出し、対象物毎の累積値として提示情報処理部160に出力する。
提示情報処理部160は、入力される対象物毎の累積値に応じて出力する提示情報を判断、変更・設定し、提示情報を情報提示部170に出力する。
提示情報処理部160は、計時部としてのタイマ162を備え、このタイマ162を用いて所定時間経過したと判定した際に、累積視認度算出部150から入力される累積視認度に対応する情報の設定、提示の処理を行う。
また提示情報処理部160は、所定時間経過したと判定した際に、入力される累積視認度を用いて、情報の提示を行なうか否かを判定する。具体的には、情報提示部170で提示されるタイミングを満たしているか否かを判定する。
また、提示情報処理部160は、視認判定部164により累積視認度の対象物に対する
運転者の認知度合いを判定(視認判定)する。例えば、予め設定された基準値を用いて、累積視認度が、基準値(例えば1)以上であれば、当該累積視認度の対象物に対しては、運転者は認知していると判断し、それ未満であれば、運転者は認知していないものと判断する。
また、提示情報処理部160は、入力される累積視認度に対応して情報の提示を行う場合に、提示情報設定部166により、当該累積視認度に対応する提示情報を設定・変更し、設定・変更した提示情報を情報提示部170に出力する。つまり、提示情報処理部160は、提示情報設定部166において、安全確認対象物毎に算出された累積視認度に応じて、安全確認の喚起対象を変更する機能を有する。
なお、提示情報処理部160において設定される提示情報は、情報提示部170において提示される形態に対応するものとする。例えば、情報提示部170が、表示パネルなどを用いた表示装置である場合は、当該表示パネルに表示される表示画像として設定され、また、スピーカなどの発音装置であれば、提示情報を音声データとして設定される。
情報提示部170は、提示情報処理部160において設定された情報の提示を行い、この提示によって、運転支援装置が搭載される車両の走行に関する安全確認を喚起する。
ここでは、情報提示部170は、車両に搭載される表示パネル(表示部)を備え、車両の運転者に安全確認対象となる対象物の見落としを確認させるための表示を行うものとする。なお、この情報提示部170は、警告音、警告音声などを発して運転者に報知する発音装置により構成されてもよい。また、対向者、歩行者などに運転支援装置100が搭載される車両の運転者の見落としを報知したりする報知装置としてもよい。
これら提示情報処理部160と情報提示部170とにより、算出された視認度または累積視認度に基づいて、運転者に対して安全確認の喚起又は車両(ここでは、自車両)の運転状態の制御を行う喚起・制御部180を構成する。なお、車両の運転状態の制御を行う場合、喚起・制御部180は、累積視認度に対応して行われる視認判定に応じて、例えば、車両のブレーキ、ハンドル、アクセルなどを制御し、これにより走行車両の安全性を確保する。
喚起・制御部180が、車両の運転状態の制御を行う場合、提示情報処理部160では、提示情報設定部166は、安全確認対象物毎に算出された累積視認度に応じて、車両の運転状態の制御対象(ブレーキ、ハンドル、アクセル等)を設定したり、変更したりする。この設定・変更を用いて、喚起・制御部180は、制御対象に対して制御を行う。なお、制御対象となる車両は、ここでは自車両としたが、運転支援装置100が搭載されていない車両としてもよい。
次に、本発明の実施の形態1における運転支援装置における動作について図4を用いて説明する。図4は、本発明の実施の形態1における運転支援装置の動作を示すフローチャートである。
図4に示すように、ステップS11では、運転支援装置100を搭載した車両において、周辺情報収集部120が、走行中の自車周辺(周辺状況)の情報として周辺映像(周辺情報)をカメラなどにより収集するともに、視線検出部110が、視線情報取得部102により取得した運転者の視線情報を用いて、運転者の視線方向(及び注視点)の検出を行いステップS12に移行する。なお、この周辺状況取得と視線方向の検出は略同じタイミングで行われる。
ステップS12では、対象物抽出部130は、取得した周辺情報(周辺映像)から他車両、歩行者、二輪などの移動体や、標識・標示、信号、横断歩道、一時停止線等といった交通環境対象物等の中心位置の相対距離、相対角度を、画像処理などにより抽出してステップS13に移行する。
ステップS13では、視認度算出部140は、対象物情報及び視線情報が入力されると、その時点における全ての対象物に対して、運転者の視認度を算出してステップS14に移行する。
詳細に、ステップS13では、視認度算出部140は、入力される視線方向の角度及び、各対象物の自車に対する相対角度から、視線と対象物の角度差分(あるいは、注視点からの画像上での距離)から、ある一時点における対象物毎の視認度を算出する。
ステップS14では、累積視認度算出部150は、入力される一時点における対象物毎の視認度を、所定期間、同一対象物毎に累積して、対象物毎の累積視認度を算出して、ステップS15に移行する。
ステップS15では、提示情報処理部160は、所定時間経過したか否かを判定し、所定時間経過していれば、ステップS16に移行し、経過していなければ、ステップS17に移行して、車両の運転が終了していなければステップS11に戻る。なお、ステップS15において判定される所定時間とは、算出される視認度を累積するために予め設定された時間である。
また、ステップS17における車両運転の終了の判定は、車両のエンジンがストップしているか否か等によって行われ、エンジンが停止していれば、処理は終了する。
このように視認度算出部140及び累積視認度算出部150は、提示情報処理部160において、所定時間経過したと判定されるまで、所定時間の間、視認度の算出及び累積視認度の算出を継続する。
ここで、所定時間経過したと判定されるまで、つまり所定時間経過するまでの視認度算出部140における視認度算出処理及び累積視認度算出部150における累積視認度算出処理について説明する。
図5は運転中の注視点の変化を模式的に示す図であり、運転中の注視点の変化における視認度および、累積視認度を合わせて運転者が見る場面の一例を示した図である。
なお、ここでは、便宜上、累積視認度を算出する際に用いられる視認度は、図3に示す視認度曲線を用いて視認度算出部140によって算出されるものとする。つまり、図3に示すように、注視点からの角度θがθ≦θ1を満たす対象物は視認度を1.0、θ1≦θ≦θ2の場合は視認度を0.5、θ≦θ2の場合は視認度を0とする。
図5A、図5C、図5E、図5Gで順に示す場面は、所定期間の間、交差点31を走行しようしている車両の運転者が見る場面の一例、つまり所定期間の間における注視点の変化の一例を示している。また、図5において、運転者の注視点21、θ≦θ1を満たす範囲を中心視野22、θ1≦θ≦θ2を満たす範囲を周辺視野23とし、中心視野の視認度を1.0、周辺視野の視認度を0.5とする。
図5Aに示す場面1においては、視認度算出部140により対向車(対象物)32の視認度は0.5、歩行者(対象物)33の視認度は0として算出され、累積視認度算出部150
では、算出された視認度の対象となる対象物のそれぞれの累積視認度が算出される。
この図5Aにおいて算出された視認度及び累積視認度は、図5Bに示すように、算出された対向車32の視認度0.5及び歩行者33の視認度0.0をメモリ142に記憶する。なお、このときにはまだ、それぞれの対象物の視認度は累積されていないため、このときの対向車及び歩行者の累積視認度は、対向車0.5、歩行者0.0となる。
その後、注視点21は、図5Aで示す状態から、図5Cで示す状態に変化する。ここでは、注視点21が対向車32と重なっており、運転者は対向車32を注視している。すると、これに伴い、累積視認度算出部150に、対向車32の視認度が入力され、先(図5Aの状態)における対象物毎に、同一の対象物の視認度に加算して、それぞれの累積視認度を算出する。図5Cの状態では、図5Dに示すように、視認度算出部140は、対向車32の視認度1.0、歩行者33の視認度0.0を算出し、累積視認度算出部150では、対象物毎に視認度を累積して、対向車32の視認度1.5、歩行者33の視認度0.0を算出している。
次いで、注視点21は、図5Cに示す状態から図5Eに示す状態に変化する。図5Eでは、注視点21は、ここでの例としてあげている対向車32及び歩行者33のいずれにも注視点は向けられておらず、周辺視もされていない。
よって、図5Eの状態では、図5Fに示すように、視認度算出部140は、対向車32の視認度0.0、歩行者33の視認度0.0を算出して、累積視認度算出部150では、対象物毎に視認度を累積して、対向車32の視認度1.5、歩行者33の視認度0.0を算出している。すなわち、ここでは、対向車32及び歩行者33の双方にも視認度が算出されていないため、図5Dに示す累積視認度と同じ数値(対向車の累積視認度1.5、歩行者の累積視認度0.0)となる。
その後、注視点21は、図5Eで示す状態から、図5Gで示す状態に変化する。ここでは、注視点21は、歩行者33の近傍に位置し、周辺視野23内に歩行者33が存在しているため、視認度算出部140は、対向車32の視認度0.0、歩行者33の視認度0.5を算出(図5H参照)し、累積視認度算出部150は、先(図5F)の状態における対象物毎に、同一の対象物の視認度に加算して、それぞれの路移籍視認度を算出する。図5Hに示すように、累積視認度算出部150は、対象物毎に視認度を累積、つまり、対向車0.0、歩行者0.5を先までの累積視認度1.5、0,0に累積して、対向車32の視認度1.5、歩行者33の視認度0.5を算出している。
ステップS16では、提示情報処理部160は、所定時間経過したと判定された際に入力される累積視認度に応じた情報の提示を行なうか否かを判定し、情報提示を行なわない場合にはステップS17に移行し、行う場合にはステップS18に移行する。ステップS17に移行して、車両の運転が終了していなければ、ステップS11に戻り累積視認度算出処理までを繰り返す。なお、このステップS16での判定は、運転者の視認度合いを情報提示部170により提示するタイミングであるか否かを意味する。
ステップS18では、提示情報処理部160は、累積視認度の対象物に対する運転者の視認(認知)度合いを判定してステップS19に移行する。
ステップS19では、提示情報処理部160は、対象物の認知度合いを反映させた、累積視認度に応じて提示情報を設定し、ステップS20に移行する。
ステップS20では、情報提示部170は、提示情報処理部160において設定された
提示情報を運転者へ提示してステップS17に移行する。
本実施の形態では、情報提示部170として表示パネルを用いて車両の運転者に情報を提供するものとしており、提示情報処理部160では、提示情報を、表示パネルに対象物毎の累積視認度に対応して設定して表示されるものとする。ここでは、提示情報は、表示パネルに、安全確認の対象となる対象物に色を重畳して表示されて、当該対象物の認識度合いを示すものとする。これを受けて情報提示部170は、表示パネルに表示される視認度合いを示す提示情報に対して、累積視認度に応じて提示色を変更している。
図6及び図7は、本発明の実施の形態1における運転支援装置において情報提示部170により提示される情報提示の一例を示す図である。
なお、これら図6及び図7で示される提示情報は、情報提示の対象となる対象物に対する運転者の認知、不認知で異なる色で設定されるものとする。なお、ここでの、対象物に対する運転者の認知、不認知は、提示情報処理部160において、対象物毎の累積視認度が所定の基準値を超えているか否かで判定される。つまり、提示情報処理部160において、累積視認度が所定の基準値を超えている場合には、運転者は対象物を認知しているものと判定され、超えていない場合に、認知していないものと判定される。
図6に示すように、情報提示部170は、横断歩道41上の歩行者(対象物)42〜44については、運転者が認知していると判断して、薄い青色などの注意喚起の少ない色で対象物を強調表示する。なお、このように累積視認度が所定の基準値を超えている対象物であって運転者が認知しているものと判断された対象物については、情報の提示を行わなくてもよい。図6において、情報提示部170は、累積視認度が所定の基準値を満たしていない歩行者(対象物)45については、赤などの運転者の注意を引きやすい色で対象物を強調表示する。
これにより、運転支援装置100では、運転者の視認度が低い対象物ほど、強調して表示して、運転者へ視認させ、運転者に対する安全確認を促すことができる。
また、提示情報処理部160において、累積視認度の数値を、そのまま運転者の認識度合いと見なし、視認度の基準値を設けない場合、視認度にあわせた色の濃淡によって表示しても良い。なお、図7では、情報提示部170は、交差点36において、信号(対象物)48及び対向車(対象物)49は、累積視認度が高いため、青色で表示しており、横断歩道47を渡る累積視認度が低い歩行者(対象物)46を強調して表示している。
尚、運転中は、周辺状況取得から情報提示までのフローチャートに示す処理は、任意のタイミングで連続的に実行されている。
本実施の形態によれば、車両走行中に運転者が、安全確認の必要な対象物を認知しているか否かを、運転者の注視点を含む中心視野に加えて、注視点周辺の範囲の周辺視野も含めた視野によって判定している。これにより、運転者が見る対象物の認知、不認知の判定を正確に行うことができる。
また、安全確認の必要な対象物を認知していない場合に、その旨の情報を運転者に提示することによって、運転者は、自身が見落としている対象物に対する安全確認を喚起されて、当該対象物に対する確認を行うことができ、車両走行中において、歩行者などとの衝突を防ぎ、車両の安全性を向上させることができる。
(実施の形態2)
図8は、本発明の実施の形態2における運転支援装置200のブロック図である。なお、この実施の形態2における運転支援装置200は、図1に示す実施の形態1に対応する運転支援装置100と同様の基本的構成を有しており、同一の構成要素には同一の符号を付し、その説明を省略する。
この運転支援装置200では、運転支援装置100と比較して異なる点は、視認度算出部240において算出される視認度であり、運転支援装置200において算出される視認度には、運転者毎に異なる要素が加味されることである。
つまり、運転支援装置200では、対象物に対して算出する視認度に、運転者の視覚特性に影響を与える各要因を加味して算出するものである。
視覚特性に影響を与える要因として、運転者の年齢等の静的な運転者属性情報があり、例えば、年齢が高ければ高いほど、例えば、運転者の注視点を中心として視認できる範囲、ここでは周辺視野は狭くなることが考えられる。
また、同様に、運転者の視覚特性に影響を与える要因として、運転者の覚醒度合い、自車周辺の注意を払うべき対象物の数、天気・明るさなどが考えられる。
具体的には、覚醒時の運転時には、自車前方の広い範囲を視線が移動するのに対し、漫然運転などの覚醒度の低下時には、視線の移動範囲が中心付近に集中することが、これまでの研究で明らかになっている(参考文献:”Detection System of Gaze Direction for
Excessive Concentration through Cellular Phone Use and Inattention” Shinji Mita,2002年ITS世界会議論文)。そこで、視線移動により覚醒度合いを推定し、覚醒度に応じて視認度を変更することで、運転者状態に応じた視認度の算出が可能となる。
また、車両運転時、自車周辺の注意を払うべき対象物数が多くなると、周辺視できる範囲も狭くなることがこれまでの研究で明らかになっている(参考文献:「ドライバの視覚的注意特性」自動車技術、Vol.58,No.12,2004)。そこで、自車周辺の対象物の数に応じて視認度を変更することで、環境情報に応じた視認度の算出が可能となる。さらに、運転者の視覚特性に影響を与える可能性のある、渋滞度合い、天気、明るさなどの環境情報を加味して、視認度を変更してもよい。
このようにして、運転者の覚醒度合い、自車周辺の車両数、渋滞度合い、天気、明るさなどの交通環境に応じて視認度を変更することで、運転者状態、環境情報に応じた視認度の算出が可能となる。
図8において、運転支援装置200は、図1における構成要素に加え、運転者情報操作入力部210と、運転者状態検出部220と、環境情報収集部230とを有する。
運転者情報操作入力部210は、運転者の年齢、性別、運転歴、違反歴などの運転者に関わる静的な情報である運転者属性情報が操作により入力されるものであり、入力された運転者属性情報を視認度算出部240に出力する。これら静的な運転者属性情報は、運転者の視野特性を設定、変更するパラメータとなる。
運転者状態検出部220は、運転者の視野特性に影響を与える運転者の動的な属性情報を検出するものであり、例えば、動的な属性情報としての運転者の覚醒度合いを検出して視認度算出部240に出力する。具体的には、運転者状態検出部220は、アイカメラ等、運転者の視線移動を検出するものが挙げられる。この動的な運転者属性情報は、運転者の視野特性を設定、変更するパラメータとなる。
環境情報収集部230は、運転者の静的、動的な属性以外に運転者の視野特性に影響を与える環境情報、例えば、自車周辺の車両数、渋滞度合い、天気、明るさなどの交通環境を収集して取得し、視認度算出部240に出力する。この環境情報収集部230は、無線通信などで各情報が入力される構成としても良いし、自車周辺の環境状況を撮像するカメラなどを用いて情報を収集する構成としても良い。これら運転者が運転する車両周辺の環境状況は、運転中の視野特性を設定、変更するパラメータとなる。
視認度算出部240は、図1に示す視認度算出部140と同様に、視線検出部110から運転者の視線方向、注視点の情報が入力され、対象物抽出部130から安全確認に必要となる対象物の情報が入力される。
視認度算出部240には、更に、運転者の属性情報、運転者の覚醒度合い等の運転者における動的な情報、自車周辺の車両数、渋滞度合い、天気、明るさなどの交通環境情報が入力される。
これら入力される情報を用いて、視認度算出部240は、運転者の視線・注視点からそれぞれの対象物までの距離あるいは角度に応じて、ある一時点における対象物ごとの運転者の認識度合いを示す視認度を算出し、累積視認度算出部150に出力する。
換言すれば、視認度算出部240は、視線方向の角度、対象物の自車に対する相対角度に加えて、運転者情報、運転者状態、交通環境を用いて、対象物ごとの視認度を算出して、累積視認度算出部150に出力する。
視認度算出部240で算出される視認度は、実施の形態1と同様に、入力される視線及び注視点に加え、視線及び注視点から算出される周辺視野も視認度を決定する基準として含まれる。周辺視野は、上述したように瞬時に情報受容が可能な視野であり、注視点を中心に略10〜20度の範囲とする。
具体的に、視認度算出部240は、メモリ242を備えており、このメモリ242に格納された注視点と視認度との関係を示すテーブルと、入力される視線及び注視点とで、視線及び注視点の対象物に対する視認度を算出している。
視認度算出部240が、メモリ242に格納するテーブルは、運転者情報操作入力部210と、運転者状態検出部220と、環境情報収集部230とから入力される情報に基づいて視認度を変更可能とするものである。その一例として、視認度を、年齢により変更して設定する処理について図9を用いて説明する。
図9は、本発明の実施の形態2における運転支援装置200において周辺視野が加味された視認度を算出する際に用いられるテーブルの一例を示す。図9は、視認度算出部240がメモリ242に備える運転者の年齢に応じたグラフ(視認度曲線)G2〜G4を示し、注視点からの角度と視認度との関係を示すテーブルの一例を示す図である。なお、図9において、0は注視点、横軸は注視点0からの角度、縦軸は視認度を表し、グラフ(視認度曲線)G2〜G4は、それぞれ注視点からの角度に応じて、運転者の視認度がどのように変化するかを示している。
図9では、視認度曲線G2は20代のドライバの視認度曲線、視認度曲線G3は40代のドライバの視認度曲線、視認曲線G4は60代のドライバの視認度曲線と定義する。このように年齢に応じた視認度曲線G2〜G4を用いると、対象物Aの注視点からの角度θAで運転者年齢が40歳の場合、対象物Aに対する視認度はR2と算出される。同様に、
対象物Aの注視点からの角度θAで運転者年齢が20歳の場合、対象物Aに対する視認度はR1と算出され、同様の条件において算出される視認度は、40歳のそれより高くなる。
このようにして、視認度算出部240は、年齢に応じた対象物の視認特性を加味した上で、視認度の算出を行う。これにより、実際に運転する運転者及び運転者の運転状況に適格に対応して、運転者の視認度を正確に算出できる。
また、同様に、運転者状態検出部220から入力される、動的な属性情報としての運転者の覚醒度合いを加味する場合、覚醒度合いが低い場合には、覚醒度合いが通常の場合よりも勾配が急な視認度曲線を用いる。
例えば、図9のテーブルを用いる場合、運転者が20代の年齢の年齢である静的属性情報が入力された場合でも、視認度算出部240は、視認度曲線G2を用いずに、覚醒の低さ度合いに応じて、視認度曲線G2よりも勾配が急な視認度曲線G3、G4を用いて視認度を算出するような構成にする。
また、同様に、環境情報収集部230から、自車周辺の注意を払うべき情報が入力された場合、例えば、交通環境情報として自車周辺の車両数が多く、渋滞が緩やか、天気として曇りや雨で周辺が所定の明るさ(昼間)よりも暗いことを示す情報が入力された場合、通常時に用いられる視認度曲線よりも勾配が急な視認度曲線を用いる等する。
具体的には、実写周辺の注意を払うべき対象物の数としての自車周辺の車両数が10台以上や5台以上の場合、図9を適用すれば、運転者が20代の年齢であることを示す静的な運転者属性情報が入力された場合でも、視認度算出部240は、視認度曲線G2を用いずに、視認度曲線G2よりも勾配が急な視認度曲線G3、G4を用いて視認度を算出するような構成となる。
ここで、図10を用いて運転支援装置200の動作について説明する。
図10は、本発明の実施の形態2における運転支援装置の動作を示すフローチャートである。
図10に示すように、運転支援装置200を搭載した車両では、先ず、ステップS21において、運転者情報操作入力部210は、運転開始時あるいはシートの着席時に、運転者の操作によって、運転者の年齢、性別、運転歴、違反歴等の静的な運転者情報である運転者属性情報である運転者情報が入力され、これらの運転者属性情報を取得してステップS22に移行する。
ステップS22では、周辺状況収集部120が、走行中の自車周辺の情報として周辺映像(周辺情報)をカメラなどにより収集するとともに、視線検出部110が、視線情報取得部102により取得した運転者の視線情報を用いて、運転者の視線方向(及び注視点)の検出を行いステップS23に移行する。なお、この周辺状況取得と視線方向の検出は略同じタイミングで行われる。
ステップS23では、対象物抽出部130は、取得した周辺情報(周辺映像)から他車両、歩行者、二輪などの移動体や、標識・標示、信号、横断歩道、一時停止線等といった交通環境対象物等の中心位置の相対距離、相対角度を、画像処理などにより抽出してステップS24に移行する。
ステップS24では、運転者状態検出部220により運転者状態(ここでは運転者の覚醒度合い)を取得するとともに、環境情報収集部230により自車周辺の車両数、渋滞度合い、天気、明るさなどの交通環境を取得して、ステップS25に移行する。
ステップS25では、視認度算出部240は、対象物情報、視線情報、運転者状態(覚醒度合い)情報及び交通環境情報が入力されると、その時点における全ての対象物に対して、運転者の視認度を算出してステップS26に移行する。
詳細に、ステップS25では、視認度算出部240は、入力される視線方向の角度、対象物の自車に対する相対角度に加えて、運転者情報、運転者状態、交通環境を用いて、視線と対象物の角度差分(あるいは、注視点からの画像上での距離)から、ある一時点における対象物毎の視認度を算出する。
ステップS26では、累積視認度算出部150は、入力される一時点における対象物毎の視認度を、所定期間中、同一対象物毎に累積して、対象物毎の累積視認度を算出してステップS27に移行する。
ステップS27では、提示情報処理部160は、所定時間経過したか否かを判定し、所定時間経過していれば、ステップS28に移行し、経過していなければ、ステップS29に移行する。ステップS29において車両の運転が終了していなければステップS22に戻る。なお、ステップS27において判定される所定時間とは、算出される視認度を累積するために予め設定された時間である。
つまり、視認度算出部240及び累積視認度算出部150は、提示情報処理部160において、所定時間経過したと判定されるまで、所定時間の間、視認度の算出及び累積視認度の算出を継続する。なお、所定時間経過したと判定されるまで、つまり所定時間経過するまでの、視認度算出部240及び累積視認度算出部150の処理は、上述の視認度算出部140における視認度算出処理及び累積視認度算出部150における累積視認度算出処理と同様であるため説明は省略する。
ステップS28では、提示情報処理部160は、所定時間経過したと判定された後、入力される安全確認すべき対象物毎の累積視認度(累積値)に応じた情報の提示を行なうか否かを判定する。
ステップS28において、情報提示を行なわない場合にはステップS29に移行し、行う場合にはステップS30に移行する。なお、ステップS29に移行して、車両の運転が終了していなければ、運転支援装置200は、ステップS22に戻り累積視認度算出処理までを繰り返す。
ステップS30では、情報提示制御部160は、累積視認度の対象物に対する運転者の視認(認知)度合いを判定する。
このステップS30では、例えば、予め設定された基準値を用いて、累積視認度が、基準値(例えば1)以上で有れば、当該累積視認度の対象物に対しては、運転者は認知(視認)していると判断し、それ未満であれば、運転者は認知(視認)していないものと判断する。このような運転者の視認判定が行われた後、ステップS31へ移行する。
ステップS31では、情報提供制御部160は、対象物の認知度合いを反映させた、累積視認度に応じて提示情報を設定し、ステップS32に移行する。
ステップS32では、情報提示部170は、提示情報処理部160において設定された提示情報を運転者へ提示してステップS29に移行する。尚、運転中は、周辺状況取得から、情報提示までの処理は、任意のタイミングで連続的に実行されているものとする。
本運転支援装置200では、静的な運転者属性情報、運転者状態情報(動的な運転者属性情報)である運転者の覚醒度合い、交通環境(周辺環境)情報等の、運転者の視覚特性に影響を及ぼす各要因を加味して、対象物に対する視認度を算出している。
これにより、運転者に提供される情報として、運転者の安全確認を必要とする対象物の見落としなどを、運転者の実際の運転状態も加味して、より正確に提供して、安全確認を喚起することができる。
(実施の形態2の変形例)
図17は、本発明の実施の形態2における運転支援装置200aの変形例を示すブロック図である。なお、この実施の形態2における運転支援装置200aは、図8に示す実施の形態2に対応する運転支援装置200の構成に注視度算出部250を加えたものである。運転支援装置200aの他の構成要素は、運転支援装置200のものと同様のものであり、同様の機能を有する。したがって、同一の構成要素には同一の符号を付し、その説明を省略する。
この運転支援装置200aでは、運転支援装置100と比較して異なる点は、視認度算出部240において算出される視認度であり、運転支援装置200aにおいて算出される視認度には、運転者毎に異なる要素が加味されることである。
つまり、運転支援装置200では、対象物に対して算出する視認度に、運転者の視覚特性に影響を与える各要因を加味して算出するものである。
視覚特性に影響を与える要因として、運転者の年齢等の静的な運転者属性情報があり、例えば、年齢が高ければ高いほど、例えば、運転者の注視点を中心として視認できる範囲、ここでは周辺視野は狭くなることが考えられる。
また、同様に、運転者の視覚特性に影響を与える要因として、運転者の覚醒度合いや対象物への注視度合い、自車周辺の注意を払うべき対象物の数、天気・明るさなどが考えられる。
具体的には、覚醒時の運転時には、自車前方の広い範囲を視線が移動するのに対し、漫然運転などの覚醒度の低下時には、視線の移動範囲が中心付近に集中することが、これまでの研究で明らかになっている(参考文献:”Detection System of Gaze Direction for
Excessive Concentration through Cellular Phone Use and Inattention” Shinji Mita,2002年ITS世界会議論文)。そこで、視線移動により覚醒度合いを推定し、覚醒度に応じて視認度を変更することで、運転者状態に応じた視認度の算出が可能となる。
また、車両運転時、自車周辺の注意を払うべき対象物数が多くなると、周辺視できる範囲も狭くなることがこれまでの研究で明らかになっている(参考文献:「ドライバの視覚的注意特性」自動車技術、Vol.58,No.12,2004)。そこで、自車周辺の対象物の数に応じて視認度を変更することで、環境情報に応じた視認度の算出が可能となる。さらに、運転者の視覚特性に影響を与える可能性のある、渋滞度合い、天気、明るさなどの環境情報を加味して、視認度を変更してもよい。
また、道路脇の歩行者に気を取られて先行車両に気づくのが遅れるというように、運手
時に特定の対象物の確認に集中すると、周辺に対する注意力が低下し、周辺視野が狭くなることがある。そこで、このような場合にも対象物への視認を正確に判定し、運転者に警報を与えるために、対象物への注視度合いに応じて視認度を変更してもよい。
このようにして、運転者の覚醒度合いや対象物への注視度合い、自車周辺の車両数、渋滞度合い、天気、明るさなどの交通環境に応じて視認度を変更することで、運転者状態、環境情報に応じた視認度の算出が可能となる。
図17において、運転支援装置200は、図8における構成要素に加え、注視度算出部250を有する。
注視度算出部250は、対象物に対する運転者の注視度合いを算出し、視認度算出部240に出力する。この注視度算出部は、累積視認度算出部で対象物ごとに算出されている累積視認度の最大値(最も注視している対象物の累積視認度)を用いる。累積視認度は、所定時間内での注視度合いを示す指標であるため、最大値が大きいほど、一つの対象物に集中して注視しており、周辺の対象物への注意力が低下している可能性が高いと考えられる。
また、特定の対象物を注視時には、所定時間内の運転者の視線移動が小さくなることから、アイカメラなどで検出した視線方向から、所定時間内の視線移動量を算出し、小さいほど対象物に対する注視度合いが高いと判定しても良い。
以上のようにして動的に算出される注視度は、運転者の視野特性を設定、変更するパラメータとなる。
運転支援装置200aにおける視認度算出部240は、注視度算出部250からの注視度合いが入力される点を除き、運転支援装置200の視認度算出部240と同様の機能を有する。
特に、運転支援装置200aにおける視認度算出部240は、図1に示す視認度算出部140と同様に、視線検出部110から運転者の視線方向、注視点の情報が入力され、対象物抽出部130から安全確認に必要となる対象物の情報が入力される。
視認度算出部240には、更に、運転者の属性情報、運転者の覚醒度合い、対象物への注視度合い等の運転者における動的な情報、自車周辺の車両数、渋滞度合い、天気、明るさなどの交通環境情報が入力される。
これら入力される情報を用いて、視認度算出部240は、運転者の視線・注視点からそれぞれの対象物までの距離あるいは角度に応じて、ある一時点における対象物ごとの運転者の認識度合いを示す視認度を算出し、累積視認度算出部150に出力する。
換言すれば、視認度算出部240は、視線方向の角度、対象物の自車に対する相対角度に加えて、運転者情報、運転者状態(覚醒度合い、注視度合いを含む)、交通環境を用いて、対象物ごとの視認度を算出して、累積視認度算出部150に出力する。
この視認度算出部240における視認度算出は、上述したように、メモリ242に格納された注視点と視認度との関係を示すテーブルと、入力される視線及び注視点とで、視線及び注視点の対象物に対する視認度を算出している。
視認度算出部240は、視認度算出を、運転支援装置200のものと上述と同様にテーブルを用いて行うことに加えて、運転者が特定対象物に集中して注視している場合、図9
を適用すれば、運転者が20代の年齢であることを示す静的な運転者属性情報が入力された場合でも、特定の対象物の確認に集中して周辺視野が狭まっていることが推定される場合、視認度算出部240は、視認度曲線G2を用いずに、視認度曲線G2よりも勾配が急な視認度曲線G3、G4を用いて視認度を算出するような構成となる。
ここで、運転支援装置200において、注視度算出部250も用いた場合の動作を説明する。
図18は、本発明の実施の形態2の変形例における運転支援装置の動作を示すフローチャートである。
なお、図18に示す処理は図10に示す処理において、ステップS24とステップS25の間にステップS33の処理を行う点のみ異なり、その他のステップでは同様の処理を行う。したがって、異なる点のみ説明し図10と同様の動作についての説明は省略する。
図18において、ステップS24では、運転者状態検出部220により運転者状態(ここでは運転者の覚醒度合い)を取得するとともに、環境情報収集部230により自車周辺の車両数、渋滞度合い、天気、明るさなどの交通環境を取得して、ステップS33に移行する。
ステップS33では、注視度算出部250より注視度を算出する。注視度は、既に累積視認度が算出されていれば累積視認度の最大値を基に、または、アイカメラで検出された視線方向から算出された視線移動量を基に算出し、ステップS25に移行する。
ステップS25では、視認度算出部240は、対象物情報、視線情報、運転者状態(覚醒度合い)情報及び交通環境情報、注視度が入力され、これらを用いて、その時点における全ての対象物に対して、運転者の視認度を算出してステップS26に移行する。
詳細に、ステップS25では、視認度算出部240は、入力される視線方向の角度、対象物の自車に対する相対角度に加えて、運転者情報、運転者状態、交通環境、注視度を用いて、視線と対象物の角度差分(あるいは、注視点からの画像上での距離)から、ある一時点における対象物毎の視認度を算出する。
以下同様処理を行い、本運転支援装置200では、静的な運転者属性情報、運転者状態情報(動的な運転者属性情報)である運転者の覚醒度合い、交通環境(周辺環境)情報、注視度等の、運転者の視覚特性に影響を及ぼす各要因を加味して、対象物に対する視認度を算出している。これにより、運転者に提供される情報として、運転者の安全確認を必要とする対象物の見落としなどを、運転者の実際の運転状態も加味して、より正確に提供して、安全確認を喚起することができる。
(実施の形態3)
図11は、本発明の実施の形態3における運転支援装置300のブロック図である。なお、この実施の形態3における運転支援装置300は、図1に示す実施の形態1に対応する運転支援装置100と同様の基本的構成を有している。このため、同一の構成要素には同一の符号を付し、その説明を省略する。
この運転支援装置300は、運転支援装置100の構成に、対象物分類部310を更に加えて構成されている。
対象物分類部310は、対象物抽出部130で抽出された複数の対象物を、対象物の種別、距離、速度等の属性により、いくつかのグループ(対象物群)に分類して、分類した
グループ(対象物群)の情報を視認度算出部340に出力する。
視認度算出部340は、視線検出部110及び対象物分類部310から入力される情報を用いて、視線・注視点からそれぞれの対象物までの距離あるいは角度に応じて、ある一時点における全ての対象物に対する対象物のグループ毎に対する運転者の認識度合いを示す視認度を算出し、累積視認度算出部350に出力する。
視認度算出部340で算出される視認度は、入力される視線及び注視点に加え、視線及び注視点から算出される周辺視野も視認度を決定する基準として含まれる。なお、周辺視野は、上述したように、瞬時に情報受容が可能な視野であり、注視点を中心に略10〜20度の範囲をいう。
視認度算出部340は、メモリ342を備えており、このメモリ342に格納された注視点と視認度との関係を示すテーブルと、入力される視線及び注視点とで、視線及び注視点の対象物のグループに対する視認度を算出している。
累積視認度算出部350は、視認度算出部340から入力される一時点における全ての対象物群毎の視認度を、所定時間の間、対象物群ごとに累積して累積視認度を算出し、対象物毎の累積値として提示情報処理部160に出力する。
次に、本発明の実施の形態3における運転支援装置300における動作について図12を用いて説明する。図12は、本発明の実施の形態3における運転支援装置300の動作を示すフローチャートである。
図12に示すように、ステップS51では、運転支援装置300を搭載した車両において、周辺情報収集部120が、走行中の自車周辺(周辺状況)の情報として周辺映像(周辺情報)をカメラなどにより収集するともに、視線検出部110が、視線情報取得部102により取得した運転者の視線情報を用いて、運転者の視線方向(及び注視点)の検出を行いステップS52に移行する。なお、この周辺状況取得と視線方向の検出は略同じタイミングで行われる。
ステップS52では、対象物抽出部130は、取得した周辺情報(周辺映像)から他車両、歩行者、二輪などの移動体や、標識・標示、信号、横断歩道、一時停止線等といった交通環境対象物等の中心位置の相対距離、相対角度を、画像処理などにより抽出してステップS53に移行する。
ステップS53では、対象物分類部310が、対象物抽出部130にて抽出された複数の対象物を、対象物の属性(対象物の種別、距離、速度)を用いて、グループ(対象物群)に分類して、ステップS54に移行する。
ここで、対象物分類部310が、抽出された対象物から対象物群を抽出する対象物分類処理の概要を説明する。
図13及び図14は、本発明の実施の形態3における運転支援装置300において対象物分類部310により対象物を分類する処理を模式的に示す図である。
図13は、自車が左折する場面50であり、対象物(歩行者51〜55)の距離に応じて対象物を分類する例を示したものである。図13Aに示すように、歩行者55とともに、横断歩道56上における複数の歩行者51〜54が対象物抽出部130において抽出されている。
この場面において対象物抽出部130により抽出された対象物(特に、複数の歩行者51〜54)を、対象物分類部310では、対象物(特に、複数の歩行者51〜54)同士の中心間の距離が一定値以下の物を同一群と見なす。これにより、対象物分類部310では、図13Bに示すように歩行者群61、62が抽出される。
また、図14は、自車が右折する場面70であり、対象物71〜77の種別に応じて対象物を分類する例を示したものである。
図14Aに示す状態では、歩行者(対象物)71〜73、信号機(対象物)74、対向車(対象物)75〜77が対象物抽出部130において抽出されている。
この場面において対象物抽出部130により抽出された対象物71〜77を、対象物分類部310では、対象物の種別(歩行者、車両、交通設備)に着目して分類し、さらに対象物の中心間の距離が一定値の物を同一群と見なす。これにより、対象物分類部310では図14Bに示す歩行者群81、信号機群82、対向車群(対象物群)83が抽出される。
また、対象物分類部310では、対象物間の距離、対象物の種別に加え、対象物の移動速度が近いものを同一群と見なしても良い。
さらに、自車あるいは自車の予測される軌道に対して、接近してくるもの、遠ざかるもの同士を同一群と見なし、対象物をグループ化しても良い。また、対象物の存在する角度を用いて、所定の角度内に存在する対象物をグループ化する、などしても良い。
このように、対象物分類部310において、類似する対象物をグルーピングすることによって、このグルーピングした対象物に対して視認判定が行われることになる。よって、互いに接近している対象物毎に視認判定が行われる場合と比較して、煩雑な警報が低減されることになる。
ステップS54では、視認度算出部340は、対象物のグループ(対象物群)の情報及び視線情報が入力されると、分類された対象物群の全てに対して、対象物群毎に対する運転者の視認度を算出してステップS55に移行する。
詳細に、ステップS54では、視認度算出部340は、入力される視線方向の角度及び、対象物群の自車に対する相対角度から、視線と対象物群の角度差分(あるいは、注視点からの画像上での距離)から、ある一時点における対象物群毎の視認度を算出する。
ステップS55では、累積視認度算出部350は、入力される一時点における対象物群毎の視認度を、所定期間、同一対象物毎に累積して、対象物群毎の累積視認度を算出して、ステップS56に移行する。
ステップS56では、提示情報処理部160は、所定時間経過したか否かを判定し、所定時間経過していれば、ステップS57に移行し、経過していなければ、ステップS58に移行する。なお、ステップS56において判定される所定時間とは、算出される視認度を累積するために予め設定された時間である。
また、ステップS58では、車両の運転が終了した否かの判定、例えば、車両のエンジンがストップしているか否か等によって行われる。ステップS58では、運転が終了していなければ、つまりエンジンが停止していなければ、ステップS51に戻り、運転が終了
、つまり、エンジンが停止していれば、処理は終了する。
このように視認度算出部340及び累積視認度算出部350は、提示情報処理部160において、所定時間経過したと判定されるまで、所定時間の間、対象物群に対する視認度の算出及び累積視認度の算出を継続する。
ステップS57では、提示情報処理部160は、所定時間経過したと判定された際に入力される累積視認度に応じて情報の提示を行なうか否かを判定し、情報提示を行なわない場合にはステップS58に移行し、行う場合にはステップS59に移行する。ステップS58に移行して、車両の運転が終了していなければ、ステップS51に戻り累積視認度算出処理までを繰り返す。
ステップS59は、提示情報処理部160は、累積視認度の対象物群に対する運転者の視認(認知)度合いを判定してステップS60に移行する。
ステップS60では、提示情報処理部160は、対象物群の認知度合いを反映させた、累積視認度に応じて提示情報を設定し、ステップS61に移行する。
ステップS61では、情報提示部170は、提示情報処理部160において設定された提示情報を運転者へ提示してステップS58に移行する。
本実施の形態では、情報提示部170として表示パネルを用いて車両の運転者に情報を提供するものとしており、提示情報処理部160では、提示情報を、表示パネルに対象物群毎の累積視認度に対応して設定して表示されるものとする。ここでは、提示情報は、表示パネルに、安全確認の対象となる対象物群に色を重畳して表示(例えば、図13B、14B参照)されて、当該対象物の認識度合いを示すものとする。これを受けて情報提示部170は、表示パネルに表示される視認度合いを示す提示情報を、累積視認度に応じて提示色変更する。
図15は、情報提示部170において提示される提示情報の一例を示すものであり、累積視認度に応じた対象物群の提示の一例を示す概念図である。なお、図15では、抽出される対象物群に対して累積視認度を算出し、累積視認度に応じて色を変えて、情報提示部170の表示パネルを用いて表示画面90、93として提示した場合を示す。
図15Aの表示画面90では、提示情報処理部160により対象物群として抽出された2つの対象物群である第1歩行者群91、第2歩行者群92が表示されている。
これら第1歩行者群91と第2歩行者群92とはそれぞれ異なる色にて表示(提示)されており、ここでは、より安全確認を行う必要のある第1歩行者群91を赤色、運転者が視認しており特に注意を払う必要のない第2歩行者群92を青色で表示している。
つまり、運転者は、第1歩行者群91に対しては視認しておらず、第2歩行者群92に対しては視認している。
なお、これら歩行者群91、92は、対象物分類部310においてそれぞれ対象物群として抽出され、視認度算出部340にて、対応する視認度が算出される。これら算出された視認度を用いることにより、累積視認度算出部350は、第1歩行者群91、第2歩行者群92のそれぞれの累積視認度が算出される。そして、これら累積視認度を判定して、提示情報処理部160は、それぞれ異なる色の形態で表示されるように提示情報を設定する。
また、図15Bの表示画面93では、提示情報処理部160により対象物群として抽出された3つの対象物群である第3歩行者群(対象物群)94、対向車群(対象物群)95及び信号機群(対象物群)96が表示されている。
第3歩行者群94、対向車群95及び信号機群96は、累積視認度に対応してそれぞれ異なる色にて表示(提示)されている。ここでは、より安全確認を行う必要のある第3歩行者群94を赤色、運転者が視認しており特に注意しなくてもよい対向車群95及び信号機群96を青色で表示している。
このように、このように情報提示部170の表示パネル90、93では、情報提示部170によって、対象物群ごとに累積視認度に応じた情報提示が行われる。
このため、運転者がどの対象物群を確認すべきかを把握することができる。なお、図15Aでは、第2歩行者群92よりも第1歩行者群91を把握すべきものとし、図15Bでは、対向車群95及び信号機群96よりも、第3歩行者群94を把握すべきものとしている。
また、情報提示部170として運転者に視認させる表示パネルを用いた場合において、運転支援装置300では、対象物群を複数の区間に分割し、分割された区間ごとに累積視認度を算出しても良い。
これにより、グルーピングした対象物群内部においても、どの部分の視認度が低いかを運転者が把握することができる。
例えば、分割する方法としては、対象物分類部310にて抽出した対象物群を、上下左右に4分割するなどしても良いし、画素単位に分割し、各画素について累積視認度を算出することで、グルーピングした対象物群の内部においても、どの部分の視認度が低いかを運転者が直感的に把握することができる。
図16は、情報提示部170において提示される提示情報の別例を示すものであり、累積視認度に応じた対象物群の提示の別例を示す概念図である。
図16Aの表示画面97aでは、抽出された対象物群として対象物群98a、99aが表示されている。これら対象物群98a、99aは、それぞれを構成する画素について累積視認度が算出され、算出された累積視認度に対応して、視認判定が行われ、視認していない対象物群98a内の詳細な視認度を赤色のグラデーション表示(色の連続的な変化により表示)している。
また、図16Bの表示画面97bでは、抽出された対象物群として対象物群98c、98d、98eが表示されている。これら対象物群98c、98d、98eは、それぞれを構成する画素について累積視認度が算出され、算出された累積視認度に対応して、視認判定が行われ、視認していない対象物群98c内の詳細な視認度を赤色のグラデーション表示(色の連続的な変化により表示)している。
つまり、運転支援装置300では、抽出された対象物群を構成する画素について累積視認度を算出する。これら算出された累積視認度に応じて、提示情報処理部160によって、対象物群内の詳細な視認度をグラデーション表示する。
これにより、図16に示す表示画面97a、97bのように、対象物群内部についても
累積視認度に応じて色分けして表示されるため、対象物群のどの部分を確認すべきかを即座に把握することが可能となる。
なお、運転支援装置300において、対象物群内の視認度をグラデーション表示する際には、上述したように、安全確認の対象となる複数の対象物を対象物群にグルーピングしてから対象物群を分割して累積視認度を算出して表示してもよいが、これに限らない。例えば、個々の対象物に対して累積視認度を算出した後、表示の際に対象群を生成し、個々の累積視認度を加味してグラデーション表示を行うようにしてもよい。
この場合、運転支援装置100の構成において、提示情報処理部160が、対象物分類部310と同様の機能を有する構成とする構成が考えられる。この構成では、提示情報処理部160は、累積視認度算出部150から入力される対象物毎の累積視認度に対応して、情報提示情報としての表示形態(例えば、累積視認度が、比較される閾値より小さくなるにつれ色が濃くなるグラデーション)を設定する。
なお、運転中は、周辺状況取得から、情報提示までの処理は、任意のタイミングで連続的に実行されているものとする。
また、各実施の形態の運転支援装置100、200、300では、情報提示部170が情報提示を行う際には、表示パネルとしてカーナビゲーションなどの車載機の表示パネルを用い、この表示パネルの画面に前方映像を表示し、その画像上に視認度に応じた情報提示を行うものとする。
また、情報提示部170として、実際の景色に合わせてナビゲーション情報や道路情報などをフロントガラス越しに表示するウィンドシールドディスプレイを利用して、フロントガラス越しに視認度に応じた情報提示を行っても良い。
各実施の形態によれば、注視点による認知だけでなく、周辺視による認知も考慮して、対象物を見ている/見ていないを判定することが可能になり、結果として煩雑な警報を低減することが可能となる。
また、対象物群に対する視認判定を行なうことができ、交差点右折時の横断歩道上の多数の歩行者など、注視が必要な対象物が多数存在する場合でも、個々の対象物に対する警報を提示することなく、対象物群に対する警報を提示することができるため、結果として煩雑な警報を低減することができる。
また、各実施の形態の運転支援装置100、200、300において情報提示部170による情報提示を表示パネルを用いたものとしたが、これに限らず、上述した提示情報を音声により運転者に提供するものとしてもよい。また、音声及び表示によって情報提示を行うものとしてもよい。
さらに、各実施の形態の運転支援装置100、200、300では、情報提示部170は、運転支援装置100、200、300をそれぞれ搭載した車両の運転者に対して提示するものとしたがこれに限らない。つまり、運転者の視認状態によって、当該運転者が運転する車両と衝突の可能性がある対象に安全確認を喚起させる構成としてもよい。例えば、喚起・制御部180における情報提示部170を通信部とし、運転者の視認状態を無線通信を介して外部装置に提示する構成とする。この構成によって、当該運転者が乗車する車両と衝突の可能性がある歩行者や、対向車の運転者に対して情報を提示するようにしてもよい。これにより、当該運転者が乗車する車両と衝突の可能性がある歩行者や、対向車の運転者側から、当該運転者の視認度合いを確認でき、視認度合いが判定される運転者が
運転する車両の安全性を確保することができる。
また、各実施の形態において、情報提示部170に変えて、提示情報処理部160において設定された提示情報に対応して車両の駆動を制御する構成要素を有する喚起・制御部180としてもよい。例えば、提示情報処理部160における対象物の視認判定で、安全確認が必要な対象物に対して運転者の視認度が低い場合、車両を制動して、対象物に対する衝突の危険を回避する構成としても良い。
このように、運転者の安全確認対象物の認知を、運転者の注視による安全確認対象物の認知だけでなく、周辺視を含めて正確に判定して、運転する車両を制動することによって、走行車両の安全性を確保する。
また、各実施の形態における提示情報処理部160は、累積視認度算出部150、350により算出される累積視認度に対応する提示情報を情報提示部170に出力する構成としたが、これに限らず、視認度が入力され、この入力される対象物毎の視認度に対応する提示情報を出力する構成としてもよい。つまり、提示情報処理部160は、入力される対象物毎の視認度に応じて出力する提示情報を判断、変更・設定し、提示情報を情報提示部170に出力する構成としてもよい。
具体的には、提示情報処理部160に視認度算出部140から視認度が入力される構成とし、視認判定部164により視認度の対象物に対する運転者の認知度合いを判定(視認判定)する。また、提示情報設定部166は、視認判定部164からの認知度合い判定された視認度に対応する提示情報を設定・変更して、設定・変更した提示情報を情報提示部170に出力する。これにより、喚起・制御部180は運転者に対する安全確認の喚起を行う。これを受けて運転者は、安全確認対象物の認知を、運転者の注視による安全確認対象物の認知に加え、周辺視を含めて判定でき、走行車両の安全性を確保できる。
2006年9月4日出願の特願2006−239591の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
本発明は、運転者の安全確認対象物の認知を、運転者の注視による安全確認対象物の認知だけでなく、周辺視を含めて正確に判定し、これを用いて、走行車両の安全性を確保する効果を有し、運転者の安全不確認を検出し、安全確認を促す提示を行う運転支援装置として有効である。
本発明の実施の形態1における運転支援装置のブロック図
本発明の実施の形態1における運転支援装置において視認度算出に用いられる注視点からの角度と視認度との関係を示すテーブルの一例を示す図
本発明の実施の形態1における運転支援装置において視認度算出に用いられる注視点からの角度と視認度との関係を示すテーブルの他例を示す図
本発明の実施の形態1における運転支援装置の動作を示すフローチャート
本発明の実施の形態1に係る累積視認度算出方法の概念図
本発明の実施の形態1における運転支援装置において情報提示部により提示される情報提示の一例を示す図
本発明の実施の形態1における運転支援装置において情報提示部により提示される情報提示の一例を示す図
本発明の実施の形態2における運転支援装置のブロック図
本発明の実施の形態2における運転支援装置において周辺視野が加味された視認度を算出する際に用いられるテーブルの一例を示す図
本発明の実施の形態2における運転支援装置の動作を示すフローチャート
本発明の実施の形態3における運転支援装置のブロック図
本発明の実施の形態3における運転支援装置の動作を示すフローチャート
本発明の実施の形態3における運転支援装置において対象物分類部により対象物を分類する処理を模式的に示す図
本発明の実施の形態3における運転支援装置において対象物分類部により対象物を分類する処理を模式的に示す図
情報提示部において提示される提示情報の一例を示すものであり、累積視認度に応じた対象物群の提示の一例を示す概念図
情報提示部において提示される提示情報の別例を示すものであり、累積視認度に応じた対象物群の提示の別例を示す概念図
本発明の実施の形態2における運転支援装置の変形例を示すブロック図
本発明の実施の形態2における運転支援装置の変形例の動作を示すフローチャート