JP4211501B2 - 車両用運転支援装置 - Google Patents
車両用運転支援装置 Download PDFInfo
- Publication number
- JP4211501B2 JP4211501B2 JP2003166115A JP2003166115A JP4211501B2 JP 4211501 B2 JP4211501 B2 JP 4211501B2 JP 2003166115 A JP2003166115 A JP 2003166115A JP 2003166115 A JP2003166115 A JP 2003166115A JP 4211501 B2 JP4211501 B2 JP 4211501B2
- Authority
- JP
- Japan
- Prior art keywords
- driver
- state
- frequency
- driving
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Closed-Circuit Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、車両の走行進路上に存在する先行車両、歩行者や障害物の存在を認識して運転者に知らしめる機能を備えた車両用運転支援装置の技術分野に属する。
【０００２】
【従来の技術】
この種の従来技術としては、障害物までの距離に応じて運転者に情報提供を行うとき、運転者の視線の方向、技量、天候等によって情報提供を実施する距離に補正を施し、段階的な情報提供を行うものが知られている（特許文献１参照）。例えば、歩行者警報の場合、距離が遠い場合には「歩行者」と表示することで注意を促し、近くになると「ブレーキをかけよ」という指示情報を提供する。これにより、運転者の障害物に対する認識の度合いに応じた情報提供が可能となる。
【０００３】
【特許文献１】
特開２００１−３５７４９８号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、上記従来技術にあっては、段階的な情報提供を距離によってのみ決定しているため、運転者の認知状態に応じた情報が提供されず、運転者に違和感を与えるという問題があった。
【０００５】
本発明は、上記問題に着目してなされたもので、その目的とするところは、運転者の認知特性に応じた情報を提供することにより、運転者に違和感を与えない車両用運転支援装置を提供することにある。
【０００６】
【課題を解決するための手段】
上記目的を達成するため、本発明では、車両の走行する環境の状態を検出する環境検出手段と、運転者の運転行動を検出する運転行動検出手段と、運転者が経験、学習により会得した知識やルールを適用しながら運転を行う状態を知識−ルールベースの運転状態と定義し、運転者が与えられた状況に対して、経験により会得したスキルを駆使し、機械的、反復的に情報を処理しながら運転を行う状態をスキルベースの運転状態と定義したとき、検出された運転者の運転行動から運転者の認知状態を、知識−ルールベースの状態とスキルベースの状態との二段階に分類して判定する認知状態判定手段と、情報を運転者に提示する情報提示手段と、検出された環境の状態と判定された運転者の認知状態とに基づいて、前記情報提示手段で運転者に提示する情報を決定する報知情報決定手段と、を備えたことを特徴とする。
【０００７】
【発明の効果】
よって、本発明の車両用運転支援装置にあっては、報知情報決定手段により、環境検出手段が検出した環境の状態と認知状態判定手段が判定した運転者の認知状態とに基づいて、情報提示手段で運転者に提示する情報が決定されるため、環境の状態に関する情報を運転者に提示する際には、運転者の認知状態に応じた情報提示を実施する運転支援が可能となり、違和感のない警報等の情報提示が可能となる。
また、運転者の認知状態が知識−ルールベースの状態の際には、知識−ルールベースの状態に適した情報提示を実施し、運転者の認知状態がスキルベースの状態の際には、スキルベースの状態に適した情報提示を実施する運転支援が可能となる。
【０００８】
【発明の実施の形態】
以下、本発明の車両用運転支援装置を実現する実施の形態を、図面に基づいて説明する。
図１は、実施の形態の車両用運転支援装置を示すブロック構成図であり、この車両用運転支援装置は、運転行動検出手段１０と、認知状態判定手段１１と、環境検出手段１２と、報知情報決定手段１３と、情報提示手段１４とから構成されている。
【０００９】
前記運転行動検出手段１０は、運転者の行動を検出する。前記認知状態判定手段１１は、運転行動検出手段１０により検出された運転者の運転行動から運転者の認知状態を判定する。また、前記環境検出手段１２は、車両の走行する環境の状態を検出する。
【００１０】
前記報知情報決定手段１３は、環境検出手段１２により検出された環境の状態と、認知状態判定手段１１により判定された運転者の認知状態とに基づいて、情報提示手段１４が運転者へ提示する情報を決定する。そして、前記情報提示手段１４は、報知情報決定手段１３により決定された情報を運転者に提示する。
【００１１】
（第１実施例）
図２は、第１実施例の車両用運転支援装置を示すブロック構成図であり、環境認識用画像処理装置２０と、運転者認識用画像処理装置２１と、認知状態判定装置２２と、報知情報決定装置２３と、音声情報提示装置２４と、ブザー２５と、ナビゲーション装置２６と、オーディオ装置２７と、空調装置２８とを備えている。
【００１２】
図２において、前記環境認識用画像処理装置２０は、図１の環境検出手段１２に対応する。また、運転者認識用画像処理装置２１、ナビゲーション装置２６、オーディオ装置２７および空調装置２８は、運転行動検出手段１０を構成する。認知状態判定装置２２は、認知状態判定手段１１を構成し、報知情報決定装置２３は報知情報決定手段１３を構成する。音声情報提示装置２４およびブザー２５は、情報提示手段１４を構成する。
【００１３】
前記環境認識用画像処理装置２０は、例えば、車両の前方を撮像するカメラ装置、および、そのカメラ装置が撮像した前方画像より、障害物や歩行者、先行車両など、安全な車両運転の障害となる可能性のある対象をリアルタイムに抽出して、自車両との相対的位置および距離を算出する画像処理回路を備えている。なお、本実施例においては、前方画像から抽出する安全な車両運転の障害となる可能性のある対象が、障害物であるか、歩行者であるか、さらには先行車両であるかを判定可能であり、判定された対象までの距離と方向の算出が可能な画像処理回路を備えている。
【００１４】
前記運転者認識用画像処理装置２１は、例えば、運転者を撮像するカメラ装置、およびそのカメラ装置が撮像した運転者の画像から、運転者の視線方向と頭部の左右方向の回転角度を、リアルタイムに算出する画像処理回路を備えている。なお、本実施例においては、運転者の視線が、車室外においては、走行環境もしくはサイドミラーのいずれにあるか、また、車室内においても、ルームミラー、もしくはナビゲーション装置の画面のいずれにあるかを判定可能であり、さらに、運転者頭部の左右方向の回転角度を算出可能な画像処理回路を備えている。
【００１５】
前記認知状態判定装置２２の構成を図３に示す。この認知状態判定装置２２は、入力回路３１と、認知状態判定回路３２と、平均値算出回路３３と、保持回路３４とから構成されている。
【００１６】
前記入力回路３１は、運転者認識用画像処理装置２１が運転者の顔面画像を処理して抽出した運転者の視線方向と運転者頭部の回転角度と、ナビゲーション装置２６、オーディオ装置２７、空調装置２８の備え付けられたスイッチ類を運転者が操作した情報を、所定時間ごとに取り込む。
【００１７】
前記認知状態判定回路３２は、入力回路３１に取り込まれた各種情報から、運転者の認知状態を判定する。また、平均値算出回路３３は、保持回路３４に保持された運転行動の平均を算出する。
【００１８】
前記保持回路３４は、運転者が過去に行った運転行動の平均、すなわち、本実施例では、運転者が左右のサイドミラーおよびルームミラーを目視した頻度の平均（ミラー目視頻度平均avef1）と、運転者が頭部を左右方向に所定角度以上回転させた頻度の平均（頭部回転頻度平均avef2）と、運転者が頭部を左右方向に回転させた場合の最大角度の平均（頭部回転角度平均avef3）と、運転者が車室内に備えられたナビゲーション装置２６の画面を目視した頻度の平均（ナビゲーション目視頻度平均avef4）と、運転者がナビゲーション装置２６、オーディオ装置２７、空調装置２８を操作した頻度の平均（装置操作頻度平均avef5）を、平均運転行動として、例えば、図４に示すようなテーブルで保持している。なお、保持回路３４は、保持された運転行動の平均がいくつの運転行動に対する平均であるかを示す数値を、運転行動数Nとして併せて保持している。
【００１９】
前記報知情報決定装置２３の構成を図５に示す、この報知情報決定装置２３は、入力回路４１と、情報提供判断回路４２と、提供情報決定回路４３と、保持回路４４とから構成されている。
【００２０】
前記情報提供判断回路４２は、入力回路４１を介して環境の情報、すなわち、先行車両、歩行者、障害物について、それら対象までの距離と方向に関する情報を入手し、運転者に対して情報提供が必要であるか否かを決定する。
【００２１】
前記提供情報決定回路４３は、環境の情報と運転者の認知状態とに基づいて、運転者に提供する情報を決定する。また、前記保持回路４４は、図６に示すような情報をテーブルとして保持している。
【００２２】
前記音声情報提示装置２４の構成を図７に示す。報知情報決定装置２３の処理により、運転者に対する情報提示手段として、音声情報提示装置２４が選択された場合に本装置を駆動する。運転者の提供すべき情報は、報知情報として入力回路５１を介して入手する。音声情報提示装置２４には、予め複数の音声メッセージを保持した保持回路５３が備わっており、報知情報に応じて、音声メッセージが選択され、再生される。再生された音声メッセージは、スピーカ５２を介して運転者に提供される。
【００２３】
ブザー２５は、報知情報決定装置２３の処理により、運転者に対する情報提示手段として、ブザー２５が選択された場合に駆動される。運転者に情報提供することによって存在を知らしめるべき対象の種類、すなわち、先行車両、歩行者、障害物のいずれかによって周波数を変化させてもよい。
【００２４】
次に、作用を説明する。
［認知状態判定制御処理］
図８は、認知状態判定装置２２にて実施される認知状態判定制御処理の流れを示すフローチャートである。
【００２５】
ステップS100では、運転者の頭部回転角度とスイッチ類を運転者が操作した情報を取り込み、ステップS101へ移行する。
【００２６】
ステップS101では、保持回路３４に保持された平均運転行動を参照し、ステップS102へ移行する。
【００２７】
ステップS102では、運転者の認知状態を判定し、ステップS103へ移行する。この処理は、まず、ステップS100にて取り込まれた所定時間分の運転者の視線方向と運転者の頭部回転角度より、運転者が左右のサイドミラーおよびルームミラーを目視した頻度（ミラー目視頻度f1（＝所定時間にミラーを注視した回数）と、運転者が頭部を左右方向に所定角度以上回転させた頻度（頭部回転頻度f2（＝所定時間に頭部を所定角度以上回転させた回数）と、運転者が頭部を左右方向に回転させた場合の最大角度（頭部回転角度f3（＝MAX｛頭部の回転角度｝））と、運転者が車室内に備えられたナビゲーション装置２６の画面を目視した頻度（ナビゲーション目視頻度f4（＝所定時間にナビゲーション画面を注視した回数）と、運転者がナビゲーション装置２６、オーディオ装置２７、空調装置２８を操作した頻度（装置操作頻度f5（＝所定時間に装置を操作した回数））と、を運転者の運転行動として算出する。なお、本実施例では、この所定時間分の運転行動を１単位とし、運転行動数１としている。
【００２８】
次に、これら運転者の運転行動のそれぞれと、ステップS101で参照した保持回路３４に保持された平均運転行動のそれぞれを比較する。なお、本実施例における比較は、値の大小にて行うものとする。つまり、ミラーの目視頻度、頭部回転頻度、頭部回転角度、ナビゲーション目視頻度と、保持回路３４に保持されたそれらの平均の比較では、ミラーの目視頻度、頭部回転頻度、頭部回転角度、ナビゲーション目視頻度の方が大きいとき、すなわち、fi≧fi(i=1,2,3,4)が成り立つとき、また、装置操作頻度と、保持回路３４に保持された装置操作頻度の平均の比較では、装置操作頻度の方が小さいとき、すなわち、f5≦avef5が成り立つとき、認知状態判定回路３２は運転者の認知状態を知識−ルールベースの状態と判定する。逆に、ミラーの目視頻度、頭部回転頻度、頭部回転角度、ナビゲーション目視頻度と、保持回路３４に保持されたそれらの平均の比較では、ミラーの目視頻度、頭部回転頻度、頭部回転角度、ナビゲーション目視頻度の方が小さいとき、すなわち、fi＜avefi(i=1,2,3,4)が成り立つとき、また、装置操作頻度と、保持回路３４に保持された装置操作頻度の平均の比較では、装置操作頻度の方が大きいとき、すなわち、f5＞avef5が成り立つとき、認知状態判定回路３２は運転者の認知状態をスキルベースの状態と判定する。
【００２９】
なお、ミラーの目視頻度、頭部回転頻度、頭部回転角度、ナビゲーション目視頻度、装置操作頻度、計５種の指標の比較による運転者の認知状態判定において、判定された運転者の認知状態が同一ではなかった場合、多数決によって認知状態判定装置２２としての判定を決定しても良い。例えば、ミラーの目視頻度、頭部回転頻度、頭部回転角度による判定がスキルベースであり、ナビゲーション目視頻度、装置操作頻度による判定が知識−ルールベースであった場合、認知状態判定装置２２としての運転者の認知状態の判定は、スキルベースと決定する。
【００３０】
ステップS103では、保持回路３４に保持されている運転者が過去に行った運転行動の平均を更新し、ステップS100へ移行する。更新は、保持回路３４に保持されている運転者が過去に行った運転行動、すなわちステップS101で参照して入手した運転行動の平均に対して、ステップS102にて算出した所定時間の運転者の運転行動を追加することによって行われる。すなわち、
avefi＝（avefi×N＋fi）／（N＋1）（i=1,2,…5）
である。
【００３１】
［報知情報決定制御処理］
図９は、報知情報決定装置２３にて実施される報知情報決定制御処理の流れを示すフローチャートである。
【００３２】
ステップS110では、環境認識用画像処理装置２０によって認識された環境の情報、すなわち、先行車両、歩行者、障害物について、それら対象までの距離と方向に関する情報を、入力回路４１を介して入手し、ステップS111へ移行する。
【００３３】
ステップS111では、情報提供判断回路４２において、ステップS110で入手した情報に基づき、運転者に対して情報提供が必要であるか否かを決定する。例えば、先行車両に対する接近警報を、本実施例における情報提供の一つとすると、ステップS110で入手した情報が、先行車両までの距離dであった場合で、その先行車両が接近してきている場合、一般的には、
距離Ｄ＝V1×T＋V1 2／2a1−V2 2／2a2
V１は自車両の速度、V2(＝V1＋d')は先行車両の速度、a１は自車両の減速度、a２は先行車両の減速度、Tは空走時間
の以内に先行車両が位置した場合に、警報としての情報提供の実施を決定する。また、歩行者に対する警報を、本実施例における情報提供の一つとした場合には、一般的な歩行者警報の報知決定方法を、障害物に対する警報を、本実施例における情報提供の一つとした場合には、一般的な障害物警報の報知決定方法を、適用することが可能である。これら報知決定方法のいずれかによって情報提供が必要であると判断された場合には、ステップS111へ移行する。一方、いずれの情報提供も不要と判断された場合には、本処理を終了し、ステップS110に戻る。
【００３４】
ステップS112では、認知状態判定装置２２は判定した運転者の認知状態を、入力回路４１を介して入手し、ステップS113へ移行する。ここで入手する運転者の認知状態は、知識−ルールベース、または、スキルベースのいずれかである。
【００３５】
ステップS113では、ステップS111で運転者に対して情報提供が必要と判断された先行車両、歩行者、障害物のいずれかの対象と、ステップS112で入手した運転者の認知状態とに基づき、提供情報決定回路４３において、運転者に提供する情報を決定する。
【００３６】
この際、運転者に情報提供することによって存在を知らしめるべき対象の種類、すなわち、先行車両、歩行者、障害物のいずれかによって、また、運転者の認知状態、すなわち、知識−ルールベース、または、スキルベースのいずれかによって、運転者に提供する情報が決定される。
【００３７】
そこで、本実施例における本処理は、保持回路４４に保持された図６に示すテーブルを参照することによって実施する。すなわち、例えば、運転者に情報提供することによって存在を知らしめるべき対象が障害物であり、運転者の認知状態がスキルベースであった場合、情報提示手法としてブザーを用いることを決定する。一方、運転者に情報提供することによって存在を知らしめるべき対象が先行車両であり、運転者の認知状態が知識−ルールベースであった場合、情報提示手法として、音声情報提示装置２４を用いることを決定し、報知情報として、先行車両を回避するための情報提示を決定する。
【００３８】
［運転者の認知特性に応じた情報提供］
運転者の安全な車両運転を実現することを目的として、様々な車両用運転支援装置が発明されている。車両の走行進路上に存在する他車両や歩行者、障害物の存在を運転者に知らしめる、いわゆる、接近警報も車両用運転支援装置の一つである。接近警報等、運転者に情報を提示する装置においては、運転者にいかに違和感を持たせないで情報提示を行うかが課題となっている。
【００３９】
ここで、運転者に求められる情報の内容は、距離によってのみ決定されるものではなく、例えば、障害物までの距離や環境の条件が同一であっても、障害物を回避するための指示情報が効果的な場合もあれば、障害物の存在を運転者に認識させるための注意喚起的な情報提供が効果的な場合もある。また、視野の中に警報対象があったとしても、警報対象の存在を示す情報提供が効果を示す場合もある。
【００４０】
このような情報提供の実現には、人間の「認知」の特性に則した情報提供が必要である。すなわち、ドライバの運転は、２つの状態に大別できる。▲１▼与えられた状況に対して、経験により会得したスキルを駆使し、機械的、反射的に情報を処理しながら運転を行うスキルベースの運転状態、▲２▼経験、学習により会得した知識やルールを適用しながら運転を行う知識−ルールベースの運転状態である。
【００４１】
ドライバの情報収集という面から考察すると、スキルベースの運転状態の場合、環境の全体的な様子を広く浅く把握することで、運転者は運転という作業を達成している。一方、知識−ルールベースの運転状態の場合、環境の局所的な様子を狭く深く把握することで、運転という作業を実現している。事故を予防するための情報提供を行う場合においても、自ずと、それぞれの運転状態に対して提供すべき情報は異なる。
【００４２】
例えば、スキルベースの運転状態の場合、重要事を無意識に意識のルーチンから外したり、対処を無意識に誤ったりする傾向がある。このような場合の事故の予防は、運転者に対して、重要事が意識のルーチンから外れていること、外れる傾向があることを、簡潔に示唆することで達成される。
【００４３】
一方、知識−ルールベースの運転状態の場合、状況に対して、どの知識やルールを使ったらよいのかわからなかったり、誤った知識やルールを駆使したりする傾向がある。このような場合の事故の予防は、運転者に対して、正しい情報を与えたり、情報の所在を指示したり、また、対処の優先順位、対処方法を与えたりすることで達成される。
【００４４】
なお、このスキルベースの運転状態と知識−ルールベースの運転状態は、全く同じ走行環境を走行したとしても、運転者によって、必ずしも同一の運転状態によって運転するとは限らず、また、同一の運転者においても、道路の混雑の状態や、歩行者、路上駐車の有無、天候、その他走行環境に関わる諸々の要因によって、瞬時にスキルベースから知識−ルールベースの運転状態に、逆に、知識−ルールベースからスキルベースの運転状態に切り替わるような特性をもつ。
【００４５】
すなわち、運転者に違和感を持たせない情報提供を実現するためには、運転者に与えるべき情報を、車両が存在している環境の状態や、障害物までの距離のみによって決定するのではなく、その時々の運転環境に対する運転者の認知状態に応じても、決定される必要がある。
【００４６】
これに対し、第１実施例の車両用運転支援装置では、運転者の運転行動から、運転者の環境に対する認知状態がスキルベースの状態であるか知識−ルールベースの状態であるかを判定することが可能となる。また、運転者の認知状態がスキルベースの状態であった場合と、知識−ルールベースの状態であった場合と、のそれぞれにおいて、運転者に提示する警報の種類を変えるようにしたので、運転者の認知状態に合致した違和感のない警報提示が可能となる。
【００４７】
次に、効果を説明する。
第１実施例の車両用運転支援装置にあっては、次に列挙する効果を得ることができる。
【００４８】
(1) 報知情報決定装置２３は、環境認識用画像処理装置２０により認識された環境の情報に基づいて、運転者に対して必要な情報提供を決定し、認知状態判定装置２２により判定された運転者の認知状態に基づいて情報提供方法を決定するため、環境の状態に関する情報を運転者に提示する際には、運転者の認知状態に応じた情報提示を実施する運転支援が可能となる。
【００４９】
(2) 認知状態判定装置２３は、運転者の認知状態を知識−ルールベースの状態と、スキルベースの状態との二段階に分類して判定するため、運転者の認知状態が知識−ルールベースの状態の際には、知識−ルールベースの状態に適した情報提示を実施し、運転者の認知状態がスキルベースの状態の際には、スキルベースの状態に適した情報提示を実施する運転支援が可能となる。
【００５０】
(3) 運転者が左右のサイドミラーおよびルームミラーを目視した頻度の平均（ミラー目視頻度平均avef1）と、運転者が頭部を左右方向に所定角度以上回転させた頻度の平均（頭部回転頻度平均avef2）と、運転者が頭部を左右方向に回転させた場合の最大角度の平均（頭部回転角度平均avef3）と、運転者が車室内に備えられたナビゲーション装置２６の画面を目視した頻度の平均（ナビゲーション目視頻度平均avef4）と、運転者がナビゲーション装置２６、オーディオ装置２７、空調装置２８を操作した頻度の平均（装置操作頻度平均avef5）を、運転者が過去に行った運転行動の平均としたため、運転者がミラーを目視する頻度、運転者が頭部を回転する頻度、運転者の頭部が回転する角度、運転者がナビゲーションを目視する頻度、運転者が発話する頻度、運転者がナビゲーション装置、オーディオ装置、空調制御装置等の装置を操作する頻度に基づいて、運転者の認知状態を判定が可能であり、その判定に基づいた運転支援が可能となる。
【００５１】
(4) 認知状態判定装置２２は、運転者認識用画像処理装置２１、ナビゲーション装置２６、オーディオ装置２７および空調装置２８によって検出された運転行動と、保持回路３４に保持された運転行動統計値とを比較することにより、運転者の認知状態を判定することとしたので、運転者の過去の運転行動に基づいた認知状態の判定が可能であり、その判定に基づいた運転支援が可能となる。
【００５２】
(5) 保持回路３４に保持された運転者が過去に行った運転行動の平均を、所定時間の運転者の運転行動を追加することにより更新することとしたため、常時、最新の運転行動の平均に基づいた運転者の認知状態の判定が可能であり、その判定に基づいた運転支援が可能となる。
【００５３】
(6) 認知状態判定装置２２は、ミラーの目視頻度、頭部回転頻度、頭部回転角度、ナビゲーション目視頻度と、保持回路３４に保持されたそれらの平均の比較では、ミラーの目視頻度、頭部回転頻度、頭部回転角度、ナビゲーション目視頻度の方が大きいとき、すなわち、fi≧fi(i=1,2,3,4)が成り立つとき、また、装置操作頻度と、保持回路３４に保持された装置操作頻度の平均の比較では、装置操作頻度の方が小さいとき、すなわち、f5≦avef5が成り立つとき、運転者の認知状態を知識−ルールベースの状態と判定するため、認知状態判定装置２２においては、検出された運転者の運転行動と、保持回路３４に保持された運転行動の平均の大小比較という容易な手法によって、運転者の認知状態が知識−ルールベースであるかの判定をリアルタイムに実施することが可能であり、その判定に基づいた運転支援が可能となる。
【００５４】
(7) 認知状態判定装置２２は、ミラーの目視頻度、頭部回転頻度、頭部回転角度、ナビゲーション目視頻度と、保持回路３４に保持されたそれらの平均の比較では、ミラーの目視頻度、頭部回転頻度、頭部回転角度、ナビゲーション目視頻度の方が小さいとき、すなわち、fi＜avefi(i=1,2,3,4)が成り立つとき、また、装置操作頻度と、保持回路３４に保持された装置操作頻度の平均の比較では、装置操作頻度の方が大きいとき、すなわち、f5＞avef5が成り立つとき、運転者の認知状態をスキルベースの状態であると判定することとしたので、認知状態判定装置２２においては、検出された運転者の運転行動と保持回路３４に保持された運転行動の統計値の大小比較という容易な手法によって、運転者の認知状態がスキルベースであるかの判定をリアルタイムに実施することが可能であり、その判定に基づいた運転支援が可能となる。
【００５５】
(8) 報知情報決定装置２３は、運転者に情報提供することによって知らしめるべき対象が先行車両であり、かつ、運転者の認知状態が知識−ルールベースの状態であった場合には、情報提示手法として音声情報提示装置２４を用いることとしたため、運転者の認知状態である知識−ルールベースの状態に合致した情報提示が可能となり、運転者にとって、より理解のしやすい情報提示に基づく運転支援が可能となる。
【００５６】
(9) 運転者に情報提供することによって知らしめるべき対象が障害物であり、かつ、運転者の認知状態がスキルベースの状態であった場合には、情報提示手法としてブザー２５を用いることとしたため、運転者の認知状態であるスキルベースの状態に合致した情報提示が可能となり、運転者にとって、より理解のしやすい情報提示に基づく運転支援が可能となる。
【００５７】
（第２実施例）
図１０は、第２実施例の車両用運転支援装置を示すブロック構成図である。第２実施例において、基本構成は図２に示した第１実施例のブロック構成図とほぼ同一であり、同符号を付して重複した説明は省略する。
【００５８】
この車両用運転支援装置は、環境認識用レーダ装置６０、運転者認識用画像処理装置２１、発話検出装置６１、認知状態判定装置６２、報知情報決定装置６３、表示装置６４、振動装置６５を備えている。
【００５９】
図１０において、環境認識用レーダ装置６０は、図１の環境検出手段１２に対応する。また、運転者認識用画像処理装置２１と発話検出装置６１は、運転行動検出手段１０を構成する。認知状態判定装置６２は、認知状態判定手段１１を構成し、報知情報決定装置６３は報知情報決定手段１３を構成する。表示装置６４および振動装置６５は、情報提示手段１４を構成する。
【００６０】
前記環境認識用レーダ装置６０には、例えば、車両の前方に設置されたレーザレーダ装置やミリ波装置を用いる。これらレーダ装置は、障害物や歩行者、先行車両など、安全な車両運転の障害となる可能性のある物体をリアルタイムに抽出して、自車両との距離、相対速度、相対加速度、を算出する処理回路を備えている。
【００６１】
前記発話検出装置６１には、運転者の口元をカメラによって撮像し、画像認識技術によって発話を検出する装置や、運転者の発話等が含まれた車室内の音をマイク装置より入力し、運転者の発話を車室内音からフィルタ処理を施すことによって抽出する装置、等を用いることが可能である。
【００６２】
前記認知状態判定装置６２の構成を図１１に示す。認知状態判定装置６２は、入力回路７１と、認知状態判定回路７２と、保持回路７３とから構成されている。前記入力回路７１は、運転者認識用画像処理装置２１が運転者の顔面画像を処理して抽出した運転者の視線方向と運転者の頭部回転角度と、さらに、発話検出装置６１によって検出した運転者の発話を所定時間毎に取り込む。
【００６３】
前記認知状態判定回路７２は、運転者の認知状態を判定する。前記保持回路７３には、一般的な運転者の認知状態に応じた運転行動の平均が保持されている。すなわち、本実施例では、一般的な運転者が、知識−ルールベース状態時の左右のサイドミラーおよびルームミラーを目視した頻度の平均（ミラー目視頻度平均aveg11）と、一般的な運転者が頭部を左右方向に所定角度以上回転させた頻度の平均（頭部回転頻度平均aveg21）と、一般的な運転者が頭部を左右方向に回転させた場合の最大角度の平均（頭部回転角度平均aveg31）と、一般的な運転者が車室内に備えられたナビゲーション装置の画面を目視した頻度の平均（ナビゲーション目視頻度平均aveg41）と、一般的な運転者が運転中に発話する頻度の平均（発話頻度平均aveg51）と、スキルベース状態時の左右のサイドミラーおよびルームミラーを目視した頻度の平均（ミラー目視頻度平均aveg12）と、運転者が頭部を左右方向に所定角度以上回転させた頻度の平均（頭部回転頻度平均aveg22）と、運転者が頭部を左右方向に回転させた場合の最大角度の平均（頭部回転角度平均aveg32）と、運転者が車室内に備えられたナビゲーション装置の画面を目視した頻度の平均（ナビゲーション目視頻度平均aveg42）と、一般的な運転者が運転中に発話する頻度の平均（発話頻度平均aveg52）と、を、平均運転行動として、例えば、図１２に示すテーブルで保持している。
【００６４】
前記報知情報決定装置６３の構成を図１３に示す。認知状態判定装置６２は、入力回路７５と、情報提供判断回路７６と、提供情報決定回路７７と、保持回路７８とから構成されている。
【００６５】
前記入力回路７５は、環境認識用レーダ装置６０によって認識された環境の情報、すなわち、進路上に存在する物体について、それら物体までの距離と相対速度、相対加速度に関する情報を取り込む。
【００６６】
前記情報提供判断回路７６は、認知状態判定装置６２が判定した運転者の認知状態を、入力回路７５を介して入手し、運転者に対して情報提供が必要であるか否かを決定する。
【００６７】
前記提供情報決定回路７７は、運転者に提供する情報の種類と方法を決定する。また、前記保持回路７８は、図６に示すような情報をテーブルとして保持している。
【００６８】
［認知状態判定制御処理］
図１４は、認知状態判定装置６２にて実施される認知状態判定制御処理の流れを示すフローチャートである。
【００６９】
ステップS200では、運転者の顔面画像を処理して抽出した運転者の視線方向と運転者の頭部回転角度と、さらに、発話検出装置６１によって検出した運転者の発話を所定時間ごとに取り込み、ステップS201へ移行する。
【００７０】
ステップS201では、保持回路７３に保持された運転行動の平均を参照して入手し、ステップS202へ移行する。
【００７１】
ステップS202では、運転者の認知状態を判定し、ステップS200へ移行する。このステップの処理は、まず、ステップS200にて取り込まれた所定時間分の運転者の視線方向と運転者の頭部回転角度より、運転者が左右のサイドミラーおよびルームミラーを目視した頻度（ミラー目視頻度g1（＝所定時間にミラーを注視した回数）と、運転者が頭部を左右方向に所定角度以上回転させた頻度（頭部回転頻度g2（＝所定時間に頭部を所定角度以上回転させた回数）と、運転者が頭部を左右方向に回転させた場合の最大角度（頭部回転角度g3（＝MAX｛頭部の回転角度｝））と、運転者が車室内に備えられたナビゲーション装置の画面を目視した頻度（ナビゲーション目視頻度g4（＝所定時間にナビゲーション画面を注視した回数）と、運転者が発話した頻度（発話頻度g5（＝所定時間に発話した回数））とを運転者の運転行動として算出する。
【００７２】
次に、これら運転者の運転行動のそれぞれと、ステップS201で参照した保持回路７３に保持された平均運転行動のそれぞれを比較する。なお、本実施例における比較は、値の遠近にて行うものとする。つまり、運転者の運転行動gi(i=1,2,3,4,5)と、保持回路７３に保持された認知状態毎の一般的な運転行動の平均avegi1，avegi2(i=1,2,3,4,5)の比較において、知識−ルールベースの認知行動時の運転行動の方が近いとき、すなわち、
avegi1−gi≦avegi2−gi(i=1,2,3,4,5)
が成り立つとき、認知状態判定回路７２は運転者の認知状態を知識−ルールベースの状態と判定する。逆に、スキルベースの認知行動時の運転行動の方が近いとき、すなわち、
avegi1−gi＞avegi2−gi(i=1,2,3,4,5)
が成り立つとき、認知状態判定回路７２は運転者の認知状態をスキルベースの状態と判定する。
【００７３】
なお、ミラーの目視頻度、頭部回転頻度、頭部回転角度、ナビゲーション目視頻度、会話頻度、計５種の指標の比較による運転者の認知状態判定において、判定された運転者の認知状態が同一ではなかった場合、多数決によって判定を決定しても良い。例えば、ミラーの目視頻度、頭部回転頻度、頭部回転角度による判定がスキルベースであり、ナビゲーション目視頻度、会話頻度による判定が知識−ルールベースであった場合、認知状態判定装置６２としての運転者の認知状態の判定は、スキルベースと決定する。
【００７４】
［報知情報決定制御処理］
図１５は、報知情報決定装置６３にて実施される報知情報決定制御処理の流れを示すフローチャートである。
【００７５】
ステップS210では、環境認識用レーダ装置６０によって認識された環境の情報、すなわち、進路上に存在する物体について、それら物体までの距離と相対速度、相対加速度に関する情報を入手し、ステップS211へ移行する。
【００７６】
ステップS211では、ステップS210で入手した情報に基づき、運転者に対して情報提供が必要であるか否かを決定する。例えば、物体に対する接近警報を、本実施例における情報提供の一つとすると、一般的には、
距離Ｄ＝V1×T＋V1 2／2a1−V2 2／2a2
V１は自車両の速度、V2は物体の速度、a１は物体の減速度、a２は物体の減速度
の以内に物体が位置した場合に、警報としての情報提供の実施を決定する。この接近警報によって情報提供が必要であると判断された場合には、ステップS111へ移行する。一方、情報提供が不要と判断された場合には、本処理を終了し、ステップS210に移行する。
【００７７】
ステップS212では、認知状態判定装置６２が判定した運転者の認知状態を、入力回路７５を介して入手する。ここで入手する運転者の認知状態は、知識−ルールベース、または、スキルベース、のいずれかである。運転者の認知状態が知識−ルールベースの時はステップS213へ移行し、運転者の認知状態がスキルベースの時はステップS215へ移行する。
【００７８】
ステップS213では、入力回路７５から入力された運転者認識用画像処理装置２１からの情報に基づき、運転者の視線方向を特定する。通常、知識−ルールベースの認知状態では、運転者は、環境の狭い領域に対して深く認識することを試みる傾向がある。逆に、運転者の注意が及ばない領域には、視線が配られることはない。
【００７９】
そこで、この特性を鑑み、ステップS211で検出した接近警報として情報提供が必要な物体に対して、視線が配されているか否かを判定する。判定の結果、物体に視線が配られていた場合には、運転者は物体を認識していると判断できるため、本処理を終了し、ステップS210に戻る。一方、物体に視線が配されていなかった場合には、運転者は物体を認識できていないと判断できるため、情報を提供が必要である。よって、ステップS214へ移行する。
【００８０】
ステップS214では、運転者に提供する情報の種類と方法を決定し、ステップS210へ移行する。運転者の認知状態が知識−ルールベースの状態であった場合、運転者は環境において注目していない領域以外の領域には意識を払っていない。その意識を払っていない領域に存在する安全な運転を妨げる障害を回避させるためには、詳細かつ指示的な情報を提供することが効果的である。そこで、本実施例においては、モニタやHUD（Head Up Display）のような表示装置６４を用いて、例えば、図１６に示すような回避情報を提示することを決定する。
【００８１】
ステップS215では、運転者に提供する情報の種類と方法を決定し、ステップS210へ移行する。運転者の認知状態がスキルベースの状態であった場合、通常、運転者は、環境の広い領域に対して浅く認識することを試みる傾向がある。浅い把握のため、進路に存在する安全な運転を妨げる障害が存在したとしても、見落とす可能性がある。
【００８２】
そこで、この特性を鑑み、運転者の認知状態がスキルベースの状態であった場合には、運転者の視線の方向にかかわらず、進路に存在する安全な運転を妨げる障害が存在を意識させるために、簡潔な情報を提供することが効果的である。そこで、本実施例においては、モニタのような表示装置６４を用いて、例えば、図１７に示すように情報を点滅表示させたり、座席に埋め込まれた振動装置６５を用いて、運転者に振動を伝達したりする。
【００８３】
次に、効果を説明する。
第２実施例の車両用運転支援装置にあっては、以下に列挙する効果を得ることができる。
【００８４】
(10) 報知情報決定装置６３は、運転者の視線が物体に配られていない場合には、運転者の視線が及ばない領域において存在する安全な車両運転の障害となる可能性のある物体について詳細な情報提供をするようにしたので、通常、わずらわしいと感じる詳細情報を運転者に提示しても違和を感じさせしめることなく運転者に提供することが可能となる。
【００８５】
(11) 報知情報決定装置６３は、運転者の視線が物体に配られている場合には、運転者の視線方向にかかわらず、進路に存在する安全な車両運転の障害となる可能性のある物体について簡潔な情報を提供することとしたため、スキルベースの認知状態の特徴である、車両の安全な運転を阻害する可能性のある環境が運転者の視野に入っているにもかかわらず見落とす、といった状況に対して、運転者の注意を喚起する情報を提供するような、スキルベースの認知状態に合致し、違和感の少ない運転者に対する情報提供を実施する運転支援が可能となる。
【図面の簡単な説明】
【図１】実施の形態の車両用運転支援装置を示すブロック構成図である。
【図２】第１実施例の車両用運転支援装置を示すブロック構成図である。
【図３】認知状態判定装置２２の構成を示す図である。
【図４】保持回路に保持された運転行動のテーブルである。
【図５】報知情報決定装置の構成を示す図である。
【図６】保持回路に保持された認知状態と情報提示手法の関係を示すテーブルである。
【図７】音声情報提示装置の構成を示す図である。
【図８】認知状態判定装置にて実施される認知状態判定制御処理の流れを示すフローチャートである。
【図９】報知情報決定装置にて実施される報知情報決定制御処理の流れを示すフローチャートである。
【図１０】第２実施例の車両用運転支援装置を示すブロック構成図である。
【図１１】認知状態判定装置の構成を示す図である。
【図１２】保持回路に保持された認知状態と運転行動の関係を示すテーブルである。
【図１３】報知情報決定装置の構成を示す図である。
【図１４】認知状態判定装置にて実施される認知状態判定制御処理の流れを示すフローチャートである。
【図１５】報知情報決定装置にて実施される報知情報決定制御処理の流れを示すフローチャートである。
【図１６】表示装置が表示する情報の説明図である。
【図１７】表示装置が表示する情報の説明図である。
【符号の説明】
１０ 運転行動検出手段
１１ 認知状態判定手段
１２ 環境検出手段
１３ 報知情報決定手段
１４ 情報提示手段
２０ 環境認識用画像処理装置
２１ 運転者認識用画像処理装置
２２ 認知状態判定装置
２３ 報知情報決定装置
２４ 音声情報提示装置
２５ ブザー
２６ ナビゲーション装置
２７ オーディオ装置
２８ 空調装置
３１ 入力回路
３２ 認知状態判定回路
３３ 平均値算出回路
３４ 保持回路
４１ 入力回路
４２ 情報提供判断回路
４３ 提供情報決定回路
４４ 保持回路
５１ 入力回路
５２ スピーカ
５３ 保持回路
６０ 環境認識用レーダ装置
６１ 発話検出装置
６２ 認知状態判定装置
６３ 報知情報決定装置
６４ 表示装置
６５ 振動装置
７１ 入力回路
７２ 認知状態判定回路
７３ 保持回路
７５ 入力回路
７６ 情報提供判断回路
７７ 提供情報決定回路
７８ 保持回路
【発明の属する技術分野】
本発明は、車両の走行進路上に存在する先行車両、歩行者や障害物の存在を認識して運転者に知らしめる機能を備えた車両用運転支援装置の技術分野に属する。
【０００２】
【従来の技術】
この種の従来技術としては、障害物までの距離に応じて運転者に情報提供を行うとき、運転者の視線の方向、技量、天候等によって情報提供を実施する距離に補正を施し、段階的な情報提供を行うものが知られている（特許文献１参照）。例えば、歩行者警報の場合、距離が遠い場合には「歩行者」と表示することで注意を促し、近くになると「ブレーキをかけよ」という指示情報を提供する。これにより、運転者の障害物に対する認識の度合いに応じた情報提供が可能となる。
【０００３】
【特許文献１】
特開２００１−３５７４９８号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、上記従来技術にあっては、段階的な情報提供を距離によってのみ決定しているため、運転者の認知状態に応じた情報が提供されず、運転者に違和感を与えるという問題があった。
【０００５】
本発明は、上記問題に着目してなされたもので、その目的とするところは、運転者の認知特性に応じた情報を提供することにより、運転者に違和感を与えない車両用運転支援装置を提供することにある。
【０００６】
【課題を解決するための手段】
上記目的を達成するため、本発明では、車両の走行する環境の状態を検出する環境検出手段と、運転者の運転行動を検出する運転行動検出手段と、運転者が経験、学習により会得した知識やルールを適用しながら運転を行う状態を知識−ルールベースの運転状態と定義し、運転者が与えられた状況に対して、経験により会得したスキルを駆使し、機械的、反復的に情報を処理しながら運転を行う状態をスキルベースの運転状態と定義したとき、検出された運転者の運転行動から運転者の認知状態を、知識−ルールベースの状態とスキルベースの状態との二段階に分類して判定する認知状態判定手段と、情報を運転者に提示する情報提示手段と、検出された環境の状態と判定された運転者の認知状態とに基づいて、前記情報提示手段で運転者に提示する情報を決定する報知情報決定手段と、を備えたことを特徴とする。
【０００７】
【発明の効果】
よって、本発明の車両用運転支援装置にあっては、報知情報決定手段により、環境検出手段が検出した環境の状態と認知状態判定手段が判定した運転者の認知状態とに基づいて、情報提示手段で運転者に提示する情報が決定されるため、環境の状態に関する情報を運転者に提示する際には、運転者の認知状態に応じた情報提示を実施する運転支援が可能となり、違和感のない警報等の情報提示が可能となる。
また、運転者の認知状態が知識−ルールベースの状態の際には、知識−ルールベースの状態に適した情報提示を実施し、運転者の認知状態がスキルベースの状態の際には、スキルベースの状態に適した情報提示を実施する運転支援が可能となる。
【０００８】
【発明の実施の形態】
以下、本発明の車両用運転支援装置を実現する実施の形態を、図面に基づいて説明する。
図１は、実施の形態の車両用運転支援装置を示すブロック構成図であり、この車両用運転支援装置は、運転行動検出手段１０と、認知状態判定手段１１と、環境検出手段１２と、報知情報決定手段１３と、情報提示手段１４とから構成されている。
【０００９】
前記運転行動検出手段１０は、運転者の行動を検出する。前記認知状態判定手段１１は、運転行動検出手段１０により検出された運転者の運転行動から運転者の認知状態を判定する。また、前記環境検出手段１２は、車両の走行する環境の状態を検出する。
【００１０】
前記報知情報決定手段１３は、環境検出手段１２により検出された環境の状態と、認知状態判定手段１１により判定された運転者の認知状態とに基づいて、情報提示手段１４が運転者へ提示する情報を決定する。そして、前記情報提示手段１４は、報知情報決定手段１３により決定された情報を運転者に提示する。
【００１１】
（第１実施例）
図２は、第１実施例の車両用運転支援装置を示すブロック構成図であり、環境認識用画像処理装置２０と、運転者認識用画像処理装置２１と、認知状態判定装置２２と、報知情報決定装置２３と、音声情報提示装置２４と、ブザー２５と、ナビゲーション装置２６と、オーディオ装置２７と、空調装置２８とを備えている。
【００１２】
図２において、前記環境認識用画像処理装置２０は、図１の環境検出手段１２に対応する。また、運転者認識用画像処理装置２１、ナビゲーション装置２６、オーディオ装置２７および空調装置２８は、運転行動検出手段１０を構成する。認知状態判定装置２２は、認知状態判定手段１１を構成し、報知情報決定装置２３は報知情報決定手段１３を構成する。音声情報提示装置２４およびブザー２５は、情報提示手段１４を構成する。
【００１３】
前記環境認識用画像処理装置２０は、例えば、車両の前方を撮像するカメラ装置、および、そのカメラ装置が撮像した前方画像より、障害物や歩行者、先行車両など、安全な車両運転の障害となる可能性のある対象をリアルタイムに抽出して、自車両との相対的位置および距離を算出する画像処理回路を備えている。なお、本実施例においては、前方画像から抽出する安全な車両運転の障害となる可能性のある対象が、障害物であるか、歩行者であるか、さらには先行車両であるかを判定可能であり、判定された対象までの距離と方向の算出が可能な画像処理回路を備えている。
【００１４】
前記運転者認識用画像処理装置２１は、例えば、運転者を撮像するカメラ装置、およびそのカメラ装置が撮像した運転者の画像から、運転者の視線方向と頭部の左右方向の回転角度を、リアルタイムに算出する画像処理回路を備えている。なお、本実施例においては、運転者の視線が、車室外においては、走行環境もしくはサイドミラーのいずれにあるか、また、車室内においても、ルームミラー、もしくはナビゲーション装置の画面のいずれにあるかを判定可能であり、さらに、運転者頭部の左右方向の回転角度を算出可能な画像処理回路を備えている。
【００１５】
前記認知状態判定装置２２の構成を図３に示す。この認知状態判定装置２２は、入力回路３１と、認知状態判定回路３２と、平均値算出回路３３と、保持回路３４とから構成されている。
【００１６】
前記入力回路３１は、運転者認識用画像処理装置２１が運転者の顔面画像を処理して抽出した運転者の視線方向と運転者頭部の回転角度と、ナビゲーション装置２６、オーディオ装置２７、空調装置２８の備え付けられたスイッチ類を運転者が操作した情報を、所定時間ごとに取り込む。
【００１７】
前記認知状態判定回路３２は、入力回路３１に取り込まれた各種情報から、運転者の認知状態を判定する。また、平均値算出回路３３は、保持回路３４に保持された運転行動の平均を算出する。
【００１８】
前記保持回路３４は、運転者が過去に行った運転行動の平均、すなわち、本実施例では、運転者が左右のサイドミラーおよびルームミラーを目視した頻度の平均（ミラー目視頻度平均avef1）と、運転者が頭部を左右方向に所定角度以上回転させた頻度の平均（頭部回転頻度平均avef2）と、運転者が頭部を左右方向に回転させた場合の最大角度の平均（頭部回転角度平均avef3）と、運転者が車室内に備えられたナビゲーション装置２６の画面を目視した頻度の平均（ナビゲーション目視頻度平均avef4）と、運転者がナビゲーション装置２６、オーディオ装置２７、空調装置２８を操作した頻度の平均（装置操作頻度平均avef5）を、平均運転行動として、例えば、図４に示すようなテーブルで保持している。なお、保持回路３４は、保持された運転行動の平均がいくつの運転行動に対する平均であるかを示す数値を、運転行動数Nとして併せて保持している。
【００１９】
前記報知情報決定装置２３の構成を図５に示す、この報知情報決定装置２３は、入力回路４１と、情報提供判断回路４２と、提供情報決定回路４３と、保持回路４４とから構成されている。
【００２０】
前記情報提供判断回路４２は、入力回路４１を介して環境の情報、すなわち、先行車両、歩行者、障害物について、それら対象までの距離と方向に関する情報を入手し、運転者に対して情報提供が必要であるか否かを決定する。
【００２１】
前記提供情報決定回路４３は、環境の情報と運転者の認知状態とに基づいて、運転者に提供する情報を決定する。また、前記保持回路４４は、図６に示すような情報をテーブルとして保持している。
【００２２】
前記音声情報提示装置２４の構成を図７に示す。報知情報決定装置２３の処理により、運転者に対する情報提示手段として、音声情報提示装置２４が選択された場合に本装置を駆動する。運転者の提供すべき情報は、報知情報として入力回路５１を介して入手する。音声情報提示装置２４には、予め複数の音声メッセージを保持した保持回路５３が備わっており、報知情報に応じて、音声メッセージが選択され、再生される。再生された音声メッセージは、スピーカ５２を介して運転者に提供される。
【００２３】
ブザー２５は、報知情報決定装置２３の処理により、運転者に対する情報提示手段として、ブザー２５が選択された場合に駆動される。運転者に情報提供することによって存在を知らしめるべき対象の種類、すなわち、先行車両、歩行者、障害物のいずれかによって周波数を変化させてもよい。
【００２４】
次に、作用を説明する。
［認知状態判定制御処理］
図８は、認知状態判定装置２２にて実施される認知状態判定制御処理の流れを示すフローチャートである。
【００２５】
ステップS100では、運転者の頭部回転角度とスイッチ類を運転者が操作した情報を取り込み、ステップS101へ移行する。
【００２６】
ステップS101では、保持回路３４に保持された平均運転行動を参照し、ステップS102へ移行する。
【００２７】
ステップS102では、運転者の認知状態を判定し、ステップS103へ移行する。この処理は、まず、ステップS100にて取り込まれた所定時間分の運転者の視線方向と運転者の頭部回転角度より、運転者が左右のサイドミラーおよびルームミラーを目視した頻度（ミラー目視頻度f1（＝所定時間にミラーを注視した回数）と、運転者が頭部を左右方向に所定角度以上回転させた頻度（頭部回転頻度f2（＝所定時間に頭部を所定角度以上回転させた回数）と、運転者が頭部を左右方向に回転させた場合の最大角度（頭部回転角度f3（＝MAX｛頭部の回転角度｝））と、運転者が車室内に備えられたナビゲーション装置２６の画面を目視した頻度（ナビゲーション目視頻度f4（＝所定時間にナビゲーション画面を注視した回数）と、運転者がナビゲーション装置２６、オーディオ装置２７、空調装置２８を操作した頻度（装置操作頻度f5（＝所定時間に装置を操作した回数））と、を運転者の運転行動として算出する。なお、本実施例では、この所定時間分の運転行動を１単位とし、運転行動数１としている。
【００２８】
次に、これら運転者の運転行動のそれぞれと、ステップS101で参照した保持回路３４に保持された平均運転行動のそれぞれを比較する。なお、本実施例における比較は、値の大小にて行うものとする。つまり、ミラーの目視頻度、頭部回転頻度、頭部回転角度、ナビゲーション目視頻度と、保持回路３４に保持されたそれらの平均の比較では、ミラーの目視頻度、頭部回転頻度、頭部回転角度、ナビゲーション目視頻度の方が大きいとき、すなわち、fi≧fi(i=1,2,3,4)が成り立つとき、また、装置操作頻度と、保持回路３４に保持された装置操作頻度の平均の比較では、装置操作頻度の方が小さいとき、すなわち、f5≦avef5が成り立つとき、認知状態判定回路３２は運転者の認知状態を知識−ルールベースの状態と判定する。逆に、ミラーの目視頻度、頭部回転頻度、頭部回転角度、ナビゲーション目視頻度と、保持回路３４に保持されたそれらの平均の比較では、ミラーの目視頻度、頭部回転頻度、頭部回転角度、ナビゲーション目視頻度の方が小さいとき、すなわち、fi＜avefi(i=1,2,3,4)が成り立つとき、また、装置操作頻度と、保持回路３４に保持された装置操作頻度の平均の比較では、装置操作頻度の方が大きいとき、すなわち、f5＞avef5が成り立つとき、認知状態判定回路３２は運転者の認知状態をスキルベースの状態と判定する。
【００２９】
なお、ミラーの目視頻度、頭部回転頻度、頭部回転角度、ナビゲーション目視頻度、装置操作頻度、計５種の指標の比較による運転者の認知状態判定において、判定された運転者の認知状態が同一ではなかった場合、多数決によって認知状態判定装置２２としての判定を決定しても良い。例えば、ミラーの目視頻度、頭部回転頻度、頭部回転角度による判定がスキルベースであり、ナビゲーション目視頻度、装置操作頻度による判定が知識−ルールベースであった場合、認知状態判定装置２２としての運転者の認知状態の判定は、スキルベースと決定する。
【００３０】
ステップS103では、保持回路３４に保持されている運転者が過去に行った運転行動の平均を更新し、ステップS100へ移行する。更新は、保持回路３４に保持されている運転者が過去に行った運転行動、すなわちステップS101で参照して入手した運転行動の平均に対して、ステップS102にて算出した所定時間の運転者の運転行動を追加することによって行われる。すなわち、
avefi＝（avefi×N＋fi）／（N＋1）（i=1,2,…5）
である。
【００３１】
［報知情報決定制御処理］
図９は、報知情報決定装置２３にて実施される報知情報決定制御処理の流れを示すフローチャートである。
【００３２】
ステップS110では、環境認識用画像処理装置２０によって認識された環境の情報、すなわち、先行車両、歩行者、障害物について、それら対象までの距離と方向に関する情報を、入力回路４１を介して入手し、ステップS111へ移行する。
【００３３】
ステップS111では、情報提供判断回路４２において、ステップS110で入手した情報に基づき、運転者に対して情報提供が必要であるか否かを決定する。例えば、先行車両に対する接近警報を、本実施例における情報提供の一つとすると、ステップS110で入手した情報が、先行車両までの距離dであった場合で、その先行車両が接近してきている場合、一般的には、
距離Ｄ＝V1×T＋V1 2／2a1−V2 2／2a2
V１は自車両の速度、V2(＝V1＋d')は先行車両の速度、a１は自車両の減速度、a２は先行車両の減速度、Tは空走時間
の以内に先行車両が位置した場合に、警報としての情報提供の実施を決定する。また、歩行者に対する警報を、本実施例における情報提供の一つとした場合には、一般的な歩行者警報の報知決定方法を、障害物に対する警報を、本実施例における情報提供の一つとした場合には、一般的な障害物警報の報知決定方法を、適用することが可能である。これら報知決定方法のいずれかによって情報提供が必要であると判断された場合には、ステップS111へ移行する。一方、いずれの情報提供も不要と判断された場合には、本処理を終了し、ステップS110に戻る。
【００３４】
ステップS112では、認知状態判定装置２２は判定した運転者の認知状態を、入力回路４１を介して入手し、ステップS113へ移行する。ここで入手する運転者の認知状態は、知識−ルールベース、または、スキルベースのいずれかである。
【００３５】
ステップS113では、ステップS111で運転者に対して情報提供が必要と判断された先行車両、歩行者、障害物のいずれかの対象と、ステップS112で入手した運転者の認知状態とに基づき、提供情報決定回路４３において、運転者に提供する情報を決定する。
【００３６】
この際、運転者に情報提供することによって存在を知らしめるべき対象の種類、すなわち、先行車両、歩行者、障害物のいずれかによって、また、運転者の認知状態、すなわち、知識−ルールベース、または、スキルベースのいずれかによって、運転者に提供する情報が決定される。
【００３７】
そこで、本実施例における本処理は、保持回路４４に保持された図６に示すテーブルを参照することによって実施する。すなわち、例えば、運転者に情報提供することによって存在を知らしめるべき対象が障害物であり、運転者の認知状態がスキルベースであった場合、情報提示手法としてブザーを用いることを決定する。一方、運転者に情報提供することによって存在を知らしめるべき対象が先行車両であり、運転者の認知状態が知識−ルールベースであった場合、情報提示手法として、音声情報提示装置２４を用いることを決定し、報知情報として、先行車両を回避するための情報提示を決定する。
【００３８】
［運転者の認知特性に応じた情報提供］
運転者の安全な車両運転を実現することを目的として、様々な車両用運転支援装置が発明されている。車両の走行進路上に存在する他車両や歩行者、障害物の存在を運転者に知らしめる、いわゆる、接近警報も車両用運転支援装置の一つである。接近警報等、運転者に情報を提示する装置においては、運転者にいかに違和感を持たせないで情報提示を行うかが課題となっている。
【００３９】
ここで、運転者に求められる情報の内容は、距離によってのみ決定されるものではなく、例えば、障害物までの距離や環境の条件が同一であっても、障害物を回避するための指示情報が効果的な場合もあれば、障害物の存在を運転者に認識させるための注意喚起的な情報提供が効果的な場合もある。また、視野の中に警報対象があったとしても、警報対象の存在を示す情報提供が効果を示す場合もある。
【００４０】
このような情報提供の実現には、人間の「認知」の特性に則した情報提供が必要である。すなわち、ドライバの運転は、２つの状態に大別できる。▲１▼与えられた状況に対して、経験により会得したスキルを駆使し、機械的、反射的に情報を処理しながら運転を行うスキルベースの運転状態、▲２▼経験、学習により会得した知識やルールを適用しながら運転を行う知識−ルールベースの運転状態である。
【００４１】
ドライバの情報収集という面から考察すると、スキルベースの運転状態の場合、環境の全体的な様子を広く浅く把握することで、運転者は運転という作業を達成している。一方、知識−ルールベースの運転状態の場合、環境の局所的な様子を狭く深く把握することで、運転という作業を実現している。事故を予防するための情報提供を行う場合においても、自ずと、それぞれの運転状態に対して提供すべき情報は異なる。
【００４２】
例えば、スキルベースの運転状態の場合、重要事を無意識に意識のルーチンから外したり、対処を無意識に誤ったりする傾向がある。このような場合の事故の予防は、運転者に対して、重要事が意識のルーチンから外れていること、外れる傾向があることを、簡潔に示唆することで達成される。
【００４３】
一方、知識−ルールベースの運転状態の場合、状況に対して、どの知識やルールを使ったらよいのかわからなかったり、誤った知識やルールを駆使したりする傾向がある。このような場合の事故の予防は、運転者に対して、正しい情報を与えたり、情報の所在を指示したり、また、対処の優先順位、対処方法を与えたりすることで達成される。
【００４４】
なお、このスキルベースの運転状態と知識−ルールベースの運転状態は、全く同じ走行環境を走行したとしても、運転者によって、必ずしも同一の運転状態によって運転するとは限らず、また、同一の運転者においても、道路の混雑の状態や、歩行者、路上駐車の有無、天候、その他走行環境に関わる諸々の要因によって、瞬時にスキルベースから知識−ルールベースの運転状態に、逆に、知識−ルールベースからスキルベースの運転状態に切り替わるような特性をもつ。
【００４５】
すなわち、運転者に違和感を持たせない情報提供を実現するためには、運転者に与えるべき情報を、車両が存在している環境の状態や、障害物までの距離のみによって決定するのではなく、その時々の運転環境に対する運転者の認知状態に応じても、決定される必要がある。
【００４６】
これに対し、第１実施例の車両用運転支援装置では、運転者の運転行動から、運転者の環境に対する認知状態がスキルベースの状態であるか知識−ルールベースの状態であるかを判定することが可能となる。また、運転者の認知状態がスキルベースの状態であった場合と、知識−ルールベースの状態であった場合と、のそれぞれにおいて、運転者に提示する警報の種類を変えるようにしたので、運転者の認知状態に合致した違和感のない警報提示が可能となる。
【００４７】
次に、効果を説明する。
第１実施例の車両用運転支援装置にあっては、次に列挙する効果を得ることができる。
【００４８】
(1) 報知情報決定装置２３は、環境認識用画像処理装置２０により認識された環境の情報に基づいて、運転者に対して必要な情報提供を決定し、認知状態判定装置２２により判定された運転者の認知状態に基づいて情報提供方法を決定するため、環境の状態に関する情報を運転者に提示する際には、運転者の認知状態に応じた情報提示を実施する運転支援が可能となる。
【００４９】
(2) 認知状態判定装置２３は、運転者の認知状態を知識−ルールベースの状態と、スキルベースの状態との二段階に分類して判定するため、運転者の認知状態が知識−ルールベースの状態の際には、知識−ルールベースの状態に適した情報提示を実施し、運転者の認知状態がスキルベースの状態の際には、スキルベースの状態に適した情報提示を実施する運転支援が可能となる。
【００５０】
(3) 運転者が左右のサイドミラーおよびルームミラーを目視した頻度の平均（ミラー目視頻度平均avef1）と、運転者が頭部を左右方向に所定角度以上回転させた頻度の平均（頭部回転頻度平均avef2）と、運転者が頭部を左右方向に回転させた場合の最大角度の平均（頭部回転角度平均avef3）と、運転者が車室内に備えられたナビゲーション装置２６の画面を目視した頻度の平均（ナビゲーション目視頻度平均avef4）と、運転者がナビゲーション装置２６、オーディオ装置２７、空調装置２８を操作した頻度の平均（装置操作頻度平均avef5）を、運転者が過去に行った運転行動の平均としたため、運転者がミラーを目視する頻度、運転者が頭部を回転する頻度、運転者の頭部が回転する角度、運転者がナビゲーションを目視する頻度、運転者が発話する頻度、運転者がナビゲーション装置、オーディオ装置、空調制御装置等の装置を操作する頻度に基づいて、運転者の認知状態を判定が可能であり、その判定に基づいた運転支援が可能となる。
【００５１】
(4) 認知状態判定装置２２は、運転者認識用画像処理装置２１、ナビゲーション装置２６、オーディオ装置２７および空調装置２８によって検出された運転行動と、保持回路３４に保持された運転行動統計値とを比較することにより、運転者の認知状態を判定することとしたので、運転者の過去の運転行動に基づいた認知状態の判定が可能であり、その判定に基づいた運転支援が可能となる。
【００５２】
(5) 保持回路３４に保持された運転者が過去に行った運転行動の平均を、所定時間の運転者の運転行動を追加することにより更新することとしたため、常時、最新の運転行動の平均に基づいた運転者の認知状態の判定が可能であり、その判定に基づいた運転支援が可能となる。
【００５３】
(6) 認知状態判定装置２２は、ミラーの目視頻度、頭部回転頻度、頭部回転角度、ナビゲーション目視頻度と、保持回路３４に保持されたそれらの平均の比較では、ミラーの目視頻度、頭部回転頻度、頭部回転角度、ナビゲーション目視頻度の方が大きいとき、すなわち、fi≧fi(i=1,2,3,4)が成り立つとき、また、装置操作頻度と、保持回路３４に保持された装置操作頻度の平均の比較では、装置操作頻度の方が小さいとき、すなわち、f5≦avef5が成り立つとき、運転者の認知状態を知識−ルールベースの状態と判定するため、認知状態判定装置２２においては、検出された運転者の運転行動と、保持回路３４に保持された運転行動の平均の大小比較という容易な手法によって、運転者の認知状態が知識−ルールベースであるかの判定をリアルタイムに実施することが可能であり、その判定に基づいた運転支援が可能となる。
【００５４】
(7) 認知状態判定装置２２は、ミラーの目視頻度、頭部回転頻度、頭部回転角度、ナビゲーション目視頻度と、保持回路３４に保持されたそれらの平均の比較では、ミラーの目視頻度、頭部回転頻度、頭部回転角度、ナビゲーション目視頻度の方が小さいとき、すなわち、fi＜avefi(i=1,2,3,4)が成り立つとき、また、装置操作頻度と、保持回路３４に保持された装置操作頻度の平均の比較では、装置操作頻度の方が大きいとき、すなわち、f5＞avef5が成り立つとき、運転者の認知状態をスキルベースの状態であると判定することとしたので、認知状態判定装置２２においては、検出された運転者の運転行動と保持回路３４に保持された運転行動の統計値の大小比較という容易な手法によって、運転者の認知状態がスキルベースであるかの判定をリアルタイムに実施することが可能であり、その判定に基づいた運転支援が可能となる。
【００５５】
(8) 報知情報決定装置２３は、運転者に情報提供することによって知らしめるべき対象が先行車両であり、かつ、運転者の認知状態が知識−ルールベースの状態であった場合には、情報提示手法として音声情報提示装置２４を用いることとしたため、運転者の認知状態である知識−ルールベースの状態に合致した情報提示が可能となり、運転者にとって、より理解のしやすい情報提示に基づく運転支援が可能となる。
【００５６】
(9) 運転者に情報提供することによって知らしめるべき対象が障害物であり、かつ、運転者の認知状態がスキルベースの状態であった場合には、情報提示手法としてブザー２５を用いることとしたため、運転者の認知状態であるスキルベースの状態に合致した情報提示が可能となり、運転者にとって、より理解のしやすい情報提示に基づく運転支援が可能となる。
【００５７】
（第２実施例）
図１０は、第２実施例の車両用運転支援装置を示すブロック構成図である。第２実施例において、基本構成は図２に示した第１実施例のブロック構成図とほぼ同一であり、同符号を付して重複した説明は省略する。
【００５８】
この車両用運転支援装置は、環境認識用レーダ装置６０、運転者認識用画像処理装置２１、発話検出装置６１、認知状態判定装置６２、報知情報決定装置６３、表示装置６４、振動装置６５を備えている。
【００５９】
図１０において、環境認識用レーダ装置６０は、図１の環境検出手段１２に対応する。また、運転者認識用画像処理装置２１と発話検出装置６１は、運転行動検出手段１０を構成する。認知状態判定装置６２は、認知状態判定手段１１を構成し、報知情報決定装置６３は報知情報決定手段１３を構成する。表示装置６４および振動装置６５は、情報提示手段１４を構成する。
【００６０】
前記環境認識用レーダ装置６０には、例えば、車両の前方に設置されたレーザレーダ装置やミリ波装置を用いる。これらレーダ装置は、障害物や歩行者、先行車両など、安全な車両運転の障害となる可能性のある物体をリアルタイムに抽出して、自車両との距離、相対速度、相対加速度、を算出する処理回路を備えている。
【００６１】
前記発話検出装置６１には、運転者の口元をカメラによって撮像し、画像認識技術によって発話を検出する装置や、運転者の発話等が含まれた車室内の音をマイク装置より入力し、運転者の発話を車室内音からフィルタ処理を施すことによって抽出する装置、等を用いることが可能である。
【００６２】
前記認知状態判定装置６２の構成を図１１に示す。認知状態判定装置６２は、入力回路７１と、認知状態判定回路７２と、保持回路７３とから構成されている。前記入力回路７１は、運転者認識用画像処理装置２１が運転者の顔面画像を処理して抽出した運転者の視線方向と運転者の頭部回転角度と、さらに、発話検出装置６１によって検出した運転者の発話を所定時間毎に取り込む。
【００６３】
前記認知状態判定回路７２は、運転者の認知状態を判定する。前記保持回路７３には、一般的な運転者の認知状態に応じた運転行動の平均が保持されている。すなわち、本実施例では、一般的な運転者が、知識−ルールベース状態時の左右のサイドミラーおよびルームミラーを目視した頻度の平均（ミラー目視頻度平均aveg11）と、一般的な運転者が頭部を左右方向に所定角度以上回転させた頻度の平均（頭部回転頻度平均aveg21）と、一般的な運転者が頭部を左右方向に回転させた場合の最大角度の平均（頭部回転角度平均aveg31）と、一般的な運転者が車室内に備えられたナビゲーション装置の画面を目視した頻度の平均（ナビゲーション目視頻度平均aveg41）と、一般的な運転者が運転中に発話する頻度の平均（発話頻度平均aveg51）と、スキルベース状態時の左右のサイドミラーおよびルームミラーを目視した頻度の平均（ミラー目視頻度平均aveg12）と、運転者が頭部を左右方向に所定角度以上回転させた頻度の平均（頭部回転頻度平均aveg22）と、運転者が頭部を左右方向に回転させた場合の最大角度の平均（頭部回転角度平均aveg32）と、運転者が車室内に備えられたナビゲーション装置の画面を目視した頻度の平均（ナビゲーション目視頻度平均aveg42）と、一般的な運転者が運転中に発話する頻度の平均（発話頻度平均aveg52）と、を、平均運転行動として、例えば、図１２に示すテーブルで保持している。
【００６４】
前記報知情報決定装置６３の構成を図１３に示す。認知状態判定装置６２は、入力回路７５と、情報提供判断回路７６と、提供情報決定回路７７と、保持回路７８とから構成されている。
【００６５】
前記入力回路７５は、環境認識用レーダ装置６０によって認識された環境の情報、すなわち、進路上に存在する物体について、それら物体までの距離と相対速度、相対加速度に関する情報を取り込む。
【００６６】
前記情報提供判断回路７６は、認知状態判定装置６２が判定した運転者の認知状態を、入力回路７５を介して入手し、運転者に対して情報提供が必要であるか否かを決定する。
【００６７】
前記提供情報決定回路７７は、運転者に提供する情報の種類と方法を決定する。また、前記保持回路７８は、図６に示すような情報をテーブルとして保持している。
【００６８】
［認知状態判定制御処理］
図１４は、認知状態判定装置６２にて実施される認知状態判定制御処理の流れを示すフローチャートである。
【００６９】
ステップS200では、運転者の顔面画像を処理して抽出した運転者の視線方向と運転者の頭部回転角度と、さらに、発話検出装置６１によって検出した運転者の発話を所定時間ごとに取り込み、ステップS201へ移行する。
【００７０】
ステップS201では、保持回路７３に保持された運転行動の平均を参照して入手し、ステップS202へ移行する。
【００７１】
ステップS202では、運転者の認知状態を判定し、ステップS200へ移行する。このステップの処理は、まず、ステップS200にて取り込まれた所定時間分の運転者の視線方向と運転者の頭部回転角度より、運転者が左右のサイドミラーおよびルームミラーを目視した頻度（ミラー目視頻度g1（＝所定時間にミラーを注視した回数）と、運転者が頭部を左右方向に所定角度以上回転させた頻度（頭部回転頻度g2（＝所定時間に頭部を所定角度以上回転させた回数）と、運転者が頭部を左右方向に回転させた場合の最大角度（頭部回転角度g3（＝MAX｛頭部の回転角度｝））と、運転者が車室内に備えられたナビゲーション装置の画面を目視した頻度（ナビゲーション目視頻度g4（＝所定時間にナビゲーション画面を注視した回数）と、運転者が発話した頻度（発話頻度g5（＝所定時間に発話した回数））とを運転者の運転行動として算出する。
【００７２】
次に、これら運転者の運転行動のそれぞれと、ステップS201で参照した保持回路７３に保持された平均運転行動のそれぞれを比較する。なお、本実施例における比較は、値の遠近にて行うものとする。つまり、運転者の運転行動gi(i=1,2,3,4,5)と、保持回路７３に保持された認知状態毎の一般的な運転行動の平均avegi1，avegi2(i=1,2,3,4,5)の比較において、知識−ルールベースの認知行動時の運転行動の方が近いとき、すなわち、
avegi1−gi≦avegi2−gi(i=1,2,3,4,5)
が成り立つとき、認知状態判定回路７２は運転者の認知状態を知識−ルールベースの状態と判定する。逆に、スキルベースの認知行動時の運転行動の方が近いとき、すなわち、
avegi1−gi＞avegi2−gi(i=1,2,3,4,5)
が成り立つとき、認知状態判定回路７２は運転者の認知状態をスキルベースの状態と判定する。
【００７３】
なお、ミラーの目視頻度、頭部回転頻度、頭部回転角度、ナビゲーション目視頻度、会話頻度、計５種の指標の比較による運転者の認知状態判定において、判定された運転者の認知状態が同一ではなかった場合、多数決によって判定を決定しても良い。例えば、ミラーの目視頻度、頭部回転頻度、頭部回転角度による判定がスキルベースであり、ナビゲーション目視頻度、会話頻度による判定が知識−ルールベースであった場合、認知状態判定装置６２としての運転者の認知状態の判定は、スキルベースと決定する。
【００７４】
［報知情報決定制御処理］
図１５は、報知情報決定装置６３にて実施される報知情報決定制御処理の流れを示すフローチャートである。
【００７５】
ステップS210では、環境認識用レーダ装置６０によって認識された環境の情報、すなわち、進路上に存在する物体について、それら物体までの距離と相対速度、相対加速度に関する情報を入手し、ステップS211へ移行する。
【００７６】
ステップS211では、ステップS210で入手した情報に基づき、運転者に対して情報提供が必要であるか否かを決定する。例えば、物体に対する接近警報を、本実施例における情報提供の一つとすると、一般的には、
距離Ｄ＝V1×T＋V1 2／2a1−V2 2／2a2
V１は自車両の速度、V2は物体の速度、a１は物体の減速度、a２は物体の減速度
の以内に物体が位置した場合に、警報としての情報提供の実施を決定する。この接近警報によって情報提供が必要であると判断された場合には、ステップS111へ移行する。一方、情報提供が不要と判断された場合には、本処理を終了し、ステップS210に移行する。
【００７７】
ステップS212では、認知状態判定装置６２が判定した運転者の認知状態を、入力回路７５を介して入手する。ここで入手する運転者の認知状態は、知識−ルールベース、または、スキルベース、のいずれかである。運転者の認知状態が知識−ルールベースの時はステップS213へ移行し、運転者の認知状態がスキルベースの時はステップS215へ移行する。
【００７８】
ステップS213では、入力回路７５から入力された運転者認識用画像処理装置２１からの情報に基づき、運転者の視線方向を特定する。通常、知識−ルールベースの認知状態では、運転者は、環境の狭い領域に対して深く認識することを試みる傾向がある。逆に、運転者の注意が及ばない領域には、視線が配られることはない。
【００７９】
そこで、この特性を鑑み、ステップS211で検出した接近警報として情報提供が必要な物体に対して、視線が配されているか否かを判定する。判定の結果、物体に視線が配られていた場合には、運転者は物体を認識していると判断できるため、本処理を終了し、ステップS210に戻る。一方、物体に視線が配されていなかった場合には、運転者は物体を認識できていないと判断できるため、情報を提供が必要である。よって、ステップS214へ移行する。
【００８０】
ステップS214では、運転者に提供する情報の種類と方法を決定し、ステップS210へ移行する。運転者の認知状態が知識−ルールベースの状態であった場合、運転者は環境において注目していない領域以外の領域には意識を払っていない。その意識を払っていない領域に存在する安全な運転を妨げる障害を回避させるためには、詳細かつ指示的な情報を提供することが効果的である。そこで、本実施例においては、モニタやHUD（Head Up Display）のような表示装置６４を用いて、例えば、図１６に示すような回避情報を提示することを決定する。
【００８１】
ステップS215では、運転者に提供する情報の種類と方法を決定し、ステップS210へ移行する。運転者の認知状態がスキルベースの状態であった場合、通常、運転者は、環境の広い領域に対して浅く認識することを試みる傾向がある。浅い把握のため、進路に存在する安全な運転を妨げる障害が存在したとしても、見落とす可能性がある。
【００８２】
そこで、この特性を鑑み、運転者の認知状態がスキルベースの状態であった場合には、運転者の視線の方向にかかわらず、進路に存在する安全な運転を妨げる障害が存在を意識させるために、簡潔な情報を提供することが効果的である。そこで、本実施例においては、モニタのような表示装置６４を用いて、例えば、図１７に示すように情報を点滅表示させたり、座席に埋め込まれた振動装置６５を用いて、運転者に振動を伝達したりする。
【００８３】
次に、効果を説明する。
第２実施例の車両用運転支援装置にあっては、以下に列挙する効果を得ることができる。
【００８４】
(10) 報知情報決定装置６３は、運転者の視線が物体に配られていない場合には、運転者の視線が及ばない領域において存在する安全な車両運転の障害となる可能性のある物体について詳細な情報提供をするようにしたので、通常、わずらわしいと感じる詳細情報を運転者に提示しても違和を感じさせしめることなく運転者に提供することが可能となる。
【００８５】
(11) 報知情報決定装置６３は、運転者の視線が物体に配られている場合には、運転者の視線方向にかかわらず、進路に存在する安全な車両運転の障害となる可能性のある物体について簡潔な情報を提供することとしたため、スキルベースの認知状態の特徴である、車両の安全な運転を阻害する可能性のある環境が運転者の視野に入っているにもかかわらず見落とす、といった状況に対して、運転者の注意を喚起する情報を提供するような、スキルベースの認知状態に合致し、違和感の少ない運転者に対する情報提供を実施する運転支援が可能となる。
【図面の簡単な説明】
【図１】実施の形態の車両用運転支援装置を示すブロック構成図である。
【図２】第１実施例の車両用運転支援装置を示すブロック構成図である。
【図３】認知状態判定装置２２の構成を示す図である。
【図４】保持回路に保持された運転行動のテーブルである。
【図５】報知情報決定装置の構成を示す図である。
【図６】保持回路に保持された認知状態と情報提示手法の関係を示すテーブルである。
【図７】音声情報提示装置の構成を示す図である。
【図８】認知状態判定装置にて実施される認知状態判定制御処理の流れを示すフローチャートである。
【図９】報知情報決定装置にて実施される報知情報決定制御処理の流れを示すフローチャートである。
【図１０】第２実施例の車両用運転支援装置を示すブロック構成図である。
【図１１】認知状態判定装置の構成を示す図である。
【図１２】保持回路に保持された認知状態と運転行動の関係を示すテーブルである。
【図１３】報知情報決定装置の構成を示す図である。
【図１４】認知状態判定装置にて実施される認知状態判定制御処理の流れを示すフローチャートである。
【図１５】報知情報決定装置にて実施される報知情報決定制御処理の流れを示すフローチャートである。
【図１６】表示装置が表示する情報の説明図である。
【図１７】表示装置が表示する情報の説明図である。
【符号の説明】
１０ 運転行動検出手段
１１ 認知状態判定手段
１２ 環境検出手段
１３ 報知情報決定手段
１４ 情報提示手段
２０ 環境認識用画像処理装置
２１ 運転者認識用画像処理装置
２２ 認知状態判定装置
２３ 報知情報決定装置
２４ 音声情報提示装置
２５ ブザー
２６ ナビゲーション装置
２７ オーディオ装置
２８ 空調装置
３１ 入力回路
３２ 認知状態判定回路
３３ 平均値算出回路
３４ 保持回路
４１ 入力回路
４２ 情報提供判断回路
４３ 提供情報決定回路
４４ 保持回路
５１ 入力回路
５２ スピーカ
５３ 保持回路
６０ 環境認識用レーダ装置
６１ 発話検出装置
６２ 認知状態判定装置
６３ 報知情報決定装置
６４ 表示装置
６５ 振動装置
７１ 入力回路
７２ 認知状態判定回路
７３ 保持回路
７５ 入力回路
７６ 情報提供判断回路
７７ 提供情報決定回路
７８ 保持回路
Claims (10)
- 車両の走行する環境の状態を検出する環境検出手段と、
運転者の運転行動を検出する運転行動検出手段と、
運転者が経験、学習により会得した知識やルールを適用しながら運転を行う状態を知識−ルールベースの状態と定義し、運転者が与えられた状況に対して、経験により会得したスキルを駆使し、機械的、反復的に情報を処理しながら運転を行う状態をスキルベースの状態と定義したとき、検出された運転者の運転行動から運転者の認知状態を、知識−ルールベースの状態とスキルベースの状態との二段階に分類して判定する認知状態判定手段と、
情報を運転者に提示する情報提示手段と、
検出された環境の状態と判定された運転者の認知状態とに基づいて、前記情報提示手段で運転者に提示する情報を決定する報知情報決定手段と、
を備えたことを特徴とする車両用運転支援装置。 - 請求項１に記載の車両用運転支援装置において、
運転者または一般的な運転者の運転行動の統計値を保持する運転行動統計値保持手段を設け、
前記認知状態判定手段は、検出された運転行動と保持された運転行動統計値とを比較することにより、運転者の認知状態を判定することを特徴とする車両用運転支援装置。 - 請求項２に記載の車両用運転支援装置において、
検出されたそれぞれの運転行動の統計値を算出する運転行動統計値算出手段を設け、
前記運転行動統計値保持手段に保持された運転行動統計値は、前記運転行動統計値算出手段により算出されたものであることを特徴とする車両用運転支援装置。 - 請求項２または請求項３に記載の車両用運転支援装置において、
前記運転行動検出手段が検出する運転者の運転行動は、
所定時間に運転者が車両に備えられたサイドミラーと車室内に備えられたルームミラーの少なくとも一方を目視した頻度を示すミラー目視頻度と、
所定時間に運転者の頭部が左右方向に回転した頻度を示す頭部回転頻度と、
所定時間に運転者の頭部が左右方向に回転した場合の角度の平均を示す頭部回転角度平均と、
所定時間に運転者が車室内に備えられたナビゲーション装置を目視した頻度を示すナビゲーション目視頻度と、
所定時間に運転者が発話した頻度を示す発話頻度と、
所定時間に運転者が車室内に備えられたナビゲーション装置、オーディオ装置または空調制御装置の少なくとも一つを操作した頻度を示す装置操作頻度と、
の少なくとも一つを含むことを特徴とする車両用運転支援装置。 - 請求項２ないし請求項４のいずれか１項に記載の車両用運転支援装置において、
前記運転行動統計値保持手段に保持されたそれぞれの運転行動の統計値は、それぞれの運転行動の平均値であり、
前記認知状態判定手段は、
検出されたミラー目視頻度が保持されたミラー目視頻度の平均と比較して大きいとき、
前記運転行動検出手段によって検出された頭部回転頻度が保持された頭部回転頻度の平均と比較して大きいとき、
前記運転行動検出手段によって検出された頭部回転角度平均が保持された頭部回転角度平均の平均と比較して大きいとき、
前記運転行動検出手段によって検出されたナビゲーション目視頻度が保持されたナビゲーション目視頻度の平均と比較して大きいとき、
前記運転行動検出手段によって検出された発話頻度が保持された発話頻度の平均と比較して小さいとき、
前記運転行動検出手段によって検出された装置操作頻度が保持された装置操作頻度の平 均と比較して小さいとき、
のいずれかの場合に、運転者の認知状態を知識−ルールベースの状態であると判定することを特徴とする車両用運転支援装置。 - 請求項２ないし請求項５のいずれか１項に記載の車両用運転支援装置において、
前記運転行動統計値保持手段に保持されたそれぞれの運転行動の統計値は、それぞれの運転行動の平均値であり、
前記認知状態判定手段は、
検出されたミラー目視頻度が保持されたミラー目視頻度の平均と比較して小さいとき、
検出された頭部回転頻度が保持された頭部回転頻度の平均と比較して小さいとき、
検出された頭部回転角度平均が保持された頭部回転角度平均の平均と比較して小さいとき、
検出されたナビゲーション目視頻度が保持されたナビゲーション目視頻度の平均と比較して小さいとき、
検出された発話頻度が保持された発話頻度の平均と比較して大きいとき、
検出された装置操作頻度が保持された装置操作頻度の平均と比較して大きいとき、
のいずれかの場合に、運転者の認知状態をスキルベースの状態であると判定することを特徴とする車両用運転支援装置。 - 請求項１ないし請求項６のいずれか１項に記載の車両用運転支援装置において、
前記報知情報決定手段は、検出された環境において車両の安全な運転を阻害する可能性のある環境が生じたか否かを判定し、車両の安全な運転を阻害する可能性のある環境が生じた場合、かつ、判定された運転者の認知状態が知識−ルールベースの状態であった場合には、環境の状態を詳細に表す詳細情報と運転者が環境において実施すべき行動の少なくとも一方を指示した行動指示情報を運転者に対して提示することを決定し、前記情報提示手段に対して、前記詳細情報と前記行動指示情報の少なくとも一方の提示を指示することを特徴とする車両用運転支援装置。 - 請求項７に記載の車両用運転支援装置において、
前記報知情報決定手段は、検出された環境の状態が車両の安全な運転を阻害する可能性のある環境の状態であるか否かの判定を、検出された運転者の視線方向において、運転者の視線が及んでいない環境に対して行うことを特徴とする車両用運転支援装置。 - 請求項１ないし請求項８のいずれか１項に記載の車両用運転支援装置において、
前記報知情報決定手段は、検出された環境において車両の安全な運転を阻害する可能性のある環境が生じたか否かを判定し、車両の安全な運転を阻害する可能性のある環境が生じた場合、かつ、判定された運転者の認知状態がスキルベースの状態であった場合には、環境の状態を概略的に表す概略情報を運転者に対して提示することを決定し、前記情報提示手段に対して、前記概略情報の提示を指示することを特徴とする車両用運転支援装置。 - 請求項９に記載の車両用運転支援装置において、
前記報知情報決定手段は、検出された環境の状態が車両の安全な運転を阻害する可能性のある環境の状態であるか否かの判定を、検出された運転者の視線方向における運転者の視線の方向にかかわらず、検出可能な全ての環境に対して行うことを特徴とする車両用運転支援装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003166115A JP4211501B2 (ja) | 2003-06-11 | 2003-06-11 | 車両用運転支援装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003166115A JP4211501B2 (ja) | 2003-06-11 | 2003-06-11 | 車両用運転支援装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005004414A JP2005004414A (ja) | 2005-01-06 |
| JP4211501B2 true JP4211501B2 (ja) | 2009-01-21 |
Family
ID=34092359
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003166115A Expired - Fee Related JP4211501B2 (ja) | 2003-06-11 | 2003-06-11 | 車両用運転支援装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4211501B2 (ja) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101356078B (zh) * | 2005-12-12 | 2012-07-18 | 松下电器产业株式会社 | 安全行驶辅助装置 |
| JP2007259931A (ja) * | 2006-03-27 | 2007-10-11 | Honda Motor Co Ltd | 視線検出装置 |
| JP5640511B2 (ja) * | 2010-07-12 | 2014-12-17 | マツダ株式会社 | 車両用運転技量育成装置 |
| KR101570432B1 (ko) * | 2014-08-18 | 2015-11-27 | 엘지전자 주식회사 | 웨어러블 디바이스 및 그 제어 방법 |
| JP6435931B2 (ja) * | 2015-03-09 | 2018-12-12 | トヨタ自動車株式会社 | 情報表示装置 |
| JP6625809B2 (ja) * | 2015-03-27 | 2019-12-25 | 東芝映像ソリューション株式会社 | 電子機器およびその制御方法 |
| JP6512174B2 (ja) * | 2016-05-19 | 2019-05-15 | 株式会社デンソー | 車載警告システム |
| JP6669019B2 (ja) * | 2016-09-08 | 2020-03-18 | 株式会社Ｊｖｃケンウッド | 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム |
| JP2018097485A (ja) * | 2016-12-09 | 2018-06-21 | 株式会社Ｕ’ｅｙｅｓ Ｄｅｓｉｇｎ | 運転支援装置、運転支援方法、運転支援プログラム、及び運転支援システム |
| WO2018220774A1 (ja) | 2017-05-31 | 2018-12-06 | 富士通株式会社 | 運転支援装置、運転支援システムおよび運転支援方法 |
| US10593221B1 (en) * | 2018-11-09 | 2020-03-17 | Akili Interactive Labs, Inc. | Audio-only interference training for cognitive disorder screening and treatment |
| US10807605B2 (en) * | 2018-12-19 | 2020-10-20 | Waymo Llc | Systems and methods for detecting and dynamically mitigating driver fatigue |
| CN114746924A (zh) | 2019-12-04 | 2022-07-12 | 三菱电机株式会社 | 驾驶辅助装置及驾驶辅助方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2929927B2 (ja) * | 1993-12-14 | 1999-08-03 | 日産自動車株式会社 | 走行情報提供装置 |
| JP3257310B2 (ja) * | 1994-12-22 | 2002-02-18 | トヨタ自動車株式会社 | 漫然運転検出装置 |
| JP3094834B2 (ja) * | 1995-03-30 | 2000-10-03 | 三菱自動車工業株式会社 | 覚醒度低下警告装置 |
| JPH10288532A (ja) * | 1997-04-15 | 1998-10-27 | Toyota Motor Corp | 車両用音声案内装置 |
| JP4696339B2 (ja) * | 2000-07-11 | 2011-06-08 | マツダ株式会社 | 車両の制御装置 |
| JP4556306B2 (ja) * | 2000-08-08 | 2010-10-06 | マツダ株式会社 | 車両の表示装置 |
| JP4042319B2 (ja) * | 2000-09-28 | 2008-02-06 | 日産自動車株式会社 | 警報制御装置 |
| JP2002123896A (ja) * | 2000-10-16 | 2002-04-26 | Matsushita Electric Ind Co Ltd | 車両用衝突警報装置 |
| JP2003080969A (ja) * | 2001-09-11 | 2003-03-19 | Nissan Motor Co Ltd | 運転者状態検出装置 |
-
2003
- 2003-06-11 JP JP2003166115A patent/JP4211501B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005004414A (ja) | 2005-01-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4211501B2 (ja) | 車両用運転支援装置 | |
| US20220055537A1 (en) | Method and system for adapting augmented switching warning | |
| US10207640B2 (en) | Method and system for a warning message in a vehicle | |
| EP0872741B1 (en) | Alarm apparatus for alarming driver of vehicle and method of alarming | |
| EP2201496B1 (en) | Inattentive state determination device and method of determining inattentive state | |
| US6496117B2 (en) | System for monitoring a driver's attention to driving | |
| JP2006343904A (ja) | 運転支援装置 | |
| JP7107157B2 (ja) | 操作支援方法及び操作支援装置 | |
| WO2018168097A1 (ja) | 運転状態判定装置、運転状態判定方法及び運転状態判定のためのプログラム | |
| JP2018097479A (ja) | 運転支援装置、運転支援方法、運転支援プログラム、及び運転支援システム | |
| US20210166659A1 (en) | Head-up display device | |
| WO2019087662A1 (ja) | 運転支援装置、運転状況情報取得システム、運転支援方法及びプログラム | |
| JP2024067296A (ja) | 注意喚起システム及び注意喚起方法 | |
| CN108944676A (zh) | 一种基于图像处理的落车开门提醒装置及提醒方法 | |
| KR102366874B1 (ko) | 고령 운전자를 위한 후방 경보 장치 및 방법 | |
| CN114379575A (zh) | 向机动车辆的驾驶员通知危险的方法及实现该方法的装置 | |
| JP2022142614A (ja) | 安全確認支援装置、安全確認支援方法及び安全確認支援プログラム | |
| JP2021051604A (ja) | ドライブレコーダ、データ記録方法およびプログラム | |
| JP2003233803A (ja) | 運転者の状態検出装置 | |
| WO2023092611A1 (zh) | 一种信息播报方法、通行状态提示方法、装置及车辆 | |
| JP7466985B2 (ja) | 周辺監視システム | |
| JP2020047165A (ja) | 注意喚起報知装置、注意喚起報知方法、及びプログラム | |
| JP7422177B2 (ja) | 交通安全支援システム | |
| JP7372382B2 (ja) | 交通安全支援システム | |
| EP4303848A1 (en) | Driver assistance system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20051117 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060424 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080603 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080605 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080716 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081007 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081020 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111107 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121107 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121107 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131107 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |