JP4486897B2 - 運転行動認識装置 - Google Patents

Description

本発明は、運転行動認識装置に係り、特に、道路形状の影響を受けることなくドライバの運転行動を認識する運転行動認識装置に関する。

ドライバの運転行動を認識するものとして、ドライバの目や顔の動きを画像処理するもの、心拍・脈拍などの生理的特徴を用いるもの、車両の左右の揺れ（横方向加速度）やステアリングのぶれを用いるもの等がある。

例えば、車両のレーン幅方向の横ずれ量の標準偏差に基づいてドライバの覚醒度を判断する車両用覚醒度検出装置（例えば、特許文献１を参照。）、操舵量の周波数分析を行ってドライバの覚醒度を推定する覚醒度推定装置（例えば、特許文献２を参照。）、操舵量に基づくハンドル操作の応答遅れを用いてドライバが正常状態か異常状態かを判定するドライバーの異常操舵判定装置（例えば、特許文献３を参照。）などが提案されている。

また、先行車との車間距離又は相対速度と自車の加速度と自車のブレーキ又はアクセルの操作状態とに基づいて自車の走行状態が居眠り運転の状態であることを検出する車両搭載用の居眠り運転検出装置（例えば、特許文献４を参照。）、車間距離の標準偏差と平常運転時の標準偏差に応じて設定されたしきい値とに基づいて居眠り運転か否かを検出する居眠り運転検出装置（例えば、特許文献５を参照。）なども提案されている。
特開平７−９８７９号公報 特開平９−２７７８４８号公報 特開平５−８５２２１号公報 特開平９−１１７７２号公報 特開平５−１６２５６２号公報

上述した各々の公知技術は、ドライバの運転行動を認識できるものの、運転状況に大きく影響されてしまうという問題点がある。これについて、例えば操舵角度を用いてドライバの覚醒度を認識する場合を例に挙げて説明する。

ドライバの覚醒度が同じであっても、カーブが多い道路とカーブが少ない道路では、操舵角の大小、ばらつき、周波数分布が異なってしまう。また、道路形状が同じであっても、路面状態、天候、渋滞状況などが変化すると、操舵角の大小、ばらつき、周波数分布はその影響を大きく受けてしまう。

図７（ａ）乃至（ｃ）は、異なる道路形状を示す図である。（ａ）は直線−曲線の道路、（ｂ）は直線−曲線−直線の道路、（ｃ）は直線−曲線−直線−曲線の道路である。図８（ａ）乃至（ｃ）は、道路形状毎の操舵角を示す図である。実線は運転状態Ａ、点線は運転状態Ｂとする。運転状態Ａ及びＢは、それぞれ同一ドライバの覚醒状態及び居眠り状態、または、異なるドライバを表している。

図８に示すように、操舵角のばらつきや波形の大小は、運転状態による差よりも、道路形状による差の影響が大きい。このため、道路が連続的に変化するような場所において、操舵角の波形に基づいて運転状態Ａ、Ｂを区別することは非常に困難である。すなわち、従来の技術では、道路形状が異なってしまうと運転行動を正確に認識できないという問題があった。

本発明は、上述した課題を解決するために提案されたものであり、道路形状の影響を受けることなく、運転行動を高精度に認識することができる運転行動認識装置を提供することを目的とする。

本発明に係る運転行動認識装置は、ドライバの運転行動によって生じた運転行動信号を検出する検出手段と、前記検出手段により検出された運転行動信号の対数スペクトルを演算する対数スペクトル演算手段と、前記対数スペクトル演算手段により演算された対数スペクトルの包絡を演算する包絡演算手段と、様々な運転行動パタンに各々対応付けられた対数スペクトル包絡を記憶する行動パタン記憶手段と、前記行動パタン記憶手段に記憶された対数スペクトル包絡から、前記包絡演算手段により演算された包絡に最も類似する対数スペクトル包絡を選択し、選択した対数スペクトル包絡に対応付けられた運転行動パタンを認識結果として出力する運転行動パタン認識手段と、を備えている。

検出手段は、ドライバの運転行動によって生じた運転行動信号を検出する。運転行動信号としては、例えば、アクセル開度、ブレーキ踏力、ステアリング操作角度、ドライバの顔向き方向、ドライバの視線位置、車載機器の操作量、車速、自車から障害物までの車間距離、ブレーキペダルの変位、走行車線に対する自車の横方向のずれ、のいずれか１つを表す時系列に取得される信号を用いることができる。

対数スペクトル演算手段は、運転行動信号の対数スペクトルを演算する。この対数スペクトルは、道路形状の影響を受けやすく、道路形状が異なるとばらつきが大きくなってしまう。そこで、包絡演算手段は、対数スペクトルの包絡を演算する。この包絡は、道路形状の影響を受けないため、運転行動パタンが同じであれば、道路形状が変化してもほぼ安定している。

つまり、対数スペクトルの包絡は、道路形状によらず、運転行動パタンによって特定可能である。そこで、行動パタン記憶手段は、様々な運転行動パタンに各々対応付けられた対数スペクトル包絡を記憶している。

運転行動パタン認識手段は、行動パタン記憶手段に記憶された対数スペクトル包絡から、包絡演算手段により演算された包絡に最も類似する対数スペクトル包絡を選択し、選択した対数スペクトル包絡に対応付けられた運転行動パタンを認識結果とする。

したがって、本発明に係る運転行動認識装置は、運転行動信号の対数スペクトルの包絡を演算し、行動パタン記憶手段に記憶された対数スペクトル包絡から、前記包絡に最も類似する対数スペクトル包絡を選択し、選択した対数スペクトル包絡に対応付けられた運転行動パタンを認識結果として出力することにより、道路形状の影響を受けることなく、正確に運転行動を認識することができる。

本発明に係る運転行動認識装置は、ドライバの運転行動によって生じた運転行動信号を検出する検出手段と、前記検出手段により検出された運転行動信号の対数スペクトルを演算する対数スペクトル演算手段と、前記対数スペクトル演算手段により演算された対数スペクトルに基づいてケプストラム係数を演算するケプストラム係数演算手段と、ケプストラム係数毎に、運転行動パタンとスコアとの対応関係を記憶する行動パタン記憶手段と、前記行動パタン記憶手段に記憶された対応関係を用いて、前記ケプストラム係数演算手段で演算されたケプストラム係数に基づく運転行動パタン毎のスコアを求め、最も高いスコアに対応付けられた運転行動パタンを認識結果として出力する運転行動パタン認識手段と、を備えている。

ケプストラム係数演算手段は、対数スペクトルに基づいて、ケプストラム係数を演算する。ケプストラム係数は、対数スペクトルの包絡の形状を表す係数である。このため、ケプストラム係数は、対数スペクトルの包絡と同様に、道路形状によらず、運転行動パタンによって特定可能である。

行動パタン記憶手段は、ケプストラム係数毎に、運転行動パタンとスコアとの対応関係を記憶する。スコアは、運転行動パタンの確からしさを表す。そして、運転行動パタン認識手段は、行動パタン記憶手段に記憶された対応関係を用いて、ケプストラム係数演算手段で演算されたケプストラム係数に基づく運転行動パタン毎のスコアを求め、最も高いスコアに対応付けられた運転行動パタンを認識結果として出力する。

したがって、本発明に係る運転行動認識装置は、運転行動信号の対数スペクトルに基づくケプストラム係数を演算し、ケプストラム係数毎の運転行動パタンとスコアとの対応関係を用いて、前記演算されたケプストラム係数に基づく運転行動パタン毎のスコアを求め、最も高いスコアに対応付けられた運転行動パタンを認識結果として出力する。これにより、道路形状の影響を受けることなく、正確に運転行動を認識することができる。

なお、対数スペクトル演算手段の代わりに、検出手段により検出された運転行動信号の線形予測係数を演算する線形予測係数演算手段を用いてもよい。このとき、ケプストラム係数演算手段は、線形予測係数演算手段により演算された線形予測係数に基づいてケプストラム係数を演算すればよい。

また、前記運転行動パタンは、ドライバが誰であるか、ドライバが居眠り状態にあるか否か、ドライバの覚醒の度合い、ドライバが運転に集中しているかどうか、ドライバが運転事象に対して反応するまでの予測時間、せっかちな運転かのんびりした運転か、予測されるドライバの次の操作、のいずれか１つとしてもよい。

本発明に係る運転行動認識装置は、道路形状の影響を受けることなく、正確に運転行動を認識することができる。

以下、本発明の好ましい実施の形態について図面を参照しながら詳細に説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態に係る運転行動認識装置の構成を示すブロック図である。運転行動認識装置は、車両に搭載されており、ドライバが現在どのような状態で運転しているかを示す運転行動を認識するものである。

運転行動認識装置は、操舵角信号を検出する操舵角センサ２と、操舵角信号の対数スペクトルを演算する対数スペクトル演算装置４と、対数スペクトルの包絡を演算する包絡演算装置６と、様々な運転行動パタンに各々対応する対数スペクトル包絡を記憶する運転行動パタン記憶装置８と、運転行動パタンを認識するパタン識別装置１０と、を備えている。

操舵角センサ２は、ハンドルの操舵角に応じて操舵角信号を時々刻々生成し、この操舵角信号を対数スペクトル演算装置４に供給する。

対数スペクトル演算装置４は、操舵角センサ２から供給された操舵角信号をディジタル信号に変換した後、この操舵角信号を一定時間蓄積する。そして、対数スペクトル演算装置４は、蓄積した操舵角信号から、１００ｍｓから１ｓ程度の信号区間毎に周波数スペクトルを演算し、得られた周波数スペクトルを対数変換する。対数スペクトル演算装置４は、周波数スペクトルの演算においては、ＦＦＴ（高速フーリエ変換）などの公知のアルゴリズムを用いればよい。なお、蓄積された操舵角信号と演算との関係を図２に示す。演算周期は信号区間長と比較して、長くすることも、短くすることも、同じにすることも可能である。

包絡演算装置６は、対数スペクトル演算装置４で演算された対数スペクトルの包絡を演算する。包絡演算装置６は、包絡の演算においては、例えば、対数スペクトルをフーリエ変換し、高ケフレンシー成分を除去した後、逆フーリエ変換するリフタリング（liftering）という手法（参考文献：森下巌、小畑秀文「信号処理」、ｐ１４９−１５８、計測自動制御学会、１９８２）を用いればよい。

運転行動パタン記憶装置８には、予め、認識したい運転行動パタンＡ、Ｂ、Ｃに各々対応する対数スペクトル包絡が記憶されている。運転行動パタンは、特に限定されるものではなく、同一ドライバの様々な運転行動パタンであってもよいし、異なるドライバの運転行動パタンであってもよい。

同一ドライバの様々な運転行動パタンとしては、覚醒している時や居眠り状態にある時などが該当する。また、ドライバの覚醒の度合い、ドライバが運転事象に対して反応するまでの予測時間、せっかちな運転又はのんびりした運転、予測されるドライバの次の操作、などであってもよい。

パタン識別装置１０は、運転行動パタン記憶装置８に記憶されている各対数スペクトル包絡の中から、包絡演算装置６で演算された包絡に最も類似する対数スペクトル包絡を選択する。そして、パタン識別装置１０は、選択した対数スペクトル包絡に対応付けられた運転行動パタンを認識結果として出力する。なお、パタン識別装置１０は、包絡演算装置６で演算された包絡をそのまま用いて認識結果を出力しても良いし、何回かの包絡結果を蓄積してその平均値を用いて認識結果を出力しても良いし、何回かの認識結果を蓄積してその多数決の結果を最終的な認識結果として出力しても良い。

認識結果は、行動パタンが複数の分類のいずれの分類であるか（例えば、居眠りか、居眠りしていないか）を示すものであったり、所定の運転行動に関する尺度（例えば、ドライバの覚醒度）であってもよい。

図３（ａ）乃至（ｃ）は、対数スペクトル演算装置４で演算された操舵角の対数スペクトルを示す図である。なお、道路Ａ乃至Ｃ、及び実線及び点線は、それぞれ図７及び図８に対応している。

図４（ａ）は図３に表したすべての対数スペクトルを示す図であり、（ｂ）は図３に表したすべての対数スペクトルから各々演算された包絡（対数スペクトル包絡）を示す図である。

図３及び図４（ａ）に示すように、操舵角の対数スペクトルは、同一の運転行動（実線又は点線）であっても、道路の形状が異なるとその道路形状の変化の影響を受けてしまい、ばらつきが大きくなる。これに対して、操舵角の対数スペクトルの包絡は、同一の運転行動であれば、道路形状が異なってもほぼ一致する。つまり、上記包絡は、道路形状に影響されることなく、各々の運転行動パタンを表現することができる。

以上のように、本発明の第１の実施形態に係る運転行動認識装置は、ドライバの運転行動に応じた操舵角を検出し、検出した操舵角の対数スペクトルの包絡を演算し、この包絡と運転行動パタンに対応付けられた対数スペクトル包絡とをマッチングすることによって、ドライバの運転行動パタンを確実に識別することができる。

上記運転行動認識装置は、特に、道路形状が連続的に変化する道を車両が走行している場合であっても、道路形状に影響されることなく、高精度に運転行動パタンを認識することができる。

なお、対数スペクトル演算装置４、包絡演算装置６、運転行動パタン記憶装置８、パタン識別装置１０は、各々独立したデバイスである必要はなく、１つ又は２つ以上のデバイスであってもよい。また、対数スペクトル演算装置４、包絡演算装置６、運転行動パタン記憶装置８、パタン識別装置１０の代わりに、これらの機能を有するコンピュータを用いてもよい。

［第２の実施形態］
つぎに、本発明の第２の実施形態について説明する。なお、第１の実施形態と同一の装置には同一の符号を付し、その詳細な説明は省略する。

図５は、本発明の第２の実施形態に係る運転行動認識装置の構成を示すブロック図である。上記運転行動認識装置は、第１の実施形態に係る運転行動認識装置の包絡演算装置６の代わりに、ケプストラム係数演算装置７を備えている。ケプストラム係数は、対数スペクトル包絡の形状を表す係数である。

ケプストラム係数演算装置７は、対数スペクトル演算装置４で演算された対数スペクトルに逆フーリエ変換し、得られたフーリエ係数の絶対値（実数部と虚数部の自乗和の平方根）を求めることによって、上記ケプストラム係数を得る。ケプストラム係数は、対数スペクトル包絡の形状を表すので、道路形状に影響されることなく、各々の運転行動パタンを表現することができる。

運転行動パタン記憶装置８には、予め、様々なケプストラム係数毎に、認識したい運転行動パタンＡ、Ｂ、Ｃに各々対応付けられたスコア（確からしさ）が記憶されている。つまり、運転行動パタン記憶装置８には、運転行動パタン毎にスコア、ケプストラム係数の対応関係が記憶されている。

パタン識別装置１０は、運転行動パタン記憶装置８に記憶されている対応関係を用いて、ケプストラム係数演算装置７で演算されたケプストラム係数に基づいて各々の運転行動パタンのスコアを求める。そして、パタン識別装置１０は、求めたスコアの中から最も高いスコアに対応付けられた運転行動パタンを選択し、この運転行動パタンを認識結果として出力する。

以上のように、本発明の第２の実施形態に係る運転行動認識装置は、ドライバの運転行動に応じた操舵角を検出し、検出した操舵角の対数スペクトルからケプストラム係数を演算する。そして、このケプストラム係数に基づいて、運転行動パタン記憶装置８に記憶されている対応関係を用いて各々の運転行動パタンのスコアを求め、最もスコアの高い運転行動パタンを認識結果として出力する。これにより、ドライバの運転行動パタンを確実に識別することができる。

また、上記運転行動認識装置は、第１の実施形態と同様に、道路形状が連続的に変化する道を車両が走行している場合であっても、道路形状に影響されることなく、高精度に運転行動パタンを認識することができる。

なお、対数スペクトル演算装置４、ケプストラム係数演算装置７、運転行動パタン記憶装置８、パタン識別装置１０は、各々独立したデバイスである必要はなく、１つ又は２つ以上のデバイスであってもよい。また、対数スペクトル演算装置４、ケプストラム係数演算装置７、運転行動パタン記憶装置８、パタン識別装置１０の代わりに、これらの機能を有するコンピュータを用いてもよい。

なお、本実施形態では、次のような構成の運転行動認識装置であってもよい。

図６は、本発明の第２の実施形態に係る他の運転行動認識装置の構成を示すブロック図である。上記運転行動認識装置は、図５に示す運転行動認識装置の対数スペクトル演算装置４の代わりに、操舵角信号の線形予測係数を演算する線形予測係数演算装置５を備えている。このとき、ケプストラム係数演算装置７は、線形予測係数演算装置５で演算された線形予測係数に基づいてケプストラム係数を演算すればよい。

なお、線形予測係数を用いてケプストラム係数を計算する手法は、ＬＰＣケプストラムとして広く知られている技術である（参考文献：中川聖一「確率モデルによる音声認識」ｐｐ．７−ｐｐ．１２）。また、線形予測係数演算装置５、ケプストラム係数演算装置７、運転行動パタン記憶装置８、パタン識別装置１０の代わりに、これらの機能を有するコンピュータを用いてもよい。

なお、本発明は、上述した実施の形態に限定されるものではなく、特許請求の範囲に記載された範囲内で設計上の変更をされたものにも適用可能であるのは勿論である。

第１及び第２の実施形態では、ドライバの運転行動によって生じた運転行動信号として、操舵角信号を例に挙げて説明したが、本発明はこれに限定されるものではない。運転行動信号として、例えば、アクセル開度、ブレーキ踏力、ドライバの顔向き方向、ドライバの視線位置、車速、自車から障害物までの車間距離、走行車線に対する自車の横方向のずれなど、ドライバの運転行動に関連して計測可能な信号であればよい。

本発明の第１の実施形態に係る運転行動認識装置の構成を示すブロック図である。 蓄積された操舵角信号と演算との関係を示す図である。 （ａ）乃至（ｃ）は、対数スペクトル演算装置で演算された操舵角の対数スペクトルを示す図である。 （ａ）は図３に表したすべての対数スペクトルを示す図であり、（ｂ）は図３に表したすべての対数スペクトルから各々演算された包絡を示す図である。 本発明の第２の実施形態に係る運転行動認識装置の構成を示すブロック図である。 本発明の第２の実施形態に係る他の運転行動認識装置の構成を示すブロック図である。 （ａ）乃至（ｃ）は、異なる道路形状を示す図である。 （ａ）乃至（ｃ）は、道路形状毎の操舵角を示す図である。

符号の説明

２ 操舵角センサ
４ 対数スペクトル演算装置
５ 線形予測係数演算装置
６ 包絡演算装置
７ ケプストラム係数演算装置
８ 運転行動パタン記憶装置
１０ パタン識別装置

Claims (5)

1. ドライバの運転行動によって生じた運転行動信号を検出する検出手段と、
   前記検出手段により検出された運転行動信号の対数スペクトルを演算する対数スペクトル演算手段と、
   前記対数スペクトル演算手段により演算された対数スペクトルの包絡を演算する包絡演算手段と、
   様々な運転行動パタンに各々対応付けられた対数スペクトル包絡を記憶する行動パタン記憶手段と、
   前記行動パタン記憶手段に記憶された対数スペクトル包絡から、前記包絡演算手段により演算された包絡に最も類似する対数スペクトル包絡を選択し、選択した対数スペクトル包絡に対応付けられた運転行動パタンを認識結果として出力する運転行動パタン認識手段と、
   を備えた運転行動認識装置。
2. ドライバの運転行動によって生じた運転行動信号を検出する検出手段と、
   前記検出手段により検出された運転行動信号の対数スペクトルを演算する対数スペクトル演算手段と、
   前記対数スペクトル演算手段により演算された対数スペクトルに基づいてケプストラム係数を演算するケプストラム係数演算手段と、
   ケプストラム係数毎に、運転行動パタンとスコアとの対応関係を記憶する行動パタン記憶手段と、
   前記行動パタン記憶手段に記憶された対応関係を用いて、前記ケプストラム係数演算手段で演算されたケプストラム係数に基づく運転行動パタン毎のスコアを求め、最も高いスコアに対応付けられた運転行動パタンを認識結果として出力する運転行動パタン認識手段と、
   を備えた運転行動認識装置。
3. ドライバの運転行動によって生じた運転行動信号を検出する検出手段と、
   前記検出手段により検出された運転行動信号の線形予測係数を演算する線形予測係数演算手段と、
   前記線形予測係数演算手段により演算された線形予測係数に基づいてケプストラム係数を演算するケプストラム係数演算手段と、
   ケプストラム係数毎に、運転行動パタンとスコアとの対応関係を記憶する行動パタン記憶手段と、
   前記行動パタン記憶手段に記憶された対応関係を用いて、前記ケプストラム係数演算手段で演算されたケプストラム係数に基づく運転行動パタン毎のスコアを求め、最も高いスコアに対応付けられた運転行動パタンを認識結果として出力する運転行動パタン認識手段と、
   を備えた運転行動認識装置。
4. 前記検出手段は、前記運転行動信号として、アクセル開度、ブレーキ踏力、ステアリング操作角度、ドライバの顔向き方向、ドライバの視線位置、車載機器の操作量、車速、自車から障害物までの車間距離、ブレーキペダルの変位、走行車線に対する自車の横方向のずれ、のいずれか１つを表す信号を検出する
   請求項１から請求項３のいずれか１項に記載の運転行動認識装置。
5. 前記運転行動パタンは、ドライバが誰であるか、ドライバが居眠り状態にあるか否か、ドライバの覚醒の度合い、ドライバが運転に集中しているかどうか、ドライバが運転事象に対して反応するまでの予測時間、せっかちな運転かのんびりした運転か、予測されるドライバの次の操作、のいずれか１つである
   請求項１から請求項４のいずれか１項に記載の運転行動認識装置。

Images