WO2011040390A1 - 運転者状態判定装置 - Google Patents

Abstract

運転者状態判定装置において、運転者モデル同定手段（Ｍ２）が目標方位角と実方位角との差を運転者の入力とし、実操舵角を運転者の出力として、運転者の入出力関係を示す運転者モデルを同定すると、運転者モデル操作量取得手段（Ｍ３）が運転者モデルに対して現在の方位角偏差を入力することで運転者モデル操舵角を取得し、運転者状態判定手段（Ｍ４）が現在の実操舵角と運転者モデル操舵角との差を残差として算出し、その残差に基づいて運転者状態を判定するようにした。これにより、前記残差は運転者モデルから得られる変動成分、ノイズ成分、非線形成分等を表す指標となるので、この残差に基づいて運転者状態、特に運転者の低覚醒状態を高精度で判定することができる。

Description

運転者状態判定装置

　本発明は、車両の運転者が居眠り運転状態等にあることを的確に判定するための運転者状態判定装置に関する。

　図４は、運転者が介在する車両のヨーイング制御系のブロック図であって、例えば車両が道路の白線に沿って走行するように、運転者がステアリングホイールを操作して車両の方位角を制御する場合を想定している。運転者は、車両の進行方向を白線の方向に沿わせるための目標方位角と、車両に実際に発生している実方位角との偏差である方位角偏差を視覚により認識し、ステアリングホイールをどの方向にどれだけ操作すれば良いか判断し、ステアリングホイールを操作する。その結果、ステアリングホイールに操舵角が発生して車両が応答することで方位角の変化が起こる。このとき、路面の摩擦係数や車両の積載量のような環境によって車両挙動が影響され、最終的に実方位角が発生する。

　運転者が居眠り運転状態になると、車両を精度良く道路の白線に沿って走行させることが困難になるため、方位角偏差が増大することになる。よって方位角偏差を観測することで、運転者が低覚醒状態になったことを判定することができる。しかしながら、この手法は運転パフォーマンスによる制御成績（白線に対する追従精度）に基づくものであり、実際に車両挙動に現れた運転結果に基いて低覚醒状態を判定するために、その判定に遅れが生じる可能性がある。

　そこで、運転者をモデル化した運転者モデルを同定し、そこに方位角偏差を入力したときの出力（運転者モデル操舵角）と、実際の運転者の出力（実操舵角）とを比較すれば、車両挙動の変化を待たずして運転者の低覚醒状態を判定することができ、より早い段階での判定が可能になる。

　このような運転者モデルを用いた運転者状態判定装置として、車両に搭載された目標値センサ（車線検知用カメラ）、動作センサ（ヨーレートセンサ）および操作センサ（操舵角センサ）の出力に基づいて運転者モデルを同定し、この運転者モデルを規範となる運転者モデルと比較することで、現在の運転者状態（居眠り運転状態や飲酒運転状態）を評価するものが、下記特許文献１により公知である。

日本特開２００９－１８７６５号公報

　ところで上記従来のものは、同定した運転者モデルのボード線図と規範となる運転者モデルのボード線図とを比較し、例えばゲイン線図の特性ラインの形状がピーキーであるかフラットであるかに基づいて運転者状態を評価するものであるため、その判定基準が曖昧であり、具体的にどのような判定指標を用いれば運転者状態を判定可能であるのかが不明確であった。

　本発明は前述の事情に鑑みてなされたもので、運転者モデルを用いて運転者状態を判定する際に、適切な判定指標を用いることで早期段階から精度の高い判定を行うことを目的とする。

　上記目的を達成するために、本発明によれば、車両に搭載されたセンサの出力に基づいて運転者の操作目標値を求める操作目標値取得手段と、車両の実動作量を求める実動作量取得手段と、運転者の実操作量を求める実操作量取得手段と、操作目標値と実動作量との差を運転者の入力とし、実操作量を運転者の出力として、運転者の入出力関係を示す運転者モデルを同定する運転者モデル同定手段と、前記運転者モデル同定手段により同定された運転者モデルに対し、現在の操作目標値と実動作量との差を入力することで運転者モデル操作量を取得する運転者モデル操作量取得手段と、前記実操作量取得手段により求めた現在の実操作量と前記運転者モデル操作量取得手段により求めた運転者モデル操作量との差を残差として算出し、前記残差に基づいて運転者状態を判定する運転者状態判定手段とを備えることを第１の特徴とする運転者状態判定装置が提案される。

　また本発明によれば、前記第１の特徴に加えて、前記運転者状態判定手段は、平滑化残差／定常ゲイン^２ により正規化残差を算出し、前記正規化残差に基づいて運転者状態を判定することを第２の特徴とする運転者状態判定装置が提案される。

　また本発明によれば、前記第２の特徴に加えて、前記運転者状態判定手段は、周波数が１０ｒａｄ／ｓｅｃとなる定常ゲインの値に基づいて前記正規化残差を算出することを第３の特徴とする運転者状態判定装置が提案される。

　また本発明によれば、前記第２または第３の特徴に加えて、前記運転者状態判定手段は、前記正規化残差が判定閾値以上の場合に運転者が低覚醒状態にあると判定することを第４の特徴とする運転者状態判定装置が提案される。

　また本発明によれば、前記第１～第４の何れか１つの特徴に加えて、前記運転者モデル同定手段は、一次微分方程式により運転者モデルを同定することを第５の特徴とする運転者状態判定装置が提案される。

　また本発明によれば、前記第１～第５の何れか１つの特徴に加えて、前記運転者モデルに入力される信号の周波数領域を制限するフィルタ手段を備えることを第６の特徴とする運転者状態判定装置が提案される。

　また本発明によれば、前記第６の特徴に加えて、前記フィルタ手段は前記運転者モデルに入力される信号の周波数領域を１ｒａｄ／ｓｅｃから１０ｒａｄ／ｓｅｃに制限することを第７の特徴とする運転者状態判定装置が提案される。

　尚、実施の形態のビデオカメラＳａは本発明のセンサに対応し、実施の形態のヨーレートセンサＳｂは本発明の実動作量取得手段に対応し、実施の形態の操舵角センサＳｃは本発明の実操作量取得手段に対応し、実施の形態のバンドパスフィルタ１５は本発明のフィルタ手段に対応する。

　本発明の第１の特徴によれば、運転者モデル同定手段が操作目標値と実動作量との差を運転者の入力とし、実操作量を運転者の出力として、運転者の入出力関係を示す運転者モデルを同定すると、運転者モデル操作量取得手段が運転者モデルに対して現在の操作目標値と実動作量との差を入力することで運転者モデル操作量を取得し、運転者状態判定手段が現在の実操作量と運転者モデル操作量との差を残差として算出し、その残差に基づいて運転者状態を判定する。前記残差は運転者モデルから得られる変動成分、ノイズ成分、非線形成分等を表す指標となるので、この残差に基づいて運転者状態、特に運転者の低覚醒状態を高精度で判定することができる。

　また本発明の第２の特徴によれば、運転者状態判定手段は平滑化残差／定常ゲイン^２ により正規化残差を算出し、この正規化残差に基づいて運転者状態を判定するので、異なる運転者間での比較が可能になって汎用性および利便性が向上する。

　また本発明の第３の特徴によれば、運転者状態判定手段は周波数が１０ｒａｄ／ｓｅｃとなる定常ゲインの値に基づいて正規化残差を算出するので、汎用性および利便性がより高い正規化残差を算出することができる。

　また本発明の第４の特徴によれば、運転者状態判定手段は正規化残差が判定閾値以上の場合に運転者が低覚醒状態にあると判定するので、運転者の低覚醒状態を精度良く判定することができる。

　また本発明の第５の特徴によれば、運転者モデル同定手段は一次微分方程式により運転者モデルを同定するので、運転者モデルが単純になって単純な運転操作だけを抽出することが可能となる。よって実際の運転操作から運転者モデルにより抽出した単純な運転操作を取り去った後の差には、単純な運転者モデルでは同定しきれない複雑な運転操作が含まれており、この運転操作に基づいて運転者状態を的確に判定することができる。また実際の運転操作から運転者モデルにより抽出した単純な運転操作を取り去った差に、複雑な運転操作が殆ど含まれない場合には、運転者が単純な運転操作を継続していると推定されるため、運転者の運転操作が安定していると判定することができる。

　また本発明の第６の特徴によれば、運転者モデルに入力される信号の周波数領域を制限するフィルタ手段を備えるので、運転者の眠気が増加した場合の残差の増加を顕著なものとすることができる。

　また本発明の第７の特徴によれば、フィルタ手段は運転者モデルに入力される信号の周波数領域を１ｒａｄ／ｓｅｃから１０ｒａｄ／ｓｅｃに制限するので、運転者の眠気が増加した場合の残差の増加をより一層顕著なものとすることができる。

図１は運転者状態判定装置の構成を示すブロック図である。 図２は「残差」の算出手法の説明図である。 図３は「正規化残差」および眠気の指標の変化を示す図である。 図４は運転者が介在する車両のヨーイング制御系のブロック図である。

Ｍ１　　　　操作目標値取得手段
Ｍ２　　　　運転者モデル同定手段
Ｍ３　　　　運転者モデル操作量取得手段
Ｍ４　　　　運転者状態判定手段
Ｓａ　　　　ビデオカメラ（センサ）
Ｓｂ　　　　ヨーレートセンサ（実動作量取得手段）
Ｓｃ　　　　操舵角センサ（実操作量取得手段）
１５　　　　バンドパスフィルタ（フィルタ手段）

　以下、図１～図３に基づいて本発明の実施の形態を説明する。

　図１に示すように、車両は道路の白線を撮像するビデオカメラＳａと、車両の実方位角を検出するヨーレートセンサＳｂと、運転者が操作するステアリングホイール１１の操舵角を検出する操舵角センサＳｃとを備えており、ビデオカメラＳａ、ヨーレートセンサＳｂおよび操舵角センサＳｃからの信号が入力される電子制御ユニットＵは、運転者が低覚醒状態にあること、つまり居眠り運転状態にあることを判定すると、スピーカ１２に警報音を発生させることで運転者を覚醒させる。電子制御ユニットＵは、操作目標値取得手段Ｍ１と、運転者モデル同定手段Ｍ２と、運転者モデル操作量取得手段Ｍ３と、運転者状態判定手段Ｍ４とを備える。

　電子制御ユニットＵの操作目標値取得手段Ｍ１は、ビデオカメラＳａで撮像した道路の白線を画像処理し、白線の方向と車体前後軸の方向とのずれから、操作目標値としての目標方位角を算出する。目標方位角は、白線の方向と車体前後軸の方向とのずれか大きいほど大きく設定され、その正負は白線の方向に対する車体前後軸のずれの方向に応じて設定される。また、操作目標値取得手段Ｍ１は、ヨーレートセンサＳｂが検出する実方位角の積分値を平滑させることで目標方位角を求めても良い。

　操作目標値取得手段Ｍ１が算出する目標方位角は、本発明の操作目標値に対応し、ヨーレートセンサＳｂが検出する実ヨーレートを積分器１４で積分することにより算出される実方位角は、本発明の実動作量に対応し、操舵角センサＳｃが検出するステアリングホイール１１の実操舵角は、本発明の実操作量に対応する。

　電子制御ユニットＵの運転者モデル同定手段Ｍ２には、目標方位角から実方位角を減算した偏差である方位角偏差に対して、周波数領域が１～１０ｒａｄ／ｓｅｃのバンドパスフィルタ１５を通した値を入力とし、実操舵角を出力とする運転者モデルが予め同定されている。眠気増加による運転者モデルの変動が高い周波数帯域で現れることから、フィルタ帯域を上記範囲としたバンドパスフィルタ１５を通すことで、眠気が増加した場合の残差の増加をより顕著にすることが可能となる。

　本実施の形態では、入力である方位角偏差と出力である実操舵角との関係を規定する運転者モデルは、以下のような単純な微分一次方程式で与えられる。

　　　　　　　　　　　　　Ｋ／（１＋Ｔｓ）　　　　　Ｋ：ゲイン係数
　　　　　　　　　　　　　　　　　　　　　　　　　　Ｔ：時間応答
　そして、
　［操作量（実操舵角）］＝［Ｋ／（１＋Ｔｓ）］×［車両運動（方位角偏差）］
の関係があることから、運転者モデルである一次微分方程式［Ｋ／（１＋Ｔｓ）］は、
　［Ｋ／（１＋Ｔｓ）］＝［操作量（実操舵角）］／［車両運動（方位角偏差）］
で与えられる。ここで右辺の［操作量（実操舵角）］は操舵角センサＳｃが出力する実操舵角であり、かつ右辺の［車両運動（方位角偏差）］は操作目標値取得手段Ｍ１が出力する目標方位角と、ヨーレートセンサＳｂの出力から算出する実方位角とから算出可能であり、何れも測定可能であることから、運転者モデルの同定が可能となる。

　運転者モデルは、標準的な運転者の通常時（覚醒時）の特性に基づいて同定したものを複数の運転者が共用しても良いし、個々の運転者の通常時（覚醒時）の特性に基づいて同定したものを、その運転者が専用に使用しても良い。

　続いて、運転者モデル操作量取得手段Ｍ３において、運転者モデル同定手段Ｍ２において予め同定された運転者モデルに減算手段１３が出力する方位角偏差に対して、周波数領域が１～１０ｒａｄ／ｓｅｃのバンドパスフィルタ１５を通した値を適用することで、運転者モデル操作量を算出する。

　即ち、
　［操作量（実操舵角）］＝［Ｋ／（１＋Ｔｓ）］×［車両運動（方位角偏差）］
において、右辺の［Ｋ／（１＋Ｔｓ）］が運転者モデル同定手段Ｍ２において予め同定されていることから、右辺の［車両運動（方位角偏差）］に減算手段１３が出力する方位角偏差に対して、周波数領域が１～１０ｒａｄ／ｓｅｃのバンドパスフィルタ１５を通した値を代入することで、左辺の［操作量（実操舵角）］に対応する値、つまり運転者モデル操作量である運転者モデル操舵角が算出される。

　続いて、運転者状態判定手段Ｍ４は、運転者モデル操作量取得手段Ｍ３が出力する運転者モデル操舵角と、操舵角センサＳｃが出力する実操舵角とから「残差」を算出し、この「残差」を指標として運転者の低覚醒状態を判定する。

　これを図２に基づいて説明すると、減算手段１３が出力する方位角偏差が実際の運転者（理想モデル）と運転者モデルとに入力されると、理想モデルは実操舵角を出力し、運転者モデルは運転者モデル操舵角を出力する。そして実操舵角から運転者モデル操舵角を減算した差分を二乗平均したものが「残差」として算出される。つまり、（実際の運転者の入出力）＝（理想モデルの入出力）となるため、実際の運転者の出力である実操舵角と、方位角偏差を運転者モデルに入力して得られた出力である運転者モデル操舵角との差分を算出し、その差分を二乗平均したものが「残差」として定義される。

　このように、「残差」は実操舵角と運転者モデル操舵角との差分を二乗平均したものであり、運転者モデルからの変動成分や、運転者モデルに含まれるノイズ成分、非線形成分等を表しており、運転操作の安定性や複雑な運転操作を表す指標となる。よって、この「残差」に基づいて運転者の低覚醒状態を判定することができる。

　尚、上記「残差」は異なる運転者間での比較ができないため、「残差」を移動平均をとる等の手段で平滑化した「平滑化残差」を定常ゲイン（ゲイン線図における周波数ω＝１０ｒａｄ／ｓｅｃのときのゲイン）を用いて正規化した「正規化残差」を用いることで、異なる運転者間での比較を可能にして汎用性および利便性を高めることができる。

　　　　　　　　　　　正規化残差＝平滑化残差／定常ゲイン^２ 
　図３は、車両を時速６０ｋｍ／ｈで直線路を走行させながら得た「正規化残差」および眠気の指標を時系列で示すものである。眠気の指標は、運転者の表情を観察者が観察して判定したものであり、１：「全く眠くなさそう」、２：「やや眠そう」、３：「眠そう」、４：「かなり眠そう」、５「非常に眠そう」の５段階に分かれている。

　同図から明らかなように、「正規化残差」の変化は眠気の指標の変化に良く追従しており、「平滑化残差」が予め設定した判定閾値以上になったときに、運転者の低覚醒状態を高精度で検出できることが確認される。

　尚、「正規化残差」に使用する定常ゲインは、運転者モデルに対する入力の周波数領域が１ｒａｄ／ｓｅｃから１０ｒａｄ／ｓｅｃのときに、運転者の低覚醒状態を最も精度良く判定することができる。図３はボード線図において１０ｒａｄ／ｓｅｃの場合の定常ゲインを使用した結果を示している。

　このようにして、運転者状態判定手段Ｍ４により運転者が低覚醒状態に陥ったことが判定されると、図１に示すスピーカ１２を作動させて音響等で運転者を覚醒させることができる。

　以上のように、運転者状態判定手段Ｍ４により現在の実操舵角と運転者モデル操舵角との差を、運転者モデルから得られる変動成分、ノイズ成分、非線形成分等を表す指標となる「残差」として算出し、その「残差」に基づいて運転者の低覚醒状態を判定するので、運転者の低覚醒状態を高精度で判定することができる。

　特に、運転者モデル同定手段Ｍ２は単純な一次微分方程式により運転者モデルを同定するので、そこから単純な運転操作だけを抽出することが可能となる。よって実際の運転操作から運転者モデルにより抽出した単純な運転操作を取り去った後の「残差」には、単純な運転者モデルでは同定しきれない複雑な運転操作が含まれており、この運転操作に基づいて運転者状態を的確に判定することができる。また実際の運転操作から運転者モデルにより抽出した単純な運転操作を取り去った「残差」に、複雑な運転操作が殆ど含まれない場合には、運転者が単純な運転操作を継続していると推定されるため、運転者の運転操作が安定していると判定することができる。

　以上、本発明の実施の形態を説明したが、本発明はその要旨を逸脱しない範囲で種々の設計変更を行うことが可能である。

　例えば、実施の形態では運転者モデルに対する入力として方位角偏差を用いているが、白線の横方向に対する横変位を用いることも可能である。

Claims (7)

1. 　車両に搭載されたセンサ（Ｓａ）の出力に基づいて運転者の操作目標値を求める操作目標値取得手段（Ｍ１）と、
   　車両の実動作量を求める実動作量取得手段（Ｓｂ）と、
   　運転者の実操作量を求める実操作量取得手段（Ｓｃ）と、
   　操作目標値と実動作量との差を運転者の入力とし、実操作量を運転者の出力として、運転者の入出力関係を示す運転者モデルを同定する運転者モデル同定手段（Ｍ２）と、
   　前記運転者モデル同定手段（Ｍ２）により同定された運転者モデルに対し、現在の操作目標値と実動作量との差を入力することで運転者モデル操作量を取得する運転者モデル操作量取得手段（Ｍ３）と、
   　前記実操作量取得手段（Ｓｃ）により求めた現在の実操作量と前記運転者モデル操作量取得手段（Ｍ３）により求めた運転者モデル操作量との差を残差として算出し、前記残差に基づいて運転者状態を判定する運転者状態判定手段（Ｍ４）と、
   を備えることを特徴とする運転者状態判定装置。
2. 　前記運転者状態判定手段（Ｍ４）は、平滑化残差／定常ゲイン^２ により正規化残差を算出し、前記正規化残差に基づいて運転者状態を判定することを特徴とする、請求項１に記載の運転者状態判定装置。
3. 　前記運転者状態判定手段（Ｍ４）は、周波数が１０ｒａｄ／ｓｅｃとなる定常ゲインの値に基づいて前記正規化残差を算出することを特徴とする、請求項２に記載の運転者状態判定装置。
4. 　前記運転者状態判定手段（Ｍ４）は、前記正規化残差が判定閾値以上の場合に運転者が低覚醒状態にあると判定することを特徴とする、請求項２または請求項３に記載の運転者状態判定装置。
5. 　前記運転者モデル同定手段（Ｍ２）は、一次微分方程式により運転者モデルを同定することを特徴とする、請求項１～請求項４の何れか１項に記載の運転者状態判定装置。
6. 　前記運転者モデルに入力される信号の周波数領域を制限するフィルタ手段（１５）を備えることを特徴とする、請求項１～請求項５の何れか１項に記載の運転者状態判定装置。
7. 　前記フィルタ手段（１５）は前記運転者モデルに入力される信号の周波数領域を１ｒａｄ／ｓｅｃから１０ｒａｄ／ｓｅｃに制限することを特徴とする、請求項６に記載の運転者状態判定装置。

Images