JP5005492B2

JP5005492B2 - 安全運転支援システム

Info

Publication number: JP5005492B2
Application number: JP2007270558A
Authority: JP
Inventors: 俊介手塚
Original assignee: Fuji Jukogyo KK
Current assignee: Subaru Corp
Priority date: 2007-10-17
Filing date: 2007-10-17
Publication date: 2012-08-22
Anticipated expiration: 2027-10-17
Also published as: JP2009098970A

Description

本発明は、移動体を運転するドライバの状態を推定して安全運転のための支援を行う安全運転支援システムに関する。

近年、自動車等の移動体の安全な移動を可能とすることを目的として、運転中のドライバの状態を監視して覚醒度の低下や居眠りを検知し、安全を確保する技術が開発されている。ドライバ状態の推定は、主として、生体状態を計測して行うものと、運転操作データから推定するものとがあり、これらの技術に関して従来から各種提案がなされている。

生体状態の計測によるドライバ状態の推定に関する技術としては、特許文献１〜５に開示の技術がある。特許文献１の技術は、ドライバの顔面に取り付けた電極や眼球を撮影するカメラ等を用いて眼球運動を計測することでドライバの状態を推定するものであり、特許文献２の技術は、ドライバの瞼の開度を元に覚醒度を推定するものである。

また、特許文献３や特許文献４の技術は、ドライバの心拍信号を計測することでドライバの状態の推定を行うものであり、特許文献５の技術は、脳内電流信号を検知するものである。

一方、運転操作データによるドライバ状態の推定に関する技術としては、特許文献６，７に開示の技術がある。特許文献６の技術は、ドライバの運転操作データを予め決められた条件で判別し、車両制御特性の変更に反映させるものであり、特許文献７の技術は、車両状態データからのファジー推論によってドライバの意図や心理状態の推定を行うものである。
特開２００３−２３０５５２号公報特開２００４−８９２７２号公報特許第３５９６１９８号公報特開平７−１００２４号公報特表２００６−５２４１５７号公報特許第３０５８９６６号公報特許第３０３６１８３号公報

前述したように、自動車の安全な運転を実現するためには、ドライバの状態を推定する技術を用いて警報や制御特性の変更・操作補助などを行うことが有効であり、これまでに各種提案がなされている。

しかしながら、文献１〜５に開示されているような、ドライバ状態推定のために生体計測を行う技術では、一般的に、ノイズや個人差の大きい測定量を扱わなくてはならず，自動車の使用される環境、使用する人間の多様性に対応しきれないという問題がある。

すなわち、特許文献１では、眼球運動の計測のため顔面に電極を配置する例を挙げているが、実際の自動車運転時にドライバに身体的拘束を伴う測定装置を装着しなければならないことは、煩わしいばかりでなく現実性に欠ける。

特許文献２では、ドライバの目を撮影するカメラからの情報を基にデータを計測しているが、車両に付加的な装置を付けるコストや、ドライバの姿勢の変化や西日等の外部環境からの光の影響によって撮影が正常に行えない虞がある。

特許文献３ではシートならびにステアリングに設置した電極その他の装置、また特許文献４では心理状態検出手段とされるだけの記載であるが、共に心拍を計測する例が挙げられている。しかし、これらの技術も、心電という比較的ノイズに攪乱されやすいデータを計測していることや、車両に付加的な装置が必要であること、さらに各個人によって差異のある心拍の特徴をもって判定を行わなくてはならない点等、自動車の実環境で使用されることを鑑みるに問題があると言わざるを得ない。

特許文献５では、ＭＲＩ等の装置を車載することによる非侵襲での計測が説明されているが、文献内で述べられている装置は、直接的或いは間接的にドライバの姿勢その他の条件を拘束するものであり、そのコスト等も含めて、同様に現時点での工業的応用は現実的ではないと言わざるを得ない。

また、特許文献１〜５に共通する事項として、事前のキャリブレーションがあるにせよ、一般的な人間に共通と思われる兆候をもって覚醒度や疲労度を測ろうとしており、各個人の違いや外部環境との関連性については積極的に扱わず、むしろ個人的差異を前処理で平滑化させることに注力しているものも見受けられる。このような手法では、ある程度の効果は見込めるものの、その先のより高い精度でドライバ状態を推定する場合には、個人差や外部環境を積極的に扱う仕組みを持たないために。その性能に一定の限界がある。

一方、ドライバ状態推定のために操作あるいは車両データを用いる特許文献６，７では、ドライバの操作が予め決められた条件を満たす場合に、その意図に対応すると思われる予め決められた方向へ車両特性を変化させている。この方法では、一般的な人間に共通と考えられる操作の特徴をもって車両特性を変えているため、真の意味でドライバ一人ひとりの個性に合わせた状態推定がなされるわけでなく、人によっては誤った状態に推定されてしまう虞がある。

以上のように、従来の技術は、ノイズや付加コストについて考慮すべき課題があるばかりでなく、ドライバ状態の推定に関して画一的指標・条件による能力不足があり、自動車の安全な運転を実現するためには不十分である。

本発明は上記事情に鑑みてなされたもので、ドライバの運転操作と外部環境との関連性を随時学習し、ドライバの普段の内部状態からの逸脱を認識して安全な運転を支援することのできる安全運転支援システムを提供することを目的としている。

上記目的を達成するため、本発明による安全運転支援システムは、移動体を運転するドライバの状態を推定して安全運転のための支援を行う安全運転支援システムであって、上記移動体の外部環境をセンシングして外部環境に含まれる走行環境リスクを認識する環境リスク認識部と、上記走行環境リスクとドライバの運転操作との対応を確率的状態遷移モデルを用いて学習し、学習モデルを構築するモデル学習部と、上記学習モデルに基づいて、走行中のドライバの運転操作の反映としての車両挙動データを含む運転操作データからドライバのリスク認識状態をドライバの内部状態として推定し、上記確率的状態遷移モデルにおける全ステートの存在確率の期待値をドライバの内部状態の推定結果として出力する状態推定部と、上記走行環境リスクと上記内部状態とを比較し、上記移動体の安全運転に係る支援情報を取得する運転支援部と、上記内部状態の推定の信頼度を評価する信頼度評価部とを備え、上記信頼度の評価結果に基づいて、上記支援情報に基づく運転支援を適応的に変化させることを特徴とする。

本発明によれば、ドライバの運転操作と車外環境との関連性を運転中に随時学習することができ、ドライバの普段の内部状態からの逸脱を認識して安全な運転を支援することができる。

以下、図面を参照して本発明の実施の形態を説明する。図１〜図１３は本発明の実施の一形態に係り、図１は安全運転支援システムの基本構成図、図２は安全運転支援システムの学習フェーズ及び推定フェーズを示す説明図、図３は操作特徴量と自己組織化マップのネットワークを示す説明図、図４は確率的状態遷移を示す説明図、図５は学習後の状態遷移確率を示すグラフ、図６は学習後の出力確率を示すグラフ、図７は状態推定のアルゴリズムを示す説明図、図８は推定の信頼度が高い場合の確率分布を示す説明図、図９は推定の信頼度が低い場合の確率分布を示す説明図、図１０は勝者ユニット距離による信頼度の相違を示す説明図、図１１はユニット距離比合計の説明図、図１２は信頼度指標の計算例を示すグラフ、図１３は推定試験結果を示す説明図である。

本発明による安全運転支援システムは、自動車等の移動体を運転する際に、外部環境に含まれるリスクとドライバが意識しているリスクとを比較してドライバの普段の内部状態からの逸脱を認識し、不必要な介入をすることなく適切な運転支援を可能とするものであり、「システムとドライバの不協和」を解消しつつ、自動車を運転する際の安全性を向上することができる。

以下、本実施の形態においては、自動車の走行支援について説明する。本実施の形態の安全運転支援システムは、ドライバの状態を推定するための主たるデータとして、ドライバの運転操作の反映としての車両挙動データを含めてハンドル・アクセル・ブレーキ等の操作データを用い、また、ドライバ状態推定の指標として、画一的な条件を用いることなく、ドライバの普段の運転における「車両周囲環境と操作との関連性」を確率的規範モデルとして用いている。この規範モデルは、継続的に車両を運転することによって逐次更新し、個人個人に合わせて状態推定精度を向上させていく。

具体的には、図１に示すように、本実施の形態における安全運転支援システム１は、単一のコンピュータシステム或いはネットワーク等を介して接続された複数のコンピュータシステムで構成され、カメラやレーダー等のセンシングデバイスによる外界情報から車両周囲の外部環境に含まれるリスク（走行環境リスク）を認識する車外環境認識部２、ドライバの運転操作データの特徴量を量子化する操作特徴量量子化部３、運転操作（操作特徴量）と認識環境（リスクレベル）との対応をモデル学習するモデル学習部４、学習されたモデルと現在の操作データ・車外環境との関連性からドライバの内部状態を推定する状態推定部５、ドライバの内部状態推定の信頼度を評価する信頼度評価部６、推定されたドライバ内部状態に応じて車両を安全に運転するための支援情報を取得し、警報や操作支援などを行う警報・支援部７を備えて構成されている。本実施の形態においては、外部環境のセンシングデバイスとして車載カメラを用いている。

尚、後述するが、信頼度評価部６は、操作特徴量量子化部３、状態推定部５の一部として構成するようにしても良い。

この安全運転支援システム１のシステム動作は、便宜上、図２に示すように、ドライバの内部状態のモデルを学習する「学習フェーズ」と、得られたモデルを元にドライバの内部状態を推定する「推定フェーズ」とに分けられる。

学習フェーズでは、車両前方を車載カメラで撮像し、学習によって走行環境のリスクレベルを認識すると、この走行環境リスクレベルと、ドライバの運転操作データの特徴量を量子化した操作特徴量データとの対応関係を学習し、学習済みパラメータを取得して学習モデルを構築する。

また、推定フェーズでは、学習済みのモデルパラメータを用いて操作特徴量と走行環境リスクレベルとの関連性を獲得し、現在のドライバの内部状態を推定する。推定されたドライバの現在の内部状態は、現在の走行環境リスクレベルと比較され、車両が本質的に安全か危険な状態にあるかが評価される。

この学習フェーズと推定フェーズとは、実際には互いに分離して進行するものではなく、双方が同時に進行する。それにより、ドライバが走行する環境の変化やドライバ自身の特性変化に適応する機能を実現することができ、車両のユーザに対して、走行すればするほど高性能になっていくシステムを提供することができる。また、学習フェーズにおけるモデルパラメータの取得は、走行中のオンライン学習によって全てを取得することも可能であるが、一部、シミュレータ等を用いたオフライン学習を併用することにより、学習速度の向上と認識精度の向上とを期待することができる。

次に、安全運転支援システム１の各部の機能について説明する。車外環境認識部２は、車載カメラから得られる画像の特徴量と、そのときのリスクレベルとの関連性を学習することにより、車外環境の状態を単一のスカラ値（若しくはベクトル）へ縮退変換し、モデル学習部４へ伝達する。

画像特徴量からのリスクレベルの認識は、例えば、本出願人による特願２００７−７７６２５号において提案されたオンラインリスク学習システムの技術を採用することができる。この技術は、特願２００７−７７６２５号に詳述されているように、アクセルの急激な戻し操作やブレーキ踏込みといったイベントにより、Ｎ次元ベクトルの画像特徴量（エッジ情報、動き情報、色情報等）を１次元の状態に変換し、この状態と車両情報（ドライバの操作情報）から作成された教師情報との相関関係から環境に含まれるリスクを学習・認識するものである。

尚、本実施の形態では、画像特徴量から抽出したリスクレベルを用いる例について説明するが、リスクレベルとしては、これに限定されるものではなく、例えば、車間距離等からリスクレベルを抽出するようにしても良い。

操作特徴量量子化部３は、センサからのデータ或いは車内ネットワーク（図示せず）を介して取得したアクセル・ブレーキ・ステアリング等のドライバの操作データを、その測定頻度の特徴に応じて量子化し、モデル学習部４へ伝達する。すなわち、運転操作データは、そのままでは情報量が非常に多く、リスクとの関連を学習するには扱いが困難である。このため、観測されるデータの分布（出現傾向）を考慮して適切に量子化を行うことで、データに含まれる情報量が失われることを防止しつつ、特徴を学習するための統計的処理を可能とする。

観測データの量子化は、閾値を用いたデータ分割やデータ縮退によって行うことができ、本実施の形態では、自己組織化マップ（SOM;Self-Organizing Maps）を用いて運転操作データを量子化する。ＳＯＭは、生物の大脳皮質のうち視覚野等をモデル化したニューラルネットワークの一種であり、Ｍ次元に並べられたユニットが、それぞれベクトル値（通常入力との結線の重みと呼ばれる）を持ち、入力に対して勝者ユニットをベクトルの距離を基準として決定する。

そして、勝者ユニット及びその周辺のユニットの参照ベクトル値を、入力ベクトルに近づくように更新してゆく。これを繰り返すことで、全体が入力データの分布を最適に表現できるように競合学習し、この競合学習に基づいて入力情報の次元を圧縮すると共に、データの特徴に応じてクラスタリングや可視化を行うことができる。

尚、本実施の形態では、Ｓ０Ｍを用いた教師無し競合学習により入力データを縮退する例について説明するが、教師有り競合学習であるベクトル量子化（LVQ;Learning Vector Quantization）モデルを用いることも可能である。

以下に、ＳＯＭパラメータの例を示す。採用した特徴量は、舵角速度、アクセル開度・ブレーキ圧・アクセル開度変化量・ブレーキ圧変化量・車両速度である。但し、舵角速度については絶対値を用い、また、アクセル開度とブレーキ圧は、それぞれ正規化し、-100（ブレーキ圧最大）から+100（アクセル全開）までの無次元量としている。アクセル並びにブレーキの変化量も、この正規化値の変化量として表している。結果として入力特徴量の次元は４とし、これをＳＯＭによって１次元に圧縮し、ユニット数２５６に量子化している。

［ＳＯＭパラメータ］
ＳＯＭ次元数１
ユニット数２５６
入力特徴量ＡＤＳＴＲ（舵角速度絶対値）
ＰＥＤＡＬ（アクセル・ブレーキ操作正規化量）
ＤＰＥＤＡＬ（ＰＥＤＡＬ値変化量）
ＳＰＥＥＤ（車両速度）

図３は、ＳＯＭで学習されたデータを示しており（但し、入力４次元のうち３次元のみ）、市街地を走行したデータ（５時間走行相当）をＳＯＭで学習したものである。雲のようにプロットされているのが測定データで、ひも状に配置されているのが１次元ＳＯＭのネットワークである。図３から測定データの密度と分布に応じて学習が行なわれ、適宜、ユニットが配置されていることが分かる。測定されたデータは、最近傍のＳＯＭのユニットで近似されることで、量子化されると共に、ユニット番号で表される１次元のデータに縮退される。

尚、このＳＯＭのユニット配置は、計測される運転データを学習することで決まり、個人による差や、同一人物でも時間の推移による運転特徴の変化に適応していくことが期待できる。

モデル学習部４は、操作特徴量とリスクレベルとの関連性を学習によって獲得し、ドライバの内部状態を推定するための確率的計算を可能とする。人間の行動は、図４（ａ）に示すように、安心、緊張、不安、焦り、怒りといった心的状態と、その遷移に応じて変化し、必ずしも確定的ではなく、確率的な行動として表現することができる。同様に、ドライバの運転行動は、図４（ｂ）に示すように、先行車への追従、追越、駐車、車線変更、合流といったシーンと、その遷移に対して、確率的な操作出力となって現れる。

従って、モデル学習部４では、人間行動の確率的振る舞いを表すための規範モデルとして、確率的状態遷移モデルの一種である隠れマルコフモデル（HMM;Hidden Markov Model）を用いてドライバの内部状態をモデル化する。ＨＭＭは、対象の内部状態（ステート）が確率的な条件分岐によって遷移することと、遷移したステートによって異なる確率で外部に信号が出力されることを想定したモデルである。

ＨＭＭを用いたモデルでは、ドライバが意識しているリスクレベルを推定するタスクにおいては、図４（ｃ）に示すように、現在意識しているリスクレベルがＨＭＭのステートに相当し、そのときに観測される運転操作データが外部に出力される信号に相当する。図４（ｃ）においては、リスクレベルを５段階として各ステートに１〜５の番号を付与した場合を例示しており、番号１は、ドライバが外部環境のリスクが最も低いと認識している状態、番号５は、ドライバが外部環境のリスクが最も高いと認識している状態を示している。尚、実際に扱うリスクレベルは、０，１，…，９の１０段階である。

このように、運転操作データを離散化してデータの出現傾向を求め、ドライバの内部状態を確率的モデルとして近似することで、実際の運転における操作データのように、外部環境から確定的に導出することのできない情報の扱いを適切に行うことが可能となる。但し、推定時に観測される操作データがどのステートから出力されたのかを推定するためには、状態遷移確率と操作出力確率の２つの確率計算を行う必要がある。

このため、モデル学習部４では、先ず車外環境認識部２から伝達されたスカラ値を基に、統計的手法によって状態遷移確率を学習し、次に、操作特徴量量子化部３からのデータを基に、ステート毎の操作特徴量の観測確率分布（操作出力確率）を学習する。例えば、舵角・アクセル開度・ブレーキ圧力、さらに、操作の反映である速度・ヨーレート・加速度等をそれぞれ適宜離散化し、各離散値毎の観測回数をカウントして統計的に確率を計算する。

以下、ＨＭＭを用いた状態遷移確率及び操作出力確率の計算処理について説明する。

［ＨＭＭの仕様例］
駆動周波数３Ｈｚ
ステート数１０
出力信号ＳＯＭユニット番号（０〜２５５）
ネットワーク構造全ステート相互接続型

［状態遷移確率の計算］
一般に、自動車の運転を想定する場合、車を運転する度に故意ではないにも拘わらず必ず事故を起こしてしまうドライバが存在するとは考えにくい。言い換えれば、巨視的にはドライバは適宜走行環境のリスクレベルに対応した運転操作を行っていると見なすことができる。このような前提の元に、ある程度長い時間範囲のデータを集めて統計的に処理した場合、ＨＭＭにおけるドライバの内部状態の遷移は、走行環境のリスクレベルの遷移に依存していると仮定することができる。

従って、遷移確率の計算は、以下の（１−１）〜（１−５）の手順に従って実施し、学習時のリスクレベルの遷移確率を求めることで、ドライバ内部状態の遷移確率を算出する。
（１−１）状態遷移モデルの駆動周波数を定義（例えば、３Ｈｚ）
（１−２）内部状態のステート数を定義（例えば、１０ステート）
（１−３）リスクレベルをステート数分に離散化
（１−４）各ステート間の遷移回数をカウント
（１−５）各ステート間の統計的な遷移確率を計算

尚、単純な例では、ステート遷移の時間ステップを一定値に固定し、ドライバの内部状態は環境状態の遷移に同期して遷移するとすれば、計算が簡便になる。或いは、特定のスカラ値範囲に停留する時間長に応じてステートを別途定義することも可能である。

図５に、市街地での計測データから学習で獲得したＨＭＭの状態遷移確率のグラフを示す。ステート番号は大きいほど高いリスクレベルであることを示している。このグラフから３ＨｚとしたＨＭＭ駆動周波数の枠組みでは、自己遷移（同じ番号のステートにとどまる遷移）と、上下１ステート分の遷移確率が大きいこと、高リスクステートでは急激にリスクレベルが下がる遷移確率も比較的大きいこと等が見て取れる。これは、一般的に、中低程度のリスクは連続的に上下することや、高いリスク要因は車両の通過と共に急激に解消すること等に相当し、一般的な運転状況の感覚との乖離は無いものと判断することができる。

［出力信号確率の計算］
あるステートに遷移した状態における、操作データ特徴の出力確率の学習には、前述したＳＯＭを用いる。計測された操作データをＳＯＭユニット番号に次元圧縮並びに量子化し、各ユニット番号が観測される回数をカウントすることで、統計的な出力信号確率を算出する。ステート毎に得られる各ユニットの出力確率が異なることで、リスクレベルによって操作傾向が変わることをモデル化することができ、図６に示すようなステート別の出力確率を得ることができる。

以上の状態遷移確率と出力確率が学習によって獲得されると、次に、状態推定部５では、両者の情報を用いてドライバの内部状態を推定する。この内部状態の推定は、オンラインでの適用を考慮し、イベントと各ステートとのトレリス上を前向きに辿る前向きアルゴリズム（forward algorithm)を用いて行う。

詳細には、以下の（２−１），（２−２）のステップに従って逐次計算を行うことで、前向き確率（状態存在確率）αを計算する。但し、以下の式中において、π：事前確率、ａ：状態遷移確率、ｂ：出力信号確率、ｏ：零ベクトルとし、各変数の添字1は初期値であることを示す。

（２−１）各状態ｉ＝１，…，Ｎに対して、前向き確率の初期化を行う。
α₁(i)＝π₁ｂ₁(ｏ₁)
（２−２）各時刻ｔ＝１，…,Ｔ−１、各状態ｊ＝１，…，Ｎについて、前向き確率を再帰的に計算する。尚、再帰計算におけるΣはｊ＝１〜Ｎについての総和である。
α_t+1(j)＝［Σα_t(i)ａ_ij］ｂ_j(ｏ_t+1)
この前向きアルゴリズムによる状態推定は、図７に示すように、時刻ｔ＝０，１，２，３，４，…の各ステップにおいて全ての遷移確率を計算しており、存在確率の低いステートも考慮した状態推定であることから、高精細な内部状態の推定が可能となる。尚、確率計算の始めのステップでは、ＨＭＭの状態遷移確率から求められる事前確率を、各ステートへの存在確率として用いる。

逐次計算によって求められた各ステートへの状態存在確率αからは、以下に示すように期待値μが計算される。この期待値μがステート番号を離散的な値でなく連続的な数値で緻密に表現したドライバ内部状態として出力され、ドライバの意識しているリスクレベルとなる。尚、ｘは確率変数の値（ここではステート番号）であり、Σはｉ＝１〜Ｎの総和である。
μ＝Σｘ_iα_i

また、状態推定部５で推定されたドライバの内部状態は、信頼度評価部６で評価され、不確かな推定出力が抑止される。この信頼度の評価は、以下の（３−１），（３−２）に示すように、ステート間の確率分布形状を考慮して評価する手法と、操作特徴量を量子化する際の誤差を考慮して評価する手法とがあり、これらの評価手法の両者或いは何れか一方を用いてドライバ内部状態の推定信頼度を評価する。

尚、信頼度評価部６は、状態推定部５、操作特徴量量子化部３の一部としても良く、状態推定部５でステート間の確率分布形状に基づく信頼度の評価を行い、操作特徴量量子化部３で操作特徴量の量子化誤差に基づく信頼度の評価を行うようにしても良い。

（３−１）確率分布形状からの信頼度評価
推定が正常に行われている場合は、図８に示すように、期待値の付近に高い確率分布のピークがあり、それ以外の確率は低いことが理想的である。この状態では、推定が確信を持って行われているということができる。一方、推定の確信度が下がっている場合の典型例としては、図９に示すような例がある。すなわち、図９（ａ）に示すように確率分布に明確なピークが存在しなかったり、図９（ｂ）に示すように確率分布に複数のピークが存在する場合がある。

従って、このような確率分布の形状の違いを数値的に表現することで、ドライバ内部状態の推定結果のみならず、推定結果の信頼度も出力することができる。確率分布の形状を数値化して信頼度を評価するための指標としては、以下の（ａ），（ｂ），（ｃ）に示すように、エントロピー、分散、最大存在確率をもつステートと隣接ステートとの合計確率等を用いることができ、これらの指標の全て或いは少なくとも１つを用いて信頼度を評価する。

（ａ）エントロピー
以下の式により確率分布のエントロピーＨを計算し、信頼度を評価する。エントロピーは、確率分布が均等になった場合に最大となり、エントロピーが小さいほうが信頼度が高いと評価することができる。
Ｈ＝Σｐ_iｌｏｇｐ_i
但し、ｐ_i：ステートｉの存在確率
Ｎ：ステート数
Σ：ｉ＝１〜Ｎの総和

（ｂ）分散
以下の式により確率分布の分散Ｖを計算し、信頼度を評価する。分散は、最大存在確率を持つステートの確率が１となったとき最小となる。従って、分散が小さい方が信頼度が高いと評価することができる。
Ｖ＝Σ（ｘ_i−μ）²ｐ_i
但し、ｐ_i：ステートｉの存在確率
Ｎ：ステート数
ｘ_i：ステートｉのリスクレベル値
Σ：ｉ＝１〜Ｎの総和

（ｃ）最大存在確率をもつステートと隣接ステートとの合計確率
以下の式により、最大存在確率をもつステートと隣接ステートとの合計確率Ｐsumを計算し、信頼度を評価する。合計確率Ｐsumは、最大存在確率を持つステートが確率１を持つか、或いはその隣接ステートが残りの存在確率を全て持つ際に１となる。従って、大きな値であるほど確率分布は鋭いピークをもっており、信頼度が高いと評価することができる。
Ｐsum＝Σｐ_i
但し、Σ：ｉ＝Ｋ−１〜Ｋ＋１
Ｋ：最大存在確率を持つステート番号

（３−２）操作特徴量の量子化誤差に基づく信頼度評価
前述したように、操作特徴量量子化部３では、入力される操作データの分布をＳＯＭを用いて学習し、その分布形状に沿ってユニットを配置することで、データの圧縮・量子化を行っており、多様な運転操作の組合せを、内部状態推定を行う上で扱いやすいレベルまで圧縮する役割を担っている。

ＳＯＭによる量子化は、観測された操作データ入力と最も近いＳＯＭのユニットで操作データを代表させることで行われ、このとき、代表となるユニットが「勝者ユニット」である。ここで、勝者ユニットと入力操作データまでの特徴量空間内での距離を「勝者ユニット距離」と定義し、この勝者ユニット距離を、状態推定部５における推定結果の信頼度を評価する指標の一つとして用いる。

勝者ユニット距離は、入力データを量子化した際の量子化誤差に相当し、距離が小さい場合は誤差が小さく、距離が大きい場合は誤差が大きいといえる。誤差が大きい出力を後段の状態推定部５に入力した場合、必然的にその推定結果の信頼性は、誤差の小さい入力の場合と比較して低いということができる。従って、この勝者ユニット距離は、信頼性評価指標の一つとして用いることが可能である。

例えば、１０９に示すように、同じユニットが勝者であるが勝者ユニット距離が異なる場合について考えると、図１０（ａ）に示すように、入力データから勝者ユニットまでの距離ｄが小さい場合は、学習時の近似・圧縮が良好に行われており、量子化の誤差は小さいといえる。一方、図１０（ｂ）に示すように、入力データから勝者ユニットまでの距離ｄが大きい場合には、学習時の操作データの分布とは異なったデータが入力され、量子化誤差が大きいことを意味している。従って、このような状態でのドライバ内部状態推定の信頼性は低いと考えることができる。

また、この「勝者ユニット距離」を信頼度評価指標として用いる他、「勝者ユニット距離と他のユニットとの距離の比」の合計を、信頼度評価指標として用いることもできる。このため、図１１に示すように、入力データから勝者ユニットまでの距離をｄw、それ以外のユニットまでの距離をｄiとし、次のように、ユニット距離比ｄi／ｄwの総和で指標Ｓを定義する。
Ｓ＝Σ(ｄi／ｄw)
但し、Σ：ｉ＝１〜Ｎ−１の総和
Ｎ：ユニットの総数

図１１（ａ）に示すように、特徴量空間中で入力を適切に量子化するユニットがある場合、指標Ｓは大きな値をとり、図１１（ｂ）に示すように、ＳＯＭのユニット分布と離れた空間に入力が観測された場合は、指標Ｓは小さな値となる。従って、指標Ｓの値が大きい場合は信頼度が高く、小さい場合には信頼度が低いと見なすことができる。

この指標Ｓを用いる手法は、勝者ユニット距離を直接用いる手法と比較して、ＳＯＭユニット全体の特徴量空間での配置を考慮しているため、ＳＯＭのユニットから距離の遠い入力の他、距離は小さくとも多数のユニットとの距離がほぼ同等で、量子化が不安定である場合等も検出することできる。つまり、量子化の安定性評価の面から、後段の状態推定部５での推定結果の信頼性を算定することが可能となる。

［ドライバの意識しているリスクレベルの出力］
状態推定部５でドライバの内部状態として各ステートへの存在確率から計算された期待値は、一次ローパスフィルタ（例えば、カットオフ周波数０．３Ｈｚ）等でフィルタリングされた後、警報・支援部７に出力される。この出力値がステート番号を連続的な数値で表現したドライバ内部状態であり、ドライバの意識しているリスクレベルに相当し、ドライバが対処するリスクレベルと見做せるものである。

また、このとき、信頼度評価部６からは、ドライバ内部状態の推定結果に対する信頼度が併せて出力される。信頼度が予め設定した閾値以下で著しく低い場合には、操作特徴量量子化部３或いは状態推定部５からの出力を制限する等して不正確な情報が後段に伝達されることを抑止する。

図１２に状態推定に対する信頼度指標の計算例を示す。図１２においては、外部環境のリスクレベルとドライバが認識していると推定されるドライバ認識リスクレベルと共に、その推定の信頼性指標として、エントロピー、分散、隣接ステート合計確率、ＳＯＭ勝者ユニット距離が示されており、各指標間の特徴、すなわち、エントロピー、分散、ＳＯＭ勝者ユニット距離が小さく、信頼度が比較的高いときには、隣接ステート合計確率が大きく、逆に、エントロピー、分散、ＳＯＭ勝者ユニット距離が大きく、信頼度が比較的低いときには、隣接ステート合計確率が小さいことがわかる。

ドライバの内部状態すなわちドライバが認識しているリスクレベルは、走行環境リスクレベル値と比較することにより、車両が本質的に安全或いは危険な状態にあるかを評価することが可能となる。すなわち、警報・支援部７において走行環境リスクレベル値との比較結果、車外環境認識部２から現在得られているスカラ値の属するステートに近ければ、ドライバは環境を正常に認識した上で正常な操作を行っていると判定される。一方、状態推定部５からの期待値によるステートが車外環境認識部２から現在得られているスカラ値の属するステートと離れている場合には、ドライバの内部状態が環境の要求するレベルと食い違っていると判定される。

例えば、推定されるステートのリスクレベルの方が車外環境認識部２から得られるリスクレベルより低い場合には、ドライバの危険認識度が低く、安全性が損なわれる可能性が高いとして、警報・支援部７から警報・支援を行う。逆に、推定されるステートのリスクレベルの方が車外環境認識部２から得られるリスクレベルより高い場合にも、ドライバが過度に緊張状態にあることが推定され、同様に安全性が損なわれる可能性が高いとして警報を行う。

図１３に状態推定の走行試験で計測されたデータの一部を示す。Ｓ１通り（片側一車線）からＡ，Ｂ，Ｃの記号で示す間の狭路（センターライン無し）を通ってＳ２通り（片側一車線）に至り、更に、記号Ｄで示す位置からＳ３通り（片側一車線）までを走行したときの環境リスクレベル及び内部状態リスクレベルの変化が操作特徴量の変化と共に示されている。

図１３に示す試験結果では、操作特徴量とリスクレベルとの関係から、ドライバは正常な覚醒度と緊張感を保って運転しており、交差点や狭い路といったリスクレベルの高い状況に対応している様子が、推定された内部状態すなわちドライバが意識しているリスクレベルが高くなっていることから確認できる。特に、グラフ中に示した記号Ａ，Ｂ，Ｃ，Ｄの時点は、特徴的な高リスクイベントであり、主として交差点と狭路である。そのほかのリスクレベルが高くなっている時点は、主として歩行者や自転車・対向車等と遭遇した部分であり、この部分でも、同様の推定結果が得られていることが分かる。

以上のように、本実施の形態における安全運転支援システムは、車両に搭載されているアクセル開度・ブレーキ圧・舵角等のデータを入力として、走行環境のリスクレベルとの対応関係を確率的状態遷移モデルで近似してドライバの運転操作の特徴を学習し、走行環境のリスクレベルとドライバの内部状態との対応関係を評価する。このシステムは、外部環境のリスクレベルだけで警報や操作アシストその他の介入の要否を判断するのではなく、ドライバが外部環境を正しく把握しているか否かを評価指標とするものであり、これにより、安全システムの介入の要否を走行環境の危険度のみで判断するために起こる不必要な介入による違和感・煩わしさを解消し、必要なときに適切な支援を提供することができ、個々のドライバに適応した高度な安全システムを構築することが可能となる。

しかも、本システムでは、状態推定のための主たるデータとして運転操作データを用いるため、各種車両制御用に既に取り付けられているハンドルやアクセル・ブレーキの操作を観測するセンサを流用することができ、生体計測装置のように追加コストの必要が無くなる。これらのセンサは、ノイズに対して比較的頑強であることで、状態推定を安定して行なうことができ、さらには、ドライバの通常の運転操作を妨げたり姿勢を拘束することが無いため、状態推定に悪影響を与える不必要な干渉を排除することができる。

また、本システムでは、車外環境と運転操作との対応関係を規範モデルとしているため、予め条件やテンプレートを決める必要が無くなり、学習によってモデルを更新することで、ドライバ毎の個人差や、ドライバ毎の走行環境の差に対応することができ、走行を重ねることで状態推定精度を向上させていくことができる。

この場合、規範となる学習モデルを確率的状態遷移モデルとして、バラツキのある操作データを統計的に処理することで、ノイズや外乱に大きく影響されることが無く、環境とドライバとの本質的な関連性を学習することができる。また、学習時に確率的状態遷移モデルのステート遷移を、外部環境から認識されるリスクレベルの遷移と対応させることで、推定された内部状態がどのリスクレベルに対応するのかを推定することができる。

すなわち、推定された内部状態の対応するリスクレベルが認識された外部環境のリスクレベルより低いときには、たとえ外部環境のリスクレベルが高い場合でなくとも、ドライバが安全に運転できる状態に無いとして、警報・操作支援を行うことができる。一方、推定された内部状態の対応するリスクレベルが認識された外部環境のリスクレベルと同じかより高いときには、たとえ外部環境のリスクレベルが高いとしても、ドライバはその環境に対応できる状態にあると推定できるので、無駄な警報や不必要な操作支援を抑制することができる。

さらに、ドライバの内部状態を、確率的状態遷移モデルにおける全ステートの存在確率の期待値で出力するため、走行しながらオンラインでドライバが意識しているリスクレベルを推定することができ、時々刻々と変化する走行環境にリアルタイムに対処することのできる高度なシステムを構築することが可能となる。

しかも、ドライバの内部状態を全ステートの存在確率の期待値で出力することから、ドライバの内部状態を推定すると同時に推定の信頼度を評価することが容易となり、信頼度の高低によってドライバの内部状態推定結果に応じて適応的に運転支援を変化させることができる。このことにより、不確かな推定結果に基づいた警報や支援を削減または無くし、ドライバの不信感や不快感、誤解を抑止することが可能となり、例えば、推定の信頼度が低い場合には、オンライン学習の頻度や重要度を高く設定することで、推定性能が低い環境をより効率的に学習させることができる。また、推定の信頼度をドライバに提示することで、安全システムへの過信や誤解を低減することが可能となる。

安全運転支援システムの基本構成図安全運転支援システムの学習フェーズ及び推定フェーズを示す説明図操作特徴量と自己組織化マップのネットワークを示す説明図確率的状態遷移を示す説明図学習後の状態遷移確率を示すグラフ学習後の出力確率を示すグラフ状態推定のアルゴリズムを示す説明図推定の信頼度が高い場合の確率分布を示す説明図推定の信頼度が低い場合の確率分布を示す説明図勝者ユニット距離による信頼度の相違を示す説明図ユニット距離比合計の説明図信頼度指標の計算例を示すグラフ推定試験結果を示す説明図

符号の説明

１安全運転支援システム
２車外環境認識部
３操作特徴量量子化部
４モデル学習部
５状態推定部
６信頼度評価部
７警報・支援部

Claims

移動体を運転するドライバの状態を推定して安全運転のための支援を行う安全運転支援システムであって、
上記移動体の外部環境をセンシングして外部環境に含まれる走行環境リスクを認識する環境リスク認識部と、
上記走行環境リスクとドライバの運転操作との対応を確率的状態遷移モデルを用いて学習し、学習モデルを構築するモデル学習部と、
上記学習モデルに基づいて、走行中のドライバの運転操作の反映としての車両挙動データを含む運転操作データからドライバのリスク認識状態をドライバの内部状態として推定し、上記確率的状態遷移モデルにおける全ステートの存在確率の期待値をドライバの内部状態の推定結果として出力する状態推定部と、
上記走行環境リスクと上記内部状態とを比較し、上記移動体の安全運転に係る支援情報を取得する運転支援部と、
上記内部状態の推定の信頼度を評価する信頼度評価部と
を備え、
上記信頼度の評価結果に基づいて、上記支援情報に基づく運転支援を適応的に変化させることを特徴とする安全運転支援システム。
上記内部状態の推定の信頼度を、上記確率的状態遷移モデルにおける各ステートの確率分布形状を表す指標に基づいて評価することを特徴とする請求項１記載の安全運転支援システム。
上記内部状態の推定の信頼度を、上記運転操作データの量子化誤差に基づいて評価することを特徴とする請求項１又は２記載の安全運転支援システム。
上記指標として、各ステートの確率分布のエントロピーを用いることを特徴とする請求項２記載の安全運転支援システム。
上記指標として、各ステートの確率分布の分散を用いることを特徴とする請求項２記載の安全運転支援システム。
上記指標として、最大存在確率を持つステートと隣接ステートとの合計確率を用いることを特徴とする請求項２記載の安全運転支援システム。