JP6848912B2 - 状態判定装置、状態判定プログラム及びコンピュータ読み出し可能持続的有形記録媒体 - Google Patents

Description

この明細書による開示は、ドライバの運転困難状態を判定する状態判定の技術に関する。

従来、例えば特許文献１には、ドライバが運転困難な状態に陥った場合に、車両を自動減速又は自動停止させる等の運転支援を実施する運転支援装置が開示されている。特許文献１では、ドライバの状態として、運転姿勢、心拍状態及び呼吸状態等がドライバ状態検出センサによって把握される。そして、車両ＥＣＵの機能要素である状態判定部は、ドライバ状態検出センサから伝達される情報に基づき、ドライバが運転困難状態であるか否かを判定する。

特許第５９１９１５０号公報

特許文献１のように、ドライバが運転困難状態であるとの判定結果は、自動減速及び自動停止等の緊急動作を開始するか否かのトリガに用いられる。故に、運転困難状態の誤検知は、許容され難い。しかし、特許文献１では、例えば正常な状態にあるドライバの姿勢崩れ等が生じた場合でも、こうした運転姿勢の変化に基づき、運転困難状態であると誤判定される虞があった。

本開示は、ドライバの運転困難状態の誤検知を低減可能な状態判定装置、状態判定プログラム及びコンピュータ読み出し可能持続的有形記録媒体の提供を目的とする。

上記目的を達成するため、開示された一つの態様は、車両を運転するドライバが運転困難状態になったことを判定する状態判定装置であって、ドライバにおける状態の異常を検知するドライバ異常検知部（７１）と、ドライバによって入力される運転操作の異常を検知する操作異常検知部（７３）と、車両の走行状態の異常を検知する走行異常検知部（７４）と、ドライバ異常検知部にてドライバの状態の異常が単独で検知されただけでは運転困難状態とは判定せず、ドライバの状態の異常が検知された後に操作異常検知部によって異常操作が検知され、当該異常操作が検知された後に走行異常検知部によって異常走行が検知された場合に、ドライバが運転困難状態であると判定する統合判定部（７５）と、を備える状態判定装置とされる。

また開示された一つの態様は、車両を運転するドライバが運転困難状態になったことを判定する状態判定プログラムであって、少なくとも一つの処理部（６０）を、ドライバにおける状態の異常を検知するドライバ異常検知部（７１）、ドライバによって入力される運転操作の異常を検知する操作異常検知部（７３）、車両の走行状態の異常を検知する走行異常検知部（７４）、ドライバ異常検知部にてドライバの状態の異常が単独で検知されただけでは運転困難状態とは判定せず、ドライバの状態の異常が検知された後に操作異常検知部によって異常操作が検知され、当該異常操作が検知された後に走行異常検知部によって異常走行が検知された場合に、ドライバが運転困難状態であると判定する統合判定部（７５）、として機能させる状態判定プログラムとされる。
また開示された一つの態様は、コンピュータにより実行されるインストラクションを含むコンピュータ読み出し可能非遷移記録媒体において、当該インストラクションは、車両を運転するドライバが運転困難状態になったことを判定するコンピュータ実施方法を含み、当該方法は、ドライバにおける状態の異常を検知することと、ドライバによって入力される運転操作の異常を検知することと、車両の走行状態の異常を検知することと、ドライバの状態の異常が単独で検知されただけでは運転困難状態とは判定せず、ドライバの状態の異常が検知された後に異常操作が検知され、当該異常操作が検知された後に異常走行が検知された場合に、ドライバが運転困難状態であると判定することと、を備えるコンピュータ読み出し可能非遷移記録媒体とされる。

これらの態様では、ドライバにおける状態の異常が単独で検知されただけでは、運転困難状態とは判定されない。こうしたドライバの状態の異常に加えて、運転操作及び走行状態の少なくとも一方の異常がさらに検知された場合に、ドライバが運転困難状態であると判定される。以上によれば、正常な状態にあるドライバの姿勢崩れ等が運転困難状態と混同される事態は、生じ難くなる。したがって、ドライバの運転困難状態の誤検知が低減可能となる。

尚、上記括弧内の参照番号は、後述する実施形態における具体的な構成との対応関係の一例を示すものにすぎず、技術的範囲を何ら制限するものではない。

車両に搭載された運転支援システムの全体像を示すブロック図である。 統合ＥＣＵに実装された多数の機能を示す図である。 ドライバ異常系及び運転操作異常系の各項目の関連を示す第一関連マトリックスの詳細を示す図である。 運転操作異常系及び走行状態異常系の各項目の関連を示す第二関連マトリックスの詳細を示す図である。 デッドマン判定処理の詳細を示すフローチャートである。 変形例１でのデッドマン判定処理の詳細を示すフローチャートである。 変形例２でのデッドマン判定処理の詳細を示すフローチャートである。

図１及び図２に示す本開示の一実施形態による状態判定装置の機能は、統合ＥＣＵ１００によって実現されている。統合ＥＣＵ（Electronic Control Unit）１００は、車両に搭載された運転支援システム１０において用いられ、運転支援システム１０の中核をなす演算装置である。運転支援システム１０は、ドライバが体調異常状態となり、運転の継続が困難となった場合に、減速停止型の異常時対応システムとして作動する。

運転支援システム１０は、統合ＥＣＵ１００によってドライバの運転困難状態を推定し、緊急走行を開始する。ドライバの運転困難状態とは、所謂デッドマンの状態であり、あらかじめ予測困難な体調急変となり、正常に運転可能な状態への復帰が困難な状態を示す。例えば、ドライバの脇見及び漫然等は、体調の急変ではないため、検出対象となる運転困難状態（デッドマン）には該当しない。また、ドライバの居眠りは、体調の急変に起因し得たとしても、正常に運転可能な状態に復帰できるため、検出対象となる運転困難状態（デッドマン）に該当しなくてもよい。

運転支援システム１０には、直接的又は間接的に統合ＥＣＵ１００と電気接続された複数の車載機器２０が含まれている。加えて運転支援システム１０は、応力付与ＥＣＵ４１、車線逸脱警報ＥＣＵ４３、車間警報ＥＣＵ４５、走行制御ＥＣＵ５０等を、上述の統合ＥＣＵ１００と共に備えている。

車載機器２０には、車速センサ２１、シートベルトセンサ２２、ナビゲーション装置２３、Ｇセンサ２４、座面センサ２５、アクセルセンサ２６及び舵角センサ２７等が含まれている。加えて車載機器２０には、ドライバカメラ２８、前方カメラ２９、後方カメラ３０、前方／後方センサ３１、ヨーレートセンサ３２、ステア把持状態センサ３３及びブレーキセンサ３４等が含まれている。

車速センサ２１は、車両の速度に対応する情報として、車輪の回転速度を検出するセンサである。シートベルトセンサ２２は、運転席のシートベルトの送り出し及び巻き取りを行うモータの回転角度を検出するエンコーダである。ナビゲーション装置２３は、ＧＮＳＳ（Global Navigation Satellite System）受信機及び地図データベース等を含む構成である。ナビゲーション装置２３は、ＧＮＳＳ受信機により受信された測位信号等に基づき、車両の現在位置を特定する。ナビゲーション装置２３は、自車両の現在位置と、自車両の走行予定経路を含む現在位置周囲の地図データとを、統合ＥＣＵ１００に提供する。

Ｇセンサ２４は、車両に作用する加速度を検出するセンサである。座面センサ２５は、運転席のシート座面の圧力分布を検出するセンサである。アクセルセンサ２６は、アクセルペダルの踏み込み量（アクセル開度）を検出するセンサである。舵角センサ２７は、ステアリングの操舵方向及び操舵量（操舵角）を検出するセンサである。

ドライバカメラ２８は、近赤外光源及び近赤外カメラと、これらを制御する制御ユニット等とによって構成されている。ドライバカメラ２８は、近赤外カメラを運転席側に向けた姿勢にて、例えばインスツルメントパネルの上面等に配置されている。ドライバカメラ２８は、運転者の状態監視のため、近赤外光源によって近赤外光を照射された運転者の上半身を近赤外カメラで撮影する。ドライバカメラ２８は、主にドライバの首よりも上の頭部を撮影し、撮影した顔画像を統合ＥＣＵ１００へ向けて逐次出力する。

前方カメラ２９は、車両の進行方向（前方）を撮影するカメラである。後方カメラ３０は、車両の後方を撮影するカメラである。前方／後方センサ３１は、ミリ波レーダ、ライダ及び超音波センサ等であって、車両の前方及び後方の物体までの距離を検出する。ヨーレートセンサ３２は、車両に作用するヨーレートを検出するセンサである。ステア把持状態センサ３３は、ステアリングホイールのリム部分に設置されており、ドライバによるステアリングホイールの把持状態を検出する。ブレーキセンサ３４は、アクセルペダルの踏み込み量又は操作速度を検出するセンサである。

応力付与ＥＣＵ４１は、アクセルセンサ２６、舵角センサ２７及びブレーキセンサ３４に加えて、ペダルアクチュエータ３５及び操舵アクチュエータ３６と電気的に接続されている。ペダルアクチュエータ３５は、アクセルペダル及びブレーキペダルのそれぞれに設けられており、各ペダルに反力を付与可能である。操舵アクチュエータ３６は、ステアリングシャフトに反力を付与可能である。

応力付与ＥＣＵ４１は、各アクチュエータ３５，３６によって付与した反力に対するドライバの反応に基づき、ドライバが運転操作を正しく実施可能か否かを診断する。加えて応力付与ＥＣＵ４１は、診断機能の一つとして、アクセルペダル及びブレーキペダルの操作力の低下を検知する機能を備えている。ペダル操作力の低下検知機能は、ペダルアクチュエータ３５によって印加した反力へのドライバの反応の悪化、例えば操作遅れの増加及び過大な操作の入力等に基づき、ペダル操作力の低下を検知する。応力付与ＥＣＵ４１は、ペダル操作力の低下検知機能による検知結果を、統合ＥＣＵ１００に提供する。

車線逸脱警報ＥＣＵ４３は、車両の白線またぎを検知する機能を備えた電子制御ユニットである。車線逸脱警報ＥＣＵ４３は、走行中の車線を区画している白線（区画線）を検知する白線検知センサ３７と電気的に接続されている。車線逸脱警報ＥＣＵ４３は、白線をまたぐような車両挙動を検知した場合に、警告音又は警告表示によってドライバへの注意喚起を行う。加えて車線逸脱警報ＥＣＵ４３は、白線またぎの検知結果を統合ＥＣＵ１００に提供する。尚、前方カメラ２９又は後方カメラ３０が白線検知センサ３７を兼ねていてもよい。或いは前方／後方センサ３１に含まれたライダが白線検知センサ３７を兼ねていてもよい。

車間警報ＥＣＵ４５は、短い車間距離の継続を検知する機能を備えた電子制御ユニットである。車間警報ＥＣＵ４５は、車間距離を計測する車間距離センサ３８と電気的に接続されている。車間警報ＥＣＵ４５は、前走車に過度に接近した状態での走行が継続するような場合に、警告音又は警告表示によってドライバへの注意喚起を行う。加えて車間警報ＥＣＵ４５は、短い車間距離の継続を検知した場合に、その検知結果を統合ＥＣＵ１００に提供する。尚、前方カメラ２９又は前方／後方センサ３１が車間距離センサ３８を兼ねていてもよい。

以上の応力付与ＥＣＵ４１、車線逸脱警報ＥＣＵ４３及び車間警報ＥＣＵ４５の各作動は、ドライバの操作によって手動でオフ状態に切り替え可能である。例えば、応力付与ＥＣＵ４１による反力の付与は、操作系の操作感を変化させてしまう。故にドライバは、各アクチュエータ３５，３６による反力付与を煩わしく感じる場合に、応力付与ＥＣＵ４１をオフ状態にできる。同様に、車線逸脱警報ＥＣＵ４３及び車間警報ＥＣＵ４５は、予備的な注意喚起を行う傾向にある。故に、警告音及び警告表示を煩わしく感じる場合、ドライバは、これらの作動をオフ状態にできる。

走行制御ＥＣＵ５０は、プロセッサ部、ＲＡＭ、メモリ装置、及び入出力インターフェース等を有するコンピュータを主体に構成された電子制御ユニットである。走行制御ＥＣＵ５０は、走行制御プログラムを処理部によって実行することにより、車両の走行を統合的に制御する。走行制御ＥＣＵ５０は、駆動ユニット５１、自動ブレーキ装置５２、自動操舵装置５３、警報装置５４、前照灯５５及び方向指示器５６等と電気的に接続されている。

駆動ユニット５１は、エンジン、変速機及びモータジェネレーター等を含む構成である。駆動ユニット５１は、車両を走行させるための駆動力を発生させる。自動ブレーキ装置５２は、前方カメラ２９、前方／後方センサ３１及び車間距離センサ３８等の検出結果に基づき、ドライバのブレーキ操作に依存すること無く、車両にブレーキ力を作用させる。自動操舵装置５３は、車線に沿って車両が走行するように、ステアリングの操舵制御を実施する。警報装置５４は、警告音又は警告表示によってドライバへの注意喚起、警報及び警告を行う。前照灯５５は、車両の進行方向を向けて設置された照明装置である。方向指示器５６は、右左折や進路変更の際に、車両の移動方向を周囲に報知する装置である。

以上の走行制御ＥＣＵ５０は、車線逸脱防止機能及び路外逸脱防止機能を有しており、実質的な自律走行を可能にする。走行制御ＥＣＵ５０は、統合ＥＣＵ１００による運転困難状態の発生判定に基づき、駆動ユニット５１、自動ブレーキ装置５２及び自動操舵装置５３の協調制御により、車両を徐々に減速させたうえで、特定のスペースに停止させる。加えて走行制御ＥＣＵ５０は、運転困難状態の発生時に警報装置５４及び方向指示器５６を用いて、周囲を走行する車両への注意喚起を行う。

統合ＥＣＵ１００は、車両を運転するドライバが運転困難状態になったことを判定する機能を備えた電子制御ユニットである。統合ＥＣＵ１００は、運転困難状態の判定のために、ドライバ異常、運転操作異常及び車両状態異常を検知する。ドライバ異常は、運転操作を除くドライバの状態の異常であり、ドライバカメラ２８で撮像した画像に基づき検知される。運転操作異常は、ドライバの運転操作行動についての異常であり、主に各ペダル及びステアリングの操作情報に基づいて検知される。車両状態異常は、ドライバの運転操作の結果引き起こされる車両挙及び走行状態についての異常であり、主に車速情報又は車外の各カメラ２９，３０に基づいて検知される。

統合ＥＣＵ１００は、プロセッサ部６１、ＲＡＭ６２、メモリ装置６３及び入出力インターフェースを有する制御回路６０を主体に構成されている。プロセッサ部６１には、ＣＰＵ（Central Processing Unit）に加えて、ＧＰＵ（Graphics Processing Unit）等が含まれていてもよい。さらに、プロセッサ部６１には、ＦＰＧＡ（Field-Programmable Gate Array）、並びにＡＩ（Artificial Intelligence）の学習及び推論に特化した専用のアクセラレータ等が設けられていてもよい。

メモリ装置６３には、プロセッサ部６１によって実行される種々のプログラムが格納されている。メモリ装置６３に記憶された複数のプログラムには、デッドマン判定を行うための状態判定プログラムが含まれている。統合ＥＣＵ１００は、状態判定プログラムをプロセッサ部６１によって実行することにより、ドライバ異常検知部７１、補完異常検知部７２及びデッドマン判定部７５等の機能部を有する。

ドライバ異常検知部７１は、主にドライバカメラ２８によって撮像されたドライバの顔画像の画像解析に基づき、ドライバ異常系の検知を行う。こうしたドライバ異常系には、運転姿勢に関連した異常と、生体情報に関連した異常とが含まれる。運転操作に関連した異常は、ドライバ異常系には含まれない。ドライバ異常検知部７１は、運転姿勢に関連した異常の検知機能として、つっぷし姿勢検知機能、横倒れ姿勢検知機能、硬直姿勢検知機能及びステアリングの非把持の検知機能を有している。加えてドライバ異常検知部７１は、生体情報に関連した異常の検知機能として、白目検知機能及び脈波異常検知機能を有している。各検知機能は、特定のドライバ状態異常を検知する検知処理を実行する。

つっぷし姿勢検知機能は、ドライバ姿勢のつっぷし状態を検知する。つっぷし状態におけるドライバの頭部は、正常な運転姿勢よりも下向きの姿勢角で前下方に移動している。つっぷし姿勢検知機能は、ドライバカメラ２８による顔画像の解析によって頭部の位置及び姿勢角を特定し、ドライバのつっぷし状態を検知する。

横倒れ姿勢検知機能は、ドライバ姿勢の横倒れ状態を検知する。横倒れ状態におけるドライバの頭部は、正常な運転姿勢よりも横向きの姿勢角で横下方に移動している。横倒れ姿勢検知機能は、ドライバカメラ２８による顔画像の解析によって頭部の位置及び姿勢角を特定し、ドライバの横倒れ状態を検知する。

ここで、上述のつっぷし状態又は横倒れ状態により、ドライバの頭部は、ドライバカメラ２８の撮影範囲からフレームアウトし得る。こうした状況は、シートベルトセンサ２２及び座面センサ２５の情報に基づき、判別可能である。つっぷし姿勢検知機能及び横倒れ姿勢検知機能は、座面センサ２５によってドライバが検知され、且つ、シートベルが極端に引き出されている状況にて、ドライバの異常を検知する。

硬直姿勢検知機能は、ドライバの体が硬直した硬直状態を検知する。一例として、失神等の意識障害によって硬直状態にあるドライバでは、正常時よりも頭部の揺れの振幅が小さくなる。硬直姿勢検知機能は、ドライバカメラ２８による顔画像の解析によって頭部の挙動を分析し、ドライバの硬直状態を検知する。

ステアリングの非把持検知機能は、ステアリングホイールが把持されない状態を検知する。非把持検知機能は、ステア把持状態センサ３３の検出信号の解析により、ドライバによるステアリングホイールの把持状態が、正常として予め規定された把持状態に相当するか否かを判定する。非把持検知機能は、現在の把持状態が正常な把持状態から乖離している場合を、ステアリングホイールの非把持状態として検知する。

白目検知機能は、ドライバの白目をむいた状態を検知する。白目をむいた状態では、黒目領域の見かけ上の扁平率が大きくなる。白目検知機能は、ドライバカメラ２８の画像解析によって黒目領域の偏平率を演算し、特定の閾値を超えた場合に白目の状態として検知する。

脈波異常検知機能は、ドライバの脈波の異常を検知する。脈波は、心臓のポンプ作用によって生じる動脈系圧波動の伝播である。脈波が血管を伝播する時間（脈波伝播時間）と血圧変動との間には、相関関係が存在する。故に、脈波に基づくことで、ドライバの異常な血圧変動が推定可能となる。脈波異常検知機能は、ドライバカメラ２８の顔画像から抽出した輝度情報に基づき、ドライバの脈波に関する状態、ひいては血圧をモニタリングし、正常値からの乖離によって異常を検知する。

尚、ドライバ異常検知部７１は、生体情報に関連した異常として、心拍数の異常及び呼吸の異常等を検知してもよい。一例として、心拍数は、ステアリングホイールに内蔵されたステア把持状態センサ３３による検知信号を用いて把握可能である。また呼吸の状態は、座面センサ２５の検出信号の変化を解析する処理によって把握可能である。

補完異常検知部７２は、ドライバ異常には含まれない他の系統の異常として、上述の運転操作異常及び車両状態異常の検知を行う。補完異常検知部７２は、車載機器２０から取得した情報に基づく異常検知処理と、上述の各ＥＣＵ４１，４３，４５から出力される検出信号であって、異常操作又は異常走行を示す検出信号を用いた異常検知処理とを行うことができる。補完異常検知部７２は、操作異常検知部７３及び走行異常検知部７４を含む構成である。

操作異常検知部７３は、運転操作異常系の検知を行う。操作異常検知部７３は、ドライバ異常検知部７１によってドライバ状態の異常が検知された場合に、運転操作の異常を検知する検知処理を開始する。こうした運転操作異常系として、複数の異常操作が予め規定されている。操作異常検知部７３は、特定の異常操作を検知する検知処理をそれぞれ実行可能な複数の検知機能を有している。

具体的に、操作異常検知部７３は、運転操作異常系の検知機能として、ステアふらつき操作検知機能、ステア操作力低下検知機能、ブレーキ操作量異常検知機能、目視移動固着検知機能、アクセル操作異常検知機能等を有している。加えて操作異常検知部７３は、応力付与ＥＣＵ４１のペダル操作力低下検知機能による検知結果の取得により、アクセルペダル及びブレーキペダルの操作力低下を異常操作として検知可能である。

ステアふらつき操作検知機能は、ドライバによって入力されるふらつき操作を検知する。ふらつき操作は、車線内における車両の左右位置を周期的に変化させる操作である。ステアふらつき操作検知機能は、舵角センサ２７等の情報からステアリングホイールの操作量を分析し、ドライバのふらつき操作を検知する。

ステア操作力低下検知機能は、車速センサ２１及び舵角センサ２７等の情報に基づき、ドライバによってステアリングホイールに入力されている操舵操作の安定度の低下を検知する。具体的に、ステア操作力低下検知機能は、一定車速で走行中にて、操舵が滑らかに行われたと仮定した場合の現在の操舵角を推定し、推定値と実際の現在値との誤差を検出する。そして、誤差の分布がばらついており、ステアリング操作がステップ的な場合に、ステア操作力低下検知機能は、ステア操作力の低下を検知する。

ブレーキ操作量異常検知機能は、車速センサ２１、前方カメラ２９、前方／後方センサ３１及びブレーキセンサ３４等の情報に基づき、ドライバによってブレーキペダルに入力されているブレーキ操作の異常を検知する。ブレーキ操作量異常検知機能は、ブレーキ操作の通常の操作速度を、車速及び車間距離に関連付けて学習している。ブレーキ操作量異常検知機能は、ブレーキセンサ３４にて検出されたブレーキ操作速度が、学習された通常のブレーキ操作速度から乖離している場合に、ブレーキ操作の異常状態を検知する。

目視移動固着検知機能は、前方カメラ２９及びドライバカメラ２８等の情報に基づき、運転者の目視位置を特定し、目視移動の固着を異常として検知する。具体的に、目視移動固着検知機能は、ドライバカメラ２８による顔画像から、目の輪郭と黒目の中心位置とを検出し、これらの位置関係から視線の方向を検出する。そして、前方カメラ２９に写る対象物に視線が追従していないような場合に、目視移動固着検知機能は、目視移動の固着を検知する。

アクセル操作異常検知機能は、車速センサ２１、アクセルセンサ２６及び前方／後方センサ３１等の情報に基づき、アクセルペダルを踏みっぱなしでいるような不自然なアクセル操作を、異常として検知する。一例としてアクセル操作異常検知機能は、正常運転状態及び異常運転状態の各々における次時刻のアクセル開度を推定し、実際に次時刻にて検出されたアクセル開度を各推定値と比較する。こうした比較の結果、実際のアクセル開度が通常運転状態の推定値よりも異常運転状態の推定値に近い場合に、アクセル操作異常検知機能は、アクセル操作の異常を検知する。

走行異常検知部７４は、車両状態異常系の検知を行う。走行異常検知部７４は、操作異常検知部７３によって運転操作の異常が検知された場合に、走行状態の異常を検知する検知処理を開始する。こうした車両状態異常系として、複数の異常な走行状態が予め規定されている。走行異常検知部７４は、特定の車両異常走行を検知する検知処理を実行可能な複数の検知機能を有している。

具体的に、走行異常検知部７４は、車両状態異常系の検知機能として、車両進行方向の揺れ検知機能、長時間の速度超過検知機能、高速道路での異常低速検知機能及び衝突検知機能等を有している。加えて走行異常検知部７４は、車線逸脱警報ＥＣＵ４３の白線またぎ検知機能による検知結果、及び車間警報ＥＣＵ４５の短い車間距離の継続検知機能による検知結果の取得により、これらの異常走行を検知可能である。

車両進行方向の揺れ検知機能は、車両の進行方向に沿った成分の加速度をＧセンサ２４の検出結果より抽出し、当該加速度の一回微分によってジャークを算出する。そして、ジャークの絶対値が一定値（例えば１０ｍ／ｓ＾３）以上となった回数をカウントし、所定時間のうちに一定回数（例えば４回／５ｓ）以上のカウントがなされた場合に、揺れ検知機能は、異常として検知する。

長時間の速度超過検知機能は、ナビゲーション装置２３から、現在走行している道路の制限速度を取得する。そして、車速センサ２１の示す車速と制御速度との差分について、一定値（例えば２０ｋｍ／ｈ）以上超過となっている状態が一定時間（例えば５ｓ）以上継続した場合に、速度超過検知機能は、異常として検知する。

高速道路での異常低速検知機能は、ナビゲーション装置２３より提供される地図データから、現在走行している道路が高速道路か否かの情報を抽出する。そして、高速道路を走行している場合に異常低速検知機能は、車速センサ２１の示す車速を用いて、異常な低速状態を検知する。一例として、一定値（例えば６０ｋｍ／ｈ）未満となっている状態が一定時間（例えば５ｓ）以上継続した場合に、異常低速検知機能は、異常として検知する。

衝突検知機能は、Ｇセンサ２４の情報に基づき、衝突発生を示す急激な加速度の変化を異常として検知する。

デッドマン判定部７５は、ドライバ異常検知部７１及び補完異常検知部７２の各検知結果をフュージョンさせる処理により、ドライバの運転困難状態（デッドマン）を判定する。デッドマン判定部７５は、ドライバ異常検知部７１によるドライバ異常系の検知、操作異常検知部７３による運転操作異常系の検知、及び走行異常検知部７４による車両状態異常系の検知を順に実施する。そして、ドライバ異常系の検知に加えて、運転操作異常系及び車両状態異常系の両方の検知があった場合に、デッドマン判定部７５は、ドライバが運転困難状態であると判定する。換言すれば、デッドマン判定部７５は、ドライバ異常系の状態異常が単独で検知されただけでは、運転困難状態とは判定しない。三種類の異常系の検知が特定の順序で実施されない場合でも、デッドマン判定部７５は、運転困難状態とは判定しない。

デッドマン判定部７５は、先ずドライバ異常系の検知機能のみを動作させ、異常が検知された場合には、検知された異常内容に因果関係（関連）のある運転操作異常系の検知機能を動作させる。さらに、デッドマン判定部７５は、運転操作の異常が検知された場合には、検知された異常操作に因果関係（関連）のある走行状態異常系の検知機能を動作させる。

各異常系の各検知機能は、例えば図３及び図４に示す関連マトリックスによって互いに関連付けられている。詳記すると、図３に示す第一関連マトリックスでは、ドライバ異常系の各異常項目に、因果関係の想定される運転操作異常系の異常項目が少なくとも一つ以上関連付けられている。操作異常検知部７３は、ドライバ異常が検知された場合に、予め規定された複数の異常操作の中から、検知された異常内容に関連した異常操作の検知処理を開始する。

一例として、つっぷし姿勢の検知には、ステアふらつき操作検知、アクセル操作異常検知及びペダル操作力低下検知が関連付けられている。横倒れ姿勢の検知には、ステアふらつき操作検知、アクセル操作異常検知及びペダル操作力低下検知が関連付けられている。硬直姿勢の検知には、ステア操作力低下検知、ブレーキ操作量異常検知、目視移動固着検知、アクセル操作異常検知機能及びペダル操作力低下検知が関連付けられている。白目の検知には、ステア操作力低下検知及びアクセル操作異常検知及びペダル操作力低下検知が関連付けられている。脈波異常の検知には、ステア操作力低下検知、目視移動固着検知、アクセル操作異常検知及びペダル操作力低下検知が関連付けられている。ステアリングの非把持の検知には、ステアふらつき操作検知及びステア操作力低下検知が関連付けられている。

図４に示す第二関連マトリックスでは、運転操作異常系の各異常項目に、因果関係の想定される車両状態異常系の異常項目が少なくとも一つ以上関連付けられている。走行異常検知部７４は、運転操作異常が検知された場合に、予め規定された複数の異常走行の中から、検知された異常操作に関連した異常走行の検知処理を開始する。

一例として、ステアリングのふらつき操作検知及び操作力低下検知には、白線またぎ検知及び衝突検知が関連付けられている。ブレーキ操作量の異常検知には、車両進行方向の揺れ検知が関連付けられている。目視移動の固着検知には、短い車間距離の継続検知、白線またぎ検知及び衝突検知が関連付けられている。アクセル操作の異常検知には、車両進行方向の揺れ検知、短い車間距離の継続検知、長時間の速度超過検知及び衝突検知が関連付けられている。ペダル操作力の低下検知には、車両進行方向の揺れ検知、長時間の速度超過検知及び高速道路での異常低速検知が関連付けられている。

図１及び図２に示すように、デッドマン判定部７５は、ドライバ異常検知部７１及び補完異常検知部７２の各検知機能の起動及び停止を統合的に制御する。デッドマン判定部７５は、ドライバ異常検知部７１によるドライバ異常系の各検知機能について、原則的に起動状態を維持させる。一方で、補完異常検知部７２の各検知機能は、原則的に停止状態とされ、必定とされるタイミングにて、デッドマン判定部７５によって起動される。

加えてデッドマン判定部７５は、停止状態にある応力付与ＥＣＵ４１、車線逸脱警報ＥＣＵ４３及び車間警報ＥＣＵ４５を個別に起動可能である。上述したように、統合ＥＣＵ１００の外部の各ＥＣＵ４１，４３，４５は、ドライバの操作によって停止可能である。デッドマン判定部７５は、ドライバ異常系又は運転操作異常系の検知があった場合に、停止状態にある各ＥＣＵ４１，４３，４５のうちで必要なＥＣＵを強制的に起動させる。

以上のデッドマン判定部７５は、ドライバ異常検知部７１にてドライバ異常系の検知があった場合、第一関連マトリックス（図３参照）を参照し、複数の異常操作の中から、検知された異常内容に関連する異常操作の検知機能を選択的に起動させる。さらに、デッドマン判定部７５は、操作異常検知部７３にて運転操作異常系の検知があった場合、第二関連マトリックス（図４参照）を参照し、複数の異常走行の中から、検知された異常操作に関連する異常走行の検知機能を選択的に起動させる。デッドマン判定部７５は、外部の各４１，４３，４５の各検知機能も、操作異常検知部７３及び走行異常検知部７４の各検知機能と同様に起動させる。加えて、デッドマン判定部７５は、操作異常検知部７３及び走行異常検知部７４の各検知機能について、プロセッサ部６１における実行優先度を上げる処理を実施する。操作異常検知部７３及び走行異常検知部７４の各検知機能は、検知処理の終了によって停止状態に遷移する。

ここまで説明した統合ＥＣＵ１００にて実施されるデッドマン判定処理の詳細を、図５に基づき、図１及び図２を参照しつつ説明する。図５に示すデッドマン判定処理は、例えば車両のイグニッションがオン状態に切り替えられたことに基づき開始され、イグニッションがオフ状態とされるまで繰り返される。

Ｓ１０１では、ドライバ異常系の検知を開始し、Ｓ１０２に進む。Ｓ１０１では、例えばドライバ異常検知部７１の複数の検知機能が順に検知処理を実施する。Ｓ１０２では、Ｓ１０１にて実施された検知処理により、ドライバ異常系の異常を検知したか否かを判定する。Ｓ１０２にて、ドライバ異常系の検知が無いと判定した場合、Ｓ１１０に進む。一方で、Ｓ１０２にて、ドライバ異常系の検知があると判定した場合、Ｓ１０３に進む。

Ｓ１０３では、第一関連マトリックス（図３参照）を参照し、Ｓ１０１にて検知したドライバ異常系の異常内容に関連のある運転操作異常系の検知処理を開始し、Ｓ１０４に進む。Ｓ１０４では、運転操作異常系の異常を検知したか否かを判定する。Ｓ１０４にて、運転操作異常系の検知が無いと判定した場合、Ｓ１０９に進む。一方で、Ｓ１０４にて、運転操作異常系の検知があると判定した場合、Ｓ１０５に進む。

Ｓ１０５では、第一関連マトリックス（図４参照）を参照し、Ｓ１０３にて検知した運転操作異常系の異常操作に関連のある車両状態異常系（図４参照）の検知処理を開始し、Ｓ１０６に進む。Ｓ１０６では、車両状態異常系の異常を検知したか否かを判定する。Ｓ１０６にて、車両状態異常系の検知が無いと判定した場合、Ｓ１０８に進む。一方で、Ｓ１０６にて、車両状態異常系の検知があると判定した場合、Ｓ１０７に進む。Ｓ１０７では、ドライバの運転困難状態、即ちデッドマンを推定する。

一方、Ｓ１０８では、異常操作に関連する他の車両状態異常系の検知処理があるか否かを判定する。Ｓ１０８にて、他の関連する車両状態異常系の検知処理が無いと判定した場合、Ｓ１０９に進む。一方で、Ｓ１０８にて、他の関連する車両状態異常系の検知処理があると判定した場合、その検知処理を実行し、Ｓ１０６に戻る。そして、Ｓ１０６にて、異常走行を検知した場合、Ｓ１０７にて、デッドマンと推定する。

Ｓ１０９では、異常内容に関連する他の運転操作異常系の検知処理があるか否かを判定する。Ｓ１０９にて、他の関連する運転操作異常系の検知処理が無いと判定した場合、Ｓ１１０に進む。一方で、Ｓ１０９にて、他の関連する運転操作異常系の検知処理があると判定した場合、その検知処理を実行し、Ｓ１０４に戻る。そして、Ｓ１０４にて、異常操作を検知した場合、Ｓ１０５に進む。

Ｓ１１０では、未実施となっている他のドライバ異常系の検知処理があるか否かを判定する。Ｓ１１０にて、他のドライバ異常系の検知処理があると判定した場合、その検知処理を実行し、Ｓ１０２に戻る。一方で、Ｓ１１０にて、他のドライバ異常系の検知処理が無いと判定した場合、Ｓ１１１に進む。Ｓ１１１では、ドライバの正常状態、即ち非デッドマンを推定する。

ここまで説明した本実施形態のデッドマン判定部７５は、ドライバ異常系の検知が単独であっただけでは、運転困難状態とは判定しない。デッドマン判定部７５は、ドライバ異常系の検知に加えて、運転操作異常系及び車両状態異常系の検知があった場合に、ドライバが運転困難状態であると判定する。以上によれば、正常な状態にあるドライバの姿勢崩れ等が運転困難状態と混同される事態は、生じ難くなる。したがって、運転困難状態の誤検知が低減可能となる。

加えて本実施形態では、運転操作の異常及び車両状態の異常の両方が検知される。そして、デッドマン判定部７５は、三系統の異常が単に検知されただけでは運転困難状態とは判定せず、ドライバ異常系の検知、運転操作異常系の検知、及び車両状態異常系の検知が想定した順序で行われた場合に限り、運転困難状態であると判定する。以上のような判定手法によれば、運転困難状態の誤検知は、いっそう発生し難くなる。

また本実施形態では、検知されたドライバ異常系の異常内容に基づき、この異常内容に関連する運転操作異常系の検知機能が起動される。加えて本実施形態では、検知された運転操作異常系の異常操作に基づき、この異常操作に関連する車両状態異常系の検知機能が起動される。以上のように、因果関係のある検知機能に限って選択的に実施すれば、誤検知を引き起こし易い他の検知処理の実施が回避される。故に、運転困難状態の判定精度は、いっそう向上可能となる。加えて、判定精度の向上に寄与しない検知機能が停止されたままであれば、統合ＥＣＵ１００の電力消費の低減及び重要な検知処理の優先的な実施等が可能になる。或いは、統合ＥＣＵ１００に必要とされる性能を低く設定することが可能になる。

さらに本実施形態のデッドマン判定部７５は、停止状態にある外部の各ＥＣＵ４１，４３，４５を、ドライバ異常検知部７１及び操作異常検知部７３の検知結果に基づき、強制的に起動可能である。故に、ドライバによって各検知機能がオフ状態とされていても、各ＥＣＵ４１，４３，４５から検知結果を取得できなくなる事態は、回避され得る。以上によれば、外部の各ＥＣＵ４１，４３，４５の検知機能を利用して運転困難状態を判定する統合ＥＣＵ１００であっても、ドライバの異常時にて、デッドマン判定が適切に実施可能となる。また、外部の各ＥＣＵ４１，４３，４５の演算リソースを有効に活用することにより、運転困難状態の判定精度を確保しながら、統合ＥＣＵ１００に必要とされる演算処理のリソースが低減可能となる。

尚、上記実施形態では、応力付与ＥＣＵ４１，車線逸脱警報ＥＣＵ４３及び車間警報ＥＣＵ４５がそれぞれ「異常検知装置」に相当する。また、制御回路６０が「処理部」に相当し、デッドマン判定部７５が「統合判定部」に相当し、統合ＥＣＵ１００が「状態判定装置」に相当する。

（他の実施形態）
以上、本開示による一実施形態について説明したが、本開示は、上記実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。

上記実施形態では、ドライバ異常、運転操作異常及び車両状態異常の順で検知処理が実施されていた。しかし、例えば、運転操作異常系の検知処理と車両状態異常系の検知処理とは、ドライバ異常系の検知処理と併行実施されていてもよい。その結果、これらの異常検知の前後関係は、入れ替わっていてもよい。一例として、状態判定装置は、運転操作異常及び車両状態異常が実質同時に検知された場合でも、運転困難状態と判定してもよい。

また状態判定装置は、例えば姿勢崩れ等のドライバ異常と、運転操作異常及び車両状態異常の一方とに基づき、運転困難状態を判定してもよい。

例えば、上記実施形態の変形例１では、補完異常検出部は、実質的に運転操作異常系の検知機能のみを有している。図６に示す変形例１のデッドマン判定処理では、ドライバ異常が検知された場合（Ｓ２０２：ＹＥＳ）に、運転操作異常系の検知処理が実施される（Ｓ２０３）。そして、運転操作異常がさらに検知された場合（Ｓ２０４：ＹＥＳ）に、ドライバがデッドマンであると推定される（Ｓ２０５）。

また上記実施形態の変形例２では、補完異常検出部は、実質的に車両状態異常系の検知機能のみを有している。図７に示す変形例２のデッドマン判定処理では、ドライバ異常が検知された場合（Ｓ３０２：ＹＥＳ）に、車両状態異常系の検知処理が実施される（Ｓ３０３）。そして、車両状態異常がさらに検知された場合（Ｓ３０４：ＹＥＳ）に、ドライバがデッドマンであると推定される（Ｓ３０５）。

さらに上記実施形態の変形例３では、補完異常検出部は、運転操作異常系の検知機能及び車両状態異常系の検知機能を、区別することなく有している。変形例３のデッドマン判定処理では、ドライバ異常が検知された場合に、ドライバ異常には含まれない補完異常系の検知処理が補完異常検出部にて行われる。そして、他の一つの異常がさらに検知された場合に、ドライバがデッドマンであると推定される。

尚、変形例１におけるＳ２０１，Ｓ２０６，Ｓ２０７，Ｓ２０８は、上記実施形態のＳ１０１，Ｓ１０９，Ｓ１１０，Ｓ１１１と実質同一である。また、変形例２におけるＳ３０１，Ｓ３０６，Ｓ３０７，Ｓ３０８は、上記実施形態のＳ１０１，Ｓ１０８，Ｓ１１０，Ｓ１１１と実質同一である。

ドライバ異常検知部、操作異常検知部及び走行異常検知部は、上記実施形態に記載の検知機能を全て備えていなくても良い。ドライバ異常検知部、操作異常検知部及び走行異常検知部は、それぞれ少なくとも一つの検知機能を備えていればよい。さらに、操作異常検知部及び走行異常検知部は、外部のＥＣＵの検知結果を単に取得し、当該検知結果を引用した検知を行うだけの構成であってもよい。このように、外部のＥＣＵとの協調を強化し、統合ＥＣＵでの処理をドライバ異常系の検知処理に特化させれば、処理最適化と精度向上とがさらに両立される。

上記実施形態に記載の検知機能の少なくとも一部は、機械学習によって学習された学習モデルを用いて、特定のドライバ異常、運転操作異常及び車両状態異常を検知してもよい。こうした学習モデルの利用によれば、個々の検知機能の精度の向上が可能となる。加えて、学習モデルを用いた検知には、プロセッサ部のリソースが消費され易い。故に、検知機能の休止による消費リソースの低減効果が、いっそう発揮される。

上記実施形態では、ドライバ異常検知部の検知機能は、原則的に起動状態とされていた。しかし、デッドマン判定部は、必要に応じて、ドライバ異常検知部の各検知機能の起動及び停止を行ってもよい。またデッドマン判定部は、補完異常検出部の検知機能の少なくとも一部を、起動状態に維持してもよい。この場合、デッドマン判定部は、当該検知機能の検知処理タスクについて、例えばオペレーションシステム上での実行優先度を、必要に応じて上げる制御を実施する。

上記実施形態では、二つの関連マトリックスに基づき、検知された異常項目に関連のある検知処理のみが選択的に起動されていた。しかし、デッドマン判定部は、検知されたドライバ状態の異常内容に係わらず、全ての運転操作異常系の検知処理を実施してもよい。また同様に、デッドマン判定部は、検知されたドライバの異常操作に係わらず、全ての車両状態異常系の検知処理を実施してもよい。さらに、関連マトリックスでは、ドライバ異常系の項目に、車両状態異常系の項目が関連付けられていてもよい。また、関連マトリックスにおいて互いに関連付けられる項目は、因果関係の想定根拠となるストーリーに応じて、適宜変更されてよい。

上記実施形態の統合ＥＣＵは、停止状態にある外部のＥＣＵを強制起動可能であった。しかし、少なくとも一部の外部ＥＣＵは、統合ＥＣＵによって強制起動されない構成であってもよい。さらに、統合ＥＣＵは、車両に搭載された種々の電子制御ユニットの検知結果、並びにドライバの所持する携帯端末及びウェアラブルデバイスの検知結果を、デッドマン判定に利用可能である。反対に、統合ＥＣＵは、全ての検知処理を自らの制御回路いて実施可能であってもよい。

上記実施形態にて、統合ＥＣＵより提供されていた状態判定装置の各機能は、例えばドライバカメラの制御ユニット等によって提供されてもよい。即ち、ドライバカメラの制御ユニットが、状態判定プログラムを実行する処理部であってもよい。さらに、状態判定装置の各機能は、統合ＥＣＵではなく、デッドマン判定専用の制御ユニットによって提供されてもよい。さらに、複数のＥＣＵが協働で状態判定装置の各機能を実現してもよい。

以上の各機能は、ソフトウェア及びそれを実行するハードウェア、ソフトウェアのみ、ハードウェアのみ、あるいはそれらの複合的な組合せによっても提供可能である。さらに、こうした機能がハードウェアである電子回路によって提供される場合、各機能は、多数の論理回路を含むデジタル回路、又はアナログ回路によっても提供可能である。

上記実施形態にて、状態判定プログラムを記憶していたメモリ装置には、種々の非遷移的実体的記憶媒体（non-transitory tangible storage medium）が採用可能である。こうした記憶媒体の形態も、適宜変更されてよい。例えば記憶媒体は、メモリカード等の形態であり、シート空調ＥＣＵに設けられたスロット部に挿入されて、制御回路に電気的に接続される構成であってよい。加えて、状態判定プログラムを記憶する記憶媒体は、車載される各構成の記憶媒体に限定されず、当該記憶媒体へのコピー元となる光学ディスク及び汎用コンピュータのハードディスクドライブ等であってもよい。

４１ 応力付与ＥＣＵ（異常検知装置）、４３ 車線逸脱警報ＥＣＵ（異常検知装置）、４５ 車間警報ＥＣＵ（異常検知装置）、６０ 制御回路（処理部）、７１ ドライバ異常検知部、７２ 補完異常検知部、７３ 操作異常検知部、７４ 走行異常検知部、７５ デッドマン判定部（統合判定部）、１００ 統合ＥＣＵ（状態検出装置）

Claims (9)

1. 車両を運転するドライバが運転困難状態になったことを判定する状態判定装置であって、
   前記ドライバにおける状態の異常を検知するドライバ異常検知部（７１）と、
   前記ドライバによって入力される運転操作の異常を検知する操作異常検知部（７３）と、
   前記車両の走行状態の異常を検知する走行異常検知部（７４）と、
   前記ドライバ異常検知部にて前記ドライバの状態の異常が単独で検知されただけでは運転困難状態とは判定せず、前記ドライバの状態の異常が検知された後に前記操作異常検知部によって異常操作が検知され、当該異常操作が検知された後に前記走行異常検知部によって異常走行が検知された場合に、前記ドライバが運転困難状態であると判定する統合判定部（７５）と、を備える状態判定装置。
2. 前記操作異常検知部は、前記ドライバの状態の異常が検知された場合に、前記運転操作について予め規定された複数の異常操作の中から、前記ドライバ異常検知部にて検知された異常内容に関連した異常操作の検知処理を開始する請求項１に記載の状態判定装置。
3. 前記走行異常検知部は、前記運転操作の異常が検知された場合に、前記走行状態について予め規定された複数の異常走行の中から、前記操作異常検知部にて検知された異常操作に関連した異常走行の検知処理を開始する請求項１又は２に記載の状態判定装置。
4. 前記統合判定部は、前記走行異常検知部のうちで前記操作異常検知部にて検知された異常操作に関連する異常走行の検知機能を起動させるか、又は当該検知機能の実行優先度を上げる請求項１〜３のいずれか一項に記載の状態判定装置。
5. 前記統合判定部は、前記操作異常検知部のうちで前記ドライバ異常検知部にて検知された異常内容に関連する異常操作の検知機能を起動させるか、又は当該検知機能の実行優先度を上げる請求項１〜４のいずれか一項に記載の状態判定装置。
6. 前記操作異常検知部は、前記車両に搭載された異常検知装置（４１，４３，４５）から出力される異常操作を示す検知信号を取得し、当該検知信号を用いて異常操作の検知を行い、
   前記走行異常検知部は、前記異常検知装置から出力される異常走行を示す検知信号を取得し、当該検知信号を用いて異常走行の検知を行う請求項１〜５のいずれか一項に記載の状態判定装置。
7. 前記異常検知装置の作動は、前記ドライバによって停止可能であり、
   前記統合判定部は、前記ドライバ異常検知部によって前記ドライバの状態の異常が検知された場合に、停止状態にある前記異常検知装置を起動させる請求項６に記載の状態判定装置。
8. 車両を運転するドライバが運転困難状態になったことを判定する状態判定プログラムであって、
   少なくとも一つの処理部（６０）を、
   前記ドライバにおける状態の異常を検知するドライバ異常検知部（７１）、
   前記ドライバによって入力される運転操作の異常を検知する操作異常検知部（７３）、
   前記車両の走行状態の異常を検知する走行異常検知部（７４）、
   前記ドライバ異常検知部にて前記ドライバの状態の異常が単独で検知されただけでは運転困難状態とは判定せず、前記ドライバの状態の異常が検知された後に前記操作異常検知部によって異常操作が検知され、当該異常操作が検知された後に前記走行異常検知部によって異常走行が検知された場合に、前記ドライバが運転困難状態であると判定する統合判定部（７５）、として機能させる状態判定プログラム。
9. コンピュータにより実行されるインストラクションを含むコンピュータ読み出し可能非遷移記録媒体において、当該インストラクションは、車両を運転するドライバが運転困難状態になったことを判定するコンピュータ実施方法を含み、当該方法は、
   前記ドライバにおける状態の異常を検知することと、
   前記ドライバによって入力される運転操作の異常を検知することと、
   前記車両の走行状態の異常を検知することと、
   前記ドライバの状態の異常が単独で検知されただけでは運転困難状態とは判定せず、前記ドライバの状態の異常が検知された後に異常操作が検知され、当該異常操作が検知された後に異常走行が検知された場合に、前記ドライバが運転困難状態であると判定することと、
   を備えるコンピュータ読み出し可能非遷移記録媒体。

Images