JP7318475B2 - 運転者状態判定装置 - Google Patents

Description

ここに開示する技術は、例えば自動車を運転する運転者の状態を判定する運転者状態判定装置に関する。

昨今、国家的に自動運転システムの開発が推進されている。

本願出願人は、現時点において、自動運転システムには、大きく分けると２つの方向性があると考えている。

第１の方向性は、自動車が主体となって運転者の操作を要することなく乗員を目的地まで運ぶシステムであり、いわゆる自動車の完全自動走行である。例えば、特許文献１では、乗員が所定の操作をすることにより運転の主体を自動車に変更する自動運転技術が開示されている。

第２の方向性は、「自動車の運転が楽しめる環境を提供する」というように、あくまで人間が運転をすることを前提とした自動運転システムである。第２の方向性の自動運転システムでは、例えば、運転者に疾患等が発生し正常な運転が困難な状況が発生した場合等に、自動的に、自動車が乗員に変わって自動運転を行うことが想定される。

特許文献２には、撮像部が撮像した映像の解析結果から得られた運転者の運転姿勢や開眼度に基づいて、運転者による車両の運転状態の適否を判定する技術が開示されている。特許文献３には、運転者の覚醒度合いの判断基準を設定し、検出された運転者の頭部の挙動と、設定された判断基準を用いて運転者の覚醒状態を判断する技術が開示されている。また、非特許文献１には、運転中に意識障害発作を発症した症例の検討がなされている。

特開２０１９－１１９３７３号公報 特開２０１９－７９３２８号公報 特開２０１０－１２８６４９号公報

篠原一彰、他７名、"運転中に意識障害発作を発症した症例の検討"、自動車技術会論文集、２０１４年１１月、Ｖｏｌ．４５、Ｎｏ．６、ｐ１１０５－１１１０

例えば、特許文献２に記載されているように、運転者が運転不能となりうずくまっているような場合、運転者に機能障害や疾患が発生している蓋然性が高く、運転状態が不適であると判定する技術が知られている。例えば、特許文献３では、運転者の頭部や身体の動きを認識し、その認識結果に基づいて、いわゆる、デッドマン判定をしている。そして、運転者が運転を継続できない状態が認識された場合、運転者に変わって自車両を安全な場所に退避させることができる。

そうすると、運転者に異常が発生したこと、特に、運転者に機能障害や疾患が発生したことをいかに早期に発見できるかが、運転者の救命率の向上や周囲を含めた安全を確保する観点から極めて重要となる。特に、上記第２の方向性における自動運転システムでは、運転者が主体となって運転を行うので、運転者自身及び周りの人達に安心・安全を提供するために、運転者の異常をいかに早期に発見するかというのは、極めて重要な課題である。

ここに開示された技術は、斯かる点に鑑みてなされたものであり、その目的とするところは、運転者の異常判定までの時間をできるだけ短縮することにある。

前記課題を解決するために、ここに開示された技術では、自動車に搭載される運転者状態判定装置を対象として、運転者に異常が発現する予兆を検知するために運転者の随意機能が正常に機能しているか否かを認識する随意機能認識部と、不随意機能が正常に機能しているか否かを、当該不随意機能が所定時間以上継続して異常状態であることに基づいて認識する不随意機能認識部とを備え、前記随意機能が正常に機能していないと認識された場合、前記不随意機能認識部が正常に機能しているか否かを認識するための前記所定時間を短縮する、構成とした。

なお、本発明の装置における高次・低次の随意機能や不随意機能が機能しているか否かを認識するとは、運転者の異常判定の早期化による救命及び安全の確保をなすという意義での認識であって、装置ハードウェアにおいては推定や判断といった態様も含むものである。また、本発明の装置における認識とは、医療従事者が人体を診察してこれらが機能しているか否かを判断することとは、異なる概念である。

この構成によると、運転者の随意機能が正常に機能しているか否かを基に運転者に異常が発現する予兆を検知し、随意機能が正常に機能していないと認識された場合、不随意機能認識部が正常に機能しているか否かを認識するための所定時間を短縮する。これにより、不随意機能のみに基づいて判断する場合と比較して、運転者の異常判定の精度をできるだけ確保しつつ、異常判定までの時間を早期化することができる。

前記運転者状態判定装置の一実施形態として、前記随意機能認識部は、相対的に高次の随意機能である高次随意機能が正常に機能しているか否かを認識する高次随意機能認識部と、高次随意機能よりも低次の随意機能である低次随意機能が正常に機能しているか否かを認識する低次随意機能認識部とを備え、前記高次随意機能認識部が正常に機能していないと認識された場合に前記低次随意機能認識部および／または前記不随意機能認識部の判定基準を変更し、前記低次随意機能認識部が正常に機能していないと認識された場合に前記不随意機能認識部の判定基準を変更する、としてもよい。

この構成によると、不随意機能が損なわれる前に、高次随意機能と低次随意機能との正常／異常の組み合わせに応じて、異常判定の条件変更（例えば、判定時間の短縮）をするようにしている。これにより、運転者の異常判定をさらに早期化させたり、異常判定に係る予見の精度を高めることができる。

前記運転者状態判定装置の一実施形態として、前記高次随意機能及び前記低次随意機能の少なくとも一方が正常に機能していないと認識された場合に、運転者に向けたアクチュエーションを実施するアクチュエーション実施部のアクチュエーションの方法を変更する、としてもよい。

このように、運転者への問いかけや注意喚起を行うことで、運転者の異常判定の精度を高めたり、運転者に安全な行動を促すことができる。

以上説明したように、ここに開示された技術によると、運転者の異常判定を早期化することができる。

運転者主体型自動運転システムについて説明するための概念図である。 疾患の内訳と運転への影響を示すグラフである。 疾患発症後における運転者の状態悪化について時間的な変化を示す図である。 事後検知と予兆検知について説明するための図である。 自動車用演算システムの機能構成を示すブロック図である。 自動車用演算システムの機能構成を示すブロック図である。 運転者状態判定装置の動作の一例を示すフローチャートである。 運転者状態判定装置の動作を説明するための図である。

－概要－
本開示の技術は、特に、前述の第２の方向性の自動運転システム、すなわち、人が運転をすることを前提とした自動運転システム（以下、運転者主体型自動運転システムという）において真価を発揮するものである。

ところで、完全自動運転は、高齢者の移動自由を確保するための選択肢のひとつであり、非常に重要な技術である。一方で、本願出願人は、完全自動運転だけが次の世代に求められる自動運転システム（テクノロジー）ではないと考えている。

本願出願人は、人間がどうあるべきかを中心に考えた場合に、自由な移動による生活の充実を実現することが、次世代において自動運転技術が搭載されたパーソナルカーとしてのあるべき姿だと考えている。すなわち、本願出願人は、人が、自ら動き、楽しみながら能力の維持向上をする姿を支え、人としての本来の姿を取り戻すことを助ける技術が求められると考えている。本願出願人は、人が自動車を楽しく操ることにより、心と体が活性化することは、自動車の本来の効用だと考えている。本願出願人は、人が能力を発揮し、イキイキしている、その裏で自動車がしっかりと人と自車両の動きや周囲の環境等を把握して対応可能な準備をする。自動車が人の感覚に寄り添うことで、一緒に乗っている人も自動車の動きを自然に感じ取ることができ、不快に感じず、安心して乗っていられる。人が、そういった自動車を所有し、どこまでも一緒に走り続けていけるという「心の満足」を味わえる、その走る歓びを究めながら安全・安心を両立させる。これが本願出願人の考える安全思想であり、本願出願人の自動運転技術の活用の仕方である。

図１は、上記説明の概要を模式的に示した図面である。

図１に示すように、運転者は、目や耳等の五感を通じて自動車の走行環境情報を認識する。運転者は、認識した走行環境情報を基に、自動車をどのように動かすかを判断し、その判断結果を基にハンドル、アクセル、ブレーキ等を操作する。例えば、運転者は、車外の障害物との衝突や車線の逸脱の可能性があると判断した場合に、それを回避するための走行経路（例えば、目標位置や加減速等）を決定し、そのための操作を実行する。そうすると、自動車の各アクチュエータ類ＡＣ（図６参照）が作動され、自動車の走行に反映される。運転者は、操作による車両の走行状態をフィードバックとして受け、走行環境情報の認識結果とあわせて判断を行い、その判断に基づく操作をするという動作を繰り返す。ここで、走行環境情報とは、例えば、自車両の外部環境情報を含む、自動車の走行環境の情報である。外部環境情報には、例えば、標識や建物等の情報及び中央分離帯やセンターポール等の道路情報を含む静止体の情報、並びに、他車両（自動四輪車）、自動二輪車、自転車、歩行者等の動体の情報が含まれる。アクチュエータ類ＡＣには、例えば、エンジンシステム８１、トランスミッション、ブレーキ８２、ステアリング８３等が含まれる（図６参照）。

運転者主体型自動運転システムが搭載された自動車では、普段（平常状態）は、運転者が自動車を運転する。運転者主体型自動運転システムは、平常状態では、運転者が運転している裏側で、自車両、外部環境、運転者の状態を把握して仮想運転を実行する。換言すると、運転者主体型自動運転システムは、バックアップシステムとして動作する。具体的には、運転者主体型自動運転システムは、運転者と同じように走行環境情報を認識するとともに、自車両情報の状態や運転者の状態を認識する。運転者主体型自動運転システムでは、上記の認識結果を基に、自動車をどのように動かすかを判断し、自動車の目標運動を決定するところまでを、運転者の運転と並行して実行する。そして、運転者主体型自動運転システムは、運転者に機能障害や疾患が発生したと判断した場合、運転者に変わって周囲を含めた安全を確保するように自車両を動作させたり、運転者の認知・判断・操作のうちで劣っている機能を補完したりする。

運転者主体型自動運転システムでは、上記のような動作を前提としているため、運転者に機能低下や機能障害、疾患等の異常（以下、運転者異常という）が発生したことをいかに早期に発見できるが極めて重要となる。

－本願発明の前提となる知見－
ところで、運転者の状態は、健康な正常状態と、機能障害や疾患が発生した異常状態とに大別される。正常状態には、覚醒の度合いが高い状態から順に記載すると、運転に最大限に集中しているフロー状態、運転集中状態、リラックス運転状態、脇見運転状態、漫然運転状態、覚醒低下状態、居眠り状態が含まれる。疾患には、様々な疾患が存在するが、図２に示す非特許文献１の知見を基にすると、運転中に意識障害発作が発症したことが明らかな症例の代表的なものとして、てんかん、脳卒中、心筋梗塞、低血糖が挙げられる。

発明者らは、運転者が正常状態（健康状態）から、意識障害発作に至る原因となるような疾患が発症してから運転不能な状態に至るまでの運転者の状態変化が、３つのパターンに集約されるとの知見を得た。図３は、上記の運転者の状態が悪化する３つのパターン（ケース）について示したものである。図３では、横軸の時間に対する、縦軸の運転能力の変化を示しており、運転不能ラインを下回ると、運転者に意識がなく運転できない状態となっていることを示している。

図３において、ケースＡは、発症すると、ほとんど何の前触れもなくそのまま意識を失ってしまうというパターンである。ケースＡは、全体の５５％程度の割合で発生している。ケースＡは、例えば、てんかんに多いパターンであり、心筋梗塞や脳疾患でも一部該当する。ケースＢは、発症すると、一気に意識を失うわけではなく、何かおかしいなと感じながら、すなわち、相対的に良い状態と悪い状態とを波打つように繰り返しながら、全体としては徐々に状態が悪化していくというパターンである。ケースＢは、全体の２２％程度の割合で発生し、脳疾患に多いパターンである。ケースＣは、発症すると、緩やかにかつ徐々に状態が悪化していき、そのまま意識を失ってしまうというパターンである。ケースＣは、全体の２３％程度の割合で発生し、低血糖症に多いパターンである。

この３つのパターンのいずれにおいても言えることであるが、一般的な自動車に搭載可能なレベルの範囲内で運転者の状態検知をするための現時点における技術水準では、運転不能ラインまで来て初めて疾患であることが認識できるという状況である。これは、運転者が、健康な状態ではあるが漫然とした状態であったり疲労が蓄積しているような状態であるのか、疾患が発症した状態にあるのか、を判別するのが非常に困難なためである。また、運転者が健康状態であっても目を閉じたり姿勢が崩れることはあることから、運転者異常の判定は、姿勢崩れ、開眼しっぱなしの状態または閉眼しっぱなしの状態が、一定時間継続したことをもって判断する必要がある。すなわち、従来技術では、疾患の発見の確度を高めようとすると判定に時間がかかり、疾患の判定時間を短縮しようとすると、疾患の誤判定が増えるという問題がある。

そこで、発明者らは、疾患には運転者の機能が順番に失われていくというメカニズムがあることに着目した。換言すると、発明者らは、疾患発現の予兆の存在に着目し、その予兆の検出結果を使って運転者異常の発現を判定することを考えた。これにより、運転者異常の発現を、より早期にかつより精度高く判定することが可能となる。

一般的に、運転者異常を判定する方法として、運転者の意思とは関係なく成立している機能である、いわゆる不随意機能に異常が発生していることを検知する技術が知られている。不随意機能の異常検出方法として、例えば、撮像部が撮像した映像を基に、運転者の運転姿勢崩れや運転者の開眼度を解析し、運転者の疾患を判断する方法が知られている。脳の機能に着目して考えた場合に、不随意機能に対するものとして、人の随意的な機能である随意機能がある。近年では、この随意機能について検出する個々の技術開発が行われている。本願発明者らは、さらに、この随意機能について脳の機能に着目して分類することを検討した。具体的には、随意機能のうち、生命維持をつかさどる機能に近い随意機能であり、無意識に近い領域で処理される随意機能（以下、「低次随意機能」という）と、低次随意機能よりも人が意識的に考えて処理される随意機能（以下、「高次随意機能」という）とに分類分けをした。高次随意機能とは、例えば、いわゆる「○○かもしれない運転」ができるか否かに影響を与える機能である。そして、発明者らは、このように分類分けをすると、運転者異常の発現後には、高次随意機能が先に失われ、低次随意機能の方が最後まで残る傾向があるという知見を得た。

図４は、図３のケースＢ，Ｃに示すような挙動を示す運転者異常について、どのタイミングでどのような予兆または事象が発生するかと、それらの予兆や事象が発現した時点における救命率との関係を示した概念図である。図４では、運転者の意識がなくなる時間に対して時間軸が右側にいくほど遡った時間であるものとする。

図４の右側には、運転者異常の発現後において運転不能になる数分程度前に検出される予兆（以下、数分前予兆という）の一例を示している。数分前予兆では、特に、運転者の相対的に意識レベルの高い挙動、すなわち高次随意機能に変容が生じる傾向がある。そこで、数分前予兆では、数分前予兆が発現していることを検知するために、高次随意機能が正常に機能しているか否かに着目する。高次随意機能の変容は、例えば、サリエンシーに対するサッケード反応、急操作の頻度等の指標を基に検知する。

具体的に、数分前予兆では、例えば、運転行動として見た場合に、認知機能の低下であったり、運動機能が低下する傾向がある。数分前予兆では、例えば、眼球運動として見た場合に、眼球の追従性が低下する傾向がある。数分前予兆では、例えば、運転姿勢として見た場合に、運動機能が低下する傾向がある。数分前予兆では、例えば、生体反応として、運転者の内部状態やバイタルに異常が発生し、運転者の心拍数が乱れる傾向がある。したがって、例えば、上記のバイタル異常や各種機能低下を判断することにより、数分前予兆を検知することができる。数分前予兆の検知には、例えば、車両操縦モデル、運転操作モデル、追従性眼球モデル、協調的動作モデル等を用いることができる。なお、数分前予兆として、必ずしも上記のすべてが発現するわけではなく、その一部が発現する場合もある。数分前予兆の具体的な検知方法の例については、後ほど説明する。数分前予兆の段階では、運転者は運転を継続できるような状態であったりする。数分前予兆の段階であれば、救命率は約８５％程度である。

図４の中央には、運転者異常の発現後において運転不能になる数秒から十数秒程度前に検出される予兆（以下、１０秒前予兆という）の一例を示している。１０秒前予兆では、運転者の実質的に無意識的な挙動に変容が生じる傾向がある。すなわち、運転者異常の発現からある程度時間が経過し、運転不能ラインに相対的に近い段階である１０秒前予兆の段階では、高次随意機能に加えて、低次随意機能も変容する傾向がある。そこで、１０秒前予兆が発現していることを検知するために、低次随意機能が正常に機能しているか否かに着目する。低次随意機能が正常に機能しているか否かは、例えば、前庭動眼反射、頭部の恒常性、操舵のふらつき、速度の安定性等の指標を基に検知することができる。１０秒前予兆の検知には、例えば、反射性眼球運動モデル、上肢姿勢制御モデル、頭部固定振動モデル、車両挙動の検出結果等を用いることができる。

具体的に、１０秒前予兆では、例えば、前庭動眼反射能力に異常が生じ、頭が揺れた場合に一定の場所（例えば、前方）を継続して見ることができなくなる傾向がある。また、１０秒前予兆では、例えば、頭部の恒常性に異常が生じる傾向がある。頭部の恒常性の異常として、例えば、自動車の揺れに対して頭部の恒常性が維持できずに必要以上に揺れたり、筋肉が硬直した場合に健常者と比較して自動車の揺れに対して頭部の動きが大幅に減少したりする。１０秒前予兆では、例えば、操舵のふらつきが発生したり、速度が不安定になる傾向がある。したがって、運転者の頭や目の状態、自動車の挙動の変化を基に、１０秒前予兆を検知することができる。なお、１０秒前予兆として、必ずしも上記のすべてが発現するわけではなく、その一部が発現する場合もある。１０秒前予兆の具体的な検知方法の例については、後ほど説明する。１０秒前予兆の段階であれば、救命率は約６３％程度である。

図４の左側には、運転者の意識消失を事後的に検知するもの（以下、事後検知という）の一例を示している。前述のとおり、事後検知は、運転者の運転姿勢崩れ、長時間の閉眼状態／開眼状態の継続、瞳孔の反応なし等を基に検出することができる。通常運転時においても、一時的な運転者の運転姿勢崩れ、閉眼／開眼は発生する。そのため、一般的に、事後検知は、一定時間継続してその状態が起こっているか否かを基に異常を判定する。したがって、異常判定までに所定の判定時間がかかるという問題がある。事後検知には、例えば、逸脱姿勢モデル、カメラ等による運転者の撮影結果等を用いることができる。

－実施形態－
図５Ａ、図５Ｂは、本実施形態に係る運転者状態判定装置を有する運転者主体型自動運転システムＣＵの機能構成例を示すブロック図である。なお、以下の説明では、図２Ａ及び図２Ｂをまとめて、単に図２と呼ぶものとする。

まず、本開示に係る運転者主体型自動運転システムＣＵ（以下、単に自動運転システムＣＵという）は、機能的には、認知系ブロックＢ１と、判断系ブロックＢ２と、操作系ブロックＢ３とに分かれている。認知系ブロックＢ１は、車外環境、車内環境（運転者の状態を含む）を認知するための構成である。判断系ブロックＢ２は、認知系ブロックＢ１での認知結果に基づいて各種状態・状況等を判断し、自動車の動作を決定するための構成である。操作系ブロックＢ３は、判断系ブロックＢ２での決定を基に、具体的にアクチュエータ類に伝達する信号・データ等を生成するための構成である。

また、自動運転システムＣＵは、（１）通常運転時における自動運転を実現するための認知系ブロックＢ１、判断系ブロックＢ２及び操作系ブロックＢ３とで構成された主演算部２００と、（２）主に主演算部２００の認知系ブロックＢ１及び判断系ブロックＢ２を補完する機能を有するセーフティ機能部３００とを備える。

自動運転システムＣＵには、自動車の車内外環境の情報を取得する情報取得手段１０で取得されたデータが入力信号として与えられる。また、自動運転システムＣＵへの入力信号として、クラウドコンピューティングのように、車外ネットワーク（例えば、インターネット等）に接続されたシステムやサービスからの情報が入力されるようにしてもよい（図５では「外部入力」と記載する）。

情報取得手段１０として、例えば、（１）自動車１のボディ等に設けられかつ車外環境を撮影する複数の車外カメラ１１、（２）自動車１のボディ等に設けられかつ車外の物標等を検知する複数のレーダ１２、（３）ＧＰＳ等の測位システムを含む位置センサ１３、（４）上記の車外のネットワーク等からの外部入力１４、（５）自動車に取り付けられたメカセンサー１５、（６）運転者からの入力操作を受け付けるドライバ入力部１６、（７）自動車の車内ミラーやダッシュボード等に設けられた車内カメラ１７等が例示される。車内カメラ１７は、例えば、運転者の姿勢や表情、眼の開眼状態や視線、社内環境等が撮影できるように構成されている。メカセンサー１５は、自動車の絶対速度を検出するための車速センサを含む。ドライバ入力部１６は、アクセルペダル、ブレーキペダル、ステアリング、各種スイッチ等の各種操作対象物への運転者の操作を検出するセンサを含む。具体的に、ドライバ入力部１６は、例えば、アクセルペダルの踏み込み量を検出するアクセル開度センサ、ステアリングホイールの回転角度（操舵角）を検出する操舵角センサ、ブレーキペダルの踏み込み量を検出するブレーキセンサ（油圧センサ）等を含む。

－１－１．主演算部（１）－
ここでは、主演算部２００の構成について、主演算部２００による深層学習を用いた経路生成の例を交えつつ説明する。

主演算部２００の認知系ブロックＢ１および判断系ブロックＢ２では、ニューラルネットワークを利用した深層学習により構築された各種モデルを利用して処理を実行する。このようなモデルを使用した処理を行うことで、車両状態、車外環境、運転者の状態等の総合的な判断に基づく運転制御、すなわち、大量の入力情報をリアルタイムで協調させて制御することができるようになる。

具体的には、主演算部２００は、車外の物体を認識する物体認識部２０１と、マップ生成部２０２と、外部環境推定部２０３と、外部環境モデル２０４と、経路探索部２０５と、経路生成部２０６と、車両状態検出部２０７とを備える。

物体認識部２０１は、車外カメラ１１で撮像された車外の画像（映像を含む）を受信し、受信した画像に基づいて車外の物体を認識する。物体認識部２０１で認識された結果は、マップ生成部２０２に送られる。

マップ生成部２０２では、自車両の周囲を複数の領域（例えば、前方、左右方向、後方）に分け、その領域毎のマップを作成する処理を行う。具体的には、マップ生成部２０２では、それぞれの領域に対して、車外カメラ１１で認識された物標情報と、レーダ１２で認識された物体情報とを統合し、マップに反映させる。

マップ生成部２０２で生成されたマップ及び車両状態検出部２０７での検出結果は、外部環境推定部２０３において、深層学習を用いた画像認識処理により車外環境の推定に使用される。具体的に、外部環境推定部２０３では、深層学習を利用して構築された外部環境モデル２０４に基づく画像認識処理により車外環境を表す３Ｄマップを作成する。深層学習では、多層ニューラルネットワーク（DNN : Deep Neural Network）が用いられる。多層ニューラルネットワークとして、例えば、ＣＮＮ（Convolutional Neural Network）がある。

より具体的に、外部環境推定部２０３では、（１）領域毎のマップが結合され、自車両の周囲を表した統合マップが生成され、（２）その統合マップ内の動体物に対し、自車両との距離、方向、相対速度の変位が予測され、（３）その結果が、外部環境モデル２０４に組み込まれる。さらに、外部環境推定部２０３では、（４）車内または車外から取り込んだ高精度地図情報、ＧＰＳ等で取得された位置情報・車速情報・６軸情報の組み合わせによって統合マップ上での自車両の位置を推定するとともに、（５）前述の経路コストの計算を行い、（６）その結果が、各種センサで取得された自車両の運動情報とともに外部環境モデル２０４に組み込まれる。上記の（１）～（６）の処理により、外部環境推定部２０３では、随時、外部環境モデル２０４が更新され、後述する経路生成部２０６による経路生成に使用される。

ＧＰＳ等の測位システムの信号、車外ネットワークから送信される例えばカーナビゲーション用のデータは、経路探索部２０５に送られる。経路探索部２０５は、ＧＰＳ等の測位システムの信号、車外ネットワークから送信される例えばナビゲーション用のデータを用いて、車両の広域経路を探索する。

経路生成部２０６では、前述の外部環境モデル２０４と、経路探索部２０５の出力とを基にして、車両の走行経路を生成する。走行経路は、例えば、安全性、燃費等をスコア化し、そのスコアが小さくなるような走行経路が少なくとも１つ生成される。また、経路生成部２０６は、例えば、上記走行経路と運転者の操作量に応じて調整した走行経路、のように複数の観点に基づいた走行経路を生成するように構成されてもよい。この経路生成部２０６により生成される走行経路に関する情報は外部環境データに含まれる。

－１－２．セーフティ機能部－
ここでは、セーフティ機能部３００の構成について、セーフティ機能部３００によるルールベースの経路生成の例を交えつつ説明する。

セーフティ機能部３００は、主演算部２００で実行される深層学習により、ある特定の許容範囲を逸脱するような判断や処理（以下、単に逸脱処理という）が導き出される可能性を想定し、そのような逸脱処理を監視する機能を有する。

例えば、セーフティ機能部３００では、
（１）従来より自動車等に採用されている物標等の認定方法に基づいて、車外にある物体（以下、対象物と呼ぶ場合がある）を認識する、
（２）従来より自動車等に採用されている方法で、車両が安全に通過できる安全領域を設定し、その安全領域を通過するような経路を自動車が通過すべき走行経路として設定する、
ように構成されている。

具体的には、セーフティ機能部３００は、車外の物体をパターン認識する物体認識部３０１と、分類部３０２と、前処理部３０３と、フリースペース探索部３０４と、経路生成部３０５とを備える。

物体認識部３０１は、車外カメラ１１で撮像された車外の画像（映像を含む）と、レーダ１２で検出された反射波のピークリストとに基づいて、車外の物体を認識する。

分類部３０２や前処理部３０３では、深層学習等を用いずに、物体認識部３０１で認識された結果を基に、所定のルールに基づくルールベースの手法により外部環境を推定する。具体的に、分類部３０２では、物体認識部２５２による物体の認識結果を受信し、認識された物体を動体と静止物とに分類する。より具体的に、分類部３０２では、（１）自車両の周囲が複数の領域（例えば、前方、左右方向、後方）に分けられ、（２）各領域で、車外カメラ１１で認識された物体情報と、レーダ１２で認識された物体情報とが統合され、（３）各領域に対する動体及び静止物の分類情報が生成される。

前処理部３０３では、分類部３０２において生成された領域毎の分類結果を統合する。統合された情報は、例えば、自車両周辺の動体及び静止物との分類情報として、グリッドマップ（図示省略）上で管理される。また、動体物について、自車両との距離、方向、相対速度が予測され、その結果が動体物の付属情報として組み込まれる。さらに、前処理部３０３では、車内外から取得された高精度地図情報、位置情報、車速情報、６軸情報等を組み合わせて、動体・静止物に対する自車両の位置を推定する。

フリースペース探索部３０４は、前処理部３０３で位置が推定された動体・静止物（以下、対象物ともいう）との衝突を回避可能なフリースペースを探索する。例えば、フリースペース探索部３０４は、対象物の周囲数ｍを回避不能範囲とみなす等の所定のルールに基づいて設定される。フリースペース探索部３０４は、対象物が動体の場合には、移動速度を考慮してフリースペースを設定する。フリースペースとは、例えば、道路上であって、他の車両や歩行者等の動的な障害物、及び中央分離体やセンターポールなどの静的な障害物が存在しない領域をいう。フリースペースは、緊急駐車が可能な路肩のスペースを含んでいてもよい。

経路生成部３０５は、フリースペース探索部３０４で探索されたフリースペースを通るような経路を算出する。経路生成部３０５による経路の算出方法は、特に限定されないが、例えば、フリースペースを通過する複数の経路を生成し、その複数の経路の中から経路コストが最も小さい経路を選択する。経路生成部３０５で算出された経路は、後述する目標運動決定部２１４に出力される。

なお、上記で説明したセーフティ機能部３００の機能は、従来から自動車等に採用されている物標等の認定方法及びその回避方法をルールベースに落とし込んだものである。

－１－３．主演算部（２）－
主演算部２００は、前述の「１－１．主演算部（１）」で説明したブロックに加えて、危険状態判断部２１０、第１車両モデル２１１、第２車両モデル２１２、経路決定部２１３、目標運動決定部２１４、車両運動エネルギー設定部２１５、エネルギーマネジメント部２１６、ドライバ操作認識部２１７、画像処理部２１８及び、セレクタ２２０を備える。画像処理部２１８は、車内カメラ１７で撮像された画像に対して所定の画像処理を行う。

危険状態判断部２１０では、外部環境モデル２０４を基に、対象物との衝突や、車線の逸脱の可能性があると判断した場合に、それを回避するための走行経路（例えば、目標位置と車速）を設定する。

ドライバ操作認識部２１７は、走行経路を決定するための情報として運転者の操作量や操作方向を認識する。具体的には、ドライバ操作認識部２１７は、ドライバ入力部１６の出力を基に運転者の操作量や操作方向を認識し、認識結果を経路決定部２１３に出力する。

経路決定部２１３では、経路生成部２０６で設定された走行経路と、セーフティ機能部３００の経路生成部３０５で設定された走行経路と、ドライバ操作認識部２１７での認識結果とに基づいて、車両の走行経路を決定する。この走行経路の決定方法は、特に限定されないが、例えば、通常走行時は、経路生成部２０６で設定された走行経路を最優先するとしてもよい。また、経路生成部２０６で設定された走行経路が、フリースペース探索部３０４で探索されたフリースペースを通らない場合に、セーフティ機能部３００の経路生成部３０５で設定された走行経路を選択するとしてもよい。また、運転者の操作量や操作方向に応じて、選択された走行経路に調整を加えたり、運転者の操作を優先したりするようにしてもよい。

目標運動決定部２１４では、例えば、経路決定部２１３で決定された走行経路に対して、６軸の目標運動（例えば、加速度、角速度等）を決定する。目標運動決定部２１４は、６軸の目標運動の決定に際し、所定の第１車両モデル２１１を用いるようにしてもよい。車両６軸モデルとは、走行中の車両の「前後」「左右」「上下」の３軸方向の加速度と、「ピッチ」「ロール」「ヨー」の３軸方向の角速度を、モデル化したものである。すなわち、車両の動きを古典的な車両運動工学的な平面上のみ（車両の前後左右（Ｘ－Ｙ移動）とヨー運動（Ｚ軸）のみ）で捉えるのではなく、４つの車輪にサスペンションを介して乗っている車体のピッチング（Ｙ軸）およびロール（Ｘ軸）運動とＺ軸の移動（車体の上下動）の、合計６軸を用いて車両の挙動を再現する数値モデルである。第１車両モデル２１１は、例えば、あらかじめ設定された車両の基本運動機能、車内外の環境情報等に基づいて生成され、適宜更新される。

車両運動エネルギー設定部２１５では、目標運動決定部２１４で決定された６軸の目標運動に対して、駆動系、操舵系、制動系に要求するトルクを計算する。駆動系とは、例えば、エンジンシステム、モータ、トランスミッションである。操舵系とは、例えば、ステアリングである。制動系とは、例えば、ブレーキである。

エネルギーマネジメント部２１６は、目標運動決定部２１４で決定された目標運動を達成する上で、最もエネルギー効率がよくなるようにアクチュエータ類ＡＣの制御量を算出する。具体的に例示すると、エネルギーマネジメント部２１６は、目標運動決定部２１４で決定されたエンジントルクを達成する上で、最も燃費が向上するような、吸排気バルブ（図示省略）の開閉タイミングやインジェクタ（図示省略）の燃料噴射タイミング等を算出する。エネルギーマネジメント部２１６は、エネルギーマネジメントを行うのに際して、所定の第２車両モデル２１２を用いるようにしてもよい。第２車両モデル２１２は、車両のエネルギー消費を示すモデルである。具体的には、車両のアクチュエータ類ＡＣの動作に対する燃費や電費を示すモデルである。より詳しくは、第２車両モデル２１２は、例えば、所定量のエンジントルクを出力する上で、最も燃費が向上するような、吸排気バルブ（図示省略）の開閉タイミング、インジェクタ（図示省略）の燃料噴射タイミング、排気環流システムのバルブ開閉タイミング等がモデル化されたものである。第２車両モデル２１２は、例えば、車両の走行中に生成され、適宜更新される。

このように、本実施形態では、自動運転システムＣＵが、運転者が自動車を運転するのと並行して、自車両、外部環境、運転者の状態を把握して仮想運転を実行する。自動運転システムＣＵは、運転者の状態を把握し、運転者に機能障害や疾患が発生したと判断した場合、上記の車両運動エネルギー設定部２１５及びエネルギーマネジメント部２１６からの出力を基に、自動車を動作させるためのアクチュエータ類ＡＣを作動させる。

このような切替動作は、例えば、前述の自動運転のための構成と、ドライバ状態認識部４００、自動運転切替部４１０及びセレクタ２２０により実現できる。

ドライバ状態認識部４００は、情報取得手段１０が取得した情報や前述の各ブロックでの処理結果等を基に、ドライバの状態を認識し、その認識結果に基づいて、高次随意機能、低次随意機能、不随意機能の状態を把握する。例えば、ドライバ状態認識部４００は、物体認識部２０１，３０１やドライバ操作認識部２１７で認識された結果、車内カメラ１７での撮像情報（画像処理部２１８での画像処理結果）及び／または外部環境推定部２０３からの出力情報等を基に、ドライバの状態を認識する。図５Ｂでは、ドライバ状態認識部４００は、前処理部３０３、ドライバ操作認識部２１７、画像処理部２１８及び外部環境推定部２０３からの出力を受けるものとしているが、これに限定されるものではなく、他のブロックからの情報を基に、高次随意機能、低次随意機能、不随意機能の状態を認識してもよい。

ドライバ状態認識部４００は、図５Ｂに示すように、高次随意機能認識部４０１と、低次随意機能認識部４０２と、不随意機能認識部４０３とを備える。

高次随意機能認識部４０１は、運転者の高次随意機能が正常に機能しているか否かを認識する。具体的に例示すると、高次随意機能認識部４０１は、例えば、外部環境推定部２０３で推定された外部環境、ドライバ操作認識部２１７で認識されたアクセルペダルやステアリングの操作状況、メカセンサー１５からの出力に基づいて、運転者の高次随意機能に基づく操作が行われているか否かを確認する。より具体的には、高次随意機能認識部４０１は、曲がり角や交差点のように、人が飛び出してくる可能性がある場所を通過する場合に、運転者がどのような行動をとるかを認識する。発明者らは、実証実験の結果、高次随意機能が正常に機能している場合、すなわち、人が健康な状態では、曲がり角や交差点に近づくのにしたがって減速をして安全を確保するのに対し、脳卒中の疾患の恐れがあると、危険予測の機能が失われ、例えば、減速等をすることなく通過してしまう傾向になる、という知見を得た。発明者らの知見によると、このような状態の運転者の場合、通常の閑散とした道路では、車線をトレースして走行することができる場合があることがわかっている。この車線をトレースして走行するというのは、無意識に近い領域でも処理することが可能な随意機能であり、発明者らの分類では、低次随意機能に属する領域の機能である。すなわち、高次随意機能が損なわれても、低次随意機能は正常に機能している場合があることを意味する。

そこで、高次随意機能認識部４０１では、通過する場所に応じた運転操作、特に、危険の予兆を想定した運転行動、いわゆる「○○かもしれない」運転が正常に行われているかについて、前述の外部環境推定部２０３、ドライバ操作認識部２１７及び／またはメカセンサー１５の認識結果や検出結果に基づいて判定する。自動車が「○○かもしれない」運転を必要とするような走行環境かどうかについては、例えば、ＧＰＳ等から得られる地図情報（例えば、建物情報等の物標情報）と、それぞれの物標に対する走行リスク情報とを定量化することで、認識することができる。そして、高次随意機能認識部４０１は、運転者が走行リスクが高まっているにも関わらず、急にアクセルを踏み込んだり、急にステアリングを切るようなような急操作が連続して発生するような場合に、高次随意機能が正常に機能していないと認識する。また、高次随意機能認識部４０１は、サリエンシーに対するサッケード反応や、物影がある場合にそこにきちんと視線が移っているか等、運転者の視線の動きに基づいて、高次随意機能が正常に機能しているか否かを認識するようにしてもよい。また、他の指標との組み合わせを前提に、高次随意機能認識部４０１は、車内カメラミラーの確認回数をカウントし、ミラーの確認回数が極めて少なかったり、減少幅が大きくなったことを高次随意機能の認識に用いるようにしてもよい。また、前述のとおり、高次随意機能が正常に機能しなくなるような状況において、自律神経指標等の指標で変化が現れるものがあるので、そのような自律神経指標（例えば、心拍数）を、高次随意機能の変化の兆候を把握するために参照してもよい。

なお、一般的に、高次随意機能は、低次随意機能や不随意機能よりも認識するのが難しい傾向にある。そこで、高次随意機能認識部４０１は、（１）複数の指標を組み合わせて高次随意機能が正常に機能していないことを認識するようにしてもよいし、（２）高次随意機能が正常に機能していないことが推定される場合に、アクチュエーション実施部５０に運転者に向けたアクチュエーションを実施させて運転者の反応を確認し、その結果に基づいて高次随意機能が正常に機能していないことを認識するようにしてもよい。アクチュエーション実施部５０の構成は、特に限定されないが、専門の装置を設けてもよいし、例えば、カーナビゲーションシステム（図示省略）やヘッドアップディスプレイ（図示省略）の画面や、ホーンやスピーカー等の音声発生装置を利用してもよい。高次随意機能認識部４０１は、随意機能認識部の一例である。

低次随意機能認識部４０２は、低次随意機能が正常に機能しているか否かを認識する。具体的に例示すると、低次随意機能認識部４０２は、例えば、物体認識部２０１，３０１やドライバ操作認識部２１７で認識された結果から、操舵のふらつきや速度の不安定性の有無を把握し、運転者の低次随意機能に基づく操作が行われているか否かを確認する。より具体的には、例えば、車線に対して自動車の走行にふらつきがあるか否かを物体認識部２０１，３０１やドライバ操作認識部２１７で認識された結果を基に確認する。また、低次随意機能認識部４０２は、例えば、前方車両との車間距離が近づいたり離れたりするような走行をしていないかを確認する。また、前述のとおり、低次随意機能認識部４０２は、車内カメラ１７での撮像結果を基に、前庭動眼反射が正常か否か、頭部の恒常性が保たれているかを確認する。例えば、低次随意機能認識部４０２は、車内カメラ１７の映像を基に、ドライバーの頭の動きとドライバーの視線の動きとを解析することで、前庭動眼反射が正常に行われているかを確認する。また、低次随意機能認識部４０２は、メカセンサー１５の出力と車内カメラ１７の映像を基に、自動車の揺れに対するドライバーの頭の揺れの度合いを解析することで、頭部の恒常性が正常に保たれているかを確認する。低次随意機能認識部４０２は、随意機能認識部の一例である。

不随意機能認識部４０３は、不随意機能が正常に機能しているか否かを、不随意機能が所定時間以上継続して異常状態であることに基づいて認識する。例えば、車内カメラ１７での撮像結果を基に、運転者の運転姿勢崩れや運転者の開眼度を解析し、運転者の疾患を判断する。より具体的には、不随意機能認識部４０３は、例えば、運転者の運転姿勢崩れの状態、及び／または、運転者の開眼状態／閉眼状態が２秒継続した場合に、運転者に疾患が発現したと認識する。

ドライバ状態認識部４００は、運転者に疾患が発現したと認識した場合、自動運転切替部４１０に認識結果を出力する。

自動運転切替部４１０は、ドライバ状態認識部４００の出力を基に、セレクタ２２０に制御信号を出力する。

セレクタ２２０は、自動運転システムＣＵで演算されている仮想運転のための制御信号を実際にアクチュエータ類ＡＣに伝達するかどうかを切り替える機能を有する。セレクタ２２０には、車両運動エネルギー設定部２１５及びエネルギーマネジメント部２１６からアクチュエータ類ＡＣを作動させるための制御信号が入力される。セレクタ２２０は、通常動作時、すなわち、ドライバが正常に運転できる状態の場合、仮想運転の制御信号を出力しないように構成されている。一方で、ドライバ状態認識部４００でドライバの疾患等の異常が認識された場合には、自動運転切替部４１０からの制御信号を受けて、車両運動エネルギー設定部２１５及びエネルギーマネジメント部２１６からアクチュエータ類ＡＣを作動させるための制御信号（以下、自動運転制御信号という）を出力する。各アクチュエータ類ＡＣ（アクチュエータを動作させるためのＥＣＵを含む）では、セレクタ２２０から自動運転制御信号が出力された場合には、運転者からの操作信号に代えて、自動運転制御信号に基づく自動運転に切り替える。

このように、本実施形態の構成によると、ドライバ状態認識部４００で運転者に疾患が発現したと認識された場合、自動運転切替部４１０に認識結果が通知され、自動運転切替部４１０がセレクタ２２０を制御する。これにより、運転者に変わって周囲を含めた安全を確保するように自車両を動作させたり、運転者の認知・判断・操作のうちで劣っている機能を補完したりすることができる。

ここで、本開示の技術は、ドライバ状態認識部４００により、運転中のドライバの高次随意機能、低次随意機能、不随意機能をそれぞれ検出し、各機能の正常／異常の判断の組み合わせにより、最終的なドライバ異常判定のための判定時間を短縮する点に特徴がある。

以下、図６，７を参照しつつ具体的に説明する。図６は運転者状態判定装置の動作の一例を示すフローチャートであり、図７は運転者状態判定装置の動作を説明するための図である。

図３に示すように、運転者の疾患には、Ｐｈａｓｅ１として高次随意機能に異常が確認され、Ｐｈａｓｅ２として低次随意機能に異常が確認され、その後、Ｐｈａｓｅ３として不随意機能に異常が確認されるというように段階的な推移をする場合がある。また、運転者に疾患が発現した後、すぐに不随意機能に異常が発現する場合もある。また、最初に低次随意機能の異常が確認され、その後に、不随意機能に異常が確認される場合がある。

そこで図６では、高次随意機能（Ｐｈａｓｅ１）の異常判定、低次随意機能（Ｐｈａｓｅ２）の異常判定及び不随意機能（Ｐｈａｓｅ３）の異常判定を並列して処理することにしている。

ステップＳ１１では、高次随意機能が正常に機能しているか否かを判定する。ステップＳ１２では、低次随意機能が正常に機能しているか否かを判定する。ステップＳ１３では、不随意機能が正常に機能しているか否かを判定する。

図７のＣａｓｅ１では、高次随意機能が正常に機能し、かつ、低次随意機能が正常に機能していると認識された場合の例を示している。すなわち、ステップＳ１１及びステップＳ１２が、ＯＫ判定の場合の例を示している。このとき、ステップＳ１３での判定は、デフォルト状態の設定を使用する。例えば、不随意機能認識部４０３は、不随意機能の異常状態が所定の判定時間継続した場合に、不随意機能に異常があると判断する。所定の判定時間は特に限定されないが、図７Ｂでは所定の判定時間が２秒の例を示している。図５Ｂの構成の場合、ドライバ状態認識部４００が運転者に疾患が発現したと認識すると、その認識結果が自動運転切替部４１０に出力される。自動運転切替部４１０は、セレクタ２２０を制御して、仮想運転を行っていた自動運転システムの出力をアクチュエータ類ＡＣに出力させて、自動運転に切り替える。

図７のＣａｓｅ２では、高次随意機能が正常に機能していると認識され、かつ、低次随意機能が正常に機能していないことが認識された場合の例を示している。すなわち、ステップＳ１１がＯＫ判定であり、ステップＳ１２がＮＧ判定の場合の例を示している。このとき、不随意機能認識部４０３は、正常に機能しているか否かを認識するための判定時間を短縮する。図７Ｂの例では、判定時間を２秒から１秒に短縮した例を示している。これにより、不随意機能認識部４０３では、運転者の不随意機能の異常が１秒継続した場合に、不随意機能に異常があると判断する。

図７のＣａｓｅ３では、高次随意機能が正常に機能していないことが認識された場合の例を示している。すなわち、ステップＳ１１が、ＮＧ判定の場合の例を示している。この場合、ステップＳ１２において、例えば、低次随意機能認識部４０２は、低次随意機能が正常に機能しているか否かのを判定するための判定条件を変更する。図７Ｂの例では、低次随意機能認識部４０２は、低次随意機能の異常と判定する閾値を下げて、異常が判定されやすくする。さらに、ステップＳ１２がＮＧ判定となると、ステップＳ２２において、不随意機能認識部４０３では、正常に機能しているか否かを認識するための判定時間を短縮する。図７Ｂの例では、判定時間を０．５秒に短縮した例を示している。なお、ステップＳ１１が、ＮＧ判定の場合に、低次随意機能認識部４０２と不随意機能認識部４０３の両方について、判定条件を変更するようにしてもよい。例えば、低次随意機能認識部４０２の閾値を下げ、かつ、不随意機能認識部４０３の判定時間を１秒に短縮するようにしてもよい。また、低次随意機能の異常判定条件の変更は、閾値を下げることに限定されない。例えば、運転者の異常検出のための判定基準や判定閾値を高精度化してもよい。これにより、実質的に異常判定のための時間を短縮したり、異常判定精度を高めたりすることができる。

以上のように、本実施形態によると、随意機能が正常に機能しているか否かを認識する随意機能認識部（高次随意機能認識部４０１、低次随意機能認識部４０２）を設けて、随意機能が正常に機能していないと認識された場合に、不随意機能認識部が正常に機能しているか否かを認識するための判定時間を短縮するようにしている。すなわち、本実施形態では、随意機能認識部により運転者異常が発生する前の予兆を検知し、その予兆が検知された場合に、不随意機能認識部が正常に機能しているか否かを認識するための判定時間を短縮するようにしている。これにより、疾患等により運転者の運転機能が損なわれた場合に、運転者の異常判定を早期化することができ、自動運転／自動停車等の安全制御を早期にかつ確実に立ち上げることができる。

また、本実施形態では、随意機能について、高次随意機能と低次随意機能とに分類分けをすると、運転者異常の発現後には、高次随意機能が先に失われ、低次随意機能の方が最後まで残る傾向があるという知見を得た。そこで、不随意機能が損なわれる前に、高次随意機能と低次随意機能との正常／異常の組み合わせに応じて、異常判定の条件変更や判定時間の短縮をするようにしている。これにより、運転者の異常判定をさらに早期化させたり、異常判定に係る予見の精度を高めることができる。

なお、本開示において、時間を短縮するとは、図７に示したように、直接的に判定のための時間を短縮するという概念に加えて、異常判定のための閾値を緩くしたり、判定閾値を高精度化することで、間接的に異常判定のための時間を短縮することを含む概念であるものとする。

＜その他の実施形態＞
上記の実施形態において、ステップＳ１１，Ｓ１２でＮＧ判定された場合に、ステップＳ１２，Ｓ２２において、その後の各機能の判定条件（例えば、判定時間）を変更するものとしたが、この変更した判定条件をリセットするような工程を設けるようにしてもよい。例えば、ステップＳ１１及び／またはステップＳ１２でＮＧ判定された後に、所定の時間継続して正常な状態が維持された場合、例えば、ステップＳ１１，Ｓ２１，Ｓ３１のいずれもＯＫ判定の状態が維持された場合に、ステップＳ４０に進み、各機能の判定条件をデフォルト値にリセットするようにしてもよい。

上記実施形態において、自動運転システムＣＵは、図６のフローにおいて、判定条件を変更する前後で、運転者に「大丈夫ですか」、「少し休みませんか」との問いかけし、その結果に応じて処理を変更するようにしてもよい。例えば、自動運転システムＣＵは、上記の問いかけを行った場合において、運転者から早急かつ適切な応答があったとき、ステップＳ１２及び／またはステップＳ２２における判定条件を変更しないようにしてもよい。

このように、運転者への問いかけや注意喚起などのアクチュエーションを実施することで、運転者の異常判定の精度を高めたり、運転者に安全な行動を促すことができる。

ここに開示された技術は、自動車に搭載される運転者状態判定装置として有用である。

４０１ 高次随意機能認識部
４０２ 低次随意機能認識部
４０３ 不随機能認識部

Claims (2)

1. 自動車に搭載される運転者状態判定装置であって、
   運転者に異常が発現する予兆を検知するために運転者の随意機能が正常に機能しているか否かを認識する随意機能認識部と、
   不随意機能が正常に機能しているか否かを、当該不随意機能が所定の第１時間以上継続して異常状態であることに基づいて認識する不随意機能認識部とを備え、
   前記随意機能認識部は、
   相対的に高次の随意機能である高次随意機能が正常に機能しているか否かを認識する高次随意機能認識部と、
   高次随意機能よりも低次の随意機能である低次随意機能が正常に機能しているか否かを認識する低次随意機能認識部とを備え、
   前記低次随意機能認識部において低次随意機能が正常に機能していないと認識された場合、前記不随意機能認識部の判定基準を前記第１時間よりも短い第２時間に短縮し、
   前記高次随意機能認識部において高次随意機能が正常に機能していないと認識された後に、前記低次随意機能認識部において低次随意機能が正常に機能していないと認識された場合、前記不随意機能認識部の判定基準を前記第２時間よりもさらに短い第３時間に短縮する
   ことを特徴とする運転者状態判定装置。
2. 請求項１に記載の運転者状態判定装置において、
   前記高次随意機能及び前記低次随意機能の少なくとも一方が正常に機能していないと認識された場合に、運転者に向けたアクチュエーションを実施するアクチュエーション実施部のアクチュエーションの方法を変更する
   ことを特徴とする運転者状態判定装置。

Images