JP7204739B2 - 情報処理装置、移動装置、および方法、並びにプログラム - Google Patents

Description

本開示は、情報処理装置、移動装置、および方法、並びにプログラムに関する。さらに詳細には、自動車の運転者の状態情報を取得して、運転者状態に応じた最適な制御を行う情報処理装置、移動装置、および方法、並びにプログラムに関する。

近年、多くの事故の発生要因が運転者による注意低下や眠気、無呼吸症候群に絡む睡魔、心臓発作や脳こうそくなど突発的な疾患発作により発生している。この事態を受け、運転者の状態をモニタリングする事で、これらの事故を予防する取り組みがなされている。特に、重大事故に繋がる可能性が大きい大型車両へのモニタリングシステムの搭載が検討されている。

運転者の状態をモニタリングするシステムについて開示した従来技術として、例えば以下の文献がある。
特許文献１（特開２００５－１６８９０８号公報）は、運転者の生体信号を定期観測し、観測結果を解析装置に送信し、解析装置において異常の有無を判定し、異常検出時に運転席の表示部に警告情報を表示するシステムを開示している。

また、特許文献２（特開２００８－２３４００９号公報）は、体温、血圧、心拍数、脈波情報、体重、血糖値、体脂肪、身長と言った身体情報を運転者の健康管理に利用する構成を開示している。

しかし、これらの従来技術に開示された構成は、運転者の定常的な健康状態の把握には利用できても、運転中に発生する突発的な身体異常に対応できるものではないという問題がある。

特開２００５－１６８９０８号公報 特開２００８－２３４００９号公報

本開示は、例えば、上述の問題点に鑑みてなされたものであり、自動車の運転者の状態を取得して、異常の発生を即座に判定して最適な判断、制御、処置を行うことを可能とした情報処理装置、移動装置、および方法、並びにプログラムを提供することを目的とする。

本開示の第１の側面は、
運転者の生体情報を入力して、運転者の覚醒度を評価するデータ処理部を有し、
前記データ処理部は、
運転者の眼球または瞳孔の少なくともいずれかの挙動解析を実行し、該挙動解析結果と、予め生成済みの運転者固有の覚醒状態評価辞書を適用して運転者の覚醒度評価を実行する情報処理装置にある。

さらに、本開示の第２の側面は、
移動装置の運転者の生体情報を取得する生体情報取得部と、
前記生体情報を入力して、前記運転者の覚醒度を評価するデータ処理部を有し、
前記データ処理部は、
運転者の眼球または瞳孔の少なくともいずれかの挙動解析を実行し、該挙動解析結果と、予め生成済みの運転者固有の覚醒状態評価辞書を適用して運転者の覚醒度評価を実行する移動装置にある。

さらに、本開示の第３の側面は、
情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、運転者の生体情報を入力して、運転者の覚醒度を評価するデータ処理部を有し、
前記データ処理部が、
運転者の眼球または瞳孔の少なくともいずれかの挙動解析を実行し、該挙動解析結果と、予め生成済みの運転者固有の覚醒状態評価辞書を適用して運転者の覚醒度評価を実行する情報処理方法にある。

さらに、本開示の第４の側面は、
移動装置において実行する情報処理方法であり、
生体情報取得部が、移動装置の運転者の生体情報を取得するステップと、
データ処理部が、前記運転者の生体情報を入力して、自動運転中の車内の運転者の覚醒度を評価するステップを有し、
前記データ処理部は、
運転者の眼球または瞳孔の少なくともいずれかの挙動解析を実行し、該挙動解析結果と、予め生成済みの運転者固有の覚醒状態評価辞書を適用して運転者の覚醒度評価を実行する情報処理方法にある。

さらに、本開示の第５の側面は、
情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、運転者の生体情報を入力して、運転者の覚醒度を評価するデータ処理部を有し、
前記プログラムは、前記データ処理部に、
運転者の眼球または瞳孔の少なくともいずれかの挙動解析を実行させ、該挙動解析結果と、予め生成済みの運転者固有の覚醒状態評価辞書を適用して運転者の覚醒度評価を実行させるプログラムにある。

なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本開示の一実施例の構成によれば、運転者の生体情報を入力して、運転者の覚醒度評価を実行する構成が実現される。
具体的には、例えば、運転者の生体情報を入力して、運転者の覚醒度を評価するデータ処理部を有する。データ処理部は、運転者の眼球または瞳孔の少なくともいずれかの挙動解析を実行し、該挙動解析結果と、予め生成済みの運転者固有の覚醒状態評価辞書を適用して運転者の覚醒度評価を実行する。データ処理部は、運転者の生体情報のログデータに基づく学習処理の結果として生成された運転者固有の覚醒状態評価辞書を用いて運転者の覚醒度評価を実行する。データ処理部は、さらに運転者が安全な手動運転を開始可能となるまでの復帰時間の推定処理を実行する。
本構成により、運転者の生体情報を入力して、運転者の覚醒度評価を実行する構成が実現される。さらに、脳内の活動量推定とその経時的変化をモニタリングする事も合わせて可能となる。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

本開示の移動装置の一構成例について説明する図である。 本開示の移動装置の表示部に表示されるデータの一例について説明する図である。 本開示の移動装置の構成例について説明する図である。 本開示の移動装置の構成例について説明する図である。 本開示の移動装置のセンサ構成例について説明する図である。 覚醒状態評価辞書の生成シーケンスについて説明するフローチャートを示す図である。 覚醒状態評価辞書の生成シーケンスについて説明するフローチャートを示す図である。 運転者の視線挙動の解析データの一例を示す図である。 運転者の視線挙動の解析データの一例を示す図である。 覚醒状態評価辞書のデータ構成例について説明する図である。 覚醒状態評価辞書のデータ構成例について説明する図である。 覚醒状態評価辞書のデータ構成例について説明する図である。 覚醒状態評価辞書のデータ構成例について説明する図である。 運転者の覚醒状態評価に基づく制御シーケンスについて説明するフローチャートを示す図である。 本開示の情報処理装置が実行する学習処理シーケンスについて説明するフローチャートを示す図である。 運転者の覚醒状態評価に基づく制御シーケンスについて説明するフローチャートを示す図である。 観測値に相当する可観測評価値と復帰遅延時間（＝手動運転復帰可能時間）の複数の関係情報（観測プロット）の分布例と復帰成功率について説明する図である。 自動運転モードにおいて運転者が実行している処理（２次タスク）の種類に応じた手動運転復帰可能時間について説明する図である。 本開示の情報処理装置が実行する学習処理シーケンスについて説明するフローチャートを示す図である。 情報処理装置のハードウェア構成例について説明する図である。

以下、図面を参照しながら本開示の情報処理装置、移動装置、および方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
１．移動装置と情報処理装置の構成と処理の概要について
２．移動装置の具体的な構成と処理例について
３．覚醒状態評価辞書の生成処理と利用処理の概要、および辞書のデータ構成例について
４．（実施例１）運転者モニタリングに基づく制御を行う実施例（ＳＡＥ定義レベル１～２の場合の制御処理例）
５．（実施例２）運転者モニタリングに基づく制御を行う実施例（ＳＡＥ定義レベル３以上の場合の制御処理例）
６．情報処理装置の構成例について
７．本開示の構成のまとめ

［１．移動装置と情報処理装置の構成と処理の概要について］
まず、図１以下を参照して、移動装置と情報処理装置の構成と処理の概要について説明する。
本開示の移動装置は、例えば、自動運転と手動運転を切り替えて走行することが可能な自動車である。
このような自動車において、自動運転モードから手動運転モードに切り替える必要が発生した場合、運転者（ドライバ）に手動運転を開始させることが必要となる。

しかし、自動運転実行中の運転者の状態は様々である。例えば、ハンドルから手を放しているのみで、運転時と同様、自動車の前方を注視している場合もあり、本を読んでいる場合もあり、また、居眠りをしている場合もある。さらに、無呼吸症候群に絡む睡魔、心臓発作や脳こうそくなど突発的な疾患が発生している可能性もある。
これらの状態の違いにより、運転者の覚醒度（覚醒度（意識レベル））は異なるものとなる。
例えば、居眠りをすると、運転者の覚醒度が低下する。すなわち覚醒度（意識レベル）が低下した状態となる。このような覚醒度が低下した状態では、正常な手動運転を行うことができず、その状態で手動運転モードに切り替えてしまうと、最悪の場合、事故を起こす可能性がある。

運転の安全性を確保するためには、運転者がはっきりした意識のある状態で手動運転を開始させることが必要となる。本開示の移動装置、または移動装置に搭載可能な情報処理装置は、運転者の生体情報や、運転者の操作情報を取得して、これらの取得情報に基づいて安全な手動運転が開始できるか否かを判定して、判定結果に基づいて手動運転の開始制御を行う。

図１以下を参照して本開示の移動装置と、移動装置に装着可能な情報処理装置の構成と処理について説明する。
図１は、本開示の移動装置の一例である自動車１０の一構成例を示す図である。
図１に示す自動車１０に本開示の情報処理装置が装着されている。

図１に示す自動車１０は、手動運転モードと、自動運転モードの２つの運転モードによる運転が可能な自動車である。
手動運転モードは、運転者（ドライバ）２０の操作、すなわちハンドル（ステアリング）操作や、アクセル、ブレーキ等の操作に基づく走行が行われる。
一方、自動運転モードでは、運転者（ドライバ）２０による操作が不要、または、一部不要であり、例えば位置センサや、その他の周囲情報検出センサ等のセンサ情報に基づく運転が行われる。
位置センサは、例えばＧＰＳ受信機等であり、周囲情報検出センサは、例えば、カメラ、超音波センサ、レーダ、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ、Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）、ソナー等である。

なお、図１は、本開示の概要を説明する図であり主要な構成要素を概略的に示している。詳細構成については後段で説明する。

図１に示すように、自動車１０は、データ処理部１１、運転者生体情報取得部１２、運転者操作情報取得部１３、環境情報取得部１４、通信部１５、通知部１６を有する。
運転者生体情報取得部１２は、運転者の状態を判定するための情報として、運転者の生体情報を取得する。取得する生体情報は、例えば、ＰＥＲＣＬＯＳ（開眼割合）関連指標、心拍数、脈拍数、血流、呼吸、心身相関、視覚刺激、脳波、発汗状態、頭部姿勢挙動、眼、注視、瞬き、サッケード、マイクロサッケード、固視、ドリフト、凝視、虹彩の瞳孔反応、心拍数＆呼吸から推定される眠気の深さ、累計蓄積疲労度、眠気指標、疲労度指標、視覚事象の眼球探索頻度、固視遅延特性、固視維持時間などの生体情報中の少なくともいずれかの情報である。

運転者操作情報取得部１３は、例えば、運転者の状態を判定するためのもう一つの側面からの情報である運転者の操作情報を取得する。具体的には、例えば、運転者により操作可能な各操作部（ハンドル、アクセル、ブレーキ等）の操作情報を取得する。

環境情報取得部１４は、自動車１０の走行環境情報を取得する。例えば、自動車の前後左右の画像情報、ＧＰＳによる位置情報、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ、Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）、ソナー等からの周囲の障害物情報等である。

データ処理部１１は、運転者生体情報取得部１２や運転者操作情報取得部１３の取得した運転者情報や、環境情報取得部１４の取得した環境情報を入力し、自動運転中の車内の運転者が安全な手動運転が実行可能な状態にあるか否か、さらに手動運転中の運転者が安全な運転を実行しているか否か等を示す安全性指標値を算出する。
さらに、例えば、自動運転モードから手動運転モードへの切り替えの必要が発生した場合に、手動運転モードへの切り替えを行うように、通知部１６を介して通知する処理を実行する。

また、データ処理部１１は、運転者の生体情報として、運転者の眼球または瞳孔の少なくともいずれかの挙動解析を実行し、この挙動解析結果と、予め生成済みの運転者固有の覚醒状態評価辞書を適用して運転者の覚醒度評価を実行する。覚醒状態評価辞書の詳細については後段で説明する。

通知部１６は、この通知を行う表示部、音声出力部、あるいはハンドルやシートのバイブレータによって構成される、
通知部１６を構成する表示部に対する警告表示の例を図２に示す。

図２に示すように、表示部３０には、以下の各表示がなされる。
運転モード情報＝「自動運転中」、
警告表示＝「手動運転に切り替えてください」

運転モード情報の表示領域には、自動運転モードの実行時は「自動運転中」の表示が行われ、手動運転モードの実行時は「手動運転中」の表示が行われる。

警告表示情報の表示領域には、自動運転モードで自動運転を実行している間に、以下の表示を行う表示領域である。
「手動運転に切り替えてください」

なお、図１に示すように、自動車１０は通信部１５を介してサーバ３０と通信可能な構成を持つ。データ処理部１１における処理の一部、例えば学習処理等をサーバ３０において行うことが可能である。

［２．移動装置の具体的な構成と処理例について］
次に、図３以下を参照して、本開示の移動装置１０の具体的な構成と処理例について説明する。
図３は、移動装置１００の構成例を示している。なお、以下、移動装置１００が設けられている車両を他の車両と区別する場合、自車または自車両と称する。

移動装置１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、および、自動運転制御部１１２を備える。

入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、および、自動運転制御部１１２は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＩＮ（Ｌｏｃａｌ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、または、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、移動装置１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。

なお、以下、移動装置１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１２が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１２が通信を行うと記載する。

入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、および、レバー等の操作デバイス、並びに、音声やジェスチャー等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線もしくはその他の電波を利用したリモートコントロール装置、または、移動装置１００の操作に対応したモバイル機器もしくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、移動装置１００の各部に供給する。

データ取得部１０２は、移動装置１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、移動装置１００の各部に供給する。

例えば、データ取得部１０２は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、および、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、もしくは、車輪の回転速度等を検出するためのセンサ等を備える。

また、例えば、データ取得部１０２は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、および、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候または気象等を検出するための環境センサ、および、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ、Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）、ソナー等からなる。

例えば、図４は、自車の外部情報を検出するための各種のセンサの設置例を示している。撮像装置７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドアおよび車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。

フロントノーズに備えられる撮像装置７９１０および車室内のフロントガラスの上部に備えられる撮像装置７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像装置７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパまたはバックドアに備えられる撮像装置７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像装置７９１８は、主として先行車両または、歩行者、障害物、信号機、交通標識または車線等の検出に用いられる。また、今後自動運転においては車両の右左折の際により広域範囲にある右左折先道路の横断歩行者やさらには横断路接近物範囲まで拡張利用をしてもよい。

なお、図４には、それぞれの撮像装置７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像装置７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像装置７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパまたはバックドアに設けられた撮像装置７９１６の撮像範囲を示す。例えば、撮像装置７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像、さらには車両周辺部を湾曲平面で囲う全周囲立体表示画像などが得られる。

車両７９００のフロント、リア、サイド、コーナおよび車室内のフロントガラスの上部に設けられるセンサ７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサまたはレーダであってよい。車両７９００のフロントノーズ、リアバンパ、バックドアおよび車室内のフロントガラスの上部に設けられるセンサ７９２０，７９２６，７９３０は、例えばＬｉＤＡＲであってよい。これらのセンサ７９２０～７９３０は、主として先行車両、歩行者または障害物等の検出に用いられる。これら検出結果は、さらに前記俯瞰表示や全周囲立体表示の立体物表示改善に適用をしてもよい。

図３に戻って各構成要素の説明を続ける。データ取得部１０２は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。

また、例えば、データ取得部１０２は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、および、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面またはステアリングホイール等に設けられ、座席に座っている搭乗者の着座状態またはステアリングホイールを握っている運転者の生体情報を検出する。生体信号としては心拍数、脈拍数、血流、呼吸、心身相関、視覚刺激、脳波、発汗状態、頭部姿勢挙動、眼、注視、瞬き、サッケード、マイクロサッケード、固視、ドリフト、凝視、虹彩の瞳孔反応、心拍数＆呼吸から推定される眠気の深さ、累計蓄積疲労度、眠気指標、疲労度指標、視覚事象の眼球探索頻度、固視遅延特性、固視維持時間など多様化可観測データが利用可能である。これら、可観測の運転状態を反映した生体活動可観測情報は、観測から推定される可観測評価値として集約し評価値のログと紐付けたられた復帰遅延時間特性から該当運転者の復帰遅延事案の固有特性として後述する安全性判別部１５５で復帰通知タイミングの算出に用いる。

図５は、データ取得部１０２に含まれる車内の運転者の情報を得るための各種センサの例を示している。例えば、データ取得部１０２は、運転者の位置、姿勢を検出するための検出器として、ＴｏＦカメラ、ステレオカメラ、シート・ストレイン・ゲージ（Ｓｅａｔ Ｓｔｒａｉｎ Ｇａｕｇｅ）等を備える。また、データ取得部１０２は、運転者の生体活動可観測情報を得るための検出器として、顔認識器（Ｆａｃｅ（Ｈｅａｄ） Ｒｅｃｏｇｎｉｔｉｏｎ）、ドライバ・アイ・トラッカー（Ｄｒｉｖｅｒ Ｅｙｅ Ｔｒａｃｋｅｒ）、ドライバー・ヘッド・トラッカー（Ｄｒｉｖｅｒ Ｈｅａｄ Ｔｒａｃｋｅｒ）等を備える。

また、データ取得部１０２は、運転者の生体活動可観測情報を得るための検出器として、生体信号（Ｖｉｔａｌ Ｓｉｇｎａｌ）検出器を備えている。また、データ取得部１０２は、運転者認証（Ｄｒｉｖｅｒ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）部を備えている。なお、認証方式としては、パスワードや暗証番号などによる知識認証他、顔、指紋、瞳の虹彩、声紋などによる生体認証も考えらえる。
さらに、、データ取得部１０２は、運転者の眼球挙動特性や瞳孔挙動特性を検出して運転者の交感神経・副交感神経のアンバランス評価値を算出する心身アンバランスファクター算出器を備えている。

通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、移動装置１００の各部から供給されるデータを送信したり、受信したデータを移動装置１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である。

例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、または、ＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）等により、車内機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（および、必要であればケーブル）を介して、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）、または、ＭＨＬ（Ｍｏｂｉｌｅ Ｈｉｇｈ－ｄｅｆｉｎｉｔｉｏｎ Ｌｉｎｋ）等により、車内機器１０４と有線通信を行う。

さらに、例えば、通信部１０３は、基地局またはアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワークまたは事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバまたは制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Ｐｅｅｒ Ｔｏ Ｐｅｅｒ）技術を用いて、自車の近傍に存在する端末（例えば、歩行者もしくは店舗の端末、または、ＭＴＣ（Ｍａｃｈｉｎｅ Ｔｙｐｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）端末）との通信を行う。

さらに、例えば、通信部１０３は、車車間（Ｖｅｈｉｃｌｅ ｔｏ Ｖｅｈｉｃｌｅ）通信、路車間（Ｖｅｈｉｃｌｅ ｔｏ Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）通信、自車と家との間（Ｖｅｈｉｃｌｅ ｔｏ Ｈｏｍｅ）の通信、および、歩車間（Ｖｅｈｉｃｌｅ ｔｏ Ｐｅｄｅｓｔｒｉａｎ）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制または所要時間等の情報を取得する。なお、通信部を通して先導車両となり得る区間走行中前方走行車両とペアリングを行い、前方車搭載のデータ取得部より取得された情報を事前走行間情報として取得し、自車のデータ取得部１０２のデータと補完利用をしてもよく、特に先導車による隊列走行などで後続隊列のより安全性を確保する手段となる。

車内機器１０４は、例えば、搭乗者が有するモバイル機器（タブレット、スマートフォンなど）もしくはウェアラブル機器、自車に搬入され、もしくは取り付けられる情報機器、および、任意の目的地までの経路探索を行うナビゲーション装置等を含む。なお、自動運転の普及でかならずしも乗員は着座固定位置に固定されないことを考慮すれば、将来的にはビデオ再生器やゲーム機器やその他車両設置から着脱利用が可能な機器に拡張利用してもよい。本実施例では、運転者の介在必要地点の情報呈示を該当する運転者に限定した例をして記述をしているが、情報提供はさらに隊列走行等で後続車への情報提供をしてもよいし、更には旅客輸送相乗りバスや長距離物流商用車の運行管理センターに常時情報を上げる事で、適宜遠隔での走行支援と組み合せ利用をしてもよい。

出力制御部１０５は、自車の搭乗者または車外に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）および聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報および聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像またはパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音または警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。

出力部１０６は、自車の搭乗者または車外に対して、視覚情報または聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。

駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。

駆動系システム１０８は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関または駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Ａｎｔｉｌｏｃｋ Ｂｒａｋｅ Ｓｙｓｔｅｍ）、ＥＳＣ（Ｅｌｅｃｔｒｏｎｉｃ Ｓｔａｂｉｌｉｔｙ Ｃｏｎｔｒｏｌ）、並びに、電動パワーステアリング装置等を備える。

ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行う。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各部に制御信号を供給し、ボディ系システム１１０の制御状態の通知等を行う。

ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウインドウ装置、パワーシート、ステアリングホイール、空調装置、および、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー、フォグランプ等）等を備える。

記憶部１１１は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、および、光磁気記憶デバイス等を備える。記憶部１１１は、移動装置１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、および、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。

自動運転制御部１１２は、自律走行または運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１２は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、または、自車のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、および、動作制御部１３５を備える。

検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、車外情報検出部１４１、車内情報検出部１４２、および、車両状態検出部１４３を備える。

車外情報検出部１４１は、移動装置１００の各部からのデータまたは信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部１４１は、自車の周囲の物体の検出処理、認識処理、および、追跡処理、並びに、物体までの距離、相対速度の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。

また、例えば、車外情報検出部１４１は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、および、路面の状態等が含まれる。車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、および、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。

車外情報検出部１４１が取得する情報は、走行区間が重点的に自動運転の走行が可能な区間として常時更新されたローカルダイナミックマップがインフラより供給された区間であれば、主にインフラによる情報供給を受ける事が可能となり、または該当区間を先行走行する車両や車両群より区間侵入に先立ち事前に常に情報更新を受けて走行をすることがあってもよい。また、インフラより常時最新のローカルダイナミックマップの更新が行われていない場合など、取り分け隊列走行などでより安全な侵入区間直前での道路情報を得る目的で、区間侵入先導車両から得られる道路環境情報を補完的にさらに利用しても良い。自動運転が可能である区間であるかは多くの場合、これらインフラより提供される事前情報の有無により決まる。インフラより提供されるルート上の自動運転走行可否情報はいわゆる「情報」としてあたかも見えない軌道を提供していることに等しい。なお、便宜上車外情報検出部１４１は自車両に搭載した前提で図示をしているが、前走車が「情報」としてとらえた情報を利用する事で、走行時の事前予測性を更に高めても良い。

車内情報検出部１４２は、移動装置１００の各部からのデータまたは信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部１４２は、運転者の認証処理および認識処理、運転者の状態の検出処理、搭乗者の検出処理、および、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向、眼球詳細挙動等が含まれる。

さらに、自動運転において運転者は運転操舵作業から完全に離脱した利用が将来的に想定され、運転者は一時的な居眠りや他の作業に取り掛かり、運転復帰に必要な意識の覚醒復帰がどこまで進んでいるかシステムが把握する必要が出てくる。つまり、従来考えられていたドライバモニタリングシステムでは眠気などの意識低下を見る検出手段が主であったが、今後は運転者が運転操舵に全く介在していない状態となるため、システムは運転者の運転介在度合いを操舵機器の操舵安定性等から直接的に観測する手段がなくなり、運転者の正確な意識状態が未知の状態から、運転に必要は意識復帰推移を観測し、その正確な運転者の内部覚醒状態を把握した上で操舵の自動運転から手動運転への介入譲渡を進める必要がある。

そこで、車内情報検出部１４２には主に大きな２段階の役割があり、一つ目の役割は自動運転中の運転者の状態のパッシブ監視であり、二つ目の役割はいざシステムより復帰の要請が出された以降、注意下運転の区間到達までに手動運転が可能なレベルまで、運転者の周辺認知、知覚、判断とさらには操舵機器の作動能力の検出判断である。制御として更に車両全体の故障自己診断を行い、その自動運転の一部機能故障で自動運転の機能低下が発生した場合も同様に運転者による早期手動運転への復帰をうながしても良い。ここでいうパッシブモニタリングとは、運転者に意識上の応答反応を求めない種類の検出手段をさし、物理的な電波や光等を機器から発信して応答信号を検出する物を除外するものではない。つまり、仮眠中など無意識下の運転者の状態モニタリングを指し、運転者の認知応答反応でない分類をパッシブ方式としている。電波や赤外線等を照射した反射や拡散信号を解析して評価するアクティブ応答デバイスを除外するものではない。反して、運転者に応答反応を求める意識的応答を求める物はアクティブとしている。

検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、および、動作制御部１３５に供給する。なお、システムによる運転者へ運転復帰指示が出た後に運転者が的確な期限時間内に手動運転が達成できない事が判明し、自動運転のまま減速制御を行って時間猶予生成をおこなっても引継ぎが間に合わないと判断された場合は、システムの緊急事態回避部１７１等に指示を出し、車両を退避の為に減速、退避・停車手順を開始する。つまり、初期状態として同じ間に合わない状況でも、車両を早期に減速を開始する事で引継ぎ限界に到達する到達時間を稼ぎだすことができる。この引き継ぎ手順の遅れに伴う減速処置は、該当車両単体で見れば自体対処を行えるので直接的な問題はない。しかし、不用意な減速の場合、該当道路区間を走行する追従の他車両に対しては進路妨害、渋滞誘発要因、追突リスク要因など弊害が多いことから、通常制御としてではなく、異常事象で回避すべき事象である。そのため、引き継ぎ手順の遅れに伴う減速は、運転者の乱用を防止する目的で後述するペナルティ対象として定義するのが望ましい。

車両状態検出部１４３は、移動装置１００の各部からのデータまたは信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無および内容、運転操作の状態、パワーシートの位置および傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、および、動作制御部１３５の緊急事態回避部１７１等に供給する。

自己位置推定部１３２は、車外情報検出部１４１、および、状況分析部１３３の状況認識部１５３等の移動装置１００の各部からのデータまたは信号に基づいて、自車の位置および姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。

自己位置推定用マップは、例えば、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、および、状況認識部１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に記憶させる。

状況分析部１３３は、自車および周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４および安全性判別部１５５を備える。

マップ解析部１５１は、自己位置推定部１３２および車外情報検出部１４１等の移動装置１００の各部からのデータまたは信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、および、動作計画部１６３等に供給する。

交通ルール認識部１５２は、自己位置推定部１３２、車外情報検出部１４１、および、マップ解析部１５１等の移動装置１００の各部からのデータまたは信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置および状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。

状況認識部１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、および、マップ解析部１５１等の移動装置１００の各部からのデータまたは信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部１５３は、自車の状況、自車の周囲の状況、および、自車の運転者の状況等の認識処理を行う。また、状況認識部１５３は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Ｏｃｃｕｐａｎｃｙ Ｇｒｉｄ Ｍａｐ）とされる。

認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、自車の運動特性を決定付ける貨物積載量や貨物積載に伴う車体の重心移動、タイヤ圧、ブレーキ制動パッド摩耗状況に伴う制動距離移動、積載物制動に引き起こす貨物移動防止の許容最大減速制動、液体搭載物に伴うカーブ走行時の遠心緩和限界速度など車両特有、更には積載貨物特有条件とさらには路面の摩擦係数や道路カーブや勾配など、全く同じ道路環境であっても車両自体の特性、さらには積載物等によっても制御に求められる復帰開始タイミングは異なるため、それら多様な条件の収集を行い学習して制御を行う最適タイミングに反映する必要がある。車両の種類や積載物によって制御タイミングを決定する上で単純に自車両の異常の有無および内容等を観測モニタリングすれば良い内容ではない。運送輸送業などで、積載物固有の特性に応じて一定の安全性を確保する為に望ましい復帰の猶予時間の加算を決めるパラメータを予め固定値として設定をしてもよく、必ずしも全ての通知タイミング決定条件を自己累積学習より一律に定める方法をとらなくともよい。

認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類および位置、周囲の動物体の種類、位置および動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成および路面の状態、並びに、周囲の天候、気温、湿度、および、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。車両を安全に走行させるという事は、その車両の固有の状態で搭載している積載量や搭載部の車台固定状態、重心の偏重状態、最大減速可能加速値、最大負荷可能遠心力、運転者の状態に応じて復帰応答遅延量などに応じて、対処が求められる制御開始ポイントが大きく異なってくる。

状況認識部１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２および状況予測部１５４等に供給する。また、状況認識部１５３は、状況認識用マップを記憶部１１１に記憶させる。

状況予測部１５４は、マップ解析部１５１、交通ルール認識部１５２および状況認識部１５３等の移動装置１００の各部からのデータまたは信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部１５４は、自車の状況、自車の周囲の状況、および、運転者の状況等の予測処理を行う。

予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、および、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、および、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動および体調等が含まれる。

状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識部１５２および状況認識部１５３からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、および、動作計画部１６３等に供給する。

安全性判別部１５５は、運転者の復帰行動パターンや車両特性等に応じた最適復帰タイミングを学習する学習処理部としての機能を有し、学習情報を状況認識部１５３等に提供する。これにより、例えば、既定された一定以上の割合で運転者が正常に自動運転から手動運転に復帰するのに要する統計的に求められた最適タイミングを運転者へ提示することが可能となる。

ルート計画部１６１は、マップ解析部１５１および状況予測部１５４等の移動装置１００の各部からのデータまたは信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、および、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。

行動計画部１６２は、マップ解析部１５１および状況予測部１５４等の移動装置１００の各部からのデータまたは信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、および、追い越し等の計画を行う。行動計画部１６２は、計画した自車の行動を示すデータを動作計画部１６３等に供給する

動作計画部１６３は、マップ解析部１５１および状況予測部１５４等の移動装置１００の各部からのデータまたは信号に基づいて、行動計画部１６２により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部１６３は、加速、減速、および、走行軌道等の計画を行う。動作計画部１６３は、計画した自車の動作を示すデータを、動作制御部１３５の加減速制御部１７２および方向制御部１７３等に供給する。

動作制御部１３５は、自車の動作の制御を行う。動作制御部１３５は、緊急事態回避部１７１、加減速制御部１７２、および、方向制御部１７３を備える。

緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、および、車両状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部１７１は、計画した自車の動作を示すデータを加減速制御部１７２および方向制御部１７３等に供給する。

加減速制御部１７２は、動作計画部１６３または緊急事態回避部１７１により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部１７２は、計画された加速、減速、または、急停車を実現するための駆動力発生装置または制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。なお、緊急事態が発生し得るケースは主に２つある。つまり、自動運転中の走行ルートで本来ならインフラより取得したローカルダイナミックマップ等で安全とされていた道路を自動運転中に突発的な理由で予想外の事故が発生し、緊急復帰が間に合わないケースと、自動運転から手動運転に運転者が的確に復帰することが困難になるケースがある。

方向制御部１７３は、動作計画部１６３または緊急事態回避部１７１により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部１７３は、動作計画部１６３または緊急事態回避部１７１により計画された走行軌道または急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。

［３．覚醒状態評価辞書の生成処理と利用処理の概要、および辞書のデータ構成例について］
次に、本開示の移動装置、または移動装置に備えられた情報処理装置、あるいはこれらの装置と通信を行うサーバのいずれかにおいて実行される覚醒状態評価辞書の生成処理と利用処理の概要、および辞書のデータ構成例について説明する。なお、生成された覚醒状態評価辞書は、移動装置を運転中の運転者の覚醒状態の評価処理に利用される。
覚醒状態評価辞書は、運転者固有の覚醒度（意識レベル）の低下リスク（＝覚醒低下リスク）を示すデータを持つ辞書であり、各運転者に対応付けられた運転者固有の辞書である。

図６、図７に示すフローチャートを参照して、覚醒状態評価辞書の生成シーケンスについて説明する。
なお、図６以下のフローの説明において、フロー中の各ステップの処理は、本開示の移動装置、または移動装置に備えられた情報処理装置、あるいはこれらの装置と通信を行うサーバにおいて実行される。ただし、以下においては、説明を簡略化するため、各ステップの処理を情報処理装置が実行する設定とした例を説明する。

（ステップＳ１１）
まず、情報処理装置は、ステップＳ１１において運転者の認証処理を実行する。この認証処理において情報処理装置は記憶部に予め登録されたユーザ情報（運転者情報）との照合処理を実行して運転者の個人識別を行い、さらに記憶部に格納済みの運転者の個人データを取得する。

（ステップＳ１２）
次に、ステップＳ１２において、認証済みの運転者の覚醒状態を評価する為に用いる辞書（運転者対応覚醒状態評価辞書）が車両のローカル辞書として情報処理装置の記憶部（車両内の記憶部）に保存されているか否かを確認する。

認証された運転者が、その車両を日常的に利用している場合、その車両内の記憶部には、その運転者対応のローカル辞書（覚醒状態評価辞書）が保存されている。ローカル辞書（覚醒状態評価辞書）には、運転者単位の可観測な運転者状態観測値と該当運転者の自動運転から手動運転に復帰する際の挙動特性等の学習データ等が保存されている。
運転者固有の復帰挙動特性の辞書データを用いる事で、可観測された運転者の状態観測値からその検出状態から手動運転に復帰するまでの覚醒度、遅延時間をシステムは推測する事が可能となる。
例えば運転中にモニタリングされた運転者の脈波解析や眼球挙動等の一連の推移挙動の可観測評価値をもとに、その運転者の復帰遅延特性を算出する。

なお、必ずしも同一運転者が同一車両を繰り返し使用するとは限らない。例えば、カーシェアリングなどを行う場合、１人の運転者が様々な複数の車両を利用することがある。この場合、運転者対応のローカル辞書（覚醒状態評価辞書）は、運転者の運転車両内の記憶部に格納されていない可能性がある。このような場合にも運転者対応の覚醒状態評価辞書の利用を可能とするため、各運転者対応の辞書を、自動車と通信可能な外部サーバにも、リモート辞書として格納し、各車両が必要に応じてサーバからリモート辞書を取得可能な構成を有する。
なお、リモート辞書には、多数の運転者対応の覚醒状態評価辞書によって構成される。

（ステップＳ１３）
情報処理装置は、ステップＳ１３において、運転者対応の覚醒状態評価辞書が、現在運転中の車両の記憶部にローカル辞書として格納されているか否かを確認する。
格納されている場合は、ステップＳ１６に進む。
格納されていない場合はステップＳ１４に進む。

（ステップＳ１４～Ｓ１５）
情報処理装置は、ステップＳ１３において、運転者対応の覚醒状態評価辞書が、現在運転中の車両の記憶部にローカル辞書として格納されていないと判定した場合、ステップＳ１４～Ｓ１５において、サーバに運転者対応の覚醒状態評価辞書（リモート辞書）が格納されているか否かを確認し、さらに、格納されている場合はその鮮度についても確認する。
サーバに運転者対応の高鮮度の覚醒状態評価辞書（リモート辞書）が格納されている場合は、ステップＳ１６に進む。
格納されていない場合はステップＳ１４に進む。

なお、サーバに対する辞書検索に際しては、運転者が辞書の保存先を手動で指定しても良いし、ステップＳ１１の認証情報を元に運転者の個人特定処理を行い、システムが自動で遠隔サーバ等から辞書保存先を探索してもよい。さらにはリース、シェアカー、レンタカー等の会員ログデータや乗車カードやプリセット選択保存情報として探索先を事前登録などしても良い。

日常利用で繰り返し同一車両を利用する場合であれば、車両内のローカル辞書に利用毎に更新される辞書を保存しておき、自己完結した利用も想定される。他方、タクシーや乗合バス、物流配送車などの商用車両は、車両の効率利用から同一の車両を異なる複数の運転者が交互に利用する利用形態もあり、その都度運行プランにより割り当てされた車両と運転者の組み合わせが決まる様な利用形態では、辞書は車両に付随させるより、リモートサーバ等に遠隔保管をして乗車車両に利用の都度適宜ダウンロードして利用する。

タクシー等の商用車の乗務のように複数車両を切り替え乗務する用途などでは、運転挙動特性の学習データは遠隔サーバに保存し、利用時に車両に応じてローカルにダウンロードして追加学習をする形態をとることが好ましい。特にバスやタクシー、運転者交替するトラックを高効率に運用する業界では、運転は特定の車両に必ずしも固定化しない為の処置であり、今後カーシェアリングやレンタカー利用等では重要な利用形態となる。

長期間の未利用期間などでデータの陳腐化が起きると、適切な運転者覚醒状態判定が困難となる。そこで、鮮度の高い有効な辞書データが確認された場合は、その辞書データの利用に先立ち、辞書を車両のローカル参照辞書に取り込み、その固有運転者の状態判定にもちいる。運転者の固有情報は、車両内の記録媒体に保存されていてもよく、また後述するように該当の利用者を含む運行を管理する遠隔システムに学習履歴として過去の走行の都度、追加学習更新され、保存されているデータであってもよい。なお、鮮度の高い辞書データとは、直前の数日間まで通常の車両の利用が日常行われる事を示し、例えば数か月や数年間車両の運転から遠ざかっていた運転者が運転するような場合では、辞書の鮮度は低く、直接覚醒状態をそのまま推定に用いるのに適さない。

ステップＳ１５では、サーバに運転者対応の覚醒状態評価辞書（リモート辞書）が格納されている場合はその鮮度についても確認する。
辞書を有しない利用者が新たに車両を利生する場合や、辞書利用の空白期間が長期間になっている場合には、運転者の運転特性が変化している可能性があるため、ステップＳ１７に進み、辞書の新規生成や既存辞書のリフレッシュを行い、運転者特性の新規学習を開始する必要性有無判定を行う。

例えば、運転者が利用する全ての車両で常に該当の運転者状態を把握できるシステムを恒常的に機能しているとは限らない。また、運転者が車両を利用しない空白期間が長い場合等には、その運転者の特性が、学習辞書の登録情報と異なる、すなわち特性変動が発生している可能性がある。このような古い辞書を用いても、現在の運転者の可観測覚醒関連情報に基づいて、正確な運転者の状態推定をすることが困難となる。
そこで、既存認証者の継続再利用の場合は保存辞書の鮮度確認を行う必要があり、ステップＳ１４～Ｓ１５では、その鮮度判定処理が行われる。

ステップＳ１５の判定処理において、遠隔のサーバから運転者対応の辞書（覚醒状態評価辞書（リモート辞書））が検出された場合、ステップＳ１６に進む。

（ステップＳ１６）
ステップＳ１３で、車両から運転者対応の辞書（覚醒状態評価辞書（リモート辞書））が検出された場合、または、ステップＳ１５で、サーバから高鮮度の運転者対応の辞書（覚醒状態評価辞書（リモート辞書））が検出された場合、ステップＳ１６に進む。
ステップＳ１６において、情報処理装置は、車両またはサーバから運転者対応の覚醒状態評価辞書を取得する。

（ステップＳ１７～Ｓ１８）
ステップＳ１３で、車両から運転者対応の辞書（覚醒状態評価辞書（リモート辞書））が検出されず、さらに、ステップＳ１５で、サーバから高鮮度の運転者対応の辞書（覚醒状態評価辞書（リモート辞書））が検出されなかった場合、ステップＳ１７に進む。
ステップＳ１７～Ｓ１８において、情報処理装置は、運転者対応の新規辞書の生成を行う。なお、運転者対応の辞書があるが、未利用期間が長期化して辞書の陳腐化が起きている場合は辞書のリフレッシュ処理を行う。既存辞書から運転者状態を推定する場合、未利用期間に運転者の可観測覚醒関連生体情報と実際の覚醒復帰に要する遅延時間の変動の有無を確認し、較正を行う。

このフローに従った処理により、フロー末尾に記載の運転者対応の覚醒状態評価辞書２００の取得が完了する。運転者対応の覚醒状態評価辞書２００は、情報処理装置のデータ処理部、具体的には運転者の覚醒状態判定処理を実行するデータ処理部がアクセス可能なメモリに格納される。

運転者対応の覚醒状態評価辞書２００は、運転者状態情報（観測値）に基づく運転者の覚醒状態判定処理、および手動運転の復帰までに必要な時間（遅延時間）の推定処理等に用いられる。
情報処理装置は、運転者の定期的なモニタリングを行い、モニタリング情報として、運転者状態情報（生体情報、操作情報）を取得して、状態変化を予測しながら適宜、観測機器の最適化を行い、最適化された観測結果を取得して、運転者対応の覚醒状態評価辞書２００を用いて、運転者の覚醒状態判定処理、および手動運転の復帰までに必要な時間（遅延時間）の推定処理等を実行する。

なお、自動運転から手動運転への引き継ぎの必要性が突発的に発生した場合は、情報処理装置は、即座に運転者が、手動運転を開始できる状態にあるか否かを判断することが必要となる。その場合、判断を早期に行う為にイベントドリブンの運転者の状態観測を行う。該当の運転者の学習履歴の結果とし得られた辞書を用い、運転手の状態モニタリングを行い、少なくとも短期レンジの変化と中期的変化の複数の異なる間隔で状態変化を観測する。

このように、運転者状態の短期レンジの変化と中期的変化の異なる時間間隔で観測が必要となる理由は以下である。つまり、運転者が自動運転に完全依存できるのは、手動運転への引き継ぎ対応が不要な自動車道等の全自動運転可能区間であり、全自動運転可能区間が継続する場合、手動運転の必要性が低く運転操舵タスクから大きく離脱したタスクに従事することができる。その一例は、運転着座席から離れ、横になり深い眠りに入る休息タスクや荷台に移動し、配送先の荷分け作業を行うなどの復帰までの時間猶予が十分にあると期待される様なケースである。その場合、運転者の短期での手動運転への復帰は不要である。そのため、運転者の状態観測はその場合は密に行う必然性は低く、観測間隔が長くても大きな支障はないと考えられる。

なお、自動車の走行中の道路が全自動運転可能区間であるか、手動運転が必要な区間であるか等の情報は、自動車が外部サーバから受信するローカルダイナミックマップ（ＬＤＭ）から取得可能である。ローカルダイナミックマップ（ＬＤＭ）は、車両が走行する道路の走行地図情報であり、地図上の道路を全自動運転可能区間、手動運転必要区間等の区間情報を含む。この区間情報は、例えば渋滞等の状況変化により逐次、変更、更新される。

他方で、引き継ぎ地点（自動運転区間から手動運転区間への引き継ぎ地点）が間近であるか、注意深い走行が求められる区間に接近をしている様な場合、または想定外の引き継ぎリスクがある区間を走行する様な場合では、運転手が復帰（手動運転への復帰）までに要する時間は短期で限れている可能性が高まる。そのため、リスク低減の為に、復帰に要する時間をシステムが正確に把握する必要が出てくる。つまり、運転者の現状状態に対して、システムが運転者の復帰に要する時間を予測する情報を高精度でえる必要となる。その様な状況では、運転者はある程度復帰の心構えが求められ、通知に対して俊敏は引継ぎ準備作業に取り掛かり、変化の激しい状態の観測が想定され、この変化の多い復帰作業は運転者が通知や警報を受けた時点より開始される。そのため、通知のタイミングないしはその一定の時間前からの高頻度観測を開始する事が望ましい。また、その間の復帰開始手順の推移具合に運転者の復帰に対する状況把握と復帰能力が反映される。そして最後の能動的操舵を開始する段階では状況把握の為に視覚的情報取得など俊敏な動作へと続く。システムは通知するタイミングを通知前に事前算出する為に、ログ記録はその通知に先立ち開始の取が掛けられる。つまり、通知に伴う運転者の通知前後でのアクティブ反応特性、推移特性が先ずこの初期ステップで観測される。

この復帰予測時間を推定するためのモニタリングを段階的に適切に行う必要である。つまり、運転者の状態観測のモニタリングサイクルは道路の区間接近情報を加味して次の運転者状態を確認する為のタイミング見直しを都度行う必要がある。

次に図７に示すフローチャートを参照して、情報処理装置による運転者の覚醒状態判定処理、および手動運転の復帰までに必要な時間（遅延時間）の推定処理シーケンスについて説明する。この処理は、先に図６を参照して説明したシーケンスにおいて生成された運転者対応の覚醒状態評価辞書２００を用いて行われる。

図７に示すフローの各ステップの処理について説明する。
図７には、自動車に装着された運転者状態情報取得、解析部３００を示している。
運転者状態情報取得、解析部３００は以下の構成を有する。
情報取得部として、運転者操作情報取得部３０１ａ、運転者第１生体情報取得部３０１ｂ、運転者第２生体情報取得部３０１ｃ、運転者第３生体情報取得部３０１ｄ、運転者第４生体情報取得部３０１ｅを有する。
さらに、情報解析部として、運転者操作遅延、乱れ解析部３０２ａ、運転者呼吸、脈拍ベース睡眠深さ解析部３０２ｂ、運転者眼球挙動ベース意識状態解析部３０２ｃ、運転者姿勢、行動解析部３０２ｄ、運転者活動量解析部３０２ｅを有する。また、運転者の行動履歴解析機器は更に腕時計型の様な日常装着が機器であっても良く、その場合は車両搭乗前からの一環行動推移情報も入力判定情報として利用が可能となる。

運転者操作情報取得部３０１ａは、運転者のハンドル、アクセル、ブレーキ等の操作情報を取得し、運転者操作遅延、乱れ解析部３０２ａは、これらの運転者操作情報を入力して運転者操作の遅延や、乱れの解析データを生成する。
運転者第１生体情報取得部３０１ｂは、運転者の生体情報である呼吸や、脈拍情報を取得し、運転者呼吸、脈拍ベース睡眠深さ解析部３０２ｂはこれらの取得情報に基づいて運転者の睡眠深さを解析する。

運転者第２生体情報取得部３０１ｃは、運転者の生体情報である運転者の眼球挙動情報を取得し、運転者眼球挙動ベース意識状態解析部３０２ｃはこれらの取得情報に基づいて運転者の意識状態を解析する。
運転者第３生体情報取得部３０１ｄは、運転者の生体情報である運転者姿勢、行動情報を取得し、運転者姿勢、行動解析部３０２ｄはこれらの取得情報に基づいて運転者の姿勢、行動を解析する。
運転者第４生体情報取得部３０１ｅは、運転者の生体情報を取得し、運転者活動量解析部３０２ｅは取得情報に基づいて運転者の活動量を解析する。

情報解析部として構成される、運転者操作遅延、乱れ解析部３０２ａ、運転者呼吸、脈拍ベース睡眠深さ解析部３０２ｂ、運転者眼球挙動ベース意識状態解析部３０２ｃ、運転者姿勢、行動解析部３０２ｄ、運転者活動量解析部３０２ｅ、これらの解析部は、次のステップＳ２１で実行する運転手状態総合判定処理に必要な状態パラメータの生成を行う。状態パラメータの例としては、状態判断が可能なステアリング・アクセル、フレーキ操作等の安定度を数値化した値、ＰＥＲＣＬＯＳ（開眼割合）関連指標、心拍数＆呼吸から推定される眠気の深さ、累計蓄積疲労度、眠気指標、疲労度指標、視覚事象の眼球探索頻度、固視遅延特性、固視維持時間など機器に応じて様々である。

運転者状態の解析処理の一例として、生体情報取得部３０１ｃによって取得される運転者の眼球挙動情報に基づく解析例、すなわち、運転者眼球挙動ベース意識状態解析部３０２ｃの実行する運転者の意識状態解析処理について、図８、図９を参照して説明する。

図８は運転者の目の動き、すなわち眼球の高速挙動解析を行い、視線方角の推移を一筆書きに取り込んだデータの一例である。運転者は、運転に関連した情報の方向に視線を向ける。この際、いわゆるサッケード動作で高速に眼球を回転させ、視線を向けた方角の視覚光学的情報を光として網膜に取り込み、その理解を脳内の視覚野で進める。網膜刺激と理解判定を補う役割を果たすのが、視線方角の固視微動である。固視微動は眼球挙動解析より注目方角に起こる眼球の小刻みの動きであり、固視微動を行う過程で補足された情報と記億の参照で認知が完結すると、視線を同一方角に保持する処理は不要となる。すると、次に、視線方角を周辺へ移動させて他の優先確認事象に視線を移動させるいわゆるサッケード動作が出現する。図８は、この情報認知を進める過程における固視微動・マイクロサッケードから次の注目方角へ視線を移動する一連の眼球挙動例を示している。

眼球の固視の近傍探索範囲や固視微動の際の探索ドリフト範囲、認知までの近傍滞留時間などは、脳内の認知、（反射）行動の一連のシーケンスによって規定された範囲、時間となる。これらの範囲や時間は、運転者の覚醒状態によって異なるものとなる。例えば、運転者の覚醒状態が不十分であると、認知に至るまでに時間的な遅延が生じる。

そして、この固視探索で認知に繋がるまでの眼球の揺らぎ幅や範囲と言った探索挙動の範囲の乱れが生じる。更には、固視微動を行っても認知に至るまでの遅延が生じるなど、覚醒安定時と覚醒低下や脳内活動の低下があると動きや範囲に変化が生じる。
光学的な視野情報の取得には、純粋に光としてとらえた物理的情報を取り込んで終了するのではなく、初期視覚情報を元に記憶参照認知が始まり、判断に不足する情報を更に追加取得するなど一連の記憶情報とのフィードバックが繰り返し行われる。また、視覚情報が記憶との参照認知に繋がらない場合、目が泳ぐ等の影響がでるため、該当の運転者の通常正常覚醒時安定挙動状態が分かれば、眼球挙動の運転者の各覚醒レベル固有特性と比較解析をする事で、該当運転者の覚醒状態推定が可能となる。

図９は、１０００ｆ／ｓで観測した運転者の約０．１秒間の僅かな時間で起こる局所視線挙動のトラッキングデータの一例である。図９に示す円で囲まれた範囲が眼球の固視探索をしている挙動範囲となるが、小刻みの挙動が少なく、すぐに異なる対象に視線を移動するような場合は記憶にある情報で個々の対象を短期間で判断に至っていることが推察される眼球の挙動例を示している。同じ箇所を、時間を掛けて観察し、状況判断が不足すると視線を該当方角に戻して詳細の再固視観察を行うなどがある。

この視線による情報認知能力は該当運転者の経験や記憶に大きく影響される。一つの例では、空車の流しのタクシードライバであれば、路上に利用者を見つける事で乗客を乗せるので同じ道路脇歩行者でもよりその挙動に注意を割く眼球挙動を示すし、信号機を見る際の視線固視の滞留時間は、疲労や眼の疲れで視力の落ちた運転者の状態に応じて、より長く信号機の方角青信号の点灯方角確認に時間を要する傾向がある。また、経験を積んだラリードライバーの様に、多様な周辺環境情報を瞬時に判断して次から次への迫る周辺状況を視覚的に捉える状況では、一般の運転者が特定路上物に視線を正確に振り向け固視する場合でも、短期間に周辺視野からサッケードで眼球方角を対象に振り向け、早期のリスク判断をして次の注目対象への頻繁に多様な視覚情報への視線を動かす。

以上の様に、運転者の眼球挙動特性には、特に脳内での記憶との参照認知サイクルの影響を受けた直接的影響を受けた挙動が反映されて表れ、且つ運転者個人特徴が強く表れる為に、運転者固有の挙動変化が覚醒判断に大きく影響する。眼球の挙動の一つに、中心視野の移動がある。中心視野の移動は、周辺視野でとらえた輝度微分箇所に対して、視覚的に詳細判断を行うためになされる。この輝度微分箇所は、何を注視しようとするか、記憶とその記憶の重要性に応じて重み付けが無意識の中で行われ、その重み付けによりゲインが高まった事象に関わる箇所でもある。周辺視野に変化のある視覚情報が入り込んだ時に、視線を移動させるサッケード動作を引き起こすように眼球移動筋（外眼筋）に指示を出す神経伝達の発火が脳内で起こると考えられる。眼球の挙動反応は、入力情報に対する一意的な反応ではない。眼球の挙動反応は、この神経伝達の発火を引き起こす脳内物質の発生の抑制と促進の結果として発生する。
自動運転の利用に連動して生じる、運転者の覚醒状態と、その結果に引き続く正常、非正常は手動運転への引き継ぎ品質が、事前取得せされる眼球挙動特性と連動して情報が取得できる。この取得された情報に基づいて、運転者の状態に応じた教師データとして学習が可能となる。正常な自動運転からの手動運転への引き継ぎは、脳内の認知挙動が的確でかつ俊敏に行われる結果として考えられるる。その反面、正常な引継ぎに遅延が生じたり失敗をしたりする場合では、運転者の意識が上の空であったり、不十分な覚醒復帰になっていなかったり、薬品接種等で意識が低下していたりすることなどにより、反応遅延が生じる。これらの情報を用いることで、様々な教師データ生成が自動で取得できることになる。
従来、眼球挙動と脳内の判断認知挙動の相関は、診察や臨床実験程度の限られた被験者数でしか挙動相関を捉える事ができなかった。つまりサンプルデータ数として限定的である。脳内の活動状態の影響を受ける眼球挙動を外的観測可能情報の入力値として、広範囲の多種多様な条件下での人工知能による挙動相関学習と長期変動トラッキングが学習器を通して行えるようになる。
これら自動運転の覚醒状態評価辞書には、システムによる車両の引き継ぎ判定という重要な機能を支えると同時に、利用者の脳内活動指標を副次的に算出が可能なことから、脳内活動に連動して症状が現れる自律失調症やその他疾患の前兆指標として利用が可能である。

本開示の構成では、認証された各運転者対応の辞書（覚醒状態評価辞書）を元に、各時点での運転者覚醒状態判定を行う。さらに、中長期的な個々の運転者の挙動推移情報も取得して、覚醒状態の評価値を算出する。個々の事象を見る眼球挙動を一つ一つ観測しても、それは見る対象により固視に必要な視覚情報の影響を強く受ける事から、直接的な覚醒度推定は困難であるが、視覚視認する対象に対して多次元的に状況分類して挙動の統計的手法で解析する事で、固視滞留時間の伸張や、探索範囲の広がり、サッケード頻度、固視のドリフトなどに定常時に対する変化として挙動変化が現れる。それら挙動特徴の時系列解析を行う事で、運転者の覚醒状態復帰推移をモニタリングが可能となる。

これら眼球の挙動の特徴は、人体の機能・構造的アナトミカル要素で決まるため個人毎の違いに由来するよりはむしろ、個人毎の認知に関わる経験・記憶やリスク記憶に基づき挙動が決まってくる。ただし、明るさの条件や眼の疲れなどで目の焦点を合うまでの遅延や不十分は視力で対象理解を進める為の探索なども加わることから、より精度の高い覚醒度のレベル判定を行うためには、個人間の特徴を更に条件別に分類された多次元分類辞書で覚醒レベル判定を行うのが良い。これら、脳内の視覚認知活動に関わる影響を直接的に受けることから、中長期的観測データには運転者固有の変動が観測され、例えば自律神経失調症に至る前段の兆候などの推移観測記録が後述する学習により辞書作成の一環として個人特徴量として生成される。

運転者の手動運転復帰までの覚醒状態復帰推移を経時的推移モニタリングするための手順の一つとして本事例では、脳内の知覚判断シーケンスの直接的な神経伝達遅延に伴う影響を観測した眼球挙動解析に付いて詳細を述べたが、その他心電図のローレンツプロットによる評価や呼吸の評価、操舵機器の機能的操舵安定性評価、ＰＥＲＣＬＯＳ評価など様々な手法に階層的に適用する事で、復帰シーケンスに於ける精度の高い覚醒状態推移をモニタリングする事が可能となる。

（ステップＳ２１～Ｓ２２）
図７のフローの説明に戻り、ステップＳ２１～Ｓ２２の処理について説明する。
情報処理装置は、ステップＳ２１～Ｓ２２において、上記の情報解析部として構成される、運転者操作遅延、乱れ解析部３０２ａ、運転者呼吸、脈拍ベース睡眠深さ解析部３０２ｂ、運転者眼球挙動ベース意識状態解析部３０２ｃ、運転者姿勢、行動解析部３０２ｄ、運転者活動量解析部３０２ｅ、これらの解析部から入力する状態パラメータに基づいて、運転手状態の総合判定処理を行う。
この処理には、先に図６を参照して説明したフローに従って生成した運転者対応の覚醒状態評価辞書を用いる。
このステップＳ２１～Ｓ２２では、その時点の観測値に基づいて、運転者の覚醒状態判定処理、および手動運転の復帰までに必要な時間（遅延時間）の推定処理が行われる。

（ステップＳ２３，Ｓ２８）
ステップＳ２３では、手動運転復帰の必要性が判断され、必要ない場合は、ステップＳ２４以下の処理を実行し、必要な場合はステップＳ２８の処理を実行する。

ステップＳ２３では、現在走行中の道路情報を含むローカルダイナミックマップ（ＬＤＭ）の最新データに基づいて、運転者に運転復帰介在レベルが異なる次の区間に侵入する状況に先立ち、ステップＳ２２で求めた復帰時間に基づき、所定の手動運転復帰成功率に達する時間猶予が差し迫った場合に、手動運転へ復帰する必要性ありと判断し、ステップＳ２８へ進み、復帰開始時間に達していれば警報・通知を出して手動運転への復帰シーケンスを開始する。

（ステップＳ２４）
ステップＳ２３で、手動運転復帰の必要性が現時点でないと判定された場合は、ステップＳ２４で、観測間隔の見直しを実行する。
すなわち、取得した運転者の覚醒観測情報を元に、復帰までの猶予期間に状態の再確認をするまでの時間猶予も合わせて確認し、必要に応じて定期観測の観測間隔の調整を行う。観測機器別繰り返し観測待機タイマー３１０を調整して新たな観測間隔を設定する。

この機器毎のモニタリング頻度再設定は、例えば連続自動運転が可能な整備された高速道路の長距離区間の仮眠スペースで運転者が仮眠中などのタイミングで実行される。
道路は、例えば、自動運転可能な領域と手動運転が必要な領域とに区分されている。ただし、これら区間の状態固定ではなくは、天候、災害、渋滞や事故の発生等で逐次変化する。従って、環境変化等で予定外の早期の復帰地点（＝自動運転から手動運転への切り替え点）が発生した際には、運転者は、当面運転に介在しないですむ予定に対し、予定より短期で手動運転を開始しなければならなくなる。例えば、このような場合に、復帰推移の観測が必要であり、覚醒から眼がさめ、立ち上がり、運転着座席に着き、視覚的状況把握をし、操舵に必要な状況判断をするなど一連の状態推移観測を行う必要がある。

つまりは、変化が激しい状態観測となり、仮眠時の定常モニタリングの時間間隔に対して短期間隔のモニタリングに移行する必要と、より正確な推定を行う為に、初期は受動的心拍数や呼吸評価で睡眠の深さ推定から、引き継ぎ完了に近い段階では運転者の眼球挙動の詳細解析などにより、認知判断行動能力の推定をサブミリセカンド間隔で行い、運転者が手動運転で事象対処が可能であるかのシステムは可観測情報を元に判断を行う必要となる。

ステップＳ２４では、これら運転者の状態に応じて実施する各観測器の観測間隔の設定を行い、運転者状態情報取得、解析部３００は、この最適化した頻度でモニタリング観測を行う。

（ステップＳ２５）
次の観測待ち時間までに時間的猶予がある場合は、ステップＳ２５で運転者状態の観測間隔や観測器を見直して運転者の可観測生体信号の継続観測を行う。

（ステップＳ２６）
ステップＳ２６では、各運転者の挙動特性や覚醒度合いを示す観測値が中長期的にどう変動しているか、過去の記憶保存された記録参照値と相対比較評価を行う。
運転者の挙動特性は、時間経過に伴って変化する場合がある。例えば、運転に慣れて緊張が解けてきた場合、事故の発生、あるいは事故に至らない事象経験などによって運転者の挙動特性は変化することがある。運転者の過去の挙動特性からの変化、例えばベースライン挙動変化を捉えて中長期的な解析結果を用いることで、観測値から復帰遅延時間推定を行う際の精度補正が可能となる。
なお、中長期的な解析結果を用いることで、運転者の自律神経失調症の前兆で交換神経、副交感神経のアンバランス等による神経伝達の遅延等を検出することが可能であり、認知判断遅延などの異常発言を早期に捉える事ができる。

（ステップＳ２７）
ステップＳ２７は、上述した中長期的特性変動のベースライン情報となる走行の都度、得られる運転者の挙動特性の学習処理と、学習結果に基づく辞書の生成、更新処理である。
学習データや辞書の保存は事象発生の都度行っても良いし、例えば自動車内のローカルメモリに保存した結果を旅程毎にまとめて運転者と紐付けて遠隔のサーバに保存する設定としてもよい。

なお、運転者の生体信号の観測頻度は、状況により異なり、状況に応じて統合的に評価することが望ましい。例えば、睡眠時無呼吸症候群（Ｓｌｅｅｐ Ａｐｎｅａ Ｓｙｎｄｒｏｍｅ）の傾向がある利用者なら、Ａｐｎｅａ Ｈｙｐｏｐｎｅａ Ｉｎｄｅｘ（ＡＨＩ）係数の高く眠気に襲われるリスクが高い。その様な場合も運転者は急激な眠気に襲わるリスクが例えば高く、そのために短期的変化のモニタリングとイベントドリブン検出を基本とした検出を行う事になる。他方で、緩やかに進む疲労なども認知判断の低下や機能障害等による変化は、短期的変化として運転者の生体信号や観測挙動には表れ難く、疲労等の検出判定を行うにはより長期的変化観測が必要となる。短期的な変化は更に心筋梗塞や脳卒中といった急激な操舵能力喪失に対するシステムへのＡＥＢＳ等の実行する緊急事象対策のトリガーとなる。中期的変化検出は疲労や眠気に等による認知判断能力低下に伴うリスク低減機能をシステムが実行するトリガー信号として用いる事になる。

主に車両利用毎の長期的な運転操舵反応の特性変化を更にモニタリングする事で、運転者の視神経反応と体力機能的な能力変動をとらえる事ができる。特に、通常利用の平常時に比べ、短期間の反射動作の遅延量、反復動作や操舵補正動作速度が車両の運転に必要な操舵動作に対して遅延し、その遅延を補うための急激な補正動作の発生を検出して、異なる利用時期（学習履歴値）との変化を比較する事で、運転者の現時点での、認知、判断、予防行動の何れかの神経伝達パスの長期的変化をとらえる事が可能となる。

図６、図７を参照して説明した処理に従って生成、更新される運転者対応の覚醒状態評価辞書の構成例を図１０～図１２に示す。
図１０～図１２に示すデータは、いずれも運転者対応の覚醒状態評価辞書の構成データの一部を示すものである。図１０～図１２の左端の欄に示すように、運転者の覚醒状態ランクは０～８の９区分に設定している。
覚醒状態ランク０が最も低い覚醒状態であり、深い睡眠に相当するレベルである。
覚醒状態ランク９が最も高い覚醒状態であり、能動的運転、すなわち通常の手動運転を実行可能な覚醒状態に相当するレベルである。

図１０～図１２には、（１）～（１２）まで、運転者から取得可能な運転者情報（生体情報、操作情報）を個別に示している。これらは、先に説明した図７に示す運転者状態情報取得、解析部３００において取得される情報（可観測値）である。
図１０～図１２には以下の可観測情報を示している。
（１）眼球挙動
（２）眼電位
（３）顔面表情
（４）音声（知識応答とトーン＆応答特性評価）
（５）体温、体温変化、末端体温（体温分布）
（６）脳波
（７）心拍・脈拍
（８）動脈血圧
（９）呼吸（頻度。間隔、無呼吸発生）
（１０）操舵機器の操舵安定性評価、ステアリング＆ペダル操舵速度、頻度、小刻み量、オーバー操舵量
（１１）環境認知システムの理想操舵に対する運転者操舵の誤差と遅延量＆ノイズ注入に対する反応評価を含む
（１２）乗車前行動履歴を用いたい評価重み付、余韻ファクタ分類情報：睡眠時間、活動量ウェアブルログ履歴、認諸情報

なお、（１）眼球挙動は、細分類された観測情報として、
（１ａ）Ｓａｃｃａｄｅ頻度
（１ｂ）眼球停留
（１ｃ）マイクロサッケード発生頻度変化と分類
（１ｄ）開瞼度、開眼割合
（１ｅ）ＰＥＲＣＬＯＳ
（１ｆ）開眼速度
（１ｇ）瞳孔径反射
（１ｈ）頭部安定度
（１ｉ）頭部移動とサッケード相関
（１ｊ）路上準静止体へのパーシュート発生

これらの情報（１ａ）～（１ｊ）～（１２）は、先に説明した図７に示す運転者状態情報取得、解析部３００において取得される情報（可観測値）である。
情報処理装置は、これらの取得情報に基づいて、運転者固有の辞書（覚醒状態評価辞書）を生成し、逐次、更新する。また辞書を用いて、運転者の覚醒度を評価する。すなわち、運転者の観測無値に基づいて、運転者の覚醒度レベルがレベル０～９のいずれに相当するかを判定する。

なお、運転者状態情報取得、解析部３００は、図１０～図１２に示す（１ａ）～（１２）の観測値を、図１０～図１２の下段に示す観測値φ１～φ２５として取得する。
覚醒度判定処理に際しては、これらのす観測値φ１～φ２５を用いて、例えば以下の演算式（式１）に従って覚醒度評価値を算出する。
覚醒度評価値＝Σφ（ｉ）・ω（ｉ）・・・（式１）

なお、ｉはインデックスであり、図１０～図１２下段に示すように、（１ａ）～（１２）の各々について、ｉ＝１～２５である。
ω（ｉ）は各観測値φ（ｉ）に対応する重みの値である。
なお、この重みの値は、各運転者固有の値とすることで、各運転者固有の覚醒度レベルを算出することができる。重みの値は、例えば運転者のモニタリングの結果から算出された値を用いる。

なお、覚醒状態評価辞書には、図１０～図１２を参照して説明した運転者の生成情報、操作情報の他、図１３に示すデータを含める設定としてもよい。すなわち、図１３に示すように、
（Ａ）環境情報取得部等により取得した運転者視野注視対象物の分布情報（Ｓａｌｉｅｎｃｙ Ｍａｐ）
（Ｂ）対象物の動体判定を加味した（自走相関物判定を加味したＳａｌｉｅｎｃｙ Ｍａｐ）
これらのデータも含めた構成とすることが可能である。
さらに、図１３に示すように、ＳＡＥ（Ｓｏｃｉｅｔｙ ｏｆ Ａｕｔｏｍｏｔｉｖｅ Ｅｎｇｉｎｅｅｒｓ）の自動運運転定義の自動運転レベルに応じた観測可能データについての定義も含めた構成としてもよい。
覚醒状態評価辞書の例として示す図１０～図１２の辞書構成はデータ構成の一例である。人工知能等を用いて運転引き継ぎ品質と紐付けて自己学習させることで多変数相関関係を自動または半自動で生成し、システムの自己学習演算に許容される範囲で自律学習する事で複合要因判別性能を向上する事が可能である。この教師データを自己選別して学習が可能となるのは、引き継ぎ品質評価が自動運転における引き継ぎイベント毎に実施されるからである。運転者毎の辞書学習が第三者のデータ収集とラべリングなしで行えるのは、自動運転の引き継ぎ時に学習機能を実行する事で初めて現実的に広く実施が可能となる。詳細は後述する。

［４．（実施例１）運転者モニタリングに基づく制御を行う実施例（ＳＡＥ定義レベル１～２の場合の制御処理例）］
次に、本開示の移動装置、または移動装置に備えられた情報処理装置、あるいはこれらの装置と通信を行うサーバが実行する処理の実施例１として、運転者モニタリングに基づく制御を行う実施例について説明する。
以下に説明する実施例１はＳＡＥ（Ｓｏｃｉｅｔｙ ｏｆ Ａｕｔｏｍｏｔｉｖｅ Ｅｎｇｉｎｅｅｒｓ）の自動運運転定義で自動運転レベル１からレベル２程度の自動運転を実行している場合の制御処理例である。

レベル１からレベル２程度の自動運転では、運転者は運転操舵ループからの完全離脱は許容されず部分的離脱のみが許容される。具体的には、運転者は例えばアクセルやブレーキやハンドル操作を行う必要がなく、ハンドルから手を離さないようにして突発事象の発生時にハンドル操作を行えばよい。しかし、このような状態でも、運転者が突発的にハンドル操作をできなくなる可能性がある。このような場合、本開示の構成を適用することで事故の発生を未然に防止することが可能となる。

前述したように、近年、多くの事故の発生要因が運転者による注意低下や眠気、無呼吸症候群に絡む睡魔、心臓発作や脳こうそくなど突発的な疾患発作により発生している。この事態を受け、運転者の状態をモニタリングする事で、これらの事故を予防する取り組みがなされている。特に、重大事故に繋がる可能性が大きい大型車両へのドライバモニタリングシステムの搭載が検討されている。本開示の構成は、自動車の運転者の状態をリアルタイムで取得して、状態の異常時に即座に最適な制御を行うことを可能とする。具体的には、例えば、運転者状態の検出情報（モニタリング情報）に基づいて運転者が車両の正常な操舵制御から離れるリスクが検知された場合、車両を緊急停車させる制御を行い、重大事故を未然に防ぐ構成である。

運転者状態は、運転者から取得可能な生体信号に基づいて判定される。例えば、運転者の顔の向きや瞼の閉じた状態を解析するＰＥＲＣＬＯＳ（開眼割合）評価や、運転者心拍特性や呼吸信号等からの状態判定処理などが利用される。
なお、取得された生体信号は、随時規定の閾値に基づいて異常性の判定を行うとともに、時間的に数分から数十分といった時間レンジの操舵動作特性変化を加味した解析も並列して実行して、運転者の身体的、機能的な異常の検出を行い、注意喚起や車両の緊急停車をさせることで事故の未然防止を実現する。

本実施例では、運転者の可観測生体情報のみならず、さらに運転者による車両のステアリング、アクセル、ブレーキ等の操舵安定性情報を取得し、これらの情報の推移や、相関を解析し、運転者の状態を即時的、かつ長期的なスパンで解析する。長期的な解析情報は、運転者の精神状態の推定にも利用される。

本実施例１に従った制御シーケンスについて、図１４に示すフローチャートを参照して説明する。前述したように、自動運転レベル１～２の利用時には、運転者は運転操舵ループからの完全離脱が許されない。この自動運転レベル２の利用時に、例えば、緊急事態等、運転者が手動運転を開始しなければならない事態も発生し得る。しかし、このタイミングで運転者が正常な手動運転を実行できる状態にない場合もある。安全な走行を実現するためには、運転者が正常な手動運転を実行できる状態であることを確認した後、自動運転モードから手動運転モードへの切り替えを行うことが必要である。運転者が正常な手動運転を実行できる状態にあるか否かを判定するための運転者状態判定処理には、例えば、運転者の操舵作業から離脱に繋がる意識状態の低下の観測情報が利用可能である。

なお、完全自動運転ではない自動運転レベル１～２の利用時や、その他、運転アシストシステムを持つ車両の利用時には、運転者は少なくともハンドル、ブレーキ等、何らかの操作を行うことが必要となる。従って、システムは運転者の操作対象となる機器の操舵妥当性を継続的にモニタリングすることが可能であり、運転者の意識状態を継続的に判定することが可能である。例えば、運転者が特定の道路の車線（レーン）を自動走行させるレーンキープアシストシステムを利用中であれば、運転者は、少なくともアクセルやブレーキ制御を継続的に行う必要がある。また、ＡＣＣ（オートクルーズコントロール）を利用中でもハンドル制御は運転者が行う必要がある。これらの運転者の操作をモニタリングすることで、運転者の意識状態を継続的に判定することができる。

図１４に示すフローチャートは、例えば、ＳＡＥ定義の自動運転レベル１～２や、運転アシストシステムを持つ車両等を用いた運転を実行する場合の制御処理シーケンスである。すなわち、自動車の走行制御の一部を自動制御し、一部を運転者が制御する場合、具体的には、例えば、アクセル、ブレーキを自動制御し、ハンドル制御を自動制御と運転者制御の併用とするといった運転を行う場合の制御シーケンスであり、運転者が何らかの運転操作を実行している状態での制御シーケンスを説明するフローである。
図１４に示すフローの各ステップの処理について、順次、説明する。

なお、図１４以下のフローの説明において、フロー中の各ステップの処理は、本開示の移動装置、または移動装置に備えられた情報処理装置、あるいはこれらの装置と通信を行うサーバにおいて実行される。ただし、以下においては、説明を簡略化するため、各ステップの処理を情報処理装置が実行する例について説明する。

（ステップＳ１０１）
本開示の情報処理装置は、ステップＳ１０１において、運転者状態をモニタリングする。モニタリング対象とする運転者状態には、運転者の生体情報と、運転者による自動車の操作情報、例えばハンドルの操作情報等が含まれる。
これらのモニタリング運転者情報は、ログ４０１として記憶部に逐次格納される。

（ステップＳ１０２）
次に、情報処理装置は、ステップＳ１０２において、取得ログに基づく現在の運転者情報（生体情報、操作情報）と、過去に取得済みの学習データを利用した運転者の覚醒度（意識レベル）の解析を行う。情報処理装置は、運転者状態情報のログに基づく学習処理を実行する学習処理部（学習器）を有しており、情報処理装置の記憶部には、学習結果として生成される学習データ辞書も格納される。
情報処理装置は、ステップＳ１０２において、過去の学習処理によって生成済みの運転者対応の学習データ辞書に基づいて、運転者の反応特性の長期的変動の有無を観測する。

なお、情報処理装置は、ある運転者が自動車の運転を開始する際に、認証処理を実行して個人識別を実行する。情報処理装置は、識別された運転者に対応するログ等の学習データを記憶部に格納するとともに、運転者対応の学習データ辞書を記憶部から取得する。

ステップＳ１０２では、運転者対応の過去のログ等の学習データに基づいて生成された学習データ辞書、すなわち運転者対応の覚醒状態評価辞書に基づいて、運転者の反応特性の長期的変動有無を観測する。具体的には、例えば、認証された固有運転者の行動学習器により作成された行動累計の学習データ辞書に基づき、運転者の反応特性の長期的変動有無を観測する。なお、行動累計学習と記載しているが、単純累計積算評価をしても良い。状況に応じて分類累計を行う事で、分類行動に応じてより正確な状態判定が可能となる。例えば、日の入り時間帯の行動特性、深夜走行の行動特性、連続走行蓄積疲労に応じた行動特性、日中雨天時走行行動特性、夜間市街地逆光下運転行動特性、ワンディングロードでの走行行動特性、などなど状況に応じて運転者の環境認識の行動特性が大きく変化する。
これら分類行動学習には、既知の分類で学習を行う事も可能であるが、運転者個人や多様な走行環境やその組み合わせが実際にはあり、システムが有する入力情報を元に人工知能により自己分類学習する事で多様は状況に適用的分類をさせる事で、運転者固有であったり、車両や積載貨物の運動特性にあったり、状況に最適化をはかる事が可能となる。

この学習器と辞書は初期の利用では分類した十分な実績値を有さない為に判定が困難となるが、利用期間が延びるにつれて判定確度が向上する。これら分類が発生するのは、運転者の年齢による視力の違いや、焦点調整能力の明るさ環境に応じて違いや、積載物に応じた走行に慎重さ、過去の走行経験にともなう注意走行の意識違い等が反映されて表せるため、行動が個人固有特徴として現れる。例えば、同じ運転者でも通勤の際の自家用車の運転から、その固有運転者が大型貨物車両の運転した場合では、業務で運転する大型牽引車を操縦に移行し後の視線や操作特性は変化し、更には貨物無積載時点での走行操舵特性から、貨物を積載したり、更には牽引車両を連結したりした後の運転に対する周囲確認動作や操作、制動開始地点や距離等大きく異なってくる。これら環境を含めた状況分類型の学習する事で運転者の可観測評価値から運転者の状態推計がより高精度で判別が可能となる。分類が不完全であったり、車両情報や環境条件を考慮しないで、運転者の可観測生体情報から異なる条件での復帰特性を一律に合算処理すると、復帰特性が広い分布となり、判定の正確性が損なわれる。

（ステップＳ１０３）
次に、ステップＳ１０３で運転者の覚醒度（意識レベル）の低下判定を行う。覚醒度（意識レベル）の低下が観測されなければ引き続き運転者状態の観測を継続する為にステップＳ１０１に戻り、ステップＳ１０１以下の処理を繰り返す。すなわち、時間経過に伴う運転者状態ログを、継続して取り込み、記憶部に記録する。

運転者の覚醒度（意識レベル）が低下しているか否かの判定処理は、ステップＳ１０２において取得した覚醒度（意識レベル）の解析結果を用いて行う。ステップＳ１０２では、取得ログに基づく現在の運転者情報（生体情報、操作情報）と、過去に取得済みの学習データを利用した運転者の覚醒度（意識レベル）の解析処理を行っている。学習処理部（学習器）は、この解析結果に応じて、運転者の意識低下判定が可能な閾値を登録した辞書（覚醒度（意識レベル）判定する覚醒状態評価辞書）を生成し、記憶部に格納する処理を行っている。なお、この辞書は、識別された運転者固有の辞書である。現在の運転者に対応する意識低下判定が可能な閾値を登録した辞書（覚醒状態評価辞書）が記憶部に存在する場合は、この辞書に登録された閾値に基づいて判定を行う。ただし、この運転者に対応する辞書が記憶部にない場合は、多数の運転者対応の覚醒状態評価辞書に基づく統計処理によって生成した一般化辞書に登録された判定閾値を用いて判定する。

なお、ステップＳ１０３において、運転者の覚醒度（意識レベル）の低下が観測されない場合には、ステップＳ１０１以下の処理を継続するとともに、学習処理部（学習器）は、この時点の運転者状態ログを正常時の状態を示す正常時教師データＬ（Ｔ）４０２として記憶部に記録する。

一方、ステップＳ１０３において、運転者の覚醒度（意識レベル）が低下していると判定した場合は、ステップＳ１０４に進む。

（ステップＳ１０４）
ステップＳ１０３において、運転者の覚醒度（意識レベル）が低下していると判定した場合は、情報処理装置は、次のステップＳ１０４において、運転者の意識低下レベルを現時点より、さらに低下させない為に、例えば、注意警報を発報したり、着座シートへハップティックス振動を加えたり、ハンドルへ信号を加えたりして、運転者に対する通知を行い、運転操舵復帰を促す。

運転者の意識低下が進み、自車のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）機能に依存した一時的な走行継続が派生すると、その間に運転者が復帰できなくなり、ＡＤＡＳの自動運転システムは有効な操縦者不在の状況で自動操舵の限界を超えた場合に事故に直結事態を向けえる事から極めて危険である。そこで、これらレベル２までのシステムでは運転者の意識低下を防ぐ各種対処方を取る必要がある。運転者の意識や介在低下を防ぐ方法は限定する必要はない。

（ステップＳ１０５）
さらに、情報処理装置は、ステップＳ１０５において、運転者の意識低下レベル（覚醒レベル）の継続観測を行うとともに、車両の減速処理、自動運転による運転制御の強制終了処理を開始する。さらに、ペナルティ発行処理を実行してもよい。ペナルティとは、ペナルティを利用者に課す事が本来的な目的ではなく、運転者が該当のペナルティを受けることを事前回避するために設けられる機能である。そのため、段階的ペナルティ付与は有効である。システムは運転者の覚醒状態を判定して利用許可と利用の拒絶を行う事を想定する。例えば違反傾向がある運転者に対して、レベル２の追従走行設定を利用者が起動しようと設定した際に、覚醒低下した状態での利用が追従走行以外の機能で運転者が対処できないリスクが発生する事から、一定の意識低下状態では利用を拒絶する事が有用である。その判定の際に、運転者の覚醒度の十分、不十分判定の閾値を引き上げる事で、利用制限を掛けるペナルティを課してもよい。覚醒状態判定閾値を上げることにより、その運転者の覚醒度（意識レベル）が低下している機能の利用が制限される。パナルティの処置方法は多様であり、利用違反に対する罰則であっても良いし、上限巡航速度の引き下げ、サービスエリアへの強制誘導、車両の利用制限などその一例である。

なお、ＳＡＥ定義の自動運転レベル２は、運転者に車両の制御責任があるレベルであり、このステップＳ１０５において、自動運転による運転制御の強制終了処理を開始した場合、運転者は車両の制御を担う必要が発生する。すなわち運転者は手動運転を開始することになる。

さらに、このステップＳ１０５に至った場合、その直近の運転者状態ログは運転者の覚醒度（意識レベル）の低下を示すログとなるため、学習処理部は、このログデータを意識低下の前兆データの教師データ、すなわち、異常時教師データＬ（Ｆ）４０３として、記憶部に格納する。

（ステップＳ１０６）
次に、情報処理装置は、ステップＳ１０６において、ステップＳ１０５で開始された手動運転の操作情報を解析し、運転者が正常な運転操作を実行しているか否かを検証し、この検証結果に基づいて、運転者の覚醒度（意識レベル）状態が運転復帰可能レベルであるか否かを判定する。

運転者の覚醒度（意識レベル）状態が運転復帰可能レベルであると判定した場合は、ステップＳ１０１に戻り、運転者の状態推移を継続観測し、ステップＳ１０１以下の処理を繰り返す。一方、運転者の覚醒度（意識レベル）状態が運転復帰可能レベルでないと判定した場合は、車両の減速、停止処理を実行して処理を終了する。

次に、図１５に示すフローチャートを参照して、情報処理装置の学習処理部が実行する学習処理のシーケンスについて説明する。
情報処理装置の学習処理部は、
（ａ）図１４に示すフローのステップＳ１０１において取得するログ４０１、
（ｂ）ステップＳ１０３の判定でＮｏと判定された場合に取得される正常時教師データＬ（Ｔ）４０２、
（ｃ）ステップＳ１０５において取得される異常時教師データＬ（Ｆ）４０３、
これらのデータを入力、または生成する。

フローのステップＳ１０１において取得するログ４０１は、運転者の生体情報と、運転者による自動車の操作情報、例えばハンドルの操作情報等からなる運転者状態情報（モニタリング運転者情報）である。

また、ステップＳ１０３の判定でＮｏと判定された場合に取得される正常時教師データＬ（Ｔ）４０２は、ステップＳ１０３において運転者の覚醒度（意識レベル）の低下が観測されない場合、学習処理部がこの時点の運転者状態ログを正常時の状態を示す正常時教師データＬ（Ｔ）４０２として記憶部に記録するデータである。

さらに、ステップＳ１０５において取得される異常時教師データＬ（Ｆ）４０３は、ステップＳ１０３で運転者の覚醒度（意識レベル）の低下が観測され、ステップＳ１０５に至った場合、その直近の運転者状態ログを運転者の覚醒度（意識レベル）の低下を示すログと判断し、学習処理部が、このログデータを意識低下の前兆データの教師データ、すなわち、異常時教師データＬ（Ｆ）４０３として記憶部に格納するデータである。

学習処理部は、これらのデータを用いて、図１５に示すフローに従った処理を行い、図１５のフローの末尾に示す覚醒状態評価辞書２００の更新処理を行う。
覚醒状態評価辞書２００は、運転者の覚醒度（意識レベル）の低下度合いを判定するための辞書である。
図１５のフローの各ステップの処理について説明する。

（ステップＳ１４１）
情報処理装置の学習処理部（学習器）は、まず、ステップＳ１４１において、図１４のフローのステップＳ１０１で取得するログ４０１が、過去の学習処理によって生成され、記憶部に格納済みの正常時教師データ（Ｌ（Ｔ））と、異常時教師データ（Ｌ（Ｆ））のどちらに類似するかを判別し、ログデータ推移に基づいて、運転者が正常な手動運転復帰可能範囲にあるか否かを判定する。

ログデータ推移に基づいて、運転者が正常な手動運転復帰可能範囲にあるか否かを判定する処理は、例えば以下のように実行される。
現在の得運転者状態を示すログデータが、過去の学習処理において生成済みの正常時教師データ（Ｌ（Ｔ））に近ければ、運転者が正常な手動運転復帰可能範囲にあると判定する。
一方、現在の得運転者状態を示すログデータが、過去の学習処理において生成済みの異常時教師データ（Ｌ（Ｆ））に近ければ、運転者が正常な手動運転復帰可能範囲にないと判定する。

（ステップＳ１４２）
次に、情報処理装置の学習処理部（学習器）は、ステップＳ１４２において、ログデータと、過去の履歴データとの差分（シフト変動）を解析して、運転者個人対応の判定辞書、すなわち覚醒状態評価辞書２００を更新する。

これらのステップＳ１４１～Ｓ１４２の処理は、具体的には、例えば以下の処理を実行するものである。
ステップＳ１４１では、運転者状態を示すログデータが、覚醒度（意識レベル）の低下がない覚醒事の事前状態を示す正常時教師データ（Ｌ（Ｔ））に近いか、覚醒度（意識レベル）が低下した状態である覚醒低下時の事前状態を示す異常時教師データ（Ｌ（Ｆ））に近いかの分類処理を行う。
ステップＳ１４２では、ステップＳ１４１の分類結果を用いて、運転者固有の覚醒度（意識レベル）の低下リスク（＝覚醒低下リスク）を示すデータを持つ判定辞書、すなわち覚醒状態評価辞書２００の更新処理を実行する。

ステップＳ１４１～Ｓ１４２の処理により、繰り返し学習に基づく個人特性を反映した辞書が作成される。例えば安定した定常時の運転者固有の挙動特性のログを反映した学習辞書（覚醒状態評価辞書）が生成される。この辞書を適用することで、先に図１４を参照して説明したステップＳ１０２で、運転者固有の長期的変動に基づく解析が可能となる。例えば、運転者が自律失調症等の神経疾患等で反射特性の遅延が発生した場合、個人特性で生成した詳細挙動辞書が構築されることにより、長期挙動変動として検出が可能となる。

このように、条件分類をした状態判別と分類ごとで観測した長期的状態変化の観測から、本形態の実施例では、運転者の実際の交感神経と副交感神経のバランス崩れに起因する反射反応の遅延観測が可能となり、利用者の反射指標として換算が可能となる。

本実施例では、運転者のモニタリング履歴と、覚醒度の低下が観察された際の復帰品質とを関連付け、区分分類学習する事で運転者個人の特徴に基づく詳細な状態区分解析が可能となる。そして、この辞書データは、車両の繰り返し利用で運転者特徴を累計的学習させる事でブラッシュアップ・更新される。この更新により、図１４のフローのステップＳ１０２の判定の高精度化が図られ、長期的な挙動変動を捉える事が可能となる。

一般的に自律神経失調症に至る前にも、交感神経を副交感神経のバランスが崩れ始める事で知覚判断反射反応に影響を及ぼし始める為に、知覚した情報の認知判断に至る処理が遅くなり、操舵のためらいや操舵遅れを取り戻す為にハンドル等の振れ幅の増大など不安定動作が増加する結果、操舵感覚の変調を検出する事が出来る。

本開示の装置では、運転者の眼球詳細挙動解析を行う機能を搭載する事で、サッケードやマイクロサッケード、固視やドリフトと言った観測することが可能となり、その挙動推移から運転者の脳内知覚反応をより直性的に観測することが可能となる。特に、車両の主使用頻度がレベル１やレベル２程度の走行区間であっても、環境整備された高速道路などで予定高いレベルの走行を行う想定で設計された車両であれば、レベル３やレベル４の走行を想定した運転者状態観測、認識機器を搭載する事になり自動運転が社会のあらゆる環境で付ける時代にならなくとも、自動運転のレベル１～レベル２の利用環境でも十分に有効な運転者の精神状態観測手段をなす事が可能となる。

このように、本開示の情報処理装置のデータ処理部は、運転者の眼球または瞳孔の少なくともいずれかの挙動解析を実行し、挙動解析結果と、予め生成済みの運転者固有の覚醒状態評価辞書を適用して運転者の覚醒度評価を行い、さらに、運転者の知覚伝達指標の算出を実行する。眼球の挙動解析としては、例えばサッケード、マイクロサッケード、ドリフト、フィクセーション等の解析が含まれる。本明細書では、知覚伝達指標とは、運転者の視覚認知判断に影響する可観測評価値から得られる精神状態を示す評価値である。

［５．（実施例２）運転者モニタリングに基づく制御を行う実施例（ＳＡＥ定義レベル３以上の場合の制御処理例）］
次に、本開示の移動装置、または移動装置に備えられた情報処理装置、あるいはこれらの装置と通信を行うサーバが実行する処理の実施例１として、運転者モニタリングに基づく制御を行う実施例について説明する。
以下に説明する実施例１はＳＡＥ（Ｓｏｃｉｅｔｙ ｏｆ Ａｕｔｏｍｏｔｉｖｅ Ｅｎｇｉｎｅｅｒｓ）の自動運運転定義で自動運転レベル３以上の自動運転を実行している場合の制御処理例である。

自動運転レベル３以上の自動運転では、運転者は、ほぼ全ての運転操作から離脱することが可能となり、レベル４の走行可能区間であれば例えば居眠りすることも可能となる。
しかし、区間侵入前に予測されなかった予定外の事象発生により、運転者に運転作業への復帰が求められる区間やその可能性がある区間が進路上に発生した場合、運転者が対応できないことがある。例えば運転者における突発的な疾患の発生により、警告（アラーム）を出力しても運転者が気づかず、運転者が手動運転に復帰できない状態になる場合、システムが自動操舵では対処が出来ずに事故の発生につながる。以下で説明する実施例では、運転者状態を常にモニタリングして、このような事故の発生を未然に防止することを可能とした実施例である。

このように、レベル３の走行可能区間においては連続した注意下での自動運転走行は許容される。また、レベル４の走行可能区間においては完全な自動運転走行を行うことで、運転に対する注意の低下が許容される走行となる。しかし、現実的にはレベル３の自動運転走行では、人の精神的行動特性を踏まえると、作業に従事しない状態（例えば、運転したり本を読んだりする等を行わない状態）で注意を持続することは困難と考えられる。そのため、レベル３での自動運転走行では、運転者は注意低下や睡眠に襲われることが予想される。また、知覚認知の視神経反応は、対処が不要な事象が続くと、その状態が認知の仕組みに学習されてしまい、結果的に長期の利用では注意の低下が促されることになる。そのため、周辺状況の監視の効果が低下し、知覚レベルが落ちるといった弊害が予測される。そのため、レベル３での自動運転走行は、人が継続的に利用するには適切ではない利用形態と言える。
その結果、レベル３自動運転走行の利用は、レベル４自動運転走行が可能な区間が断続的に続くような環境で、レベル4自動運転可能区間の間の短期区間での利用が望ましい。レベル４自動運転走行が可能な区間が断続的になるのは、レベル4自動運転の連続利用にはインフラ整備や環境整備が必要だからである。走行環境としてレベル４区間やレベル３区間が斑状に繋ぎ合わさるような環境では、運転に対する注意が必要な走行が求められる区間が途中途中に発生し、その都度、レベル３以下の運転者の復帰要請を行い、的確に復帰をする運用形態が想定される。そして、運転者の適切な覚醒度復帰、つまりは認知判断と対処行動が運転者に求められる覚醒レベルに復帰している事をシステムは自動で判断することが必要となる。そして、通知や警報を受けてから運転者が実際に操舵席で操舵が可能となるまでには、運転者固有の復帰遅延時間が必要となり、システムは運転者の覚醒レベルに応じて該当の運転者が復帰間に要する時間的遅延量を推定した上でその前に通知や警報を発報する必要がある。さらに、覚醒レベルと復帰シーケンスの特性をシステムは把握している必要がある。運転者が明示的に覚醒レベルと復帰シーケンスの特性を示している訳ではないので、システムはその推定をする必要がある。後述その詳細の説明をするが、その推定処理の有力な候補が眼球や瞳孔の挙動解析となる。
脳内の知覚判断と対処行動をシステムが直接的に観測する事は困難である。しかし、外界認知の情報取り込みと判断に必要な追加視覚情報探索などが眼球の挙動に現れるため、その詳細観測から、認知判断に及ぶ情報伝達ループに基づいた反応、つまり脳で（脳の視覚野で）情報を理解する為に、情報を取得できるような眼球挙動反応が観測される。他方で、脳内の認知判断活動を眼球の挙動から観測する事は、脳内で起こる神経伝達特性の一部反映結果を観察することを意味する。眼球挙動観測の副次的効果として、脳内の知覚に必要な神経伝達特性の推定が可能となり、絶対的評価は困難であるものの、眼球挙動の経時的変化を通して神経伝達の活性度の推移は検出が可能となる。
その結果、運転者の自律神経のバランスの崩れによって起こる応答反射反応の低下などが取得できる。特に自動運転の利用で頻繁に運転者の観測がなされるため、運転者に意識させることなく、長期間にわたる持続的な情報収集が行え、運転者の状態の変動の検出が行える。そのため、メンタルヘルスモニタリング観点での利用が期待される。
なお、運転者の眼球挙動に付いて簡単に述べると、人の環境認知の際おける眼球の挙動は、知覚認知を効率的に行う為に、例えば周辺視野でとらえた情報に基づいて注意が必要な方向への視線移動し、更には過去の経験の記憶と視覚からの情報に基づくいた参照／探索を順次進め、物体／状況認識としての確定判断がえられた段階で必要な次期探索を繰り返す。それら脳内の判断手順の一部反応は眼球の視覚情報の探索応答として観測できる。一般に、自動運転が普及して利用者が運転操舵ループから一旦完全に離脱した後、仮眠やビデオ鑑賞など運転に関わらない状況から操舵復帰をする場合、運転者が夢想した状態では無く、知覚・認知と行動判断まで復帰している必要がある。そこで、脳内のそれら行動判断に至っている事を知る外部観測有力手段にこの眼球の挙動解析がある。以下その詳細について記述する。

眼球の動作は、眼球単体や視覚情報の局所的反射で挙動としている訳ではない。つまり、脳内で判断の完結に必要な補完情報探索を階層的に順次行う事で判断を一見瞬時に行っているが、大局的なシルエット判断に続き、確定認知を行う中心視野で局所探索を順次すすめ、記憶参照して判断が完結したらその探索は終了する。つまり、挙動機能的知覚判断に先立ち行われる周辺視野によるリスク判断から周辺輝度変化部に素早く中心視野を振り向けるサッケード動作と、一旦サッケード動作で振り向きざまに対象を中心視野でとらえると、今度はその中心視野でとらえた情報の理解を進める固視微動動作へ進むが、認知動作が介してされない限りは中心視野でとらえた対象の理解促進させる固視微動が疎かになるか、目的を伴わない動作となり流れ眼になる。

つまり、運転者の眼球の詳細挙動を運転者状態の観測手段とする事で、運転者の脳内知覚反応の一側面を観測する事が可能となる。特に眼球の挙動は、人の認知機能として、状況把握に足りない情報不足部に中心視野を振り向け、中心視野により取り込まれた詳細な画像情報の認知必要な詳細特徴把握を進め、使用者の経験情報と脳内で参照し判断に至った順に視線を次に把握するべき次の優先度の高い事象に移動する事を繰り返し行う。

これらの認知行動は、サッケードと呼ばれる高速の回転移動と把握を進めるステップと、視線を向けて詳細探索を進めるＦｉｘａｔｉｏｎ時間で利用者の脳内での知覚判断に応じて固有挙動が現れる。なお、医学的に定義したＦｉｘａｔｉｏｎ（固視）とは、大局的観測では特定方角に眼球を向け固定して見ている様に観測される為に定義された用語であるが、実際にはその方角を中心に眼球は細かな高速の僅かな揺らぎ探索を行っている事が知られている。

先に図８を参照して説明したように、サッケードで大きく新規探索に視線を振り向け、情報補完のために対象に振り向いた後に示すその周辺方角に見られる眼球のふらつき挙動をマイクロサッケードと呼ぶ。また、特定の情報追加探索がないと単なるドリフトとして流れ挙動となることもある。なお、この固視の際のあらわれるマイクロサッケードは、視覚情報の伝達に於ける、頭頂連合野に至る背側視覚経路、側頭連合野に至る腹側視覚経路の伝達の変化があると知覚判断に影響がでる。

このように、眼球の詳細な挙動特性には脳内の活動状況が直接的に影響するため、その眼球挙動の詳細解析を行う事で知覚活性状態を知る事ができる。なお、本実施例は脳内の知覚機能を記述する事が目的ではないために単純化したモデルの記載に過ぎない。利用者の意識低下があると、視線を向けても内容の状況判断が僅かに遅れる結果、眼球の挙動特性に覚醒状態に応じて変化が現れる。しかし、前述のように運転者自身の記憶に参照して判断を進める結果、運転者個人の記憶をつかさどる過去の経験・無意識下の記憶に大きく依存する。その結果、詳細挙動は運転者固有の特性として現れる為に個人特性として学習評価を行わないと精度の高い内部覚醒判定が出来ない側面がある。そこで、自動運転の運転者手動運転復帰判断手段に関わる実施形態に付いて詳細を述べ、その過程で所得される運転者の眼球挙動特性の詳細解析を利用する事で運転者の交換神経、副交感神経等のバランスの崩れ等を評価することで、運転者のメンタルヘルスのスクリニング指標や精神疾患のスクリニング指標に利用が可能となる。

例えばＳＡＥ定義でレベル３と呼ばれる自動運転での走行（運転者の操作をほとんど必要としない自動運転走行）を行っている間に、その走行途中で運転者が手動運転を開始しなければならなくなったような場合、運転者は手動運転で安全走行が可能な運転能力を発揮できる覚醒状態に回復している必要がある。システムがこの回復状態の把握が実現できないと、自動運転が可能な区間と、手動運転や運転者監視下での自動運転（いわゆるレベル３相当区間）を許容する区間とが入り混じる走行路（旅程）の安全な走行が保証されず、望ましくない。

自動走行から運転者による手動走行への移行の際には、無減速、無停車でシームレスに繋ぐことが望ましい。車両を頻繁に停車させて運転者の自主的復帰を待つという処理は、周辺を走行する他の車両に対して迷惑であり、渋滞や事故に誘発要因となり、不便極まりない。従って、走行中に手動運転の復帰能力を判断する手段、すなわち覚醒度評価を持続的に実行する構成が不可欠な技術と言える。

以下において説明する実施例２も基本的には、先に説明した実施例１に準じる運転者固有の学習を行い運転者状態の観測を行う。ただし、自動運転レベル３以上の利用を含む運転モードを搭載した車両では、運転者が運転操舵から完全に離脱し、システムは運転者の機器操舵能力を直接的に観測が出来ない状況となる。つまり、運転者によるハンドルやペダルの操舵観測が出来ない為に、少なくとも一部段階ではパッシブ観測する必要がある。このパッシブ観測の１つとして運転者の眼球挙動解析を利用する。

このような処理が必要となる背景について簡単に説明する。
自動運転の実社会への導入が進むとしても、人工知能による環境認知と判断能力で車両が走行し得るあらゆる環境条件にまたがり人が一切の操舵に介在せずに異なる２点間を自由に従来の手動運転走行車両と同等の速度で移動する事はまだ暫く難しいと目されている。そこで、人が介在せずとも自動運転システムによる走行が可能な道路インフラを整える事で、人が介在しない走行区間の導入が現実的な導入手順として考えられている。他方で、我々が使い慣れている所有車両の形態では道路環境が連続的に繋がっていれば、回り道はあるにせよ、あらゆる出発点から目的地まで道路に沿って移動が出来る利点がある。つまり、人が介在していなくても自動で走行できる区間と人の介在が必要な区間の混在した道路環境が整備され、この混在区間を、運転者が必要に応じて復帰して走行区間を走破する考えである。

この考えも妥当性があると思われるが、単純にそのまま導入した場合の落とし穴がある。すなわち、この仕組みには人の行動パターンの加味されていない。前述の通り、自動運転区間を長期に利用した運転者は運転操舵ループから完全に離脱してしまい、思考活動が運転操舵から全く離れた場合には、自動運転から手動運転や介在運転に復帰することを求められても、そのことすら把握できなくなる恐れがある。自動運転の初期の導入には、利用者は懐疑的自動運転のシステムを利用するため運転操舵のループから意識が大幅に遠のく事が稀であると考えられるが、やがて、自動運転に慣れると、運転者は自動運転から手動運転に復帰が必要であることを示すサインを見落とす可能性がある。また、復帰必要性すら意識しない事態が発生し得る。手動運転への復帰指示を見落とす運転者がいた場合、その車両を緊急停車させたり、減速、徐行、退避といった処理を実行させる方法が提案されているが、一般道路のインフラで、このような停止処理の頻度が多くなると渋滞が多く発生し、社会インフラ機能の破たん、経済活動の破たんをきたす可能性がある。

本題との関わりに戻ると、今後広く導入が見込まれている自動運転のメリットを最大限に生かすには、自動運転を可能とする道路整備と環境維持を行う一方で、その実現が困難な区間やポイントでは、運転者が安全な手動運転に復帰させる必要がある。
この場合、自動運転走行区間から手動運転走行区間に侵入する前に、運転者の手動運転への復帰可否判断を行う必要がある。つまり、運転者状態を常時モニタリングして、手動運転開始タイミングで、運転者が所定の覚醒度に到達していることがもとめられる。その実現の為には、システムは運転者の状態観測することが不可欠である。また、その引き継ぎ作業を実際に行った結果、実際の引き継ぎ成功可否や引き継ぎ品質（引継ぎ成功時の運転者の状態の程度）としての結果の観測が可能である。運転者に関連付けた覚醒度関連の可観測な評価値の観測と引き継ぎの成否、引き継ぎ復帰遅延時間などの引き継ぎ品質等が蓄積データとして収拾でき、イベント発生の都度加わるデータを相関学習する事で、システムが的確な通知タイミングや覚醒（警報発報）タイミングを推定する事が可能となる。そのタイミング推定に付いての詳細は後述する。他方で、この運転者状態観測から得られる可観測評価値とその都度派生する引き継ぎ作業の引き継ぎ成功品質と関連付けて可観測評価値を中長期的にその変動を自己学習し、その経時的変動の推移を解析する事でメンタルヘルス的な指標をえることが可能となる。特に、通常時に比して運転者の持続的なメンタルヘルス指標の変化が継続的に観測される場合に、交換神経・副交感神経のアンバランスが生じている可能性が高く、その状態が持続的に続くと自律神経失調症やうつ病などの重篤化に繋がるリスクが高まると考えられる。交換神経・副交感神経のアンバランスは初期の段階で自覚症状は知られていなく、一般的に、重篤化した段階で初めて診察等を経て病状判明する事が多い。そのため、診断に至った段階ではすでに負担を強いられる治療が長期にわたり必要となるケースがほとんどである。
ここで、自動運転の前述の利用では、運転者の視覚認知判断をつかさどる視神経反応の挙動特性から運転者の復帰遅延時間推定するために、運転者の常時モニタリング観測をする。そして、これら交換神経・副交感神経のアンバランスに影響された反応特性がその観測結果から副次的に得られる。この指標を提供する技術に関する。具体的には高精度な指標算出を可能とする技術の仕組みは、自動運転の利用の際の手動運転引き継ぎ時に利用する復帰時間推定器がコアとなる部分であり、、図１６以下のフローチャートを用いて説明する。

図１６に示すフローチャートは、例えば、ＳＡＥ定義の自動運転レベル３以上のレベルで自動運転を実行する場合の制御処理シーケンスである。すなわち、運転者はほぼ全ての運転操作から離脱可能な状態で走行する場合の制御シーケンスであり、運転者からの運転操作情報が取得できない状態での制御シーケンスを説明するフローである。
図１６に示すフローの各ステップの処理について、順次、説明する。

なお、図１６以下のフローの説明において、フロー中の各ステップの処理は、本開示の移動装置、または移動装置に備えられた情報処理装置、あるいはこれらの装置と通信を行うサーバにおいて実行される。ただし、以下においては、説明を簡略化するため、各ステップの処理を情報処理装置が実行する例について説明する。自動運転での走行モードを搭載した車両を利用する際に、運転者の挙動特性はシステムにより常に観測され、状態認識されて運転者固有の挙動特性情報として履歴学習され、その挙動特性は個人特性として辞書として取り込まれる。

なお、図１６に示すフローにおいて、ステップＳ２０１～Ｓ２０２のループは、自動運転から手動運転への切り替えの必要性が無い場合は、継続して実行される。ただし、例えば、外部要因変化等に伴い、自動運転から手動運転への引き継ぎが必要となった場合、例えばイベントトリガーを受けた場合は、その変化にそってステップＳ２０２で引き継ぎ開始判定を行う。なお、このループに於ける変化発生時のシーケンス推移をみる為、時刻ｔ（ｎ）でステップＳ２０１の運転者情報（生体情報）を観測してステップＳ２０２で引き継ぎ開始シーケンスに至らずにステップＳ２０１に戻り、運転者状態を継続観測する時刻をｔ（ｎ＋１）と仮に定める。

自動運転から手動運転への引き継ぎ必要地点の到達時刻をｔ（ＴｏＲ＿ｐｏｉｎｔ）（Ｔａｋｅ ｏｖｅｒ Ｒｅｑｕｅｓｔ地点）、その到達時刻に遡り、引き継が既定成功率ＲＲＲ（Ｒｅｑｕｅｓｔｅｄ Ｒｅｃｏｖｅｒｙ Ｒａｔｅ）で引き継げる為の算出引き継ぎバジェット、ΔｔＭＴＢＴ （Ｍｉｎｉｍｕｍ Ｔｒａｎｓｉｔｉｏｎ Ｂｕｄｇｅｔ Ｔｉｍｅ）とすれば、ｔ（ｎ＋１）観測結果の変化が発生していない場合でも、ＴｏＲ地点の到達する予測時刻ｔ（ＴｏＲ＿ｐｏｉｎｔ）に先立ち、｛ｔ（ＴｏＲ＿ｐｏｉｎｔ）－ΔｔＭＴＢＴ（Ｍｉｎｉｍｕｍ Ｔｒａｎｓｉｔｉｏｎ Ｂｕｄｇｅｔ Ｔｉｍｅ）｝より前に引き継ぎ通知や警報を発報する必要がある。そこで、ｔ（ｎ）からΔｔ後のｔ（ｎ＋１）で｛ｔ（ｎ＋１）－｛ｔ（ＴｏＲ＿ｐｏｉｎｔ）－ΔｔＭＴＢＴ（Ｍｉｎｉｍｕｍ Ｔｒａｎｓｉｔｉｏｎ Ｂｕｄｇｅｔ Ｔｉｍｅ）｝｝＜０となるｔ（ｎ）で通知、警報発報手順に移行する。

以上の事を端的に述べると、運転者の状態把握をするモニタリングサイクル期間は、それまでの時点の観測された復帰遅延時間が、道路環境の提供するローカルダイナミックマップ（ＬＤＭ）データにより定められたＲＲＲを達成できる最小引き継遅延許容バジェット時間がこのモニタリングサイクル期間より長くなる前段階で、引き継ぎ通知または覚醒警報を出す事が求められる。

以下、図１６に示すフローの各ステップの処理について説明する。
（ステップＳ２０１）
情報処理装置は、ステップＳ２０１において、運転者の可観測生体情報の常時観測を開始し、過去の履歴記録辞書を参照して、運転者の可観測の評価値より予測される通知または覚醒警報をシステムから受けてから手動運運転復帰までに要する運転者固有の引き継ぎ成功までに遅延時間分布を推定する。

可観測評価値と復帰遅延時間（＝手動運転復帰可能時間）の対応関係について図１７を参照して説明する。図１７（ａ）は、観測値に相当する可観測評価値と復帰遅延時間（＝手動運転復帰可能時間）の複数の関係情報（観測プロット）の分布の一例を示している。この例は、ある運転者のある２次タスクの種類に対応したものである。この複数の関係情報（観測プロット）から復帰遅延時間を算出するために、取得された観測値に対応した評価値方向に一定の幅を持つ領域（破線矩形枠で示している）内の関係情報（観測プロット）を抽出する。図中の点線ｃは、後述の図１７（ｂ）の復帰成功率が０．９５となる復帰遅延時間を、運転者の異なる観測値で観測した際の境界線を表している。

点線ｃより長い、つまり早い猶予時間で運転者に自動から手動の復帰通知や警報を出す事により、運転者の自動から手動復帰が、０．９５以上の割合で成功する事が担保される領域となる。なお、該当毎に自動運転から手動運転に運転者が正常に復帰する目標値（Ｒｅｑｕｅｓｔ ｆｏｒ Ｒｅｃｏｖｅｒｙ Ｒａｔｉｏ）は、例えば、道路側によりインフラの必要性から定められ、個別の区間通過車両に提供される。
なお、走行道路に車両が停車しても周囲へ阻害要因とならないケースであれば、車両を停車してシステムが対処できる速度まで減速して対処をすればよい。通常なら走行道路での停車は必ずしも好ましいケースは多くないため、デフォルト設定として高い復帰率が望ましく、特に首都高速道路などの特定ルートでは敢えてインフラより更新情報が与えられなくとも極めて高い復帰成功率がデフォルトで求められるケースもある。

図１７（ｂ）は、抽出された複数の関係情報（観測プロット）で得られる復帰遅延時間と復帰成功率との関係を示している。ここで、曲線ａは各復帰遅延時間における単独成功率を示し、曲線ｂは各復帰遅延時間における累積成功率を示している。この場合、曲線ｂに基づいて、所定の割合の成功率、図示の例においては成功率が０．９５となるように、復帰遅延時間ｔ１が算出される。

図１８は、自動運転モードにおいて運転者が、運転操舵作業から離脱状態にある時に実行している処理（２次タスク）の種類に応じた手動運転復帰可能時間について説明する図である。

個々の分布プロファイルが、図１７（ｂ）で示す、観測値、すなわち運転者状態に基づいて予測される曲線ａに相当する。つまり、必要な復帰確率で自動運転から手動運転に引き継ぎ点で完了するためには、各段階で検出される運転者の覚醒度合いを評価可能な観測値から、運転者が復帰に要する過去の特性を参照してそのプロファイル（図１７（ｂ）の復帰成功率プロファイル）が所望の値となる時刻ｔ１を元に実際に復帰に必要な状態に各復帰段階で達しているかを引き継ぎが完了するまでモニタリングして行く。

例えば、仮眠している場合の初期曲線は、自動運転で仮眠期間中にパッシブモニタリングしていた呼吸や脈波等の観測情報から睡眠レベルを推測し、覚醒警報発報後に該当運転者の復帰遅延特性を見た累計の平均的分布となる。目が覚めてその後の移動復帰手順中で観測された運転者状態に応じて、途中の各分布は決まっていく。図に示す「６．仮眠している場合」を観測して覚醒警報が間に合う右のタイミングが決定し、その後の途中行程は予測中間点の可観測運転者状態評価値から予測される復帰バジェットの中での復帰時間分布となる。

途中途中で、引き継まで順次減っていく残存引き継ぎ限界タイムリミットに違反しない事を観測し続け、違反リスクがある場合は、減速して時間猶予生成などを行う。なお、例えば「６．仮眠している場合」、「５．着座」のステップが無い中で、「４．非運転姿勢イレギュラー回転着座」からスタートする復帰の際の分布は、初めの状況認知把握から復帰のプロセスが開始されるので、同じ項目でも「６．仮眠している場合」から始めた途中経過としての状態「４．非運転姿勢イレギュラー回転着座」姿勢は同じであっても思考過程が復帰意識過程の途中であり、初めから「４．非運転姿勢イレギュラー回転着座」姿勢で状況認知から開始する場合には、状況認知の時間を要するために長くなる。

なお、現在運転している運転者の可観測評価値と復帰遅延時間との関係情報が記憶部に十分に蓄積されていない場合もある。その場合には、記憶部には例えば同年代の運転者人口から収集された情報に基づき生成された復帰特性情報として、予め備えた復帰の想定分布情報として利用して、復帰遅延時間ｔ１の算出を行うことができる。この復帰情報は、運転者固有特性がまだ十分に学習されていないため、その情報を元に同一の復帰確率で利用しても良く、またはより高い復帰成功率を設定しても良い。なお、人間工学的に見て不慣れな利用者はより慎重になる事から利用初期に早期の復帰が見込まれ、利用に慣れるに従いシステムの通知に合わせた行動に運転者自身が適合していく。なお、多数の車両を運行する物流業、バスやタクシーなどの運行業、更にはシェアリングカーやレンタル自動車で異なる車両を利用する場合、運転者の個人認証を行い遠隔サーバ等で運転の可観測情報と復帰特性を集中または分散して管理や学習し、個別車両に必ずしも復帰特性のデータを保持せず、遠隔学習処理や保持をしても良い。

また、自動運転から手動運転への切り替えが必要であることを通知する通知タイミングが重要となる事から、復帰成功率は一律の成否までの時間として説明をしているが、自動運転から手動運転の成否を２値的な成否に限定せず、復帰引き継ぎ品質に拡張した判別を更に行っても良い。つまり、実際の復帰確認に至る
復帰手順推移の遅延時間、通知に対する復帰開始遅延、途中復帰動作における停滞など、許された時間内での復帰であって復帰品質評価値として学習器へ更に入力をしてもよい。

なお、ステップＳ２０１において取得されるモニタリング情報（運転者状態情報）は、運転者の生体情報であり、これらのモニタリング運転者情報は、ログ４２１として記憶部に逐次格納される。さらに、このログ情報は、平常時教師データＬ（Ｎ）４２２として記憶部に格納される。

このステップＳ２０１で取り込む運転者の可観測評価値は、特定の生体情報の観測値に限定する必要はなく、心拍数、心拍変動、血流、血流変動、皮膚電位、瞳孔輝度応答特性、開眼時間、閉眼挙動特性、サッケード、固視、マイクロサッケード、呼吸変動、血圧、脳波、眼電位、呼気、顔表情の評価、頭部向き、振る舞い、ジェスチャー、姿勢評価、姿勢変動の挙動評価、アクティブジェスチャー応答特性、着座姿勢変動、操舵機器操舵安定性評価など、運転者の覚醒指標とある評価値は複数存在し、少なくともなにらかの手法を一つ以上用いて運転者の状態評価を行う。また、同時に眼球の詳細挙動のログ記録も同時取得する。

先に図１４のフローを参照して説明した実施例１の自動運転レベル１～レベル２の利用の場合と大きく異なる点は、運転者の操作情報を取得していない点である。レベル３以上の自動運転では、運転者が操舵ループから完全に離脱が許容されるため、運転者の操作情報の取得はできない状態となる。この状態において、情報処理装置は、運転者の応答反応が必ずしも取得できず、生体情報のみから、運転者の運転復帰に要するまでの時間（＝安全な手動運転を開始できるまでの時間）を把握する必要がある。ただし、運転者がウェアブル端末やノマーディックデバイス等でシステム通知に定常的に認知応答の反応をフィードバックしている場合は、運転者の応答反応を利用する利用形態もある。

システム（情報処理装置）は、運転復帰の覚醒度合いを判断する以前の段階として、既に運転者の単純は状態とそのステータスを把握する手順が必要となる。つまり、寝ているか、席を外しているか状況に応じて復帰注意を促すタイミングが異なってくる。システムは適切な復帰タイミングで通知や警報を鳴らす必要がある。理由や、システムが引き継ぎの実際に必要となるポイントよりはなはだしく早い段階で通知を行った場合、通知から実際の復帰作業に取り掛かる時間の必然性が低下し、運転者必ずしも速やかに復帰を開始しなくても十分に時間があるタイミングで通知となり、通知自体がいわゆるオオカミ少年の様になり、利用者は通知（の早期対処の重要性）を軽視する事になる。だからと言って、通知を直前にしたのでは今度は運転者の対処が間に合わなくなる恐れも発生する。そこで、大多数の車両が長期的に安定した利用を実現する為には人間工学的視点で通知タイミングの運転者状態や車両の制御特性、道路環境に応じた最適化が必要となる。そのタイミング見測る為には運転者の常時モニタリングをしている必要がある。これら中長期的観測に有効な生体信号群が心拍数、心拍変動、血流、血流変動、皮膚電位、瞳孔輝度応答特性、開眼時間、閉眼挙動特性、呼吸変動、血圧、脳波、眼電位、呼気、顔表情の評価、頭部向き、振る舞い、ジェスチャー、姿勢評価、姿勢変動の挙動評価、アクティブジェスチャー応答特性、着座姿勢変動、操舵機器操舵安定性評価（何ら操舵を行っている場合）などである。そして、常時モニタリングにより最適化したタイミングを常時監視しているので、その情報を元に運転者に復帰通知をし、その通知時点から運転者の２次タスクからの復帰が始まる。

さらに、先に図１４を参照して説明した実施例１（自動運転レベル１～レベル２）と大きく異なるもう一つ大きな特徴は、運転者の運転からの完全離脱状態から運転復帰に必要な意識状態の復帰レベル判定を行う必要がある事である。特に、仮眠などで夢を見ている状態に陥った運転者が試行中の脳内活動と走行前方で展開している実世界の状況を何処まで正確に把握して運転復帰をしようとしているかシステムは脳内の状況を直接見ずに判定を進める必要がある。そこで、運転者の脳内の活動状況の直接観測は困難であるものの、眼球の詳細挙動特性はその脳内の活動状況を一部反映ししており、外部から観測ができる数少ない活動の間接観測手段である。

視覚情報を活動に必要な情報取得手段とする人間は、生存に必要な仕組みとして周辺視野でとらえた方角に対してより詳細の判断情報を補充する為に探究や頭部、更には胴体を動かし、中心視野でと有れば視覚情報の理解を進める為に情報を補う固視状態に推移し更に内容の知能的理解が完結すると次の情報取得への視線が推移をしていく。判断が完結するのは、視覚情報を無意識の内に過去の知識と参照して一定の判断記憶との総合判断が付いた時点で初めて起こる判断の発火により、詳細情報補充である固視微動の活動は終了して次の情報探索へと推移して行く。

つまり、運転者の脳内活動として進む視覚情報、取り分け中心視野による固視微動の繰り返しで得た局所詳細情報の個々の情報累計から判断の確定の際に行う経験脳内記憶情報との参照しながら判断に至るまで探索を継続しようとする結果、この固視微動の探索する眼球の挙動は、交感神経と副交感神経のアンバランスの影響を直接受けてその判断作用が進むことになる。ここで、運転者が運転復帰指示に基づき、着座復帰して操舵を開始するに当たり、最終的には少なくとも一度は前方の道路状況を視覚的に確認してより多くの直感的視覚を通しての情報を取得した上で、更に計器類の確認などを行う事が想定される。

言い換えると、この引継ぎ手順の一環で運転の個々の視覚による情報、特徴把握作業は眼鏡の挙動として運転者の外部から非拘束で且つ離間した装置により観測である事から、運転者の脳内の知覚活動の一端を間接的に観測する事ができる。
本実施例としては、この可観測値を個人特徴として捉え、運転者の実際の観測値やその各状況別観測とその観測された状態での引き継ぎ結果として更に観測される運転復帰可能レベルとの相関を自己学習する事でクラシファイヤー（分類器）の自己完結学習が可能となる。その学習処理を車両の利用を通して常に実行される為、運転者の通常時の反応特性が取得でき、その応答特性に変化が現れれば観測ができるようにある。この運転者の分類可能な挙動特性を長期モニタリングする事で、その応答変化特性をとらえる事が可能となり、アンバランス指標を副次的に算出するものである。
なお、従来のドライバモニタシステムでは運転者状態観測では、覚醒低下が観測対象であり、挙動特性とその挙動に応じた引き継ぎ時の引き継ぎ品質、つまり覚醒低下初期で中断される為、覚醒度低下した範囲に及ぶ覚醒度品質による詳細な分類処理を要しなかったため、挙動特性の変化は分類可能な可観測値の変動幅が狭く、ただの観測バラツキ幅でしかなかった。

本開示の処理では、ステップＳ２０１で取得した生体情報は記録媒体等のメモリに一定期間保持される。保持時間は、運転者が覚醒状態であれば長くとも数分程度で良いが、覚醒レベルが低下している場合は復帰遅延時間の長期的推移を評価する為に、短期記録とは別により長い時間の経過推移履歴の保持を行う。経過履歴保存は、一定期間の繰り返し記録をエンドレス記録し、一定期間の記録を取り続け、状態変化が発生した場合にはその時刻から遡り一連の生体可観測の記録ログとして抜き取り保存し、その後の引き継ぎ品質と関連付けた学習処理をする事で、生体可観測変化推移と運転者の覚醒・反射レベルとの相関が得られる。

（ステップＳ２０２）
次に、情報処理粗数値は、ステップＳ２０２において、自動運転から手動運転への切り替え必要性判定と安全な切り替え可能性判定処理を行う。
この判定処理は、ステップＳ２０１ａで発生するＴＯＲ（Ｔａｋｅ Ｏｖｅｒ Ｒｅｑｕｅｓｔ引き継ぎ要請情報＝自動運転から手動運転への引き継ぎまでに必要な時間）の要請時間を参照して行われる。
ＴＯＲ（Ｔａｋｅ Ｏｖｅｒ Ｒｅｑｕｅｓｔ引き継ぎ要請情報）の要請時間と、復帰必要性猶予時間の残存バジェットとを比較して、ステップＳ２０２の判定処理を実行する。

このステップＳ２０２の処理は、走行の進行や時刻経過にともない刻々と起こる引き継ぎポイント（自動運転から手動運転への引き継ぎポイント）に関する通知や、その事前通知、覚醒警報ポイントの見直しや接近点の見直し等のために実行される。なお、通知ポイントや覚醒警報ポイントとは、運転者の観測状態に応じて知らせたり、覚醒警報をシステムが発報したりするタイミングである。

通知タイミングは、時間ｔ（ｎ＋１）で、
｛ｔ（ｎ＋１）－｛ｔ（ＴｏＲ＿ｐｏｉｎｔ）－ΔｔＭＴＢＴ（Ｍｉｎｉｍｕｍ Ｔｒａｎｓｉｔｉｏｎ Ｂｕｄｇｅｔ Ｔｉｍｅ）｝｝＜０
上記式に基づいて判断される。この通知タイミングは、運転者の復帰特性の学習結果に基づいて、算出タイミングに遅れて通知や覚醒警報をシステムが発報した場合に、運転者が正常に手動運転に復帰できるまでの復帰推移時間の残存時間予算が過不足なく確保できる時間とする。

ステップＳ２０２では、運転者の状態変化や予定走行ルートに走行に伴うローカルダイナミックマップ（ＬＤＭ）の更新情報も加味し、その更新状況を考慮して引き継ぎ可否状態（自動運転から手動運転への引き継ぎ可否状態）が確認される。

このステップは一見不要にも思わるが、例えば以下のような状況において必要となる。例えば、予定引き継ぎ点の変化が無い状態で、ステップＳ２０２の確認手順で、運転者が十分に覚醒していると判定され、引き継ぎ開始の必要性に至っていないと判断された場合、ステップＳ２０１に戻る。その際に運転者の覚醒状態低下が進み、変化した覚醒低下状態では復帰の警報を行っても、運転者がシステムの復帰予測時間より、復帰に時間を要する低覚醒状態に陥って、更には突発的な発作等で実際には復帰が望めない状態に至る事も有りえる。

他方で、予定ルートで新たな事故等の事象発生した場合、引き継ぎ点や警報発報地点が変わっている可能性がある。つまり、ステップＳ２０１～Ｓ２０２のループは、状況変化による引き継ぎ地点の見直し等の際に有効なステップとなる。
なお、ここでいう変化とは、眠気に襲われ本来であれば引き継ぎ点の直前の通知で良かった状態から、より早いタイミングで覚醒警告をする状態の変化が発生し得るため、その対応の対策である。引き継ぎ発生状態に変化がなければ、ステップＳ２０２からステップＳ２０１に戻り、変化を観測しループを回す事で引き継ぎ待機ループを構成する。なお、道路インフラや天候、走行環境、車両の流れなどに特性変化等があればｔ（ＴｏＲ＿ｐｏｉｎｔ）が変わる可能性があり、運転者の２次タスク作業内容が変われば復帰に要する時間猶予、つまりΔｔＭＴＢＴ （Ｍｉｎｉｍｕｍ Ｔｒａｎｓｉｔｉｏｎ Ｂｕｄｇｅｔ Ｔｉｍｅ）も変化する可能性がある。

モニタリングの際の繰り返し間隔、つまりはΔｔの間隔は可変間隔であり、継続的に行うモニタリングをこの待機ループで行う。運転者の継時的な状態や状況の変化が検出更新され、各変化の検出状態に応じてステップＳ２０３、その状態で改めて引き継ぎの必要性判断を行う。つまり変化が生じた時間経過で検出された運転者の覚醒判定に用いる一連の可観測評価値と自己学習辞書を参照して自動運転から手動運転の覚醒復帰可否の判定を行う。ここで述べる状態の変化とは、前述の通り、運転者自身の意識の低下が進んだ事により、例えば本来なら起きて前方を見ていた為に引き継ぎ地点の３０秒前の通知で十分時間的に引き継ぎが可能な状況であったが、運転者が急に睡魔に襲われて意識状態の低下が観測された場合等の変化である。この場合、ステップＳ２０２の判定情報に基づいて、ステップＳ２０１ａで発生したＴＯＲ（Ｔａｋｅ Ｏｖｅｒ Ｒｅｑｕｅｓｔ引き継ぎ要請情報）の要請時間を参照する。ＴＯＲ（Ｔａｋｅ Ｏｖｅｒ Ｒｅｑｕｅｓｔ引き継ぎ要請情報）の要請時間が、復帰必要性猶予時間の残存バジェットを切る事が判明した場合、引き継を開始する。すなわち、ステップＳ２０３に進む。

一方、変化に伴い再算出した復帰必要性猶予時間の残存バジェットが、ＴＯＲ（Ｔａｋｅ Ｏｖｅｒ Ｒｅｑｕｅｓｔ引き継ぎ要請情報）の要請時間より短い場合は、非常時対応シーケンスとしてのステップＳ２０５に進む。
それら変化を加味しても時間的余裕があり、引き続き更に運転者の状態変化が起きないかを確認する余裕がある場合は、ステップＳ２０１に戻る。

なお、ステップＳ２０１で実行する一連の処理は、単純な生体情報検出では無く、運転者固有の視覚検知、状況認知、認知情報に対応した判断と、実際の引き継ぎ完了するまでに必要な遅延時間の想定分布換算である。この間に、予定または想定外要因で自動運転から手動運転への切り替え要求がステップＳ２０１ａでＴａｋｅ－ｏｖｅｒ Ｒｅｑｕｅｓｔ（ＴＯＲ）として発生すると、システムはどのタイミングで運転者に通知を行い、または必要に応じて警報や緊急停車などの処置判断が必要となる。判定手順Ｓ２０３では、前段で恒常的に推定される運転者の復帰時間特性から復帰が時間内で完了するか如何かに応じて、引き継可否が判定される。

本フローチャートでは説明を簡素化する為に、ステップＳ２０２の条件分岐を３つに集約して示しているが、実際にはより複雑に実行を行い、例えば引き継ぎ不全の発生（ステップＳ２０５）を最少化するための車両の事前減速による引き継ぎポイントまでの到達猶予生成などをさらに実行してもよい。ここで、正常に自動運転から手動運転への引き継ぎが行われなかった場合は、その引き継ぎ開始までの運転者の可観測データログで取り込まれた状態データは、ステップＳ２０５で、異常時教師データＬ（Ｆ）４２４として、学習処理部が記憶部に格納する。

ステップＳ２０２における３つの分岐処理の具体例は、例えば以下の例である。
（１）ステップＳ２０２からステップＳ２０１に戻るケース
運転者が目を覚ましてタブレット端末等の携帯端末を操作する状態が観測されていたが、時間の経過に伴い、寝入ったしまった。さらに、手動運転の必要な区間が接近していない。この場合、更なる変化観測のモニタリングを続けることが可能であり、ステップＳ２０１に戻り、モニタリングを継続する。

（２）ステップＳ２０２からステップＳ２０３に進むケース
運転者が目を覚ましてタブレット端末等の携帯端末を操作する状態が観測されていたが、時間の経過に伴い、寝入ったしまった。さらに、手動運転の必要な区間が接近している。この場合、ステップＳ２０３に進み、運転者に対して覚醒アラームや覚醒通知を行い、運転復帰を促す。

（３）ステップＳ２０２からステップＳ２０５に進むケース
運転者が目を覚ましてタブレット端末等の携帯端末を操作する状態が観測されていたが、時間の経過に伴い、寝入ったしまった。さらに、手動運転が必要となる引き継ぎ開始予測到達地点以前のポイントで事故や道路環境の急激な変化等（例えば予定走行道路の急激な雨に夜冠水変化）で予定外の早期の手動運転復帰要請が発生した。このように、通常の予定走行より早いタイミングでの急な復帰要請で運転者がアラームを受けて覚醒復帰をしたのでは間に合わない状況では、システムによる緊急減速退避対処を自動で行うための退避処理を行うために、ステップＳ２０５へ進む。

（ステップＳ２０３）
ステップＳ２０３は、ステップＳ２０２の分岐処理において、自動運転から手動運転への切り替えの必要性が発生し、運転者による手動運転を安全に開始できると判定された場合に実行される。
システム（情報処理装置）は、ステップＳ２０３において、運転者に対して覚醒アラームや覚醒通知を行い、運転復帰を促す。

ステップＳ２０３では、システムからの実際の引き継ぎリクエストに沿って、運転は引継ぎ作業を開始する事になり、引き継要請に応じて仮眠している場合もあれば、運転着座姿勢を崩している場合など多様な状態にいることから復帰シーケンスが観測される。この間の復帰シーケンスが、姿勢変動の挙動評価を介して固有運転者の定常復帰手順位沿って行われているか、または復帰の手順で手間取っているなどが観測される。例えば、着座席を回転して、タブレット端末で伝票入力処理を行っている運転者への復帰要請に対して、該当の運転者の復帰時間の分布が概ね１０秒程度で完了する学習辞書記録値に対して２０秒程度時間が経過しても復帰開始が検出されない状態では、運転者の復帰は明らかに遅れている事が判別される。また、横になり仮眠している運転者が通常学習履歴時間内に姿勢を上げなければ同じように遅れが発生していると判断される。

ステップＳ２０３は、運転者の手動運転復帰の一連の手順によって構成される為、例えば横になった仮眠から完全に引き継ぎ完了するまでに、１．姿勢の立ち上がり、２．運転席への移動、前方確認動作、着座推移、シートベルトの取り付け、眼球の詳細挙動解析や顔の表情解析、更には運転者の実際の操舵機器操舵特性に至る一連の途中観測値が取得できる。

（ステップＳ２０４）
ステップＳ２０４では、自動運転から手動運転への引き継ぎの完了を受けて、その引継ぎ動作が順調に進んだか、又は手順で遅延が伴ったか引き継ぎの都度の品質評価を行う。
ステップＳ２０４で引継ぎ不全と判断された場合、引き継ぎ不全に伴う事故や渋滞誘発を回避するため、車両を減速したり徐行退避させたりする、ようにしてもよい。基本的に引き継ぎ不全が発生する主要な要因は、運転者が必要なタイミングで引継ぎを的確に出来ていなかったり、自律神経失調症やその前兆症状で状況検知判断能力に鈍っていたりすることもある。自動運転の利用システムをして、運転者のシステム要請に対する遅延が発生した場合に運転者になにがしかのペナルティを及ぼす仕組みと相まって、運転者は通常であればシステムから復帰要請や警報通知を受けたら、速やかな復帰作業に取り掛かるようになる。

ただし、運転者の覚醒状態が不十分であるか、事象発生が急で運転者復帰が間に合わない場合共に同じ引き継不全と判断されることになる。本来、運転者が速やかに復帰する運用が確立した仕組みで運転者の期待通りに復帰作業を実行する為に通知等を受けたら速やかな状況把握と必要な復帰回復手順に取り掛かる事が期待される。結果として遅延が発生する原因には運転者の状況に認知が影響する。そこで、同じ引き継ぎ不全でも、予期せぬ急な引継ぎ早期要請、予定または想定外要因で自動運転から手動運転への切り替え要求がステップＳ２０１ａでＴａｋｅ－ｏｖｅｒ Ｒｅｑｕｅｓｔ（ＴＯＲ）として発生した場合の引き継ぎでは、覚醒度に関連した取得された可観測値ログと引き継ぎ品質の相関には除外処理を適用する。

なお、ステップ２０１で常時恒常的に観測取得される運転者の可観測評価値群は、特に運転引き継ぎを伴わない場合は平常時挙動特性の可観測評価値群のログである平常時教師データＬ（Ｎ）４２２、引き継ぎ成功時の可観測評価値群のログである正常時教師データＬ（Ｔ）４２３、さらに引き継ぎ不全時の可観測評価値群のログである異常時教師データＬ（Ｆ）４２４に分けて分類されて記憶部に格納される。
学習処理部は、これらのデータを用いて、図１９に示すフローに従った処理を行い、図１９のフローの末尾に示す覚醒状態評価辞書２００の更新処理を行う。
覚醒状態評価辞書２００は、運転者の覚醒度（意識レベル）の低下度合いを判定するための辞書である。
図１９のフローの各ステップの処理について説明する。

（ステップＳ２４１）
情報処理装置の学習処理部（学習器）は、まず、ステップＳ２４１において、覚醒状態評価辞書２００を生成、更新するための学習処理を実行する。具体的には、例えば、運転者モニタリングにより、覚醒状態を反映したログデータを解析して生成した覚醒度評価値から、運転者復帰成功時間分布データを生成する。

学習処理により、運転者のモニタリングによって取得した運転者状態情報に基づいて、運転者が正常に手動運転を開始できるか否か、さらに手動運転を開始可能となるまでの時間（限界許容遅延時間）を推定するためのデータが得られる。
ステップＳ２４１は、先に図１６を参照して説明したフローのステップＳ２０２の判定処理を行う為の覚醒状態評価辞書２００を作成する学習ステップとなる。判定処理に用いる学習器は、例えば、運転者の可観測活動量評価値から、復帰通知を受けた際に実際の復帰完了までに時間を算出する評価器である。算出時間は、運転者の手動復帰に必要な猶予時間が有るか無いかの判定に用いるが、実際は運転者毎の特性ばらつきがある。このばらつきを除外しないと、大多数のドライバに適用可能な余裕を持った猶予時間を設定して通知を行う必要がでる。

この場合、多くの利用者が通知を受けても早すぎる通知となり、通知を軽視した利用形態となるためにシステム利用者は正常な引継ぎが出来ないケースが続発する結果となる。その回避策が、本開示の処理によって生成される各運転者対応の辞書（覚醒状態評価辞書２００）である。この運転者単位の辞書を用いることで各運転者の固有復帰特性に合わせた通知を行うことが可能となる。
より正確な復帰遅延時間の推定を行うためには、例えば運転者の脳内知覚判断可否状態等の検出も行う。このような処理を行うことでより正確な運転者覚醒度の判定が出来、ひいては復帰時間推測の精度を向上させることが可能となる。

（ステップＳ２４２）
ステップ２４２では、最新のログデータと、過去の履歴データとの差分（シフト変動）を解析して、運転者個人対応の覚醒状態評価辞書２００を生成、更新する。
具体的には、ステップＳ２４１で取得した運転者観測値から復帰遅延時間分布特性を得るために履歴保存した運転者ログ情報を用いて、過去の中・長期的変動量の履歴モニタリングを行う事で、短期観測では検出が困難な特性変動を解析する。

可観測評価群の評価値は心拍数、心拍変動、血流、血流変動、皮膚電位、瞳孔輝度応答特性、開眼時間、閉眼挙動特性、サッケード、固視、マイクロサッケード、呼吸変動、血圧、脳波、眼電位、呼気、顔表情の評価、頭部向き、振る舞い、ジェスチャー、姿勢評価、姿勢変動の挙動評価、アクティブジェスチャー応答特性、着座姿勢変動と搭載された検出システムに応じて多岐にわたってもよい。これは可観測な生体信号の中で、取り分け眼球の挙動特性と瞳孔挙動特性は、運転に絡む外界情報の変動に対して極めて短期間の覚醒状態の応答反応を観測する事が可能である。取り分け、眼球のサッケード動作、マイクロサッケード、ドリフト、フィクセーションやさらには輻輳眼球運動と言った挙動は、運転者が外界認識の為に無意識の内に脳内の対象物認知の度合いに応じて、知覚反射的にその振る舞いが決まる。これら挙動の発現・挙動を高速に推移トラッキング行い、その都度のイベントと引き継ぎ結果を条件別の多次元自己完結学習を行う行うことで、運転者固有の眼球挙動特徴と学習辞書が作られる。例えば図９に示す１０００f/sで観測した約０．１秒程度の固視微動の挙動で、運転者の覚醒が高い状態では中心視野で取れた対象の詳細理解とする為に、視線を向けた先の詳細認知判断を行うために概ね同じ対象見ている範囲でも探索挙動が発現しているが、意識低下した状態では目が目的を持たずに流れ挙動とで差異がみられる。これら従来の３０f/s程度のビデオ観測では時間分解能が足りずに解析ができなかったが、高速に目の挙動を詳細解析する事で、高速で動くこの短期の局所的な目の挙動を定量的に評価ができるようになった。 なお、観測評価は、片目または両眼の個別単独評価、両目の相関評価など挙動に差違と個人差があるため、精度を求めるには組合せ確定させて観測評価が望ましい。

より詳細には、運転者が、聴覚（通知音、アラーム音、周辺車両のクラクションなど）、、視覚（ランプ表示、通知表示、アラーム表示、前方視界から入る情報、周辺緊急車両フラッシュライト、携帯・ウェアブル端末通知など）、触覚的（ステアリング、着座席振動、車体振動など）に縦横と判断した初期入力に応じて、運転に重要と感じた情報の取得を視覚的に探索する事になる。運転者は、まず一次入力情報の確認作業を行う。さらに、個々の確認手順が脳内の知覚判断が完了した時点で引き続き発生する次の事象判断に必要な探索に取り掛かる。完全な同一視線に次に得ようとする情報が無ければ、周辺視野で確認すべきと想定される方角へ眼球のサッケード動作を引き起こすか、又は一旦固視把握した対象に視線をロックして追尾をするスムースパーシュート等の動的挙動が観測されることになる。

また、固有運転者の経験的履歴から、視線を向けて情報判断が瞬時に完結しない場合は、より正確はエビデンス探索をその近傍で継続実施する事から、運転者固有の探索固視が出現して理解が完結して判断の完了を待つか、同時に発生しえる他重要判断事項の探索必要性重み付けに応じて他の判断項目に視線を移動するサッケード動作を起こす事になる。判断や操作が終了していないまま次の対象の確認を行っている場合は、また同じ個所に視線を戻し判断を完結する動作は繰り返す事もある。

これら運転者の高速で細かな動きは対象の脳内での認知判断に掛る時間と直結した動作に関連付けて発生しているため、利用者の自律神経を司る交感神経と副交感神経のバランスが崩れると、この判断動作が影響を受けて利用者が意識しない眼球の詳細挙動に影響が現れる。眼球の個人個人の動きは、その個人の経験知に基づく認知に必要な動作として出現するため、一律の挙動としては現れない。例えば、朝方人間や夜型人間というように分類される人の体質特性は、この副交感神経や交感神経が活発となる時間帯の特徴が、人によって個人差がり、それぞれ異なることに起因して起こる。

ステップＳ２４１の処理として実行する学習処理は、運転者から検出された可観測評価値の個人の挙動特性に判定を最適にするための学習処理として実行される。
ステップ２４２では、この個人特性を反映した学習データを中長期的に取得して、挙動の定点観測を継続する事で、多くの場合なだらかな変化として現れる疾患や疾患の前兆として現れる挙動変化を検出するための学習処理である。

なお、これらステップＳ２４１、ステップＳ２４２の処理の結果、生成、更新される覚醒状態評価辞書２００を用いて算出される評価値は、一つの旅程で完結させることなく、複数日にまたがる挙動特性の変化の観測結果を反映させる設定とすることが好ましい。ステップＳ２４１で用いる短期的な判定用途とは異なり、日常で車両を常に使用するユーザ（運転者）が、１週間や１ヶ月と言った長期スパンで指標算出を行うことにも利用できる。

なお、これらステップＳ２４１、ステップＳ２４２の処理の結果、生成、更新される覚醒状態評価辞書２００には、運転者が目的に応じて一つの旅程を行う毎に、その間に記録される走行途中の覚醒状態関連の観測値変化が統計処理値として記録される。手動運転の都度観測される個々の可観測値は、その都度に発生する運転者の復帰の判断を行う為に必要な観測値であるが、他方で単純なピンポイントの評価値観測のみでは、その運転者がどの程度の覚醒状態に該当するのか判定が困難である。そこで、引継ぎ（自動運転から手動運転への引き継ぎ）判定手順を実行の度に、ステップＳ２４１、ステップＳ２４２の処理を実行し、引継ぎの結果から得られた引き継ぎ品質に応じて、先に説明した図１６のフローのステップＳ２０１で取得される可観測ログの繰り返し分類再評価が実施される。この一連の分類評価を状況別に繰り返し実行（学習）する事で覚醒状態判定性能を向上させることが可能となる。

また、運転者の疲労が蓄積されると例えばステアリングハンドルの操舵がスムーズに行われなくなる。すなわち、運転者の反射動作が遅れ、それを補う小刻みの操舵振幅や乱れや遅延が発生する。これら乱れの個々の情報についても、例えば挙動の周波数解析を行い発生頻度分布、振幅分布幅の解析などを実行して、その結果を辞書に記録してもよい。例えば眼球挙動を元に運転者覚醒状態の解析する際には、道路の前方向の視覚サリエンシー（Ｓａｌｉｅｎｃｙ）情報に対するサッケードの発生頻度、走行に伴うパーシュート（ｐｕｒｓｕｉｔ）追跡挙動やその持続時間、固視（Ｆｉｘａｔｉｏｎ）による対象を見続ける時間、固視をしている間に起こる周辺微動挙動の方角安定性と流れ、視線を向けた対象の理解を進める近傍探索挙動の振幅や探索範囲、他の対象へ視線を移動する間の滞留時間など、一定の挙動解析値を記録するのが効果的である。眼球挙動など、日中や夜間や疲労の視力状態など個々の走行状態の固有環境毎や蓄積運転疲労などの異なる要因で変化するため、多次元依存の変動値としてログの記録保存を行うことが好ましい。

更に、個々の旅程を更に長期的にその変化を観測する事で、状況反射特性の変化を観測が可能なる。これらの例えば眼球挙動解析で、運転者の状況反応の遅延が一時的な低下ではなく、中長期的な遅延が生じていれば、視神経の情報伝達機能そのものの低下を意味する。または、状況判断の遅延の結果、その遅延を補う急な補正反射反応が目立ちはじめ、滑らかな操舵から操舵角のアンダーやオーバー補正操舵の発生やその頻発増加として検出される事になる。旅程毎の挙動特性の記録データは、固有挙動学習に利用されるとともに、運転者の定常的挙動と中長期的挙動とを比較してその変化を検出する処理に利用可能である。

以上、実施例２で特にレベル３以上の利用で開示に基づく実施形態を説明したが、本発明の他方の副次的効果を利用した機能に付いて補足する。今日のスレスが過多な社会では、多くの人が自律神経失調症になり、一時的に社会活動を中断したりして治療に当たる必要がある。その一方で、自律神経失調症に至る途中状態での把握が難しい。更には自律神経失調症になってしまった場合でも、自覚症状が明確に現れず、患者が体調の不調を訴えて医師の診察を受ける場合でも、精神科医以外の専門医にかかることが多く、精神疾患と判明するまでに時間がかかる事が多い。その為、自律神経失調症に繋がる交換神経、副交感神経のアンバランスを早期に把握が可能かその兆候を示せる指標は、ドライバの病状推定の有用な技術となる。軽度の交感神経・副交感神経のアンバランスの段階であれば、めだった自覚症状が現れない段階でストレスの軽減など行う事で症状を重篤化せずに回復が期待される。一般に交換神経、副交感神経のアンバランスは個人差も大きく、自覚症状の把握が難しいことから、予防することは難しかった。本来、交感神経・副交感神経はバランスを取る形で調整され、汗や体温の調節、血圧、呼吸、心臓の動き、食べ物の消化など人間にとって重要な活動がうまくバランスを保ち働くことが望ましい。
生活の中でストレス等により特定の要因等で一方の神経に過度の負荷がかかり、なにらかの理由で自律神経のバランスが乱れうまく調節できなくなることがある。その結果、様々な心身の不調があらわれることがあり、自律失調症などの疾患を誘発する。この交感神経・副交感神経の何れかの一方で緊張状態が続くと神経の頻繁な偏った発火が過剰に起こり、緊張状態を持続する。多くの自律神経失調症に至る患者は、症状が進んだ結果として体調の異変を来たし、体の不調をきっかけに症状の関連する診療科を受診する。本発明は、運転者が自動運転車の自動運転機能を利用する際に実施が不可欠な運転者自身の覚醒判定に関するものである。運転者自身の覚醒判定の際に取得される情報を用いることで、メンタルヘルスの指標がえられる。そのため、本発明には自律神経失調症等の運転者の精神疾患の重篤化の前の対処が容易に行えるという効果もある。

［６．情報処理装置の構成例について］
上述した処理は、図３を参照して説明した移動装置の構成を適用して実行することが可能であるが、その処理の一部は、例えば移動装置に着脱可能な情報処理装置においてし実行することが可能である。
図２０を参照して、このような情報処理装置のハードウェア構成例について説明する。

図２０は、情報処理装置のハードウェア構成例を示す図である。
ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５０１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５０２、または記憶部５０８に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。
ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５０３には、ＣＰＵ５０１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ５０１、ＲＯＭ５０２、およびＲＡＭ５０３は、バス５０４により相互に接続されている。

ＣＰＵ５０１はバス５０４を介して入出力インタフェース５０５に接続され、入出力インタフェース５０５には、各種スイッチ、キーボード、タッチパネル、マウス、マイクロフォン、さらに、センサ、カメラ、ＧＰＳ等の状況データ取得部などよりなる入力部５０６、ディスプレイ、スピーカなどよりなる出力部５０７が接続されている。
なお、入力部５０６には、センサ５２１からの入力情報も入力される。
また、出力部５０７は、移動装置の駆動部５２２に対する駆動情報も出力する。

ＣＰＵ５０１は、入力部５０６から入力される指令や状況データ等を入力し、各種の処理を実行し、処理結果を例えば出力部５０７に出力する。
入出力インタフェース５０５に接続されている記憶部５０８は、例えばハードディスク等からなり、ＣＰＵ５０１が実行するプログラムや各種のデータを記憶する。通信部５０９は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。

入出力インタフェース５０５に接続されているドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア５１１を駆動し、データの記録あるいは読み取りを実行する。

［７．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） 運転者の生体情報を入力して、運転者の覚醒度を評価するデータ処理部を有し、
前記データ処理部は、
運転者の眼球または瞳孔の少なくともいずれかの挙動解析を実行し、該挙動解析結果と、予め生成済みの運転者固有の覚醒状態評価辞書を適用して運転者の覚醒度評価を実行する情報処理装置。

（２） 前記運転者は、自動運転実行中の移動装置内の運転者であり、運転操作から完全離脱、または一部操作のみを行っている運転者である（１）に記載の情報処理装置。

（３） 前記データ処理部は、
眼球のサッケード、マイクロサッケード、ドリフト、フィクセーションの少なくともいずれかの挙動解析により運転者の覚醒度評価を実行する（１）または（２）に記載の情報処理装置。

（４） 前記データ処理部は、
運転者の生体情報のログデータに基づく学習処理の結果として生成された運転者固有の覚醒状態評価辞書を用いて、運転者の覚醒度評価を実行する（１）～（３）いずれかに記載の情報処理装置。

（５） 前記覚醒状態評価辞書は、運転者から取得可能な複数の生体情報に基づいて、運転者の覚醒度を算出するためのデータを格納した構成である（１）～（４）いずれかに記載の情報処理装置。

（６） 前記データ処理部は、
運転者の生体情報と、操作情報を取得し、取得した運転者の生体情報と操作情報に基づいて、運転者の覚醒度評価を実行する（１）～（５）いずれかに記載の情報処理装置。

（７） 前記データ処理部は、
運転者の覚醒度評価を実行するとともに、運転者が安全な手動運転を開始可能となるまでの復帰時間の推定処理を実行する（１）～（６）いずれかに記載の情報処理装置。

（８） 前記データ処理部は、
運転者の生体情報を取得するモニタリング処理によって得られたログの解析による学習処理を実行して、運転者の覚醒度評価を実行する運転者固有の覚醒状態評価辞書を生成する学習処理部を有する（１）～（７）いずれかに記載の情報処理装置。

（９） 前記学習処理部は、
自動運転から手動運転への復帰時の運転者の操作情報に基づいて、正常な手動運転を開始できた際の運転者状態情報である正常時教師データと、正常な手動運転を開始できなかった際の運転者状態情報である異常時教師データを取得し利用した学習処理を実行する（８）に記載の情報処理装置。

（１０） 前記データ処理部は、
運転者から取得される運転者生体情報を含む運転者状態情報の中長期的なデータを利用して運転者の覚醒度評価または運転者の知覚伝達指標の算出の何れか少なくとも一方の機能を実行する（１）～（９）いずれかに記載の情報処理装置。

（１１） 前記データ処理部は、
運転者から取得される現在の運転者生体情報を含む運転者状態情報と、予め取得済みの運転者状態情報の中長期的なデータとの差分を算出して、算出した差分データに基づいて運転者の覚醒度評価または運転者の知覚伝達指標の算出の何れか少なくとも一方の機能を実行する（１）～（１０）いずれかに記載の情報処理装置。

（１２） 移動装置の運転者の生体情報を取得する生体情報取得部と、
前記生体情報を入力して、前記運転者の覚醒度を評価するデータ処理部を有し、
前記データ処理部は、
運転者の眼球または瞳孔の少なくともいずれかの挙動解析を実行し、該挙動解析結果と、予め生成済みの運転者固有の覚醒状態評価辞書を適用して運転者の覚醒度評価を実行する移動装置。

（１３） 前記運転者は、自動運転実行中の移動装置内の運転者であり、運転操作から完全離脱、または一部操作のみを行っている運転者である（１２）に記載の移動装置。

（１４） 前記データ処理部は、
眼球のサッケード、マイクロサッケード、ドリフト、フィクセーションの少なくともいずれかの挙動解析により運転者の覚醒度評価を実行する（１２）または（１３）に記載の移動装置。

（１５） 前記データ処理部は、
運転者の生体情報のログデータに基づく学習処理の結果として生成された運転者固有の覚醒状態評価辞書を用いて、運転者の覚醒度評価を実行する（１２）～（１４）いずれかに記載の移動装置。

（１６） 前記データ処理部は、
運転者の生体情報と、操作情報を取得し、取得した運転者の生体情報と操作情報に基づいて、運転者の覚醒度評価を実行する（１２）～（１５）いずれかに記載の移動装置。

（１７） 前記データ処理部は、
運転者の覚醒度評価を実行するとともに、運転者が安全な手動運転を開始可能となるまでの復帰時間の推定処理を実行する（１２）～（１６）いずれかに記載の移動装置。

（１８） 情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、運転者の生体情報を入力して、運転者の覚醒度を評価するデータ処理部を有し、
前記データ処理部が、
運転者の眼球または瞳孔の少なくともいずれかの挙動解析を実行し、該挙動解析結果と、予め生成済みの運転者固有の覚醒状態評価辞書を適用して運転者の覚醒度評価を実行する情報処理方法。

（１９） 移動装置において実行する情報処理方法であり、
生体情報取得部が、移動装置の運転者の生体情報を取得するステップと、
データ処理部が、前記運転者の生体情報を入力して、自動運転中の車内の運転者の覚醒度を評価するステップを有し、
前記データ処理部は、
運転者の眼球または瞳孔の少なくともいずれかの挙動解析を実行し、該挙動解析結果と、予め生成済みの運転者固有の覚醒状態評価辞書を適用して運転者の覚醒度評価を実行する情報処理方法。

（２０） 情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、運転者の生体情報を入力して、運転者の覚醒度を評価するデータ処理部を有し、
前記プログラムは、前記データ処理部に、
運転者の眼球または瞳孔の少なくともいずれかの挙動解析を実行させ、該挙動解析結果と、予め生成済みの運転者固有の覚醒状態評価辞書を適用して運転者の覚醒度評価を実行させるプログラム。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本開示の一実施例の構成によれば、運転者の生体情報を入力して、運転者の覚醒度評価を実行する構成が実現される。
具体的には、例えば、運転者の生体情報を入力して、運転者の覚醒度を評価するデータ処理部を有する。データ処理部は、運転者の眼球または瞳孔の少なくともいずれかの挙動解析を実行し、該挙動解析結果と、予め生成済みの運転者固有の覚醒状態評価辞書を適用して運転者の覚醒度評価を実行する。データ処理部は、運転者の生体情報のログデータに基づく学習処理の結果として生成された運転者固有の覚醒状態評価辞書を用いて運転者の覚醒度評価を実行する。データ処理部は、さらに運転者が安全な手動運転を開始可能となるまでの復帰時間の推定処理を実行する。
なお、本開示の処理によって、観測に伴うデータが中長期的に解析され、また自動運転の利用に際して手動運転復帰要請に対する持続的なモニタリングが自己完結的に行われる。この解析情報は自律神経の疾患等の前兆をとらえるための高感度なメンタルヘルスケアモニタリングデータとしても同時に利用可能であり、重篤化する前の予防利用が期待される。
本構成により、運転者の生体情報を入力して、運転者の覚醒度評価を実行する構成が実現される。

１０・・自動車，１１・・データ処理部，１２・・運転者生体情報取得部，１３・・運転者操作情報取得部，１４・・・環境情報取得部，１５・・通信部，１６・・通知部，２０・・運転者，３０・・サーバ，１００・・移動装置，１０１・・入力部，１０２・・データ取得部，１０３・・通信部，１０４・・車内機器，１０５・・出力制御部，１０６・・出力部，１０７・・駆動系制御部，１０８・・駆動系システム，１０９・・ボディ系制御部，１１０・・ボディ系システム，１１１・・記憶部，１１２・・自動運転制御部，１２１・・通信ネットワーク，１３１・・検出部，１３２・・自己位置推定部，１３３・・状況分析部，１３４・・計画部，１３５・・動作制御部，１４１・・車外情報検出部，１４２・・車内情報検出部，１４３・・車両状態検出部，１５１・・マップ解析部，１５２・・交通ルール認識部，１５３・・状況認識部，１５４・・状況予測部，１５５・・安全性判別部，１６１・・ルート計画部，１６２・・行動計画部，１６３・・動作計画部，１７１・・緊急事態回避部，１７２・・加減速制御部，１７３・・方向制御部，３００・・運転者状態情報取得、解析部，５０１・・ＣＰＵ，５０２・・ＲＯＭ，５０３・・ＲＡＭ，５０４・・バス，５０５・・入出力インタフェース，５０６・・入力部，５０７・・出力部，５０８・・記憶部，５０９・・通信部，５１０・・ドライブ，５１１・・リムーバブルメディア，５２１・・センサ，５２２・・駆動部

Claims (20)

1. 運転者の生体情報を入力して、運転者の覚醒度を評価するデータ処理部を有し、
   前記データ処理部は、
   運転者の眼球または瞳孔の少なくともいずれかの挙動解析を実行し、該挙動解析結果と、予め生成済みの運転者固有の覚醒状態評価辞書を適用して運転者の覚醒度評価を実行する構成であり、
   前記運転者固有の覚醒状態評価辞書は、
   運転者の生体情報を取得するモニタリング処理によって得られるログの解析を伴う学習処理によって生成される辞書であり、
   自動運転から手動運転への復帰時の運転者の操作情報に基づいて、正常な手動運転を開始できた際の運転者状態情報である正常時教師データと、正常な手動運転を開始できなかった際の運転者状態情報である異常時教師データを取得し利用した学習処理によって生成される辞書である情報処理装置。
2. 前記運転者は、自動運転実行中の移動装置内の運転者であり、運転操作から完全離脱、または一部操作のみを行っている運転者である請求項１に記載の情報処理装置。
3. 前記データ処理部は、
   眼球のサッケード、マイクロサッケード、ドリフト、フィクセーションの少なくともいずれかの挙動解析により運転者の覚醒度評価を実行する請求項１に記載の情報処理装置。
4. 前記データ処理部は、
   運転者の生体情報のログデータに基づく学習処理の結果として生成された運転者固有の覚醒状態評価辞書を用いて、運転者の覚醒度評価を実行する請求項１に記載の情報処理装置。
5. 前記覚醒状態評価辞書は、運転者から取得可能な複数の生体情報に基づいて、運転者の覚醒度を算出するためのデータを格納した構成である請求項１に記載の情報処理装置。
6. 前記データ処理部は、
   運転者の生体情報と、操作情報を取得し、取得した運転者の生体情報と操作情報に基づいて、運転者の覚醒度評価を実行する請求項１に記載の情報処理装置。
7. 前記データ処理部は、
   運転者の覚醒度評価を実行するとともに、運転者が安全な手動運転を開始可能となるまでの復帰時間の推定処理を実行する請求項１に記載の情報処理装置。
8. 前記データ処理部は、
   運転者の生体情報を取得するモニタリング処理によって得られたログの解析による学習処理を実行して、運転者の覚醒度評価を実行する運転者固有の覚醒状態評価辞書を生成する学習処理部を有する請求項１に記載の情報処理装置。
9. 前記学習処理部は、
   自動運転から手動運転への復帰時の運転者の操作情報に基づいて、正常な手動運転を開始できた際の運転者状態情報である正常時教師データと、正常な手動運転を開始できなかった際の運転者状態情報である異常時教師データを取得し利用した学習処理を実行する請求項８に記載の情報処理装置。
10. 前記データ処理部は、
    運転者から取得される運転者生体情報を含む運転者状態情報の中長期的なデータを利用して運転者の覚醒度評価または運転者の知覚伝達指標の算出の何れか少なくとも一方の機能を実行する請求項１に記載の情報処理装置。
11. 前記データ処理部は、
    運転者から取得される現在の運転者生体情報を含む運転者状態情報と、予め取得済みの運転者状態情報の中長期的なデータとの差分を算出して、算出した差分データに基づいて運転者の覚醒度評価または運転者の知覚伝達指標の算出の何れか少なくとも一方の機能を実行する請求項１に記載の情報処理装置。
12. 移動装置の運転者の生体情報を取得する生体情報取得部と、
    前記生体情報を入力して、前記運転者の覚醒度を評価するデータ処理部を有し、
    前記データ処理部は、
    運転者の眼球または瞳孔の少なくともいずれかの挙動解析を実行し、該挙動解析結果と、予め生成済みの運転者固有の覚醒状態評価辞書を適用して運転者の覚醒度評価を実行する構成であり、
    前記運転者固有の覚醒状態評価辞書は、
    運転者の生体情報を取得するモニタリング処理によって得られるログの解析を伴う学習処理によって生成される辞書であり、
    自動運転から手動運転への復帰時の運転者の操作情報に基づいて、正常な手動運転を開始できた際の運転者状態情報である正常時教師データと、正常な手動運転を開始できなかった際の運転者状態情報である異常時教師データを取得し利用した学習処理によって生成される辞書である移動装置。
13. 前記運転者は、自動運転実行中の移動装置内の運転者であり、運転操作から完全離脱、または一部操作のみを行っている運転者である請求項１２に記載の移動装置。
14. 前記データ処理部は、
    眼球のサッケード、マイクロサッケード、ドリフト、フィクセーションの少なくともいずれかの挙動解析により運転者の覚醒度評価を実行する請求項１２に記載の移動装置。
15. 前記データ処理部は、
    運転者の生体情報のログデータに基づく学習処理の結果として生成された運転者固有の覚醒状態評価辞書を用いて、運転者の覚醒度評価を実行する請求項１２に記載の移動装置。
16. 前記データ処理部は、
    運転者の生体情報と、操作情報を取得し、取得した運転者の生体情報と操作情報に基づいて、運転者の覚醒度評価を実行する請求項１２に記載の移動装置。
17. 前記データ処理部は、
    運転者の覚醒度評価を実行するとともに、運転者が安全な手動運転を開始可能となるまでの復帰時間の推定処理を実行する請求項１２に記載の移動装置。
18. 情報処理装置において実行する情報処理方法であり、
    前記情報処理装置は、運転者の生体情報を入力して、運転者の覚醒度を評価するデータ処理部を有し、
    前記データ処理部が、
    運転者の眼球または瞳孔の少なくともいずれかの挙動解析を実行し、該挙動解析結果と、予め生成済みの運転者固有の覚醒状態評価辞書を適用して運転者の覚醒度評価を実行するステップを有し、
    前記運転者固有の覚醒状態評価辞書は、
    運転者の生体情報を取得するモニタリング処理によって得られるログの解析を伴う学習処理によって生成される辞書であり、
    自動運転から手動運転への復帰時の運転者の操作情報に基づいて、正常な手動運転を開始できた際の運転者状態情報である正常時教師データと、正常な手動運転を開始できなかった際の運転者状態情報である異常時教師データを取得し利用した学習処理によって生成される辞書である情報処理方法。
19. 移動装置において実行する情報処理方法であり、
    生体情報取得部が、移動装置の運転者の生体情報を取得するステップと、
    データ処理部が、前記運転者の生体情報を入力して、自動運転中の車内の運転者の覚醒度を評価するステップを有し、
    前記データ処理部は、
    運転者の眼球または瞳孔の少なくともいずれかの挙動解析を実行し、該挙動解析結果と、予め生成済みの運転者固有の覚醒状態評価辞書を適用して運転者の覚醒度評価を実行するステップを有し、
    前記運転者固有の覚醒状態評価辞書は、
    運転者の生体情報を取得するモニタリング処理によって得られるログの解析を伴う学習処理によって生成される辞書であり、
    自動運転から手動運転への復帰時の運転者の操作情報に基づいて、正常な手動運転を開始できた際の運転者状態情報である正常時教師データと、正常な手動運転を開始できなかった際の運転者状態情報である異常時教師データを取得し利用した学習処理によって生成される辞書である情報処理方法。
20. 情報処理装置において情報処理を実行させるプログラムであり、
    前記情報処理装置は、運転者の生体情報を入力して、運転者の覚醒度を評価するデータ処理部を有し、
    前記プログラムは、前記データ処理部に、
    運転者の眼球または瞳孔の少なくともいずれかの挙動解析を実行させ、該挙動解析結果と、予め生成済みの運転者固有の覚醒状態評価辞書を適用して運転者の覚醒度評価を実行させ、
    前記運転者固有の覚醒状態評価辞書は、
    運転者の生体情報を取得するモニタリング処理によって得られるログの解析を伴う学習処理によって生成される辞書であり、
    自動運転から手動運転への復帰時の運転者の操作情報に基づいて、正常な手動運転を開始できた際の運転者状態情報である正常時教師データと、正常な手動運転を開始できなかった際の運転者状態情報である異常時教師データを取得し利用した学習処理によって生成される辞書であるプログラム。

Images