JP7288911B2 - 情報処理装置、移動装置、および方法、並びにプログラム - Google Patents

情報処理装置、移動装置、および方法、並びにプログラム Download PDF

Info

Publication number
JP7288911B2
JP7288911B2 JP2020545911A JP2020545911A JP7288911B2 JP 7288911 B2 JP7288911 B2 JP 7288911B2 JP 2020545911 A JP2020545911 A JP 2020545911A JP 2020545911 A JP2020545911 A JP 2020545911A JP 7288911 B2 JP7288911 B2 JP 7288911B2
Authority
JP
Japan
Prior art keywords
driver
information
driving
vehicle
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020545911A
Other languages
English (en)
Other versions
JPWO2020054458A1 (ja
Inventor
英史 大場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of JPWO2020054458A1 publication Critical patent/JPWO2020054458A1/ja
Application granted granted Critical
Publication of JP7288911B2 publication Critical patent/JP7288911B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/082—Selecting or switching between different modes of propelling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0881—Seat occupation; Driver or passenger presence
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/007—Switching between manual and automatic parameter input, and vice versa
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0083—Setting, resetting, calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/227—Position in the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/30—Driving style
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/10—Historical data

Description

本開示は、情報処理装置、移動装置、および方法、並びにプログラムに関する。さらに詳細には、自動運転と手動運転の切り替え制御を行う情報処理装置、移動装置、および方法、並びにプログラムに関する。
昨今、自動運転に関する技術開発が盛んに行われている。
自動運転技術は、車両（自動車）に備えられた位置検出手段等の様々なセンサを用いて、道路上を自動走行可能とする技術であり、今後、急速に普及することが予測される。
しかし、現状において自動運転は開発段階であり、１００％の自動運転が可能となるまでには時間を要すると考えられ、しばらくは、自動運転と、運転者（ドライバ）による手動運転とを、適宜切り替えて走行することになると予測される。
例えば、高速道路等、直線的で道路幅が十分な道路では、自動運転モードでの走行を行うが、高速道路から出て駐車場の好きな位置に車を止める場合や、道路幅の狭い山道等では手動運転モードに切り替えて運転者（ドライバ）の操作で走行を行うといったモード切り替えが必要となると予測される。
車両が自動運転を実行している間は、運転者（ドライバ）は車両走行方向である前方に視線を向ける必要がなく、例えば、居眠りをしたり、テレビを見たり、本を読んだり、あるいは後ろ向きに座って後部座席の人と会話をするといった自由な行動が可能となる。
自動運転と手動運転を切り替えて走行する車両において、自動運転モードから手動運転モードに切り替える必要が発生した場合、運転者（ドライバ）に手動運転を開始させることが必要となる。
しかし、例えば、自動運転実行中に、運転者が居眠りをすると、運転者の覚醒度が低下する。すなわち意識レベルが低下した状態となる。このような覚醒度が低下した状態で手動運転モードに切り替えてしまうと、正常な手動運転を行うことができず、最悪の場合、事故を起こす可能性がある。
運転の安全性を確保するためには、運転者の覚醒度が高い状態、すなわちはっきりした意識のある状態で手動運転を開始させることが必要となる。
このためには、運転者の覚醒度の確認が必要である。
なお、車両に乗車した乗員の状況を推定する技術を開示した従来技術として、例えば特許文献１（特開２０１４－１３３４４９号公報）がある。この文献は、事故等による乗員に怪我の状況など障害レベルを推定する構成を開示している。
しかし、この特許文献１を含め、従来技術には、自動運転から手動運転への安全な復帰のために必要となる通知タイミングを制御する構成についての開示はない。
自動運転モードから手動運転モードへ切り替える必要が発生した場合、運転者（ドライバ）に手動運転を開始させるための通知が必要となる。
この通知タイミングが遅すぎると、運転者の覚醒度が低い状態、すなわち意識レベルが低下した状態で手動運転を開始させてしまい、事故を発生させる可能性を高めてしまうという問題がある。
特開２０１４－１３３４４９号公報
本開示は、例えば、上述の問題点に鑑みてなされたものであり、自動運転から手動運転への切り替えを安全に行うことを可能とした情報処理装置、移動装置、および方法、並びにプログラムを提供することを目的とする。
本開示の第１の側面は、
車両の運転者の意識レベルである覚醒度を判定するデータ処理部を有し、
前記データ処理部は、
前記運転者の観測情報を取得し、取得した観測情報に基づいて、前記運転者の覚醒度を判定する情報処理装置にある。
さらに、本開示の第２の側面は、
自動運転と手動運転の切り替えが可能な移動装置であり、
前記移動装置の運転者の意識レベルである覚醒度を判定するデータ処理部を有し、
前記データ処理部は、
前記運転者の観測情報を取得して記憶部に格納する観測情報記録処理を実行し、取得した観測情報に基づいて、前記運転者の覚醒度を判定し、判定した覚醒度に応じて、前記運転者に対する自動運転から手動運転への復帰要請通知である手動運転復帰要請通知の通知タイミングを制御する移動装置にある。
さらに、本開示の第３の側面は、
情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、車両の運転者の意識レベルである覚醒度を判定するデータ処理部を有し、
前記データ処理部は、
前記運転者の観測情報を取得して記憶部に格納する観測情報記録処理を実行し、取得した観測情報に基づいて、前記運転者の覚醒度を判定する情報処理方法にある。
さらに、本開示の第４の側面は、
自動運転と手動運転の切り替えが可能な移動装置において実行する情報処理方法であり、
前記移動装置は、前記移動装置の運転者の意識レベルである覚醒度を判定するデータ処理部を有し、
前記データ処理部は、
前記運転者の観測情報を取得して記憶部に格納する観測情報記録処理を実行し、取得した観測情報に基づいて、前記運転者の覚醒度を判定し、判定した覚醒度に応じて、前記運転者に対する自動運転から手動運転への復帰要請通知である手動運転復帰要請通知の通知タイミングを制御する情報処理方法にある。
さらに、本開示の第５の側面は、
情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、車両の運転者の意識レベルである覚醒度を判定するデータ処理部を有し、
前記プログラムは、前記データ処理部に、
前記運転者の観測情報を取得して記憶部に格納する観測情報記録処理を実行させ、取得した観測情報に基づいて、前記運転者の覚醒度を判定させるプログラムにある。
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本開示の一実施例の構成によれば、車両の運転者の意識レベルである覚醒度を判定し、覚醒度に応じて手動運転復帰要請通知のタイミングを制御する構成を実現する。
具体的にはは、例えば、車両の運転者の意識レベルである覚醒度を判定するデータ処理部を有する。データ処理部は、運転者の観測情報を取得して運転者の覚醒度を判定する。車両は自動運転と手動運転の切り替えが可能な車両であり、データ処理部は、運転者の覚醒度に応じて運転者に対する自動運転から手動運転への手動運転復帰要請通知のタイミングを制御する。データ処理部が取得する観測情報は、運転者の車両乗車前、乗車後の観測情報の双方を含む。例えばパッシブモニタリング、通知に対する運転者の応答情報などを観測する。
本構成により、車両の運転者の意識レベルである覚醒度を判定し、覚醒度に応じて手動運転復帰要請通知のタイミングを制御する構成を実現する。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
本開示の移動装置の一構成例について説明する図である。 本開示の移動装置の表示部に表示されるデータの一例について説明する図である。 本開示の移動装置の実行する処理について説明する図である。 本開示の移動装置の実行する処理について説明する図である。 本開示の移動装置における運転者の行動例について説明する図である。 運転者の保持する端末に対するデータ表示例について説明する図である。 運転者の保持する端末に対するデータ表示例について説明する図である。 本開示の移動装置の構成例について説明する図である。 本開示の移動装置の構成例について説明する図である。 本開示の移動装置のセンサ構成例について説明する図である。 本開示の移動装置の実行する自動運転モードから手動運転モードへのモード切り替えシーケンスの一例を示す図である。 自動運転の動作シーケンスの一例について説明するフローチャートを示す図である。 運転者により目的地が設定されることで決定された自動運転可否区間が斑に設定され、または発生した走行ルートの一例を示す図である。 走行ルートにおける走行区間表示のための情報処理を説明するための図である。 最終的に表示される走行区間表示の一例を示す図である。 時間経過に伴う走行区間表示の変化例（スクロール例）を示す図である。 タブレット端末機器（以下単に「タブレット」と記す）の画面上に表示される走行ルートにおける走行区間表示の一例を示す図である。 運転者が実際にタブレットを用いて２次タスクを実行している状態の一例を示す図である。 第２区間に新たに注意走行区間Ｓｄが発生し、点滅表示で運転者に警告している状態を示す図である。 タブレットの画面上に小ウインドウがポップアップ表示されている状態を示す図である。 安全性判別部の具体的な構成例と処理について説明する図である。 学習処理のシーケンス例について説明するフローチャートを示す図である。 学習処理のシーケンス例について説明するフローチャートを示す図である。 学習器の入出力データの構成例について説明する図である。 自動運転モードから手動運転モードへ切り替える際に実行する処理のシーケンスの一例を説明するフローチャートを示す図である。 観測値に相当する可観測評価値と復帰遅延時間（＝手動運転復帰可能時間）の複数の関係情報（観測プロット）の分布例と復帰成功率について説明する図である。 自動運転モードにおいて運転者が実行している処理（２次タスク）の種類に応じた手動運転復帰可能時間について説明する図である。 自動運転から手動運転への移行完了までの残存猶予時間について説明するグラフを示した図である。 運転者の異なる初期状態に応じた状態変化の推移と推移タイミングの例について説明する図である。 通知に対する運転者応答を、ペダルを利用して確認する構成例について説明する図である。 ある情報を見るように視覚課題を提示した際の運転者の眼球挙動の軌跡の一例について説明する図である。 車両のシステム（情報処理装置）が実行する運転者への情報通知に基づく運転者の眼球挙動の観測処理による運転者の意識レベル（覚醒度）の判定処理シーケンスについて説明するフローチャートを示す図である。 運転者の意識レベル、すなわち覚醒度を確認する提示情報の例について説明する図である。 運転者に対するメッセージや注意情報からなる通知を、車両内のＨＵＤ（ヘッドアップディスプレイ）や、インスツルメンツパネルを利用して行う構成について説明する図である。 情報処理装置のハードウェア構成例について説明する図である。
以下、図面を参照しながら本開示の情報処理装置、移動装置、および方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
１．移動装置と情報処理装置の構成と処理の概要について
２．移動装置の具体的な構成と処理例について
３．自動運転モードから手動運転モードへのモード切り替えシーケンスについて
４．自動運転の動作シーケンス例について
５．移動装置の実行する安全性判別処理、手動運転復帰可能時間推定処理について
６．本開示の移動装置、情報処理装置の実行する処理のシーケンスについて
７．システムから運転者に対する通知処理実行前後の運転者状態の観測と観測情報の記録処理について
７－（１）運転者が車両に乗車する前に取得する運転者情報について
７－（２）運転者が車両に乗車した後に取得する運転者情報について
７－（２）（ａ）運転者に対する手動運転復帰要請通知の実行前に取得する運転者情報について
７－（２）（ｂ）運転者に対する手動運転復帰要請通知の実行後に取得する運転者情報について
８．自動運転から手動運転への移行時の運転者の状態変化と観測情報、および復帰品質の評価処理について
９．システムからの通知に対する運転者の応答を確認するための具体例について
１０．情報処理装置の構成例について
１１．本開示の構成のまとめ
［１．移動装置と情報処理装置の構成と処理の概要について］
まず、図１以下を参照して、移動装置と情報処理装置の構成と処理の概要について説明する。
本開示の移動装置は、例えば、自動運転と手動運転を切り替えて走行することが可能な自動車である。
このような自動車において、自動運転モードから手動運転モードに切り替える必要が発生した場合、運転者（ドライバ）に手動運転を開始させることが必要となる。
しかし、自動運転実行中に運転者が行う処理（２次タスク）は様々である。
例えば、ハンドルから手を放しているのみで、運転時と同様、自動車の前方を注視している場合もあり、本を読んでいる場合もあり、また、居眠りをしている場合もある。
これらの処理の違いにより、運転者の覚醒度（意識レベル）は異なるものとなる。
例えば、居眠りをすると、運転者の覚醒度が低下する。すなわち意識レベルが低下した状態となる。このような覚醒度が低下した状態では、正常な手動運転を行うことができず、その状態で手動運転モードに切り替えてしまうと、最悪の場合、事故を起こす可能性がある。
運転の安全性を確保するためには、運転者の覚醒度が高い状態、すなわちはっきりした意識のある状態で手動運転を開始させることが必要となる。
このためには、自動運転実行中の運転者の覚醒度に応じて、自動運転から手動運転への切り替え要求を行う通知タイミングを変更することが必要である。
例えば、自動運転実行中に運転者が前を向いて道路を見ているような場合は、運転者の覚醒度は高い状態、すなわち、いつでも手動運転を開始できる状態にある。
このような場合は、手動運転への切り替え通知は、手動運転が必要となる時間の直前のタイミングに行えばよい。運転者は、すぐに安全な手動運転を開始することができるからである。
しかし、運転者が自動運転実行中に居眠りをしているような場合、運転者の覚醒度は極めて低い状態にある。
このような場合、手動運転への切り替え通知を手動運転が必要となる時間の直前のタイミングに行うと、運転者は、意識がはっきりしない状態で手動運転を開始せざる得ない。その結果、事故を発生させる可能性が高まる。従って、このように覚醒度が低い場合は、より早い段階で手動運転への切り替え通知を行うことが必要となる。
本開示の移動装置、または移動装置に搭載可能な情報処理装置は、例えば、運転者の覚醒度に応じて手動運転への切り替え通知タイミングの制御を行う。
さらに、本開示の一実施例においては、覚醒度等の運転者情報のみならず、例えば、移動装置の走行時刻、運転者の操作情報、道路等の環境情報、過去に発生した事故情報等の情報も利用して、最適な手動運転の切り替え通知タイミングを算出する。
例えば、本開示の一実施例においては、上記の各情報、すなわち、移動装置の走行時刻、運転者の操作情報、道路等の環境情報、過去に発生した事故情報等の情報を用いた覚醒度算出のための学習処理を実行し、学習処理の結果として最適な通知タイミングを算出する。
なお、学習処理は、移動装置である自動車内においても実行可能であり、また、移動装置である自動車と通信可能なサーバにおいて実行してもよい。
また、本開示の一実施例においては、上記の通知タイミング算出処理に際して、運転者個人の情報、すなわち、運転者の運転履歴、事故履歴、運転前生活ログによる蓄積疲労、飲酒や睡眠や体調履歴情報、手動運転開始後の運転操作情報、さらに、自動車の種類情報等も考慮した処理を実行する。
さらに、乗員の人数や、積載している貨物に関する情報も利用する。
なお、多くの種類の情報を利用する場合、データ特性に応じて、事前学習用と、オンライン学習用とに分けて利用することもできる。
図１以下を参照して本開示の移動装置と、移動装置に装着可能な情報処理装置の構成と処理について説明する。
図１は、本開示の移動装置の一例である自動車１０の一構成例を示す図である。
図１に示す自動車１０に本開示の情報処理装置が装着されている。
図１に示す自動車１０は、手動運転モードと、自動運転モードの２つの運転モードによる運転が可能な自動車である。
手動運転モードは、運転者（ドライバ）２０の操作、すなわちハンドル（ステアリング）操作や、アクセル、ブレーキ等の操作に基づく走行が行われる。
一方、自動運転モードでは、運転者（ドライバ）２０による操作が不要であり、例えば位置センサや、その他の周囲情報検出センサ等のセンサ情報に基づく運転が行われる。
位置センサは、例えばＧＰＳ受信機等であり、周囲情報検出センサは、例えば、カメラ、超音波センサ、レーダ、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ、Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）、ソナー等である。
なお、図１は、本開示の概要を説明する図であり主要な構成要素を概略的に示している。詳細構成については後段で説明する。
図１に示すように、自動車１０は、データ処理部１１、運転者情報取得部１２、環境情報取得部１３、通信部１４、通知部１５を有する。
運転者情報取得部１２は、例えば、運転者の覚醒度を判定するための情報、運転者の操作情報等を取得する。具体的には、例えば、運転者の顔画像を撮影するカメラ、各操作部（ハンドル、アクセル、ブレーキ等）の操作情報取得部等によって構成される。
環境情報取得部１３は、自動車１０の走行環境情報を取得する。例えば、自動車の前後左右の画像情報、ＧＰＳによる位置情報、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ、Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）、ソナー等からの周囲の障害物情報等である。
データ処理部１１は、運転者情報取得部１２の取得した運転者情報や、環境情報取得部１３の取得した環境情報を入力し、自動運転中の車内の運転者が安全な手動運転が実行可能な状態にあるか否か、さらに手動運転中の運転者が安全な運転を実行しているか否か等を示す安全性指標値を算出する。
さらに、例えば、自動運転モードから手動運転モードへの切り替えの必要が発生した場合に、手動運転モードへの切り替えを行うように、通知部１５を介して通知する処理を実行する。
この通知処理のタイミングは、例えば運転者情報取得部１２、環境情報取得部１３を入力して算出した最適なタイミングとする。
すなわち、運転者２０が、安全な手動運転を開始できるようなタイミングとする。
具体的には、運転者の覚醒度が高い場合は、手動運転開始時間の直前、例えば５秒前に通知を行い、運転者の覚醒度が低い場合は、余裕をもって手動運転開始時間の２０秒前に行う等の処理を行う。具体的な通知に最適なタイミングの算出は後述する。
通知部１５は、この通知を行う表示部、音声出力部、あるいはハンドルやシートのバイブレータによって構成される、
通知部１５を構成する表示部に対する警告表示の例を図２に示す。
図２に示すように、表示部３０には、以下の各表示がなされる。
運転モード情報＝「自動運転中」、
警告表示＝「手動運転に切り替えてください」
運転モード情報の表示領域には、自動運転モードの実行時は「自動運転中」の表示が行われ、手動運転モードの実行時は「手動運転中」の表示が行われる。
警告表示情報の表示領域には、自動運転モードで自動運転を実行している間に、以下の表示を行う表示領域である。
「手動運転に切り替えてください」
なお、この例は説明を明文化した例であるが、このようなテキスト表示に限らず、例えばピクトグラムなどシンボルによる表示を行ってもよい。
なお、図１に示すように、自動車１０は通信部１４を介してサーバ３０と通信可能な構成を持つ。
例えば、データ処理部１１における通知出力の適正時間を算出する処理の一部、具体的には学習処理をサーバ３０において行うことが可能である。
この具体例については後述する。
図３は、本開示の移動装置や情報処理装置が実行する処理の具体例を示す図である。
図３には、自動運転モードで自動運転を実行している間に、手動運転への切り替え要求を行う通知の適正タイミングの設定例を示す図であり、以下の２つの例の通知処理例を示している。
（ａ）自動運転実行中の運転者の覚醒度が高い場合の通知処理
（ｂ）自動運転実行中の運転者の覚醒度が低い場合の通知処理
（ａ）の例は、自動運転実行中に運転者が前を向いて道路を見ている例である。この場合は、運転者の覚醒度は高い状態、すなわち、いつでも手動運転を開始できる状態にある。
このような場合は、手動運転への切り替え通知は、手動運転が必要となる時間の直前タイミングに行っても、運転者は、すぐに安全な手動運転を開始することができる。
（ｂ）の例は、運転者が自動運転実行中に居眠りをしているような場合、運転者の覚醒度は極めて低い状態にある。
このような場合、手動運転への切り替え通知を、手動運転が必要となる時間の直前タイミングに行うと、運転者は、意識がはっきりしない状態子で手動運転を開始してしまい、事故を発生させる可能性が高まる。従って、このように覚醒度が低い場合は、より早い段階で、手動運転への切り替え通知を行うことが必要となる。
さらに、例えば宅配車両のように荷物室を有し、運転者が自動運転実行中に荷物室へ移動して作業を行うことが可能な車両では、手動運転への切り替え要求を行う通知タイミングは、例えば図４に示すように以下の３種類の場合によって異なる設定とすることが好ましい。
（ａ）自動運転実行中の運転者の覚醒度が高い場合の通知処理
（ｂ）自動運転実行中の運転者の覚醒度が低い場合の通知処理
（ｃ）自動運転実行中の運転者が運転席から離れている場合の通知処理
（ａ）の例は、自動運転実行中に運転者が前を向いて道路を見ている例である。この場合は、運転者の覚醒度は高い状態、すなわち、いつでも手動運転を開始できる状態にある。
このような場合は、手動運転への切り替え通知は、手動運転が必要となる時間の直前タイミングに行っても、運転者は、すぐに安全な手動運転を開始することができる。
（ｂ）の例は、運転者が自動運転実行中に居眠りをしているような場合の例であり、この場合、運転者の覚醒度は極めて低い状態にある。
このような場合、手動運転への切り替え通知を、手動運転が必要となる時間の直前タイミングに行うと、運転者は、意識がはっきりしない状態子で手動運転を開始してしまい、事故を発生させる可能性が高まる。従って、このように覚醒度が低い場合は、より早い段階で、手動運転への切り替え通知を行うことが必要となる。
（ｃ）の例は、運転者が自動運転実行中に運転席を離れて作業をしているような場合の例であり、このような場合、運転者は運転席に戻るまでに時間を要することになる。
このような場合、手動運転への切り替え通知を、手動運転が必要となる時間の直前タイミングに行うと、運転者が運転席に戻る前に手動運転区間に差し掛かってしまう可能性がある。従って、このように運転者が運転席を離れている場合には、より早い段階で、手動運転への切り替え通知を行うことが必要となる。
また、自動車１０に乗車している運転者（ドライバ）２０が、運転席を離れている場合には、運転席の通知部（表示部）１５に先に図２を参照して説明したような表示を行っても運転者２０は気づくことができない。
これを解決するため、運転者（ドライバ）２０が腕に装着した情報端末５０、例えば図５に示すような情報端末５０を介して通知、情報提供を行う。情報端末５０は、図２を参照して説明したと同様の表示データの表示処理を行うとともに、さらに、自動車１０が走行中の道路の区間（自動運転区間、手動運転区間）の接近情報等を表示する。さらに、アラーム出力、音声出力、バイブレーション機能を有し、様々な通知、警告を運転者２０に知らせる。
図５は、情報端末５０の利用例を示す図である。自動車１０に乗車している運転者（ドライバ）２０は、自動車１０が自動運転実行中に、図４（ａ）に示すように運転席にいる場合もあるが、図４（ｂ）に示すように、運転席を離れ、荷物室で作業を行っている場合もある。しかし、運転者２０は、常時、情報端末５０を腕に装着しており、情報端末５０に表示される表示情報や、出力される音声、アラーム、バイブレーション等に気づくことが可能となる。
図６は、情報端末５０の表示情報の一例を示す図である。図６に示す例は、先に図２を参照して説明した通知部（表示部）１５の表示例と同様の表示例を示している。情報端末５０に、以下の各表示がなされる。
運転モード情報＝「自動運転中」、
警告表示＝「手動運転に切り替えてください」
運転者２０は、どこにいてもこの表示を確認することが可能となる。
さらに、図７に示すようなタブレット型の情報端末５０を利用して通知、情報提供を行う構成としてもよい。
［２．移動装置の具体的な構成と処理例について］
次に、図８以下を参照して、本開示の移動装置１０の具体的な構成と処理例について説明する。
図８は、移動装置１００の構成例を示している。なお、以下、移動装置１００が設けられている車両を他の車両と区別する場合、自車または自車両と称する。
移動装置１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、および、自動運転制御部１１２を備える。
入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、および、自動運転制御部１１２は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＩＮ（Ｌｏｃａｌ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、または、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、移動装置１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。
なお、以下、移動装置１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１２が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１２が通信を行うと記載する。
入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、および、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線もしくはその他の電波を利用したリモートコントロール装置、または、移動装置１００の操作に対応したモバイル機器もしくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、移動装置１００の各部に供給する。
データ取得部１０２は、移動装置１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、移動装置１００の各部に供給する。
例えば、データ取得部１０２は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、および、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、もしくは、車輪の回転速度等を検出するためのセンサ等を備える。
また、例えば、データ取得部１０２は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、および、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候または気象等を検出するための環境センサ、および、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ、Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）、ソナー等からなる。
例えば、図９は、自車の外部情報を検出するための各種のセンサの設置例を示している。撮像装置７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドアおよび車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。
フロントノーズに備えられる撮像装置７９１０および車室内のフロントガラスの上部に備えられる撮像装置７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像装置７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパまたはバックドアに備えられる撮像装置７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像装置７９１８は、主として先行車両または、歩行者、障害物、信号機、交通標識または車線等の検出に用いられる。また、今後自動運転においては車両の右左折の際により広域範囲にある右左折先道路の横断歩行者やさらには横断路接近物範囲まで拡張利用をしてもよい。
なお、図９には、それぞれの撮像装置７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像装置７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像装置７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパまたはバックドアに設けられた撮像装置７９１６の撮像範囲を示す。例えば、撮像装置７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像、さらには車両周辺部を湾曲平面で囲う全周囲立体表示画像などが得られる。
車両７９００のフロント、リア、サイド、コーナおよび車室内のフロントガラスの上部に設けられるセンサ７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサまたはレーダであってよい。車両７９００のフロントノーズ、リアバンパ、バックドアおよび車室内のフロントガラスの上部に設けられるセンサ７９２０，７９２６，７９３０は、例えばＬｉＤＡＲであってよい。これらのセンサ７９２０～７９３０は、主として先行車両、歩行者または障害物等の検出に用いられる。これら検出結果は、さらに前記俯瞰表示や全周囲立体表示の立体物表示改善に適用をしてもよい。
図８に戻って各構成要素の説明を続ける。データ取得部１０２は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。
また、例えば、データ取得部１０２は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、および、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面またはステアリングホイール等に設けられ、座席に座っている搭乗者の着座状態またはステアリングホイールを握っている運転者の生体情報を検出する。生体信号としては心拍数、脈拍数、血流、呼吸、心身相関、視覚刺激、脳波、発汗状態、頭部姿勢挙動、眼、注視、瞬き、サッカード、マイクロサッカード、固視、ドリフト、凝視、虹彩の瞳孔反応など多様な可観測データが利用可能である。これら、可観測の運転状態を反映した生体活動可観測情報は、観測から推定される可観測評価値として集約し評価値のログと紐付けたられた復帰遅延時間特性から該当運転者の復帰遅延事案の固有特性として後述する安全性判別部１５５で復帰通知タイミングの算出に用いる。
図１０は、データ取得部１０２に含まれる車内の運転者の情報を得るための各種センサの例を示している。例えば、データ取得部１０２は、運転者の位置、姿勢を検出するための検出器として、ＴｏＦカメラ、ステレオカメラ、シート・ストレイン・ゲージ（Ｓｅａｔ Ｓｔｒａｉｎ Ｇａｕｇｅ）等を備える。また、データ取得部１０２は、運転者の生体活動可観測情報を得るための検出器として、顔認識器（Ｆａｃｅ（Ｈｅａｄ） Ｒｅｃｏｇｎｉｔｉｏｎ）、ドライバ・アイ・トラッカー（Ｄｒｉｖｅｒ Ｅｙｅ Ｔｒａｃｋｅｒ）、ドライバー・ヘッド・トラッカー（Ｄｒｉｖｅｒ Ｈｅａｄ Ｔｒａｃｋｅｒ）等を備える。
また、データ取得部１０２は、運転者の生体活動可観測情報を得るための検出器として、生体信号（Ｖｉｔａｌ Ｓｉｇｎａｌ）検出器を備えている。また、データ取得部１０２は、運転者認証（Ｄｒｉｖｅｒ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）部を備えている。なお、認証方式としては、パスワードや暗証番号などによる知識認証他、顔、指紋、瞳の虹彩、声紋などによる生体認証も考えらえる。
通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、移動装置１００の各部から供給されるデータを送信したり、受信したデータを移動装置１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である
例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、または、ＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）等により、車内機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（および、必要であればケーブル）を介して、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）、または、ＭＨＬ（Ｍｏｂｉｌｅ Ｈｉｇｈ－ｄｅｆｉｎｉｔｉｏｎ Ｌｉｎｋ）等により、車内機器１０４と有線通信を行う。
さらに、例えば、通信部１０３は、基地局またはアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワークまたは事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバまたは制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Ｐｅｅｒ Ｔｏ Ｐｅｅｒ）技術を用いて、自車の近傍に存在する端末（例えば、歩行者もしくは店舗の端末、または、ＭＴＣ（Ｍａｃｈｉｎｅ Ｔｙｐｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）端末）との通信を行う。
さらに、例えば、通信部１０３は、車車間（Ｖｅｈｉｃｌｅ ｔｏ Ｖｅｈｉｃｌｅ）通信、路車間（Ｖｅｈｉｃｌｅ ｔｏ Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）通信、自車と家との間（Ｖｅｈｉｃｌｅ ｔｏ Ｈｏｍｅ）の通信、および、歩車間（Ｖｅｈｉｃｌｅ ｔｏ Ｐｅｄｅｓｔｒｉａｎ）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制または所要時間等の情報を取得する。なお、通信部を通して先導車両となり得る区間走行中前方走行車両とペアリングを行い、前方車搭載のデータ取得部より取得された情報を事前走行間情報として取得し、自車のデータ取得部１０２のデータと補完利用をしてもよく、特に先導車による隊列走行などで後続隊列のより安全性を確保する手段となる。
車内機器１０４は、例えば、搭乗者が有するモバイル機器（タブレット、スマートフォンなど）もしくはウェアラブル機器、自車に搬入され、もしくは取り付けられる情報機器、および、任意の目的地までの経路探索を行うナビゲーション装置等を含む。なお、自動運転の普及でかならずしも乗員は着座固定位置に固定されないことを考慮すれば、将来的にはビデオ再生器やゲーム機器やその他車両設置から着脱利用が可能な機器に拡張利用してもよい。本実施例では、運転者の介在必要地点の情報呈示を該当する運転者に限定した例をして記述をしているが、情報提供はさらに隊列走行等で後続車への情報提供をしてもよいし、更には旅客輸送相乗りバスや長距離物流商用車の運行管理センターに常時情報を上げる事で、適宜遠隔での走行支援と組み合せ利用をしてもよい。
出力制御部１０５は、自車の搭乗者または車外に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）および聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報および聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像またはパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音または警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。
出力部１０６は、自車の搭乗者または車外に対して、視覚情報または聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。
駆動系システム１０８は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関または駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Ａｎｔｉｌｏｃｋ Ｂｒａｋｅ Ｓｙｓｔｅｍ）、ＥＳＣ（Ｅｌｅｃｔｒｏｎｉｃ Ｓｔａｂｉｌｉｔｙ Ｃｏｎｔｒｏｌ）、並びに、電動パワーステアリング装置等を備える。
ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行う。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各部に制御信号を供給し、ボディ系システム１１０の制御状態の通知等を行う。
ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウインドウ装置、パワーシート、ステアリングホイール、空調装置、および、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー、フォグランプ等）等を備える。
記憶部１１１は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、および、光磁気記憶デバイス等を備える。記憶部１１１は、移動装置１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、および、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。
自動運転制御部１１２は、自律走行または運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１２は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、または、自車のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、および、動作制御部１３５を備える。
検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、車外情報検出部１４１、車内情報検出部１４２、および、車両状態検出部１４３を備える。
車外情報検出部１４１は、移動装置１００の各部からのデータまたは信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部１４１は、自車の周囲の物体の検出処理、認識処理、および、追跡処理、並びに、物体までの距離、相対速度の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。
また、例えば、車外情報検出部１４１は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、および、路面の状態等が含まれる。車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、および、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。
車外情報検出部１４１が取得する情報は、走行区間が重点的に自動運転の走行が可能な区間として常時更新されたローカルダイナミックマップ（ＬＤＭ）がインフラより供給された区間であれば、主にインフラによる情報供給を受ける事が可能となり、または該当区間を先行走行する車両や車両群より区間侵入に先立ち事前に常に情報更新を受けて走行をすることがあってもよい。また、インフラより常時最新のローカルダイナミックマップの更新が行われていない場合など、取り分け隊列走行などでより安全な侵入区間直前での道路情報を得る目的で、区間侵入先導車両から得られる道路環境情報を補完的にさらに利用しても良い。自動運転が可能である区間であるかは多くの場合、これらインフラより提供される事前情報の有無により決まる。インフラより提供されるルート上の自動運転走行可否情報を構成する更新される新鮮なローカルダイナミックマップ（ＬＤＭ）はいわゆる「情報」としてあたかも見えない軌道を提供していることに等しい。なお、便宜上車外情報検出部１４１は自車両に搭載した前提で図示をしているが、前走車が「情報」としてとらえた情報を利用する事で、走行時の事前予測性を更に高めても良い。
車内情報検出部１４２は、移動装置１００の各部からのデータまたは信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部１４２は、運転者の認証処理および認識処理、運転者の状態の検出処理、搭乗者の検出処理、および、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向、眼球詳細挙動等が含まれる。
さらに、自動運転において運転者は運転操舵作業から完全に離脱した利用が将来的に想定され、運転者は一時的な居眠りや他の作業に取り掛かり、運転復帰に必要な意識の覚醒復帰がどこまで進んでいるかシステムが把握する必要が出てくる。つまり、従来考えられていたドライバモニタリングシステムでは眠気などの意識低下を見る検出手段が主であったが、今後は運転者が運転操舵に全く介在していない状態となるため、システムは運転者の運転介在度合いを操舵機器の操舵安定性等から直接的に観測する手段がなくなり、運転者の正確な意識状態が未知の状態から、運転に必要は意識復帰推移を観測し、その正確な運転者の内部覚醒状態を把握した上で操舵の自動運転から手動運転への介入譲渡を進める必要がある。
そこで、車内情報検出部１４２には主に大きな２段階の役割があり、一つ目の役割は自動運転中の運転者の状態のパッシブ監視であり、二つ目の役割はいざシステムより復帰の要請が出された以降、注意下運転の区間到達までに手動運転が可能なレベルまで、運転者の周辺認知、知覚、判断とさらには操舵機器の作動能力の検出判断である。制御として更に車両全体の故障自己診断を行い、その自動運転の一部機能故障で自動運転の機能低下が発生した場合も同様に運転者による早期手動運転への復帰をうながしても良い。ここでいうパッシブモニタリングとは、運転者に意識上の応答反応を求めない種類の検出手段をさし、物理的な電波や光等を機器から発信して応答信号を検出する物を除外するものではない。つまり、仮眠中など無意識下の運転者の状態モニタリングを指し、運転者の認知応答反応でない分類をパッシブ方式としている。電波や赤外線等を照射した反射や拡散信号を解析して評価するアクティブ応答デバイスを除外するものではない。反して、運転者に応答反応を求める意識的応答を求める物はアクティブとしている。
検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、および、動作制御部１３５に供給する。なお、システムによる運転者へ運転復帰指示が出た後に運転者が的確な期限時間内に手動運転が達成できない事が判明し、自運転のまま減速制御を行って時間猶予をおこなっても引継ぎが間に合わないと判断された場合は、システムの緊急事態回避部１７１等に指示を出し、車両を退避の為に減速、退避・停車手順を開始する。つまり、初期状態として同じ間に合わない状況でも、車両を早期に減速させることで引継ぎ限界に到達する到達時間を稼ぎだすことができる。引継ぎ限界に到達する到達時間を稼ぎだすことで、システムによる事象対処に時間的余裕が発生し、安全確保のための対処が可能となる。ただし、後述する通りむやみな減速や徐行は渋滞誘発要因や追突リスクを上げるため適用は制限される。
車両状態検出部１４３は、移動装置１００の各部からのデータまたは信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無および内容、運転操作の状態、パワーシートの位置および傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、および、動作制御部１３５の緊急事態回避部１７１等に供給する。
自己位置推定部１３２は、車外情報検出部１４１、および、状況分析部１３３の状況認識部１５３等の移動装置１００の各部からのデータまたは信号に基づいて、自車の位置および姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。
自己位置推定用マップは、例えば、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、および、状況認識部１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に記憶させる。
状況分析部１３３は、自車および周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４および安全性判別部１５５を備える。
マップ解析部１５１は、自己位置推定部１３２および車外情報検出部１４１等の移動装置１００の各部からのデータまたは信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、および、動作計画部１６３等に供給する。
交通ルール認識部１５２は、自己位置推定部１３２、車外情報検出部１４１、および、マップ解析部１５１等の移動装置１００の各部からのデータまたは信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置および状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。
状況認識部１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、および、マップ解析部１５１等の移動装置１００の各部からのデータまたは信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部１５３は、自車の状況、自車の周囲の状況、および、自車の運転者の状況等の認識処理を行う。また、状況認識部１５３は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Ｏｃｃｕｐａｎｃｙ Ｇｒｉｄ Ｍａｐ）とされる。
認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、自車の運動特性を決定付ける貨物積載量や貨物積載に伴う車体の重心移動、タイヤ圧、ブレーキ制動パッド摩耗状況に伴う制動距離移動、積載物制動に引き起こす貨物移動防止の許容最大減速制動、液体搭載物に伴うカーブ走行時の遠心緩和限界速度など車両特有、更には積載貨物特有条件とさらには路面の摩擦係数や道路カーブや勾配など、全く同じ道路環境であっても車両自体の特性、さらには積載物等によっても制御に求められる復帰開始タイミングは異なるため、それら多様な条件の収集を行い学習して制御を行う最適タイミングに反映する必要がある。車両の種類や積載物によって制御タイミングを決定する上で単純に自車両の異常の有無および内容等を観測モニタリングすれば良い内容ではない。運送輸送業などで、積載物固有の特性に応じて一定の安全性を確保する為に望ましい復帰の猶予時間の加算を決めるパラメータを予め固定値として設定をしてもよく、必ずしも全ての通知タイミング決定条件を自己累積学習より一律に定める方法をとらなくともよい。
認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類および位置、周囲の動物体の種類、位置および動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成および路面の状態、並びに、周囲の天候、気温、湿度、および、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。車両を安全に走行させるという事は、その車両の固有の状態で搭載している積載量や搭載部の車台固定状態、重心の偏重状態、最大減速可能加速値、最大負荷可能遠心力、運転者の状態に応じて復帰応答遅延量などに応じて、対処が求められる制御開始ポイントが大きく異なってくる。
状況認識部１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２および状況予測部１５４等に供給する。また、状況認識部１５３は、状況認識用マップを記憶部１１１に記憶させる。
状況予測部１５４は、マップ解析部１５１、交通ルール認識部１５２および状況認識部１５３等の移動装置１００の各部からのデータまたは信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部１５４は、自車の状況、自車の周囲の状況、および、運転者の状況等の予測処理を行う。
予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、および、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、および、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動および体調等が含まれる。
状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識部１５２および状況認識部１５３からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、および、動作計画部１６３等に供給する。
安全性判別部１５５は、運転者の復帰行動パターンや車両特性等に応じた最適復帰タイミングを学習し、その学習情報を状況認識部１５３等に提供する。これにより、例えば、既定された一定以上の割合で運転者が正常に自動運転から手動運転に復帰するのに要する統計的に求められた最適タイミングを運転者へ提示することが可能となる。
ルート計画部１６１は、マップ解析部１５１および状況予測部１５４等の移動装置１００の各部からのデータまたは信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、および、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。
行動計画部１６２は、マップ解析部１５１および状況予測部１５４等の移動装置１００の各部からのデータまたは信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、および、追い越し等の計画を行う。行動計画部１６２は、計画した自車の行動を示すデータを動作計画部１６３等に供給する
動作計画部１６３は、マップ解析部１５１および状況予測部１５４等の移動装置１００の各部からのデータまたは信号に基づいて、行動計画部１６２により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部１６３は、加速、減速、および、走行軌道等の計画を行う。動作計画部１６３は、計画した自車の動作を示すデータを、動作制御部１３５の加減速制御部１７２および方向制御部１７３等に供給する。
動作制御部１３５は、自車の動作の制御を行う。動作制御部１３５は、緊急事態回避部１７１、加減速制御部１７２、および、方向制御部１７３を備える。
緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、および、車両状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部１７１は、計画した自車の動作を示すデータを加減速制御部１７２および方向制御部１７３等に供給する。
加減速制御部１７２は、動作計画部１６３または緊急事態回避部１７１により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部１７２は、計画された加速、減速、または、急停車を実現するための駆動力発生装置または制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。なお、緊急事態が発生し得るケースは主に２つある。つまり、自動運転中の走行ルートで本来ならインフラより取得したローカルダイナミックマップ等で安全とされていた道路を自動運転中に突発的な理由で予想外の事故が発生し、運転者の緊急復帰が間に合わないケースと、自動運転から手動運転に運転者が的確に復帰することが困難になるケースがある。
方向制御部１７３は、動作計画部１６３または緊急事態回避部１７１により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部１７３は、動作計画部１６３または緊急事態回避部１７１により計画された走行軌道または急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
［３．自動運転モードから手動運転モードへのモード切り替えシーケンスについて］
次に、自動運転モードから手動運転モードへの引継ぎシーケンスについて説明する。
図１１は、自動運転制御部１１２における自動運転モードから手動運転モードへのモード切り替えシーケンスの一例を概略的に示している。
ステップＳ１は、運転者が運転操舵から完全離脱の状態にある。この状態で、運転者は、例えば、仮眠、あるいはビデオ鑑賞、ゲームに集中、タブレット、スマートフォン等の視覚ツールを用いた作業などの２次タスクを実行できる。タブレット、スマートフォン等の視覚ツールを用いた作業は、例えば、運転席をずらした状態で、あるいは運転席とは別の席で行うことも考えられる。
これら運転者の状態次第では、ルート上の手動運転復帰が求められる区間に接近した際に、運転者が復帰するまでの時間はその時々の作業内容により大きく変動する事が想定され、事象接近の直前の通知では復帰までに時間が不足したり、事象接近に対して余裕をみたあまりにも早めに通知をした場合、実際に復帰に必要なタイミングまでの時間が長く空き過ぎたりすることが発生する。その結果、的確なタイミングで通知が行われない状況が繰り返し起こると、運転者はシステムの通知タイミングに対するタイミングの信頼性が失われ、通知に対する意識が低下して、結果的に運転者の的確な対処がおろそかになる、その結果、引き継が上手く行われないリスクが高まると同時に、安心した２次タスク実行の阻害要因にもなる。そこで、運転者が通知に対する的確な運転復帰の対処を開始するには、通知タイミングの最適化をシステムが行う必要がある。
ステップＳ２は、先に図２を参照して説明したような手動運転復帰要求通知のタイミングである。運転者に対して、振動などの動的なパプティックスや視覚的あるいは聴覚的に運転復帰が通知される。自動運転制御部１１２では、例えば、運転者の定常状態がモニタリングされて、通知を出すタイミングを把握され、適宜なタイミングで通知がなされる。つまり、前段のパッシブモニタリング期間で運転者の２次タスクの実行状態が常時パッシブにモニタリングされ、通知の最適タイミングの最適タイミングをシステムは算出する事ができ、ステップＳ１の期間のパッシブモニタリングを常時継続的に行って、復帰タイミングと復帰通知は、運転者の固有復帰特性に合わせ行うのが望ましい。
つまり、運転者の復帰行動パターンや車両特性等に応じた最適復帰タイミング学習して、既定された一定以上の割合で運転者が正常に自動運転から手動運転に復帰するのに要する統計的に求めた最適タイミングを運転者へ提示するのが望ましい。この場合、通知に対して運転者が一定時間の間に応答しなかった場合には、アラームの鳴動などによる警告がなされる。
ステップＳ３では、運転者が、着座復帰したか確認される。ステップＳ４では、顔やサッケード等の眼球挙動解析により、運転者の内部覚醒度状態が確認される。ステップＳ５では、運転者の実操舵状況の安定度がモニタリングされる。そして、ステップＳ６では、自動運転から手動運転への引継ぎが完了した状態となる。
［４．自動運転の動作シーケンス例について］
次に、図１２に示すフローチャートを参照して、自動運転の動作シーケンスの一例について説明する。
図１２に示すフローチャートは、移動装置の１００を実行する自動運転の動作シーケンスを説明するフローチャートである。
まず、ステップＳ１１において、運転者認証が行われる。この運転者認証は、パスワードや暗証番号などによる知識認証、あるいは顔、指紋、瞳の虹彩、声紋などによる生体認証、さらには知識認証と生体認証が併用されて行われる。このように運転者認証が行われることで、複数の運転者が同一の車両を運転する場合であっても、各運転者に対応付けて通知タイミングを決定するための情報の蓄積行うことが可能となる。
次に、ステップＳ１２において、運転者により入力部１０１が操作されて、目的地が設定される。この場合、インスツルメンツパネルの表示に基づいて運転者の入力操作が行われる。
なお、本実施例としては車両に乗車して旅程設定を想定した場合の事例を説明しているが、車両に乗車する前に事前にスマートフォンや自宅を出る前にパソコンより遠隔事前予約設定などを行ってもよく、さらにはスケジュール表に則って車のシステムが運転者の想定したスケジュールに沿ってプリプラニング設定を行い、道路環境のＬＤＭ情報、すなわち車両が走行する道路の走行地図情報を高密度で且つ常時更新するいわゆるローカルダイナミックマップ（ＬＤＭ）情報などを更新取得して乗車時やその前にでもコンシエルジュ的に実際の走行アドバイス表示などをさらに行ってもよい。
次に、ステップＳ１３において、走行ルート上の走行区間表示が開始される。この走行区間表示は、インスツルメンツパネルに表示される他、例えば、運転者が２次タスクを行うタブレット等にも作業ウインドウと並べて表示される。これにより、作業ウインドウで作業を行っている運転者は、走行ルートの運転者介在必要区間および自動運転可能区間を現在地点からの到達予測時間軸で容易に認識可能となる。
この走行区間表示では、前方予定と各地点への接近情報の提示がなされる。この走行区間表示においては、走行ルートの運転者介在必要区間および自動運転可能区間が、現在地点からの到達予測時間軸で表示される。そして、運転者介在必要区間には、手動運転区間、自動運転から手動運転への引継ぎ区間および自動運転からの注意走行区間が含まれる。この走行区間表示の詳細については、後述する。
次に、ステップＳ１４において、ＬＤＭ更新情報の取得が開始される。このＬＤＭ更新情報の取得に伴って、走行区間表示の内容を最新の状態に変更可能となる。次に、ステップＳ１５において、走行が開始される。次に、ステップＳ１６において、自車の位置情報と取得ＬＤＭ更新情報に基づいて、走行区間表示の表示が更新されていく。これにより走行区間表示は、走行に伴って、各区間が自車に迫ってくるように、スクロール表示されるものとなる。
走行を伴い相対的に接近する前方の走行環境と該当自車両の引き継ぎに必要タイミング等の情報の提示手段は、スクロール手段に限定する必要ななく、その他方法としては差し迫る時間間隔が直感的、明示的手段で且つ誤認少なく何時運転へ復帰に取り掛かるべきか知る事が出来る手段が好ましい。例えば、砂時計を模した時間提示方法や、クロノグラフ形式の腕時計形態で引継ぎ残存時間を利用者装着機器へ直接提示する手段を介してもよい。
次に、ステップＳ１７において、運転者状態のモニタリングがされる。次に、ステップＳ１８において、事象変化対応処理が行われる。この事象変化対応処理には、走行ルート中に既に存在している自動運転モードと手動運転モードとの切り替え地点あるいは注意走行区間が迫ってきた場合に対応するためのモード切り替え処理、走行ルート中にモード切り替え地点あるいは注意走行区間の運転者介在必要区間が新たに発生した場合に対応するための事象発生処理などが含まれる。以降、ステップＳ１６からステップＳ１８の処理が適宜繰り返される。
「走行区間表示の詳細」
図１３は、運転者により目的地が設定されることで決定された走行ルートの一例を示している。この走行ルートには、自動運転可能区間Ｓａと、手動運転区間Ｓｂと、自動運転から手動運転への引継ぎ区間Ｓｃと、自動運転からの注意走行区間Ｓｄが存在する。ここで、引継ぎ区間Ｓｃは手動運転区間Ｓｂの直前に必ず存在し、運転者は手動運転への復帰体勢にあることが必要となる。また、注意走行区間Ｓｄは、手動運転への復帰体勢にある運転者の注意監視下において自動運転のまま減速して走行が可能な区間である。
図示の例において、自動運転可能区間Ｓａは緑色で示され、手動運転区間Ｓｂは赤色で示され、引継ぎ区間Ｓｃおよび注意走行区間Ｓｄは黄色で示されている。なお、便宜上、各色は別々の模様で表している。
センターインフォーメーションディスプレイやタブレット等の表示デバイスにおける走行区間表示にあっては、上述したような走行ルートの各区間が、現在地点からの到達予測時間軸で表示される。自動運転制御部１１２は、走行ルート情報および交通情報に基づいて走行ルートにおける走行区間表示のための情報処理をする。
図１４（ａ）は、走行ルートの各区間を現在地点からの移動距離軸で一定のスケールで表している。図１４（ｂ）は、各地点における平均的道路交通の流れ速度ｖ（ｔ）を表している。図１４（ｃ）は、移動距離軸で表されている各区間を、速度ｖ（ｔ）を用いて時間軸に変換したものである。これにより、走行ルートの各区間は、現在地点からの到達予測時間軸で表されるものとなる。つまり、走行ルートの物理的距離を該当区間毎の平均速度で除算した時間軸で表す事が出来る。
この実施の形態においては、走行区間表示される全区間を、図１４（ｄ）に示すように３つの区間に分割し、各区間の時間軸を変化させている。すなわち、現在地点から第１の地点（時間ｔ０、例えば１０分程度）までの第１の区間は、時間リニア表示直近区間として、第１の時間軸で表示する。例えば、時間ｔ０は、一般的な運転者が２次タスクを終了して運転復帰するまでに必要十分な時間に設定される。走行により接近する直近区間はあたかも一定速度で進む地図上に示すのと同等の視覚的直感効果が有るため、運転者は事象接近に伴う的確な運転復帰の準備を開始でき、ある程度正確に復帰を開始するポイントが感覚的に把握できるメリットがある。つまりこの区間の表示目的は運手者の的確復帰ポイントの開始判断情報を利用者に提供することにある。
また、第１の地点（時間ｔ０）から第２の地点（時間ｔ１、例えば１時間程度）までの第２の区間は、時間の逆数表示区間として、第１の時間軸からこの第１の時間軸に対して所定の比率で縮小された第２の時間軸まで順次変化した時間軸で表示する。この第２の区間の表示目的は、主に先の第１の区間と同等スケール倍率で表示をすると、狭い表示スペースに長期期間の表示が困難となるため、より長期期間の道路状況を狭い表示で運転者に正確に提供する工夫となる。こうすることで、運転者は走行に伴いある一定の先の区間で何処までの地点は運転介在が求められないで済むかを把握が容易に出来る様になり、２次タスクへの従事を計画的に行えるメリットがある。運転介在のメリハリが付き、また第三者とのやり取りに伴う２次タスクなどでは運転者の２次タスクからの解放プラニング等での重要な情報呈示の役割を果たす。
ここで、図１４（ｄ）において、この第２の表示区間の設定方法について記述する。三角形の高さをｈ０としたとき、その先端からｈだけ手前の地点の時間ｔは、以下の（１）式で求められる。
ｔ＝ｔ０＊ｈ０／ｈ ・・・（１）
また、第２の地点（時間ｔ１）における第２の時間軸は、第１の時間軸に対して、ｈｓ／ｈ０の比率で縮小されたものとなる。例えば、ｈｓ＝ｈ０／８である場合、縮小率は、１／８ということになる。
以上に示す第２の表示区間の表示は、車速が一定で走行している場合であれば、地図上の走行直線伸張表示区間を進行方向に斜め傾けた地図を見た表示、または道路平面前方を斜めみした状態に相当する。言い換えれば、この表示区間の視覚的効果が表示像高位置で遠近が直感的にわかるため、画面上に正確な位置表示の目盛等を表示しなくとも感覚的距離が把握容易にできる表示とも言える。そして遠方の区間は縮小されるが、走行で直ぐ到達する地点ではないため、大凡の予測は重要となるが、近傍点程厳密な到着時刻情報を運転者が感覚的に把握する必要ではないため、２次タスク実行計画をする上でも好適である。
また、第２の地点（時間ｔ１）から第３の地点（時間ｔ２）までの第３の区間は、時間リニア表示遠方区間として、第２の時間軸（縮小率ｈｓ／ｈ０）で表示する。このように３つの区間に分割して表示することで、運転者は、限られた表示スペースで、時間的に直近の区間情報の詳細に知ることができると共に、時間的により遠くまでの区間情報を知ることが可能となる。なお、第２区間の表示形態のままで遠方部を表示すると、人の視覚分解能、更にはシステムの表示分解能限界以下となり、２次タスクの計画判断に必要な情報が判別できなくなり、表示機能の意味が失われる。そこで、直感的に時間の区間感覚が十分把握でき、必要な介在区間、不必要区間区分が適切に表示される程度の段階で表示スケールの縮小を終え、それ以降の区間はまた一定スケールに戻した表示を行うのが最も効果的は表示となる。
なお、車両制御システム１００は、時間ｔ０、ｔ１、ｔ３のデフォルト値を備えている。長距離運転と近距離運転とで時間ｔ０、ｔ１、ｔ３の値を別にすることも考えられるので、デフォルト値は１つに限定されるものではなく、複数種類を備えていて、運転者（ユーザ）あるいはシステムが走行ルートに応じて選択的に用いるようにされてもよい。また、時間ｔ０、ｔ１、ｔ３の値を、運転者（ユーザ）が任意に設定できるようにすることも考えられる。
図１５（ａ），（ｂ）は、最終的に表示される走行区間表示の一例を示している。なお、矢印の長さにより、時間軸がリニアであるか否か、さらには時間軸の縮小率の変化が示されている。図１５（ａ）の場合には、第１の区間、第２の区間および第３の区間の全ての区間が第１の幅のままで表示されている。
一方、図１５（ｂ）の場合には、現在地点から第１の地点（時間ｔ０）までの第１の区間は、第１の幅で表示され、第１の地点（時間ｔ０）から第２の地点（時間ｔ１）までの第２の区間は、第１の幅からこの第１の幅に対して狭い第２の幅まで順次変化した幅で表示され、第２の地点（時間Ｔ１）から第３の地点（時間Ｔ２）までの第３の区間は、第２の幅で表示される。これにより、運転者は、第１の区間に対する第２の区間および第３の区間の時間軸の縮小の程度を視覚的に認識することが可能となる。つまり、図１４での表示形態は進行方向の縮小率のみを配慮した表示であるが、さらに表示情報の進行方向に対する横断横幅を擬似的に遠近に合わせて幅を変える事で、道路や地図の進行に沿って無限方向に向かって見るのと同じ遠近効果が得られ、運転介在必要区間の分布が画面を一瞬みるだけより直感的に把握が容易となる。特に、第２の区間のみを反時計代わりに回転して見た場合、あたかも一定速度で走行した場合の道路前方の道路幅と各該当地点の到達時間に匹敵するので、正確な位置メモリを目視判断しなくても、各地点までの到達実感が直感的に把握でき、時間配分が可能となる表示形態といえる。
なお、例えば第３の区間のように縮小率ｈｓ／ｈ０が小さな部分では、短い時間長の区間をそのままの時間長で表示すると、その区間が非常に細く表示され、運転者の認識が困難となることが予想される。そのため、運転者介在区間（手動運転区間、引き継ぎ区間、注意走行区間）が実際には一定時間長以下である場合であっても、一定時間長で表示するようにされる。この場合、例えば、引き継ぎ区間と手動運転区間が連続している場合、引き継ぎ区間の表示は省略されることもある。図１５（ａ），（ｂ）において、第３の区間の最初の手動運転区間Ｓｂの表示は、そのような状態を示している。これにより、時間軸が大きく縮小されている第３の区間において、短い時間長の運転者介在必要区間を運転者が認識可能に表示することが可能となる。
また、第３の区間のように縮小率ｈｓ／ｈ０が小さな部分では、手動運転区間Ｓｂが間欠的に短い周期で連続する場合、全体が繋がった手動運転区間Ｓｂとして表示される。図１５（ａ），（ｂ）において、第３の区間の２番目の手動運転区間Ｓｂの表示は、そのように繋がれて表示された状態を示している。このように表示された手動運転区間Ｓｂは、実際には、図１５（ｃ）に示すように、手動運転区間Ｓｂの他に、短い期間の引継ぎ区間Ｓｄおよび自動運転可能区間Ｓａが含まれている。なお、後述するように、タブレット等に走行区間表示がされている状態で当該地点が例えばダブルタッチされることで、詳細表示が可能とされる。
上述の走行ルートにおける走行区間表示は、自車の位置情報と取得ＬＤＭ更新情報に基づいて、更新されていく。これにより走行区間表示は、時間経過に伴って、各区間が自車に迫ってくるように、スクロール表示されるものとなる。図１６（ａ）～（ｄ）は、時間経過に伴う走行区間表示の変化例を示している。この例は、第２の区間が先細りに表示されている例を示しているが、全ての区間が同じ幅で表示される場合も同様である。
この場合、第１の区間では、各区間の移動が早い。また、第２の区間では、第３の区間側から第１の区間側にいくほど、時間軸の縮小が小さくされているので、各区間の移動が早くなっていく。また、第３の区間では、時間軸の縮小が大きくなっているので、各区間の移動は遅い。
図１７（ａ），（ｂ）は、タブレット１８２の画面上に表示される走行ルートにおける走行区間表示１８１の一例を示している。図１７（ａ）は、タブレット１８２を縦長で使用する場合の例である。この場合、走行区間表示１８１は、左辺から上辺に沿って折れ曲がった状態で表示され、タブレット１８２で行われる２次タスクの実行画面である作業ウインドウと並列に表示される。図１７（ｂ）は、タブレット１８２を横長で使用する場合の例である。この場合も、走行区間表示１８１は、左辺から上辺に沿って折れ曲がった状態で表示され、タブレット１８２で行われる２次タスクの実行画面である作業ウインドウと並列に表示される。なお、図示の例では、タブレット１８２の画面上に走行区間表示１８１が折り曲げた状態で配置されているが、配置スペースが十分にとれる場合には直線的に配置することも考えられる。
図１８は、運転者が実際にタブレット１８２を用いて２次タスクを実行している状態の一例を示している。この例は、タブレット１８２は横長で使用されている。タブレット１８２の画面には、左辺から上辺に沿って折れ曲がった状態で走行区間表示１８１が表示されている。なお、この走行区間表示１８１を画面上に出すか否かを運転者（ユーザ）の操作で選択的に行うようにされてもよい。その場合、例えば、走行区間表示１８１が画面上に出ていない場合に、運転者介在必要区間が一定時間内に入ってきて、運転者に通知する場合には、自動的に、走行区間表示１８１が画面上に出てくるようにされてもよい。
タブレット１８２の画面上に走行区間表示１８１が表示されている状態で、その表示区間中に新たに運転者介在必要区間が発生した場合、その新たに発生した運転者介在必要区間の表示が新たに発生する。この場合、この新たに発生した運転者介在必要区間は、他とは識別可能に、例えば一定時間の点滅表示が行われる。この点滅表示は、注意アラーム音を伴ってなされてもよい。ここで、新たに運転者介在必要区間が発生した場合には、注意走行区間や手動運転区間が新たに発生した場合の他、注意走行区間から手動運転区間に変更になった場合も含まれる。
図１９は、第２区間に新たに注意走行区間Ｓｄが発生し、点滅表示で運転者に警告している状態を示している。なお、この場合、運転者がこの点滅表示されている注意走行区間Ｓｄの表示箇所をタッチすることで、その点滅、つまり警告状態を停止することが可能とされてもよい。あるいは、運転者がこの点滅表示されている注意走行区間Ｓｄの表示箇所をタッチすることで、小ウインドウがポップアップ表示され、承諾の画面タッチで、その点滅、つまり警告状態を停止することが可能とされてもよい。
また、タブレット１８２の画面上に走行区間表示１８１が表示されている状態で、運転者（ユーザ）が任意の地点をダブルタッチして指定した場合、例えば、図２０に示すように、小ウインドウがポップアップ表示され、その地点に関連した表示がなされる。
［５．移動装置の実行する安全性判別処理、手動運転復帰可能時間推定処理について］
次に、移動装置の実行する安全性判別処理、手動運転復帰可能時間推定処理について説明する。
この処理は、主に、図８を参照して説明した移動装置１００の自動運転制御部１１２内に構成される安全性判別部１５５において実行される。
先に説明したように、安全性判別部１５５は、運転者の復帰行動パターンや車両特性等に応じた最適復帰タイミングを学習し、その学習情報を状況認識部１５３等に提供する。これにより、例えば、既定された一定以上の割合で運転者が正常に自動運転から手動運転に復帰するのに要する統計的に求められた最適タイミングを運転者へ提示することが可能となる。
図２１は、安全性判別部１５５の具体的な構成例と処理について説明する図である。
左に自動車等の移動装置２００、右に移動装置１００とネットワークを介して通信するサーバ３００を示している。
移動装置２００は、運転者情報取得部２０１、環境情報取得部２０２、運転者個人識別情報取得部２０３、安全性判別部２１０、通知制御部２２１、通知部２２２、通信部２３０、記憶部２４０を有する。
なお、安全性判別部２１０は、図８に示す状況分析部１３３内に構成される安全性判別部１５５に相当する。
安全性判別部２１０は、学習処理部２１１、安全性判別処理実行部（手動運転復帰可能時間推定部）２１２、個人認証処理部２１３を有する。
サーバ３００は、学習データ取得、生成部３０１、学習処理部３０２、通信部３０３、記憶部３０４を有する。
まず移動装置２００の各構成部の処理について説明する。
運転者情報取得部２０１は、カメラや様々なセンサによって構成され、運転者の情報を取得する。
運転者情報取得部２０１が取得する運転者情報は、例えば眼球領域を含む画像から取得した視線方向、眼球挙動、瞳孔径、顔領域を含む画像から取得した顔の表情などである。
運転者情報取得部２０１が取得するこれらの情報は、例えば運転者の覚醒度を判定するための情報として用いられる。
なお、運転者の覚醒度判定には、上記例は単純化して記述している内容であるが、単純な目や顔などの情報を取得から運転者の詳細状態を判別できるものではなく、事前履歴情報や眼や顔等の詳細挙動解析を行い、階層的にその可観測値から運転者の手動運転復帰に必要な内部覚醒状態の判定を総合的に行う事を行う事を包含する。以下これら、判定に用いる生体情報の幾つかの例を示す。
運転者の覚醒状態を脳内の活動領域観測によりに認知対象や判断対象部位の活動状況を観測する手段として、電気的に電位検出をした脳波観測や赤外線を用いた頭部表層血流観測やｆＭＲＩによる脳内機能評価など大がかりな計測機器がある。ただし、今日の技術で車両に搭載して日常的な一般の利用には程遠い機器であり、実験環境下で心拍波形やＥＯＧなど他の生体との相関とりとそれら生体情報に基づくオフライン学習の利用は限定される。
その他、引き継が突発的に必要になった段階で短期的な覚醒状態判定に直接用いる事は困難であるが、事前に中長期的事前ログ情報を継続的取得する事で、事前に覚醒復帰予測に利用できる情報もある。システムより復帰通知を受けて復帰までに要する時間は、通知を受けた時点での眠りの深さ、疲労蓄積度合、仮眠開始からの経過時間、などなど様々要因で且つ個人特性に応じて復帰に要する時間は変わってくる。これら事前情報は、直接的な復帰時間を与える事は困難であるが、覚醒復帰の影響ファクターとして働くため、取得可能な可観測情報を覚醒復帰時間推定の影響因子として学習に用いる。
運転者情報取得部２０１が取得する運転者情報は、これら運転者の状態に応じてそれらログ取得を行い、更には復帰通知を受けるかまた対象引き継事象接近等のトリガーを元に覚醒状態観測を行っている。長期ログ観測には、例えば腕時計などの様な観測可能機器を運転者が身に付けて利用している場合は車両搭乗前の生活ログを含めてもよく、その場合は事前の休憩状態や睡眠過不足状態の情報も判定の一助に利用できることになる。事前のログ取得を利用できないケースでの通常利用では、利用者が車両に搭乗して、車両に搭載される各種センサより、例えば心電図のローレンツプロット評価から疲労や眠気と言った注意散漫の度合の観測が可能であり、心拍・脈波・血流情報や血圧、更には呼吸、呼気・体臭と言った中長期的変化ログからも緊張状態や疲労状態の推定が可能であり、システムとのヴァーバル（質疑）応答で利用者の発話トーンや応答遅延解析による運転者の状態推定も可能である。更には、顔の表情や下向きや脇見状態の発生など行動解析的手段も採用できる。
また、指示応答特性を見たジェスチャによる俊敏さ評価や活動量と言ったアクティブ評価による状態判別を行っても良い。
運転者情報取得部２０１が取得する運転者情報は、前記事前のログ観測による覚醒復帰影響因子の事前モニタリングを行いつつも、最終的な引継ぎ判定を実行するために、確度の高い内部覚醒状態判別が必要である。運転者が覚醒して自動運転から手動運転に復帰できるという事を、別の視点で見ると、運転者の状況は、時系列に以下のシーケンスに従って変化する。
１．引き継がないといけないという事象が発生している事を認知し、
２．引き継ぎの必要性に伴う必要な状況把握認知をして、
３．通知把握認知が音声通知ならその通知に対する応答があり応答が起床であったり、スイッチによる認知確認であったり、ジェスチャによる応答確認であったり、ハンドルに手を添える行動認知による検出であったり、運転席着座復帰検出であったりする。
４．通常、復帰通知を受けて最終的に復帰姿勢に戻った運転者は、ハンドルヤブレーキやアクセルと言った操舵機器の操作を開始するに先立ち、手動運転復帰に必要な状況把握と精査手順を踏んでから機器操舵を開始する事が想定される為に、主な情報取得手段の一つが視覚的情報取得である。
５．視覚的に状況認知ができると運転者は適切な操舵機器を操り始めるが、安全の為にシステムは瞬間的に一切の操舵を引き継ぐのではなく、運転者の適切な操舵介在と筋力的操舵応答状況まで確認取れる段階への徐々に引き継を進める手順を行う。
運転者情報取得部２０１が取得する運転者情報はこれら一連の過程での観測を行う機能を包含する。
運転者情報取得部２０１が取得する運転者情報は、更に前記視覚的な状況把握を行う事を述べたが、この４．の過程は更に視覚として認知・判断・プラニングを行う事で初めて手動操舵の準備が整う。視線の中心視野に判断に必要な情報を捉えただけでは、運転者は取るべき操舵行動判断とプラニングは出来ない。その為、視線をリスク判断に必要な対象に向けて、通常周辺視野でとらえその方角に中心視野＝視線を向ける為、サケードによる眼球の振り向きの俊敏な動作が発現し、対象を視線の中心視野に来るとその対象の理解を進める為に主に固視（Ｆｉｘａｔｉｏｎ）を開始し、脳内の知識情報をその対象の特徴を捉えながら参照する事で対象の判断が完了すると理解の発火が起こる。そして対象の理解が完了すれば、同時並行的に把握しないといけない次の対象把握を進める新たな方角へ眼球のサッケード動作を行ったり、乃至は捉えた対象の行動判断を進める為に相対的方角移動を打ち消すパーシュート（Ｐｕｒｓｕｉｔ）追尾回転をしたりする。
つまり、これら眼球の視覚情報探索行動として現れる広域サッケード探索、走行に伴う流れを追うパーシュート動作、視線を向けた注目被視体の認知まで視線滞留する固視の際に発生する固視微動とその範囲や揺らぎ安定性と注目点へサッケードを行う滞留時間等などの初期視覚取得から知識認知と認知確定の確認固視微動のサイクルで判断に至ると、つまり判断の発火が起きる僅かな時間遅延が脳内の活動量に影響されその影響が短期的に観測できる現象もある。ここで特に視覚反射行動は、運転者個人が自身の視覚記憶を参照して視覚的に捉え始めたやわい情報からリスク判断を開始し、リスク判断に至るまで無意識の中で判断確定に必要な追加補足情報を固視微動しつつ補っていくことが想定される。その為、サッケードによる眼球の振り向き直後に初期視覚情報を評価して運転行動判断を無意識の内に複雑に繰り返す事で運転継続に必要は判断を確定し、次に確認するべき情報取得の為にサッケードを繰り返すシーケンスが断続的に繰り返していく。そしてこれら一連の眼球挙動は運転操舵に必要な情報取得作業は覚醒認知下での行動となるため、運転が手動復帰に必要な内部覚醒状態の復帰レベルと強く反映した眼球の詳細挙動として発現する。
さらに、運転者情報取得部２０１には、運転者の操作情報を取得する操作情報取得部も含まれる。これらは、例えば運転者の顔画像を撮影するカメラ、各操作部（ハンドル、アクセル、ブレーキ等）の操作情報取得部等によって構成される。
環境情報取得部２０２は、様々な環境情報を取得する。
環境情報取得部２０２が取得する環境情報は、例えば移動装置２００に設置された撮像部による画像、奥行き情報、３次元構造情報、移動体に設置されたＬｉＤＡＲ等のセンサによる地形情報、ＧＰＳによる位置情報、さらに、信号器の状態、標識の情報など、道路等のインフラストラクチャーに設置された通信機器からの情報などである。
運転者個人識別情報取得部２０３は、例えば虹彩認証、指紋認証、静脈認証、声紋認証などの個人認証に適用可能な情報を取得する。
なお、図２１に示す運転者情報取得部２０１、環境情報取得部２０２、運転者個人識別情報取得部２０３の構成は、図８に示す構成では、データ取得部１０２、検出部１３１の各構成に対応する。
安全性判別部２１０は、学習処理部２１１、安全性判別処理実行部（手動運転復帰可能時間推定部）２１２、個人認証処理部２１３を有する。
個人認証処理部２１３は、運転者個人識別情報取得部２０３の取得した、例えば虹彩認証、指紋認証、静脈認証、声紋認証などの個人認証情報を入力して個人認証処理を実行する。
この認証処理に必要な登録情報は、記憶部２４０、あるいはサーバ３００から取得する。
例えば、運転者が移動装置である自動車に乗車したときに、個人識別処理としての個人認証が実施される。個人識別後の運転者情報、時刻、運転入力、道路等の環境情報は、常時または定期的に記録され、サーバ３００に送信される。
なお、運転者個人識別情報取得部２０３から入力した、例えば虹彩認証、指紋認証、静脈認証、声紋認証などの個人認証に適用可能な情報をサーバ３００に送信し、サーバ３００に登録された情報を用いて、サーバ３００において個人認証処理を実行してもよい。
学習処理部２１１は、運転者情報取得部２０１の取得した運転者情報と、環境情報取得部２０２の取得した環境情報等を入力して、これらの入力情報を適用した安全性判定のための学習処理を実行する。
具体的には、例えば、「運転者情報」や「環境情報」に対応する「安全性指標値」や「手動運転復帰可能時間推定値」を算出可能とした学習器の構築を行う。なお、学習器においては運転者固有特性に限定した判別を行うよう学習するだけでは無く、車両特性や環境特性等に応じた特性も学習する。例えば、同一運転者として識別された運転者でも、自家用車による通勤乗用車での操舵特性と職業従事に於ける重量物連結車両の車両挙動特性の安全性を考慮して運転をする際に、走行状況に応じた操舵開始点や制動量なども大きく異なるため、それら安全性に寄与する変動因子の要因学習を行う事で、状況や車両特性を含めた最適化がなされた学習器となる。
なお、学習器とは、機械学習を用いて入出力関係を学習可能な、モデル、アルゴリズム、パラメータ等の集合を指す。統計的学習器、学習モデル、機械学習モデル、統計的学習モデル、予測器、予測モデル、推定器、推定モデル等の様々な呼称があるが、どれも本質的に同じ意味であるため、ここでは学習器という呼称を採用する。具体的な用途に応じて分類器、分類モデル、識別器、識別モデル、回帰学習器、回帰学習モデル、生成モデル等と呼ばれることもあるが、学習器という呼称はそれらの概念を全て包含する上位概念である。
安全性判別処理実行部２１２は、運転者情報取得部２０１の取得した運転者情報と、環境情報取得部２０２の取得した環境情報等を入力し、さらに、学習処理部２１１における学習結果である学習器、あるいはサーバ３００から取得した学習器を利用して、現在の運転者情報と環境情報に基づく安全性指標値を算出する。
さらに、安全な手動運転復帰までに必要となる時間（＝手動運転復帰可能時間）を推定する。
なお、安全な手動運転復帰までに必要となる時間とは、引き継ぎが求められる地点到着までに、運転者が一定の高い割合で手動運転を開始する為に要する時間に基づいて算出されるが、安全性を直接評価して算出される時間では決して無い。手動運転への復帰準備の開始が求められるタイミングは、該当車両の運動特性や道路環境状況、天候と言った様々な要因に影響を受ける為に、それら影響を取り入れる事で安全性を最大化する事が出来る様になる。
通知制御部２２１は、安全性判別処理実行部２１２の推定した手動運転復帰可能時間に基づいて、先に図２を参照して説明したような手動運転開始要求通知の通知タイミングの制御を行い、通知部２２２を介して通知する。
なお、通知部２２２は、例えばアラーム、ウインドウ上のディスプレイ、ハンドルやシートのバイブレーション処理実行部などによって構成される。
通信部２３０は、サーバ３００等、外部装置との通信を実行する。
次に、サーバ３００の各構成部の処理について説明する。
サーバ３００は、学習データ取得、生成部３０１、学習処理部３０２、通信部３０３、記憶部３０４を有する。
学習データ取得、生成部３０１は、学習器の構築に必要となる学習器の入出力データの取得や生成を行う。具体的には、例えば、ネットワークに接続された様々な移動装置から、「運転者情報」や「環境情報」を取得する。さらに、例えば、地図データ、事故発生状況データや渋滞データ等の、様々な取得可能なデータに基づく学習用データを生成する。なお、ここでは学習器の入出力データと表現したが、これは教師付き学習においては教師データ、訓練データ等と呼ばれるものである。所望の入出力関係を学習することさえできれば、教師なし学習、半教師付き学習、強化学習等の他の手法による学習可能性を除外するものでは無いため、ここでは一般化して学習器の入出力データと称した。
これらのデータは記憶部３０４に格納される。
学習処理部３０３は、学習器の入出力データ取得、生成部３０１が取得または生成し、記憶部３０４に格納した学習器の入出力データを利用した学習処理を実行する。
この学習処理により、例えば、「運転者情報」や「環境情報」に対応する「安全性指標値」や「手動運転復帰可能時間推定値」を算出可能とした学習器の入出力データの構築を行う。
次に、移動装置２００の安全性判別部２１０の処理の詳細について説明する。
安全性判別部２１０は、学習処理部２１１、安全性判別処理実行部（手動運転復帰可能時間推定部）２１２、個人認証処理部２１３を有する。
学習処理部２１１は、運転者情報取得部２０１の取得した運転者情報と、環境情報取得部２０２の取得した環境情報を入力して、これらの入力情報を適用した安全性判定のための学習処理を実行する。
安全性判別処理実行部（手動運転復帰可能時間推定部）２１２は、運転者情報取得部２０１の取得した運転者情報と、環境情報取得部２０２の取得した環境情報等を入力し、さらに、学習処理部２１１における学習結果である学習器、あるいはサーバ３００から取得した学習器を利用して、現在の運転者情報と環境情報に基づく安全性指標値を算出する。
さらに、安全な手動運転復帰までに必要となる時間（＝手動運転復帰可能時間）を推定する。
なお、安全性判別処理実行部（手動運転復帰可能時間推定部）２１２は、学習器の入出力データが存在せず、学習処理部２１１から学習済みの学習器が取得できない初期状態では、例えば事前に実験的に取得した不特定多数のデータを用いて学習された学習器を記憶部２４０から取得して、この学習器を利用して、安全指標値の算出処理や手動運転復帰可能時間の推定処理を実行する。
あるいは予め規定した固定の手動運転復帰可能時間を推定値として出力する。
なお、不特定多数のデータを用いた学習処理によって生成された学習器はサーバ３００からも取得可能である。
学習処理部２１１における学習処理が実行された後は、その学習器を用いて、入力運転者情報と環境情報に基づく安全指標値の算出処理や、手動運転復帰可能時間の推定処理を実行する。
学習処理部２１１は、例えば、
（ａ）運転者情報取得部２０１の取得した運転者情報と、環境情報取得部２０２の取得した環境情報と、
（ｂ）自動運転モードから手動運転モードへの切り替え通知後に、運転者が安全な状態で運転できたか否かの操作情報、
これら（ａ），（ｂ）の情報の対応関係を構築する学習処理を行う。
なお、前述したように、運転者情報取得部１２は、例えば、運転者の覚醒度を判定するための情報取得処理の他、運転者の操作情報、すなわち各操作部（ハンドル、アクセル、ブレーキ等）の操作情報を取得する機能も備えている。
すなわち、学習処理部２１１は、運転者情報と、環境情報を取得し、あるタイミングで先に図２を参照して説明したような、手動運転復帰要求通知を行った後の運転者の運転操作情報を取得して、安全な運転が実行できているか否かを確認する。
安全な運転ができていれば、同じ運転者情報と、環境情報が得られた場合、手動運転復帰要求通知の通知タイミングを、さらに遅くしてもよいと判断する。
一方、安全な運転ができていなければ、同じ運転者情報と、環境情報が得られた場合、手動運転復帰要求通知の通知タイミングを早めるべきであると判断する。
学習処理部２１１における学習処理では、このような手動運転復帰要求通知の通知タイミングを決定するための学習器を構築する。
なお、学習処理部２１１における学習処理では、手動運転復帰要求通知の通知タイミングの決定に適用するデータのみならず、ある運転者情報と、環境情報が得られた場合に運転者が安全な手動運転を実行できるか否かの判定処理に適用可能な学習器、すなわち、「運転者情報と環境情報」と、「安全性指標値」とを対応付けた学習器も構築する。
学習器の特徴として、事象発生の都度発生する運転者の復帰通知事前特性からの推移を取得しつつ、（ｂ）運転者が安全な状態で運転できたか否かの操作情報も教師データとして成否判別や引き継ぎ品質評価を行う事で自己完結した学習器を含むシステムとなり，精度の向上をはかることができる。
このように、学習処理部２１１における学習処理では、運転者情報取得部２０１の取得した運転者情報と、環境情報取得部２０２の取得した環境情報に対応付けられた安全性指標値データを得ることができる。
さらに、運転者情報取得部２０１の取得した運転者情報と、環境情報取得部２０２の取得した環境情報に対応する手動運転復帰可能時間（安全な手動運転復帰までに必要となる時間）を算出することができる。
この手動運転復帰可能時間に基づいて、運転者に対する手動運転開始要求通知の通知時間を決定することができる。
学習処理部２１１における学習処理の結果データは記憶部２４０に格納される。
記憶部２４０に格納されるデータ（学習器且つ/又は学習器の入出力データ）には、例えば以下のデータが含まれる。
運転者情報と、環境情報に対応付けられた安全性指標値データ、
運転者情報と、環境情報に対応付けられた手動運転復帰可能時間（安全な手動運転復帰までに必要となる時間）（＝手動運転開始要求の最適な先行通知時間）、
手動運転開始要求通知後の運転者情報の異常性、環境情報の異常性、復帰所要時間、
学習器、
これらのデータを記憶部２４０に蓄積することができる。
記憶部２４０に蓄積されたデータは、定期的にサーバ３００に送信される。
サーバ３００は、移動装置２００から受信するデータを記憶部３０４に格納するとともに、学習データ生成部３０１において、さらに受信データに基づく学習処理を行う。
サーバ３００は、多数の移動装置（自動車）から大量のデータを受信し、これら大量のデータに基づく学習処理を行うことが可能となる。この結果、より汎用性の高い、かつ確実性の高い入出力データ(学習器)を得ることが可能となる。
サーバ３００は、大量のデータに基づく学習処理により、学習器を更新しサーバ３００の記憶部３０４に格納する。
サーバ３００の記憶部３０４に格納される学習器には、上述した移動装置２００の記憶部２４０に格納されるデータと同様のデータが含まれる。すなわち、
学習器、
運転者情報と、環境情報に対応付けられた安全性指標値データ、
運転者情報と、環境情報に対応付けられた手動運転復帰可能時間（安全な手動運転復帰までに必要となる時間）（＝手動運転開始要求の最適な先行通知時間）、
手動運転開始要求通知後の運転者情報の異常性、環境情報の異常性、復帰所要時間、
これらのデータが、サーバ３００の記憶部３０４に格納される。
これら、サーバ３００の記憶部３０４に格納される学習器は、随時、移動装置２００に提供され、移動装置２００の安全性判別部２１０の安全性判別処理部２１２において、運転者情報取得部２０１の取得した運転者情報と、環境情報取得部２０２の取得した環境情報に基づく安全性指標値や、手動運転復帰可能時間等の算出に利用される。
なお、学習処理部２１１は、学習データに個人識別情報や、車種情報、あるいは時間情報等を含めることで、個人や自動車（車種等）や時間に対応付けた安全性指標値や、手動運転復帰可能時間を予測可能な学習器を生成することができる。
個人識別情報は、個人認証処理部２１３を介して取得可能である。
車種情報は、環境情報取得部２０２から取得可能である。あるいは予め記憶部に格納したデータを利用する構成としてもよい。
安全性判別処理実行部（手動運転復帰可能時間推定部）２１２は、学習処理部２１１の学習処理の結果として算出された学習器を適用して手動運転復帰可能時間を取得して、取得した手動運転復帰可能時間に基づく手動運転復帰要求通知を行う。
さらに、学習処理部２１１は、この通知後の運転者の運転動作情報を運転者情報取得部２０１、環境情報取得部２０２から取得して、正常な運転が実行されているか否かを判定する。
この判定に基づいて、例えば、異常が見られる頻度が高い場合には通知時刻を早め、異常が見られる頻度が低い場合には通知時刻を遅めるといった出力が可能となるように学習器の更新且つ/又は再学習を行う。この更新/又は再学習処理によって、通知時間制御を行うことも可能となる。
次に、移動装置２００の安全性判別部２１０の安全性判別処理部２１２において実行する手動運転復帰可能時間の推定処理の具体例について説明する。
前述したように、自動運転中、運転者は様々な処理（２次タスク）を行うことができ、実行している２次タスクに応じて覚醒度が大きく異なることになる。
例えば、ハンドルから手を放しているのみで、運転時と同様、自動車の前方を注視している場合もあり、本を読んでいる場合もあり、また、居眠りをしている場合もある。これらの処理の違いにより、運転者の覚醒度（意識レベル）は異なるものとなる。
例えば、居眠りをすると、運転者の覚醒度が低下する。すなわち意識レベルが低下した状態となる。このような覚醒度が低下した状態では、正常な手動運転を行うことができず、その状態で手動運転モードに切り替えてしまうと、最悪の場合、事故を起こす可能性がある。
従って、安全性判別処理部２１２において実行する手動運転復帰可能時間の推定処理を行うためには、運転者情報取得部２０１が、自動運転実行時の運転者の２次タスク実行状況を確認可能な情報を取得し、学習処理部２１１において、これらのデータを用いた学習処理を行うことが好ましい。
このための運転者情報取得部２０１の構成として、車内を観測するために設置されたカメラ、ハンドルや座席に設置された圧力センサ、温度センサ、さらに生体信号取得部などを含めることが好ましい。
学習処理部２１１は、カメラから得た画像を用いて、顔認証、頭部姿勢推定、視線推定、身体姿勢推定、行動識別した結果を算出し、これらのデータを学習処理に利用する。
２次タスク実行時には、自動運転状態に取得した入力情報であることがわかるよう、付加情報を与えた形で管理する。２次タスクから復帰する際には、何らかの方法で算出された復帰可能時間の分だけ前に運転者に情報提示し、手動運転状態に戻って貰う必要がある。手動運転復帰可能時間推定のためのデータが十分に集まっていない時点では、確実に復帰が可能となる時間で復帰通知を行う必要があり、個人の特性が未学習で有るためにその情報に依らない固定の定義時間を利用して情報を提示する。この固定の定義時間とは、例えば多様な運転者人口の利用実績データより統計的に評価して、評価利用者が一定の割合で引き継ぎが成功できた時間を事前に取得し、その事前に収集した復帰遅延時間のドライバ人口平均をオフライン等で事前に学習させた得た統計的なデータより、目的とする成功率で復帰するための定義時間を設定してもよい。
また、この定期時間を利用するに当たり、初めてシステムを利用するユーザーは慎重で有るため、その特性加味したオフセット設定をおこなってもよい。
その際、情報提示から手動運転に復帰するまでの時間を引き継ぎ事象が発生する都度計測し、手動運転復帰可能時間として記録ログとして記録収拾する。
また、手動運転に復帰したという判定をする際、事前の学習結果を参考にしてもよい。同様の施行を繰り返すと、特定の個人と車両に関する、復帰可能時間推定のためのデータを収集することができる。
安全性指標値の推定や、手動運転復帰可能時間推定のためのデータが十分に集まった場合、例えば、以下の入出力データを利用した機械学習処理により、安全性指標値や、最適な復帰可能時間を予測する学習器を構築することができる。
入力：運転者情報や、環境情報等
出力：安全性指標値や、手動運転復帰可能時間
また、固有認証された固有復帰特性には、運転者の過去の運転経験や環境条件に応じて復帰時間が異なることもある。例えば雨天の視界の悪い状況、夜間状況、逆光下の視界障害を行けた状態、早朝や夕方の累積疲労がたまった状況、または同じ運転者であっても通勤時自家用車利用の際の行動、乗務大型乗合バスや貨物積載車両の車両特性など、状況に応じて復帰に取り掛かり復帰に要する時間も一意ではない。以下、これら多くの状況要因ファクターはその一例であり、それら要因を大きく２つに分類してまとめて「運転者情報」や「環境情報」として呼称する。
次に、移動装置２００の学習処理部２１１、およびサーバ３００の学習処理部３０２において実行する学習処理のシーケンス例について、図２２に示すフローチャートを参照して説明する。
先に説明したように、移動装置２００の学習処理部２１１、およびサーバ３００の学習処理部３０２は、「運転者情報」や「環境情報」に対応する「安全性指標値」や「手動運転復帰可能時間推定値」を算出可能とした学習器の構築を行う。
まず、ステップＳ２１において、「運転者情報」や「環境情報」を入力する。
次に、ステップＳ２２において、手動運転開始要求通知によって開始される手動運転開始後の運転者の操作情報を運転者情報取得部から取得し、安全な操作が行われているか否かに応じた安全性指標値を算出する。
前述したように、運転者情報取得部１２は、運転者の覚醒度を判定するための情報取得処理の他、運転者の操作情報、すなわち各操作部（ハンドル、アクセル、ブレーキ等）の操作情報を取得する機能も備えている。
なお、ステップＳ２２の安全性指標値算出処理においては、運転者の操作情報のみならず、例えば、具体的な事象対処情報や事故情報を用いて安全性指標値を算出する処理を行ってもよい。例えば、「運転者情報」、「環境情報」の他、時刻や道路情報に対応する事象対処情報等を用いて安全性指標値を算出する構成としてもよい。事象対処情報とは、運転者の的確な操舵判断評価レベルとして運転操舵状況の継続モニタリングすることを通し、例えば車両が車線から逸れる走行が開始されたらその補正のハンドル操作が適切なタイミングで行われているか、または定常時観測に対して遅延が見られないか、オーバー補正動作が発生していないか、補正刻み間隔の発生が不規則になり始めていないか等、変動振幅やステイアリング補正の際の発生加速度変化など総合的操舵安定性評価を継続的に行う。
システムが一旦運転者に車両システムの制御を委ね始めると、運転者はハンドルやブレーキやアクセルと操舵意図入力が行われる為、システムはスアリングの上記補正操舵の例で分かるように、システムが操舵上望ましいと判断さる理想時速走行制御と運転者による制御の差違評価が開始できるため、運転者の操舵妥当性から運転者の覚醒度復帰レベルの定量化評価が可能となる。システムが完全に操舵介在を完了するのは、運転者にシステム制御が委ねられた段階であり、その結果システムはその引継ぎ開始前の運転者状態、車両状態、環境状態等のいわゆる「運転者情報」、「環境情報」の履歴と成否または正常引き継ぎに要した実際の遅延時間や引き継ぎ開始時の操舵の質評価ログ、更に完全回復に要した復帰挙動特性変化カーブなどログデータセットが得られる。
次のステップＳ２３では、入力情報（運転者情報、環境情報等）と、安全性指標値との対応データから構成される入出力データを生成、学習器を更新する。発生事象が走行計画時の予定引き継ぎもあれば、走行時刻中に新たに発生する事象もあればそれら区別は必ずしも必要では無く、繰り返し車両の利用に伴い発生する復帰前事前取得観測値と引き継ぎ結果の良否判定更には成功、回避と質判定のログのセットが学習データセットとして取得される。
ステップＳ２１～Ｓ２３の処理は、繰り返し、実行され、大量の学習データを利用して、入力情報（運転者情報、環境情報等）と、安全性指標値との対応データから構成される学習器が、順次、更新される。
ステップＳ２４の処理は、サーバ３００の学習処理部３０２において学習器の構築が行われた場合の処理である。
ステップＳ２４では、サーバ３００の生成した最新の学習器を移動装置（自動車）に送信する。
なお、図２２に示すフローは、「運転者情報、環境情報等」と、「安全性指標値」との対応データから構成される学習器の生成処理フローであるが、さらに、「運転者情報、環境情報等」に、「手動運転復帰可能時間」を対応付けた入出力データに対する学習器を生成する場合の処理シーケンスについて、図２３に示すフローを参照して説明する。
まず、ステップＳ３１において、「運転者情報」や「環境情報」を入力する。
次に、ステップＳ３２において、手動運転開始要求通知時間から手動運転開始までの時間を計測する。
次に、ステップＳ３３において、手動運転開始後の運転者の操作情報を運転者情報取得部から取得し、安全な操作が行われているか否かに応じた安全性指標値を算出する。
なお、ステップＳ３３の安全性指標値算出処理においては、運転者の操作情報のみならず、例えば、具体的な事故情報を用いて安全性指標値を算出する処理を行ってもよい。例えば、「運転者情報」、「環境情報」の他、時刻や道路情報に対応する事故情報等を用いて安全性指標値を算出する構成としてもよい。
次のステップＳ３４では、手動運転開始後の操作情報に基づく安全性指標値を一定値以上（安全）にするために必要な、通知時間から手動運転開始時間までの経過時間（手動運転復帰可能時間）を算出する。
次のステップＳ３５では、入力情報（運転者情報、環境情報等）と、安全性指標値と、手動運転復帰可能時間との対応データから構成される入出力データを生成、学習器を更新する。
ステップＳ３１～Ｓ３５の処理は、繰り返し、実行され、大量の学習データを利用して、入力情報（運転者情報、環境情報等）と、安全性指標値と、手動運転復帰可能時間との対応データを用いて構成される学習器が、順次、更新される。
ステップＳ３６の処理は、サーバ３００の学習処理部３０２において学習器の構築が行われた場合の処理である。
ステップＳ３６では、サーバ３００の生成した最新の学習器を移動装置（自動車）に送信する。
この学習器構築処理によって生成される学習器の入出力データの例を図２４に示す。
図２４に示すデータは、入力情報（運転者情報、環境情報等）と、安全性指標値と、手動運転復帰可能時間との対応データから構成される、学習器の入出力データである。
なお、運転者情報、環境情報には、複数の異なるセンサによって取得される複数の観測値（パラメータ）が含まれる。
すなわち、運転者情報や、環境情報は、複数のパラメータのセットによって構成される。
図２４に示す例における安全性指標値は、０（危険）～１（安全）の０から１の値によって設定された例である。
これは一例であり、前述したように、０（危険）と１（安全）の２値設定や、さらにその他の数値範囲を適用することも可能である。
手動運転復帰可能時間推定値は、先に説明した図２３のフローのステップＳ３４の処理において算出された時間である。すなわち、手動運転開始後の操作情報に基づく安全性指標値を一定値以上（安全）にするために必要な、通知時間から手動運転開始時間までの経過時間（手動運転復帰可能時間）の算出値である。
図２１に示す安全性判別部２１０の安全性判別処理実行部（手動運転復帰可能時間推定部）２１２は、このような学習器を利用して、運転者情報と、環境情報等の入力情報に対応する安全指標値や手動運転復帰可能時間を推定する。
学習器を適用した手動運転復帰可能時間の推定処理は、例えば、以下のような処理として行われる。
安全性判別処理実行部（手動運転復帰可能時間推定部）２１２は、運転者情報取得部２０１の取得した運転者情報と、環境情報取得部２０２の取得した環境情報等を入力する。
さらに、学習処理部２１１における学習結果である学習器、あるいはサーバ３００から取得した学習器、すなわち図２４に示すデータ構成を有する入出力データを用いて学習された学習器を利用し、現在の運転者情報と環境情報に基づいて、安全な手動運転復帰までに必要となる時間（＝手動運転復帰可能時間）を推定する。
なお、図２４に示すデータは、「運転者情報と環境情報」と、「安全性指標値と手動運転復帰可能時間」との対応データから構成されるが、これは一例であり、例えば、データに個人識別情報や、車種情報、あるいは時間情報等を含めることで、個人や自動車（車種等）や時間に対応付けた安全性指標値や、手動運転復帰可能時間を持つ学習器を生成することができる。
また、同じ人物が別の車種等、異なる車両に乗った場合にも、車両毎の入力情報の対応関係を与えることで同様の手動運転復帰時間推定が可能であるが、その車両での情報を新たに収集して追加学習することで、更に予測精度を上げることができる。本技術は、個人に適応した復帰可能時間予測だけでなく、車両に適応した手動運転復帰可能時間予測にも応用できる。
また、１つの車両に複数の人物が乗車する場合、その車両に乗車する運転者と同乗者のメンバーに対応付けた復帰可能時間推定値を算出する学習器を構築してもよい。
このような構成とすることで、車両に乗車する運転者と同乗者のメンバーに応じた最適な手動運転復帰可能時間を予測することが可能となる。
このように、運転者個人の情報として運転者の運転履歴、事故履歴、手動運転開始後の運転操作情報、自動車の種類情報等も考慮した処理や、乗員の人数や、積載している貨物に関する情報も利用した学習処理をおこなうことで、様々な状況に応じた学習器が生成可能となる。
なお、多くの種類の情報を利用する場合、データ特性に応じて、事前学習用と、オンライン学習用とに分けて利用する構成としてもよい。
［６．本開示の移動装置、情報処理装置の実行する処理のシーケンスについて］
次に、本開示の移動装置、情報処理装置の実行する処理のシーケンスについて説明する。
図２５に示すフローチャートは、本開示の移動装置である自動車が、自動運転モードから手動運転モードへ切り替える際に実行する処理のシーケンスの一例を説明するフローチャートである。
ステップＳ４１において、移動装置は、自動運転モードから手動運転モードへの切り替え要求の発生事象を観測する。
この観測情報は、例えば道路環境のＬＤＭ情報に基づいて取得される。
すなわち車両が走行する道路の走行地図情報を高密度で且つ常時更新するいわゆるローカルダイナミックマップ（ＬＤＭ）情報に基づいて取得される。
具体例として、例えば、高速道路は自動運転可能区間、一般道は自動運転での走行が可能でない道路環境として仮定し、ＬＤＭに基づいて、高速道路から一般道への侵入が開始される予定が取得された場合、自動運転モードから手動運転モードへの切り替え要求の発生事象であると判定する。なお、実際には高速道や一般道と言った限定的な区分けより複雑で多様な運用が行われる可能性がある。
次に、ステップＳ４２において、観測値を取得する。この観測値取得処理は、例えば、図２１に示す運転者情報取得部２０１、環境情報取得部２０２、運転者個人識別情報取得部２０３において行われる。なお、これらの構成は、図８に示す構成では、データ取得部１０２、検出部１３１の各構成に対応する。
先に説明したように、運転者情報取得部２０１は、カメラや様々なセンサによって構成され、運転者の情報、例えば運転者の覚醒度を判定するための情報を取得する。例えば眼球領域を含む画像から取得した視線方向、眼球挙動、瞳孔径、顔領域を含む画像から取得した顔の表情などである。運転者情報取得部２０１は、さらに、運転者の各操作部（ハンドル、アクセル、ブレーキ等）の操作情報も取得する。
環境情報取得部２０２は、例えば移動装置に設置された撮像部による画像、奥行き情報、３次元構造情報、移動体に設置されたＬｉＤＡＲ等のセンサによる地形情報、ＧＰＳによる位置情報、さらに、信号器の状態、標識の情報など、道路等のインフラストラクチャーに設置された通信機器からの情報などを取得する。
次に、ステップＳ４３において、取得された観測値に基づいて、手動運転復帰可能時間を算出する。
この処理は、図２１に示す安全性判別部２１０の安全性判別処理実行部（手動運転復帰可能時間推定部）２１２の実行する処理である。
安全性判別処理実行部（手動運転復帰可能時間推定部）２１２は、運転者情報取得部２０１の取得した運転者情報と、環境情報取得部２０２の取得した環境情報等を入力する。さらに、学習処理部２１１における学習結果である学習器、あるいはサーバ３００から取得した学習器を利用し、現在の運転者情報と環境情報に基づいて、安全な手動運転復帰までに必要となる時間（＝手動運転復帰可能時間）を推定する。
ここで、利用する学習器は、例えば先に図２４を参照して説明した入出力データを用いて学習された学習器である。
なお、先に説明したように、１２に示すデータは、「運転者情報と環境情報」と、「安全性指標値と手動運転復帰可能時間」との対応データから構成される学習器の入出力データである。
図２４には、入力情報の組み合せを想定した運転者情報と環境情報の組み合せを基本に具体的なパラメータを組み合せしテーブル化して例として示しているが、実際には固有の組み合せ事象の発生頻度はそう多くなく、事象の発生の都度色々な経緯や状態の組み合わせとして発生するため、多次元入力の情報であり、また常に運転者の事前状態を示す情報のログが有るとも限らない。そして、同じ生体情報の観測値であっても個人固有の体質や仕草、経験・記憶等により取得視覚情報から判断に至る判断遅延には多くの個人差が表れる。
多様な条件による判定をより正確に導く為に、運転者情報と安全性指標の組からなるデータ群を利用して、学習によって安全性判別器を更新する。学習の手法としては、例えばSupport Vector Machine, Boosting, Convolutional Neural Network, Deep Belief Network, Long Short-Term Memory などが考えられる。更新の際には、事前学習用のデータ群に新たに取得されたデータ群を加えて再学習したり，オンライン学習を用いたりしても良い。
安全性判別処理実行部（手動運転復帰可能時間推定部）２１２は、図２４に示すデータを用いて学習された学習器を用いて、運転者情報と環境情報を入力として出力することで予測する。或いは、運転者情報取得部２０１の取得した運転者情報と、環境情報取得部２０２の取得した環境情報の各パラメータに最も近いパラメータを持つエントリを図２４に示すデータから選択し、その選択されたエントリに設定された手動運転復帰可能時間推定値を取得するような、簡易的な方法を用いても良い。
なお、手動運転復帰可能時間の推定処理に際して利用する学習器は、運転者毎、あるいは自動運転実行中の２次タスクの種類を観測情報に含めた設定とすることも可能である。
この場合、現在運転している運転者の個人識別情報と、現在実行中の２次タスクの種類の情報を観測情報として利用した処理（手動運転復帰可能時間推定処理）が行われる。
図２６（ａ）は、観測値に相当する可観測評価値と復帰遅延時間（＝手動運転復帰可能時間）の複数の関係情報（観測プロット）の分布の一例を示している。この例は、ある運転者のある２次タスクの種類に対応したものである。この複数の関係情報（観測プロット）から復帰遅延時間を算出するために、取得された観測値に対応した評価値方向に一定の幅を持つ領域（破線矩形枠で示している）内の関係情報（観測プロット）を抽出する。図中の点線ｃは、後述の図２６（ｂ）の復帰成功率が０．９５となる復帰遅延時間を、運転者の異なる観測値で観測した際の境界線を表している。
点線ｃより長い、つまり早い猶予時間で運転者に自動から手動の復帰通知や警報を出す事により、運転者の自動から手動復帰が、０．９５以上の割合で成功する事が担保される領域となる。なお、該当毎に自動運転から手動運転に運転者が正常に復帰する目標値（Ｒｅｑｕｅｓｔ ｆｏｒ Ｒｅｃｏｖｅｒｙ Ｒａｔｉｏ）は、例えば、道路側によりインフラの必要性から定められ、個別の区間通過車両に提供される。
なお、走行道路に車両が停車しても周囲へ阻害要因とならないケースであれば、車両を停車してシステムが対処できる速度まで減速して対処をすればよい。通常なら走行道路での停車は必ずしも好ましいケースは多くないため、デフォルト設定として高い復帰率が望ましく、特に首都高速道路などの特定ルートでは敢えてインフラより更新情報が与えられなくとも極めて高い復帰成功率がデフォルトで求められるケースもある。
図２６（ｂ）は、抽出された複数の関係情報（観測プロット）で得られる復帰遅延時間と復帰成功率との関係を示している。ここで、曲線ａは各復帰遅延時間における単独成功率を示し、曲線ｂは各復帰遅延時間における累積成功率を示している。この場合、曲線ｂに基づいて、所定の割合の成功率、図示の例においては成功率が０．９５となるように、復帰遅延時間ｔ１が算出される。
この算出処理は、例えば、先に図２１を参照して説明した安全性判別部２１０において実行される。例えば、記憶部２４０に格納されている過去に取得された可観測評価値と復帰遅延時間の複数の関係情報（観測プロット）の分布情報を利用して、安全性判別部２１０で行われる。
図２７は、自動運転モードにおいて運転者が、運転操舵作業から離脱状態にある時に実行している処理（２次タスク）の種類に応じた手動運転復帰可能時間について説明する図である。
個々の分布プロファイルが、図２６（ｂ）で示す、観測値、すなわち運転者状態に基づいて予測される曲線ａに相当する。つまり、必要な復帰確率で自動運転から手動運転に引き継ぎ点で完了するためには、各段階で検出される運転者の覚醒度合いを評価可能な観測値から、運転者が復帰に要する過去の特性を参照してそのプロファイル（図２６（ｂ）の復帰成功率プロファイル）が所望の値となる時刻ｔ１を元に実際に復帰に必要な状態に各復帰段階で達しているかを引き継ぎが完了するまでモニタリングして行く。
例えば、仮眠している場合の初期曲線は、自動運転で仮眠期間中にパッシブモニタリングしていた呼吸や脈波等の観測情報から睡眠レベルを推測し、覚醒警報発報後に該当運転者の復帰遅延特性を見た累計の平均的分布となる。目が覚めてその後の移動復帰手順中で観測された運転者状態に応じて、途中の各分布は決まっていく。図に示す「６．仮眠している場合」を観測して覚醒警報が間に合う右のタイミングが決定し、その後の途中行程は予測中間点の可観測運転者状態評価値から予測される復帰バジェットの中での復帰時間分布となる。
途中途中で、引き継まで順次減っていく残存引き継ぎ限界タイムリミットに違反しない事を観測し続け、違反リスクがある場合は、減速して時間猶予生成などの対策処理を行う。なお、例えば「６．仮眠している場合」、「５．着座」のステップが無い中で、「４．非運転姿勢イレギュラー回転着座」からスタートする復帰の際の分布は、初めの状況認知把握から復帰のプロセスが開始されるので、同じ項目でも「６．仮眠している場合」から始めた途中経過としての状態「４．非運転姿勢イレギュラー回転着座」姿勢は同じになっても思考過程が復帰意識過程にあり、初めから「４．非運転姿勢イレギュラー回転着座」姿勢で状況認知から開始する場合には、状況認知の時間を要するために長くなる。
なお、現在運転している運転者の可観測評価値と復帰遅延時間との関係情報が記憶部に十分に蓄積されていない場合もある。その場合には、記憶部には例えば同年代の運転者人口から収集された情報に基づき生成された復帰特性情報として、予め備えた復帰の想定分布情報として利用して、復帰遅延時間ｔ１の算出を行うことができる。この復帰情報は、運転者固有特性がまだ十分に学習されていないため、その情報を元に同一の復帰確率で利用しても良く、またはより高い復帰成功率を設定しても良い。なお、人間工学的に見て不慣れな利用者はより慎重になる事から利用初期に早期の復帰が見込まれ、利用に慣れるに従いシステムの通知に合わせた行動に運転者自身が適合していく。なお、多数の車両を運行する物流業、バスやタクシーなどの運行業、更にはシェアリングカーやレンタル自動車で異なる車両を利用する場合、運転者の個人認証を行い遠隔サーバ等で運転の可観測情報と復帰特性を集中または分散して管理や学習し、個別車両に必ずしも復帰特性のデータを保持せず、遠隔学習処理や保持をしても良い。
また、通知タイミングが重要となる事から、復帰成功率は一律の成否までの時間として説明をしているが、自動運転から手動運転の成否を２値的な成否に限定せず、復帰引き継ぎ品質に拡張した判別を更に行っても良い。つまり、実際の復帰確認に至る
復帰手順推移の遅延時間、通知に対する復帰開始遅延、途中復帰動作における停滞など、許された時間内での復帰であって復帰品質評価値として学習器へ更に入力をしてもよい。
図２５に戻って、ステップＳ４４において、ステップＳ４３で算出された復帰遅延時間で決まる通知タイミング、つまり引継ぎ対象事象（自動運転から手動運転への引継ぎ区間や自動運転からの注意走行区間）が復帰遅延時間に迫ってきたタイミングで、運転者に運転復帰するように促すための通知を実行する。この通知は、例えば先に図２を参照して説明したような表示処理として実行される。あるいは音声出力やハンドルやシートのバイブレーションとして実行してもよい。例えば、運転者が仮眠している場合には、運転者が寝ている状態から起こすための通知方法が選択される。仮眠している場合に運転者を起こす処理は、運転者が自覚して既に浅い眠りに復帰をしいるものであり、いきなりアラームを鳴らしてもよいが、例えば、まず軽い通知処理を行い、無反応な場合にのみ覚醒アラームを鳴らす処理を行ってもよい。
次に、ステップＳ４５において、運転者の復帰推移をモニタリングする。そして、ステップＳ４６において、ステップＳ４５におけるモニタリング結果に基づいて、復帰遅延時間内に運転復帰可能か否かが判断される。運転復帰が可能であると判断されるとき、ステップＳ４７において、運転者の運転復帰が行われる。その後、ステップＳ４８において、学習データの更新が行われる。つまり、上述の運転復帰がなされたときの初期の運転者の２次タスクの種類に関して可観測評価値と実際の復帰遅延時間の関係情報（観測プロット）のサンプル値が１つ追加される。その後、ステップＳ５０において、処理が終了される。なお、本実施例では学習はこのイベント都度に発生するプロットデータに限定して記載しているが、実際には事象発生までに前の状態（履歴）に大きく依存して決まるため、多次元的学習を行う事で運転者状態観測値からの復帰遅延所要時間の推定精度の向上をさらにおこなってもよい。
また、ステップＳ４６で運転復帰が不可能であると判断されるとき、ステップＳ５１で減速徐行退避シーケンスの始動から停車までが実行される。次に、ステップＳ５２において、引継不備事象のペナルティの記録が発行され、処理が終了される。
なお、このペナルティの記録は記憶部に残される。ペナルティは様々な態様があり、特定の手法に限定されない。その主たる目的は運転者による高品質の遅延や怠慢の無いシステム通知に対する早期応答や対応を促す誘引の仕組みを構築することにある。
例えば、運転者の引継ぎ品質の低下が検出された場合、その記録に基づいて以下のようなペナルティを科す。
車両の走行上限速度の制限、
退避場への強制誘導、
サービスエリアへの一次的な退避と、強制的な休憩時間の取得、
ハンドルやシートに対するランブルストリップス擬似振動の発生、
警告音の出力、
保険料の負担増、
悪臭等の不快なフィードバック、
罰則課金、
例えば、上記のようなペナルティを科す。
このように短中長期的なペナルティフィードバックを定常的に実行すると人間工学的にみてヒトの行動心理に作用し、回避行動が習慣化されるすなわち、安全性を向上させる重要な仕組みとなる。
なお、これら運転者の行動特性を改善する記録が改ざんされて無効化されてしまうと機能が生かせないため、記録データには改ざん防止構成を施すことが望ましい。
［７．システムから運転者に対する通知処理実行前後の運転者状態の観測と観測情報の記録処理について］
次に、車両のシステム（情報処理装置）から運転者に対する通知、例えば手動運転復帰要請通知等の様々な通知処理実行前後の運転者状態の観測と観測情報の記録処理について説明する。
先に図１１を参照して自動運転モードから手動運転モードへのモード切り替えシーケンスの一例について説明したが、運転者に対する動運転復帰要請通知を行うタイミングは、運転者の状態に応じて異なることになる。例えば先に図３、図４を参照して説明したように、運転者が仮眠中である場合や運転席から離れている状態では、より早いタイミングでの通知が必要となる。以下では、システムから運転者に対する通知処理実行前後の運転者状態の観測と観測情報の記録処理、すなわち記憶部への格納処理を行うことで、より適切な通知を行うことを可能とする構成について説明する。
前述したように、自動運転技術は、車両（自動車）に備えられた位置検出手段等の様々なセンサを用いて、道路上を自動走行可能とする技術であるが、この自動運転を可能とするためには道路側にもセンシング可能なマークの設置等のインフラ整備が不可欠となる。
これらインフラを全ての道路に整備するには相当の時間を要し、しばらくは自動運転可能区間と手動運転区間が混在することが想定される。
例えば、高速道路等、直線的で道路幅が十分な道路では、自動運転モードでの走行を行うが、高速道路から出て駐車場の好きな位置に車を止める場合や、道路幅の狭い山道等では手動運転モードに切り替えて運転者（ドライバ）の操作で走行を行うといったモード切り替えが必要となると予測される。
車両が自動運転を実行している間は、運転者は車両走行方向である前方に視線を向ける必要がなく、例えば、居眠りをしたり、テレビを見たり、本を読んだり、あるいは後ろ向きに座って後部座席の人と会話をするといった自由な行動が可能となる。
自動運転と手動運転を切り替えて走行する車両において、自動運転モードから手動運転モードに切り替える必要が発生した場合、運転者に手動運転を開始させることが必要となる。
自動運転車両側のシステムは、自動運転可能区間と手動運転区間を識別し、手動運転区間が近づいている場合、運転者に対して手動運転引き継ぎ要請を実行する。例えばアラーム等で通知を行う。
運転者は、システムからの通知によって、例えば運転以外の作業である２次タスクを速やかに終了して手動運転復帰処理に取り掛かる。しかし、万が一、運転者の手動運転復帰処理が遅れてしまうと、システムは運転者に車両の制御を委ねられないと判断し、緊急対処処置として減速、徐行、退避停車などを行うことになる。
この減速、徐行、退避停車等の緊急対応処理は、その車両単独で見れば、安全性を担保でき問題のない対応であると言える。しかし、例えば緊急停止や減速を無制限に許容すると、周辺の走行車両の通常走行を妨害することになり、後続車による追突や、渋滞を発生させる可能性がある。
さらに、事故が発生、あるいは事故を誘発する恐れのあるインシデントが発生した場合、その要因分析を行う必要がある。社会インフラ中で利用されるそれら車両で、運転者が要請に対する復帰品質や復帰要請タイミングの評価解析は、インシデント低減や復帰タイミング見直しの大きな手掛かりとなり重要である。
自動運転車両側のシステムは、手動運転区間が近づいている場合、運転者に対して、より早いタイミングで手動運転復帰要請を行えば、手動運転復帰成功率を高めることができるが、早すぎる通知は、自動運転中の運転者の運転以外の作業、すなわち２次タスクの妨げとなる。
従って、早すぎないタイミングで、かつ十分な手動運転復帰成功率を達成できるタイミングで運転者に対する通知（手動運転復帰要請）行うことが重要となる。
この最適な通知タイミングの決定に利用可能な情報には様々な情報がある。
例えば、手動運転への復帰通知や、運転者に対する警告判定の通知等の過去の履歴情報、運転者復帰特性の（学習）記録、事象発生都度の復帰推移中間可観測状態の記録、通知や警告に対する運転者アクティブ応答の記録、引き継ぎ結果品質評価の記録などさまざまな情報がある。なお、これらの情報は、情報処理装置のデータ処理部により取得された観測情報として記憶部に記録（格納）されるデータである。
仮に事故が発生したとしても、事故発生時の復帰の遅延要因の解析記録を実施することで、運転者行動の落ち度やシステムによる通知や警告タイミングの改善に繋がる多くの有用情報が記憶部に格納された記録データから取得することが可能となる。
従来のドライブレコーダは、ＥＤＲ（Ｅｖｅｎｔ Ｄａｔａ Ｒｅｃｏｒｄｅｒ）や走行前後画像を残すことに重きが置かれていたが、自動運転車両においては、単純なこれまでのドライブレコーダとは異なる情報の記録が必要となると予測される。
自動運転車両システムは、運転者の自動運転時の復帰行動記録、取り分けパッシブモニタリングから通知とその認知から実際の引き継ぎまでの詳細な記録を行うことになり、また、長期にわたる人間行動特性を含めた情報を取得、解析することが有用である。このように自動運転車両システムは、従来のＥＤＲやドライブレコーダ以上の運転者行動に関する解析情報を取得することになると予測される。
また、今後、自動運転可能区間は、順次、増大すると予測される。結果として、長時間の運転者が介在する必要のない自動運転区間が次第に長くなると予測される。しかし、このように長時間の自動運転が行われると、運転者の意識低下や運転者のすばやい応答が得られない状況が生まれる。例えば、その代表的な例として運転席から離席して仮眠をしている状況である。または、運転席で着座したまま風景を眺めている程度の運転操舵作業からの軽い離脱もある。
このように自動運転中の運転者の状態は様々であり、状態によって手動運転復帰要請を行う最適タイミングは異なる。復帰要請を実行時の運転者の状態を初期状態とすると、初期状態から手動運転復帰までに要する時間は、その初期状態に大きく依存する。そのため、通知タイミングは、定常的に運転者の位置や状態を定期的に観測（モニタリング）して、その観測結果に基づいて決定することが必要である。
なお、このモニタリング情報や、通知時点の運転者状態は、手動運転復帰時の手動運転復帰品質を推定するための情報として利用することも可能である。
運転者の自動運転から手動運転への復帰品質に関わるファクターは様々である。
運転者の手動運転復帰品質の推定処理や評価処理に適用可能な情報として、例えば以下の情報がある。
１．乗車（乗務前）健康管理状態
ａ．病歴、癲癇、発作、貧血、動悸、息切れ、無呼吸症候群、・・・
ｂ．睡眠品質（脈、呼吸、寝返り情報）
など
２．乗車中定常観測状態
ａ．運転者が定常的に運転から注意離脱が許容されない自動運転走行モードでＬｅｖｅｌ０，Ｌｅｖｅｌ１，Ｌｅｖｅｌ２またはそれ相当の場合、ドライバモニタリングシステム（疲労評価、ＰＥＲＣＬＯＳ（開眼割合）等による瞬き評価、顔の表情評価）
ｂ．生体情報観測（脈、呼吸、体臭、呼気、血流、・・・）睡眠の深さ観測の場合なら（レム睡眠観測、生体観測、発汗観測、呼吸、脈波、瞼、寝返り、アルファ波観測、）
ｃ．行動観測（個室仮眠、キャビン外配送物整理、離席電話会議、・・・）
ｄ．応答観測（タブレット等への定期、非定期の応答反応要請通知、及びＬＤＭからの進路新規事象発生通知、通知に対する運転者応答）
なお、ＬＤＭは、車両が走行する道路の走行地図情報を高密度で且つ常時更新するいわゆるローカルダイナミックマップ（ＬＤＭ）情報である。
３．引き継ぎ点接近確定後の通知に対する知覚、認知、反応等
ａ．２次タスク作業中断、携帯端末作業中断、ボタン操作、映画鑑賞の中断、電話会議の中断、
ｂ．応答専用ボタンの操作
４．通知や警報（アラーム）に対する応答
ａ．機敏な応答確認、
ｂ．過剰な応答確認（神経反射のうち抑制が制御が不十分な覚醒低下状態に発現）
ｃ．速やかな復帰開始または、復帰手順途中であれば復帰手順の加速
ｄ．（睡眠中やゲーム中で）反応無し
５．運転席運転姿勢着座復帰指示に伴う姿勢復帰行動の発現、正確さ、予想行動有無の検出
６．指差喚呼等の定型確認手順の行動解析による正確さ、応答速さ、反復指差し有無、
７．視覚、音、ビジュアル、ヴァーバルなど意味のある（ＳＥＭＡＮＴＩＣ）課題応答の正確さ、応答速さ、予想反応有無の検出
８．車両システム操舵ノイズ中に対する操舵補正の正確さ、応答速さ、予想反応有無の検出
９．操舵機器への体の機能的入力の
ａ．ステアリングハンドルの握り締め、
ｂ．アクセルやブレーキパダル操作、
ｃ．応答専用ペダルの操作（問えば従来のマニュアル車に装備されていたクラッチペダルに近い操作性ペダル等）、
１０．手動運転開始後の操舵安定性、
上記のように、運転者の手動運転復帰品質の推定処理または確認処理に適用可能な情報は多数あるが、全てを取得するのは困難であり、システムは、その都度の利用可能な情報を取得、解析に適用すればよい。
車両のシステム（情報処理装置）のデータ処理部は、運転者の観測情報を取得し、取得した観測情報に基づいて運転者の意識レベルである覚醒度を判定する。さらに、運転者の覚醒度に応じて、運転者に対する自動運転から手動運転への復帰要請通知である手動運転復帰要請通知の通知タイミングを制御する。
システムが取得可能な運転者情報を時系列によって区分すると、以下の３種類に区分できる。
（１）運転者が車両に乗車する前に取得可能な運転者情報
（２）運転者が車両に乗車した後に取得可能な運転者情報
（３）運転者に対する通知（手動運転復帰要請通知等）後に取得可能な運転者情報
以下、これらの各タイミングにおいて取得可能な運転者情報について、順次説明する。
［７－（１）運転者が車両に乗車する前に取得する運転者情報について］
まず、運転者が車両に乗車する前に取得する運転者情報について説明する。なお、取得する運転者情報は、運転者の手動運転復帰品質の推定処理や評価処理に適用可能な情報であり、さらに、通知タイミングの決定、更新等に利用可能な情報である。
運転者の手動運転の復帰品質に影響する要素（ファクター）には、運転者の疲労や等、運転者固有の特性に起因する要素が多い。例えば、乗車前の体力・疲労等の履歴情報も復帰品質の評価には有効な情報となる。
そこで、運転者の乗車前の情報として、以下の情報を取得し、自動運転車両のシステム（情報処理装置）内の記憶部に記録保存する。
（１）病歴情報（病歴、癲癇、発作、貧血、動悸、息切れ、無呼吸症候群、・・・ょ
（２）睡眠品質情報（脈、呼吸、寝返り情報）
（３）前日までの睡眠債務超過（慢性的、一時的寝不足）状況（ウェアブル機器、睡眠支援アプリ等に代表される睡眠支援装置等の睡眠品質ログ情報）
（４）疲労状況情報（連続勤務情報、過去一週間等の既定期間の休暇状況、可観測疲労情報）
（５）飲酒状況情報（前日の飲酒状況、商用車ドライバへの申告義務情報など）
（６）職業運転者（ドライバ）の労働実態情報
（６ａ）乗務日の寝起き品質可観測情報
（６ｂ）常務までの日中の行動記録、
（６ｃ）勤務乗務開始前検査、
自動運転車両のシステム（情報処理装置）は、これらの運転者の生体関連情報を乗車前運転者ログとしてシステム（情報処理装置）内の記憶部に記録保存する。
［７－（２）運転者が車両に乗車した後に取得する運転者情報について］
次に、運転者が車両に乗車した後に取得する運転者情報について説明する。なお、取得する運転者情報は、運転者の手動運転復帰品質の推定処理や評価処理に適用可能な情報であり、さらに、通知タイミングの決定、更新等に利用可能な情報である。
運転者が車両に乗車した後に取得する運転者情報について、以下の２種類に区分して説明する。
（ａ）運転者に対する手動運転復帰要請通知の実行前に取得する運転者情報
（ｂ）運転者に対する手動運転復帰要請通知の実行後に取得する運転者情報
［７－（２）（ａ）運転者に対する手動運転復帰要請通知の実行前に取得する運転者情報について］
まず、（ａ）運転者に対する手動運転復帰要請通知の実行前に取得する運転者情報について説明する。
運転者が車両に乗車して走行を開始すると、車両のシステム（情報処理装置）は、車両の走行状況に応じて運転者の様々な状態についての観測を継続的に実行する。
運転者状態や、自動運転実行中に運転者が行う作業である２次タスクは、自動運転車両の操舵性能や、許容される自動運転レベルによって変化することが想定される。
すなわち、完全な自動運転が可能であれば、運転者は、睡眠をとることも可能であり、運転席から離れて作業を行うこともできる。しかし、運転者による自動運転の監視や前方注意、ハンドルの把持等が要求される設定では運転者は睡眠や、運転席からの離脱が許容されない。
車両の運転態様を分類すると、例えば以下のように複数の運転態様１～７に分類することができる。
（運転態様１） 従来の一切の自動運転支援機能を有しない状態と同等の手動運転、
（運転態様２） ＬＫＡＳ（車線維持支援システム）やＡＣＣ（安全運転支援システム：オートクルーズコントロール）と言った一部機能をシステムが補助する機能を有効にした状態での手動運転、
（運転態様３） 渋滞等の低速走行時に限定して追従、停車から発車を含めた覚醒状態下での自動運転、
（運転態様４） 高速道道路等の既定区間限定利用の覚醒注意下での全速度域の自動運転、
（運転態様５） インフラのハード面、ソフト面が恒常的に管理された区間での運転者不介在の完全自動運転、
（運転態様６） インフラのハード面、ソフト面の恒常的な管理は欠落しているものの、ペアリング先導車両による誘導走行で自動運転が可能な自動運転走行区間での自動運転、
（運転態様７） インフラのハード面、ソフト面の恒常的な管理は欠落しているものの、走行速度を（停車を含めた）低速として、車両の限定的な環境認識機能を適用して自動運転を自律的に行うことを可能な車線が提供された道路での自動運転、
例えば、車両の運転レベルを分類すると上記のように分類できる。
例えば、上記の（運転態様１）から（運転態様３）迄の利用が可能な装備を備えた車両の場合、車両に乗車後の運転者状態は、運転者が手動運転中であれば、車両のシステムが実行するドライバモニタリング処理により、運転者の運転時疲労や覚醒度低下、眠気評価の定常的評価が継続的に行うことができる。このモニタリング処理によって例えばマイクロスリープ等の検出や脇見運転と言ったマニュアル運転時の運転品質がシステム（情報処理装置）内の記憶部に記録保存される。
これら、従来型のいわゆる自動運転レベル２までの運用が可能な区間において運転者の責任の下で運転が行われる間は、運転者には運転注意義務があり、睡眠等、意識離脱状態になることは許容されない。運転者は道路状況や走行状況に応じて、自主的に操舵を行うことになる。従って、この操舵作業の品質評価を行うことで運転者の意識状態をモニタリングすることができる。
つまり、ドライバモニタリングシステムは、手動運転時や半自動運転時における運転者の疲労や眠気等による注意・意識低下を検出し、検出結果に基づいて事故に繋がるリスクを評価し、さらに評価結果に基づいて運転者の覚醒状態への復帰や、早期の休憩を促す通知を行うといった処理を行うことが主要な機能である。
ＬＫＡＳ（車線維持システム）やＡＣＣ（オートクルーズコントロール）の車間距離一定維持システム）やＡＥＢＳ（緊急時自動ブレーキシステム）等の車両制御の一部を担う部分的自動運転を実現するＡＤＡＳシステム（先進運転支援システム）の利用時には、上記の機能の他の処理も可能となる。
例えば、運転者の疲労や眠気増大により運転操舵の遅延等の影響検出がされた場合、前述の覚醒復帰や早期休憩を促す他、運転者の眠気のない正常な覚醒状態での運転時に、運転者の事故回避行動の遅延リスクを低下させるための処理として以下のような制御を行うことも可能である。
（ａ）障害物検出機能の障害物検出閾値の引き下げ、
（ｂ）衝突回避判定閾値の引き下げ、
（ｃ）ＡＣＣ制御中の車両間隔をより長くする設定変更、
（ｄ）ＡＥＢＳ（緊急時自動ブレーキシステム）のブレーキ動作開始動作点をより早期に開始する設定変更、
なお、ＡＤＡＳシステム（先進運転支援システム）等の利用に際しては、運転者の過剰な依存を防止することも必要であり、依存防止機能を備えているシステムもある。例えばＡＥＢＳ（緊急時自動ブレーキシステム）のブレーキ動作開始動作点をより早期に開始してよりスムーズに減速しつつも減速制御後半に不快な急減速を行うといった制御を行い、運転者に注意を促し、自動減速機能の依存的な利用を回避させるといった構成である。このような、依存的な利用を検出した場合、運転者に体感的な不快を与えるフィードバック処理を実行して、依存的な利用を回避させるペナルティを科すことも依存的な利用を減少させる手段として有効である。ただし、不快を与える急減速は、自動減速機能の依存的な利用を低減する一つの手段に過ぎず、階層的で短中長期的に運転者に作用するペナルティの仕組みが必要である。運転者が自動減速機能の依存的な利用を行うと、多様な不都合が誘発されるという感覚を運転者に芽生えさせることで、運転者自身の本能的で直観的な依存回避行動が発達する。
車両のシステム（情報処理装置）は、これらの車両に備えられた各種の運転支援システムの利用情報や、利用時の機能動作履歴情報を記録する。すなわち、システム（情報処理装置）内の記憶部に記録保存する。
この記録情報は、その後の運転者状態の推定に有効な情報となる。この情報は、完全な自動運転を可能とした自動運転可能区間を走行していない間の運転者状態に関する情報であるが、記録保存することで、その後の運転者状態の推定に有効な情報となる。
前記の（運転態様４）や（運転態様５）の自動運転が可能な場合には、車両の走行旅程中に自動運転可能区間が一定時間以上続く区間が存在する可能性がある。
この場合、運転者は道路環境と自車の搭載機能に応じて、自動走行可能な区間で運転操舵や運転注意から離脱して運転操舵に必要な道路周囲注意を払わない形で、運転以外の作業である２次タスクを行うことが有りえる。
運転者が２次タスクを実行している間は、車両のシステム（情報処理装置）は、自動運転可能区間の終了に先立ち、適切なタイミングで運転者に手動運転への復帰通知を促したり、またはどの様なタイミングで復帰地点に近づくか等の情報提示を行ったりすることも可能である。
通知タイミングや、実施するべき通知は単純な通知とするか、警報などの覚醒や注意を促す通知とするかの通知態様は、運転者の状態やこれから侵入しようとする道路区間の危険度合いなどに応じて変更する設定とすることが好ましい。
そのためには、前記の（運転態様４）や（運転態様５）の自動運転の実行中、常に運転者の状態を定常的にモニタリングしておくことが必要である。
前記の（運転態様１～３）では、ドライバモニタリングシステムを適用することで運転者の操舵情報等を取得して運転者の意識低下を確認することができた。しかし、この（運転態様４）や（運転態様５）の自動運転の実行中は、運転者の操舵等の状況の確認は基本的にできないため、前記の（運転態様１～３）で利用したドライバモニタリングシステムと異なるさらに、様々な運転者の情報取得が必須となる。
（運転態様４）や（運転態様５）の自動運転の実行中、運転手は、以下の４種類の運転者状態（状態１～４）のいずれかにある。
（運転者状態１）運転者が運転席を離席した状態
（運転者状態２）運転者が運転席に着座しているが、運転可能姿勢でない状態
（運転者状態３）運転者が運転席に着座し、運転可能姿勢を維持しているが、運転に即時復帰可能ではない状態
（運転者状態４）運転者が運転席に着座し、運転可能姿勢を維持し、運転に即時復帰可能な状態
車両のシステム（情報処理装置）は、運転者が上記各運転者状態１～４のいずれであるかを観測し、各運転者状態に応じて運転者の覚醒度を判定する。
これらの各状態の具体例と、その具体的な運転者状態に基づいてシステム（情報処理装置）が判断する運転者の覚醒状態について説明する。
（運転者状態１）運転者が運転席を離席した状態
この運転者状態１は、具体的には、例えば以下のような状態であり、各状態においてシステム（情報処理装置）は、以下のように運転者の覚醒状態を判断する。
１ａ．仮眠スペースで体を横にして仮眠した状態。
システム（情報処理装置）は、この状態の運転者の覚醒状態が、完全な操舵注意離脱状態にあり、浅い睡眠、または深い睡眠中であると判断する。
１ｂ．運転席を離席し、荷台に移動していて配送物や集荷物の荷分け整理を行っている状態。
システム（情報処理装置）は、この状態の運転者の覚醒状態が大幅な操舵注意離脱状態にあり、運転者に対する情報通知（手動運転復帰要請通知等）に対する運転者の応答次第で状況判断や意識維持が保たれているか否かを判断可能な状態であると判断する。
なお、運転者に対する情報通知には、手動運転復帰要請通知復帰通知の他、様々な通知が含まれる。例えば、車両の進行方向に対応するＬＤＭ情報の更新に伴う走行可能モード変更通知や、運転者に注意を促す定期、非定期の通知、運転者の意識的応答を促す通知等、様々な通知が含まれる。通知の態様も、アラーム等の音声通知に限らず、運転者の保持するタブレット端末の表示部に対する出力等、様々な通知が行われる。
１ｃ．車両内に運転席からオフセットしたオフィス・スペースでＰＣ作業、または電話会議、またはリラックスした状態。
システム（情報処理装置）は、この状態の運転者の覚醒状態が部分低下または大幅な操舵注意離脱状態にあり、情報通知（手動運転復帰要請通知等）に対する運転者の応答次第で状況判断や意識維持が保たれているか否かを判断可能な状態であると判断する。
１ｄ．運転席を離席し、同乗者と歓談している状態。
システム（情報処理装置）は、この状態の運転者の覚醒状態が部分低下または大幅な操舵注意離脱状態にあり、情報通知（手動運転復帰要請通知等）に対する運転者の応答次第で状況判断や意識維持が保たれているか否かを判断可能な状態であると判断する。
（運転者状態２）運転者が運転席に着座しているが、運転可能姿勢でない状態
次に、（運転者状態２）の具体例と、その具体的な運転者状態に基づいてシステム（情報処理装置）が判断する運転者の覚醒状態について説明する。
この運転者状態２は、具体的には、例えば以下のような状態であり、各状態においてシステム（情報処理装置）は、以下のように運転者の覚醒状態を判断する。
２ａ．伝票確認、伝票記録、執筆、休憩、飲食等を行っている状態
システム（情報処理装置）は、この状態の運転者の覚醒状態が部分低下または大幅な操舵注意離脱状態にあり、情報通知（手動運転復帰要請通知等）に対する運転者の応答次第で状況判断や意識維持が保たれているか否かを判断可能な状態であると判断する。
２ｂ．タブレット伝票作業、運行管理、メール・ＳＮＳなどのテキスティング、ブラウジングを行っている状態
システム（情報処理装置）は、この状態の運転者の覚醒状態が部分低下または大幅な操舵注意離脱状態にあり、情報通知（手動運転復帰要請通知等）に対する運転者の応答次第で状況判断や意識維持が保たれているか否かを判断可能な状態であると判断する。
２ｃ．ビデオ閲覧を行っている状態
システム（情報処理装置）は、この状態の運転者の覚醒状態が部分低下または大幅な操舵注意離脱状態にあり、情報通知（手動運転復帰要請通知等）に対する運転者の応答次第で状況判断や意識維持が保たれているか否かを判断可能な状態であると判断する。
２ｄ．ゲームを行っている状態
システム（情報処理装置）は、この状態の運転者の覚醒状態が部分低下または大幅な操舵注意離脱状態にあり、情報通知（手動運転復帰要請通知等）に対する運転者の応答次第で状況判断や意識維持が保たれているか否かを判断可能な状態であると判断する。
（運転者状態３）運転者が運転席に着座し、運転可能姿勢を維持しているが、運転に即時復帰可能ではない状態
次に、（運転者状態３）の具体例と、その具体的な運転者状態に基づいてシステム（情報処理装置）が判断する運転者の覚醒状態について説明する。
この運転者状態３は、具体的には、例えば以下のような状態であり、各状態においてシステム（情報処理装置）は、以下のように運転者の覚醒状態を判断する。
３ａ．伝票確認、伝票記録、執筆、休憩、飲食を行っている状態
システム（情報処理装置）は、この状態の運転者の覚醒状態が部分低下または大幅な操舵注意離脱状態にあり、情報通知（手動運転復帰要請通知等）に対する運転者の応答次第で状況判断や意識維持が保たれているか否かを判断可能な状態であると判断する。
３ｂ．タブレット伝票作業、運行管理、メール・ＳＮＳなどのテキスティング、ブラウジングを行っている状態
システム（情報処理装置）は、この状態の運転者の覚醒状態が部分低下または大幅な操舵注意離脱状態にあり、情報通知（手動運転復帰要請通知等）に対する運転者の応答次第で状況判断や意識維持が保たれているか否かを判断可能な状態であると判断する。
３ｃ．ビデオ閲覧を行っている状態
システム（情報処理装置）は、この状態の運転者の覚醒状態が部分低下または大幅な操舵注意離脱状態にあり、情報通知（手動運転復帰要請通知等）に対する運転者の応答次第で状況判断や意識維持が保たれているか否かを判断可能な状態であると判断する。
３ｄ．ゲームを行っている状態
システム（情報処理装置）は、この状態の運転者の覚醒状態が部分低下または大幅な操舵注意離脱状態にあり、情報通知（手動運転復帰要請通知等）に対する運転者の応答次第で状況判断や意識維持が保たれているか否かを判断可能な状態であると判断する。
（運転者状態４）運転者が運転席に着座し、運転可能姿勢を維持し、運転に即時復帰可能な状態
次に、（運転者状態４）の具体例と、その具体的な運転者状態に基づいてシステム（情報処理装置）が判断する運転者の覚醒状態について説明する。
この運転者状態４は、具体的には、例えば以下のような状態であり、各状態においてシステム（情報処理装置）は、以下のように運転者の覚醒状態を判断する。
４ａ．ハンズフリーでの電話会話を行っている状態
システム（情報処理装置）は、この状態の運転者の覚醒状態が部分操舵注意低下状態、すなわち身体的には復帰能力があるが、いわゆる意識の脇見と呼ばれる知能（判断能力）的には意識離脱状態にあると判断する。
４ｂ．片手ＳＮＳやメールテキスティンキングを行っている状態
システム（情報処理装置）は、この状態の運転者の覚醒状態が部分操舵注意低下状態、すなわち身体的には復帰能力があるが、知能的には意識離脱状態にあると判断する。
このように、車両に搭載したシステム（情報処理装置）は、検出されるステータス（運転者状態）に応じて運転者の覚醒状態を推定、判断する。
なお、運転者の覚醒から復帰までに影響する状態検出変数値として、睡眠の深さ、情報通知に対する認知応答の品質（例えば速さ、正確さ）についても自動運転中の運転者モニタリング値として取得する。
なお、先に説明したように、運転者に対する情報通知には、手動運転復帰要請通知復帰通知の他、例えば運転者がタブレット操作や電話会議、荷台に移っての荷分け作業と言った場合、システムから車両非設置端末等に対して行われる様々な通知が含まれる。例えば、進行方向のＬＤＭ情報更新に伴う変化による走行可能モード変更通知や、運転者注意を促す定期、非定期の運転者意識的応答を促す通知等が含まれる。通知の態様はアラーム等の音声通知に限らず、運転者の保持するタブレット端末の表示部に出力する表示情報、腕時計などのウェアブル機器等も含まれる。
システム（情報処理装置）は、このような様々な通知に対する運転者の応答を解析する。例えば、運転者は通知を認知した事を知らせるために、運転者の保持する端末の表示画面に対する操作、例えば画面通知応答アイコンのダブルタッチ処理等の操作を行うことで、認知したことを示す応答をシステムに返すことができる。応答入力はダブルタッチに限定する必要ななく、例えばレ点ジェスチャや時計・半時計まわり回転ジェスチャ入力など検出精度を上げる工夫を施してもよい。
この運転者からの応答タイミングが通知送信後から遅れ、時間的な空き状態であるラグが長い場合は、運転者は端末を開いているが、実際には眠気で意識が低下しているといった判断を行うことができる。
なお、運転者が端末を利用してゲームや映画鑑賞などを行っている最中に通知が必要となる場合は、ゲームや映画の再生を一時的に中断して通知を行う。システムにとって重要なのは、通知に対する運転者からの応答検出と応答品質であり、この解析のために、応答の時間的遅延や操作品質情報を取得する。
先に、図１８等を参照して説明したタブレット端末は、ゲームや映画鑑賞など２次タスクが実行可能である。また、走行区間の接近状況も併せて表示することができる。メインの作業ウインドウで、ゲームや映画鑑賞などの２次タスクを実行している運転者は、走行区間の接近状況も併せて確認可能となる。
このように、運転者の利用する２次タスク実行端末は、走行区間の接近状況も併せて表示可能なマルチタスク実行装置であることが望ましい。現行の多くのタブレット端末やスマートフォン端末の場合、サブウィンドウを利用することでマルチタスクが実行可能である。その他、ビデオ・プレイヤーやゲーム端末、テレビ電話会議システム等でもよい。
このようなマルチタスク実行端末を利用することで、２次タスクを実行中の運転者に対しても進行方向の道路事情を運転者に知らせることができ、その応答情報を観測、解析することで、運転者の意識レベル、すなわち覚醒度を判定することが可能となる。
以上、説明したように、運転者が車両に乗車した後に取得可能な運転者情報、すなわち、運転者の手動運転復帰品質の推定処理や評価処理に適用可能な運転者情報は、大別して、以下の２種類の情報によって構成される。
（１）睡眠中など、運転者の意識離脱中の２次タスク検出時に行うパッシブモニタリング情報、
（２）運転者の意識下で行う２次タスク検出時のシステムの応答確認用の通知やＬＤＭから得られた更新情報による手動運転復帰要請地点変更等に対する応答の評価記録情報、
これらの情報によって構成される。
なお、運転者は、車両が自動運転を行っている間は、睡眠や２次タスクの実行が可能である。このように意識離脱を許容した状況において、自動運転可能区間から手動運転区間への引き継ぎ地点が接近した場合、車両のシステム（情報処理装置）は、運転者に復帰地点が近づいていることの通知、すなわち手動運転復帰要請通知を遅延なく精度高く実行することが必要となる。
このために、車両のシステム（情報処理装置）は、随時、運転者の状態を確認する定期モニタリングの周期等の見直しを行う。例えばモニタリング確認の間隔と検出手段の見直しを行う。
具体的には、運転者が睡眠中であれば運転者の生体信号をモニタリング検出することで、睡眠の深さを観測することが可能である。この睡眠の浅い期間、いわゆるレム睡眠期では運転者の脳の活動は覚醒状態にあり、ＲＥＭ睡眠では名称の由来である急速眼球運動が観測されるなど、その状態は複数の観測手段でパッシブ検出が可能である。睡眠の浅い区間で復帰通知や警報を出すことで、目覚め品質を高くすることが可能となる。
さらにシステムは車両が進行する旅程のＬＤＭから得られる進行侵入道路区間の安全性、運転者介入必要性等応じて、より安全と思わる区間で事前に引き継ぎ完了を済ませるための制御を行う。
例えば、運転者の睡眠が深く、さらに自動運転可能区間から手動運転区間への引き継ぎ実施区間やその後の道路区間が危険な曲りくねった道路等である場合には、覚醒度低下状態での運転が危険であると判定し、このような道路区間への侵入前の安全と思わる区間で引き継ぎ完了を済ませるための制御を行う。
なお、車両のシステム（情報処理装置）は、運転者が睡眠等で意識離脱中にも、運転者の状態判定に応じて異なる手段を選定して状態把握を行い、状況に応じた通知タイミングの算出を行う。システムが適切な通知タイミングと判定したポイントで運転者通知または覚醒アラーム等を出力して通知する。
システムは、さらに、この通知に対する運転者の挙動について解析することになる。
以下、この処理の詳細について説明する。
［７－（２）（ｂ）運転者に対する手動運転復帰要請通知の実行後に取得する運転者情報について］
次に、運転者に対する手動運転復帰要請通知の実行後に取得する運転者情報について説明する。なお、取得する運転者情報は、運転者の手動運転復帰品質の推定処理や評価処理に適用可能な情報であり、さらに、通知タイミングの決定、更新等に利用可能な情報である。
車両のシステム（情報処理装置）が、運転者に対して復帰通知や覚醒警報を発報する事で、運転者が通知を知覚、認知をした場合、何からの運転者による応答反応を起こすことが期待される。
なお、車両のシステム（情報処理装置）が、運転者のモニタリング情報を用いて運転者状態に応じた通知を行う。例えば、運転者が睡眠中であれば振動や音による目覚めを促す警報を鳴らす。さらに、システムは、運転者の睡眠中に停止していた一部のモニタリング機能、例えば運転者の眼球挙動解析や行動解析機能を行うＴｏＦセンサやカメラ機能をスタンバイや停止状態から復活させ、運転者の詳細なモニタリングを再開する。
車両のシステム（情報処理装置）は、例えば、運転者が仮眠から目覚め、起床後の起立や復帰歩行等の活動を行った場合、これらの運転者挙動をモニタリング情報として取得する。取得情報に基づいて運転者が活発動作を行っているか怠慢動作を行っているか等の解析処理（覚醒度解析）を行う。
仮眠からの復帰推移観測に際しては、例えばＴｏＦセンサのような３次元計測機能を備えたカメラ等を用い、上体の起立推移、体位の移動、運転席移動推移、着座推移、シートベルト装着動作、道路前方確認動作などの情報を取得し解析する。
運転者がタブレット端末など、システムに対する応答が可能な端末を利用して作業等の２次タスクを実行中であれば、システムからの通知に対する応答情報や、通知に対する運転者の確認状況を取得して記録する。システム（情報処理装置）内の記憶部に記録保存する。また、運転者からの応答としては、例えば、走行道路前方の指差呼称や指差し確認、指差喚呼のような応答を検出してもよい。
システム（情報処理装置）からの通知態様としては、例えば以下のような様々な方式が利用可能である。
音による通知、単純光源点滅点灯、マトリックスディスプレー等による記号提示、がある。
これらの通知を理解した運転者による確認応答としては、例えば以下のような様々な応答方式が利用可能である。
ａ．座席やステアリングハンドルなどの接触媒体に対するハプティックス入力に対する握りやペダル操作、
ｂ．応答専用ペダルや既存操舵装置を介した操作入力、
ｃ．専用のボタン操作など、
ｄ．さらには、例えば腕時計などの車両設置と無線通信により通信接続した運転者装着型ＨＭＩ装置とを用いた操作、手足や首や顔表情などジェスチャ操作など、
システム（情報処理装置）は、例えばこれらいずれかの運転者の挙動を検出し運転者の通知の認知応答を記録する。システム（情報処理装置）内の記憶部に記録保存する。この処理により、運転者の復帰要請の認知度合いを確認、評価することが可能となる。システムからの通知に対する運転者の認知度合いは、応答遅延時間や通知に対する姿勢復帰などの反応応答遅延量で評価することが可能である。
システム（情報処理装置）は、運転者が手動運転復帰に必要な覚醒復帰が遅れているか否かの判断を行うことが必要となる。この判断は、運転者の復帰品質の評価処理として実行する。
復帰品質評価の評価基準には、平均的な運転者人口の復帰特性を元に統計的に導き出された定量化された標準応答行動遅延量を参照する手法がある。しかし、運転者の行動特性に運転者毎の違いがあり、また過去の経験や車両の設計上の特性や安全面から速やかな対処が必要な車両もあれば、必要のない車両もあり、様々である。
従って、通知処理や復帰品質評価処理は、運転者や車両固有の特性に見合った処理として行うことが理想的である。このために、運転者や車両固有の特性を考慮した学習処理を行い、学習結果を用いて運転者や車両固有の特性に見合った通知処理や復帰品質評価処理を行うことが好ましい。
さらに、システムは、運転者復帰時の覚醒状態の評価のための処理として、以下のような処理を行ってもよい。
例えば、運転者に手動運転復帰判定課題として目視課題を提示し、その課題に対する眼球詳細挙動解析から得られる脳内の知覚認知反射応答の解析を行い、この解析から得られた認知評価値を記録する。システム（情報処理装置）内の記憶部に記録保存する。視覚挙動を用いた脳内の覚醒復帰品質の評価手法に関して詳細は後述する。
［８．自動運転から手動運転への移行時の運転者の状態変化と観測情報、および復帰品質の評価処理について］
次に、自動運転から手動運転への移行時の運転者の状態変化と観測情報、および復帰品質の評価処理について説明する。
図２８は、自動運転から手動運転への移行完了までの残存猶予時間について説明するグラフを示した図である。システムが時間ｔ０において運転者に対して通知（手動運転復帰要請通知）を行った後、横軸の時間軸に沿った時間経過に従って右端の「引き継ぎ限界点」に至るまでの残存猶予時間を縦軸に示している。
図２８に示す例は、自動運転可能区間から手動運転区間へのスムーズな移行を想定し、車両が定速走行をした場合の残存猶予時間を示している。なお、図２８の縦軸は定速走行時の残存猶予時間であるので、縦軸は実際の引き継ぎ限界地点までの距離と見ることもできる。
グラフには、「個人固有データ例」、「平均的復帰推移データ」の２つのラインを示している。
個人固有データ例は、ある１人の個人固有の学習データに基づくデータの一例である。
平均的復帰推移データは、多数の観測データに基づく平均値である。
これらはいずれも、引継ぎ限界点において手動運転へ引き継ぎを行った場合、予め定められた期待成功率（ＲＲＲ：Ｒｅｑｕｅｓｔｅｄ Ｒｅｃｏｖｅｒｙ Ｒａｔｅ）での引き継ぎを実現させるラインである。
システムは、運転者のモニタリング情報に基づいて、予め定められた期待成功率（ＲＲＲ：Ｒｅｑｕｅｓｔｅｄ Ｒｅｃｏｖｅｒｙ Ｒａｔｅ）で、引継ぎ限界点において、運転者に手動運転への引き継ぎを実行させるための通知ポイントを、運転者固有復帰特性の学習辞書を用いて算出する。
期待成功率（ＲＲＲ：Ｒｅｑｕｅｓｔｅｄ Ｒｅｃｏｖｅｒｙ Ｒａｔｅ）について説明する。期待成功率（ＲＲＲ）は、例えば、道路情報提供者が提供するローカルダイナミックマップ（ＬＤＭ）に規定されるデータである。すなわち自動運転可能区間から手動運転区間の切り替え地点、各地点の期待される手動運転切り替え成功率である。
自動運転から手動運転への引き継ぎ地点の到達時刻をｔ（ＴｏＲ＿ｐｏｉｎｔ）（Ｔａｋｅ ｏｖｅｒ Ｒｅｑｕｅｓｔ地点）とし、この到達時刻において引き継ぎが既定成功率ＲＲＲ（Ｒｅｑｕｅｓｔｅｄ Ｒｅｃｏｖｅｒｙ Ｒａｔｅ）で引き継げるための算出引き継ぎバジェット（時間）をΔｔＭＴＢＴ （Ｍｉｎｉｍｕｍ Ｔｒａｎｓｉｔｉｏｎ Ｂｕｄｇｅｔ Ｔｉｍｅ）とする。
この前提において、ＴｏＲ地点の到達する予測時刻ｔ（ＴｏＲ＿ｐｏｉｎｔ）に先立ち、｛ｔ（ＴｏＲ＿ｐｏｉｎｔ）－ΔｔＭＴＢＴ（Ｍｉｎｉｍｕｍ Ｔｒａｎｓｉｔｉｏｎ Ｂｕｄｇｅｔ Ｔｉｍｅ）｝より前に引き継ぎ通知や警報を発報する必要がある。
すなわち、接近する引き継ぎ地点で期待成功率（ＲＲＲ）を達成させるためには、モニタリング時間ｔ（ｎ）から次のモニタリング時間Δｔ後のｔ（ｎ＋１）で、
｛ｔ（ｎ＋１）－｛ｔ（ＴｏＲ＿ｐｏｉｎｔ）－ΔｔＭＴＢＴ（Ｍｉｎｉｍｕｍ Ｔｒａｎｓｉｔｉｏｎ Ｂｕｄｇｅｔ Ｔｉｍｅ）｝｝＜０
となるｔ（ｎ）で、運転者に対する通知（手動運転切り替え要性通知）を行う必要がある。なぜならｔ（ｎ＋１）で通知を行ったのでは遅くなり過ぎ、手遅れになる。
以上のことを端的に述べると、道路情報提供者が提供するローカルダイナミックマップ（ＬＤＭ）に規定されたＲＲＲを達成するためには、最小の引き継ぎ遅延許容バジェット（時間）が、運転者のモニタリングサイクル期間より長くなる前のタイミングに通知（手動運転切り替え要性通知）タイミングを設定することが求められる。
図２８に示すモニタリング状態（観測状態）の推移、すなわち、以下の（ａ）～（ｇ）のモニタリング状態（観測状態）の変化点ｔ０～ｔ６は、予め定められた期待成功率（ＲＲＲ）で、引継ぎ限界点において、運転者に手動運転への引き継ぎを実行させるための通知ポイントである。
例えば、運転者が運転席から離席して仮眠をしている状態（時間ｔ０以前）では、システムはパッシブモニタリングにより運転者が仮眠中であることを確認する。
システムが時間ｔ０において運転者に対して通知（手動運転復帰要請通知）を行った後は、運転者状態やシステムによる運転者の観測状態が以下の（ａ）～（ｇ）のように変化する。
（ａ）パッシブモニタリング（システムは運転者が仮眠中であることをパッシブモニタリングで観測）
（ｂ）眼覚め、起床、周囲確認
（ｃ）運転席復帰
（ｄ）運転姿勢復帰
（ｅ）能動的応答
（ｆ）眼球挙動
（ｇ）身体的な復帰能力確認（Ｓ／Ｐ）
図に示す「個人固有データ例」、「平均的復帰推移データ」、これら２つのラインは、システムが時間ｔ０において運転者に対して通知（手動運転復帰要請通知）を行った後の上記（ａ）～（ｇ）の推移点を結んで生成されるラインである。
図には、さらに、斜線領域の「ＲＥＤ ＺＯＮＥ」を示している。この「ＲＥＤ ＺＯＮＥ」は、例えば、実際の運転者の「観測データ」がこのゾーンに入った場合、再度、運転者に通知（手動運転復帰要請通知）を発報して早期復帰を促す必要があるゾーンである。このゾーンは予め規定される。
なお、前述したように、図２８に示す例は、車両が定速走行を行った場合の自動運転から手動運転に移行完了までの残存猶予時間を示したグラフである。
インフラの設計によっては手動運転の切り替え準備区間で車線本数を増やすなどして、車速を落としても道路全体の流量低下を招かないで済むような道路設定とすることも可能であり、高速道路の料金所等はその概念に基づいた設計と言える。
図２８に示すグラフは、インフラの状況によって変更される。例えば、速度を落として引き継ぎ点までに減速制御を行い、引き継ぎ点への到達時間を引き延ばす制御を行うといった場合には、その制御を反映したグラフを生成して利用することが必要である。
右端の「引き継ぎ限界点」の直前の「身体的な復帰能力確認（Ｓ／Ｐ：（Ｓｏｍａｄｉｃ／Ｐｈｙｓｉｃａｌ））」で示した区間は、運転者が実車の車両操舵を部分的に開始してこの区間で筋力的体力的な実質操舵評価を実施する期間である。システムが最終的に引き継ぎを運転者に完全に委ね終えるのは、運転者の手足の痺れや補正するべき実際に操舵機器の制御が期待範囲内に行われるのを確認が取れた時点となる。
前述したように、図２８に示す例は、運転者が運転席から離席して仮眠をしていることを想定した場合の例である。手動運転引き継ぎ地点に到達するまで、車両が一定速度で走行をした場合の残存時間を示している。前述したように定速で示しているので実際の引き継ぎ限界地点までの距離位置と見ても良い。
以下、（ａ）～（ｇ）の具体的な状態変化について説明する。
（ａ：～ｔ０）
まず、車両のシステム（情報処理装置）は、時間ｔ０以前のパッシブモニタリング期間において、どのタイミングで通知・覚醒をするべきか、またはそれが通知で良いのか目覚まし覚醒であるべきかを判断するモニタリングを行う。
この例では、自動運転可能区間において、運転者が運転から完全に離脱したケースを想定している。具体的には運転者が仮眠をとっている想定である。
システムは時間ｔ０以前のパッシプモニタリング期間において、運転者が寝ていることを検出した場合、引き継ぎ処理の前段階で、起床アラームを鳴らす最適なタイミングを算出する必要がある。
運転者に良好な目覚めと引き継に安全な区間での引き継ぎを行わせることが望ましい。このために、システムは、道路環境のＬＤＭ情報、すなわち車両が走行する道路の走行地図情報を高密度で且つ常時更新するいわゆるローカルダイナミックマップ（ＬＤＭ）情報に基づいて最適な引き継ぎ実行区間を選定する。
例えば、安全に自動運転から手動運転へ引き継ぎが行える直線道路区間、または引き継ぎがスムーズに行われなかった場合の減速や緊急退避、停車を行っても他の周囲走行車両への影響が低減できる区間で引き継ぎが完了する区間情報をＬＤＭから取得する。
システムは、例えば、
低危険度＊低影響＊浅い睡眠区間
これらの複合的な判断を行って、通知タイミングを決定して復帰通知を行う。
つまり、走行ルート進路で浅いレム睡眠を迎える最後の道路安全区間セグメントや緊急停車をしても渋滞発生の低リスクとなる最後の区間等で実際の通知、警報地点を決定する。引き継ぎ地点を、例えば道路の直線区間ではなく、山間部の狭いすれ違い不可能な狭い道路区間に侵入してから行ったり、レム睡眠後の深い睡眠に移行した区間で覚醒通知や警報を行ったりしても、眼覚めが悪く、また眼覚めて早々に複雑な道路捌きの判断が求められ危険な状況を招くことを避けるためである。
（ｂ：ｔ０～ｔ１）
システムは、運転者のモニタリング情報に基づいて、予め定められた期待成功率（ＲＲＲ：Ｒｅｑｕｅｓｔｅｄ Ｒｅｃｏｖｅｒｙ Ｒａｔｅ）で、引継ぎ限界点において、運転者に手動運転への引き継ぎを実行させるための通知ポイントを、運転者固有復帰特性の学習辞書を用いて算出する。
システムが、時間ｔ０において運転者に通知を行うと、時間ｔ０以降において、運転者は目覚め、起床を開始する。
運転者の起床は、ＴｏＦセンサやカメラによりシステムが検知して、この検知情報によって運転者の行動評価が可能となる。
時間ｔ０～ｔ１の長さは、予め定められた期待成功率（ＲＲＲ）を得るための目覚め、起床に要する時間を学習処理によって算出したデータから割り振られたバジェットであり、許容される最大時間となる。平均的な復帰推移データは一点鎖線で示している。図に示す太い破線線（観測データ例）は観測データの一例である。
この観測データ例が、一点鎖線で示す平均的復帰時間に沿っていれば遅れは生じていないことになる。
縦軸に示す残存猶予時間は進行に伴い減少するので、一定以上の復帰遅延が生じると予め定められた期待成功率（ＲＲＲ）を実現する復帰が困難となる。斜線領域で示す「ＲＥＤ ＺＯＮＥ」まで遅れた場合には、再度、運転者に復帰警告を発報して早期復帰を促す必要がある。可観測な運転者復帰ステータス情報と合わせ、早期復帰を促す情報も有効な復帰品質評価情報となる。
（ｃ：ｔ１～ｔ２）
時間ｔ１～ｔ２に示す区間は、運転者の運転席移動が期待される区間となる。斜線領域で示す「ＲＥＤ ＺＯＮＥ」を浸食する遅延が生じれば早期復帰を促す警報アラーム等を発報する。システムは、運転者の運転席への復帰観測を例えばＴｏＦセンサやカメラによる取得情報に基づいて行う。
（ｄ：ｔ２～ｔ３）
運転者は、運転席に移動して着座したら、その後、運転姿勢を整える必要がある。運転席からの離席と復帰が日常的に行われるように今後進化した場合、速やかな復帰する場合や、さらに運転席の操舵姿勢に束縛されないより自由な姿勢の利用形態として、回転移動運転席の利用が想定される。
システムは、運転者が運転姿勢から回転した状態の座席に復帰し、運転が出来る方角へ戻しシートベルトを装着するなど必要な復帰手順が正常に行われる事をモニタリングする。この復帰手順評価はＴｏＦセンサやカメラによる姿勢トラッキングの他、座席の回転運転姿勢復帰検出や着座センサ、体温分布や生体信号検出、シートベルト装着センサなどを用いて行う。時間に沿った検出情報に基づいて復帰品質の評価を行うことが可能である。
（ｅ：ｔ３～ｔ４）
運転者が手動運転に必要な着座姿勢復帰をして、復帰要請を受けた引き継ぎ地点後に期待される手動運転侵入区間の注意情報や前方進行方角への目視による確認など、運転者とシステムの間でインタラクティブな確認応答動作を実施する。この処理により、システムは、運転者が正しい思考的手順を踏んだ応答を行っているか否かを判定する。
運転者は、意識がもうろうとしている場合や無意識である場合、システムに対して正しい応答が困難であり、仮に覚醒が十分復帰していない運転者が応答を行っても、期待される応答からかけ離れた応答結果となる。
システムが実行するインタラクティブ応答の確認処理としては、例えば運転者がハンドルを適切な握力で握っているか否かの確認、適切なペダルの踏込を行っているか否かの確認、音声のＡＩ認識による意味のある質疑応答等、様々な処理が可能である。
なお、利用者が煩わしさを伴う応答方法は嫌われるため、単純化した早期の応答結果が得られる手段が望ましい。
インタラクティブな応答確認方法の一手法として、例えば指差呼称の様に、運転者が前方の目視確認のために指をさしながら視線で前方道路方角を目視確認するジェスチャ動作の評価も有効である。
運転者の動作の遅れや、指差呼称の目と指と道路前方の配置関係を評価した指差しの正確性などが復帰品質として取得、記録することができる。すなわち、システム（情報処理装置）内の記憶部に記録保存することができる。
（ｆ：ｔ４～ｔ５）
時間ｔ４～ｔ５の眼球挙動は、いわゆる「Ｓａｃｃａｄｉｃ」であり、運転者の応答特性の中で特に視覚に関わる眼球の高速動作挙動全般の評価を行う区間である。
眼球には、三半規管による運動に伴う自身の回転移動等を打ち消す反射的挙動による挙動や、周辺視野に捉えた動体のリスク情報に対して中心視野を高速に移動させるサッカード動作がある。
さらに、ほぼ中心視野に捉えた対象を知覚、認識、判断を行う過程で記憶に基づく判断を行うため、固視とその近傍でのマイクロサッカードやトレモア、ドリフトと言った挙動が進行する。他に注意誘引する事象の刺激優先度が一定以下であれば、運転者は視覚情報の判断が完結して認識をし、その結果判断に必要は結論に至る間に対象に視線を振り向けた状態となる。
特に後者の挙動は脳内での理解判断に多く関わることから、この観察結果に基づいて覚醒状態の推定を行うことが可能となる。視線を新たな対象に移動するサッカード動作が行われる要因は、周辺視野に入るリ他のリスク要因であったり、サイレンなどの音に伴う刺激であったり、衝撃であったり、記憶に伴う刺激であったり、その発現要因は多様である。その結果、この眼球挙動の検出と発生頻度や持続時間は状況や運転経験や疲労度合いなど傾向はあるにしても個人差の大きな挙動となる。その一方で、運転者の覚醒度の復帰品質は、定常覚醒下の安定時挙動を基準に評価を行うことで、運転者の覚醒度評価を行う事ができる。
車両が自動運転走行中に運転者が視線を振り向けて周囲環境情報を確認する際には、多種多様で様々なリスク要因に注意をする必要がある。運転者の視線解析に際しては、例えば車両の走行方向の前方シーンからセマンティックサリエンシーマップ（シーンに含まれるオブジェクト単位の注意予想分布マップ）を生成して、マップに対する運転者の視線挙動を解析する手法が利用可能である。しかし、走行中の道路は多様であり、運転者の視線挙動が期待されるものと異なることも多く、安定した挙動観測は難しい。
自動運転から手動運転への引き継ぎの際の覚醒度の判断に許容される猶予時間は限られている。そこで、短期間に一定の課題を人工的に提示、その課題確認の際の眼球挙動を発現させ、安定した眼球挙動評価を行う事が有効となる。つまり、偶発的な走行中の前方風景に対する眼球挙動を観測するのでなく、システムが機械的に提示した課題に対する挙動解析を実施する。その評価手法は引き継ぎ注意情報をマトリックス情報の提示装置に提示して、その提示情報に対する運転者の眼球挙動を解析して運転者の覚醒度評価を行うことができる。
（ｇ：ｔ５～ｔ６）
時間ｔ５～ｔ６の「復帰能力確認（Ｓ／Ｐ）」で示す区間は、運転者が実車の車両操舵を部分的に開始してこの区間で筋力的体力的な実質操舵評価を実施する期間である。
システムが、運転者が手動運転復帰を実質的に開始できる判断すると、運転者の操舵機器に対する操舵に従って車両が走行を開始する。あるいは、運転者の操舵機器に対する操舵品質と実際の操舵妥当性評価を行いながら、徐々に自動運転制御の介在を抑制していき、運転者の手動運転への依存度を高めていく制御を行う。
なお、運転者の覚醒復帰の最後の確認関門として、システムは、運転者に補正操舵を要するノイズ注入を行ってもよい。
いわゆるシステム側で、わざと正常でないハンドル操作等を行い、これに対して運転者が操舵補正を正しく行えるかを判定する。補正操舵の遅延が観測された場合や、正しい補正操舵が観測されない場合は運転者がまだ混乱した思考状態にある。すなわち不十分な覚醒状態にあると評価される。一旦、手動運転操舵へ移行が進められた場合は、運転者による中途半端なシステム依存の手動運転は回避することが必要である。
復帰の手順としての品質では無いために上記手順には記していないが、システム（情報処理装置）内の記憶部に記録保存する観測情報の取得の観点で重要なステップの一つとして、運転者による自動運転から手動運転へのシステムのステータス切り替え完了の確認作業がある。
通常、運転者は車両が自動運転モードにあるか、手動運転モードにあるか等のステータス確認を行う場合、コントロールパネル等に表示されるシンボル通知マーク等を目視で確認する。
今後、自動運転が多用されるようになると、車両が手動運転モードにある場合に、運転者が自動運転状態にあると錯覚して、手動運転を放棄するリスクがある。このような場合、重大事故になりかねず、時間ｔ５～ｔ６の「復帰能力確認（Ｓ／Ｐ）」区間においても、運転者の観測を継続して運転者状態や運転者操作情報、その他の発生事象を観測、取得して記録する処理を行う構成とすることが望ましい。つまり、手動運転中に運転者自身が携わっている走行モードを明確に自覚しているか、運転者による確認作業の発生有無を記録することが望ましい。すなわち、システム（情報処理装置）内の記憶部に記録保存することが望ましい。
取り分け従来型のいわゆる自動運転レベル２等の部分的な自動運転が多用されるようになると、運転者による手動運転の自覚が欠如するリスクが発生する。そのリスクを最少化する必要があり、復帰手順の遅れや品質記録に準じて、レベル４以上の完全全自動運転中以外のモード時の走行中では運転者による限走行モードのステータスの確認作業の発生有無を記録管理し、確認作業を怠った際には段階的なペナルティを科す制御を導入することで、運転者は定期的な自動運転運転モード利用状況確認を自主的且つ定期的に行う感覚を芽生えさせることができ、確認状況記録を残し、その記録に基づき多様なペナルティを生成する事で初めて本能的かつ直観的に自車の走行モードを定期確認した手動運転の利用行動が発育して安全な自動と手動運転の混在利用が可能となる。
言い換えると、一見、自動運転から手動運転への切り替えや手動運転から自動運転への切り替えは、道路区間が各走行モードに適した状況に合わせて、運転者に走行モードの切り替えを煩わせることなく自動でシームレスに切り替えるのが便利であると思われる。すなわち、利便性という視点で見ると人間工学的にみてよいと思われがちである。
しかし、運転者への通知や、通知の運転者の認識を確認することなく、このような自動切り替えを利用すると、場合によって自動運転システムが機能していないことを運転者が見過ごしてしまうことが発生し得る。すなわち、手動運転で必須な前方や周辺注意義務を怠る結果を招きかねず、その瞬間に危険な事態が急接近している可能性もある。つまり、有事が発生しない場合には極めてドライバフレンドリな引継ぎ手順に思えるが、他方でいざ手動運転による判断を伴う制御が求められる区間に接近している際に極めて危険な事態を招く負の側面がある。このような負の側面を低減させるため、本開示に示す運転者によるシステム状態把握の記録とその記録に基づく利用管理が重要となるすなわち、システム（情報処理装置）内の記憶部に記録保存された観測情報とその利用管理が重要となる。ペナルティは記録の利用形態の一例である。
なお、図２８を参照して説明した例は、車両が一定速度で走行しながらスムーズな自動運転から手動運転への引き継ぎが行われ、道路の周囲の車両の流れを乱す事のない引き継ぎが行われた例である。
システム（情報処理装置）は、道路環境のＬＤＭ情報、すなわち車両が走行する道路の走行地図情報を高密度で且つ常時更新するいわゆるローカルダイナミックマップ（ＬＤＭ）情報から得られた道路状況に基づく処理を行う構成としてもよい。
例えば、巡航速度の異なる車両レーンがある場合、引継ぎ地点への到達前に低速レーンに移動するといった処理である。
また、周囲車両の密度が低く減速をしても影響を及ぼさない場合には、減速して猶予時間を稼ぎ、より安全な復帰を可能とする制御を行ってもよい。周囲巡航速度となる一定速度での復帰は常に守るべき制御では無く、復帰途中であっても運転者の期待通りの期待成功率（ＲＲＲ）での復帰が困難と判断された場合等においては車両の減速といった安全優先の対応を行うべきである。
すなわち、安全に問題が生じると判断され場合には、周辺の他の車両へ影響を及ぼしたとしても車速を落とし、引き継ぎ限界地点への到着を遅らせる処置や早期の退避処置に移行するといった安全優先の制御を行うことが好ましい。
定速走行での復帰を行うにせよ、道路の余裕度から減速して復帰を行うにせよ、システムは復帰推移を観測し、観測値や復帰品質評価値を取得して記録する。すなわち、システム（情報処理装置）内の記憶部に記録保存する。この記録データに基づいて運転者のシステム依存走行や意図的な復帰遅延が生じているか解析が可能となる。この解析処理の結果は、例えば事故の発生要因の究明等の大きな手掛かりとなり、安全な車両走行を実現するために有用なデータとなる。また復帰品質の低下に対するペナルティを繰り返し科す仕組みは、運転者による自主的な早期対応を習慣化させるために有効であり、過剰なシステムの依存的な利用を抑制させることができる。
前述したように図２８に示す例は、運転者が運転席から離席して仮眠をしている状態で、システムが時間ｔ０において運転者に対して通知（手動運転復帰要請通知）を行った後の、運転者状態やシステムによる運転者の観測状態（（ａ）～（ｇ））の変化点を接続したグラフである。
運転者が仮眠中に、時間ｔ０でシステムが運転者に通知（手動運転復帰要請通知）を行った場合は、運転者状態やシステムによる運転者の観測状態が以下の（ａ）～（ｇ）のように変化する。
（ａ）パッシブモニタリング（システムは運転者が仮眠中であることをパッシブモニタリングで観測）
（ｂ）眼覚め、起床、周囲確認
（ｃ）運転席復帰
（ｄ）運転姿勢復帰
（ｅ）能動的応答
（ｆ）眼球挙動
（ｇ）復帰能力確認（Ｓ／Ｐ）
この状態変化（ａ）～（ｇ）は運転者の初期状態が仮眠状態である場合に固有の状態変化である。
運転者状態やシステムによる運転者の観測状態の推移は、運転者の初期状態に応じて異なる推移となる。
図２９は、運転者の異なる初期状態に応じた状態変化の推移と推移タイミングの例を示す図である。
図２９には、以下の４つの運転者の異なる初期状態に応じた状態変化の推移例を示している。
（１）運転者が仮眠スペースで仮眠している場合
（２）運転者が運転席を離席して起きている（覚醒状態）場合
（３）運転者が運転席に着座しているが運転姿勢ではない場合
（４）運転者が運転姿勢のまま２次タスクを実行している場合
（１）運転者が仮眠スペースで仮眠している場合は、図２８を参照して説明した例に対応する。すなわち、運転者状態やシステムによる運転者の観測状態が以下の（ａ）～（ｇ）のように変化する。
（ａ）パッシブモニタリング（システムは運転者が仮眠中であることをパッシブモニタリングで観測）
（ｂ）眼覚め、起床、周囲確認
（ｃ）運転席復帰
（ｄ）運転姿勢復帰
（ｅ）能動的応答
（ｆ）眼球挙動
（ｇ）復帰能力確認（Ｓ／Ｐ）
（２）運転者が運転席を離席して起きている（覚醒状態）場合には、運転者状態やシステムによる運転者の観測状態が図２９に示すように、以下の（ｈ）～（ｇ）のように変化する。
（ｈ）運転手が運転席を離席している状態（システムは運転者が運転席を離席している状態であることをパッシブモニタリング、およびアクティブモニタリングで観測）
（ｃ）運転席復帰
（ｄ）運転姿勢復帰
（ｅ）能動的応答
（ｆ）眼球挙動
（ｇ）復帰能力確認（Ｓ／Ｐ）
すなわち（１）の初期状態が仮眠の場合の（ａ）パッシブモニタリング、（ｂ）眼覚め、起床、周囲確認が、
（ｈ）運転手が運転席を離席している状態（システムは運転者が運転席を離席している状態であることをパッシブモニタリング、およびアクティブモニタリングで観測）
に変更される。
また、状態（ｈ）から「状態（ｃ）運転席復帰」への移行時間（ｔ１１）は、（１）の初期状態が仮眠の場合の「状態（ｂ）眼覚め、起床、周囲確認」から「状態（ｃ）運転席復帰」への移行時間（ｔ１）より、先行した時間となる。
状態（ｈ）は、「状態（ｂ）眼覚め、起床、周囲確認」より、運転者の意識がはっきりした覚醒状態であるためである。
（３）運転者が運転席に着座しているが運転姿勢ではない場合には、運転者状態やシステムによる運転者の観測状態が、図２９に示すように以下の（ｉ）～（ｇ）のように変化する。
（ｉ）運転手が運転席で非正規姿勢状態（システムは運転者が運転席で非正規姿勢状態であることをパッシブモニタリング、およびアクティブモニタリングで観測）
（ｄ）運転姿勢復帰
（ｅ）能動的応答
（ｆ）眼球挙動
（ｇ）復帰能力確認（Ｓ／Ｐ）
すなわち（１）の初期状態が仮眠の場合の（ａ）パッシブモニタリング～（ｃ）運転席復帰が、
（ｉ）運転手が運転席で非正規姿勢状態（システムは運転者が運転席で非正規姿勢状態であることをパッシブモニタリング、およびアクティブモニタリングで観測）
に変更される。
また、状態（ｉ）から「状態（ｄ）運転姿勢復帰」への移行時間（ｔ２２）は、（２）の初期状態が運転席離席の場合の「状態（ｃ）運転席復帰」から「状態（ｄ）運転姿勢帰」への移行時間（ｔ１２）より、先行した時間となる。
状態（ｉ）は、既に運転席にいる状態であり、運転席への復帰動作が不要となるためである。
（４）運転者が運転姿勢のまま２次タスクを実行している場合には、運転者状態やシステムによる運転者の観測状態が、図２９に示すように以下の（ｊ）～（ｇ）のように変化する。
（ｊ）運転手が運転席で２次タスクを実行中（システムは運転者が運転席で２次タスクを実行中であることをパッシブモニタリング、およびアクティブモニタリングで観測）
（ｅ）能動的応答
（ｆ）眼球挙動
（ｇ）復帰能力確認（Ｓ／Ｐ）
すなわち（１）の初期状態が仮眠の場合の（ａ）パッシブモニタリング～（ｄ）運転姿勢復帰が、
（ｊ）運転手が運転席で２次タスクを実行中（システムは運転者が運転席で２次タスクを実行中であることをパッシブモニタリング、およびアクティブモニタリングで観測）
に変更される。
このように、運転者状態やシステムによる運転者の観測状態の推移は、運転者の初期状態に応じて異なる推移となる。
［９．システムからの通知に対する運転者の応答を確認するための具体例について］
次に、車両のシステムからの情報通知に対する運転者の応答を確認するための具体例について説明する。
なお、前述したように、運転者に対する情報通知には、手動運転復帰要請通知復帰通知の他、様々な通知が含まれる。例えば、車両の進行方向に対応するＬＤＭ情報の更新に伴う走行可能モード変更通知や、運転者に注意を促す定期、非定期の通知、運転者の意識的応答を促す通知等、様々な通知が含まれる。通知の態様も、アラーム等の音声通知に限らず、運転者の保持するタブレット端末の表示部に対する出力等、様々な通知が行われる。
以下、これらの通知に対する運転者の応答を確認するための具体例について説明する。
（１）応答確認具体例１
まず図３０を参照して、通知に対する運転者応答をペダルを利用して確認する構成例について説明する。
従来のマニュアル車であれば、運転者は変速機のギアを入れ替える際に、クラッチペダルを踏み、エンジンである駆動装置と車両の駆動輪の連結を切ってからギアの入れ替えを行っていた。その切り替えはギアボックスで歯車を破損させることなく、別のギア比に変更する上で不可欠な手順である。
例えば車両のシステムが、運転者によるギア入れ替えを観測することで、運転者の意識・覚醒度合いを確認することができる。例えば、自動運転から手動運転へ移行する際の通知等、様々な通知に対する応答として、ギア入れ替えと同様の操作を運転者に行わせる。この運転者の操作を観測すれば、運転者の覚醒レベルを確認できる。
具体的には、システムから運転者に対する通知に対する運転者の応答処理として、運転者に、図３０に示す応答用ペダル（覚醒度判定用ペダル）４０１の踏込みを行わせる。すなわち、クラッチペダルや足押式のパーキングブレーキ操作の様に、左足によるペダルの踏込みやその踏込手順を行わせる。
このように、運転者に、復帰通知や復帰警報に定める手順の一環としてペダル操作を行わせることで、運転が自動運転状態から手動運転への復帰要請を受け入れた状況をシステムへ知らせることが可能となる。また、運転者が正しい操作をしたか否かを検出することで運転者が十分な覚醒状態にあるか否かを確認できる。
なお、具体的な運転者による操作の観測データとしては、例えばペダルの踏込によるトルクや操作スピードなど機械的操作状況の計測値が取得できる。あるいはステレオカメラや、ＴｏＦや、ストラクチャードライト方式等を用いて、足の動作解析データを取得する非接触型の光学的計測手法を適用してもよい。
なお、光学的な非接触型の観測を行う場合、赤外線を主成分とするＩＲ光を利用することが好ましい、赤外光を利用することで、足元方向から運転者視界に入る光による視界妨害を抑制することが可能となる。
また、図３０に示す例は、応答用ペダル（覚醒度判定用ペダル）４０１がブレーキペダルに隣接して配置されているが、運転者がブレーキペダルと間違えると車両に急制動が掛り後続車による追突リスクが発生する。
このような事態を避けるため、例えば、予め運転者に対して、応答用ペダル（覚醒度判定用ペダル）４０１の正しい踏み込み方は、ゆっくり穏やかに、かつペダルの全踏み込み量のほぼ中間位置ぐらいまでの踏み込みであることを通知しておく。ここで通知とは利用時の一時的通知に限らず、利用マニュアルや自動運転者の運転教育を含めてもよい。
この通知に反して、強い踏み込みや、ペダルの全踏み込み位置までの踏み込みが検出された場合は、運転者が慌てていたと判断し、覚醒レベルが不十分であると判定することができる。
さらに、人間工学的な視点でのフェールセーフ機構の一環として、運転者が危険を感じてブレーキのつもりで応答用ペダル（覚醒度判定用ペダル）４０１を強く踏んだことが検出された場合には、緊急時の自動緊急時制動システム、いわゆるＡＥＢＳを用いて緊急停止させるといった制御を行う構成としてもよい。ただし、このような操作が検出された場合、ペナルティ対象となる。
運転者は基本的には応答用ペダル（覚醒度判定用ペダル）４０１の慎重なゆっくりとした踏み込みを行うことが要請される。運転者が正常な覚醒状態であれば単なる反射的ペダルの押し込みとは異なる安定した踏み込みが行われるはずである。このように、応答用ペダル（覚醒度判定用ペダル）４０１の踏み込み態様を観測することで、運転者の覚醒状態を推定することができる。つまり手順や操作が安定していない状況を検出するとシステムは運転者にペナルティを繰り返し科す。すると、運転者はこのペナルティ状態に陥ることを回避する操作を行うようになり、これが習慣付くことが期待される、また、この操作は慎重な判断に基づいて行われることになり、無意識の反射反応的な操作ではなくなるというメリットもある。
運転者が、覚醒度が高い十分な意識下でペダルを踏み込んでいるか、あるいは例えば目覚め途中の意識の低下した状態でペダルを踏み込んでいるかを判定する手法としては例えば以下の方法が利用できる。
エンコーダ等によるペダルに加わる踏み込み量の機械的変動量、踏込圧力の計測値等が利用できる。
また、ＴｏＦセンサや３Ｄ Ｆｌａｓｈ Ｌｉｄａｒやステラクチャ―ドライト法によるセンサや２次元カメラ画像解析、ステレオカメラと言った手法で足の挙動解析から得られるデータも利用可能である。
これらのデータを利用して運転者の覚醒品質の評価を行うことができる。
なお、ペダル操作の解析に際しては、統計手法等で算出した閾値判定を行うことが可能であるが、個人差を考慮して精度を高めた解析を行うためには、個人挙動評価を繰り返し行い、ＣＮＮ（畳み込みニューラルネットワーク）等の機械学習を用いて学習辞書を利用した解析を行うことが好ましい。
（２）応答確認具体例２
次に、眼球の挙動解析を利用した応答確認例について説明する。
運転者の意識復帰を確認する他の有効な手段として眼球の挙動解析がある。例えば、視線を振り向けた方向を解析して視線を解析することが可能であることは、従来から知られている。この技術をさらに発展させ、高速で視線挙動の解析を行うことで、眼球のより詳細な挙動検出ができる。
眼球の詳細挙動解析は、生体反射的に現れる挙動が一部あるものの、その挙動には脳内の神経伝達と処理を反映して現れる多くの現象も同時に見られるため、脳の認知等の活動結果が反映され、表に見える形になる。
眼球挙動に脳内の活動が反映されることを利用して、運転者の覚醒レベルを高精度で推測する。
人が行動に必要な状況判断を行う場合に取得する外界情報は、視覚的情報から得られるものが多い。人が視覚的情報を知覚し、認識し、行動に移す際に、人は情報に視線を向けて、その情報と自身の記憶（記録知識）との比較参照を行う。視線の先の情報を理解するまでの間、人は、その情報が見える部分やその近傍に視線を向けたまま細かな固視、マイクロサッケード、トレモア、ドリフトと言った視覚情報認知に必要となる特定の眼球挙動を示すことが知られている。
この眼球挙動は、人が正常な覚醒状態にある場合と、意識・覚醒低下状態にある場合とでは、異なる振る舞いを示す。
ある情報を見るように視覚課題を提示した際の運転者の眼球挙動の軌跡の一例を図３１に示す。
図３１に示す例は、人がまず、領域ａ付近を注視し、その後、領域ｂ付近を注視した際の眼球挙動の軌跡を示したものである。
ある情報（課題）を目視して内容を理解しようとする場合、人は図３１に示す挙動軌跡のように大きなサッケードと呼ばれる眼球回転を行い、所定の目視箇所に眼球を振り向け、その近傍でＦｉｘａｔｉｏｎ（固視）とマイクロサッケードを伴う眼球挙動を行う。
例えば、自動運転中に、運転者の意識保持が継続しているか否かを確認するためには、定期的なモニタリングを行うことが必要である。運転者を過度に煩わせることなくモニタリングを実施するため、システムは、例えば何らかの思考的判断を要するシンボルを運転者に提示し、眼球挙動を観測する。この観測結果として運転者が視線による思考的確認動作が行えていることが観測された場合、運転者は脳内の思考活動を課題対処のために優先して実行し、その他の２次タスクに没頭したままではないことが推察される。
また、システムが運転者の視線が提示情報に振り向けられたことを検出し、検出したことをさらに目視認知したことを受けて認知完了と判断する処理を行ってもよい。
図３２に示すフローチャートを参照して、車両のシステム（情報処理装置）が実行する運転者への情報通知に基づく運転者の眼球挙動の観測処理による運転者の意識レベル（覚醒度）の判定処理シーケンスについて説明する。
フローに示す各ステップの処理について、順次、説明する。
（ステップＳ１０１）
まず、システムは、ステップＳ１０１において、運転者に対する提示情報を選択、または生成する。
例えば手動運転への切り替えタイミングが近づいていることを示す通知等からなる提示情報である。
（ステップＳ１０２）
次に、システムは、ステップＳ１０２において、ステップＳ１０１で生成または選択した情報を運転者に対して提示する処理を行う。
（ステップＳ１０３）
次に、システムは、ステップＳ１０３において、提示情報に対する運転者の眼球挙動解析を行う。
意識レベル（覚醒レベル）の高い運転者は、例えば、先に図３１を参照して説明した領域ａやｂに示すような眼球挙動、すなわちＦｉｘａｔｉｏｎ（固視）とマイクロサッケードを伴う眼球挙動を行う。
このような眼球挙動が観測された場合は、運転者が通知情報を認識したと判定することができる。
（ステップＳ１０４）
次に、システムは、ステップＳ１０４において、予め規定された時間内に、運転者が通知情報の認識を完了したかを判定する。
すなわち、上述した眼球挙動、すなわちＦｉｘａｔｉｏｎ（固視）とマイクロサッケードを伴う眼球挙動が観測されたか否かを判定する。観測された場合は、運転者が通知情報の認識を完了したと判定し、ステップＳ１０５に進む。
一方、観測されなかった場合は、運転者が通知情報の認識を完了していないと判定し、ステップＳ１０７に進む。
（ステップＳ１０５）
ステップＳ１０４の判定処理において、運転者が規定時間内に通知情報の認識を完了したと判定した場合、システムは、ステップＳ１０５において、運転者にシステムによる確認（運転者が通知を認識したことの確認）が完了したことを通知する。
（ステップＳ１０６）
さらに、システムは、ステップＳ１０６において、ステップＳ１０５の通知情報に対する運転者の眼球挙動解析を行う。
意識レベル（覚醒レベル）の高い運転者は、例えば、先に図３１を参照して説明した領域ａやｂに示すような眼球挙動、すなわちＦｉｘａｔｉｏｎ（固視）とマイクロサッケードを伴う眼球挙動を行う。
このような眼球挙動が観測された場合は、運転者が通知情報を認識したと判定し、処理を終了する。
（ステップＳ１０７）
一方、ステップＳ１０４の判定処理において、運転者が規定時間内に通知情報の認識を完了していないと判定した場合、システムは、ステップＳ１０７において、緊急退避処置を行う。あるいは、危険度が少ない場合は、継続走行の後、退避エリアに侵入して停止する。いずれの場合も運転者にはペナルティを科す。
運転者に通知を行った際の運転者からの認知応答を確実に確認するため、システムは、運転者に情報（＝覚醒確認課題）の提示を行う際に、情報を見ることだけではなく、提示した情報の内容を把握することを求める課題を課すことが有効である。
「提示された内容の把握を求める課題」の一例として、例えば文章による「右を見よ」「下を見よ」と言った意味、セマンティック情報の利用がある。あるいは、例えば、「犬」という文字を提示するとともに、犬と犬に似た他の動物のシルエットを散りばめた図形シルエットを提示して、犬のシルエットを選択させるといった方法もある。この場合、視認者はシルエットが課題と同じであるか確認する。
シルエットの情報提示は必ずしも正常配置である必然性は無く、解釈思考が求められる回転や複数の複雑な姿勢としたシルエットを含めることが有効である。視認者は、シルエットの内容理解を行うために、細かな眼球挙動を行うことが期待される。この眼球挙動の解析により、より確度の高い覚醒状態の判定が可能となする。
図３３は、運転者の意識レベル、すなわち覚醒度を確認する提示情報の例であり、馬と言う課題と４つの動物のシルエットからなる提示情報の例である。４つのシルエットの内、右下の図が馬の確度が高いが本当に馬であるか、尾の形状や頭部や足の特徴を確認する為に、固視とマイクロサッケードの発現が期待される課題である。
内容を正確に把握するには、シルエットの幾つの情報の詳細を観察する必要がある情報を提示すると、単に提示された情報に視線を振り向けるだけでなく、その目視情報の特徴を得る固視を繰り返し、記憶と比較照合することで判断を完結させる。
脳内での認知知覚活動の発現は、必ずしも課題に対する正確な答えが導き出される必要はない。重要となるのは、俊敏な答えを探索するサッケードや固視やマイクロサッケードと言いた情報の認知理解を目的とした認知の発現有無である。
つまり、運転者は提示課題に従って内容理解を行う必要から、眼球よる情報探索処理を行い、この処理特有の眼球挙動特性を示すことになる。
なお、例えば、運転者が運転席から離れた地点で作業を行っている場合、運転者が作業を中断して運転席に復帰した後、運転者に眼球挙動観測のための課題を提示する。この提示課題に対する運転者の眼球挙動を観測することで、運転者の覚醒復帰品質を定量的に評価することが可能となる。
特に、自動運転から手動運転への復帰通知を行う場合、運転者に対するメッセージや注意情報からなる通知を、例えば、図３４に示す車両内のＨＵＤ（ヘッドアップディスプレイ）４２１や、インスツルメンツパネル４２２等に表示する。
この表示に対する運転者の目視確認の際の眼球の挙動を解析することで通知に対する認知品質の評価を行うことができる。観測手段による検出精度は異なるものの、評価は必ずしも高精度な眼球そのものの挙動詳細解析に限定して行う必要はなく、頭部挙動、顔の表情認識などと言ったより簡便な手法を用いて評価を行ってもよい。
以上、複数の応答確認処理の具体例について説明した。
今後も、一般乗用車は、車両としての利点である自由な２点間の移動手段として多く利用されることが予測される。今後、自動運転の普及や、ローカルダイナミックマップ（ＬＤＭ）情報の充実化、その他のソフト、ハード各技術の進歩などにより、道路区間単位で、完全自動運転区間の他、自動走行支援サービス、遠隔支援サービスの利用可能な区間、車対車間通信や先導車両による誘導が利用可能な区間等、様々な道路区間が混在することが予測される。
運転者は、これらの区間を跨ぐ境界毎に、車両を自動運転から手動運転やその逆の切り替えをスムーズに行うことが要請される。例えば、区間の境界で引き継ぎ不全が発生し、緊急減速、徐行、停車等の措置が行われると、交通渋滞や、後続車の追突などの事故や渋滞の誘発要因となる。従って、自動運転から手動運転やその逆の切り替えをスムーズに行えないと社会インフラとしての道路の健全な利用を阻害することになる。
例えばバス等の公共交通手段の乏しい過疎地において、運転能力の優れない利用者が非幹線道路に接する自宅所在地から、幹線道路を介して都市部に所在する病院などの施設に出かける場合に自動運転走行機能を備えた車両を利用すると仮定する。この場合、幹線道路を利用しない経路では、道路交通量も限定的であり、自車が停車しても渋滞になるリスクは極めて低く、その区間であれば低速で自動走行を行いながら進むことができる。
また、運転者が一定以上の操舵能力を有していれば、運転者の対処能力に応じたより高速の走行を行ってもよい。
さらに高速走行支援が得られる場合は、より高速な走行が許容される。高速走行支援の形態としては、ＬＤＭ情報、自動運転支援を行う先導車両、遠隔支援システム等がある。
遠隔支援を受けて走行するか、先導車両による情報を受けて自動走行を行うか、または部分自動運転支援下でのマニュアル運転を行うかなどの選択には、運転者自身の正しい判断が必要となる。走行ルート上に様々な異なる区間が存在すると、この判断を正しく行うことが安全走行のために不可欠である。このためにも運転者の覚醒状態を継続的に観測し、記録保存することは重要である。
車両が都市部等に到達した後は、自動運転に必要なＬＤＭの最新の更新データを継続的に利用することが可能となる場合が多い。多くの場合、商業地区では自動運転の利用を支援する環境整備が先行して行われるためである。特に市街中心地では車両が多く、自動運転による効率化の効果が大きくインフラ投資がしやすく、自動運転に必要な交通インフラ等の整備が先行して行われる。
このように都市部では自動運転を可能とするインフラ整備が先行するが、一方、交通量の少ない地域でのインフラ整備は遅れることになる。結果として、自動運転機能を搭載した車両の利用者は、自動運転と手動運転の双方を、逐次、切り替えながら走行することを要求される。
運転者が、各区間において自動運転と手動運転を切り替えて、安全な走行をするためには、自動運転と手動運転を切り替え時の復帰品質を高く維持することが必要である。復帰品質を高く維持することにより、渋滞発生が低減され、また緊急停止や減速による追突事故等、誘発的二次被害の発生も抑制することが可能となる。
この支えとなる技術が、運転者の自動運転から手動運転へ復帰する際の復帰品質の維持であり、また運転者の観測データの取得、記録、解析処理である。
本開示の情報処理装置のデータ処理部は、自動運転から手動運転への移行、または手動運転から自動運転への移行時の前記運転者の一連の行動の一部または主たる行動を観測情報として取得し、記憶部に格納する観測情報記録処理を実行する。さらに、情報処理装置から運転者に対する要請であるシステム要請に対する運転者の行動遅延量を解析し、解析結果を自動運転から手動運転への復帰品質評価値として記憶部に格納する。データ処理部は、この復帰品質評価値に基づいて運転者にペナルティを科す処理を実行する。
［１０．情報処理装置の構成例について］
上述した処理は、図８を参照して説明した移動装置の構成を適用して実行することが可能であるが、その処理の一部は、例えば移動装置に着脱可能な情報処理装置において実行することが可能である。
図３５を参照して、このような情報処理装置のハードウェア構成例について説明する。
図３５は、情報処理装置のハードウェア構成例を示す図である。
ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５０１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５０２、または記憶部５０８に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。
ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５０３には、ＣＰＵ５０１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ５０１、ＲＯＭ５０２、およびＲＡＭ５０３は、バス５０４により相互に接続されている。
ＣＰＵ５０１はバス５０４を介して入出力インタフェース５０５に接続され、入出力インタフェース５０５には、各種スイッチ、キーボード、タッチパネル、マウス、マイクロフォン、さらに、センサ、カメラ、ＧＰＳ等の状況データ取得部などよりなる入力部５０６、ディスプレイ、スピーカなどよりなる出力部５０７が接続されている。
なお、入力部５０６には、センサ５２１からの入力情報も入力される。
また、出力部５０７は、移動装置の駆動部５２２に対する駆動情報も出力する。
ＣＰＵ５０１は、入力部５０６から入力される指令や状況データ等を入力し、各種の処理を実行し、処理結果を例えば出力部５０７に出力する。
入出力インタフェース５０５に接続されている記憶部５０８は、例えばハードディスク等からなり、ＣＰＵ５０１が実行するプログラムや各種のデータを記憶する。通信部５０９は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
入出力インタフェース５０５に接続されているドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア５１１を駆動し、データの記録あるいは読み取りを実行する。
［１１．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） 車両の運転者の意識レベルである覚醒度を判定するデータ処理部を有し、
前記データ処理部は、
前記運転者の観測情報を取得し、取得した観測情報に基づいて、前記運転者の覚醒度を判定する情報処理装置。
（２） 前記車両は、自動運転と手動運転の切り替えが可能な車両であり、
前記データ処理部は、
自動運転から手動運転への移行時、または手動運転から自動運転への移行時の少なくともいずれかの移行時の前記運転者の一連の行動の一部または主たる行動を観測情報として取得し、記憶部に格納する観測情報記録処理を実行する（１）に記載の情報処理装置。
（３） 前記車両は、自動運転と手動運転の切り替えが可能な車両であり、
前記データ処理部は、
自動運転から手動運転への移行時、または手動運転から自動運転への移行時の少なくともいずれかの移行時の前記運転者の一連の行動の一部または主たる行動を観測情報として取得し、さらに、
前記情報処理装置から前記運転者に対する要請であるシステム要請に対する前記運転者の行動遅延量を解析し、解析結果を自動運転から手動運転への復帰品質評価値として記憶部に格納する観測情報記録処理を実行する（１）または（２）に記載の情報処理装置。
（４） 前記データ処理部は、
前記復帰品質評価値に基づいて、運転者にペナルティを科す処理を実行する（３）に記載の情報処理装置。
（５） 前記車両は、自動運転と手動運転の切り替えが可能な車両であり、
前記データ処理部は、
前記運転者の覚醒度に応じて、前記運転者に対する自動運転から手動運転への復帰要請通知である手動運転復帰要請通知の通知タイミングを制御する（１）～（４）いずれかに記載の情報処理装置。
（６） 前記データ処理部が取得する観測情報は、
前記運転者の車両乗車前の観測情報、
前記運転者の車両乗車後の観測情報、
の双方を含む（１）～（５）いずれかに記載の情報処理装置。
（７） 前記運転者の車両乗車前の観測情報は、
前記運転者の病歴情報、睡眠情報、疲労情報、飲酒情報、職業運転者の労働実態情報の少なくともいずれかを含む（６）に記載の情報処理装置。
（８） 前記運転者の車両乗車後の観測情報は、
（ａ）パッシブモニタリングによる取得情報、
（ｂ）通知に対する運転者の応答解析情報、
少なくとも上記情報のいずれかを含む（６）～（７）いずれかに記載の情報処理装置。
（９） 前記運転者の車両乗車後の観測情報は、
（ａ）運転者の眼球挙動の観測情報、
（ｂ）運転者に対する手動運転復帰要請通知の実行前の観測情報と、
（ｃ）運転者に対する手動運転復帰要請通知の実行後の観測情報と、
少なくとも上記情報のいずれかを含む（６）～（８）いずれかに記載の情報処理装置。
（１０） 前記データ処理部は、
前記運転者の車両乗車後の観測情報として、
（運転者状態１）前記運転者が運転席を離席した状態、
（運転者状態２）運転者が運転席に着座しているが、運転可能姿勢でない状態、
（運転者状態３）運転者が運転席に着座し、運転可能姿勢を維持しているが、運転に即時復帰可能ではない状態、
（運転者状態４）運転者が運転席に着座し、運転可能姿勢を維持し、運転に即時復帰可能な状態、
運転者が上記各運転者状態１～４のいずれであるかを観測し、各運転者状態に応じて運転者の覚醒度を判定する（６）～（９）いずれかに記載の情報処理装置。
（１１） 前記データ処理部は、
運転者に対する手動運転復帰要請通知の実行後の観測情報として、
運転者の操舵機器に対する操舵品質を取得する（１）～（１０）いずれかに記載の情報処理装置。
（１２） 前記データ処理部は、
前記運転者の観測情報として、
前記運転者への通知に対応する前記運転者の応答処理の観測情報を取得する（１）～（１１）いずれかに記載の情報処理装置。
（１３） 前記データ処理部は、
前記運転者の応答処理の観測情報として、前記通知に対する運転者の応答用ペダルの踏み込み態様を取得する（１２）に記載の情報処理装置。
（１４） 前記データ処理部は、
前記運転者の応答処理の観測情報として、前記通知の表示データを確認する際の運転者の眼球挙動を取得する（１２）または（１３）に記載の情報処理装置。
（１５） 自動運転と手動運転の切り替えが可能な移動装置であり、
前記移動装置の運転者の意識レベルである覚醒度を判定するデータ処理部を有し、
前記データ処理部は、
前記運転者の観測情報を取得して記憶部に格納する観測情報記録処理を実行し、取得した観測情報に基づいて、前記運転者の覚醒度を判定し、判定した覚醒度に応じて、前記運転者に対する自動運転から手動運転への復帰要請通知である手動運転復帰要請通知の通知タイミングを制御する移動装置。
（１６） 前記データ処理部が取得する観測情報は、
前記運転者の車両乗車前の観測情報、
前記運転者の車両乗車後の観測情報、
の双方を含む（１５）に記載の移動装置。
（１７） 前記運転者の車両乗車後の観測情報は、
（ａ）パッシブモニタリングによる取得情報、
（ｂ）通知に対する運転者の応答解析情報、
少なくとも上記情報を含む（１６）に記載の移動装置。
（１８） 情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、車両の運転者の意識レベルである覚醒度を判定するデータ処理部を有し、
前記データ処理部は、
前記運転者の観測情報を取得して記憶部に格納する観測情報記録処理を実行し、取得した観測情報に基づいて、前記運転者の覚醒度を判定する情報処理方法。
（１９） 自動運転と手動運転の切り替えが可能な移動装置において実行する情報処理方法であり、
前記移動装置は、前記移動装置の運転者の意識レベルである覚醒度を判定するデータ処理部を有し、
前記データ処理部は、
前記運転者の観測情報を取得して記憶部に格納する観測情報記録処理を実行し、取得した観測情報に基づいて、前記運転者の覚醒度を判定し、判定した覚醒度に応じて、前記運転者に対する自動運転から手動運転への復帰要請通知である手動運転復帰要請通知の通知タイミングを制御する情報処理方法。
（２０） 情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、車両の運転者の意識レベルである覚醒度を判定するデータ処理部を有し、
前記プログラムは、前記データ処理部に、
前記運転者の観測情報を取得して記憶部に格納する観測情報記録処理を実行させ、取得した観測情報に基づいて、前記運転者の覚醒度を判定させるプログラム。
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本開示の一実施例の構成によれば、車両の運転者の意識レベルである覚醒度を判定し、覚醒度に応じて手動運転復帰要請通知のタイミングを制御する構成を実現する。また通知に基づく運転者復帰行動を記録し、この記録データを復帰品質低下に対する改善処理を行うためのフィードバックデータとする構成が実現される。
具体的には、例えば、車両の運転者の意識レベルである覚醒度を判定するデータ処理部を有する。データ処理部は、運転者の観測情報を取得して運転者の覚醒度を判定する。車両は自動運転と手動運転の切り替えが可能な車両であり、データ処理部は、運転者の覚醒度に応じて運転者に対する自動運転から手動運転への手動運転復帰要請通知のタイミングを制御する。データ処理部が取得する観測情報は、運転者の車両乗車前、乗車後の観測情報の双方を含む。システムは運転者に行って通知に対して期待される復帰品質で運転者が復帰推移を行っているかモニタリングし、予測して且つ遅れが発生していないか時々刻々判定する。
例えばパッシブモニタリング、通知に対する運転者の応答情報などを観測する。
本構成により、車両の運転者の意識レベルである覚醒度を判定し、覚醒度に応じて手動運転復帰要請通知のタイミングを制御する構成を実現する。また通知要請に対する途中経過における復帰予測に対して遅延が生じていれば、その情報を復帰品質として記録し、その記録に基づいて適切なフィードバックを行うことで運転者の復帰行動や介在の早期実行の習慣化を図る。また、引き継ぎ品質の低下に起因した事故やインシデントが発生した場合には、記録データに基づく遅延事象の特定が可能となり、システムや運用改善に繋がる予防安全の解析手段を提供することが可能となる。
１０・・自動車，１１・・データ処理部，１２・・運転者情報取得部，１３・・環境情報取得部，１４・・通信部，１５・・通知部，２０・・運転者，３０・・サーバ，５０・・情報端末，１００・・移動装置，１０１・・入力部，１０２・・データ取得部，１０３・・通信部，１０４・・車内機器，１０５・・出力制御部，１０６・・出力部，１０７・・駆動系制御部，１０８・・駆動系システム，１０９・・ボディ系制御部，１１０・・ボディ系システム，１１１・・記憶部，１１２・・自動運転制御部，１２１・・通信ネットワーク，１３１・・検出部，１３２・・自己位置推定部，１３３・・状況分析部，１３４・・計画部，１３５・・動作制御部，１４１・・車外情報検出部，１４２・・車内情報検出部，１４３・・車両状態検出部，１５１・・マップ解析部，１５２・・交通ルール認識部，１５３・・状況認識部，１５４・・状況予測部，１５５・・安全性判別部，１６１・・ルート計画部，１６２・・行動計画部，１６３・・動作計画部，１７１・・緊急事態回避部，１７２・・加減速制御部，１７３・・方向制御部，２０１・・移動装置，１８１・・走行区間表示，１８２・・タブレット，２０１・・運転者情報取得部，２０２・・環境情報取得部，２０３・・運転者個人識別情報取得部，２１０・・安全性判別部，２１１・・学習処理部，２１１・・安全性判別処理実行部（手動運転復帰可能時間推定部），２１３・・個人認証処理部，２２１・・通知制御部，２２２・・通知部，２３０・・通信部，２４０・・記憶部，３００・・サーバ，３０１・・学習データ取得、生成部，３０２・・学習処理部，３０３・・通信部，３０４・・記憶部，４０１・・応答用ペダル，４２１・・ＨＵＤ（ヘッドアップディスプレイ），４２２・・インスツルメンツパネル，５０１・・ＣＰＵ，５０２・・ＲＯＭ，５０３・・ＲＡＭ，５０４・・バス，５０５・・入出力インタフェース，５０６・・入力部，５０７・・出力部，５０８・・記憶部，５０９・・通信部，５１０・・ドライブ，５１１・・リムーバブルメディア，５２１・・センサ，５２２・・駆動部

Claims (20)

  1. 車両の運転者の意識レベルである覚醒度を判定するデータ処理部を有し、
    前記データ処理部は、
    前記運転者の観測情報を取得し、取得した観測情報に基づいて、前記運転者の覚醒度を判定する処理を実行し、
    前記データ処理部が取得する観測情報は、
    前記運転者の車両乗車前の観測情報を含み、
    前記運転者の車両乗車前の観測情報は、
    前記運転者の病歴情報、睡眠情報、疲労情報、飲酒情報、職業運転者の労働実態情報の少なくともいずれかを含む情報処理装置。
  2. 車両の運転者の意識レベルである覚醒度を判定するデータ処理部を有し、
    前記データ処理部は、
    前記運転者の観測情報を取得し、取得した観測情報に基づいて、前記運転者の覚醒度を判定する処理を実行し、
    前記データ処理部が取得する観測情報は、
    前記運転者の車両乗車後の観測情報を含み、
    前記データ処理部は、
    前記運転者の車両乗車後の観測情報として、
    （運転者状態１）前記運転者が運転席を離席した状態、
    （運転者状態２）運転者が運転席に着座しているが、運転可能姿勢でない状態、
    （運転者状態３）運転者が運転席に着座し、運転可能姿勢を維持しているが、運転に即時復帰可能ではない状態、
    （運転者状態４）運転者が運転席に着座し、運転可能姿勢を維持し、運転に即時復帰可能な状態、
    運転者が上記各運転者状態１～４のいずれであるかを観測し、各運転者状態に応じて運転者の覚醒度を判定する情報処理装置。
  3. 前記車両は、自動運転と手動運転の切り替えが可能な車両であり、
    前記データ処理部は、
    自動運転から手動運転への移行時、または手動運転から自動運転への移行時の少なくともいずれかの移行時の前記運転者の一連の行動の一部または主たる行動を観測情報として取得し、記憶部に格納する観測情報記録処理を実行する請求項１または２に記載の情報処理装置。
  4. 前記車両は、自動運転と手動運転の切り替えが可能な車両であり、
    前記データ処理部は、
    自動運転から手動運転への移行時、または手動運転から自動運転への移行時の少なくともいずれかの移行時の前記運転者の一連の行動の一部または主たる行動を観測情報として取得し、さらに、
    前記情報処理装置から前記運転者に対する要請であるシステム要請に対する前記運転者の行動遅延量を解析し、解析結果を自動運転から手動運転への復帰品質評価値として記憶部に格納する観測情報記録処理を実行する請求項１または２に記載の情報処理装置。
  5. 前記データ処理部は、
    前記復帰品質評価値に基づいて、運転者にペナルティを科す処理を実行する請求項４に記載の情報処理装置。
  6. 前記車両は、自動運転と手動運転の切り替えが可能な車両であり、
    前記データ処理部は、
    前記運転者の覚醒度に応じて、前記運転者に対する自動運転から手動運転への復帰要請通知である手動運転復帰要請通知の通知タイミングを制御する請求項１または２に記載の情報処理装置。
  7. 前記データ処理部が取得する観測情報は、
    前記運転者の車両乗車前の観測情報、
    前記運転者の車両乗車後の観測情報、
    の双方を含む請求項１または２に記載の情報処理装置。
  8. 前記運転者の車両乗車後の観測情報は、
    （ａ）パッシブモニタリングによる取得情報、
    （ｂ）通知に対する運転者の応答解析情報、
    少なくとも上記情報のいずれかを含む請求項７に記載の情報処理装置。
  9. 前記運転者の車両乗車後の観測情報は、
    （ａ）運転者の眼球挙動の観測情報、
    （ｂ）運転者に対する手動運転復帰要請通知の実行前の観測情報と、
    （ｃ）運転者に対する手動運転復帰要請通知の実行後の観測情報と、
    少なくとも上記情報のいずれかを含む請求項７に記載の情報処理装置。
  10. 前記データ処理部は、
    運転者に対する手動運転復帰要請通知の実行後の観測情報として、
    運転者の操舵機器に対する操舵品質を取得する請求項１または２に記載の情報処理装置。
  11. 前記データ処理部は、
    前記運転者の観測情報として、
    前記運転者への通知に対応する前記運転者の応答処理の観測情報を取得する請求項１または２に記載の情報処理装置。
  12. 前記データ処理部は、
    前記運転者の応答処理の観測情報として、前記通知に対する運転者の応答用ペダルの踏み込み態様を取得する請求項１１に記載の情報処理装置。
  13. 前記データ処理部は、
    前記運転者の応答処理の観測情報として、前記通知の表示データを確認する際の運転者の眼球挙動を取得する請求項１１に記載の情報処理装置。
  14. 自動運転と手動運転の切り替えが可能な移動装置であり、
    前記移動装置の運転者の意識レベルである覚醒度を判定するデータ処理部を有し、
    前記データ処理部は、
    前記運転者の観測情報を取得して記憶部に格納する観測情報記録処理を実行し、取得した観測情報に基づいて、前記運転者の覚醒度を判定し、判定した覚醒度に応じて、前記運転者に対する自動運転から手動運転への復帰要請通知である手動運転復帰要請通知の通知タイミングを制御する処理を実行し、
    前記データ処理部が取得する観測情報は、
    前記運転者の車両乗車前の観測情報を含み、
    前記運転者の車両乗車前の観測情報は、
    前記運転者の病歴情報、睡眠情報、疲労情報、飲酒情報、職業運転者の労働実態情報の少なくともいずれかを含む移動装置。
  15. 自動運転と手動運転の切り替えが可能な移動装置であり、
    前記移動装置の運転者の意識レベルである覚醒度を判定するデータ処理部を有し、
    前記データ処理部は、
    前記運転者の観測情報を取得して記憶部に格納する観測情報記録処理を実行し、取得した観測情報に基づいて、前記運転者の覚醒度を判定し、判定した覚醒度に応じて、前記運転者に対する自動運転から手動運転への復帰要請通知である手動運転復帰要請通知の通知タイミングを制御する処理を実行し、
    前記データ処理部が取得する観測情報は、
    前記運転者の車両乗車後の観測情報を含み、
    前記データ処理部は、
    前記運転者の車両乗車後の観測情報として、
    （運転者状態１）前記運転者が運転席を離席した状態、
    （運転者状態２）運転者が運転席に着座しているが、運転可能姿勢でない状態、
    （運転者状態３）運転者が運転席に着座し、運転可能姿勢を維持しているが、運転に即時復帰可能ではない状態、
    （運転者状態４）運転者が運転席に着座し、運転可能姿勢を維持し、運転に即時復帰可能な状態、
    運転者が上記各運転者状態１～４のいずれであるかを観測し、各運転者状態に応じて運転者の覚醒度を判定する移動装置。
  16. 前記データ処理部が取得する観測情報は、
    前記運転者の車両乗車前の観測情報、
    前記運転者の車両乗車後の観測情報、
    の双方を含む請求項１４または１５に記載の移動装置。
  17. 前記運転者の車両乗車後の観測情報は、
    （ａ）パッシブモニタリングによる取得情報、
    （ｂ）通知に対する運転者の応答解析情報、
    少なくとも上記情報を含む請求項１６に記載の移動装置。
  18. 情報処理装置において実行する情報処理方法であり、
    前記情報処理装置は、車両の運転者の意識レベルである覚醒度を判定するデータ処理部を有し、
    前記データ処理部は、
    前記運転者の観測情報を取得して記憶部に格納する観測情報記録処理を実行し、取得した観測情報に基づいて、前記運転者の覚醒度を判定する処理を実行し、
    前記データ処理部が取得する観測情報は、
    前記運転者の車両乗車前の観測情報を含み、
    前記運転者の車両乗車前の観測情報は、
    前記運転者の病歴情報、睡眠情報、疲労情報、飲酒情報、職業運転者の労働実態情報の少なくともいずれかを含む情報処理方法。
  19. 情報処理装置において実行する情報処理方法であり、
    前記情報処理装置は、車両の運転者の意識レベルである覚醒度を判定するデータ処理部を有し、
    前記データ処理部は、
    前記運転者の観測情報を取得して記憶部に格納する観測情報記録処理を実行し、取得した観測情報に基づいて、前記運転者の覚醒度を判定する処理を実行し、
    前記データ処理部が取得する観測情報は、
    前記運転者の車両乗車後の観測情報を含み、
    前記データ処理部は、
    前記運転者の車両乗車後の観測情報として、
    （運転者状態１）前記運転者が運転席を離席した状態、
    （運転者状態２）運転者が運転席に着座しているが、運転可能姿勢でない状態、
    （運転者状態３）運転者が運転席に着座し、運転可能姿勢を維持しているが、運転に即時復帰可能ではない状態、
    （運転者状態４）運転者が運転席に着座し、運転可能姿勢を維持し、運転に即時復帰可能な状態、
    運転者が上記各運転者状態１～４のいずれであるかを観測し、各運転者状態に応じて運転者の覚醒度を判定する情報処理方法。
  20. 情報処理装置において情報処理を実行させるプログラムであり、
    前記情報処理装置は、車両の運転者の意識レベルである覚醒度を判定するデータ処理部を有し、
    前記プログラムは、前記データ処理部に、
    前記運転者の観測情報を取得して記憶部に格納する観測情報記録処理を実行させ、取得した観測情報に基づいて、前記運転者の覚醒度を判定させる処理を実行させ、
    前記データ処理部に取得させる観測情報は、
    前記運転者の車両乗車前の観測情報を含み、
    前記運転者の車両乗車前の観測情報は、
    前記運転者の病歴情報、睡眠情報、疲労情報、飲酒情報、職業運転者の労働実態情報の少なくともいずれかを含むプログラム。
JP2020545911A 2018-09-13 2019-08-30 情報処理装置、移動装置、および方法、並びにプログラム Active JP7288911B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018171586 2018-09-13
JP2018171586 2018-09-13
PCT/JP2019/034078 WO2020054458A1 (ja) 2018-09-13 2019-08-30 情報処理装置、移動装置、および方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JPWO2020054458A1 JPWO2020054458A1 (ja) 2021-09-02
JP7288911B2 true JP7288911B2 (ja) 2023-06-08

Family

ID=69778287

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020545911A Active JP7288911B2 (ja) 2018-09-13 2019-08-30 情報処理装置、移動装置、および方法、並びにプログラム

Country Status (5)

Country Link
US (3) US11420636B2 (ja)
JP (1) JP7288911B2 (ja)
CN (1) CN112672943A (ja)
DE (1) DE112019004597T5 (ja)
WO (1) WO2020054458A1 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018203287B4 (de) * 2018-03-06 2024-03-07 Audi Ag Verfahren und System zum Betreiben einer Spurhalteassistenzvorrichtung eines Kraftfahrzeugs
DE112019004597T5 (de) * 2018-09-13 2021-06-17 Sony Semiconductor Solutions Corporation Informationsverarbeitungseinrichtung, bewegungsvorrichtung, verfahren und programm
KR102135256B1 (ko) * 2019-08-08 2020-07-17 엘지전자 주식회사 자율 주행 시스템에서 차량의 사용자 인증 위한 방법 및 장치
WO2021040060A1 (ko) * 2019-08-23 2021-03-04 엘지전자 주식회사 차량용 전자 장치 및 그의 동작 방법
EP3892512A1 (en) * 2020-04-08 2021-10-13 Zenuity AB Methods and systems for hand-over from and ads feature to a driver of a vehicle
WO2021235565A1 (ko) * 2020-05-19 2021-11-25 엘지전자 주식회사 사이드링크를 지원하는 무선통신시스템에서 제1 장치가 메시지를 전송하는 방법 및 이를 위한 장치
JP7410805B2 (ja) 2020-06-11 2024-01-10 日野自動車株式会社 車両制御装置
US11458983B2 (en) * 2020-07-28 2022-10-04 Huawei Technologies Co., Ltd. System and method for managing flexible control of vehicles by diverse agents in autonomous driving simulation
US20220032951A1 (en) * 2020-07-28 2022-02-03 Jun Luo System and method for managing flexible control of vehicles by diverse agents in autonomous driving simulation
JP7449811B2 (ja) * 2020-07-31 2024-03-14 株式会社Subaru 車両の緊急連絡装置
US20230022896A1 (en) * 2020-08-10 2023-01-26 Jun Luo System and method for managing flexible control of vehicles by diverse agents in autonomous driving simulation
US11511744B2 (en) * 2020-08-24 2022-11-29 Ford Global Technologies, Llc System and method for automated off-road speed control for a vehicle
JPWO2022050200A1 (ja) * 2020-09-07 2022-03-10
JP7359112B2 (ja) * 2020-09-11 2023-10-11 トヨタ自動車株式会社 注意能力検査装置および注意能力検査方法
KR20220042886A (ko) * 2020-09-28 2022-04-05 현대자동차주식회사 스마트 운전 자세 제어 시스템 및 방법
KR102585149B1 (ko) * 2020-11-30 2023-10-10 재단법인대구경북과학기술원 인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행 장치 및 방법
AT524515A1 (de) * 2020-12-03 2022-06-15 Intellic Traffic Systems Ag Vorrichtung und Verfahren zur Überwachung eines Fahrzeuges
US11738777B2 (en) * 2020-12-21 2023-08-29 Zoox, Inc. Dynamic autonomous control engagement
US11912302B2 (en) 2020-12-21 2024-02-27 Zoox, Inc. Autonomous control engagement
WO2022144984A1 (ja) * 2020-12-28 2022-07-07 本田技研工業株式会社 車両制御システム、および車両制御方法
US11760318B2 (en) * 2021-03-11 2023-09-19 GM Global Technology Operations LLC Predictive driver alertness assessment
JP2022155394A (ja) * 2021-03-30 2022-10-13 株式会社Subaru 運転支援システム
JP2022155393A (ja) * 2021-03-30 2022-10-13 株式会社Subaru 運転支援システム
DE102021210263A1 (de) 2021-09-16 2023-03-16 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Aufmerksamkeitsunterstützung eines Fahrers eines Fahrzeugs
JP2023066937A (ja) * 2021-10-29 2023-05-16 株式会社アドヴィックス 車両用制御装置
CN114312800B (zh) * 2022-02-14 2022-11-15 深圳市发掘科技有限公司 车辆安全驾驶方法、装置、计算机设备及存储介质
WO2023189578A1 (ja) * 2022-03-31 2023-10-05 ソニーセミコンダクタソリューションズ株式会社 移動体制御装置、移動体制御方法、及び、移動体
US20230406343A1 (en) * 2022-05-23 2023-12-21 Aptiv Technologies Limited Driver alert system through algorithmic braking events for advanced driver-assistance system
DE102022120344A1 (de) 2022-08-11 2024-02-22 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum analysieren eines aufmerksamkeitsgrades eines fahrers

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014147828A1 (ja) 2013-03-22 2014-09-25 トヨタ自動車株式会社 運転支援装置、運転支援方法、情報提供装置、情報提供方法、ナビゲーション装置及びナビゲーション方法
JP2016038768A (ja) 2014-08-08 2016-03-22 トヨタ自動車株式会社 車両制御装置
JP2017001563A (ja) 2015-06-11 2017-01-05 パナソニックＩｐマネジメント株式会社 車両制御装置、車両制御方法および車両制御プログラム
WO2017085981A1 (ja) 2015-11-19 2017-05-26 ソニー株式会社 運転支援装置及び運転支援方法、並びに移動体
JP2017131445A (ja) 2016-01-28 2017-08-03 株式会社デンソー 生体情報計測装置、車載器、及び生体情報計測システム
JP2018045451A (ja) 2016-09-14 2018-03-22 いすゞ自動車株式会社 車両制御装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE535765C2 (sv) * 2011-04-20 2012-12-11 Scania Cv Ab Fordon med ett säkerhetssystem med prediktion av förartrötthet
JP6287728B2 (ja) * 2014-09-25 2018-03-07 株式会社デンソー 車載システム、車両制御装置、および車両制御装置用のプログラム
DE112019004597T5 (de) 2018-09-13 2021-06-17 Sony Semiconductor Solutions Corporation Informationsverarbeitungseinrichtung, bewegungsvorrichtung, verfahren und programm

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014147828A1 (ja) 2013-03-22 2014-09-25 トヨタ自動車株式会社 運転支援装置、運転支援方法、情報提供装置、情報提供方法、ナビゲーション装置及びナビゲーション方法
JP2016038768A (ja) 2014-08-08 2016-03-22 トヨタ自動車株式会社 車両制御装置
JP2017001563A (ja) 2015-06-11 2017-01-05 パナソニックＩｐマネジメント株式会社 車両制御装置、車両制御方法および車両制御プログラム
WO2017085981A1 (ja) 2015-11-19 2017-05-26 ソニー株式会社 運転支援装置及び運転支援方法、並びに移動体
JP2017131445A (ja) 2016-01-28 2017-08-03 株式会社デンソー 生体情報計測装置、車載器、及び生体情報計測システム
JP2018045451A (ja) 2016-09-14 2018-03-22 いすゞ自動車株式会社 車両制御装置

Also Published As

Publication number Publication date
WO2020054458A1 (ja) 2020-03-19
DE112019004597T5 (de) 2021-06-17
US20230339476A1 (en) 2023-10-26
US20210188289A1 (en) 2021-06-24
US20220388518A1 (en) 2022-12-08
US11420636B2 (en) 2022-08-23
CN112672943A (zh) 2021-04-16
US11738757B2 (en) 2023-08-29
JPWO2020054458A1 (ja) 2021-09-02

Similar Documents

Publication Publication Date Title
JP7288911B2 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
JP7352566B2 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
JP7155122B2 (ja) 車両制御装置及び車両制御方法
JP7324716B2 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
JP7080598B2 (ja) 車両制御装置および車両制御方法
JP7299840B2 (ja) 情報処理装置および情報処理方法
JP7273031B2 (ja) 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム
WO2019188398A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
JP7431223B2 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
WO2021145131A1 (ja) 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム
KR20210107017A (ko) 정보 처리 장치, 이동 장치 및 방법, 그리고 프로그램
US20240034362A1 (en) Information processing device, information processing method, and information processing program
JP2021043571A (ja) 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム
WO2019208014A1 (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
KR20220113947A (ko) 정보 처리 장치, 이동 장치, 정보 처리 시스템 및 방법, 그리고 프로그램
JP7238193B2 (ja) 車両制御装置および車両制御方法
WO2022172724A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220707

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230414

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230502

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230529

R150 Certificate of patent or registration of utility model

Ref document number: 7288911

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150