JPWO2019017216A1 - 車両制御装置及び車両制御方法 - Google Patents

Abstract

本技術は、自動運転から手動運転への引き継ぎをより安全に行うことができるようにする車両制御装置及び車両制御方法に関する。車両制御装置は、運転モードの自動運転モードから手動運転モードの切り替え時に、車両の正常な走行に対して逸脱する走行制御を行う走行制御部と、逸脱する走行制御に対して行われた運転者による走行操作に基づいて、運転者の反応性及び覚醒度を検出する運転状態検出部とを備える。検出された運転者の反応性及び覚醒状態は、運転モードを、自動運転モードから、運転者による手動運転モードに切り替える際に用いられる。本技術は、例えば、自動運転の制御を行う車両制御装置に適用できる。

Description

本技術は、車両制御装置及び車両制御方法に関し、特に、自動運転から手動運転への引き継ぎをより安全に行うことができるようにした車両制御装置及び車両制御方法に関する。

従来、運転者の姿勢崩れが運転者の癖によるものか否かを判定し、癖による姿勢崩れと判定された場合と癖以外の姿勢崩れと判定された場合とで、姿勢崩れに関する通知を異なる態様で行うことが提案されている（例えば、特許文献１参照）。

また、従来、車両の自動運転走行を開始する前に、自動運転から手動運転に復帰することができる運転能力が運転者にあるか否かを判定し、そのような運転能力がないと判定された場合に、自動運転走行の開始を禁止することが提案されている（例えば、特許文献２参照）。

特開２０１６−３８７９３号公報 特開２０１６−１１５３５６号公報

ところで、自動運転から手動運転への切り替えがスムーズに実行されることが必要である。例えば、その対策として、特許文献２には、自動運転の完了時に手動運転の引き継ぎがうまくいかない場合、車両を緊急に止めることが挙げられている。

しかしながら、交通量が多い場所などでは、引き継ぎに失敗した車両を一時的に駐車する退避エリアを設けて誘導しない限り、渋滞の要因となってしまう。

本技術は、このような状況に鑑みてなされたものであり、自動運転から手動運転への引き継ぎをより安全に行うことができるようにするものである。

本技術の一側面の車両制御装置は、自動運転モードから手動運転モードへの運転モードの切り替え時に、車両の正常な走行に対して逸脱する走行制御を行う走行制御部と、前記逸脱する走行制御に対して行われた運転者による走行操作に基づいて、前記運転者の運転状態を検出する運転状態検出部とを備える。

前記運転状態検出部により検出された前記運転状態に応じて、前記運転モードを切り替える運転モード切り替え部をさらに備えることができる。

前記運転モード切り替え部は、前記運転状態検出部により検出された前記運転状態が、正常な走行が可能であることを表している場合に、前記運転モードを、前記自動運転モードから前記手動運転モードに切り替えることができる。

前記走行制御部は、前記運転モードの切り替え時に段階を経て行われる複数の判定処理のうちの最終段階または最終段階に準じた処理として、前記逸脱する走行制御を行うことができる。

前記走行制御部は、前記逸脱する走行制御として、進行方向に対してずれた方向へ車両を移動させる走行制御を行うことができる。

前記走行制御部は、前記ずれた方向としての直角方向へ車両を移動させる走行制御を行うことができる。

前記走行制御部は、前記逸脱する走行制御として、車両に対して急加減速を与える走行制御を行うことができる。

前記走行制御部は、前記運転モードを切り替えることを前記運転者に通知された後で、前記逸脱する走行制御を行うことができる。

前記運転状態検出部は、前記逸脱する走行制御が前記走行制御部により行われる前に、前記運転者の運転状態を受動的に検出することができる。

前記運転状態検出部は、前記逸脱する走行制御が前記走行制御部により行われる前に、前記運転者の運転状態を受動的または準受動的に検出し、前記走行制御部は、前記運転者の状態と復帰予測タイミングを元に、前記運転者への通知タイミングを決定することができる。

前記運転状態検出部は、前記運転者が行う走行操作機器への補正動作に基づいて、前記運転状態を検出することができる。

前記運転状態検出部は、前記運転状態として、前記運転者の反応性と覚醒度のうちの少なくともいずれかを検出することができる。

前記走行制御部は、車両の自動運転モードを低速時に限定して許可を行い、所定の速度以上の走行に移行する際に自動運転から手動運転切り替えを判定し、所定速度以上で走行する際には前記運転者の操舵介在を求めることができる。

本技術の一側面の車両制御方法は、自動運転モードから手動運転モードへの運転モードの切り替え時に、車両の正常な走行に対して逸脱する走行制御を行い、前記逸脱する走行制御に対して行われた運転者による走行操作に基づいて、前記運転者の運転状態を検出するステップを含む。

本技術の一側面においては、自動運転モードから手動運転モードへの運転モードの切り替え時に、車両の正常な走行に対して逸脱する走行制御が行われる。そして、前記逸脱する走行制御に対して行われた運転者による走行操作に基づいて、前記運転者の運転状態が検出される。

本技術の一側面によれば、自動運転から手動運転への引き継ぎをより安全に行うことができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。

本技術を適用した自動運転システムの構成例を示すブロック図である。 運転者監視部及び車両制御部の構成例を示すブロック図である。 切り替え判定部の構成例を示す図である。 アクティブ反応応答検出による切り替え判定を説明する図である。 自動化レベルを説明するための図である。 運転モードの切り替えを示す遷移図である。 自動運転制御処理を説明するためのフローチャートである。 自動運転制御処理を説明するための図７に続くフローチャートである。 自動運転制御処理を説明するための図８に続くフローチャートである。 LDMデータの更新について説明する図である。 LDMデータの更新について説明する図である。 LDMデータの更新について説明する図である。 2次タスク実行可否についてまとめた表を示す図である。 運転モード切り替え判定処理を説明するためのフローチャートである。 自動運転制御処理の他の例を説明するためのフローチャートである。 自動運転制御処理の他の例を説明するための図１５に続くフローチャートである。 自動運転制御処理の他の例を説明するための図１６に続くフローチャートである。 コンピュータの構成例を示す図である。

以下、発明を実施するための形態（以下、「実施形態」と記述する）について図面を用いて詳細に説明する。

＜自動運転システムの構成例＞
図１は、本技術を適用した自動運転システム１０の構成例を示している。

自動運転システム１０は、車両制御システム１１および携帯端末１２を備える。

車両制御システム１１は、周辺撮影部２１、周辺情報取得部２２、位置測定部２３、入力部２４、車両情報取得部２５、運転者監視部２６、通信部２７、車両制御部２８、表示部２９、音声出力部３０、発光部３１、走行制御部３３、車載装置制御部３４、および、記憶部３５を備える。

周辺撮影部２１は、例えば、モノカメラ、ステレオカメラ、ToF（Time of Flight）カメラ、偏光カメラ、タイムゲーテッドカメラ、マルチスペクトルカメラ、赤外光などの非可視光カメラ等の各種の撮影装置を備える。周辺撮影部２１は、車両の進行方向を含む、車両の周辺の撮影を行い、撮影により得られた画像を周辺画像として車両制御部２８に供給する。

周辺情報取得部２２は、ソナー、レーダ、ライダ、温度センサ、湿度センサ、雨センサ、雪センサ、逆光センサ等の各種のセンサを備える。周辺情報取得部２２は、車両の周辺の情報である周辺情報を取得する。さらには、路側、自車近傍を走行する走行車両、歩行者、または自転車などからの情報を無線により取得することで、自車での測定のみでは得られない死角にある情報を得るようにしてもよい。

例えば、周辺情報取得部２２は、温度、湿度、天候、路面状態等の車両の周辺の環境に関する情報、並びに、車両の周辺の物体の種類および位置等の車両の周辺の物体に関する情報等を周辺情報として取得する。周辺情報取得部２２は、取得した周辺情報を車両制御部２８に供給する。

位置測定部２３は、例えば、人工衛星を利用して現在位置を測定するGNSS（Global Navigation Satellite System）等の衛星航法システム、高度計、加速度センサ、ジャイロスコープ、または画像認識装置によるSLAM（Simultaneous Localization and Mapping）に代表される自律測位システムなどを組み合わせた測位システムを利用して、車両の現在位置を測定する。位置測定部２３は、測定結果を車両制御部２８に供給する。

入力部２４は、マイクロフォン、ボタン、スイッチ、タッチパネル、方向指示器、ジェスチャー認識機器等の入力デバイスを備える。入力部２４は、運転者を含む、車両の搭乗者による指示やデータ等の入力を受け付ける。入力部２４は、入力された指示やデータ等を車両制御部２８に供給する。

車両情報取得部２５は、車両に関する各種の情報を含む車両情報を取得する。例えば、車両情報取得部２５は、車両の速度、加速度、角速度、進行方向等の車両の動きに関する情報を車両情報として取得する。

また、車両情報取得部２５は、例えば、アクセルペダル、ブレーキペダル、ステアリング、パーキングブレーキ、シフトレバー、方向指示レバー、パワー（イグニッション）スイッチ、ランプスイッチ、ワイパースイッチ等に対する操作タイミングおよび操作量等の、運転操作に関する情報を取得する。

さらに、車両情報取得部２５は、車両の各部の状態、故障の有無等の、車両の状態に関する情報を取得する。車両情報取得部２５は、取得した車両情報を車両制御部２８に供給する。

運転者監視部２６は、図２を参照して後述するように、運転者の監視を行い、監視結果を車両制御部２８に供給する。

通信部２７は、各種の通信方式の通信装置を備える。

例えば、通信部２７は、DSRC（Dedicated Short Range Communications）により無線通信を行う通信装置を備える。この場合、通信部２７は、道路沿いに設置されたITS（Intelligent Transport Systems）スポットと通信を行い、LDM（Local Dynamic Map）を取得する。

LDMは、例えば、路面情報、車線情報、3次元構造物情報等を含む静的情報、さらには時々刻々と変化する交通規制情報、道路工事の事前情報と実行現在の接近事前更新情報、広域気象情報等を含む準静的情報と最新更新情報、事故情報、渋滞情報、狭域気象情報等を含む準動的情報、並びに、周辺車両および歩行者情報、信号情報等を含む動的情報を含む。

短期間の近接通信でより多くの情報の広帯域通信を優先することで、無線通信リソースの有効利用が可能となる。この広帯域通信は、特に直ぐ前方に差し迫ってくるローカライズされた走行に必須な情報の取得や自車で取得した道路環境情報をインフラ側へアップロードする上で有効な手段となる。

また、通信部２７は、さらにより遠隔な通信が可能な、例えば、携帯電話機が通信を行う通信規格（3G／4G／LTE（Long Term Evolution）等）に従って通信を行う通信装置を備える。この場合、通信部２７は、インターネットなどの専用または共通の汎用ネットワークを経由して、サーバ等からより広域の地図データまたは遠方の進行地点の天候情報等の各種の情報を取得する。

通信部２７は、ビーコン装置を備える。この場合、通信部２７は、安全運転またはパスプラニングを支援するために路側に設置された路側機と通信を行い、各種の交通情報を取得したり、交換したりする。

車両が走行する予定の環境情報は、これら特定の手段に限定される必要はない。次世代携帯電話通信規格で予定される基地局通信以外に車車間のリレー通信または走行区間近傍クラウドサーバとの基地局を介さない近傍通信を行ってもよい。また、互いに冗長性を持たせて特定の通信システム故障に対して堅牢な構成にしてもよい。

通信可能な帯域により、進行しようとするルート上の環境データ更新鮮度が変わるため、特にLDMなどの更新鮮度が著しく悪い道路区間に自車が侵入した場合、該当区間での完全自動運転での走行に必要な情報鮮度は低下してしまう。その結果、本来、運転者が介在しなくても走行できる区間として定義された区間での運転者の介在復帰が求められるようになることも想定しておく必要がある。

通信部２７は、Bluetooth（登録商標）等の車内でも利用可能な近距離無線通信装置を備える。この場合、通信部２７は、スマートフォンやタブレット端末に代表される携帯端末１２等と通信を行い、各種の情報の送受信を行う。

通信部２７は、取得した情報を車両制御部２８に供給する。また、通信部２７は、他の通信装置等に送信する情報を車両制御部２８から取得する。

車両制御部２８は、ECU（Electronic Control Unit）等を備え、図２を参照して後述するように、車両制御システム１１の各部の制御を行う。

表示部２９は、各種の表示装置を備え、車両制御部２８の制御の下に、各種の画像や情報の表示を行う。例えば、表示部２９は、ヘッドアップディスプレイまたはウインドシールドの一部に設けられた透過型ディスプレイを備え、運転者の視界に画像や情報を重畳して表示する。また、例えば、表示部２９は、インストルメントパネル、カーナビゲーションシステムのディスプレイ等を備える。

音声出力部３０は、例えば、スピーカ、アラーム、ブザー等を備える。音声出力部３０は、車両制御部２８の制御の下に、音声情報、通知音、または警告音等の出力を行う。

発光部３１は、例えば、LED（Light Emitting Diode）、ランプ等の発光装置を備える。発光部３１は、車両制御部２８の制御の下に、運転者への各種の情報の通知や注意喚起等を目的とする光の点灯または点滅を行う。発光部３１は、点光源としてLEDなどに限定する必要はなく、インストルメントパネル全面または部分的なマトリックスアレイ表示部を介してのモノグラム表示などを用いて、詳細メッセージ情報などを運転者に提示するようにしてもよい。

走行制御部３３は、車両制御部２８の制御の下に、車両に搭載されている各種の装置のうち、車両の走行に関わる装置の制御を行う。例えば、走行制御部３３は、エンジンの作動を制御するエンジン制御装置、モータの作動を制御するモータ制御装置、ブレーキの作動を制御するブレーキ制御装置、ステアリングの作動を制御するステアリング制御装置等を備える。

車載装置制御部３４は、車両に搭載されている各種の装置のうち、車両の走行に関わる装置以外の装置の制御を行う。例えば、車載装置制御部３４は、シートの傾きを制御するアクチュエータ、シートを振動させるアクチュエータ、ステアリングを振動させるアクチュエータ等の制御を行う。

記憶部３５は、車両制御システム１１の処理に必要なプログラムやデータを記憶する。例えば、記憶部３５は、車両の走行等に関するログ、運転者の認証に用いる顔画像や認識識別抽出情報、運転者の各種の特徴の学習結果、車検情報、および車両事故診断情報等を記憶する。なお、必ずしも全ての情報を記憶部３５に記憶させる必要はなく、例えば、通信部２７を介して遠隔のサーバ等に情報を送信して記憶させるようにしてもよい。

＜運転者監視部２６および車両制御部２８の構成例＞
図２は、車両制御システム１１の運転者監視部２６および車両制御部２８の構成例を示している。

運転者監視部２６は、運転者撮影部１０１、生体情報取得部１０２、視線検出部１０３、および認証部１０４を備える。

運転者撮影部１０１は、ToFセンサ、ステレオカメラ、３Dカメラ、3D Flash LIDARセンサ等の撮影装置を備え、運転者の撮影を行う。運転者撮影部１０１の撮影範囲は、運転席における、運転中の運転者の腰から上の部分を少なくとも含み、それより広い範囲を含んでいてもよい。なお、機能の一部をさらに座席を設けた体圧検出するSeat Strain Gaugeによる姿勢検出で代用してもよい。

運転者撮影部１０１は、瞳孔解析または運転者の眼球の詳細解析が可能な高速撮像手段をさらに備えており、高速撮像手段には、眼球のサッケードまたは固視および固視に伴う微動またはドリフトなどの脳内知覚反応が解析可能な機能を持たせるようにしてもよい。高速撮像手段とは、通常のテレビジョン信号で用いる60fps(Frames per second)のフレーム更新レートより早い動画画像を示し、望ましくは、250fps以上の動画画像を撮像できる撮像手段を示す。

運転者撮影部１０１は、撮影により得られた画像を運転者画像として車両制御部２８に供給する。なお、運転者の撮影を行う際、より正確でかつ固有の情報を取得するために、例えば、Structured Lightを発する光源や赤外光を含む特定の波長の光源などの専用の光源により運転者を照らすようにしてもよい。

生体情報取得部１０２は、運転者の各種の生体情報を検出するセンサ等を備える。生体情報取得部１０２が取得する生体情報には、例えば、脈拍、脈波、血圧、血流系、座席体圧、着座姿勢、脳波、脳内血流、眼筋電位、心電図、体温、体臭、皮膚温、発汗、ステアリンググリップ反応、呼吸状態、アルコール含有量等が含まれる。生体情報取得部１０２は、取得した生体情報を、車両制御部２８に供給する。これらの主にパッシブ型の生体情報から運転者の確定的覚醒状況を直接把握する事は困難であるが、運転者の疲労状況や眠気等との緩い相関関係をもつ。後述する視線の動的解析を組み合せ判断することで、より正確な運転者状態の覚醒判断が可能となる。さらに、これらの情報は、運転者が着座ではない姿勢で視線検出が困難な状態において、運転者の活動量を観測する上で補完的役割をする。

視線検出部１０３は、運転者画像に基づいて、運転者の顔の向き、視線の向き、瞬き、眼球の動き（例えば、固視微動、サッケード、マイクロサッケード、ドリフト、またはトレモア等）の検出（視線検出）を行う。なお、顔の表情、眼の開閉状態等の顔の検出を運転者画像に基づいて行う顔検出部、および頭部の動きを運転者画像に基づいて検出する頭部検出部が視線検出部１０３に設けられるようにしてもよい。

視線検出部１０３は、視線の動的解析を行うことによって、運転者の外界への注意度や覚醒度の評価を行う。覚醒度は、運転者の意識の状態を表す度合いである。例えば、覚醒度が所定の閾値より高いことは、運転者の意識が正常であることを表す。視線検出部１０３は、視線の検出結果、注意度等の解析結果を車両制御部２８に供給する。

視線の挙動は、運転者固有の動的特性を多く含むことから、後述する認証部１０４で通常真っ先に行われる。

運転者個人の眼球動作は、外界の情報のうち運転者が気に掛けた情報に対して視線を移動するため、理解判断の状態に応じて順次何を目視するか、その視線の動作特性は身体的な特徴と合わせて経験的特性により振り向きざまに判断に至る認知判断の経過推移に依存して決まる。

視線の動的解析による運転者の覚醒判断は、運転者が外界対象物を眼球の物理方角的に正確に凝視・固視をしたかで決まるわけではない。もちろん、運転者が、車両を安全に停車中に特定の対象に目を固視して、例えば視界に入った人物の顔を見て誰か判断をしたり、または広告の看板など見て記載された内容を読んだりして、その内容の認知判断を行うような状況では、視線を特定対象に固視焦点を合わせる事がある。

しかしながら、一般の走行中の車両で運転者が外界の状況把握をしながら走行を行う場合、飛び出しやその他突発事象に的確な判断を要する事から、運転者は、特定の対象に視線を固定する事があまりない。

さらに、一般に、気になる対象事象を視線の中心視野から外れた周辺視野でとらえる事が多く、特にその場合周辺視野の分解能が低い領域であることから、運転者は、内容把握のために該当方角に中心視野の振り向きで対象を捕えようと、視線移動を開始する。いわゆる、眼球のサッケード動作が観測される。

一般に覚醒ができている運転者であれば、その最初の眼球移動で、一旦、対象事象の把握が完結すると、対象事象に視線を固定して観察を勧めるよりもむしろ、視界に入るその他のリスク要因を捕えるために、視線移動と詳細固視観察を行わなくとも次の対象に視線移動を繰り返す。対称事象の把握が完結とは、脳での認知の完結であり、必ずしも中心視野で対称を捉え、固視する必要はない。

つまり、運転者の視線のサッケード動作や固視の動的な特性には、運転者が脳内知覚の判断活動の一部が反映された形で表に表れていると言い換える事ができる。人が目的に合わせた情報の判断を完結する際、視覚情報として捉えた情報による刺激と関連する記憶情報から引き出された情報との間で一定以上の一致度が得られることで、判断を確定する認知判断の発火が起きて判断に至る。しかしながら、判断にいたらない場合は、判断の確証を得るための観察段階にさらに移行し、判断の発火に必要な情報を待つことになる。

脳内の認知の活動は、運転者がサッケードの視線移動を始めた間にもすぐに脳内での知覚判断が既に始まるため、必ずしも視線が、大凡の方角が振り向きかかった時点で目の焦点を合わせ、さらには中心視野で対象を捕えるまで知覚判断が終了するのに時間を要するとは限らない。

視線移動を開始するのは、周辺視野で捉えた動体視力による刺激情報のみではその内容判別が不十分なため、情報を補充するために中心視野を該当方向へ振り向け、詳細判断に至ろうとする過程の開始であり、途中で判断に至れない対象を必ずしも見終わらない。

例えば進行方向にある青色状態の信号機と、赤色の広告塔等とが両者判別ができない状態で運転者の周辺視界に入った場合、該当十字路を通過する際に信号機の色を判断する必要があることから信号機を振り向き判断を開始する事になる。

運転者は必ずしも赤色の広告塔を厳密に固視して見る必要はなく、ちらっと覗く程度でむしろ判断が完結するなら、そのまま進行した際に歩行者や自転車の飛び出しなどが無いか確認する方が優先されることもある。さらには、同じ運転者でも視力の影響で環境の明るさ、眩しさなど複合要因で動的な観察手順などの動作特性が変化する。

視線検出部１０３は、このように運転者に固有の視線動的特性を環境に応じても学習する事で運転者の状況に応じて動的視線解析で覚醒状態推定が可能であり、視線動的解析の判定結果、注意度等の解析結果を車両制御部２８に供給する。

認証部１０４は、例えば、運転者画像や視線解析画像等に基づいて、運転者の認証を行う。その際に、虹彩認証処理を介してもよい。認証部１０４は、認証結果を車両制御部２８に供給する。この運転者の認証処理は、上述したように真っ先に行われる処理である。その後、運転者固有の特徴と関連付けが行われる。

車両制御部２８は、周辺監視部１２１、運転者監視部１２２、自動運転制御部１２３、通知制御部１２４、ログ生成部１２５、および学習部１２６を備える。

周辺監視部１２１は、周辺撮影部２１からの周辺画像、周辺情報取得部２２からの周辺情報、および、通信部２７からの各種の情報に基づいて、車両の周辺の監視を行う。

運転者監視部１２２は、車両情報取得部２５からの車両情報、運転者撮影部１０１からの運転者画像、生体情報取得部１０２からの運転者の生体情報、視線検出部１０３による検出結果、認証部１０４による認証結果、および、学習部１２６による学習結果等に基づいて、運転者の監視を行う。運転者監視部１２２は、運転挙動分析部１４１、および運転状態検出部１４２を備える。

運転挙動分析部１４１は、運転者画像、車両情報、および、学習部１２６による学習結果等に基づいて、運転者の運転挙動（例えば、運転に対する操作や振る舞いなど、認証した運転者固有の特徴や特性）を分析する。

運転状態検出部１４２は、運転者画像、運転者の生体情報、視線検出部１０３による検出結果、認証部１０４による認証結果、および、学習部１２６による学習結果等に基づいて、運転状態を検出する。運転状態には、認証した運転者の状態および運転者の覚醒状態が含まれる。運転状態の検出は、認証した運転者の状態に基づいて複数の段階的に行うことで、運転者の覚醒状態を高精度に、かつ、従来一般的に行われている１次元的に決め打ちで決定された閾値で判定する場合と比較して、固定学習をすることでより運転者固有の特性に準じた判定が可能となる。

自動運転制御部１２３は、自動運転の制御を行う。自動運転制御部１２３は、ルート設定部１５１、自動化レベル設定部１５２、運転支援制御部１５３、運転モード切り替え制御部１５４、および切り替え判定部１５５を備える。

ルート設定部１５１は、車両情報取得部２５からの車両情報に含まれる車両の加速度と角速度に基づいて、位置測定部２３により測定された車両の現在位置の補正を行う。また、ルート設定部１５１は、周辺情報取得部２２からの周辺情報、通信部２７を介して取得されたLDMおよび地図データや地図更新情報、並びに、記憶部３５に記憶されている地図データ等に基づいて、入力部２４を介して入力される目的地までの走行ルートを設定する。

自動化レベル設定部１５２は、周辺情報取得部２２からの周辺情報、並びに、通信部２７を介して取得されたLDMおよび交通情報、天候情報、路面情報等に基づいて、走行ルート上の、自動化レベルの走行区間毎の分布を設定する。また、自動化レベル設定部１５２は、ルート区間毎の自動化レベルの分布、入力部２４を介して入力されるユーザ設定等に基づいて、自動化レベルの設定を行う。

ここで、自動化レベルとは、自動運転のレベル、換言すれば、運転の自動化の程度を示すものである。自動化レベルの詳細については、図６を参照して後述する。

運転支援制御部１５３は、設定されている自動化レベルに応じて走行制御部３３を制御し、運転者の運転の支援を行う。運転支援制御部１５３による支援により、部分的または全面的な自動運転が実現される。例えば、運転支援制御部１５３は、自動化レベル２で、ACC（Adaptive Cruise Control）、LKAS（Lane Keep Assist System）、TJA（Traffic Jam Assist）、AEBS（Advanced Emergency Braking System）等の一部制限機能付きの運転支援を行う。なお、自動化レベルの詳細については、後述される。

自動化レベル３で、道路信号機の認識・本線合流・離脱・幹線交差点の通過、十字路の優先順位制御、歩行車体および歩行者の優先車両制御などさらに複雑な一般道路での状況判断やパスプラニングを包含した複合的多段制御が行われてもよい。

本明細書では、自動化レベル４の運転者介在を要しない完全自動運転制御も、この運転支援制御部１５３に包含して記載するが、厳密な制御区分けとしては運転支援制御部１５３のレベル４走行時では支援ではなく、完全な自動運転制御に徹した制御となる。

また、運転支援制御部１５３は、自動化レベル３以上の走行区間において、上記の運転支援より高度かつ複雑な制御（例えば、車線変更を含む追い越し等）を行ってもよいし、市街地等での歩行者や自転車を含む高度な無人での状況判断を伴う自律走行等による運転支援を行ってもよい。

さらに、特殊な利用形態となるが、公共交通が提供されていない地域等への移動手段確保の観点で自動運転の車両利用を分野として、低速時に限定して利用ができる安全のろのろ自動運転車両を社会的導入することも想定ができる。そうした際に、利便性の観点で運転者が、正常に手動運転ができる場合に限り、該当車両を用いてより高速走行に車両の利用を拡張することも想定される。その際に、本技術は運転者能力判定を行うための有効な機能である。なお、この特殊な利用形態は、通常利用形態の車両における緊急退避モードとは異なる利用形態である。

自動運転が全速度域で安全に走行できる車両は高価な装備が必要となるが、低速のろのろ運転程度に機能を限るのであれば、より安価が装備で実現可能となる。本技術は、例えば、地方過疎地などの移動弱者の軽自動車の代用利用などが可能となる特殊な利用形態に適用してもよい。

車両制御システム１１においては、運転モードとして、いわゆる自動化レベル４以上に該当する無人での通常走行が可能な自動運転モード、自動化レベル３に相当する運転者が適宜、復帰介在可能な自動運転モード、主に運転者が主導的な制御判断に携わる自動化レベル２以下の手動運転モード、および、緊急退避モード等が設定されている。

自動運転モードは、運転支援制御部１５３による運転支援により実現されるモードである。

手動運転モードは、運転者が主体で運転を行うモードである。緊急退避モードは、緊急時に所定の場所に車両を退避させるモードである。

緊急退避モードは、例えば、手動運転（手動運転モード）時において、運転者が病気や怪我などで運転できない場合、自動運転（自動運転モード）から手動運転への切り替えの際に運転者の覚醒が確認できない場合、等に用いられる。

本明細書では、移動速度の優先度を下げて移動を行う手段として緊急退避モードを定義しているが、運転者が自動運転を、利用注意での手動引き継ぎができない事で、緊急時の対策として退避帯に緊急退避モードにしてもよい。本明細書の内容では、退避帯に対する際の緊急退避モードと、公共交通手段を有しない僻地居住者で移動貧困者が緊急時に病院等へ移動する確保する手段として用いる際の移動優先（安全極低速でもよいが移動を可能とする）手段とで区別をしていない。

運転モード切り替え制御部１５４は、通信部２７を介して取得するLDM、その最新更新情報、天候、路面状況、および交通情報等に基づいて、LDMおよび交通情報などの確認頻度を変更する。

また、運転モード切り替え制御部１５４は、自動運転モードから手動運転モードへの切り替えの必要性（すなわち、手動復帰の必要性）を監視し、その必要性がある場合、自動運転モードで走行中、運転者に手動運転復帰を要求通知または警告通知をする。このとき、運転者の検出状態に応じて、運転モード切り替え制御部１５４は、切り替え判定部１５５に切り替え判定を行わせる。運転モード切り替え制御部１５４は、切り替え判定部１５５による判定結果に基づいて、自動運転モードから手動運転モードへの切り替え処理を実行する。

なお、通知は、緊急引き継ぎを要しない状況なら、運転モード切り替え制御部１５４が運転者の通知周知を確実に判別する必要は必ずしもない。例えば自動運転で１時間程度継続走行した後に復帰が必要なケースでは、状況変化を検出した段階では運転モード切り替え制御部１５４が運転者に単純に通知のみを早期に行う程度でもよく、必ずしも運転者に通知内容を正確に認知したか、その通知の周知確認を取らなくても良い。ところが、緊急の引き継ぎが数分後に差し迫っている状況では、通知の聞き逃しは致命傷になり兼ねない。そこで、運転者の確実な認知のために周知確認が必要となる。

ただし、図示しない最適通知タイミング推定器より、予測されるタイミングまでに周知がされる事が望ましい。そこで、引継ぎ地点到達の例えば１０分前が最適通知タイミングとして推定された場合、その通知と周知確認を実行し、運転者の通知の周知が検出されない場合は、さらにアラームとしての警告通知を行ってもよい。

切り替え判定部１５５は、運転モード切り替え制御部１５４の制御の下、運転状態検出部１４２による運転者の反応性および覚醒度の検出結果に基づいて、自動運転モードから手動運転モードへ切り替え判定を行う。切り替え判定部１５５による切り替え判定については、図３を参照して後述する。

通知制御部１２４は、表示部２９、音声出力部３０、および発光部３１を制御し、運転者への各種の情報の通知、警告、または注意喚起等を行う。また、通知制御部１２４は、例えば、車載装置制御部３４より制御されるアクチュエータ等を用いて、運転者への各種の情報の通知、警告、または注意喚起等を行ってもよい。

運転者通知は、検出された運転者復帰行動記録、アクチュエータによるランブルストリップス路面走行を模した着座振動やハンドル振動、パネル情報表示、悪臭、背もたれを上げたり、着座位置移動など様々な運転者が不快に感じる要因の発生源であっても良い。

ログ生成部１２５は、検出された運転者復帰行動記録、車両において発生した各種のイベントを記録、自車の引き継ぎ時の周辺通知に対する応答、近傍車両またはインフラとの車車・路車通信に対するログの生成および更新を行う。ログ生成部１２５は、生成したログを記憶部３５に記憶させ、適宜更新する。

学習部１２６は、運転挙動分析部１４１により分析された運転者の運転挙動（例えば、運転に対する操作、復帰シーケンス、復帰の振る舞いなど、運転者固有の特徴や特性）を学習し、学習結果を記憶する。

運転者挙動分析は、さらに走行環境の依存等を加味して、逆光時や夜間や積雪時路面など状況別応答を考慮した個人の復帰特性を学習記録してもよい。通常、運転者は自分の復帰特性を把握しているので、システム学習推奨値より安全をとるために、運転者による早期通知のオフセット設定を行う仕組みが有ってもよい。

そして、慎重な運転者であれば、車両制御システム１１が学習により推奨値として提示するタイミングより、安全面を重視して、車両制御システム１１が提示したタイミングよりも早期の通知を好む利用者がいる事も想定される。その対策としては、通知タイミングを運転者が好みで早める、いわゆる早期通知のオフセット設定を行う仕組みが有ってもよい。

ただし、通知タイミングを早めさせるのではなく、より遅くした設定をする事で、復帰が間に合わないケースが発生するのは望ましくない。運転者の復帰が間に合わずに結果的に遅れる事態が僅かでも発生するようになると、車両は緊急停車をする頻度を上がり、スムーズな交通を前提とする交通インフラに渋滞を誘発するという問題をはらむため、望ましくない利用形態となる。したがって、利用者が希望に応じて変更できるのは通知タイミングを早える設定のみとするべきである。

他方では、運転者自身が早期に復帰を意識して、車両制御システム１１が学習して通知するタイミングより早く復帰準備が整う場合には、車両制御システム１１による煩わしい通知や警報が発布する前に、事前に運転者による早期通知の取り消しをできる仕組みをあわせもってもよい。

この通知キャンセルは、目覚まし時計で例えるなら、なる前に止めるのと等しい。しかしながら、余りに早期に止める事で油断をして二度寝の様な事態が発生すると危険であるため、早期通知のキャンセルはその後に運転者の復帰推移を検出する手段があり、手動運転の復帰手順に遅れがある場合に復帰催促する仕組みがある際に利用を限定してもよい。

＜切り替え判定部の構成例＞
図３は、切り替え判定部の構成例を示す図である。

切り替え判定部１５５は、ジェスチャー認識切り替え判定部２０１、サッケード情報切り替え判定部２０２、音声認識切り替え判定部２０３、およびアクティブ反応応答検出切り替え判定部２０４を含むように構成される。

このような構成を有する切り替え判定部１５５においては、各情報に基づく判定が複数の段階的に行われ、それぞれの判定結果に基づき、運転モードを、自動運転モードから手動運転モードに切り替えることができるか否かが最終的に判定される。

階層的に判定をする事でより確実な判定を行うことができる。本実施例では上記の認識に限定して説明するが、さらに引継ぎの必要性の有無に関わらず、常時運転者の状態モニタリングをしてその情報に基づいて、通知・警報発報し、動的姿勢の行動解析を行ってから、本明細書の手順を追加させてもよい。

・ジェスチャー動作の認識に基づく反応性および覚醒度の検出
ジェスチャー認識切り替え判定部２０１は、ジェスチャー動作を認識して運転者の反応性および覚醒度を検出することを運転状態検出部１４２に行わせる。

ジェスチャー認識切り替え判定部２０１は、運転状態検出部１４２による引き継ぎ通知後の所定の周知確認動作の検出結果に基づいて運転者の復帰内部状態を判定することで、運転モードを、自動運転モードから手動運転モードに切り替えることができるか否かを判定する。

本実施例では単純な指さしを所定の周知動作を例としているが、反復動作などより運転者の知能的判断を要する動作として周知確度を上げる動作であってもよい。

ここで、復帰内部状態は、運転者の意識の状態である。復帰内部状態の判定は、運転者の意識が覚醒しているか否かを判定することに相当する。

特に、前方を見ての指さし動作では運転者が前方を見た視覚情報に基づき、その視線範囲に手と指先を振り向ける脳内判断のフィードバックが働かないと正確な指差し動作を行うことが困難である。またその動作のふらつきや正確度には、運転者の内部意識状態が反映されるため、脳内覚醒状態のアクティブ反応（後述）を見ることもできる。

自動運転が行われている間、運転者は、２次タスクとして、運転以外の作業や行動（仮眠を含む）を行うことができる。しかしながら、自動運転モードから手動運転モードへの切り替えの必要性がある場合、運転者は、２次タスクをやめて、自身の復帰内部状態を、１次タスクとしての運転タスクを行うことができる状態にしなければならない。

なお、本明細書にて詳述はしないが、特に仮眠などの運転意識状態から完全に離脱をしているかはパッシブ方式で運転者状態観測を継続的に行い、必要がタイミングで運転者を復帰させるための覚醒通知（アラーム等）を行う。本技術は、この通知後の運転者状態で運転者が、外見的復帰ができた際に、車両制御システム１１が、運転者の通知に対する周知確認と覚醒度判断が目的を行う処理である。

運転者の復帰内部状態が運転タスクを行うことができる状態にあるか否かの判定は、例えば、運転者が、一旦目が覚めて仮眠から起き上がったときに、運転者の車両前方を見ながらの指差し合図確認を検出することにより行われる。指差し合図確認を正常にふらつきなく検出することができた場合、運転者の復帰内部状態が運転タスクを行うことができる状態にあると判定され、検出することができない場合、運転者の復帰内部状態が運転タスクを行うことができる状態にないと判定される。なお、姿勢が安定せずに検出が正しく行われない場合には再実行でリトライ処理等を行ってもよい。

指差し合図確認は、例えば、電車や乗り合いバスの車掌が行うような、片方の腕を確認対象となる方角に向け、その挙げた腕の指で確認したい事象の方向を指す動作である。

本実施例では該当の指差し合図を、運転者が引き継ぎ通知を受けて先ずは規定確認手順として、車両が進んだ場合の直近事象として車輛前方の確認をする想定で、片方の腕を略水平になる位置に上げ進行方向前方を確認する。

以下、適宜、車両前方を見ながらの指差し合図確認を、前方指合図確認という。

運転状態検出部１４２は、運転者が行う前方指合図確認を所定のジェスチャー動作として検出する。運転状態検出部１４２は、検出されたジェスチャー動作において、運転者が確認する車両前方、運転者の利き目または両目の位置、および、指差しの位置を含む平面の位置関係があるか否かを、運転者撮影部１０１の３次元センサと２次元センサからの情報の組み合わせで算出して判定する。これにより、運転状態検出部１４２は、運転者が前方を指差したことを正しく検出・認知し、運転者の反応性および覚醒度の検出を行う。

なお、ジェスチャー動作には、運転者個人の癖や若さなどの影響が加わることが多い。運転状態検出部１４２は、運転挙動分析部１４１による運転者の運転挙動の分析結果や、その分析結果を用いた学習部１２６による学習結果等なども踏まえて、前方指合図確認の検出を行う。

このように、運転状態検出部１４２は、運転者画像、運転者の生体情報、視線の検出結果、運転者の運転挙動の分析結果、運転者の認証結果、および、学習部１２６による学習結果等に基づいてジェスチャー動作を検出することで、運転者状態を検出する。

また、ジェスチャー認識切り替え判定部２０１においては、２次タスク時の運転者の着座有無に応じて、さらに、運転者の姿勢が運転できるところに復帰されるまでのシーケンスをトラッキング検出する動作である、運転姿勢復帰シーケンストラッキング検出を行ってもよい。その過程を含めて、運転者の眼球挙動解析を行うことで、運転者の反応性および覚醒度の検出をさらに行い、運転者の手動運転の復帰能力が回復しているかどうかを判定してもよい。

運転者の前方指合図確認は、視線、利き目または両目の位置、指先の位置、車両前方の道路、３次元ToFセンサなどの姿勢トラッキング装置など複合的に用いて動作判定してもよい。さらに、指先位置判定から、動作正確度判定をさらに行ってもよい。

このように、運転者の前方指合図確認は、運転者が実際に車両前方を見て、さらに、車両前方を指差すという、運転者の脳内の判断行動を伴う。このように、所定の動作ジェスチャーを実行するように求めることで、運転者が、前方指合図確認をどこまで忠実に表現できるのか等の身体的能力も合わせて確認することができる。特に、以下に説明する通り、多段階の運転者状態の推移観測を行う事で、他の手段と組み合わせる事で手動運転の正常引き継ぎが実行できたか判別が可能であり、その正常な引き継ぎの際の指差しジェスチャー推移を正常とする教師データと判定する仕組みを取れることから、人為的に正常推移のデータを選定判別して準備を行わなくともよい。

・サッケード情報に基づく反応性および覚醒度の検出
サッケード情報切り替え判定部２０２は、運転者の眼球サッケード挙動解析、マイクロサッケード挙動解析、固視微動やドリフトといった一連の脳内知覚活動に反射して連動した動作の解析を行って運転者の反応性および覚醒度を検出することを運転状態検出部１４２に行わせる。

ここで、特定の運転者の脳内判断行動を検出するために、その反射応答特性には、運転者個人の時間的に変動し得る視力や危険有無等の脳内の反射的活性反応により挙動が変化する。そのため、運転者認証を行った固持特性学習に基づいた学習して挙動特性に応じて判定を行う事で、より正確判断が可能となる。

サッケード情報切り替え判定部２０２は、運転状態検出部１４２による検出結果に基づいて運転者の復帰内部状態を判定することで、運転モードを、自動運転モードから手動運転モードに切り替えることができるか否か、また、覚醒途中の状況を判定する。

・音声認識に基づく反応性および覚醒度の検出
音声認識切り替え判定部２０３は、運転者の音声による応答を元に、運転者に判断認識させて、運転者の反応性および覚醒度を検出することを運転状態検出部１４２に行わせる。

例えば、運転者が考えないと応答できないような質問が音声によって提示され、質問に対する応答が運転状態検出部１４２により検出される。運転状態検出部１４２は、運転者が質問に対して応答できるか否かに基づいて、運転者の反応性および覚醒度を検出する。例えば、運転者が正しく応答できた場合、運転者の反応性および覚醒度が良好であるとして検出される。

また、間違って応答した場合は、覚醒復帰途中と判定ができ、引継ぎ点までに時間的猶予があれば再トライを実行もできる。しかしながら、一切の応答がない場合は引継ぎリスクが増すために、LDM情報等を元に判断し、特に道路環境が悪化する様な区間の走行なら後述するように早期の緊急退避モードに早々と移行してもよい。

音声認識切り替え判定部２０３は、運転状態検出部１４２による検出結果に基づいて運転者の復帰内部状態を判定することで、運転モードを、自動運転モードから手動運転モードに切り替えることができるか否かを判定する。

・アクティブ反応応答検出に基づく反応性および覚醒度の検出
アクティブ反応応答検出切り替え判定部２０４は、アクティブ反応に対する運転者の応答に基づいて運転者の反応性および覚醒度を検出することを運転状態検出部１４２に行わせる。

ここで、アクティブ反応は、ノイズとなるトルクをステアリングに与えることによって操舵ズレを起こさせ、正常な走行から逸脱する走行（以下、ノイズ走行と称する）を意図的に発生させることをいう。例えば、ノイズ走行には、車線に沿った進行方向に対して車両を車線に略進行方向に保ったまま、略直角方向などの、ずれた方向へ車両を移動させる走行、車線を横切る方向を変えた横移動、または急加減速を意図的に与える走行がある。車両が横風を受ける場合、方向を変えずに横に小量ずれた方向へ車両が移動される。

アクティブ反応応答は、このようなノイズ走行に対して、操舵を是正するためのトルクを運転者が判断し、付加させたり、アクセルやブレーキを踏んだりするなどの、アクティブな走行ノイズ入力に対する運転者の応答となる。運転状態検出部１４２は、このような、印加ノイズを打ち消す応答を運転者が正しく実施できていること等を検出する。

運転者が行う操舵は、ステアリング、アクセル、ブレーキなどの走行操作機器を用いて入力される。走行制御部３３は、走行操作機器を用いて運転者により入力される操作に応じて、操舵を是正するなどの制御を行う。

ここで、運転者の反応性および覚醒度の検出方法には、例えば、パッシブモニタリングとアクティブモニタリングがある。

パッシブモニタリングは、運転者の状態を受動的に観察することにより、運転者の反応性および覚醒度を検出する方法である。一方、アクティブモニタリングは、視覚、聴覚、触覚等による刺激や指示等を運転者に与え、与えた刺激や指示等に対する運転者の応答を観察することにより、運転者の反応性および覚醒度を検出する方法である。

例えば、運転者が寝ていたり、２次タスク実行中で、復帰を急がせる必要が無い状況下でいたりする場合、運転者の煩わさないで済むようにパッシブモニタリングにより検出をしてもよい。また、赤外光やその他の電磁波信号照射などして、反射応答信号の解析から状態検出する準パッシブモニタリングをしても良い。ただし、これら完全はパッシブ方式や準パッシブ方式では運転者の応答反応を直接観測するわけでは無く、検出結果の確実性が乏しい。

準パッシブ方式については、本来はアクティブ方式の状態観測手段に該当するが、本明細書では以下に記述する運転者の入力に対する応答、アクティブ方式と区別するために準パッシブモニタリングと記述する。

このように、反応性および覚醒度をパッシブモニタリングにより検出することが困難な場合や検出精度を高めるために反応特性をみるアクティブモニタリングが用いられる。

アクティブ反応応答検出切り替え判定部２０４は、運転状態検出部１４２による検出結果に基づいて運転者の復帰内部状態を判定することで、運転モードを、自動運転モードから手動運転モードに切り替えることができるか否かを判定する。

なお、運転者の確実な引き継ぎを確認して安全を確保するためには、正常な走行を行うための操舵を行う状態に運転者が復帰し、その操舵力や操舵量が適切になされたことまでを確認することが望ましい。

具体的には、アクティブ反応応答検出切り替え判定部２０４は、運転者のロコモーティブ（本明細書においては、ロコモーティブという用語をアクセルやブレーキの操舵能力に拡張してあてはめて用いられる）能力やハンドル操舵能力を確認する。

さらに、アクティブ反応応答検出切り替え判定部２０４は、知覚判断に応じて適切な量だけ操舵が行われたかを確認する。

車両制御システム１１は、自動運転を行うための各種センシング装置を装備した車両に搭載されるものである。したがって、道路の状況や走行環境に応じて好ましい操舵条件がある。走行レーンを横切る様な走行や不必要な加減速を、車両制御システム１１が意図的に行った場合に、そのような逸脱を是正する操舵（アクティブ操舵反応）が運転者によりなされるのであれば、運転者が、状況把握を正常に行い、手動運転に必要な認知と体力的な操舵能力を有していると推定できる。

本技術においては、自動運転から手動運転への引継ぎの際の確認手順では、例えば、寝ているなど直接反応が観測されない段階では運転者を煩わせることなく運転者のパッシブモニタリングが行われた後に、通知タイミングを超えてすぐ、上述したようなアクティブモニタリングが行われる。正常な走行に対して僅かに逸脱する動作を車両制御システム１１が意図的に起こさせることにより、運転者の認知能力と筋力的能力の復帰を確認することができる。

切り替え判定部１５５においては、このように複数の情報が用いられて、運転者の復帰内部状態（覚醒しているか否か、またはその度合い）が判定される。また、切り替え判定部１５５においては、切り替え判定の最終段階の判定として、アクティブ反応応答検出による切り替え判定が行われる。

これら多段階の運転者覚醒状態判別を行うことにより、運転モードを、より確実に、より安全に、自動運転モードから手動運転モードに切り替えることが可能になる。そして、この引き継ぎ動作が同一の運転者により繰り返し実行され続けることで正常な引き継ぎの際の教師データと失敗の際の教師データも自己整合的に収集され、利用に頻度に応じて検出精度の向上が図られる。

＜アクティブ反応応答検出による切り替え判定の詳細＞
ここで、アクティブ反応応答検出に基づく反応性および覚醒度の検出の詳細について説明する。

アクティブ反応応答検出は、車両制御システム１１側でオフセットを敢えて加えることで理想的操舵状況から逸脱した走行制御を行ってもよいが、より軽度の煩わしさや不快を与えない程度のノイズ走行を加えてもよく、それを運転者が補正するか、しないか、あるいは、補正が正常時より遅れているか等の運転者の応答をモニタリングすることにより行われる。

すなわち、アクティブ反応応答検出は、運転者に違和感や不快感を与える程度の蛇行運転や加減速を行い、その揺らぎに対して運転者が正常な走行を行うかをモニタリングすることにより行われる。

ここで、蛇行運転することは、後続車に対して、自車である前走車が、自動運転から手動運転に引き継ぎができていないことを知らせる役割も果たす。また、後続車が自車に接近すると急に走行が乱れたり、引き継ぎができないために緊急退避モードに移行して減速したりする可能性を後続車に示唆する役割を果たす。

例えば、車両の横ずれに任せている場合（補正のための操舵が行われない場合）、運転者が操舵に介在していないことが疑われる。走行制御部３３は、蛇行運転に続き、後続車の接近を監視しながら追突されるリスクを回避する制御を行う。また、走行制御部３３は、滑らかな減速ではなく、運転者が若干不快を感じる程度の減速とその制動のリリースを繰り返し、運転者を前後にゆする制御を行う。

これに対して、運転者はその減速を避けるために加速スロットル制御（緊急の減速や停車を避けるためのペダル操作）を行う。運転状態検出部１４２は、運転者の加速スロットル制御をモニタリングし、減速せずにスムーズに走行がなされれば、正常とみなすことになる。

なお、アクセルペダルを踏んで減速を補う際、その咄嗟のアクセルペダルの操作を、運転者が未覚醒の夢見状態で行うリスクがある。

したがって、アクセルペダルによる加速を有効に機能させることを、所定の意識判定の後に行うようにしてもよい。この場合、例えば、前方に表示する緑ランプの点灯タイミングにあわせて踏み込み操作をさせたり、踏み込みと踏み外しを特定のパターンで繰り返させたりすることで意識判定が行われる。このような意識判定に基づいて、運転者の意識が正常であることが確認できた場合、それ以降、通常どおりのペダル操作量に応じた線形的な応答制御を開始するようにしてもよい。

このようなアクティブ反応応答検出について具体的に説明する。なお、以下においてアクティブ反応とは、運転者に何からの能動的作用を与えてその反応を見る手法を用いた運手者の応答反応検出を示すこととする。

図４には、緩やかなＳ字状のカーブを有する道路２５１が示されている。道路２５１の略中央を通る破線が、理想的な走行経路を表す。この理想的な走行経路を走行するためのハンドル操作を想定ハンドル操作とする。

アクティブ反応応答検出においては、想定ハンドル操作とは異なる微小なオフセットを加えることにより、そのオフセットを補正するための操舵を、運転者が違和感を抱かないレベルで繰り返させる。図４の破線矢印２５２は、加えられるオフセットを表す。

車線に対して左右に進路を振るなどのオフセットを繰り返し加えることにより、運転者の状態の判定を精度よく行うことができる。

・変形例１
左右に車両進路を振るような種類のオフセットを加えることに限らず、前方車との車間距離を予想以上伸ばすことをアクティブ反応として与えるようにしてもよい。アクティブ反応応答検出においては、それに対し、補正のために、運転者がアクセルを踏む動作を取るか否かが評価される。その他、瞬き頻度の検出、目を閉じた状態の検出、頭部の前後へのふらつき検出などにより、運転者の状態が評価されるようにしてもよい。

このように、安全性を確保できる範囲内で、車両に不自然な走行をさせるものであれば、どのような種類の逸脱した走行や感覚のみを与えるだけでもよく、他の種類のアクティブ反応として与えられるようにしてもよい。

・変形例２
例えば、走行制御部３３は、ステアリングの操作が行われていない場合に、車輪の方向を変化させたり、ステアリングを回転させずに車輪の左右アンバランスの制動負荷を加えたりすることで、所定の期間、車両を蛇行させる。この場合、運転状態検出部１４２は、運転者が蛇行を是正するようにステアリングを操作するか否か、および、反応速度等に基づいて、運転者の反応性および覚醒度を検出する。

なお、車両を蛇行させる量は、運転者が無意識のうちに蛇行を是正できる範囲内の量であることが望ましい。

・変形例３
車載装置制御部３４は、車両が正常に走行している場合に、車両が蛇行する場合に相当する回転負荷をステアリングに疑似的に加える。この場合、運転状態検出部１４２は、運転者が回転を止めるようにステアリングを操作するか否か、および、反応速度等に基づいて、運転者の反応性および覚醒度を検出する。

・変形例４
運転者が反応しないために蛇行運転が継続している場合、運転者の反応性または覚醒度の低下等により異常が発生していることを、通信部２７等を介して、後続車などの外部に通知するようにしてもよい。

・変形例５
走行制御部３３は、所定の期間、車線から僅かに逸脱させる方向に車両の進行方向を変更する。運転者が前方に正常な注意を向けている場合、車両の方向を補正するように操舵を行うことが期待される。ただし、車両の進行方向が無条件に変更すると、周辺車両との位置関係によっては危険な状態が発生する可能性がある。また、後続車が追尾走行を行っている可能性がある。

したがって、反応性および覚醒度を運転者の応答に基づいて検出することは、周辺車両の状態や運転者の心理的影響等の条件を総合的に判断して、周辺車両に悪影響を与えない範囲で実施されることが望ましい。

・変形例６
運転支援制御部１５３は、ACCが有効である場合、通常時と比べて、先行車との車間距離を長く設定する。この場合、運転状態検出部１４２は、車間距離を通常時の長さに戻すようにアクセルペダルを操作するか否か、および、反応速度に基づいて、運転者の反応性および覚醒度を検出する。

・変形例７
走行制御部３３は、ステアリングの操舵量に対して、車両の進行方向の変化量を通常より大きくまたは小さくする。この場合、運転状態検出部１４２は、進行方向を所望の方向に調整するようにステアリングを操作するか否か、および、反応速度に基づいて、運転者の反応性および覚醒度を検出する。

なお、通常時の変化量と、この場合の車両の進行方向の変化量との差は、運転者が無意識のうちに進行方向を是正できる範囲内の量であることが望ましい。

また、上記例では実際に車両を左右方角へ移動させる制御を加えた上で運転者の応答反応を見ているが、変形例として、アクティブ応答反応の確認のために、車両の制御には直接的ノイズを加えず、ステアリングへの擬似的回転トルクを付加させたり、ＶＲを用いて錯覚による誘導を行ってもよい。さらに音声等による特定のトルク応答要求に対して運転者がステアリング回転操舵やステアリング前後押引きなどの規定動作を行って応答確認をしたりしてもよい。

・変形例８
走行制御部３３は、アクセルペダルの踏み込み量に対して、車両の加速度を通常より大きくまたは小さくする。この場合、運転状態検出部１４２は、車両の速度を所望の速度に調整するようにアクセルペダルを操作するか否か、および、反応速度に基づいて、運転者の反応性および覚醒度を検出する。

なお、通常時の加速度と、この場合の車両の加速度との差は、運転者が無意識のうちに加速度を是正できる範囲内であることが望ましい。

・変形例９
走行制御部３３は、ブレーキペダルの踏み込み量に対して、車両の減速度を通常より大きくまたは小さくする。この場合、運転状態検出部１４２は、車両の速度を所望の速度に調整するようにブレーキペダルを操作するか否か、および、反応速度に基づいて、運転者の反応性および覚醒度を検出する。

なお、通常時の減速度と、この場合の車両の減速度との差は、運転者が無意識のうちに減速度を是正できる範囲内であることが望ましい。

・変形例１０
自動運転が行われていることによって運転者が運転に介在する必要がない場合、運転者は携帯端末１２（情報処理装置）を操作することができる。

運転者が携帯端末１２を操作しているとき、運転状態検出部１４２は、通信部２７を介して、運転者への指示を示すサブウインドウを携帯端末１２の画面に表示させる。そして、運転状態検出部１４２は、その指示に対する運転者の正常な反応の有無、および、反応速度等に基づいて、運転者の反応性および覚醒度を検出する。

・効果
例えば、運転者が前方を見ているが、考え事等により運転に対する意識が低下している場合、パッシブモニタリングだけでは、運転者の反応性および覚醒度を検出することが困難なときがある。アクティブモニタリングを用い、以上のようにしてアクティブ反応応答検出による切り替え判定を行うことにより、運転者の反応性および覚醒度の検出精度を向上させることが可能になる。

＜自動化レベルの例＞
図５は、自動化レベルの例を示している。ここでは、SAE（Society of Automotive Engineers）により定義された自動化レベルの例を示している。なお本明細書では、便宜的にSAEで定義された自動運転のレベルを参照して用いているが、いざ自動運転が広く用いられた場合の課題や妥当性が業界で検討し尽くされてなく、必ずしも定義通りの解釈で用いていない。また、利用形態は本明細書に記載されている内容を保証する利用形態とは限らない。

自動化レベルは、レベル０からレベル４までの５段階に分かれる。

自動化レベル０は、”運転自動化なし”と称される。自動化レベル０では、運転者が全ての運転タスクを実施する。

自動化レベル１は、”運転者支援”と称される。自動化レベル１では、自動運転を行うシステム（以下、単にシステムと称する）が前後および左右のいずれかの車両制御に係る運転タスクのサブタスクを実施する。

自動化レベル２は、”部分運転自動化”と称される。自動化レベル２では、システムが例えば、前後および左右の両方の車両制御に係る限定された運転タスクのサブタスクを実施する。

自動化レベル３は、”条件付運転自動化”と称される。自動化レベル３では、システムが、限られた領域内で全ての運転タスクを実施する。この自動化レベルで実際にどの程度の２次タスクが実行可能か明確にされていない。運転者は、車両の走行中に、運転以外の作業や行動、例えば、携帯端末１２の操作、電話会議、ビデオ鑑賞、ゲーム、思考、他の搭乗者との会話等の２次タスクを行うことができると考えられるが、安全性の面で課題が多い。

つまり、この自動化レベル３の定義の範囲では、システムの障害や走行環境の悪化等による予備対応時（フォールバック中）に、システムの要求等に対して、運転者が運転操作を行う等の対応を適切に行うことが期待される。言い方を変えると、この間は、運転者は復帰の準スタンバイ状態にいる必要がある。

自動化レベル４は、”高度運転自動化”と称される。自動化レベル４では、システムが、限られた領域内で全ての運転タスクを実施する。また、予備対応時（フォールバック中）に、運転者が運転操作を行う等の対応を行うことは期待されない。したがって、運転者は、例えば、車両の走行中に、本当の意味での2次タスクが可能となり、状況次第では、仮眠をとることも可能である。

したがって、自動化レベル０乃至自動化レベル２では、運転者が全て或いは一部の運転タスクを実施し、安全運転に係る監視、対応主体は運転者となる。この３つの自動化レベルでは、運転者は必要に応じて常に運転に復帰できる能力が求められる。したがって、走行時の注意低下や前方注意を損なう、運転以外の２次タスクに運転者が従事することは、許容されていない。

一方、自動化レベル３および自動化レベル４では、システムが全ての運転タスクを実施し、安全運転に係る監視、対応主体はシステムとなる。ただし、自動化レベル３では、運転者が運転操作を行う必要が生じる場合がある。また、走行ルートの一部に自動化レベル３および自動化レベル４を適用できない区間が存在する場合があり、そのような区間では、自動化レベル２以下に設定され、運転者が運転に介在する必要がある。

なお、自動運転の際に、２次タスクを許容した場合に、運転者の覚醒度の把握が困難であることから、法規的にも２次タスクの実行が禁止のままで議論の進捗が停滞している。しかしながら、上述した前方指合図確認（ジェスチャー認識）やアクティブ反応応答検出では、極めて有効な運転者復帰能力確認となるため、２次タスク実行が許容される目途が十分に期待できる。

自動車メーカーにとって自動運転の最大の利点である自動運転中の２次タスクを実行しても、必要なタイミングで通知確認を行うことで、安全が担保される仕組みを構築できるため、大きな期待がもてる。

＜運転モードの切り替え＞
なお、以下、運転者が何らかの形で介在して直接的に車両の運転へ影響を及ぼす必要がある運転を「手動（マニュアル）運転」と称する。したがって、自動化レベル０乃至自動化レベル２では、手動運転が行われる。図６に示されるように、自動化レベル０乃至自動化レベル２での運転モードを、手動運転モードと称する。

一方、以下、運転者の介在を全く必要としない運転を、自律自動運転（自動運転）と称する。したがって、自動化レベル３および自動化レベル４では、基本的に自動運転が行われる。ただし、自動化レベル３では、システムの要求に応じて、手動運転を行う必要が生じる場合がある。すなわち、自動化レベル３では、運転者の運転操作の離脱が限定的である必要があるため、注意下での自動運転が行われる。よって、自動化レベル４での運転モードを、自動運転モードと称し、自動化レベル３での運転モードを、注意下自動運転モードと称する。

なお、本技術の骨格において、注意下での自動運転として定義されているレベル３の自動運転の利用は、長時間継続利用の運転モードとして、人間工学的に見て適さないという考えに基づいている。したがって、レベル３の自動運転は、運転者は運転操舵に直接は介在ができないにも関わらず、且つ完全な２次タスクに没頭もできずのどっちつかずの状態を継続しなくてはいけないため、利用形態によってはとても苦痛となる走行区間と言える。

無論、短期に運転復帰できる２次タスクに限定する事はできるが、実用的な視点で運転者にレベル３での利用の制限を法的に掛ける事はできるとしても、人間の生体的特性から単調な状況が続いた場合に無意識のうちに眠くなったり、２次タスクに知らずの内に没頭してしまったりすることがある。

つまり、注意下での自動運転となるレベル３の自動運転モードは、継続的な長期利用を想定したモードではない。レベル３の自動運転モードは、自律自動運転のまま区間通過が難しいかリスクを伴う場合に、運転者を短期的にバックアップとして復帰待機させる利用と、自動運転モード４から切り替えの際の緩衝区間に用いる利用に限定された自動運転モードである。ただし、携帯端末器の操作などで、運転者がタブレットの画面閲覧などを通じて常に運転への覚醒復帰の意識接続を維持する手段と併用する利用等に限れば、定常利用を行ってもよい。

緩衝区間に用いる利用は、自動運転モード４から急激に手動運転モードへ復帰させるには、覚醒復帰の確かさを確認が不十分となるために危険を伴うので、その切り替えの際の緩衝区間を通過するために備える自動運転モードという考えに基づいている。

この緩衝区間のモードを的確に備え実行するシステムの技術を提供することで、手動運転復帰が必要な際に、引き継ぎ失敗車両が多発して道路インフラ環境での引き継ぎ失敗車両による渋滞発生などを回避し、健全な道路インフラ環境を担保する狙いがある。

ここで、本技術においては、ジェスチャー認識、サッケード情報、アクティブ反応応答検出、または音声認識を用いた運転者の反応度および覚醒度の検出に応じて、自動運転モードから手動運転モードへの切り替えの可否が判定され、適宜、実行される。

この自動運転モードから手動運転モードへの切り替えには、図６の白抜き矢印＃１に示されるように、自動化レベル４の自動運転モードから、運転者の運転操作が少しでも介在する意味を含めて、自動化レベル３の注意下自動運転モードへの切り替えも含まれる。

自動運転モードから手動運転モードへの切り替えには、図６の白抜き矢印＃２に示されるように、自動化レベル３の注意下自動運転モードから、自動化レベル０，１，２の手動運転モードへの切り替えも含まれる。

自動運転モードから手動運転モードへの切り替えには、図６の白抜き矢印＃３に示されるように、自動化レベル４の自動運転モードから、自動化レベル０，１，２の手動運転モードへの切り替えも含まれる。

基本的にこの間のモード遷移は、自動化レベル４での運転者の手動運転への復帰能力が担保されている場合に限定されるため、切り替え直前まで運転者の能動的な操舵能力は、観測（判定）されていない。したがって、切り替えが可能な状況は、直線の危険を全く伴わない安全が担保された道路で且つLKASやACCなどの運転者の万が一の操舵能力不全に対して残存ADAS機能で運転者引き継ぎ不全に対処が可能な場合に限る。または、運転者のリクエストに応じ、運転者の手動運転能力判定を実行した上で初めて引き継ぎを完結し、不確実な操舵検出段階で操舵介在による制御を委ねると、寝ぼけた状態の運転者による操作で事故を誘発することも想定される。

そのため、車両の制御を司る車両制御部２８は、走行中に自動から手動への切り替えが必要な区間に侵入するのに先立ち、自動化レベル３の区間設定をし、その間に運転者の復帰能力判定を進め、走行可能自動化レベルが最大でもレベル２以下の区間侵入に備える。

白抜き矢印＃１，＃２，＃３の切り替えの際に、運転者の反応度および覚醒度を検出することができない場合、運転モードは、太線矢印＃１１，＃１２，＃１３に示されるように、緊急退避モードに移行される。なお、自動化レベル０，１，２の手動運転モードからは、体調変化などの緊急時にも、この緊急退避モードに移行される。

なお、本明細書において、緊急退避モードの詳述はしないが、実際には、２つの機能を有している。１つ目の機能は、通常の走行を行っている車両で運転者の覚醒度合いや体調の急変等で想定される通常走行の継続や引き継ぎが困難となった場合に、車両を安全な退避場所まで緊急退避走行をさせる機能である。

２つ目の機能は、そもそも運転能力が低下している交通手段貧困地で緊急に病院等へ移動する手段として、運転者による操舵能力がない状態でも移動手段を確保する機能である。特に、２つ目の機能は、移動速度自体の優先度を下げた機能であり、遠隔支援や先導車両の走行支援等を組み合せての移動確保が目的となる自動運転の走行モードの１つとなる。

図６の実線矢印＃２１，＃２２に示されるように、自動化レベル０，１，２の手動運転モードから、自動化レベル３の注意下自動運転モードや、自動化レベル４の自動運転モードへの切り替えは、走行設定された車輛がその後進む道路のLDMや天候、事象発生情報、運転者による必要時の復帰可能性情報などに応じ、運転者によるリクエストのもと、実行可否判定が行われる。

特に、実線矢印＃２１では、手動運転中の車両から運転者の周知外での自動運転復帰が行われると、車両利用時に無意識のうちに自動運転利用の発生と誤解を生むケースが発生する事もある。このケースは、極めて低い確率であったとしても、手動運転モード中の車両で、運転者は、いざ自動運転のつもりで、一瞬２次タスクを行い、気を取られていると危険事態を招くリスクがあるので望ましくない。

なお、図６の破線矢印＃３１，＃３２に示されるように、緊急退避モードから、自動化レベル３または自動化レベル４への移行は、例えば、緊急時の患者の搬送などの特殊ケースのみが対象となる。

利用形態として想定されるユースケースは、緊急車両の到達を待てない乗客が、中間地点の高速道路サービスエリアまでの移動のために、レベル４の自動運転が可能区間で自動運転レベル４を利用した移動などが考えらえる。通常利用者が、引き継ぎ不全で緊急退避モードに遷移した場合は、図示しない復帰不全記録などの所定の手続きを経てのみ復帰をする手順にする。

運転者が、必要な区間において、手動運転に安全かつスムーズに復帰できるようにすることで、自動運転が可能な区間と手動運転が必要な区間が混在したルートを延長することができる。また、運転者の運転操作への介在からの完全な離脱を防ぎ、手動運転に安全かつスムーズに復帰できるようにすることで、走行ルートの主要な区間における自動運転の実施が可能になる。

また、手動運転から自動運転への復帰は運転者の自動運転の復帰周知手順を導入する事で、手動運転中の運転者による安易な「自動運転中」と思い込みから２次タスク実行開始を防ぎ、手動運転モード中の思い込みによる不注意事故のリスク低減をはかることができる。そして、周知後であっても、思い込みをさらに防ぐモード表示や操舵介在離脱の警告を併用してもよい。

＜自動運転制御処理＞
次に、図７乃至図９のフローチャートを参照して、車両制御システム１１により実行される自動運転制御処理について説明する。なお、この処理は、例えば、車両のパワー（イグニッション）スイッチがオンされたときに開始される。

ステップＳ１において、運転者監視部２６は、運転者の認証を行う。具体的には、運転者監視部２６の運転者撮影部１０１は、運転者を撮影する。認証部１０４は、撮影により得られた運転者画像中の運転者の顔を認識する。

また、認証部１０４は、記憶部３５に記憶されている顔画像の中から、運転者の顔と一致する顔画像を検索することにより、運転者を特定する。例えば、記憶部３５には、車両を使うそれぞれのユーザの顔画像と、識別情報などのそれぞれのユーザの情報が紐付けて管理されている。

認証部１０４は、運転者を特定できた場合、認証に成功したと判定し、運転者を特定できなかった場合、認証に失敗したと判定する。認証部１０４は、運転者の認証結果を車両制御部２８に供給する。なお、運転者の認証技術として、その他にも指紋認証、静脈認証、虹彩認証のような他の手段を代わりに用いてもよい。

なお、運転者の認証に失敗した場合、車両の走行が禁止されるようにしてもよい。この場合、運転者が、セキュリティが確保された環境下で所定の操作を行い、新規のユーザ登録を行うことにより、車両の走行が許可されるようにしてもよい。

ただし、運転者の認証を行う主な目的は、認証された運転者の運転操作の特徴と運転者の状態との相関をとり、それに応じて車両を制御したりすることである。したがって、必ずしも、認証結果を車両の走行の許可または禁止の制御に用いる必要はない。これにより、例えば、緊急時等に、未認証の状態での走行を許可することが可能になる。なお、未認証の状態で走行していることを、表示灯や車車間通信等により周囲に通知するようにしてもよい。

ステップＳ２において、ログ生成部１２５は、ログの記録を開始する。

ステップＳ３において、車両制御部２８は、目的地を取得する。具体的には、車両の搭乗者（必ずしも運転者とは限らない）は、入力部２４を介して、目的地を入力する。入力部２４は、取得した目的地を示す情報を車両制御部２８に供給する。

なお、今後、人工知能による音声認識の発達が見込めることから、会話型の目的設定や走行プリフェランス設定を行うようにしてもよい。

ステップＳ４において、車両制御システム１１は、目的にまでの想定ルートおよび区間通過走行に影響を与える該当全区間の天候や事象等と進行に伴う接近区間の周辺情報の取得を開始する。

例えば、周辺撮影部２１は、車両の進行方向および周辺の撮影、並びに、撮影により得られた周辺画像の車両制御部２８への供給を開始する。

周辺情報取得部２２は、ミリ波レーダ、レーザーレーダ、ToFセンサ、ソナー、雨滴センサ、外光センサ、路面状態センサなど車両の周辺の環境および物体等に関する周辺情報の取得、並びに、周辺情報の車両制御部２８への供給を開始する。

車両情報取得部２５は、車両情報の取得、および、車両制御部２８への供給を開始する。

位置測定部２３は、車両の現在位置の測定、および、測定結果の車両制御部２８への供給を開始する。

通信部２７は、ITSスポット（不図示）からのLDM（Local Dynamic Map）の受信、および、LDMの車両制御部２８への供給を開始する。また、通信部２７は、サーバ（不図示）からの地図データ等の受信、および、地図データ等の車両制御部２８への供給を開始する。なお、地図データを記憶部３５に予め記憶しておき、車両制御部２８が、記憶部３５から地図データを取得するようにしてもよい。

さらに、通信部２７は、路側機（不図示）からの各種の交通情報の受信、および、交通情報の車両制御部２８への供給を開始する。特に、通信部２７より直近の更新情報を取得することで、事前取得された地図情報に対して経時変化が起きたリスク変化点の更新を行う事が可能となる。

なお、以下、LDM、地図データ等の、地図に関する情報をまとめて地図情報と称する。

周辺監視部１２１は、周辺撮影部２１からの周辺画像、周辺情報取得部２２からの周辺情報、および、通信部２７からの各種の情報に基づいて、車両の周辺の監視を開始する。

ルート設定部１５１は、周辺監視部１２１から取得した情報、および、車両情報取得部２５から供給される車両情報に含まれる車両の加速度および角速度等に基づいて、車両の現在位置の補正を適宜行う。これにより、例えば、地図情報内の経時変化が反映されていない情報や位置測定部２３の検出・判定誤差等による車両の現在位置の推定誤差が補正される。

ステップＳ５において、ルート設定部１５１は、走行ルートの設定を開始する。具体的には、ルート設定部１５１は、地図情報に基づいて、運転者の運転能力等を考慮しながら、現在位置または指定位置から目的地までの走行ルートを設定する。また、ルート設定部１５１は、時間帯、目的地までの天候、渋滞、通行規制等の情報に基づいて、必要に応じて走行ルートの変更またはルート選択肢の提示を行う。

ステップＳ６において、自動化レベル設定部１５２は、自動化レベルの更新を開始する。

具体的には、自動化レベル設定部１５２は、地図情報および周辺情報等に基づいて、走行ルート上において、許容される自動化レベル（以下、許容自動化レベルと称する）の分布を設定する。

ここで、許容自動化レベルとは、対象となる区間において設定可能な自動化レベルの最大値を示す。例えば、許容自動化レベルがレベル３の区間においては、車両は自動化レベル３以下に設定して走行することが可能である。

例えば、自動化レベル設定部１５２は、走行ルート上の許容自動化レベルの分布を、地図情報等に示されるデフォルト値に設定する。また、自動化レベル設定部１５２は、地図情報および周辺情報から得られる天候、道路の状態、事故、工事、交通規制等の走行ルート上および周辺の環境に関する情報に基づいて、走行ルート上の許容自動化レベルの分布を適宜更新する。

例えば、路面の道路鋲、ペイント、縁石等の道路の区画線、記号、並びに、文字等の道路標示が積雪や冠水等で認識困難な区間において、許容自動化レベルが本来のレベル３からレベル２に下げられたり、LKASの使用が禁止されたりする。

走行開始後の区間毎の状況変化は、雨水滞留に伴う白線隠れまたは濡れた路面の逆光反射など、さまざま状況で時々刻々変化する。特に、継続的な自動運転通過が見込まれる区間の一部で運転者復帰が必要となる変化は、運転者にその変化を周知し、２次タスク実行の事前制限をかける必要がある。

また、火災による煙や濃霧等で視界が不良な区間において、許容自動化レベルが本来のレベル３からレベル２に下げられたり、最高速度が制限されたりする。

さらに、事故が発生したり、落下物が検出されたりした区間において、許容自動化レベルがレベル１またはレベル０に下げられる。

路面が凍結した区間や、横風が激しい橋において、制限速度が下げられたり、許容自動化レベルがレベル１またはレベル０に下げられたりする。

自動化レベル設定部１５２は、このような制限に基づいて、走行ルート上の許容自動化レベルの分布を適宜更新する。

ステップＳ７において、車両制御システム１１は、運転者の監視を開始する。

具体的には、運転者監視部２６の運転者撮影部１０１は、運転者の撮影、および、撮影により得られた運転者画像の車両制御部２８への供給を開始する。

生体情報取得部１０２は、運転者の生体情報の取得、および、車両制御部２８への供給を開始する。

視線検出部１０３は、眼球解析に特化したブロックでもよいし、広域の運転者画像に基づいて、運転者の顔の向き、視線の向き、瞬き、眼球の動き（例えば、固視、サッカード等）の検出を行い、このような各情報を含む検出結果の車両制御部２８への供給を開始する。

運転挙動分析部１４１は、運転者画像、車両情報、および、学習部１２６による学習結果等に基づいて、運転者の運転挙動の分析を開始する。

運転状態検出部１４２は、運転者画像、運転者の生体情報、視線検出部１０３による検出結果、認証部１０４による認証結果、および、学習部１２６による学習結果等に基づいて、運転者の状態の検出を開始する。

例えば、運転状態検出部１４２は、運転者の姿勢および行動等の検出を開始する。

また、例えば、運転状態検出部１４２は、運転者の反応性および覚醒度の検出を行う。運転者の反応性および覚醒度の検出結果は、運転状態検出部１４２から切り替え判定部１５５に供給される。

切り替え判定部１５５においては、自動運転モードから手動運転モードへの切り替えの必要性があるときに、これらの検出結果のうちの少なくとも１つに基づいて、自動運転モードから手動運転モードへの切り替え判定が行われる。自動運転モードから手動運転モードへの切り替え判定は、運転者への運転モード切り替えの通知の後に行われる。

ここで、運転者の反応性は、例えば、外部からの要求、指示、および刺激、並びに、車両の進行方向にある障害物等に対する運転者の反応の有無、反応速度、および、反応の的確性等に基づいて定義される。運転者の反応性は、運転者の覚醒度が低下している場合に加えて、運転者の意識が運転に向けられていない場合や、意図的に反応しない場合等に低下する。

運転者の反応性および覚醒度の検出方法には、上述したようにパッシブモニタリングとアクティブモニタリングがある。

パッシブモニタリングでは、運転者の状態を受動的に観察することにより、運転者の反応性及び覚醒度が検出される。

例えば、顔の向きの遷移、視線の向きの遷移、瞬きの頻度、眼球の動きの遷移等の運転者の動きに基づいて、運転者の反応性及び覚醒度が検出される。例えば、周辺撮影部２１や周辺情報取得部２２等で得られた実空間の視野情報に相関する対象物に対する視線移動や固視等が観測され、その結果に基づき、運転者固有の学習済み眼球挙動を参照して、運転者の反応性及び覚醒度が検出される。

例えば、運転者の心拍数、体臭等の生体情報に基づいて、運転者の覚醒度が検出される。

例えば、ステアリングの操舵安定性や操作速度、アクセルペダルやブレーキペダルの操作安定性や操作速度等の運転者の運転操作の継時的な推移を観測することにより、運転者の反応性および覚醒度の変化が検出される。なお、これらの運転者の反応は、運転者毎に固有の特性を有するため、運転者の状況に応じた特性の学習を行い、その学習結果に基づいて、運転者の反応性および覚醒度を検出するようにしてもよい。

アクティブモニタリングでは、視覚、聴覚、触覚等による刺激や指示等を運転者に与え、与えた刺激や指示等に対する運転者の反応（応答）を観察することにより、運転者の反応性および覚醒度が検出される。

アクティブモニタリングは、例えば、パッシブモニタリングにより運転者の反応性および覚醒度の検出が困難な場合や検出精度を高める場合に用いられる。

例えば、自動化レベル３以上になると、運転者の走行操作機器への介在が完全に途切れる場合があり、この場合には、走行操作機器の操作状況をモニタリングしても、運転者の反応を操舵機器の操作状況より検出することがもはやできない。アクティブモニタリングは、このような場合においても運転者の状態を確実に把握できるようにするために有効な手段となる。つまり、アクティブモニタリングはパッシブモニタリングを補完する機能を備える。また、例えば、刺激を与えることによって運転者を覚醒させるためにアクティブモニタリングが用いられる。

なお、これらの運転者の反応性および覚醒度の検出は、運転者への手動運転モードの切り替え通知の後に行われるようにしてもよいし、走行操作機器を用いた補正操作があったときに行われるようにしてもよい。

運転状態検出部１４２は、表示部２９を制御し、運転者の視界内に短い単語や数字を表示させてそれを運転者に音読させたり、簡単な数式を表示させてその計算結果を運転者に発声させたりすることにより、運転者の反応性および覚醒度を検出することができる。

また、運転状態検出部１４２は、表示部２９を制御し、運転者の視界内に視線の目標となる疑似ターゲットを表示させて、運転者の視線の動きを追跡することにより、運転者の反応性および覚醒度を検出することができる。

さらに、運転状態検出部１４２は、音声出力部３０を制御し、運転者に簡単な指示（例えば、頭部を横に振る等）を出し、その指示に対する運転者の反応を観察することにより、運転者の反応性および覚醒度を検出することができる。

運転支援制御部１５３は、運転状態検出部１４２の指示に従って、走行制御部３３を制御し、安全性を確保できる範囲内で、車両に不自然な走行をさせる。そして、運転状態検出部１４２は、不自然な走行に対する運転者の反応に基づいて、運転者の反応性および覚醒度を検出する。

なお、車両の不自然な走行に対する運転者の反応に基づいて運転者の反応性および覚醒度を検出する処理は、図４等を参照して上述した走行制御部３３、運転状態検出部１４２、運転支援制御部１５３の処理と同様である。

なお、上述した運転者の状態以外にも、意識状態、精神状態、緊張状態、薬物の影響度合い等の、他の種類の状態が検出されるようにしてもよい。

ステップＳ８において、学習部１２６は、学習処理を開始する。

例えば、学習部１２６は、運転挙動分析部１４１の分析結果に基づいて、運転者の運転能力と、検出可能な運転者の各種の可観測な状態または挙動との相関の学習を開始することができる。

また、学習部１２６は、運転者がマニュアル運転を正常に行っているときの生体情報、運転者の動き、運転者の運転操作の傾向の学習を開始する。例えば、車線の中心を安定して走行したり、停止信号等で車両が安定して停止したり、カーブにおいて適切に減速が行われたりしたときに、運転者がマニュアル運転を正常に行っているものとして検出される。

この学習は、例えば、運転者がマニュアル運転を正常に行っているときの運転者の視線の挙動、頭部の姿勢、体の姿勢、脈波波形、呼吸状態、外光に対する瞳孔反応などの運転者固有の特性と、正常な運転特性との相関を恒常的に学習するようにして行われる。この学習結果を用いることにより、パッシブモニタリングの精度を向上させることが可能になる。

学習部１２６は、正常時と異常時の判別が可能なように、アクティブモニタリングに対する運転者の反応特性の学習を開始する。この学習結果を用いることにより、アクティブモニタリングの精度を向上させることが可能になる。

なお、上記の学習には、単純な相関学習、CNN（Convolutional Neural Network）を用いた複雑な人工知能学習等の任意の学習方法を用いることができる。

このように、各状態に応じた運転者固有の特性を学習することにより、運転者の状態（例えば、運転者の健康状態や疲労具合、過去に事故やヒヤリハット経験から特定事象に対する注意過多や敏感応答反応等）に基づいて、運転者の運転能力をより正確に検出することが可能になる。

そして、学習部１２６は、学習結果を記憶部３５に記憶させる。なお、学習結果については、利用した車両に記憶させて再利用するだけでなく、電子キーや遠隔サーバ等に車両と分離して記憶させて、レンタカーなど別の車両で利用できるようにしてもよい。また、運転者が繰り返し利用する車両に前回利用時の学習結果を取り込み、その陳腐化を判定して、前回利用時までに得られた学習辞書を、安全マージン付加してその判定の際の初期データとして利用してもよい。なお、学習特性は、一定期間車両の運転をしなかったりすると応答特性が変化する事から、利用履歴と合わせ適宜更新や利用履歴の空き期間に応じて安全係数を加え判断を行うようにしてもよい。

ステップＳ９において、運転支援制御部１５３は、運転支援を開始する。すなわち、運転支援制御部１５３は、現在の自動化レベルに合わせて、走行制御部３３を制御することにより、例えば、その一部として、ACC、LKAS、TJA、AEBS等の運転を支援する処理を開始する。

ステップＳ１０（図８）において、運転支援制御部１５３は、現在の自動化レベルに合わせて、走行制御部３３を制御することにより、継続走行を行う。

ステップＳ１１において、運転モード切り替え制御部１５４は、通信部２７を制御して走行ルート上の現在の位置を基準とした接近区間のLDMを取得させ、更新する。

ステップＳ１２において、運転モード切り替え制御部１５４は、LDMおよび運転者の状態を確認する。ここで確認される運転者の状態には、運転者の２次タスクの実行状況、運転者の反応性および覚醒度が含まれる。なお、運転者の反応性および覚醒度は、運転状態検出部１４２による検出結果に基づいて確認される。

ここで、時間が経過すると、走行ルートや運転者の状況が変わることによって自動化レベルが変わる可能性がある。運転モード切り替え制御部１５４は、走行中、新しい情報を取得するとともに、走行ルートと運転者のモニタリングを常に続ける必要がある。

図１０の例においては、出発（走行ルート選定）時点での理想的LDMのデータが示されている。図１０において、上から順に、区間、その区間に設定されている許容自動化レベル、その区間の定常的な２次タスク実行可否とその下段に、短期一時的な（短期限定、ともいう）２次タスク実行可否が示されている。

なお、短期限定とは、通知制御部１２４から通知発報が出された場合、運転者は速やかに運転復帰に取りかかることのできる状態の2次タスク内容に限定され、如何なる2次タスクの利用形態においても、注意離脱を伴わない範囲に限定されることで、安全性を確保する。

２次タスク実行可否は、例えば、姿勢内覚醒下OK、姿勢内覚醒下NG、姿勢外覚醒下OK、姿勢外覚醒下OK、姿勢外覚醒下NG、姿勢内外ともOK（覚醒度合いに依存せず）、姿勢内外ともNGの状態で構成されている。

姿勢内覚醒下OK（姿勢内OK）の区間は、運転者の着座姿勢が、手動運転に直ぐに復帰できる着座姿勢と定める範囲内の姿勢であれば、自動運転モードで走行ができる区間である。

すなわち、この姿勢内覚醒下OKの区間は、特に、想定外事情が発生しなければ、問題なく自動運転での通過が可能な区間である。したがって、定常利用は、基本的にはレベル３以上の区間、またはレベル２の区間内でも短期的に自動運転を利用した短期限定2次タスクの実行は条件付きで可能とする事も運用上可能である。実際の適用は、車両の特性や目標安全性次第である。短期限定2次タスクの実行は、前方不注意を招く一次的なナビ画面の確認や操作などがその対象の可能性となりえる。

姿勢内覚醒下NG（姿勢内NG）の区間は、運転者の着座姿勢が、手動運転に復帰できる着座姿勢と定める範囲内の姿勢であっても、自動運転下での2次タスクを行ってはいけない区間である。

レベル１までの自動運転しか利用が許可されない区間では、自動運転レベルが限定的となる。また、運転者が走行中にナビゲーション操作したり、何らかの前方に対する不注意な走行を行ったりした場合、危険を伴うリスクがあるため、自動運転に伴う一切の2次タスク実行が推奨されない区間である。

姿勢外覚醒下OK（姿勢外OK）の区間は、運転者の着座姿勢が、手動運転に復帰できる着座姿勢と定める範囲外の姿勢であっても、レベル３以上の自動運転走行が可能な区間で、かつ、着座復帰の猶予期間が担保されていれば、そのレベル３許容走行区間を自動運転モード下で短期一時的に2次タスクの実行を行ってもよい区間である。

ただし、同じ姿勢外と言っても、離席してデスクワークや仮眠などを行う事は、リスクが顕在化して復帰通知をしても復帰まで要する時間が長いタスクはリスクがあるため、自動運転に伴うそれら定常的離脱での2次タスク実行が推奨されない区間である。

姿勢外覚醒下NG（姿勢外NG）の区間は、運転者の着座姿勢が、手動運転に直ぐに運転復帰できる姿勢と定める範囲外の姿勢である場合に、例え、運転者が運転復帰に必要な十分に覚醒度保っていたとしても、その様な離脱姿勢では、自動運転を許可しない区間である。

すなわち、レベル３が許容される区間での定常的離席2次タスク作業は禁止に該当する区間である。

姿勢内外ともOKの区間は、LDM等の更新や安全が確実に確認されたために、運転者の状態を問わず、レベル４相当の自動運転下での2次タスクが実行可能な区間である。

ただし、詳細後述するように、レベル４に該当する区間で、車両がレベル４での自動走行性能を有しても、その全区間で完全に運転者が任意の2次タスクに従事できるわけではない。

姿勢内外ともNGは、道路区間を自動運転で通過するにはリスクを伴い、レベル０や１で通過が必要な区間であり、さらに通常レベル４が許可される道路でも、一次的に何らかの理由でLDM等の更新がされなかったり、安全が確認されなかったりするために、運転者の状態を問わず、自動運転を許可しない区間である。

なお、通常の自動運転が利用可能区間から手動運転が求められる区間に移行する際に、急に手動運転を実行する事は、手動運転の実行の確実性からみて好ましくない。したがって、自動運転のレベルの許容レベルが下がる区間侵入に先立ち、必ず手動運転を確認し終えるまでの猶予期間で許容される自動運転要求レベルを順次下げ、移行レベルの走行区間を確保する制御を行う。

つまり、基本的にはレベル４からレベル２へは移行せず、レベル３を経てレベル２やレベル１に移行する。

図１０において、出発地点である地点P1でのLDMのデータでは、地点P1乃至地点P2の区間S1の許容自動化レベルは、レベル０またはレベル１に設定されている。また、区間S1の２次タスク実行可否は、姿勢内NGと設定されている。

地点P2乃至地点P3の区間S2の許容自動化レベルは、レベル３に設定されている。また、区間S2の２次タスク実行可否は、姿勢内覚醒下OKとされ、短期限定2次タスクの実行可否は、姿勢外覚醒下OKと設定されている。

地点P3乃至地点P4の区間S3の許容自動化レベルは、レベル４に設定されている。また、区間S3の２次タスク実行可否は、姿勢内外ともOKと設定されている。

地点P4乃至地点P5の区間S4の許容自動化レベルは、レベル２に設定されている。また、区間S4の２次タスク実行可否は、姿勢内外ともNGとされ、短期限定2次タスクの実行可否は、姿勢内覚醒下OKと設定されている。

ただし、レベル４の区間終了点であるポイントQ1では、その後続く自動運転レベル２を上限の自動運転区間に侵入する事前準備猶予として運転者覚醒復帰が必要である。したがって、必然的な自動運転レベル３区間（破線）をシステムが挿入し、この間に運転者の完全手動運転復帰を進める。

本明細書では詳述をしていないが、定常的な運転者の覚醒状態や姿勢状態や進行予定道路の安全状況等に基づいて復帰遅延リスクを伴わないタイミングを判定し、引き継ぎ遅延Q1を定めている。本発明の運転者引き継ぎのアクティブ確認は、このレベル３相当走行を介して行う。

図１０の例では、地点P4乃至地点P5の区間S4はレベル２としている。図示はしていないが、仮に遡航中の時間経過とともに、この区間S4が全てレベル３になり、その後に続く区間S5（レベル３の区間）が、レベル４になった場合には、１つ課題が残る。つまり、レベル４の区間が途切れてレベル３の区間を経て再びレベル４になる区間を走行するようなルート区間においては、該当の途中通過するレベル３区間の通過の際には、本来であれば注意下であれば運転者復帰介在を求めないものの、運転者による機器操舵介在がこの場合ではまったく行われないことになる。

この結果として、運転者の必要時の復帰可否判定を行う事が困難である。したがって、運転者による復帰能力判定をしつつ、上述したレベル４の途中一時的レベル３復帰条件の判定をして、レベル３の区間でありながら車両制御システム１１により運転者反応を把握検出するために、意図的に一時運転のアクティブ操舵反応を確認してもよい。

図１０に戻り、地点P5乃至地点P6の区間S5の許容自動化レベルは、レベル３に設定されている。また、区間S5の２次タスク実行可否は、姿勢内覚醒下OK（定常的な運転復帰可能でかつ運転復帰に必要な覚醒下では、2次タスクの実行は可能）とされ、短期限定2次タスクの実行可否は、姿勢外覚醒下OK（短期限定なら姿勢外であっても意識下なら2次タスクの実行は可能）な区間として設定されている。

地点P6乃至地点P7の区間S6の許容自動化レベルは、レベル０またはレベル１に設定されている。また、区間S6の２次タスク実行可否は、姿勢内外ともNG（運転に即復帰ができで十分な覚醒下でも前方注意運転からの離脱は、リスクを伴うためにナビゲーションシステムの操作などあっても許可がされない区間）と設定されている。なお、地点P7が到達地点でもある。

ここで、区間S3の終点である地点P4においては、許容自動化レベルがレベル４からレベル２に移行し、２次タスク実行可否が姿勢内外ともOKから姿勢内外ともNGに移行している。また、区間S5の終点である地点P6においては、許容自動化レベルがレベル３からレベル１（レベル０）に移行し、２次タスク実行可否が姿勢内外ともOKから姿勢内外ともNGに移行している。

この区間前の移行制御は、該当区間侵入に先立ち、次の侵入区間で運転者が次区間で求められる状態に移行完了をし終えるのに必要な移行猶予期間である。取り分け自動運転区間から手動運転や注意下での自動運転の許可区間に侵入する際に重要である。

運転モード切り替え制御部１５４は、このような許容自動化レベルおよび２次タスク実行可否が移行する地点より所定の距離だけ手前の地点を、予定引き継ぎ開始地点として設定する。例えば、車両が予定引き継ぎ開始地点を通過するタイミングが、自動運転モードから手動運転モードに切り替えることを運転者に通知するタイミングとなる。

すなわち、運転モード切り替え制御部１５４は、区間S3の終点である地点P4の手前に示されるポイントQ1、区間S5の終点である地点P6の手前に示されるポイントQ5を、予定引き継ぎ開始地点として設定する。車両がポイントQ1，Q5を通過するタイミングが、自動運転モードから手動運転モードに切り替えることを運転者に通知するタイミングとなる。

なお、実際には、出発後、図１１の吹き出しに示されるように状況の変化がある。そのため、出発（走行ルート選定）時点に設定された予定引き継ぎ開始地点を見直す必要が出てくることがある。

図１１において、地点P11乃至地点P12の区間S11は、図１０の地点P1乃至地点P2までの区間S1に対応する。区間S11の許容自動化レベルはレベル０またはレベル１となり、２次タスク実行可否は姿勢外NGとなる。

ここで、地点P12乃至地点P13の区間S12において、積雪などにより道路と道路の区切りが不明りょうとなり、かつ、自動運転に不向きな状況になるような変化が変化１として生じたものとする。この場合、区間S12の許容自動化レベルはレベル２（破線）に変更され、２次タスク実行可否は姿勢内外ともNGとなり、または姿勢内覚醒下OKにもはや定常的には許可されず、短期限定の2次タスクのみが姿勢内覚醒下で許可される状況に変更される。図１１の区間S12は、許容自動化レベルがレベル３であった図１０、つまり出発前の区間S2に対応する。

なお、状況の変化が生じた場合、区間の設定についても変化が適宜生じることになる。

図１１の例において、変化１による状況が終了した後の地点P13乃至地点P14の区間S13は、図１０の区間S3と同様に、許容自動化レベルが、レベル４、２次タスク実行可否が姿勢内外ともOKの区間として設定されている。

また、図１１の地点P14乃至地点P15の区間S14において、工事などにより、マニュアル走行が必要な状況になるような変化が変化２として生じたものとする。この場合、区間S14の許容自動化レベルはレベル１（破線）に変更され、２次タスク実行可否は姿勢内外ともNGに変更される。図１１の区間S14は、許容自動化レベルがレベル４であった図１０の区間S3の後半の一部や、レベル２であった図１０の区間S4の前半の一部を含む区間である。

ただし、図１０のポイントQ1同様、レベル４の区間終了点であるポイントQ11では、その後の自動運転レベル１を上限の自動運転区間に侵入する事前準備猶予として運転者覚醒復帰が必要である。したがって、必然的な自動運転レベル３区間（破線）を、車両制御システム１１が挿入し、この間に運転者の完全手動運転復帰を進める。

図１１の例において、変化２による状況が終了した後の地点P15乃至地点P16の区間S15は、許容自動化レベルが、レベル２、２次タスク実行可否が姿勢内外ともNGで、短期限定2次タスクの実行可否が姿勢内覚醒下OKの区間として設定されている。

地点P16乃至地点P17の区間S16において、積雪などにより道路と道路の区切りが不明りょうとなり、かつ、自動運転に不向きな状況になるような変化が変化３として生じたものとする。この場合、区間S16の許容自動化レベルはレベル２（破線）に変更され、２次タスク実行可否は姿勢内外覚醒外ではNG、もはや定常的にはまたは姿勢内覚醒下は許可されず、短期限定2次タスクのみが姿勢内覚醒下OKに許可条件が変更される。

図１１の例において、変化３による状態が終了する地点P17乃至地点P18の区間S17は、図１０の区間S6と同様に、許容自動化レベルがレベル０またはレベル１、２次タスク実行可否が姿勢内外ともNGの区間として設定されている。

このような状況の変化によって、許容自動化レベルおよび２次タスク実行可否の設定が変更される。運転モード切り替え制御部１５４は、変更後の設定に応じて、予定引き継ぎ開始地点を変更し、自動運転モードから手動運転モードに切り替えることを運転者に通知するタイミングを変更（再設定）することになる。

すなわち、運転モード切り替え制御部１５４は、区間S14の地点P14の手前に示されるポイントQ11を、予定引き継ぎ開始地点として設定する。車両がポイントQ11を通過するタイミングが、自動運転モードから手動運転モードに切り替えることを運転者に通知するタイミングとなる。

このように、走行ルートや運転者の状況は、走行開始から時々刻々と変化する。図１２の例においては、走行開始から一定時間経過後の地点Ｎの最新LDMのデータが示されている。走行開始後も、図１２の吹き出しに示されるように状況の変化がある。

図１２の例において、現在、車両は、地点P23乃至地点P24の区間S23における地点P23地点Ｎを走行している。

したがって、地点P21乃至地点P22の区間S21は、許容自動化レベルがレベル０またはレベル１として設定されていた区間であり、許容自動化レベルをレベル１として走行済みである。区間S21は、図１１の区間S11に対応する。なお、区間S21の２次タスク実行可否は、姿勢内外ともNGとして設定され、通過し終えた区間である。

区間S21の次に続く、地点P22乃至地点P23の区間S22は、許容自動化レベルがレベル２として設定されていた区間であり、そのような設定に基づいて走行済みである。区間S22は、図１１の区間S12に対応する。区間S22の２次タスク実行可否は、姿勢内外ともNGであり、短期限定２次タスク実行可否は、姿勢内覚醒下OKとして設定されていた区間である。

次に、現在車両が走行中の地点Ｎが位置する地点P23乃至地点P24の区間S23は、許容自動化レベルがレベル４で走行中である。すなわち、車両が完全自動運転モードとして走行していることから、運転モード切り替え制御部１５４は、少なくとも、矢印Ｒ１に示される区間の最新LDMの更新データを取得しながら走行を行っている。矢印Ｒ１に示される区間は、２次タスク（運転者が介在していない状態）から確実に復帰できる一定期間先までの走行予定区間である。

この事前のLDM情報の最短の情報取得区間は、例えば、運転者が睡眠や荷台移動するなど長期離席が想定される利用なら、その2次タスクから一定の余裕をもって復帰が可能な最短期間を少なくとも定義し更新し続ける必要がある。以下、例えばその際にその区間更新で事前情報に対する変化情報を取得したとする。

その際、地点Nに来た時点で最新LDMの更新データにより変化２１の情報が付加され予定が変更された場合、運転者のモニタリングから復帰に要する予測時間を常時モニタリングしておくことで、運転者の状態把握から仮に復帰に際して要する時間算出が可能である。変化２１に伴う運転者の介在復帰要求レベルが更新され、当初走行初期やN点未満の情報にはなかった、地点P24乃至地点P25の区間S24が、許容自動化レベルがレベル１に変化して、その区間の２次タスク実行可否が、姿勢内外ともNGとなっている。

そこで、運転モード切り替え制御部１５４は、上記復帰に必要な予測タイミング算出し、区間S24の地点P24の手前に示されるポイントQ21を、予定引き継ぎ開始地点に変更する。

なお、予測タイミングの算出は、運転者の復帰特性の学習に基づく特性、車両の積載・制動のダイナミックス特性、道路の安全性特定など勘案して演算される。車両がポイントQ21を通過するタイミングが、自動運転モードから手動運転モードに切り替えることを運転者に通知するタイミングとなる。

また、運転モード切り替え制御部１５４は、地点P24から地点P25までは、許容自動化レベルがレベル１で、２次タスク実行可否が、姿勢内外ともNGに設定する。例えば、寝ている運転者には早期の警告、着座して前方注意しながらスマートフォン操作中なら短期の画面通知など状況に応じたタイミング算出が行われる。

なお、詳細詳述はしないが、一旦レベル０乃至３のレベルに運転者の運転介在モードに移行した場合、自動運転の上位レベルモードに運転者の周知なくして再復帰のシームレス移行ができない仕組みが望ましい。また、レベル３乃至レベル４への自動運転復帰には運転者の復帰要請の意図的入力反映手段を有することが必要となる。

ここで、運転者要請手段とは、運転者による自動運転モードにシームレスの無意識復帰を防止し、実際には自動運転モードに車両制御システム１１が復帰していないにも関わらず運転者の勘違いによる錯覚を防止する機能である。運転者による上位自動運転レベル復帰周知機能を有しない制御シーケンスを行うと、システムが自動運転復帰を本来行っていない区間での走行時に運転者の思い込みで自動運転の継続利用中と思い込み、事故を誘発する恐れがあるからである。

例えば、直線道路が続く区間であったとしても自動で走行が継続されていると勘違いをし、その後にカーブ等に差し掛かった際に無制御であると気づいても運転者は慌てて事故になるリスクがある。

次に、図１２の地点P25乃至地点P26は、図１１の地点P13乃至地点P14の区間S13と同様に、許容自動化レベルがレベル４で、２次タスク実行可否が、姿勢内外ともOKである。

ここで、図１１の変化２である工事予定が更新されておらず、予定が変更していなければ、図１２の例においても、ポイントQ11が予定引き継ぎ開始地点であった。しかしながら、図１２の例においては、図１１の地点P14乃至P15の変化２で示された工事予定から変化２２が生じ、工事区間情報が更新され、工事は、地点P26乃至地点P27の区間S26において区間縮小変更がなされている。区間S26においては、許容自動化レベルがレベル１で、２次タスク実行可否が、姿勢内外ともNGである。

そこで、運転モード切り替え制御部１５４は、ポイントQ11から、区間S26の地点P26の手前に示されるポイントQ22を、予定引き継ぎ開始地点に変更する。車両がポイントQ22を通過するタイミングが、自動運転モードから手動運転モードに切り替えることを運転者に通知するタイミングとなる。

このとき、レベル４の区間終了点であるポイントQ22では、その後の自動運転レベル１を上限の自動運転区間に侵入する事前準備猶予として運転者覚醒復帰が必要である。したがって、必然的な自動運転レベル３区間（破線）を、車両制御システム１１が挿入し、この間に運転者の完全手動運転復帰を進める。

次に、図１２の地点P27乃至地点P28の区間S27は、図１１の地点P15乃至地点P16までの区間S15と同様に、許容自動化レベルがレベル２で、２次タスク実行可否が姿勢内外ともNGであり、短期限定２次タスク実行可否が姿勢内覚醒下OKである。

図１２に示されるように、次の地点P28乃至地点P29の区間S28においては、天候が改善し、道路と道路区切りは鮮明となり、道路環境が改善されるという変化２３が生じる。この変化２３により、図１１では、レベル２であった図１２の区間S28の許容自動化レベルは、レベル３に変更されており、姿勢外NGまたは姿勢内覚醒下OKであった２次タスク実行可否は、姿勢内覚醒下OKであり、短期限定２次タスク実行可否が姿勢外覚醒下OKに変更されている。

そして、図１２の例において、変化２３が終了する地点P29乃至地点P30の区間S29は、図１２の区間S29、図１１の区間S17と同様に、許容自動化レベルがレベル０またはレベル１に設定され、２次タスク実行可否は、姿勢内外ともNGと設定されている。

以上のように、許容自動化レベルが同一であったとしても、運転者に復帰が求められる推奨時間（運転者への通知タイミングや警告タイミング）は、その時点（または区間侵入する想定時刻）での走行環境や運転者の状態、車両の積載、または制動特性などに応じて時々刻々と変化する。すなわち、LDMの地図情報や環境情報、事故、飛び出し、落雪、横風といった気象要因による継時変化リスク、さらには運転者の状態に応じて、運転者に復帰を求めるタイミングは能動的に変化する。

なお、運転者の意識が正常な走行が可能な状態に復帰するまでのスピードは、運転者の特性を用いた学習によって求められる固有関数として表される。そのような固有関数は、例えば、眼球のサッケードやマイクロサッケード挙動・固視微動や瞳孔反射の特性、瞬きの特性などと関連付けた関数として表現される。

その他、前述の脈拍、呼吸、脳は等様々な生体信号の可観測情報と関連付けて関数として表現をしてもよい。これら、可観測の評価値は、自動運転から手動運転の引き継ぎ事象が発生する都度観測され、その後の安定した引き継ぎと、引き継ぎの失敗や遅延との直接的相関が得られるため、引き継ぎが正常に行われた場合の値を教師データとして可観測値から運転が覚醒復帰の判定器の性能向上が利用に応じてなされる。

図１３は、2次タスク実行可否についてまとめた表を示す図である。

上述したように、表の操舵運転席に運転復帰が可能な着座姿勢において、「姿勢内」は、操舵運転席に運転復帰が可能な着座姿勢であることを表す。「姿勢外」は、操舵運転席に即刻運転復帰が可能な着座姿勢ではないことを表す。

表の周辺環境認知、回避行動がとれる覚醒状態において、「覚醒下」は、周辺環境認知、回避行動がとれる覚醒状態であることを表し、「覚醒外」は、周辺環境認知、回避行動がとれる覚醒状態ではないことを表す。

代表的な覚醒外状態は寝てしまった状態となるが、その他の例として、ビデオ鑑賞していたり、ゲームに夢中になっていたり、移動中の車内で遠隔電話会議を開催していたり、メールやブラウジングに没頭している様な状況の覚醒外に該当する。なお、煩雑さを避けるために敢えて個別の分類記載はしていないが、さらに、体の操舵機能も実際には配慮する必要があり、例えば2次タスクによる手足の痺れなどのいわゆるロコモーティブ能力も、通知タイミング決定と自動運転の利用許容範囲の決定要因となる。

上から順に説明すると、姿勢内外問わず、覚醒下であるか否か問わず、Level4であれば、定常的な2次タスク実行可能である。

姿勢内外問わず、覚醒下であるか否か問わず、Level3以下であれば、定常的な2次タスク実行不可能である。継続的な操舵離脱の長期利用では、基本的に利用不可能としている。この場合、長時間、直接運転の操舵に介在せず、いつでも復帰が求められる状態で自動走行状態の監視・注意の継続的維持をするのは難しいためである。仮にLevel3の利用が一定以上の時間継続した場合は、断続的に運転者に復帰を求め変化を与える利用形態となるのが望ましい。

姿勢内外問わず、覚醒下であるか否か問わず、Level4であれば、多様な2次タスクも実行可能である。

姿勢内、覚醒下であれば、Level3以上で、早期復帰が可能な短期限定2次タスクが実行可能である。前述の通り、Level3の利用は長時間連続無介在の自動運転利用は想定されず、この場合、運転者の運転から意識離脱はしても、定期的に繰り返し状況のモニタリング確認を継続的にされる前提であるので、運転者が眠いたり、ビデオ鑑賞やゲームに夢中になり、復帰遅延が発生した場合その遅延に対してペナルティ対象とする事で意識離脱の発生を抑制できる。

姿勢外（限定した姿勢を崩す範囲の短期復帰が可能な程度の姿勢崩し）は覚醒下であれば、Level2以上で、短期限定2次タスクが実行可能である。完全自動運転とはいかないものの、一定の安全運転が確保されている区間であれば、ナビゲーションの操作など従来禁止されていた一切の操作も、軽度の姿勢を崩した２次タスクの範囲で実施が可能とする運用を想定できる。

姿勢外であれば、覚醒下であるか否か問わず、短期限定2次タスクであってもLevel3以下で2次タスクの実行は不可能である。

図８に戻って、ステップＳ１３において、運転モード切り替え制御部１５４は、LDM（の更新情報）および運転状態検出部１４２により検出された運転者の状態に基づいて、図１０乃至図１２を参照して説明したようにして、状況の変化があったか否かを判定する。

ステップＳ１３において、状況の変化があったと判定された場合、処理は、ステップＳ１４に進む。

ステップＳ１４において、運転モード切り替え制御部１５４は、通知タイミングを再設定（変更）する。適宜、LDMおよび運転者の確認頻度の再設定も行われる。

一方、ステップＳ１３において、状況の変化がなかったと判定された場合、ステップＳ１４の処理はスキップされる。

ステップＳ１５において、運転モード切り替え制御部１５４は、現在時刻が、設定された通知タイミングの一定時間前の時刻になったか否かを判定する。

ここで定める一定時刻とは、運転者が、手動運転に復帰に要する固有学習によって定常的観測から推定される復帰時間を示し、一定の成功確率で手動運転が正常に行える予測時間である。学習手法に関しては本明細書では詳述しない。

運転者が引き継ぎに必要な通知を受けてから実際の引き継ぎが正常に完了するまでの時間は、運転者個人でも異なるし、姿勢状態やそれまで行っていた行為等に依存する。

そこで、通知時間は、ここの運転者の復帰特性を把握できないとしたら、それら運転者人口の統計的復帰特性分布に基づき、できれば100％、できなければ目標とする引継ぎ成功率に応じて、定めた目標引継ぎ成功率を達成するに必要な一定時刻で通知をすることで、運転者が正常に運転を引き継げるために前記成功率を確保する。一定時刻とは、この一定の成功率を確保するための運転者に与えられる通知の猶予限界タイミングである。

ステップＳ１５において、通知タイミングの一定時間前の時刻になっていないと判定された場合、ステップＳ１０に戻り、それ以降の処理が繰り返される。

ここで、低頻度で通知タイミングを定常的に観測し、状況変化で高頻度検出に移行する理由は、定常的観測を怠ると、運転者は、通常起きて直ぐに復帰が可能な2次タスクしか実行していない利用者が時間経過とともに眠気をもよおして、より睡眠などの深い離脱に移行する事がありえる。

この場合、通常なら直前の通知で十分に猶予時間が取れたケースでも、睡眠が進み、当初の予定より早く通知をする状況に変化しているケースが起こりえる。これら経時変化にともなう状況の回避の為に、離れた時間間隔で行う定期の定常モニタリングサンプリングと、さらに引き継ぎ点接近に伴い、サンプリング頻度を上げた高周期サンプリングして引継ぎタイミングの高精度化や遅れ防止を行う目的のために行うサンプル頻度変更を実施する。

本実施の形態においては、サンプリング頻度を定めた想定であるが、運転者の常時姿勢や定常生体の信号観測から、変化検出に高感度な変化、敏感型の検出手段を組み合せ、運転者の変化を観測して、その変化検出するイベントドリブン型の通知タイミング再算出を行う構成にしてもよい。また、2次タスクの内容次第では、運転者に何らかの状況通知とその認知を定期的に実施してもよい。

一方、ステップＳ１５において、通知タイミングの一定時間前の時刻になったと判定された場合、処理は、ステップＳ１６に進む。

ステップＳ１６において、運転モード切り替え制御部１５４は、LDMおよび運転者の確認頻度を、今までよりも高頻度に再設定する。

ステップＳ１７において、運転モード切り替え制御部１５４は、現在時刻が通知タイミングになったか否かを判定する。例えば、車両が予定引き継ぎ開始地点を通過したときに、通知タイミングになったものとして判定される。

ステップＳ１７において、通知タイミングになっていないと判定された場合、処理は、ステップＳ１８に進む。

ステップＳ１８において、ルート設定部１５１は、設定した目的地に到着したか否かを判定する。

ステップＳ１８において、目的地に到着していないと判定された場合、ステップＳ１０に戻り、それ以降の処理が繰り返される。

一方、ステップＳ１８において、目的地に到着したと判定された場合、自動運転処理は終了手順を開始する。

ステップＳ１７において、通知タイミングになったと判定された場合、処理は、ステップＳ１９（図９）に進む。

ステップＳ１９において、運転モード切り替え制御部１５４は、運転者が覚醒低下状態であるか否かを判定する。ここでの判定は、運転状態検出部１４２により検出された運転者の反応度および覚醒度に基づいて行われる。

例えば、運転者の反応度および覚醒度が、閾値として予め設定された値より低い場合、運転者が覚醒低下状態であると判定され、閾値として予め設定された値より高い場合、運転者が覚醒低下状態ではないと判定される。

ここでいう閾値として、ドライバー人口に対して一意に定義した固定値を用いてもよい。その場合、運転者には個人の特性に応じて直ぐ復帰を急ぐ運転者もいれば時間を要する運転者もいるため、より運転者固有の復帰に特性に合せ精度を向上するために、運転者状態の可観測な観測値に応じた運転者固有の学習特性を事前に（定期）学習し定めてもよい。

運転者が特定することが困難な場合などは復帰に要する一般的運転者人口による統計値を用いてもよい。ただし、あらゆるドライバーを安全に引き継がせるには、早めに通知するが求められる一方で、定常的に数分や数十分も早い段階で早期通知を繰り替えしたのでは、運転者通知に対する復帰必要性の危機意識が低下し、復帰に対する怠慢リスクを誘発するため、あまり望ましくない通知タイミングの決定方法と言える。

ステップＳ１９において、運転者が覚醒低下状態であると判定された場合、処理は、ステップＳ２０に進む。

ステップＳ２０において、運転モード切り替え制御部１５４は、手動運転モードへの移行通知を行わせる。手動運転モードへの移行通知は、自動運転モードから手動運転モードに切り替えることを運転者に通知するものであり、例えば通知制御部１２４による制御に従って行われる。

例えば、表示部２９は、通知制御部１２４の制御の下に、運転者の視界内に注意を促す通知画面等の表示を行う。運転者が携帯端末１２を操作している場合、携帯端末１２の画面に通知画面等が表示されるようにしてもよい。

このとき、操作中の状態を強制的に保存し、同じ状態から操作を再開できるように携帯端末１２をスタンバイ状態に遷移させたり、携帯端末１２の画面を強制的にオフさせたりするような制御が行われるようにしてもよい。これにより、通知画面が表示されたことに対して、運転者が慌てて携帯端末１２を操作するようなことを防止することができる。

手動運転モードへの移行通知が、画面表示以外の方法で行われるようにしてもよい。

例えば、音声出力部３０が、通知制御部１２４の制御の下に、音声メッセージ、アラーム、ブザー、ビープ音、車内のみに聞こえる後続車の疑似カーホーン（クラクション）等の出力を行うようにしてもよい。

また、発光部３１が、通知制御部１２４の制御の下に、ランプ等の点灯または点滅を行うようにしてもよい。

車載装置制御部３４が、通知制御部１２４の制御の下に、運転者のシートまたはステアリングを振動させたり、シートベルトを引っ張ったりする等のハプティクスフィードバックを行うようにしてもよい。なお、シートを振動させることにより、車両がランブルストリップスや道路鋲を横切ったときと同様の振動が運転者に伝わるようにしてもよい。

走行制御部３３がステアリングを制御することにより、ランブルストリップスや道路鋲を横切ったときと同様の振動が運転者に伝わるようにしてもよい。

ステップＳ２１において、運転モード切り替え制御部１５４は、切り替え判定部１５５を制御し、運転モード切り替え判定処理を行わせる。運転モード切り替え判定処理においては、ジェスチャー認識切り替え判定部２０１、サッケード情報切り替え判定部２０２、音声認識切り替え判定部２０３、およびアクティブ反応応答検出切り替え判定部２０４の各判定部により、それぞれ切り替え可否の判定が行われる。ステップＳ２１の運転モード切り替え判定処理については、図１４のフローチャートを参照して後述する。

ステップＳ２２において、切り替え判定部１５５は、切り替え判定部１５５を構成する各判定部による判定結果に基づいて、自動運転モードから手動運転モードへの切り替えが可能であるか否かを判定する。

ステップＳ２２において、自動運転モードから手動運転モードへの切り替えが可能であると判定された場合、処理は、ステップＳ２３に進む。

ステップＳ２３において、運転モード切り替え制御部１５４は、自動運転モードから手動運転モードへの切り替えを行い、運転者が主体的に運転を行う状態である運転者主体制御の状態へ移行させ、その後、自動運転制御処理を終了させる。

一方、ステップＳ１９において、運転者が覚醒低下状態であると判定された場合、処理は、ステップＳ２４に進む。

ステップＳ２４において、運転モード切り替え制御部１５４は、通知制御部１２４を制御し、覚醒のための警報を行わせる。例えば、人を覚醒させるほどの大きな音や振動などが警報として出力される。

ステップＳ２４において出力される警報は、ステップＳ２０において出力される通知とは異なり、より強力なものとなる。例えば、通知時と比較してより高い音量で、音声メッセージ、アラーム、ブザー、ビープ音、疑似クラクション等が出力される。また、通知時と比較してより不快感が強い不協和音等の音色が出力される。ランプ等の発光が通知時と比較してより多い光量で行われるようにしてもよいし、ハプティクスフィードバックが通知時と比較してより高い強度で行われるようにしてもよい。

ステップＳ２５において、運転モード切り替え制御部１５４は、運転者の確認復帰姿勢が確認されたか否かを判定する。例えば、正常時の姿勢と同じ姿勢を運転者がとろうとしていることが運転状態検出部１４２による覚醒度の検出結果に基づいて特定できた場合、覚醒復帰姿勢が確認できたものとして判定される。姿勢移動や離席作業を許容するシステムでは、運転者の車両内姿勢・体勢移動をトラッキング判定する装置を備えて判定を行ってもよい。

ステップＳ２５において、運転者の覚醒復帰姿勢が確認できていないと判定された場合、処理は、ステップＳ２６に進む。

ステップＳ２６において、運転モード切り替え制御部１５４は、内蔵するタイマを参照し、例えば通知タイミングになってから所定の引き継ぎ完了猶予時間が経過したか否かを判定する。

ステップＳ２６において、所定の時間が経過していないと判定された場合、ステップＳ２４に戻り、それ以降の処理が繰り返される。所定の経過時間とは、例えば寝ている運転者を起こすために許容される覚醒までの時間であり、寝起きの悪い運転者では該当認証運転者には長く、短期で目が覚める運転者なら短く、個人情報として設定された時間である。

一方、ステップＳ２６において、所定の時間が経過したと判定された場合、運転者の覚醒復帰作業を断念し、処理は、ステップＳ２７に進む。自動運転モードから手動運転モードへの切り替えが可能ではないとステップＳ２２において判定された場合も同様に、処理は、ステップＳ２７に進む。

ステップＳ２７において、ログ生成部１２５は、手動運転モードへの切り替えNG記録を行う。例えば、手動運転モードに切り替えることができなかったことを表すログが生成され、記録される。

ステップＳ２８において、運転モード切り替え制御部１５４は、緊急退避モードを起動して実行させる。緊急退避モードが実行されることにより、例えば、運転者の車両を、路側帯まで道路走行周辺状況を勘案しつつ減速して低速化をすすめ、その後、路肩などに緊急退避させるような制御が行われる。ただし、仮に緊急時といえども路肩停車は好ましい利用形態ではない。望ましくは、最寄りの退避可能は交通非妨害地点となり得る位置まで車両を移動してパーキングすることである。その理由は、仮に自動運転の普及が進み、そもそもの渋滞等の発生に伴う車の流れの停滞が発生すると自動運転の車で走行帯が全て充填し、緊急車両の通過を阻害するため、路肩確保は交通インフラの正常運用に極めて重要となるからである。

このように、緊急退避モードにおいては、車両を強制的に停車させる処理が行われる。緊急を要する場合、例えば、走行ルート上の最寄りの強制停車場所がルート設定部１５１により地図情報に基づいて検索され、検索された強制停車場所に停車させる処理が行われる。強制停車場所としては、例えば、車両を停車させることが可能な、非常駐車帯、安全地帯、店舗の駐車場等が検索される。ここで、道路走行の周辺状況を勘案しつつとは、例えば路肩を有しない単車線の交通量の多い時間帯でそのまま唯一の車線で車両をその減速救急停車すれば、該当道路の渋滞要因となる。

緊急を要しない場合、最寄りのパーキングエリアまたはサービスエリアが地図情報に基づいて検索されるようにしてもよい。所定の範囲内にパーキングエリアまたはサービスエリアがあり、そこに、手動運転が要求されるルートを通らずに辿り着ける場合、ルート設定部１５１は、そのパーキングエリアまたはサービスエリアを強制停車場所に設定することになる。所定の範囲内にパーキングエリアまたはサービスエリアがない場合、または、手動運転が要求されるルートを通らずにパーキングエリアまたはサービスエリアに辿り着けない場合、緊急を要する場合と同様の方法により、強制停車場所が検索され、設定されるようにしてもよい。

運転支援制御部１５３は、走行制御部３３等を制御して、設定された強制停車場所に車両を停車させる。このとき、必要に応じて減速または徐行が行われる。また、運転者が復帰できない要因として運転者の病状急変などで発生した場合、SOS発信を検出時や停車後に事象通知と合わせて行われてもよい。

なお、強制停車場所に自動的に停車する前に、運転者が手動運転への切り替えを強制的に行い、運転復帰を強行することも想定される。この場合、運転者が十分に覚醒していない可能性があるため、手動運転に段階的に移行させるようにしてもよい。

次に、図１４のフローチャートを参照して、図９のステップＳ２１において行われる運転モード切り替え判定処理について説明する。

ステップＳ１０１において、ジェスチャー認識切り替え判定部２０１は、ジェスチャー認識を用いた反応性および覚醒度の検出を運転状態検出部１４２に行わせる。

ジェスチャー認識切り替え判定部２０１は、運転状態検出部１４２による検出結果に基づいて運転者の復帰内部状態を判定することで、運転モードを、自動運転モードから手動運転モードに切り替えることができるか否かを判定する。

ステップＳ１０２において、サッケード情報切り替え判定部２０２は、運転者の眼球挙動解析、例えば、サッケード解析を行って運転者の反応性および覚醒度を検出することを運転状態検出部１４２に行わせる。

サッケード情報切り替え判定部２０２は、運転状態検出部１４２による検出結果に基づいて運転者の復帰内部状態を判定することで、運転モードを、自動運転モードから手動運転モードに切り替えることができるか否かを判定する。

ステップＳ１０３において、運転者の音声による応答を認識して運転者の反応性および覚醒度を検出することを運転状態検出部１４２に行わせる。

音声認識切り替え判定部２０３は、運転状態検出部１４２による検出結果に基づいて運転者の復帰内部状態を判定することで、運転モードを、自動運転モードから手動運転モードに切り替えることができるか否かを判定する。

ステップＳ１０４において、アクティブ反応応答検出切り替え判定部２０４は、アクティブ反応に対する運転者の応答に基づいて運転者の反応性および覚醒度を検出することを運転状態検出部１４２に行わせる。

アクティブ反応応答検出切り替え判定部２０４は、運転状態検出部１４２による検出結果、つまり、運転に働きかけるアクションに対する運転者の認知応答として現れる反応結果に基づいて運転者の復帰内部状態を判定することで、運転モードを、自動運転モードから手動運転モードに切り替えることができるか否かを判定する。

なお、自動運転モードから手動運転モードへの切り替え判定処理は、これら４つの段階の判定処理を経て行われるものに限定されるものではない。例えば、図１４に示される４つの判定処理に代えて他の判定処理が行われるようにしてもよいし、判定処理が追加されるようにしてもよい。

また、図１４に示される４つの判定処理の順番は、任意に変更可能である。ここで、運転者に働きかける効果は、単純に運転者の受動的手段に依存した認知判断の観測に依存して検出の場合、道路が単調で特に注意を要しない道路区間では運転者のパッシブ観測には何ら特異な特徴が出現せずに覚醒復帰状態の判断が困難であるのに対し、車両制御システム１１から運転者に能動的に働き掛けることで、覚醒復帰の判定に必要な可観測な状態観測値の判別がより顕在化できる利点がある。

図９のステップＳ２２における切り替え可能であるか否かの判定が、図１４に示される４つの判定処理の全ての判定結果に基づいて行われるようにしてもよいし、少なくともいずれか１つの判定処理の判定結果に基づいて行われるようにしてもよい。

＜自動運転制御処理＞
次に、図１５乃至図１７のフローチャートを参照して、車両制御システム１１により実行される自動運転制御処理の他の例について説明する。

図１５のステップＳ２０１乃至ステップＳ２０９の処理は、上述した図７のステップＳ１乃至Ｓ９の処理と同様の処理である。重複する説明については適宜省略する。

ステップＳ２０１において運転者の認証が行われ、ステップＳ２０２においてログの記録が開始される。ステップＳ２０３において目的地が取得され、ステップＳ２０４において周辺情報の取得が開始される。

ステップＳ２０５において走行ルートの設定が開始され、ステップＳ２０６において、自動化レベルの更新が開始される。ステップＳ２０７において運転者の監視が開始され、ステップＳ２０８において学習処理が開始される。また、ステップＳ２０９において、運転支援が開始される。

図１６のステップＳ２１０において、運転モード切り替え制御部１５４は、通信部２７を介して取得されるLDMおよび交通情報等に基づいて、手動復帰の必要性を監視する。なお、自動運転モードから手動運転モードへの切り替えは手動復帰と同意である。以下、適宜、自動運転モードから手動運転モードへの切り替え（移行）を、手動復帰と称する。

例えば、手動復帰の必要性の監視中において、図１０乃至図１２を参照して説明したように状況に変化が発生した場合、運転モード切り替え制御部１５４は、予定引き継ぎ開始地点の再設定などを行う。

ステップＳ２１１において、運転モード切り替え制御部１５４は、手動復帰が必要であるか否かを判定する。

ステップＳ２１１において、手動復帰が必要ではないと判定された場合、ステップＳ２１０に戻り、それ以降の処理が繰り返される。

一方、ステップＳ２１１において、手動復帰が必要であると判定された場合、処理は、ステップＳ２１２に進む。

ステップＳ２１２において、運転モード切り替え制御部１５４は、復帰の必要性の通知を通知制御部１２４に行わせる。ここで行われる通知は、図９のステップＳ２０の通知と同様の手動運転モードへの移行通知となる。

復帰の必要性の通知によっては運転者の覚醒復帰が期待できない場合、図９のステップＳ２４の警報と同様の警報が所定の回数繰り返されるようにしてもよい。

ステップＳ２１３において、運転モード切り替え制御部１５４は、運転者の覚醒復帰が期待できるか否かを判定する。

例えば、切り替え判定部１５５の各判定部により、それぞれ切り替え可否の判定が行われ、その判定結果に基づいて、運転者の覚醒復帰が期待できるか否かが判定されるようにしてもよい。なお、運転者の覚醒復帰が期待できるか否かの判定が、上述した４つの判定処理のうち、少なくとも１つの判定処理の結果を基準として行われるようにしてもよい。

ステップＳ２１３において、運転者の覚醒復帰が期待できると判定された場合、処理は、ステップＳ２１４に進む。

ステップＳ２１４において、運転モード切り替え制御部１５４は、運転復帰手順を開始し、姿勢復帰のトラッキングである運転姿勢復帰シーケンストラッキングを運転状態検出部１４２に行わせる。運転姿勢復帰シーケンストラッキングは、２次タスク時の運転者の着座有無に応じて、さらに、運転者の姿勢が運転できる姿勢に復帰するまでのシーケンスをトラッキングする動作である。

ステップＳ２１５において、運転モード切り替え制御部１５４は、運転可能姿勢への復帰モニタリングを行う。例えば、運転可能姿勢への復帰モニタリングとして、顔の向きの遷移、視線の向きの遷移、瞬きの頻度、眼球の動きの遷移等の運転者の動きに基づいてモニタリングが行われ、運転者の反応性および覚醒度の検出が行われる。

ステップＳ２１６において、運転モード切り替え制御部１５４は、ステップＳ２１５での復帰モニタリングの結果に基づいて、運転者の走行操作機器を用いた操舵開始の可能性を検出したか否かを判定する。

ステップＳ２１６において、運転者の走行操作機器を用いた操舵開始の可能性を検出したと判定された場合、処理は、図１７のステップＳ２１８に進む。

なお、ステップＳ２１３において、運転者の覚醒復帰が期待できないと判定された場合、または、ステップＳ２１６において、運転者の走行操作機器を用いた操舵開始の可能性を検出できないと判定された場合、処理は、ステップＳ２１７に進む。

ステップＳ２１７において、運転モード切り替え制御部１５４は、図９のステップＳ２８と同様に緊急退避モードを起動実行させる。緊急退避モードが実行されることにより、車両が強制的に停車させられ、その後、自動運転制御処理が終了される。

図１７のステップＳ２１８乃至Ｓ２２０において、アクティブ反応応答検出による切り替え処理が行われる。

すなわち、ステップＳ２１８において、アクティブ反応応答検出切り替え判定部２０４は、ノイズ走行などの、正常走行からの体感的な逸脱制御を走行制御部３３に行わせる。体感的な逸脱制御には、ステアリングへのトルク付加、意図的な操舵ズレ、蛇行操舵、急加減速などの制御が含まれる。

なお、体感的な逸脱制御は、制御ロスト感を与えないような制御であることが望ましい。例えば、横風や路面上の穴などへの乗揚げでハンドルが若干取られる程度の瞬間的な逸脱を与える範囲のものに抑えることが望ましい。

ステップＳ２１９において、アクティブ反応応答検出切り替え判定部２０４は、ノイズ走行などの体感的な逸脱制御に対する運転者の是正操作を運転状態検出部１４２にモニタリングさせる。是正操作をモニタリングすることにより、運転者が、ノイズ走行を打ち消すアクティブ反応応答を正しく実施できていること等が検出される。

ステップＳ２２０において、アクティブ反応応答検出切り替え判定部２０４は、運転状態検出部１４２による検出結果に基づいて、運転者の状態を評価する。ここでは、正常操舵が可能な状態に復帰できているか否かが評価される。

ステップＳ２２１において、アクティブ反応応答検出切り替え判定部２０４は、ステップＳ２２０での評価結果に基づいて、運転者が、正常操舵が可能な状態に復帰したか否かを判定する。

ステップＳ２２１において、運転者が、正常操舵が可能な状態に復帰したと判定された場合、処理は、ステップＳ２２２に進む。

ステップＳ２２２において、運転モード切り替え制御部１５４は、運転者に対して、正常操舵の権限を段階的に移す。すなわち、運転モード切り替え制御部１５４は、自動運転モードから手動運転モードに段階的に切り替える。

なお、運転者によるステアリング操作が検出された場合でも、運転者が夢遊病状態で操舵を行っていたり、慌てて反射的に操舵を行っていたりする可能性もある。したがって、権限を一度に移すのではなく、走行に対して、逸脱する走行制御の重み付けを段階的にしたり、ステアリングが運転者の意思に沿って回転するときに強い反力トルクの負荷をかけるようにしたりして、権限を段階的に移すようにすることが望ましい。

ステップＳ２２３において、運転モード切り替え制御部１５４は、運転状態検出部１４２による運転者の反応性および覚醒度の検出結果を継続的に見ることで、定常の手動運転に相当する運転操舵が行われているか否かを判定する。ここで、定常の手動運転に相当する運転操舵とは、該当運転者の通常手動運転時の運転動作の特性を基準に判断するのが望ましい。

ステップＳ２２３において、定常の手動運転に相当する運転操舵が行われていると判定された場合、自動運転制御処理は終了する。

一方、ステップＳ２２１において、運転者が、正常操舵が可能な状態に復帰していないと判定された場合、または、ステップＳ２２３において、定常の手動運転に相当する運転操舵が行われていないと判定された場合、図１６のステップＳ２１７に戻り、それ以降の処理が繰り返される。

以上のように、本技術においては、覚醒度の検出結果などを用いた運転者の復帰内部状態の判定の手順の最終段階の処理として、操舵修正操作の必要性を運転者が感じるような制御が意図的に行われる。

また、そのような制御に対する応答に基づいて、筋力が機器の操舵能力的にも正常な操舵能力を有するまでに運転者の意識が復帰したか否かを判定し、自動運転モードから手動運転モードへの切り替えるようにしたため、自動運転から手動運転への引き継ぎをより安全に行うことが可能になる。

それ以外にも、さらに、ジェスチャー、視線動作トラッキング、音声認識による確認などを順番に行うことにより、運転者の復帰能力の判定を精度よく行うことができ、結果として、自動運転モードから手動運転モードへの引き継ぎをより確実に行わせることが可能になる。

以上により、より安全に自動運転から手動運転に切り替えることができる。

なお、例えば、車両制御システム１１が、SLAM（Simultaneous Localization and Mapping）等の技術を用いて、対環境の相対位置補正するための自律自己位置の確認・高精度化やさらには取得地図データの補正データを作成するようにしてもよい。

本技術の説明として、道路環境に応じて走行が可能な自動運転レベルが自動運転の利用が許容されないレベル０から自動運転可能レベルが順次運転者の介在を要する程度、さらには高度な自動運転化レベル４乃至レベル５に至る分類の基づき説明をしている。

他方で、現行の道路交通法でまだ許容はされていいないものの、車両制御システム１１が低速での走行利用を前提として自動運転を捉えた場合には、現在広く議論がされている通常の高速度の安全な走行に必要な主要リスクを多重にカバーする走行環境状況認識や短期パスプラニングと言った認知・判定と走行プラニングを実施する必要性は必ずしも必須ではない。そして、超小型モビリティーとして、規制緩和で導入が進む低速運転車輛と既存従来型の型式認証対象の軽自動車の中間的位置付けで、低速走行限定の自律全自動運転車両を想定した場合、その様な車輛の自動運転での低速利用が可能となるメリットは大きい。

つまり、低速に限定した車両の利用を想定した場合、自動運転システムが短期判断を出来ない場合、時間軸を利用して車を止めたり、減速したりしてクリティカルポイントへの到達時刻を意図的に遅らせつつ、システムが車両の進行に必要な状況把握に時間をかけてもよく、さらに速度が遅ければその結果走行パス判断に時間を掛けて行ってよく、車両の進行を減速して進めることで補える。つまり、従来の高速自動走行に必要な常時更新されたLDMと言う「見えない軌道」に相当する地図情報が乏しくとも、車両を低速化した利用に限定する事で安全に走行させることが可能となる。

なお、クリティカルポイントとは、例えば、事前取得されたLDM等の情報により、該当する引き継ぎ完了すべき地図上の最終引き継ぎ地点を示している。クリティカルポイントは、その地点を該当する車両が通過した時点で手動運転、または、車両制御システム１１の要請に応じて運転者の手動復帰が求められた場合に、手動運転での対処が取れなかった場合に、危険を誘発する恐れがある地点である。

車両制御システム１１が手動運転を求める要因次第では、その地点は必ずしも手動復帰が出来ていない場合に直接危険を伴うとは限らない。車両制御システム１１が危険か状況の判断ができない何がしらの事象が発生しているために、運転者の手動運転復帰の完了が求めている地点である。

該当のクリティカルポイントは、車両制御システム１１が判断出来なかったり、通常の巡航速度で自動走行をするのに車両制御システム１１が不確実であったりするために、車両制御システム１１が判断した決定地点である。したがって、運転者が、該当のクリティカルポイントを通過した際に、地点通過までに自車の手動運転復帰の必要性を実感しない事も実際には多々発生しえる。

そのため、クリティカルポイントでは、該当地点での油断する運転者による引き継ぎ怠慢が多発する事で、いざ車両制御システム１１が本当に判断出来ない危険事象が、たまたま発生した状況と相まって起きた場合には、結果的に重大事故を誘発するリスクが包含される。したがって、該当クリティカルポイントで運転者の引き継ぎが確認できない際、運転者の引き継ぎ軽視を回避するため、そのクリティカルポイントを、引き継ぎ遅延や引き継ぎ開始遅延の際に該当運転者に付与するペナルテイの発行の判定基準点として用いてもよい。

他方で、高速走行環境での混在利用は、道路インフラの渋滞発生などインフラ機能の阻害要因が多いことから、低速での利用しかできない自動運転システムをそのまま高速道路環境で利用は適さない。

つまり、低速専用の自動運転車両はより限定した周辺認知機能でも移動走行を安全に実現が可能である一方、そのまま自動運転を高速運転に適用すると、最適な障害回避ルートパス選定などの高速処理が求めるが、安全な自動運転に必要な遠方認知や高速処理判定ができないため、高速走行が求められるルートの通過が困難である。

そこで、低速では運転者の手動運転能力の如何に関わらず低速限定での自動運転利用を許容する。さらに、一定の速度以上で区間通過を希望する運転者が手動運転として運転に介在復帰した場合に限り、走行速度を上げて自動運転化レベル３やレベル２での高速走行の区間通過用が可能となれば、同一の移動手段でより実用的な利用が可能となり、且つ、安全面も確保され、さらには道路インフラの低速車両の進入に起因する渋滞の発生等も防げるメリットが生じる。

つまり、本技術は、走行区間に応じて時々刻々変化する道路区間毎に適宜運転者が自動運転モードから手動運転モードに切り替える際の手動運転復帰能力の判定に主体を置いているが、低速時での自動運転を許容する形態の車両を高速で移動する場合の、運転者による手動運転復帰能力判定に拡張利用をしてもよい。

なお、上記説明においては、運転者の制御に対する能動的反応を確認する主要な実施例の構成例であるが、さらに車両の走行その物に具体的にノイズ走行を直接与える制御以外であってもよい。例えば、Virtual Reality効果などで視覚的効果を用いたり、ステアリングと車両制御を分離してステアリングの回転とトルクを擬似的に発生させたりまたはステアリングの回転自体は回転させずに打振に依る触覚的手法で回転体感を加えるなど行ってもよい。

本技術は、車両の動力源やエネルギー供給源に関わらず、少なくとも運転の一部を自動化することが可能な各種の車両に適用することができる。例えば、本技術は、ガソリン車、ハイブリッド車、プラグインハイブリッド車、電気自動車、燃料電池車等に適用することができる。また、本技術は、一般的な自動車以外にも、バス、トラック、自動二輪車等にも適用することができる。特に、本技術は、自律自動運転とマニュアル運転の切り替えが可能な各種の車両に適用した場合に効果が大きくなる。

＜コンピュータの構成例＞
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図１８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）４０１，ROM（Read Only Memory）４０２，RAM（Random Access Memory）４０３は、バス４０４により相互に接続されている。

バス４０４には、さらに、入出力インターフェース４０５が接続されている。入出力インターフェース４０５には、入力部４０６、出力部４０７、記録部４０８、通信部４０９、及びドライブ４１０が接続されている。

入力部４０６は、入力スイッチ、ボタン、マイクロフォン、撮像素子などよりなる。出力部４０７は、ディスプレイ、スピーカなどよりなる。記録部４０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部４０９は、ネットワークインターフェースなどよりなる。ドライブ４１０は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体４１１を駆動する。

以上のように構成されるコンピュータでは、CPU４０１が、例えば、記録部４０８に記録されているプログラムを、入出力インターフェース４０５及びバス４０４を介して、RAM４０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU４０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体４１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブル記録媒体４１１をドライブ４１０に装着することにより、入出力インターフェース４０５を介して、記録部４０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部４０９で受信し、記録部４０８にインストールすることができる。その他、プログラムは、ROM４０２や記録部４０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

＜構成の組み合わせ例＞
本技術は、以下のような構成をとることもできる。

（１）
自動運転モードから手動運転モードへの運転モードの切り替え時に、車両の正常な走行に対して逸脱する走行制御を行う走行制御部と、
前記逸脱する走行制御に対して行われた運転者による走行操作に基づいて、前記運転者の運転状態を検出する運転状態検出部と
を備える車両制御装置。
（２）
前記運転状態検出部により検出された前記運転状態に応じて、前記運転モードを切り替える運転モード切り替え部を
さらに備える前記（１）に記載の車両制御装置。
（３）
前記運転モード切り替え部は、前記運転状態検出部により検出された前記運転状態が、正常な走行が可能であることを表している場合に、前記運転モードを、前記自動運転モードから前記手動運転モードに切り替える
前記（２）に記載の車両制御装置。
（４）
前記走行制御部は、前記運転モードの切り替え時に段階を経て行われる複数の判定処理のうちの最終段階または最終段階に準じた処理として、前記逸脱する走行制御を行う
前記（１）乃至（３）のいずれかに記載の車両制御装置。
（５）
前記走行制御部は、前記逸脱する走行制御として、進行方向に対してずれた方向へ車両を移動させる走行制御を行う
前記（１）乃至（４）のいずれかに記載の車両制御装置。
（６）
前記走行制御部は、前記ずれた方向としての直角方向へ車両を移動させる走行制御を行う
前記（５）に記載の車両制御装置。
（７）
前記走行制御部は、前記逸脱する走行制御として、車両に対して急加減速を与える走行制御を行う
前記（１）乃至（６）のいずれかに記載の車両制御装置。
（８）
前記走行制御部は、前記運転モードを切り替えることを前記運転者に通知された後で、前記逸脱する走行制御を行う
前記（１）乃至（７）のいずれかに記載の車両制御装置。
（９）
前記運転状態検出部は、前記逸脱する走行制御が前記走行制御部により行われる前に、前記運転者の運転状態を受動的に検出する
前記（１）乃至（８）のいずれかに記載の車両制御装置。
（１０）
前記運転状態検出部は、前記逸脱する走行制御が前記走行制御部により行われる前に、前記運転者の運転状態を受動的または準受動的に検出し、
前記走行制御部は、前記運転者の状態と復帰予測タイミングを元に、前記運転者への通知タイミングを決定する
前記（１）乃至（９）のいずれかに記載の車両制御装置。
（１１）
前記運転状態検出部は、前記運転者が行う走行操作機器への補正動作に基づいて、前記運転状態を検出する
前記（１）乃至（１０）のいずれかに記載の車両制御装置。
（１２）
前記運転状態検出部は、前記運転状態として、前記運転者の反応性と覚醒度のうちの少なくともいずれかを検出する
前記（１）乃至（１１）のいずれかに記載の車両制御装置。
（１３）
前記走行制御部は、車両の自動運転モードを低速時に限定して許可を行い、所定の速度以上の走行に移行する際に自動運転から手動運転切り替えを判定し、所定速度以上で走行する際には前記運転者の操舵介在を求める
前記（１）乃至（１１）のいずれかに記載の車両制御装置。
（１４）
自動運転モードから手動運転モードへの運転モードの切り替え時に、車両の正常な走行に対して逸脱する走行制御を行い、
前記逸脱する走行制御に対して行われた運転者による走行操作に基づいて、前記運転者の運転状態を検出する
ステップを含む車両制御方法。

１０ 自動運転システム， １１ 車両制御システム， １２ 携帯端末， ２１ 周辺撮影部， ２２ 周辺情報取得部， ２３ 位置測定部， ２４ 入力部， ２５ 車両情報取得部， ２６ 運転者監視部， ２７ 通信部， ２８ 車両制御部， ２９ 表示部， ３０ 音声出力部， ３１ 発光部, ３３ 走行制御部， ３４ 車載装置制御部, ３５ 記憶部， １０１ 運転者撮影部， １０２ 生体情報取得部， １０３ 視線検出部， １０４ 認証部， １２１ 周辺監視部， １２２ 運転者監視部， １２３ 自動運転制御部， １２４ 通知制御部, １２５ ログ生成部， １２６ 学習部， １４１ 運転挙動分析部， １４２ 運転者状態検出部， １５１ ルート設定部， １５２ 自動化レベル設定部， １５３ 運転支援制御部， １５４ 運転モード切り替え制御部， １５５ 切り替え判定部， ２０１ ジェスチャー認識切り替え判定部， ２０２ サッケード情報切り替え判定部， ２０３ 音声認識切り替え判定部， ２０４ アクティブ反応応答検出切り替え判定部

Claims (14)

1. 自動運転モードから手動運転モードへの運転モードの切り替え時に、車両の正常な走行に対して逸脱する走行制御を行う走行制御部と、
   前記逸脱する走行制御に対して行われた運転者による走行操作に基づいて、前記運転者の運転状態を検出する運転状態検出部と
   を備える車両制御装置。
2. 前記運転状態検出部により検出された前記運転状態に応じて、前記運転モードを切り替える運転モード切り替え部を
   さらに備える請求項１に記載の車両制御装置。
3. 前記運転モード切り替え部は、前記運転状態検出部により検出された前記運転状態が、正常な走行が可能であることを表している場合に、前記運転モードを、前記自動運転モードから前記手動運転モードに切り替える
   請求項２に記載の車両制御装置。
4. 前記走行制御部は、前記運転モードの切り替え時に段階を経て行われる複数の判定処理のうちの最終段階または最終段階に準じた処理として、前記逸脱する走行制御を行う
   請求項１に記載の車両制御装置。
5. 前記走行制御部は、前記逸脱する走行制御として、進行方向に対してずれた方向へ車両を移動させる走行制御を行う
   請求項１に記載の車両制御装置。
6. 前記走行制御部は、前記ずれた方向としての直角方向へ車両を移動させる走行制御を行う
   請求項５に記載の車両制御装置。
7. 前記走行制御部は、前記逸脱する走行制御として、車両に対して急加減速を与える走行制御を行う
   請求項１に記載の車両制御装置。
8. 前記走行制御部は、前記運転モードを切り替えることを前記運転者に通知された後で、前記逸脱する走行制御を行う
   請求項１に記載の車両制御装置。
9. 前記運転状態検出部は、前記逸脱する走行制御が前記走行制御部により行われる前に、前記運転者の運転状態を受動的に検出する
   請求項１に記載の車両制御装置。
10. 前記運転状態検出部は、前記逸脱する走行制御が前記走行制御部により行われる前に、前記運転者の運転状態を受動的または準受動的に検出し、
    前記走行制御部は、前記運転者の状態と復帰予測タイミングを元に、前記運転者への通知タイミングを決定する
    請求項１に記載の車両制御装置。
11. 前記運転状態検出部は、前記運転者が行う走行操作機器への補正動作に基づいて、前記運転状態を検出する
    請求項１に記載の車両制御装置。
12. 前記運転状態検出部は、前記運転状態として、前記運転者の反応性と覚醒度のうちの少なくともいずれかを検出する
    請求項１に記載の車両制御装置。
13. 前記走行制御部は、車両の自動運転モードを低速時に限定して許可を行い、所定の速度以上の走行に移行する際に自動運転から手動運転切り替えを判定し、所定速度以上で走行する際には前記運転者の操舵介在を求める
    請求項１に記載の車両制御装置。
14. 自動運転モードから手動運転モードへの運転モードの切り替え時に、車両の正常な走行に対して逸脱する走行制御を行い、
    前記逸脱する走行制御に対して行われた運転者による走行操作に基づいて、前記運転者の運転状態を検出する
    ステップを含む車両制御方法。

Images