JP7238193B2 - 車両制御装置および車両制御方法 - Google Patents

Description

本技術は、車両制御装置および車両制御方法に関し、特に、自動運転から手動運転への引き継ぎをより安全に行うことができるようにした車両制御装置および車両制御方法に関する。

従来、運転者の姿勢崩れが運転者の癖によるものか否かを判定し、癖による姿勢崩れと判定された場合と癖以外の姿勢崩れと判定された場合とで、姿勢崩れに関する通知を異なる態様で行うことが提案されている（例えば、特許文献１参照）。

また、従来、車両の自動運転走行を開始する前に、自動運転から手動運転に復帰することができる運転能力が運転者にあるか否かを判定し、そのような運動能力がないと判断された場合に、自動運転走行の開始を禁止することが提案されている（例えば、特許文献２参照）。

特開２０１６－３８７９３号公報 特開２０１６－１１５３５６号公報

ところで、自動運転から手動運転への切り替えがスムーズに実行されることが必要である。例えば、その対策として、特許文献２には、自動運転の完了時に手動運転の引き継ぎがうまくいかない場合、車両を緊急に止めることが挙げられている。

しかしながら、交通量が多い場所等では、引き継ぎに失敗した車両を一時的に駐車する退避エリアを設けて誘導しない限り、渋滞の要因となってしまう。

本技術は、このような状況に鑑みてなされたものであり、自動運転から手動運転への引き継ぎをより安全に行うことができるようにするものである。

本技術の一側面の車両制御装置は、運転者の挙動を検出するセンサ部と、前記センサ部の検出結果に基づいて、前記運転者の所定の動作を検出する覚醒状態検出部と、前記所定の動作が検出されたことに応じて、自動運転モードから手動運転モードに運転モードを切り替え、前記所定の動作が検出されなかった場合、切り替えNGと判定し、自動運転モードから緊急退避モードに前記運転モードを切り替える運転モード切り替え部とを備え、前記運転モード切り替え部は、前記覚醒状態検出部により前記運転者の覚醒状態の低下が検出された場合、前記運転者に対し通知または警報を行い、前記通知または警報による前記運転者の覚醒状態の低下からの復帰の検出後、所定時間経過までに前記所定の動作が検出されなかった場合、切り替えNGと判定し、前記運転モードを、自動運転モードから緊急退避モードに切り替える。

本技術の一側面においては、運転者の挙動を検出するセンサ部の検出結果に基づいて、前記運転者の所定の動作が検出され、前記所定の動作が検出されたことに応じて、自動運転モードから手動運転モードに運転モードが切り替えられ、前記所定の動作が検出されなかった場合、切り替えNGと判定され、自動運転モードから緊急退避モードに前記運転モードが切り替えられる。そして、前記運転者の覚醒状態の低下が検出された場合、前記運転者に対し通知または警報が行われ、前記通知または警報による前記運転者の覚醒状態の低下からの復帰の検出後、所定時間経過までに前記所定の動作が検出されなかった場合、切り替えNGと判定され、前記運転モードが、自動運転モードから緊急退避モードに切り替えられる。

本技術を適用した自動運転システムの構成例を示すブロック図である。 運転者監視部および車両制御部の構成例を示すブロック図である。 切り替え判定部の構成例を示す図である。 ジェスチャー認識切り替え判定を説明する図である。 ジェスチャー認識切り替え判定を説明する図である。 ジェスチャー認識切り替え判定を説明する図である。 ジェスチャー認識切り替え判定を説明する図である。 自動化レベルを説明するための図である。 運転モードの切り替えを示す遷移図である。 自動運転制御処理を説明するためのフローチャートである。 自動運転制御処理を説明するための図１０に続くフローチャートである。 自動運転制御処理を説明するための図１１に続くフローチャートである。 LDMのデータの更新について説明する図である。 LDMのデータの更新について説明する図である。 LDMのデータの更新について説明する図である。 2次タスク実行可否についてまとめた表を示す図である。 運転モード切り替え判定処理を説明するためのフローチャートである。 自動運転制御処理を説明するためのフローチャートである。 自動運転制御処理を説明するための図１８に続くフローチャートである。 自動運転制御処理を説明するための図１９に続くフローチャートである。 自動運転制御処理を説明するための図２０に続くフローチャートである。 運転者覚醒復帰時間の推定処理を説明するためのフローチャートである。 コンピュータの構成例を示す図である。

以下、発明を実施するための形態（以下、「実施形態」と記述する）について図面を用いて詳細に説明する。

＜自動運転システムの構成例＞
図１は、本技術を適用した自動運転システム１０の構成例を示している。

自動運転システム１０は、車両制御システム１１および携帯端末１２を備える。

車両制御システム１１は、周辺撮影部２１、周辺情報取得部２２、位置測定部２３、入力部２４、車両情報取得部２５、運転者監視部２６、通信部２７、車両制御部２８、表示部２９、音声出力部３０、発光部３１、走行制御部３３、車載装置制御部３４、および、記憶部３５を備える。

周辺撮影部２１は、例えば、モノカメラ、ステレオカメラ、ToF（Time of Flight）カメラ、偏光カメラ、タイムゲーテッドカメラ、マルチスペクトルカメラ、赤外光等の非可視光カメラ等の各種の撮影装置を備える。周辺撮影部２１は、車両の進行方向を含む車両の周辺の撮影を行い、撮影により得られた画像を、周辺画像として車両制御部２８に供給する。

周辺情報取得部２２は、ソナー、レーダ、ライダ、温度センサ、湿度センサ、雨センサ、雪センサ、逆光センサ等の各種のセンサを備える。周辺情報取得部２２は、車両の周辺の情報を取得する。さらには、路側、自車近傍を走行する走行車両、歩行者、または自転車などからの情報を無線により取得することで、自車での測定のみでは得られない死角にある情報を得るようにしてもよい。

例えば、周辺情報取得部２２は、温度、湿度、天候、路面状態等の車両の周辺の環境に関する情報、並びに、車両の周辺の物体の種類および位置等の車両の周辺の物体に関する情報等を、周辺情報として取得する。周辺情報取得部２２は、取得した周辺情報を車両制御部２８に供給する。

位置測定部２３は、例えば、人工衛星を利用して現在位置を測定するGNSS（Global Navigation Satellite System）等の衛星航法システム、高度計、加速度センサ、ジャイロスコープ、または画像認識装置によるSLAM（Simultaneous Localization and Mapping）に代表される自律測位システムなどを組み合わせた測位システムを利用して、車両の現在位置を測定する。位置測定部２３は、測定結果を車両制御部２８に供給する。

入力部２４は、マイクロフォン、ボタン、スイッチ、タッチパネル、方向指示器、ジェスチャー認識機器等の入力デバイスを備える。入力部２４は、運転者を含む車両の搭乗者の指示やデータ等の入力を受け付ける。入力部２４は、入力された指示やデータ等を車両制御部２８に供給する。

車両情報取得部２５は、車両に関する各種の情報を含む車両情報を取得する。例えば、車両情報取得部２５は、車両の速度、加速度、角速度、進行方向等の車両の動きに関する情報を車両情報として取得する。

また、車両情報取得部２５は、例えば、アクセルペダル、ブレーキペダル、ステアリング、パーキングブレーキ、シフトレバー、方向指示レバー、パワー（イグニッション）スイッチ、ランプスイッチ、ワイパースイッチ等に対する操作タイミングおよび操作量等の運転操作に関する情報を取得する。

さらに、車両情報取得部２５は、車両の各部の状態、故障の有無等の車両の状態に関する情報を取得する。車両情報取得部２５は、取得した車両情報を車両制御部２８に供給する。

運転者監視部２６は、図２を参照して後述するように、運転者の監視を行い、監視結果を車両制御部２８に供給する。

通信部２７は、各種の通信方式の通信装置を備える。

例えば、通信部２７は、DSRC（Dedicated Short Range Communications）により無線通信を行う通信装置を備える。この場合、通信部２７は、道路沿いに設置されたITS（Intelligent Transport Systems）スポットと通信を行い、LDM（Local Dynamic Map）を取得する。

LDMは、例えば、路面情報、車線情報、3次元構造物情報等を含む静的情報、さらには時々刻々と変化する交通規制情報、道路工事の事前情報と実行現在の接近事前更新情報、広域気象情報等を含む準静的情報と最新更新情報、事故情報、渋滞情報、狭域気象情報等を含む準動的情報、並びに、周辺車両および歩行者情報、信号情報等を含む動的情報を含む。

短期間の近接通信でより多くの情報の広帯域通信を優先することで、無線通信リソースの有効利用が可能となる。この広帯域通信は、特に直ぐ前方に差し迫ってくるローカライズされた走行に必須な情報の取得や自車で取得した道路環境情報をインフラ側へアップロードする上で有効な手段となる。

また、通信部２７は、さらにより遠隔な通信が可能な、例えば、携帯電話機が通信を行う通信規格（3G／4G／LTE（Long Term Evolution）等）に従って通信を行う通信装置を備える。この場合、通信部２７は、インターネットなどの専用または共通の汎用ネットワークを経由して、サーバ等からより広域の地図データまたは遠方の進行地点の天候情報等の各種の情報を取得したり、交換したりする。

通信部２７は、ビーコン装置を備える。この場合、通信部２７は、安全運転またはパスプラニングを支援するために路側に設置された路側機との通信を行い、各種の交通情報を取得する。

車両が走行する予定の環境情報は、これら特定の手段に限定される必要はない。次世代携帯電話通信規格で予定される基地局通信以外に車車間のリレー通信または走行区間近傍クラウドサーバとの基地局を介さない近傍通信を行ってもよい。また、互いに冗長性を持たせて特定の通信システム故障に対して堅牢な構成にしてもよい。

通信可能な帯域により、進行しようとするルート上の環境データ更新鮮度が変わるため、特にLDMなどの更新鮮度が著しく悪い道路区間に自車が侵入した場合、該当区間での完全自動運転での走行に必要な情報鮮度は低下してしまう。その結果、本来、運転者が介在しなくても走行できる区間として定義された区間での運転者の介在復帰が求められるようになることも想定しておく必要がある。

通信部２７は、Bluetooth（登録商標）等の車内でも利用可能な近距離無線通信装置を備える。この場合、通信部２７は、スマートフォンやタブレット端末に代表される携帯端末１２等との通信を行い、各種の情報の送受信を行う。

通信部２７は、取得した情報を車両制御部２８に供給する。また、通信部２７は、他の通信装置等に送信する情報を車両制御部２８から取得する。

車両制御部２８は、ECU（Electronic Control Unit）等を備え、図２を参照して後述するように、車両制御システム１１の各部の制御を行う。

表示部２９は、各種の表示装置を備え、車両制御部２８の制御の下に、各種の画像や情報の表示を行う。例えば、表示部２９は、ヘッドアップディスプレイ又はウインドシールドの一部に設けられた透過型ディスプレイを備え、運転者の視界に画像や情報を重畳して表示する。また、例えば、表示部２９は、インストルメントパネル、カーナビゲーションシステムのディスプレイ等を備える。

音声出力部３０は、例えば、スピーカ、アラーム、ブザー等を備える。音声出力部３０は、車両制御部２８の制御の下に、音声情報、通知音、または警告音等の出力を行う。

発光部３１は、例えば、LED（Light Emitting Diode）、ランプ等の発光装置を備える。発光部３１は、車両制御部２８の制御の下に、運転者への各種の情報の通知や注意喚起等を目的とする光の点灯または点滅を行う。発光部３１は、点光源としてLEDなどに限定する必要はなく、インストルメントパネル全面または部分的なマトリックスアレイ表示部を介してのモノグラム表示などを用いて、詳細メッセージ情報などを運転者に提示するようにしてもよい。

走行制御部３３は、車両制御部２８の制御の下に、車両に搭載されている各種の装置のうち車両の走行に関わる装置の制御を行う。例えば、走行制御部３３は、エンジンの作動を制御するエンジン制御装置、モータの作動を制御するモータ制御装置、ブレーキの作動を制御するブレーキ制御装置、ステアリングの作動を制御するステアリング制御装置等を備える。

車載装置制御部３４は、車両に搭載されている各種の装置のうち、車両の走行に関わる装置以外の装置の制御を行う。例えば、車載装置制御部３４は、シートの傾きを制御するアクチュエータ、シートを振動させるアクチュエータ、ステアリングを振動させるアクチュエータ等の制御を行う。

記憶部３５は、車両制御システム１１の処理に必要なプログラムやデータを記憶する。
例えば、記憶部３５は、車両の走行等に関するログ、運転者の認証に用いる顔画像や認識識別抽出情報、運転者の各種の特徴の学習結果、車検情報、および車両事故診断情報等を記憶する。なお、必ずしも全ての情報を記憶部３５に記憶させる必要はなく、例えば、通信部２７を介して遠隔のサーバ等に情報を送信して記憶させるようにしてもよい。

＜運転者監視部２６および車両制御部２８の構成例＞
図２は、車両制御システム１１の運転者監視部２６および車両制御部２８の構成例を示している。

運転者監視部２６は、運転者撮影部１０１、生体情報取得部１０２、視線検出部１０３、および、認証部１０４を備える。

運転者撮影部１０１は、ToFセンサ、ステレオカメラ、３Dカメラ、3D Flash LIDARセンサ等の撮影装置を備え、運転者の撮影を行う。運転者撮影部１０１の撮影範囲は、運転席における、運転中の運転者の腰から上の部分を少なくとも含み、それより広い範囲を含んでいてもよい。なお、機能の一部をさらに座席を設けた体圧検出するSeat Strain Gaugeによる姿勢検出で代用してもよい。

運転者撮影部１０１は、瞳孔解析または運転者の眼球の詳細解析が可能な高速撮像手段をさらに備えており、高速撮像手段には、眼球のサッケードまたは固視および固視に伴う微動またはドリフトなどの脳内知覚反応が解析可能な機能を持たせるようにしてもよい。
高速撮像手段とは、通常のテレビジョン信号で用いる60fps(Frames per second)のフレーム更新レートより早い動画画像を示し、望ましくは、250fps以上の動画画像を撮像できる撮像手段を示す。

運転者撮影部１０１は、撮影により得られた画像を運転者画像として車両制御部２８に供給する。なお、運転者の撮影を行う際、より正確でかつ固有の情報を取得するために、例えば、運転者視界を妨害しないStructured Lightを発する光源や可視光成分を含まない赤外光の特定波長の光源等の専用の光源により運転者を照らすようにしてもよい。

生体情報取得部１０２は、運転者の各種の生体情報を検出するセンサ等を備える。生体情報取得部１０２が取得する生体情報には、例えば、脈拍、脈波、血圧、血流系、座席体圧、着座姿勢、脳波、脳内血流、眼筋電位、心電図、体温、体臭、皮膚温、発汗、ステアリンググリップ反応、呼吸状態、アルコール含有量等が含まれる。生体情報取得部１０２は、取得した運転者の生体情報を車両制御部２８に供給する。これらの主にパッシブ型の生体情報から運転者の確定的覚醒状況を直接把握する事は困難であるが、運転者の疲労状況や眠気等との緩い相関関係をもつ。後述する視線の動的解析を組み合せ判断することで、より正確な運転者状態の覚醒判断が可能となる。さらに、これらの情報は、運転者が着座ではない姿勢で視線検出が困難な状態において、運転者の活動量を観測する上で補完的役割をする。

視線検出部１０３は、運転者画像に基づいて、運転者の顔の向き、視線の向き、瞬き、眼球の動き（例えば、固視微動、サッケード、マイクロサッケード、ドリフト、またはトレモアなど）の検出（視線検出）を行う。なお、顔の表情、眼の開閉状態等の顔の検出を運転者画像に基づいて行う顔検出部、および、頭部の動きを運転者画像に基づいて検出する頭部検出部が視線検出部１０３に設けられるようにしてもよい。

視線検出部１０３は、視線の動的解析から運転者の外界への注意度や覚醒度の評価を行う。覚醒度は、運転者の意識の状態を表す度合いである。例えば、覚醒度が所定の閾値より高いことは、運転者の意識が正常であることを表す。視線検出部１０３は、視線検出結果や、注意度等の解析結果を車両制御部２８に供給する。運転者の視線解析は、後述する運転者固有の特徴学習に基づき判定を行う事で、運転者にあった精度のよい内部覚醒状態の判定が可能となる。

視線の挙動は、運転者固有の動的特性を多く含むことから、後述する認証部１０４で通常真っ先に行われる。

運転者個人の眼球動作は、外界の情報のうち運転者が気に掛けた情報に対して視線を移動するため、理解判断の状態に応じて順次何を目視するか、その視線の動作特性は身体的な特徴と合わせて経験的特性により振り向きざまに判断に至る認知判断の経過推移に依存して決まる。

視線の動的解析による運転者の覚醒判断は、運転者が外界対象物を眼球の物理方角的に正確に凝視・固視をしたかで決まるわけではない。もちろん、運転者が、車両を安全に停車中に特定の対象に目を固視して、例えば視界に入った人物の顔を見て誰か判断をしたり、または広告の看板など見て記載された内容を読んだりして、その内容の認知判断を行うような状況では、視線を特定対象に固視焦点を合わせる事がある。

しかしながら、一般の走行中の車両で運転者が外界の状況把握をしながら走行を行う場合、飛び出しやその他突発事象に的確な判断を要する事から、運転者は、特定の対象に視線を固定する事があまりない。

さらに、一般に、気になる対象事象を視線の中心視野から外れた周辺視野でとらえる事が多く、特にその場合、周辺視野の分解能が低い領域であることから、運転者は、内容把握の為に該当方角に中心視野の振り向きで対象を捕えようと、視線移動を開始する。いわゆる、眼球のサッケード動作が観測される。

一般に覚醒が出来ている運転者であれば、その最初の眼球移動で、一旦、対象事象の把握が完結すると、対象事象に視線を固定して観察を進める（固視）よりもむしろ、視界に入るその他のリスク要因を捕えるために、視線移動と詳細固視観察を行わなくとも次の対象に視線移動を繰り返す。対象事象の把握が完結とは、脳での認知の完結であり、必ずしも中心視野で対象を捉え、眼球の移動を一旦止めて固視をする必要はない。

つまり、運転者の視線のサッケード動作や固視の動的な特性には、運転者が脳内知覚の判断活動の一部が反映された形で表に表れていると言い換える事ができる。人が目的に合わせた情報の判断を完結する際、視覚情報として捉えた情報による刺激と関連する記憶情報から引き出された情報との間で一定以上の一致度が得られることで、判断を確定する認知判断の発火が起きて判断に至る。しかしながら、判断に至らない場合は、判断の確証を得るための観察段階にさらに移行し、判断の発火に必要な情報を待つことになる。

脳内の認知の活動は、運転者がサッケードの視線移動を始めた間にもすぐに脳内での知覚判断が既に始まるため、必ずしも視線が、大凡の方角が振り向きかかった時点で更に目の焦点を合わせ、更には中心視野で対象を捕えるまで知覚判断が終了するのに時間を要するとは限らない。

視線移動を開始するのは、周辺視野で捉えた動体視力による刺激情報のみではその内容判別が不十分なため、情報を補充する為に中心視野を該当方向へ振り向け、詳細判断に至ろうとする過程の開始であり、視線移動の途中で判断に至る場合は対象を必ずしも見終わらない。つまり、観察段階となる固視が観測されない。

例えば進行方向にある青色状態の信号機と、赤色の広告塔等とが両者判別ができない状態で運転者の周辺視界に入った場合、該当十字路を通過する際に信号機の色を判断する必要があることから信号機を振り向き判断を開始する事になる。

運転者は必ずしも赤色の広告塔を厳密に固視して見る必要はなく、ちらっと覗く程度でむしろ判断が完結するなら、そのまま進行した際に歩行者や自転車の飛び出しなどが無いか確認する方が優先されることもある。更には、同じ運転者でも視力の影響で環境の明るさ、眩しさなど複合要因で動的な観察手順などの動作が変化する。

視線検出部１０３は、このように運転者に固有の視線動的特性を環境に応じても学習する事で運転者の状況に応じて動的視線解析で覚醒状態推定が可能であり、視線動的解析の判定結果、注意度等の解析結果を車両制御部２８に供給する。また、これら視線動作の個人の特徴は、運転者固有の特徴動作として学習し、認証運転者の繰り返し動作の特徴として後述する学習部１２６で学習される。

認証部１０４は、例えば、運転者画像や視線解析画像に基づいて、運転者の認証を行う。その際に、虹彩認証処理を介してもよい。認証部１０４は、認証結果を車両制御部２８に供給する。この運転者の認証処理は、上述したように真っ先に行われる処理である。その後、前述の運転者固有の特徴と関連付けが行われる。

車両制御部２８は、周辺監視部１２１、運転者監視部１２２、自動運転制御部１２３、通知制御部１２４、ログ生成部１２５、および、学習部１２６を備える。

周辺監視部１２１は、周辺撮影部２１からの周辺画像、周辺情報取得部２２からの周辺情報、および、通信部２７からの各種の情報に基づいて、車両の周辺の監視を行う。

運転者監視部１２２は、車両情報取得部２５からの車両情報、運転者撮影部１０１からの運転者画像、生体情報取得部１０２からの運転者の生体情報、視線検出部１０３による検出結果、認証部１０４による認証結果、および、学習部１２６による学習結果等に基づいて、運転者の監視を行う。運転者監視部１２２は、運転挙動分析部１４１、および運転状態検出部１４２を備える。

運転挙動分析部１４１は、運転者撮影部１０１からの運転者画像、車両情報、および、学習部１２６による学習結果等に基づいて、運転者の運転挙動（運転操作や振る舞い等の、運転者固有の特徴や特性）を分析する。

運転状態検出部１４２は、運転者撮影部１０１からの運転者画像、運転者の生体情報、視線検出部１０３による検出結果、認証部１０４による認証結果、および、学習部１２６による学習結果等に基づいて、運転状態を検出する。運転状態には、認証した運転者の状態および運転者の覚醒状態が含まれる。運転状態の検出は、認証した運転者の状態に基づいて複数の段階的に行うことで、運転者の覚醒状態を高精度に、かつ、従来一般的に行われている１次元的に決め打ちで決定された閾値で判定する場合と比較して、固有学習をすることでより運転者固有の特性に準じた判定が可能となる。

自動運転制御部１２３は、自動運転の制御を行う。自動運転制御部１２３は、ルート設定部１５１、自動化レベル設定部１５２、運転支援制御部１５３、運転モード切り替え制御部１５４、および切り替え判定部１５５を備える。

ルート設定部１５１は、車両情報取得部２５からの車両情報に含まれる車両の加速度と角速度に基づいて、位置測定部２３により測定された車両の現在位置の補正を行う。また、ルート設定部１５１は、周辺情報取得部２２からの周辺情報、通信部２７を介して取得されたLDMおよび地図データや地図更新情報、並びに、記憶部３５に記憶されている地図データ等に基づいて、入力部２４を介して入力される目的地までの走行ルートを設定する。

自動化レベル設定部１５２は、周辺情報取得部２２からの周辺情報、並びに、通信部２７を介して取得されたLDMおよび交通情報、天候情報、路面情報などに基づいて、走行ルート上の、自動化レベルの走行区間毎の分布を設定する。また、自動化レベル設定部１５２は、ルート区間毎の自動化レベルの分布、入力部２４を介して入力されるユーザ設定等に基づいて、自動化レベルの設定を行う。

ここで、自動化レベルとは、自動運転のレベル、換言すれば、運転の自動化の程度を示すものである。自動化レベルの詳細については、図８を参照して後述する。

運転支援制御部１５３は、設定されている自動化レベルに応じて、走行制御部３３を制御して、運転者の運転の支援を行う。運転支援制御部１５３による支援により、部分的または全面的な自動運転が実現される。例えば、運転支援制御部１５３は、自動化レベル２で、ACC（Adaptive Cruise Control）、LKAS（Lane Keep Assist System）、TJA（Traffic Jam Assist）、AEBS（Advanced Emergency Braking System）等の一部制限機能付きの運転支援を行う。なお、自動化レベルの詳細については、後述される。

自動化レベル３で、道路信号機の認識・本線合流・離脱・幹線交差点の通過、十字路の優先順位制御、歩行者帯および歩行者の優先車両制御などさらに複雑な一般道路での状況判断やパスプラニングを包含した複合的多段制御が行われてもよい。

本明細書では、自動化レベル４の運転者介在を要しない完全自動運転制御も、この運転支援制御部１５３に包含して記載するが、厳密な制御区分けとしては運転支援制御部１５３のレベル４走行時では支援ではなく、完全な自動運転制御に徹した制御となる。

また、運転支援制御部１５３は、自動化レベル３以上の走行区間において、上記の運転支援より高度かつ複雑な制御（例えば、車線変更を含む追い越し等）を行ってもよいし、市街地等での歩行者や自転車を含む環境でも走行が可能な高度な無人での状況判断を伴う自律走行等による運転支援を行ってもよい。

さらに、特殊な利用形態となるが、公共交通が提供されていない地域等への移動手段確保の観点で自動運転の車両利用を分野として、低速時に限定して利用ができる安全のろのろ自動運転車両を社会的導入することも想定ができる。そうした際に、利便性の観点で運転者が、正常に手動運転が出来る場合に限り、該当車両を用いてより高速走行に車両の利用を拡張することも想定される。その際に、本技術は運転者能力判定を行うための有効な機能である。なお、この低速の限定したのろのろ運転という特殊な利用形態は、通常高速走行も行う従来型利用形態の標準的な車両における緊急退避モードとは異なる利用形態である。

自動運転が全速度域で安全に走行できる車両は高価な装備が必要となるが、低速のろのろ運転程度に機能を限るのであれば、より安価が装備で実現可能となる。本技術は、例えば、地方過疎地などの移動弱者の軽自動車の代用利用などが可能となる特殊な利用形態に適用してもよい。

車両制御システム１１においては、運転モードとして、いわゆる自動化レベル４以上に該当する無人での通常走行が可能な自動運転モード、自動化レベル３に相当する運転者が適宜、復帰介在可能な自動運転モード、主に運転者が主導的な制御判断に携わる自動化レベル２以下の手動運転モード、および、緊急退避モード等が設定されている。

自動運転モードは、運転支援制御部１５３による運転支援により実現されるモードである。手動運転モードは、運転者が主体で運転を行うモードである。緊急退避モードは、緊急時に所定の場所に車両を退避させるモードである。

緊急退避モードは、例えば、手動運転（手動運転モード）時において、運転者が病気等で運転ができない場合、自動運転（自動運転モード）から手動運転への切り替えの際に運転者の覚醒が確認できない場合、等に用いられる。

本明細書では、移動速度の優先度を下げて移動を行う手段として緊急退避モードを定義しているが、運転者が自動運転を、利用注意での手動引き継ぎが出来ない事で、緊急時の対策として退避帯に緊急退避モードにしてもよい。本明細書の内容では、退避帯に対する際の緊急退避モードと、公共交通手段を有しない僻地居住者で移動貧困者が緊急時に病院等へ移動する確保する手段として用いる際の移動優先（安全極低速でもよいが移動を可能とする）手段とで区別をしていない。

運転モード切り替え制御部１５４は、通信部２７を介して取得するLDM、その最新更新情報、天候、路面状況、および交通情報等に基づいて、LDMおよび交通情報等の確認頻度を変更する。

また、運転モード切り替え制御部１５４は、自動運転モードから手動運転モードへの切り替えの必要性を監視し、その必要性がある場合、自動運転モードで走行中、運転者に手動復帰を要求通知または警告通知をする。このとき、運転者の検出状態に応じて、運転モード切り替え制御部１５４は、自動運転モードから手動運転モードへの切り替えの必要性があるか否かの判定を行い、自動運転モードから手動運転モードへの切り替え処理を実行する。

なお、通知は、緊急引き継ぎを要しない状況なら、運転モード切り替え制御部１５４が運転者の通知周知を確実に判別する必要は必ずしもない。例えば自動運転で１時間程度継続走行した後に復帰が必要なケースでは、状況変化を検出した段階では運転モード切り替え制御部１５４が運転者に単純に通知のみを早期に行う程度でもよく、必ずしも運転者に通知内容を正確に認知したか、その通知の周知確認を取らなくても良い。ところが、緊急の引き継ぎが数分後に差し迫っている状況では、通知の聞き逃しは致命傷になり兼ねない。そこで、運転者の確実な認知のために周知確認が必要となる。

ただし、図示しない最適通知タイミング推定器より、予測されるタイミングまでに周知がされる事が望ましい。そこで、引継ぎ地点到達の例えば１０分前が最適通知タイミングとして推定された場合、その通知と周知確認を実行し、運転者の通知の周知が検出されない場合は、更にアラームとしての警告通知を行ってもよい。

切り替え判定部１５５は、運転モード切り替え制御部１５４の制御の下、運転状態検出部１４２による運転者の反応性および覚醒度の少なくとも一方の検出結果に基づいて、自動運転モードから手動運転モードへ切り替え判定を行う。切り替え判定部１５５による切り替え判定については、図３を参照して後述する。

通知制御部１２４は、表示部２９、音声出力部３０、および、発光部３１を制御し、運転者への各種の情報の通知、警告、または注意喚起等を行う。また、通知制御部１２４は、例えば、車載装置制御部３４より制御されるアクチュエータ等を用いて、運転者への各種の情報の通知、警告、または注意喚起等を行ってもよい。

運転者通知は、検出された運転者復帰行動記録、アクチュエータによるランブルストリップス路面走行を模した着座振動やハンドル振動、パネル情報表示、悪臭、背もたれを上げたり、着座位置移動など様々な運転者が不快に感じる要因発生源であっても良い。

ログ生成部１２５は、検出された運転者の復帰行動記録、車両において発生した各種のイベントを記録、自車の引き継ぎ時の周辺通知に対する応答、近傍車両またはインフラとの車車・路車通信に対するログの生成および更新を行う。ログ生成部１２５は、生成したログを記憶部３５に記憶させ、適宜更新する。

学習部１２６は、運転挙動分析部１４１により分析された運転者の運転挙動（運転に対する操作、復帰シーケンス、復帰の振る舞いなどの、運転者固有の特徴や特性）を学習し、学習結果を記憶する。

運転者挙動分析は、さらに走行環境の依存等を加味して、運転者が不快に感じる夜間や積雪時路面など状況別応答を考慮した個人の復帰特性を学習記録してもよい。通常、運転者は自分の復帰特性を把握しているので、システム学習推奨値より安全をとるために、運転者による早期通知のオフセット設定を行う仕組みがさらに有ってもよい。

そして、慎重な運転者であれば、車両制御システム１１が学習により推奨値として提示するタイミングより、安全面を重視して、車両制御システム１１が提示したタイミングよりも早期の通知を好む利用者がいる事も想定される。その対策としては、通知タイミングを運転者が好みで早める、いわゆる早期通知のオフセット設定を行う仕組みが有ってもよい。

ただし、通知タイミングを早めさせるのではなく、より遅くした設定をする事で、復帰が間に合わないケースが発生するのは望ましくない。運転者の復帰が間に合わずに結果的に遅れる事態が僅かでも発生するようになると、車両は緊急停車をする頻度を上がり、スムーズな交通を前提とする交通インフラに渋滞を誘発するという問題をはらむため、望ましくない利用形態となる。したがって、利用者が希望に応じて変更できるのは通知タイミングを早える設定のみとするべきである。

他方では、運転者自身が早期に復帰を意識して、車両制御システム１１が学習して通知するタイミングより早く復帰準備が整う場合には、車両制御システム１１による煩わしい通知や警報が出力される前に、事前に運転者による早期通知の取り消しをできる仕組みをあわせもってもよい。

この通知キャンセルは、目覚まし時計で例えるなら、なる前に止めるのと等しい。しかしながら、余りに早期に止める事で油断をして二度寝の様な事態が発生すると危険であるため、早期通知のキャンセルはその後に運転者の復帰推移を検出する手段があり、手動運転の復帰手順に遅れがある場合に復帰催促する仕組みがある際に利用を限定してもよい。

＜切り替え判定部の構成例＞
図３は、切り替え判定部の構成例を示す図である。

切り替え判定部１５５は、ジェスチャー認識切り替え判定部２０１、サッケード情報切り替え判定部２０２、音声認識切り替え判定部２０３、およびステアリング操作切り替え判定部２０４を含むように構成される。

階層的に判定をする事でより確実な判定を行うことができる。本実施例では上記の認識に限定して説明するが、さらに引継ぎの必要性の有無に関わらず、常時運転者の状態モニタリングをしてその情報に基づいて、通知・警報発報し、動的姿勢の行動解析を行ってから、本明細書の手順を追加させてもよい。

このような構成を有する切り替え判定部１５５においては、各情報に基づく判定が複数の段階的に行われ、それぞれの判定結果に基づき、運転モードを、自動運転モードから手動運転モードに切り替えることができるか否かが最終的に判定される。

・ジェスチャー動作の認識に基づく覚醒度の検出
ジェスチャー認識切り替え判定部２０１は、ジェスチャー動作を認識して運転者の覚醒度を検出することを、運転状態検出部１４２に行わせる。

ジェスチャー認識切り替え判定部２０１は、運転状態検出部１４２による引き継ぎ通知後の所定の周知確認動作の検出結果に基づいて、運転者の復帰内部状態を判定する。運転者の復帰内部状態の判定結果に基づいて、自動運転モードから手動運転モードに切り替えることができるか否かの判定が行われる。

本実施例では単純な指さしを所定の周知動作を例としているが、反復動作などより運転者の知能的判断を要する動作として周知確度を上げる動作であってもよい。

ここで、復帰内部状態とは、運転者の意識の状態である。復帰内部状態の判定は、運転者の意識が覚醒しているか否かを判定することに相当する。

特に、前方を見ての指さし動作では運転者が前方を見た視覚情報に基づき、その視線範囲に手と指先を振り向ける脳内判断のフィードバックが働かないと正確な指差し動作を行うことが困難である。またその動作のふらつきや正確度には、運転者の内部意識状態が反映されるため、脳内覚醒状態のアクティブ反応（後述）を見ることもできる。

自動運転が行われている間、運転者は、２次タスクとして、運転以外の作業や行動（仮眠を含む）を行うことができる。しかしながら、自動運転モードから手動運転モードへの切り替えの必要性がある場合、運転者は、２次タスクをやめて、自身の復帰内部状態を１次タスクとしての運転タスクを行うことができる状態にしなければならない。

なお、本明細書にて詳述はしないが、特に仮眠などの運転意識状態から完全に離脱をしているかはパッシブ方式で運転者状態観測を継続的に行い、必要なタイミングで運転者を復帰させるための覚醒通知（アラーム等）を行う。本技術は、この通知後の運転者状態で運転者が、外見的復帰が出来た際に、車両制御システム１１が、運転者の通知に対する周知確認と覚醒度判断が目的を行う処理である。

運転者の復帰内部状態が運転タスクを行うことができる状態にあるか否かの判定は、例えば、運転者が、一旦目が覚めて仮眠から起き上がったときに、運転者の車両前方を見ながら指差し確認を行う動作である、指差し確認の合図を検出することにより行われる。

指差し確認の合図を正常にふらつきなく検出することができた場合、運転者の復帰内部状態が運転タスクを行うことができる状態にあると判定され、検出することができない場合、運転者の復帰内部状態が運転タスクを行うことができる状態にないと判定される。なお、姿勢が安定せずに検出が正しく行われない場合には再実行でリトライ処理等を行ってもよい。再リトライの通知を車両制御システム１１が行ってもよい。

指差し確認の合図は、例えば、電車や乗り合いバスの車掌が行うような、確認対象となる方角に向け、その挙げた腕の指で確認したい事象の方向を指す動作である。以上の説明の通り、従来のパッシブな生体信号観測に比べて、運転者の指差しジェスチャーは運転者の能動的行動を知覚に直接結びつけた動作として検出が可能となる事から、車両制御システム１１が運転者の手動運転可能であるか、格段に正確に検出する事が可能となる。そして検出結果の曖昧さが少ないメリットもある。

本実施例では該当の指差し合図を、運転者が引き継ぎ通知を受けて先ずは規定確認手順として、車両が進んだ場合の直近事象として車輛前方の確認をする想定で、片方の腕を略水平になる位置に上げ進行方向前方を確認する。

以下、適宜、車両前方を見ながらの指差し確認の合図を、前方指差し確認合図という。

運転状態検出部１４２は、運転者が行う前方指差し確認合図を所定のジェスチャー動作として検出する。運転状態検出部１４２は、ジェスチャー動作を検出した場合、運転者の視線、運転者の利き目または両目の位置、および、指差しの位置に、所定の関係があるか否かを判定する。この判定は、例えば、運転者撮影部１０１を構成する３次元センサと２次元センサにより検出された情報の組み合わせに基づいて行われる。

例えば、運転者の指先が、運転者の視線を含む垂直平面の近傍の位置にあり、かつ、運転者の視線より下に位置する場合に、所定の関係があるものとして判定される。これにより、運転状態検出部１４２は、運転者が前方に向かって指を差したことを正しく認知し、運転者の覚醒度の検出を行う。

なお、ジェスチャー動作には、運転者固有の特性である癖や若さなどの影響が加わることが多い。運転状態検出部１４２は、運転挙動分析部１４１による運転者の運転挙動の分析結果や、その分析結果を用いた学習部１２６による学習結果等なども踏まえて、前方指差し確認合図の検出を行う。

このように、運転状態検出部１４２は、運転者画像、運転者の生体情報、視線の検出結果、運転者の運転挙動の分析結果、運転者の認証結果、および、学習部１２６による学習結果等に基づいてジェスチャー動作を検出することで、運転者状態を検出する。

また、運転状態検出部１４２に、運転姿勢復帰シーケンスのトラッキング（運転者の状況把握のための動作の追跡）を行わせるようにしてもよい。運転姿勢復帰シーケンスのトラッキングは、２次タスク時の運転者の着座の有無を検出し、さらに、運転者の姿勢が運転可能な状態に復帰するまでのシーケンスをトラッキングにより検出する処理である。

そのトラッキングに加えて、眼球挙動解析を行うことによって、運転者の反応性および覚醒度の検出を行い、運転者の手動運転への復帰能力が回復しているかどうかを判定してもよい。なお、トラッキングにより追跡する運転者の動作には、車両前方を確認する動作と、それに次ぐ、通知または警報を確認する動作とが少なくとも含まれる。

運転者による前方指差し確認合図の判定が、視線、利き目または両目の位置、指先、手、または拳の位置、車両前方の道路の位置、および、３次元ToFセンサなどの姿勢トラッキング装置による検出結果などを複合的に用いて行われるようにしてもよい。指先位置の判定を行ってから、動作正確度判定をさらに行ってもよい。

このように、前方指差し確認合図は、実際に車両前方を見て、その状態で車両前方を指差すという脳内の判断行動である。このように、所定の動作ジェスチャーを求めることで、運転者が、前方指差し確認合図をどこまで忠実に表現できるのか等の身体的能力などの運転者固有の特性も合わせて確認し、学習することができる。特に、以下に説明する通り、多段階の運転者状態の推移観測を行う事で、他の手段と組み合わせる事で手動運転の正常引き継ぎが実行できたか判別が可能であり、その正常な引き継ぎの際の指差しジェスチャー推移を正常とする教師データと判定する仕組みを取れることから、人為的に正常推移のデータを選定判別して準備を行わなくともよい。

・サッケード情報に基づく覚醒度の検出
サッケード情報切り替え判定部２０２は、運転者の眼球サッケード挙動解析、マイクロサッケード挙動解析、固視微動やドリフトといった一連の脳内知覚活動に反射して連動した動作の解析を行って、運転者の覚醒度を検出することを、運転状態検出部１４２に行わせる。

ここで、特定の運転者の脳内判断行動を検出するために、その反射応答特性には、運転者個人の時間的に変動し得る視力や危険有無等の脳内の反射的活性反応により挙動が変化する。そのため、運転者認証を行った固持特性学習に基づいた学習して挙動特性に応じて判定を行う事で、より正確判断が可能となる。

サッケード情報切り替え判定部２０２は、運転状態検出部１４２による検出結果に応じて、運転者の復帰内部状態を判定することで、運転モードを、自動運転モードから手動運転モードに切り替えることができるか否か、また、覚醒途中の状況を判定する。

・音声認識に基づく反応性および覚醒度の検出
音声認識切り替え判定部２０３は、運転者の音声による応答を元に、運転者に判断認識させて、運転者の反応性および覚醒度を検出することを運転状態検出部１４２に行わせる。

例えば、運転者が考えないと応答できないような質問が音声によって提示され、質問に対する応答が運転状態検出部１４２により検出される。運転状態検出部１４２は、運転者が質問に対して応答できるか否かに基づいて、運転者の反応性および覚醒度を検出する。
例えば、運転者が正しく応答できた場合、運転者の反応性および覚醒度が良好であるとして検出される。

また、間違って応答した場合は、覚醒復帰途中と判定ができ、引継ぎ点までに時間的猶予があれば再トライを実行も出来る。しかしながら、一切の応答がない場合は引継ぎリスクが増すために、LDM情報等を元に判断し、特に道路環境が悪化する様な区間の走行なら後述するように早期の緊急退避モードに早々と移行してもよい。

音声認識切り替え判定部２０３は、運転状態検出部１４２による検出結果に基づいて運転者の復帰内部状態を判定することで、運転モードを、自動運転モードから手動運転モードに切り替えることができるか否かを判定する。

・ステアリング操作に基づく反応性および覚醒度の検出
ステアリング操作切り替え判定部２０４は、走行制御部３３に、ノイズとなるトルクをステアリングに与えることによって操舵ズレを起こさせ、正常な走行から逸脱する走行（以下、ノイズ走行と称する）を意図的に発生させる。例えば、ノイズ走行には、車線に沿った進行方向に対して車両を車線に略進行方向に保ったまま、略直角方向などの、ずれた方向へ車両を移動させる走行、車線を横切る方向を変えた横移動、または急加減速を意図的に与える走行がある。車両が横風を受ける場合、方向を変えずに横に小量ずれた方向へ車両が移動される。

ステアリング操作切り替え判定部２０４は、このようなノイズ走行に対して、操舵を是正するためのトルクを運転者が自らの意志で付加させたり、アクセルやブレーキを踏んだりするなどの応答を運転者が正しく実施できていること等を、運転状態検出部１４２に検出させる。

ステアリング操作切り替え判定部２０４は、運転状態検出部１４２による検出結果に基づいて運転者の復帰内部状態を判定することで、運転モードを、自動運転モードから手動運転モードに切り替えることができるか否かを判定する。

切り替え判定部１５５においては、このように複数の情報が用いられて、運転者の復帰内部状態（覚醒しているか否か、またはその度合い）が判定される。

また、切り替え判定部１５５においては、切り替え判定の最終段階または最終段階に準じた段階の判定として、ステアリング操作切り替え判定が行われる。

これら多段階の運転者覚醒状態判別を行うことにより、運転モードを、より確実に、より安全に、自動運転モードから手動運転モードに切り替えることが可能になる。そして、この引き継ぎ動作が同一の運転者により繰り返し実行され続けることで正常な引き継ぎの際の教師データと失敗の際の教師データも自己整合的に収集され、利用に頻度に応じて検出精度の向上が図られる。

＜ジェスチャー認識切り替え判定の詳細＞
次に、図４乃至図７を参照して、ジェスチャー認識切り替え判定の詳細について説明する。

自動運転モードで走行中の車両において、運転者が２次タスクに従事していたとする。
運転モード切り替え制御部１５４は、LDM更新または交通情報等からの緊急通知に伴い、手動運転への復帰が必要であると判定した場合、通知や警報を出すことによって、そのことを運転者に通知する。

緊急度が高ければ、運転者はすぐに状況を把握して、手動による運転を開始しなければならない。手動運転への復帰を促した後の運転者の手順としては、前方の状況を目視確認し、その上で、次に取るべき行動に移ることが、人間工学（行動学）的に見て最も妥当な手順といえる。

すなわち、２次タスク中の運転者が手動運転への復帰の通知や警報を受けた場合、まずは、車両前方を目視確認し、目で状況を直接捉えることで緊急性の把握を瞬時に行い、その段階を踏んでから、提示されるメッセージの確認、状況把握、または、次の行動に移るのが望ましい手順といえる。

したがって、運転者が２次タスクを中断した直後に、車両前方の状況を目視で確認していることを正確に検出することが重要となる。

そこで、前方の状況を運転者が把握していることを正確に捉える１つの方法として、車両前方を見ながら車両前方を人差し指で指す、前方指差し確認合図を運転者に行わせる。
このような動作を検出することで、運転者が２次タスクを中断して、車両前方の目視確認をしたことの判定が可能になる。

日本国内の電車や乗り合いバス等を運航する多くの事業主は、運転者や車掌等に、安全確認のための手順として、指差し確認を推奨したり、ルール化して導入したりしている。
指差し確認は、さらに、視線を早期にとらえる補助ガイドとしても働き、多くの安全確認の用途に利用されている。

運転者は、視線で対象物を捉え、かつ、手を動かし、最終的に、視線の延長線上で指先と対象物が略重なるように指差しを行う。

このような指差しを行っている間に前方を見ていない場合、あるいは、指差しができていない場合、運転者は、車両前方の道路の状況把握が不十分である可能性が高い。

これに対して、車両前方を見ながら、車両前方を指差す動作を行った場合、その動作は、指先の位置あわせを意識的に行っている動作となるため、車両前方の道路の状況把握がしっかりできている可能性が高い。

そこで、自動運転モードで走行中に手動運転への復帰を促す場合の手順として、車両前方の把握を行い、前方指差し確認合図を行う手順が定められる。手順に沿った動作を運転者に行わせ、それを運転状態検出部１４２が検出することによって、運転者の覚醒状態を把握することができる。

図４は、運転状態検出部１４２が検出する前方指差し確認合図の例を示す図である。

図４に破線で示すように、例えば、運転者２５０の右眼２５１の位置を基準として、運転者２５０の視線２５２の方向を含むように垂直平面２５３が設定される。垂直平面２５３は、道路面に対して略垂直でかつ進行方向に略平行な仮想的な平面である。ただし、走行中道路が直線道路とは限らないため、必ずしも一律に方向を制限をする必要はなく、LDM情報より方角適用をしてもよい。

また、図４に破線で示すように、運転者２５０の右眼２５１の位置を基準として、運転者２５０の視線２５２の方向を含むように平行平面２５５が設定される。平行平面２５５は、目の高さに設定された、道路面と略平行な仮想的な平面である。

指差し確認は、一見煩わしいものに思われるかもしれない。しかしながら、仮眠等の２次タスクから意識を完全に運転に向けた状態で正しく進行方向をとらえ、前方指差し確認合図を行っていれば、運転者２５０の目（利き目または両目）と指先２５４とを通り、車両の進行方向に向けた直線は、運転者２５０の視線２５２と略一致する。

その際、通常、指先２５４は、運転者２５０の視線２５２を遮らないように、垂直平面２５３を中心として設定された近傍の幅ｗの範囲に位置し、運転者２５０の視線２５２より距離hだけ下に位置することが多い。距離hは、例えば、数mm乃至数cmの距離を表す。

図５Ａは、利き目が右眼である場合に、車両の進行方向を見ている運転者２５０Ａを上から見た平面図である。なお、図５Ａには、利き目が左眼である場合の運転者２５０Ｂも破線で示されている。図５Ｂは、図５Ａの運転者２５０Ａの状態を側面から見た図である。

図５Ａには、右眼２５１の位置を基準として設定された垂直平面２５３が示されている。垂直平面２５３には、運転者２５０Ａの視線２５２の方向が含まれる。運転状態検出部１４２は、運転者２５０Ａの画像において、図５Ａに示すように、垂直平面２５３を挟む一定の範囲ｗ内に運転者２５０Ａが指先２５４を停止させていることを、前方指差し確認合図の動作として検出する。

指先２５４の位置は、ToFセンサなどでトラッキングすることにより検出される。なお、トラッキングの対象は、指先だけに限らず、指、手、拳などであってもよい。

なお、運転者によって個人差があるため、前方指差し確認合図の検出には、学習部１２６による学習で得られた個人特性が用いられる。

図５Ｂには、右眼２５１、視線２５２、および指先２５４を側面から見た位置関係が示されている。指差しは車両の進行方向の確認を主目的とするものであるので、基本的には、指差しを行ったときの指先２５４の位置は、進行方向を見る視線２５２を遮らないような位置になる。

運転状態検出部１４２は、図５Ｂに示すように、指先２５４の位置が視線２５２より距離hだけ下の位置にあるようなジェスチャー動作を、前方指差し確認合図の動作として検出する。

以上のような前方指差し確認合図を検出することで、運転者２５０が手動運転に意識を向け、覚醒している状況にあることを把握することができる。

なお、前方指差し確認合図の検出方法は、以上のような方法に限らない。視線の動き、頭部の動き、指または手を進行方向へ指差す動作などの各種の動作を組み合わせた動作を所定のジェスチャーとして認識する機能を備えた合図検出器を車両制御システム１１に設けるようにしてもよい。

図６は、前方指差し確認合図の手順の例を示す図である。

図６Ａには、車両の自動運転中に、携帯端末１２で２次タスクに従事している運転者２６１が示されている。携帯端末１２は、スマートフォンやタブレット端末などである。図６Ａにおいて、運転者２６１は、２次タスクとして、配送物の伝票処理や次の配送先の確認等を行っているものとする。

そして、運転者２６１は、図６Ｂに示されるように、その２次タスクから少なくとも片手を開放して前方指差し確認合図を行う。

この前方指差し確認合図には、作業の中断と、前方に注意を向けて、手動運転を引き継ぐ意識を有していることを表現する意味合いが含まれる。

２次タスクが運転席外で行われることも想定されるため、運転者２６１の運転席への着座動作を検出し、その検出後に、運転者２６１の指差し動作の検出が行われるようにしてもよい。

なお、着座動作の検出が、着座座席の荷重評価に基づいて行われるようにしてもよい。

また、着座動作の検出が、手動運転への復帰通知、警報、アラームなどをトリガーにして行われるようにしてもよい。

例えば、図６Ａの状態において、自動運転可能区間の走行中に、予定外の事象の発生で手動運転への復帰が差し迫ってきたとする。

このとき、車両制御システム１１においては、手動運転モードへの切り替え（手動運転への引き継ぎ）の通知または警報が行われる。運転者２６１は、通知または警報を受けて、図６Ｂに示されるように前方指差し確認合図を行うことになる。これにより、運転の引き継ぎを運転者に速やかに行わせることが可能となる。

なお、運転者２６１による前方指差し確認合図の後、手動運転への引き継ぎポイントの情報が携帯端末１２やインストルメントパネル全面または部分的なマトリックスアレイ表示部等のモニタに表示されるようにしてもよい。このような情報の提供を受けた運転者２６１の応答操作を検出することにより、運転者の覚醒度を検出するようにしてもよい。

車両制御システム１１が、運転者の意識が覚醒しているかの把握を高い精度で行うことができなかった場合、走行中の車両の安全を確保するため、車両を減速したり停車したりする必要がある。

ただし、手動運転モードへの切り替えにかかる車両の減速や緊急停車等の手順を交通量の多いインフラで実行すると、後続車へのインパクトが大きく、交通容量が制限されると瞬く間に渋滞を誘発し、経済的損出を発生するため、好ましくない。

運転者の意識が覚醒しているかの把握を高い精度で行うために、前方指差し確認合図の手順に加えて、他の手順を用いるようにしてもよい。

例えば、前方指差し確認合図を手動運転への引き継ぎ手順全体のうちの一部の初期の手順とし、サッケードの解析等の手順を追加してもよい。

また、前方指差し確認合図を検出した後に、運転者がステアリングを握る動作を行ったか否かを検出する手順を追加することも可能である。

さらに、前方指差し確認合図を検出した後に、視線検出により、運転者が、状況把握のための動作を始めたか否かを検出するようにしてもよい。状況把握のための動作としては、車両前方を改めて確認する動作、後方確認用のミラーやモニタなどを確認する動作、車両制御システム１１側から提示されるメッセージや通知を確認する動作などがある。これらの状況把握のための動作を、所定のジェスチャーとして検出して、復帰内部状態になったと判定してもよい。

図７は、前方指差し確認合図の手順の例を示す図である。

以上、図７に示されるように、指先、手、拳、および身体の一部を、車両前方へ振り向かせ、その際に運転者２７１自身と、その前方指差し確認合図と、運転者２７１の視線２７２の先である車両前方の道路に対してそれらを包含する垂直平面が確認できれば、運転者２７１が、１次タスクとしての運転タスクを行うことができる復帰内部状態になったとみなすことができる。

なお、復帰内部状態になったかの判定としては、前方指差し確認合図に限らず、少なくとも、車両の進行方向の確認動作と、それに次ぐ、車両制御システム１１から提示されるメッセージや通知などを確認する動作とが順に行われたかの検出結果が用いられてもよい。

人が遠方の事象をいち早く知りたい場合、警報などの通知画面を見て状況を理解するよりも、まずは、車両の進行方向を見て眼に入った状況を理解し、それから、通知画面を見るなどの解釈に少し時間がかかる行動がなされるため、この動作の順が重要である。

＜自動化レベルの例＞
図８は、自動化レベルの例を示している。ここでは、SAE（Society of Automotive Engineers）により定義された自動化レベルの例を示している。なお本明細書では、便宜的にSAEで定義された自動運転のレベルを参照して用いているが、いざ自動運転が広く用いられた場合の課題や妥当性が業界で検討し尽くされてなく、必ずしも定義通りの解釈で用いていない。また、利用形態は本明細書に記載されている内容を保証する利用形態とは限らない。

自動化レベルは、レベル０からレベル４までの５段階に分かれる。

自動化レベル０は、”運転自動化なし”と称される。自動化レベル０では、運転者が全ての運転タスクを実施する。

自動化レベル１は、”運転者支援”と称される。自動化レベル１では、自動運転を行うシステム（以下、単にシステムと称する）が例えば、前後および左右のいずれかの車両制御に係る限定された運転タスクのサブタスクを実施する。

自動化レベル２は、”部分運転自動化”と称される。自動化レベル２では、システムが前後および左右の両方の車両制御に係る運転タスクのサブタスクを実施する。

自動化レベル３は、”条件付運転自動化”と称される。自動化レベル３では、システムが限られた領域内で全ての運転タスクを実施する。この自動化レベルで実際にどの程度の２次タスクが実行可能か明確にされていない。運転者は、車両の走行中に、運転以外の作業や行動、例えば、携帯端末１２の操作、電話会議、ビデオ鑑賞、ゲーム、思考、他の搭乗者との会話等の２次タスクを行うことができると考えられるが、安全性の面で課題が多い。

つまり、この自動化レベル３の定義の範囲では、システムの障害や走行環境の悪化等による予備対応時（フォールバック中）に、システムの要求等に対して、運転者が運転操作を行う等の対応を適切に行うことが期待される。言い方を変えると、この間は、運転者は復帰の準スタンバイ状態にいる必要がある。

自動化レベル４は、”高度運転自動化”と称される。自動化レベル４では、システムが限られた領域内で全ての運転タスクを実施する。また、予備対応時（フォールバック中）に、運転者が運転操作を行う等の対応を行うことは期待されない。したがって、運転者は、例えば、車両の走行中に、本当の意味での2次タスクが可能となり、状況次第では、仮眠をとることも可能である。

したがって、自動化レベル０乃至自動化レベル２では、運転者が全て或いは一部の運転タスクを実施し、安全運転に係る監視、対応主体は運転者となる。この３つの自動化レベルでは、運転者は必要に応じて常に運転に復帰できる能力が求められる。したがって、走行時の注意低下や前方注意を損なう、運転以外の２次タスクに運転者が従事することは、許容されていない。

一方、自動化レベル３および自動化レベル４では、システムが全ての運転タスクを実施し、安全運転に係る監視、対応主体はシステムとなる。ただし、自動化レベル３では、運転者が運転操作を行う必要が生じる場合がある。また、走行ルートの一部に自動化レベル３および自動化レベル４を適用できない区間が存在する場合があり、そのような区間では、自動化レベル２以下に設定され、運転者が運転に介在する必要がある。

なお、自動運転の際に、２次タスクを許容した場合に、運転者の覚醒度の把握が困難であることから、法規的にも２次タスクの実行が禁止のままで議論の進捗が停滞している。
しかしながら、本技術の前方指差し確認（ジェスチャー認識）合図では、極めて有効な運転者復帰能力確認となるため、２次タスク実行が許容される目途が十分に期待できる。

自動車メーカーにとって自動運転の最大の利点である自動運転中の２次タスクを実行しても、必要なタイミングで通知確認を行うことで、安全が担保される仕組みを構築できるため、大きな期待がもてる。

＜運転モードの切り替え＞
なお、以下、運転者が何らかの形で介在して直接的に車両の運転へ影響を及ぼす必要がある運転を「手動（マニュアル）運転」と称する。したがって、自動化レベル０乃至自動化レベル２では、手動運転が行われる。図８に示されるように、自動化レベル０乃至自動化レベル２での運転モードを、手動運転モードと称する。

一方、以下、運転者の介在を全く必要としない運転を、自律自動運転（自動運転）と称する。したがって、自動化レベル３および自動化レベル４では、基本的に自動運転が行われる。ただし、自動化レベル３では、システムの要求に応じて、手動運転を行う必要が生じる場合がある。すなわち、自動化レベル３では、運転者の運転操作の離脱が限定的である必要があるため、注意下での自動運転が行われる。よって、自動化レベル４での運転モードを、自動運転モードと称し、自動化レベル３での運転モードを注意下自動運転モードと称する。

なお、本技術の骨格において、注意下での自動運転として定義されているレベル３の自動運転の利用は、長時間継続利用の運転モードとして、人間工学的に見て適さないという考えに基づいている。したがって、レベル３の自動運転は、運転者は運転操舵に直接は介在が出来ないにも関わらず、且つ完全な２次タスクに没頭も出来ずのどっちつかずの状態を継続しなくてはいけないため、利用形態によってはとても苦痛となる走行区間と言える。

無論、短期に運転復帰できる２次タスクに限定する事は出来るが、実用的な視点で運転者にレベル３での利用の制限を法的に掛ける事は出来るとしても、人間の生体的特性から単調な状況が続いた場合に無意識のうちに眠くなったり、２次タスクに知らずの内に没頭してしまったりすることがある。

つまり、注意下での自動運転となるレベル３の自動運転モードは、継続的な長期利用を想定したモードではない。レベル３の自動運転モードは、自律自動運転のまま区間通過が難しいかリスクを伴う場合に、運転者を短期的にバックアップとして復帰待機させる利用と、自動運転モード４から切り替えの際の緩衝区間に用いる利用に限定された自動運転モードである。ただし、携帯端末器の操作などで、運転者がタブレットの画面閲覧などを通じて常に運転への覚醒復帰の意識接続を維持する手段と併用する利用等に限れば、定常利用を行ってもよい。

緩衝区間に用いる利用は、自動運転モード４から急激に手動運転モードへ復帰させるには、覚醒復帰の確かさの確認が不十分となるために危険を伴うので、その切り替えの際の緩衝区間を通過するために備える自動運転モードという考えに基づいている。

この緩衝区間のモードを的確に備え実行するシステムの技術を提供することで、手動運転復帰が必要な際に、引き継ぎ失敗車両が多発して道路インフラ環境での引き継ぎ失敗車両による渋滞発生などを回避し、健全な道路インフラ環境を担保する狙いがある。

ここで、本技術においては、ジェスチャー認識、サッケード情報、ステアリング操作、または音声認識を用いた運転者の反応性および覚醒度の検出に応じて、自動運転モードから手動運転モードへの切り替えの可否が判定され、適宜、実行される。

図９は、運転モードの切り替えを示す遷移図である。この自動運転モードから手動運転モードへの切り替えには、図９の白抜き矢印＃１に示されるように、自動化レベル４の自動運転モードから、運転者の運転操作が少しでも介在する意味を含めて、自動化レベル３の注意下自動運転モードへの切り替えも含まれる。

自動運転モードから手動運転モードへの切り替えには、図９の白抜き矢印＃２に示されるように、自動化レベル３の注意下自動運転モードから、自動化レベル０，１，２の手動運転モードへの切り替えも含まれる。

自動運転モードから手動運転モードへの切り替えには、図９の白抜き矢印＃３に示されるように、自動化レベル４の自動運転モードから、自動化レベル０，１，２の手動運転モードへの切り替えも含まれる。

基本的にこの間のモード遷移は、自動化レベル４での運転者の手動運転への復帰能力が担保されている場合に限定されるため、切り替え直前まで運転者の能動的な操舵能力は、観測（判定）されていない。したがって、切り替えが可能な状況は、直線の危険を全く伴わない安全が担保された道路で且つLKASやACCなどの運転者の万が一の操舵能力不全に対して残存ADAS機能で運転者引き継ぎ不全に対処が可能な場合に限る。または、運転者のリクエストに応じ、運転者の手動運転能力判定を実行した上で初めて引き継ぎを完結し、不確実な操舵検出段階で操舵介在による制御を委ねると、寝ぼけた状態の運転者による操作で事故を誘発することも想定される。

その為、車両の制御を司る車両制御部２８は、走行中に自動から手動への切り替えが必要な区間に侵入するのに先立ち、自動化レベル３の区間設定をし、その間に運転者の復帰能力判定を進め、走行可能自動化レベルが最大でもレベル２以下の区間侵入に備える。

白抜き矢印＃１，＃２，＃３の切り替えの際に、運転者の反応度および覚醒度を検出することができない場合、運転モードは、太線矢印＃１１，＃１２，＃１３に示されるように、緊急退避モードに移行される。なお、自動化レベル０，１，２の手動運転モードからは、体調変化などの緊急時にも、この緊急退避モードに移行される。

なお、本明細書において、緊急退避モードの詳述はしないが、実際には、２つの機能を有している。１つ目の機能は、通常の走行を行っている車両で運転者の覚醒度合いや体調の急変等で想定される通常走行の継続や引き継ぎが困難となった場合に、車両を安全な退避場所まで緊急退避走行をさせる機能である。

２つ目の機能は、そもそも運転能力が低下している交通手段貧困地で緊急に病院等へ移動する手段として、運転者による操舵能力がない状態でも移動手段を確保する機能である。特に、２つ目の機能は、移動速度自体の優先度を下げた機能であり、遠隔支援や先導車両の走行支援等を組み合せての移動確保が目的となる自動運転の走行モードの１つとなる。

図９の実線矢印＃２１，＃２２に示されるように、自動化レベル０，１，２の手動運転モードから、自動化レベル３の注意下自動運転モード、または、自動化レベル３の注意下自動運転モードから、自動化レベル４の自動運転モードへの切り替えは、走行設定された車輛がその後進む道路のLDMや天候、事象発生情報、運転者による必要時の復帰可能性情報などに応じ、運転者によるリクエストのもと、実行可否判定が行われる。

特に、実線矢印＃２１では、手動運転中の車両から運転者の周知外での自動運転復帰が行われると、車両利用時に無意識のうちに自動運転利用の発生と誤解を生むケースが発生する事もある。このケースは、極めて低い確率であったとしても、手動運転モード中の車両で、運転者は、いざ自動運転のつもりで、一瞬２次タスクを行い、気を取られていると危険事態を招くリスクがあるので望ましくない。

なお、図９の破線矢印＃３１，＃３２に示されるように、緊急退避モードから、自動化レベル３または自動化レベル４への移行は、例えば、緊急時の患者の搬送などの特殊ケースのみが対象となる。

利用形態として想定されるユースケースは、緊急車両の到達を待てない乗客が、中間地点の高速道路サービスエリアまでの移動のために、レベル４の自動運転が可能区間で自動運転レベル４を利用した移動などが考えらえる。通常利用者が、引き継ぎ不全で緊急退避モードに遷移した場合は、図示しない復帰不全記録などの所定の手続きを経てのみ復帰をする手順にする。

運転者が、必要な区間において、手動運転に安全かつスムーズに復帰できるようにすることで、自動運転が可能な区間と手動運転が必要な区間が混在したルートを車両と停止することなく継続走行できる連続ルートとして延長することができる。また、運転者の運転操作への介在からの完全な離脱を防ぎ、手動運転に安全かつスムーズに復帰できるようにすることで、走行ルートの主要な区間における自動運転の実施をその引き継ぎを社会的インフラ問題にすることなく可能になる。

また、手動運転から自動運転への復帰は運転者の自動運転の復帰周知手順を導入する事で、手動運転中の運転者による安易な「自動運転中」と思い込みから２次タスク実行開始を防ぎ、手動運転モード中の思い込みによる不注意事故のリスク低減をはかることができる。そして、周知後であっても、思い込みをさらに防ぐモード表示や操舵介在離脱の警告を併用してもよい。

＜自動運転制御処理＞
次に、図１０乃至図１２のフローチャートを参照して、車両制御システム１１により実行される自動運転制御処理について説明する。なお、この処理は、例えば、車両のパワー（イグニッション）スイッチがオンにされたときに開始される。

ステップＳ１において、運転者監視部２６は、運転者の認証を行う。具体的には、運転者監視部２６の運転者撮影部１０１は、運転者を撮影する。認証部１０４は、撮影により得られた運転者画像中の運転者の顔を認識する。

また、例えば、認証部１０４は、記憶部３５に記憶されている顔画像の中から運転者の顔と一致する顔画像を検索することにより、運転者を特定する。例えば、記憶部３５には、車両を使うそれぞれのユーザの顔画像と、識別情報などのそれぞれのユーザの情報が紐付けて管理されている。

認証部１０４は、運転者を特定できた場合、認証に成功したと判定し、運転者を特定できなかった場合、認証に失敗したと判定する。認証部１０４は、運転者の認証結果を車両制御部２８に供給する。なお、運転者の認証技術として、その他にも指紋認証、静脈認証、虹彩認証のような他の手段を代わりに用いてもよい。

なお、運転者の認証に失敗した場合、車両の走行が禁止されるようにしてもよい。この場合、運転者が、セキュリティが確保された環境下で所定の操作を行い、新規のユーザ登録を行うことにより、車両の走行が許可されるようにしてもよい。

ただし、運転者の認証を行う主な目的は、認証された運転者の運転操作の特徴と運転者の状態との相関をとり、それに応じて車両を制御したりすることである。したがって、必ずしも、認証結果を車両の走行の許可または禁止の制御に用いる必要はない。これにより、例えば、緊急時等に、未認証の状態での走行を許可することが可能になる。なお、未認証の状態で走行していることを表示灯や車車間通信等により周囲に通知するようにしてもよい。

ステップＳ２において、ログ生成部１２５は、ログの記録を開始する。

ステップＳ３において、車両制御部２８は、目的地を取得する。具体的には、車両の搭乗者（必ずしも運転者とは限らない）は、入力部２４を介して、目的地を入力する。入力部２４は、取得した目的地を示す情報を車両制御部２８に供給する。

なお、今後、人工知能による音声認識の発達が見込めることから、会話型の目的設定や走行プリフェランス設定を行うようにしてもよい。

ステップＳ４において、車両制御システム１１は、目的にまでの想定ルートおよび区間通過走行に影響を与える該当全区間の天候や事象等と進行に伴う接近区間の周辺情報の取得を開始する。

例えば、周辺撮影部２１は、車両の進行方向および周辺の撮影、並びに、撮影により得られた周辺画像の車両制御部２８への供給を開始する。

周辺情報取得部２２は、ミリ波レーダ、レーザーレーダ、ToFセンサ、ソナー、雨滴センサ、外光センサ、路面状態センサなどからの車両の周辺の環境および物体等に関する周辺情報の取得、並びに、周辺情報の車両制御部２８への供給を開始する。

車両情報取得部２５は、車両情報の取得、および、車両情報の車両制御部２８への供給を開始する。

位置測定部２３は、車両の現在位置の測定、および、測定結果の車両制御部２８への供給を開始する。

通信部２７は、ITSスポット（不図示）からのLDM（Local Dynamic Map）の受信、および、LDMの車両制御部２８への供給を開始する。また、通信部２７は、サーバ（不図示）からの地図データ等の受信、および、地図データ等の車両制御部２８への供給を開始する。なお、地図データを記憶部３５に予め記憶しておき、車両制御部２８が、記憶部３５から地図データを取得するようにしてもよい。

さらに、通信部２７は、路側機（不図示）からの各種の交通情報の受信、および、交通情報の車両制御部２８への供給を開始する。特に、通信部２７より直近の更新情報を取得することで、事前取得された地図情報に対して経時変化が起きたリスク変化点の更新を行う事が可能となる。

なお、以下、LDM、地図データ等の地図に関する情報をまとめて地図情報と称する。

周辺監視部１２１は、周辺撮影部２１からの周辺画像、周辺情報取得部２２からの周辺情報、および、通信部２７からの各種の情報に基づいて、車両の周辺の監視を開始する。

ルート設定部１５１は、周辺監視部１２１から取得した情報、および、車両情報取得部２５から供給される車両情報に含まれる車両の加速度および角速度等に基づいて、車両の現在位置の補正を適宜行う。これにより、例えば、地図情報内の経時変化が反映されていない情報や位置測定部２３の検出・判定誤差等による車両の現在位置の推定誤差が補正される。

ステップＳ５において、ルート設定部１５１は、走行ルートの設定を開始する。具体的には、ルート設定部１５１は、地図情報に基づいて、運転者の運転能力等を考慮しながら、現在位置または指定位置から目的地までの走行ルートを設定する。また、ルート設定部１５１は、時間帯、目的地までの天候、渋滞、通行規制等の情報に基づいて、必要に応じて走行ルートの変更またはルート選択肢の提示を行う。

ステップＳ６において、自動化レベル設定部１５２は、自動化レベルの更新を開始する。

具体的には、自動化レベル設定部１５２は、地図情報および周辺情報等に基づいて、走行ルート上において、許容される自動化レベル（以下、許容自動化レベルと称する）の分布を設定する。

ここで、許容自動化レベルとは、対象となる区間において設定可能な自動化レベルの最大値を示す。例えば、許容自動化レベルがレベル３の区間においては、車両は自動化レベル３以下に設定して走行することが可能である。

例えば、自動化レベル設定部１５２は、走行ルート上の許容自動化レベルの分布を、地図情報等に示されるデフォルト値に設定する。また、自動化レベル設定部１５２は、地図情報および周辺情報から得られる天候、道路の状態、事故、工事、交通規制等の走行ルート上および周辺の環境に関する情報に基づいて、走行ルート上の許容自動化レベルの分布を適宜更新する。

また、路面の道路鋲、ペイント、縁石等の道路の区画線、記号、並びに、文字等の道路標示が積雪や冠水等で認識困難な区間において、許容自動化レベルが本来のレベル３からレベル２に下げられたり、LKASの使用が禁止されたりする。

走行開始後の区間毎の状況変化は、雨水滞留に伴う白線隠れまたは濡れた路面の逆光反射など、さまざま状況で時々刻々変化する。特に、継続的な自動運転通過が見込まれる区間の一部で運転者復帰が必要となる変化は、運転者にその変化を周知し、２次タスク実行の事前制限をかける必要がある。

さらに、火災による煙や濃霧等で視界が不良な区間において、許容自動化レベルが本来のレベル３からレベル２に下げられたり、最高速度が制限されたりする。

事故が発生したり、落下物が検出されたりした区間において、許容自動化レベルがレベル１またはレベル０に下げられる。

例えば、路面が凍結した区間や、横風が激しい橋において、制限速度が下げられたり、許容自動化レベルがレベル１またはレベル０に下げられたりする。

自動化レベル設定部１５２は、このような制限に基づいて、走行ルート上の許容自動化レベルの分布を適宜更新する。

ステップＳ７において、車両制御システム１１は、運転者の監視を開始する。

具体的には、運転者監視部２６の運転者撮影部１０１は、運転者の撮影、および、撮影により得られた運転者画像の車両制御部２８への供給を開始する。

生体情報取得部１０２は、運転者の生体情報の取得、および、車両制御部２８への供給を開始する。

視線検出部１０３は、眼球解析に特化したブロックでもよいし、広域の運転者画像に基づいて、運転者の顔の向き、視線の向き、瞬き、眼球の動き（例えば、固視、サッケード等）の検出を行い、このような各情報を含む検出結果の車両制御部２８への供給を開始する。

運転挙動分析部１４１は、運転者画像、車両情報、および、学習部１２６による学習結果等に基づいて、運転者の運転挙動の分析を開始する。

運転状態検出部１４２は、運転者画像、運転者の生体情報、視線検出部１０３による検出結果、認証部１０４による認証結果、および、学習部１２６による学習結果等に基づいて、運転者の状態の検出を開始する。

例えば、運転状態検出部１４２は、運転者の姿勢および行動等の検出を開始する。

また、例えば、運転状態検出部１４２は、運転者の反応性および覚醒度の検出を行う。
運転者の反応性および覚醒度の検出結果は、運転状態検出部１４２から切り替え判定部１５５に供給されている。

切り替え判定部１５５においては、自動運転モードから手動運転モードへの切り替えの必要性があるときに、これらの検出結果のうちの少なくとも１つに基づいて、自動運転モードから手動運転モードへの切り替え判定が行われる。自動運転モードから手動運転モードへの切り替え判定は、運転者への運転モード切り替えの通知の後に行われる。

ここで、運転者の反応性は、例えば、外部からの要求、指示、および、刺激、並びに、車両の進行方向にある障害物等に対する運転者の反応の有無、反応速度、および、反応の的確性等に基づいて定義される。運転者の反応性は、運転者の覚醒度が低下している場合に加えて、運転者の意識が運転に向けられていない場合や、意図的に反応しない場合等に低下する。

運転者の反応性および覚醒度の検出方法には、例えば、パッシブモニタリングとアクティブモニタリングがある。

パッシブモニタリングでは、運転者の状態を受動的に観察することにより、運転者の反応性および覚醒度が検出される。

例えば、顔の向きの遷移、視線の向きの遷移、瞬きの頻度、眼球の動きの遷移等の運転者の動きに基づいて、運転者の反応性および覚醒度が検出される。例えば、周辺撮影部２１や周辺情報取得部２２等で得られた実空間の視野情報に相関する対象物に対する視線移動や固視等が観測され、その結果に基づき、運転者固有の学習済み眼球挙動を参照して、運転者の反応性および覚醒度が検出される。

例えば、運転者の心拍数、体臭等の生体情報に基づいて、運転者の覚醒度が検出される。

例えば、ステアリングの操舵安定性や操作速度、アクセルペダルやブレーキペダルの操作安定性や操作速度等の運転者の運転操作の継時的な推移を観測することにより、運転者の反応性および覚醒度の変化が検出される。なお、これらの運転者の反応は、運転者毎に固有の特性を有するため、運転者の状況に応じた特性の学習を行い、その学習結果に基づいて、運転者の反応性および覚醒度を検出するようにしてもよい。

例えば、運転者が寝ていたり、２次タスク実行中で、復帰を急がせる必要が無い状況下でいたりする場合、運転者の煩わさないで済むようにパッシブモニタリングにより検出をしてもよい。また、赤外光やその他電磁波照射した反射信号からみる準パッシブモニタリングをしても良い。ただし、これら完全はパッシブ方式や準パッシブ方式では運転者の応答反応を直接観測するわけでは無く、検出結果の確実性が乏しい。

ToFカメラや視線認識で用いる赤外光を投光したりした場合、前述の準パッシブ方式については、本来はアクティブ方式に該当するが、本明細書では以下に記述する運転者の応答反応をみるアクティブ方式と区別する為に準パッシブモニタリングと記述する

アクティブモニタリングでは、視覚、聴覚、触覚等による刺激や指示等を運転者に与え、与えた刺激や指示等に対する運転者の反応（応答）を観察することにより、運転者の反応性および覚醒度が検出される。

アクティブモニタリングは、例えば、パッシブモニタリングにより運転者の反応性および覚醒度の検出が困難な場合や検出精度を高める場合に用いられる。

例えば、自動化レベル３以上になると、運転者の走行操作機器への介在が完全に途切れる場合があり、この場合には、走行操作機器の操作状況をモニタリングしても、運転者の反応を操舵機器の操作状況より検出することがもはやできない。アクティブモニタリングは、このような場合においても運転者の状態を確実に把握できるようにするために有効な手段となる。つまり、アクティブモニタリングはパッシブモニタリングを補完する機能を備える。また、例えば、刺激を与えることによって運転者を覚醒させるためにアクティブモニタリングが用いられる。

なお、これらの運転者の反応性および覚醒度の検出は、運転者への手動運転モードの切り替え通知の後に行われるようにしてもよいし、走行操作機器を用いた補正操作があったときに行われるようにしてもよい。

運転状態検出部１４２は、表示部２９を制御し、運転者の視界内に短い単語や数字を表示させてそれを運転者に音読させたり、簡単な数式を表示させてその計算結果を運転者に発声させたりすることにより、運転者の覚醒度を検出することができる。

また、運転状態検出部１４２は、表示部２９を制御して、運転者の視界内に視線の目標となる疑似ターゲットを表示させて、運転者の視線の動きを追跡することにより、運転者の反応性および覚醒度を検出する。なお、運転者の眼球の挙動解析を行い、走行に伴い視界に入る視野に対し運転者のサッケードの発生や固視微動、ドリフトと言った挙動動作観測から、運転者の内部覚醒状態のより詳細に解析してもよい。

運転状態検出部１４２は、音声出力部３０を制御して、運転者に簡単な指示（例えば、頭部を横に振る等）を出力し、その指示に対する運転者の反応を観察することにより、運転者の反応性および覚醒度を検出する。

運転支援制御部１５３は、運転状態検出部１４２の指示に従って、走行制御部３３を制御し、安全性を確保できる範囲内で、車両に不自然な走行をさせる。そして、運転状態検出部１４２は、不自然な走行に対する運転者の走行修正の操舵または操作反応に基づいて、運転者の反応性および覚醒度を検出する。

なお、車両の不自然な走行に対する運転者の反応に基づいて運転者の反応性および覚醒度を検出する処理は、図３等を参照して上述した走行制御部３３、運転状態検出部１４２、運転支援制御部１５３の処理と同様であり、以下に変形例が示される。

・変形例１
不自然な走行として、車線に対して左右に進路を振るなどのオフセットを加えることがあげられる。ただし、左右に車両進路を振るような種類のオフセットを加えることに限らず、前方車との車間距離を予想以上伸ばすこと（減速操舵）を指示として与えるようにしてもよい。運転状態検出部１４２においては、その指示に対し、補正のために、運転者がアクセルを踏む動作を取るか否かが評価される。その他、瞬き頻度の検出、目を閉じた状態の検出、頭部の前後へのふらつき検出などにより、運転者の状態が評価されるようにしてもよい。

このように、安全性を確保できる範囲内で、車両に不自然な走行をさせるものであれば、どのような種類の逸脱した走行や感覚のみを与えるだけでもよく、他の種類のアクティブ反応として与えられるようにしてもよい。

・変形例２
例えば、走行制御部３３は、ステアリングの操作が行われていない場合に、車輪の方向を変化させたり、ステアリングを回転させずに車輪の左右アンバランスの制動負荷を加えたりすることで、所定の期間、車両を蛇行させる。この場合、運転状態検出部１４２は、運転者が蛇行を是正するようにステアリングを操作するか否か、および、反応速度等に基づいて、運転者の反応性および覚醒度を検出する。

なお、車両を蛇行させる量は、運転者が無意識のうちに蛇行を是正できる範囲内の量であることが望ましい。

・変形例３
車載装置制御部３４は、車両が正常に走行している場合に、車両が蛇行する場合に相当する回転負荷をステアリングに疑似的に加える。この場合、運転状態検出部１４２は、運転者が回転を止めるようにステアリングを操作するか否か、および、反応速度等に基づいて、運転者の反応性および覚醒度を検出する。

・変形例４
運転者が反応しないために蛇行運転が継続している場合、運転者の反応性または覚醒度の低下等により異常が発生していることを、通信部２７等を介して、後続車などの外部に通知するようにしてもよい。

・変形例５
走行制御部３３は、所定の期間、車線から僅かに逸脱させる方向に車両の進行方向を変更する。この場合、運転者が前方に正常な注意を向けている場合、車両の方向を補正するように操舵を行うことが期待される。ただし、車両の進行方向が無条件に変更すると、周辺車両との位置関係によっては危険な状態が発生する可能性がある。また、後続車が追尾走行を行っている可能性がある。

したがって、反応性および覚醒度を運転者の応答に基づいて検出することは、周辺車両の状態や運転者の心理的影響等の条件を総合的に判断して、周辺車両に悪影響を与えない範囲で実施されることが望ましい。

・変形例６
運転支援制御部１５３は、ACCが有効である場合、通常時と比べて、先行車との車間距離を長く設定する。この場合、運転状態検出部１４２は、車間距離を通常時の長さに戻すようにアクセルペダルを操作するか否か、および、反応速度に基づいて、運転者の反応性および覚醒度を検出する。

・変形例７
走行制御部３３は、ステアリングの操舵量に対して、車両の進行方向の変化量を通常より大きくまたは小さくする。この場合、運転状態検出部１４２は、進行方向を所望の方向に調整するようにステアリングを操作するか否か、および、反応速度に基づいて、運転者の反応性および覚醒度を検出する。

なお、通常時の変化量と、この場合の車両の進行方向の変化量との差は、運転者が無意識のうちに進行方向を是正できる範囲内の量であることが望ましい。

また、例えば、車両を左右方角へ移動させる制御を加えた上で運転者の応答反応を見る例もあるが、変形例として、アクティブ応答反応の確認の為に、車両の制御には直接的ノイズを加えず、ステアリングへの擬似的回転トルクを付加させたり、ＶＲを用いて錯覚による誘導を行ってもよい。さらに音声等による特定のトルク応答要求に対して運転者がステアリング回転操舵やステアリング前後押引きなどの規定動作を行って応答確認をしたりしてもよい。

・変形例８
走行制御部３３は、アクセルペダルの踏み込み量に対して、車両の加速度を通常より大きくまたは小さくする。この場合、運転状態検出部１４２は、車両の速度を所望の速度に調整するようにアクセルペダルを操作するか否か、および、反応速度に基づいて、運転者の反応性および覚醒度を検出する。

なお、通常時の加速度と、この場合の車両の加速度との差は、運転者が無意識のうちに加速度を是正できる範囲内であることが望ましい。

・変形例９
走行制御部３３は、ブレーキペダルの踏み込み量に対して、車両の減速度を通常より大きくまたは小さくする。この場合、運転状態検出部１４２は、車両の速度を所望の速度に調整するようにブレーキペダルを操作するか否か、および、反応速度に基づいて、運転者の反応性および覚醒度を検出する。

なお、通常時の減速度と、この場合の車両の減速度との差は、運転者が無意識のうちに減速度を是正できる範囲内であることが望ましい。

・変形例１０
自動運転が行われていることによって運転者が運転に介在する必要がない場合、運転者は、２次タスクとして、携帯端末１２（情報処理装置）を操作することができる。

運転者が携帯端末１２を操作しているとき、運転状態検出部１４２は、通信部２７を介して、運転者への指示を示すサブウインドウを携帯端末１２の画面に表示させる。そして、運転状態検出部１４２は、その指示により求められる運転者の正常な反応の有無、および、反応速度等に基づいて、運転者の反応性および覚醒度を検出する。運転者の応答指示とは、例えば車両の進行に伴う進路マーカーと所定位置での事象確認表示に対して、所定のポイントに対し事象周知の合図として、表示パネルのダブルタッチ操作やその他、レ点チェック動作などが一例である。

・効果
例えば、運転者が前方を見ているが、考え事等により運転に対する意識が低下している場合、パッシブモニタリングだけでは、運転者の反応性および覚醒度を検出することが困難なときがある。アクティブモニタリングを用いることで、運転者の通知に対する知覚応答反応と言う形で観測が可能となり、反応性および覚醒度の検出精度を向上させることが可能になる。自動運転の普及にともない、利用者である運転者が常日頃広く2次タスクに従事するようになり、且つ手動運転に復帰する必要頻度が減ると、自ずとその完全復帰必要性が感覚的に薄れる事になる。ただし、本技術で実施の直感的動作としての必要時の前方確認を指差し確認し、さらに眼球の挙動確認とそれに引き続き、実際の機器操舵動作の確実性を能動的に確認する事で、運転者はシームレスでありながらも主体的に引き継ぎを行うため、少ない煩わしさでありながら安全が担保された自動運転から手動運手の引き継ぎが行えることになる。

なお、上述した運転者の状態以外にも、意識状態、精神状態、緊張状態、薬物の影響度合い等の、他の種類の状態が検出されるようにしてもよい。

図１０の説明に戻り、ステップＳ８において、学習部１２６は、学習処理を開始する。

例えば、学習部１２６は、運転挙動分析部１４１の分析結果に基づいて、運転者の運転能力と、検出可能な運転者の各種の可観測な状態または挙動との相関の学習を開始することができる。

例えば、学習部１２６は、運転者がマニュアル運転を正常に行っているときの生体情報、運転者の動き、運転者の運転操作の傾向の学習を開始する。例えば、車線の中心を安定して走行したり、停止信号等で車両が安定して停止したり、カーブにおいて適切に減速が行われたりしたときに、運転者がマニュアル運転を正常に行っているものとして検出される。

この学習は、例えば、運転者がマニュアル運転を正常に行っているときの運転者の視線の挙動、頭部の姿勢、体の姿勢、脈波波形、呼吸状態、外光に対する瞳孔反応などの運転者固有の特性と、正常な運転特性との相関を恒常的に学習するようにして行われる。また、学習部１２６は、運転者がマニュアル運転に正常に引き継げた際に取得した可観測情報を元に、正常な引継ぎを行える際の可観測情報の教師データとして運転者の特性学習をさせ、この学習結果を用いることにより、パッシブモニタリングの精度を向上させることが可能になる。

学習部１２６は、正常時と異常時の判別が可能なようにアクティブモニタリングに対する運転者の反応特性の学習を開始する。この学習結果を用いることにより、アクティブモニタリングの精度を向上させることができる。

なお、上記の学習には、単純な相関学習、CNN（Convolutional Neural Network）を用いた複雑な人工知能学習やSupport Vector Machine, Boosting, Neural Network等の、任意の学習方法を用いることができる。

このように、各状態に応じた運転者固有の特性を学習することによって各状態に応じて学習されることにより、運転者の状態（例えば、運転者の健康状態や疲労具合、過去に事故やヒヤリハット経験から特定事象に対する注意過多や敏感応答反応等）に基づいて、運転者の運転能力をより正確に検出することが可能になる。

そして、学習部１２６は、学習結果を記憶部３５に記憶させる。なお、学習結果については、利用した車両に記憶させて、再利用するだけでなく、電子キーや遠隔サーバ等に車両と分離して記憶させて、レンタカーなど別の車両で利用できるようにしてもよい。また、運転者が繰り返し利用する車両に、前回利用時の学習結果を取り込み、その陳腐化を判定して、前回利用時までに得られた学習辞書を、安全マージン付加してその判定の際の初期データとして利用してもよい。なお、学習特性は、一定期間車両の運転をしなかったりすると応答特性が変化する事から、利用履歴と合わせ適宜更新や利用履歴の空き期間に応じて安全係数を加え判断を行うようにしてもよい。

ステップＳ９において、運転支援制御部１５３は、運転支援を開始する。すなわち、運転支援制御部１５３は、現在の自動化レベルに合わせて、走行制御部３３を制御することにより、例えば、その一部として、ACC、LKAS、TJA、AEBS等の運転を支援する処理を開始する。

ステップＳ１０（図１１）において、運転支援制御部１５３は、現在の自動化レベルに合わせて、走行制御部３３を制御することにより、継続走行を行う。

ステップＳ１１において、運転モード切り替え制御部１５４は、通信部２７を制御し、走行ルート上の現在走行中ルートに対し引き続き走行する次の接近区間のLDMを更新させる。

ステップＳ１２において、運転モード切り替え制御部１５４は、LDMおよび運転者の状態を確認する。ここで確認される運転者の状態には、運転者の２次タスクの実行状況、運転者の反応性および覚醒度の少なくとも１つが含まれる。なお、運転者の反応性および覚醒度は、運転状態検出部１４２による検出結果に基づいて確認される。

なお、運転者の状態のモニタリング頻度は、道路情報の取得頻度と、事前の先読み距離の設定により求められる。事前の先読み距離の設定とは、車が通過する前にどのくらいの距離の道路情報を先読みするかを設定することである。

ここで、運転者の覚醒度が低下していれば、時間的に余裕がある数分先の場所にある最寄りの退避ポイントの探索が行われる。一方、運転者の覚醒度の低下がなければ、短期間で緊急事象への対処が望めるため、例えば３０秒程度の短期引き継ぎに必要な最小時間での走行可能な先読み距離分の最新更新情報を最低でも取得する必要がある。先読みをあまり前方に長くとり、その（先取り）地点（まで）に自車が到達するまでの間隔が（中間情報の補間なく）空き過ぎて（そこまでの）中間情報の欠落があるとその間の危険な事象を見落とすことに繋がる。そのため、運転者の２次タスク実行の状況、覚醒状態など、状況に応じて可変的に、適宜、中間点補完取得して先読みを実行するのが望ましい。

大雨または積雪などで道路の区切りがわからなくなってしまう喪失リスクなどがあれば、より細かな経時変化モニタリングが必要になる。

運転者の覚醒度の確認頻度、確認ポイント、覚醒警告、または事前情報更新などは能動的に行われる。

これにより、道路交通状況や運転者の状況に応じて能動的な調整を実施しない場合、例えば地点設定で覚醒復帰ポイントを定義した場合に高速の定常時巡航速度で走行ならその数分手前を見込んで通知地点を数キロ手前で手動運転の復帰開始を通知する所を、渋滞などで車がほどんど進まない状況のなかで地点を基準にして通知を実施すると、結果的に通過が過度に早い段階で通知する事になる。しかしながら、前記の通り、運転者の状態や道路の環境情報を常にモニタリングして判定をする事で、運転者の復帰に必要な推定時間と道路の現時点で推定される平均的な流れ速度の情報から、地点通過時間予測と復帰必要予測時間から復帰開始最適地点を算出できる。また、運転者の状態を常に定常的モニタリングを繰り返すため、車両制御システム１１は備えた状況を維持する事ができ、引き継ぎポイント前であるのにも関わらず、想定外事象が発生した際にでも常に復帰に要する時間予測が出来る。例えば、仮眠などの２次タスクから復帰を要する予定の覚醒タイミングを含め、運転者の常時状態観測をしえていることで、緊急時でも最善な覚醒警告発報をすることができるようになる。

ここで、時間が経過すると、走行ルートや運転者の状況が変わることによって走行が出来る最高の自動化レベルが変わる可能性がある。運転モード切り替え制御部１５４は、走行中、新しい情報を取得するとともに、走行ルートの更新最新LDMと運転者の状態を常にモニタリングし続ける必要がある。

図１３は、LDMのデータの更新の例を示す図である。

図１３の例においては、出発（走行ルート選定）時点での理想的LDMのデータが示されている。図１３において、上から順に、区間、その区間に設定されている許容自動化レベル、その区間の定常的な２次タスク実行可否とその下段に、短期一時的な（短期限定ともいう）２次タスク実行可否が示されている。

なお、短期限定とは、通知制御部１２４から通知発報が出された場合、運転者や速やかに運転復帰に取りかかることのできる状態の2次タスクに限定され、如何なる2次タスクの利用形態においても、注意離脱を伴わない範囲に限定されることで、安全性を確保する。

２次タスク実行可否は、例えば、姿勢内覚醒下OK、姿勢内覚醒下NG、姿勢外覚醒下OK、姿勢外覚醒下OK、姿勢外覚醒下NG、姿勢内外ともOK（覚醒度合いに依存せず）、姿勢内外ともNGの状態で構成されている。

姿勢内覚醒下OK（姿勢内OK）の区間は、運転者の着座姿勢が、手動運転に直ぐに復帰できる着座姿勢と定める範囲内の姿勢であり、運転者が覚醒していれば自動運転モードで走行ができる区間である。

すなわち、この姿勢内覚醒下OKの区間は、特に、想定外事情が発生しなければ、問題なく自動運転での通過が可能な区間である。したがって、定常利用は、基本的にはレベル３以上の区間、またはレベル２の区間内でも短期的に自動運転を利用した短期限定2次タスクの実行は条件付きで可能とする事も運用上可能である。実際の適用は、車両の特性や目標安全性次第である。限定短期2次タスクの実行は、前方不注意を招く一時的なナビ画面の確認や操作などがその対象の可能性となりえる。

姿勢内覚醒下NG（姿勢内NG）の区間は、運転者の着座姿勢が、手動運転に復帰できる着座姿勢と定める範囲内の姿勢であっても、自動運転下での2次タスクを行ってはいけない区間である。

レベル１までの自動運転しか利用が許可されない区間では、自動運転レベルが限定的となる。また、運転者が走行中にナビゲーション操作したり、何らかの前方に対する不注意な走行を行ったりした場合、危険を伴うリスクがあるため、自動運転に伴う一切の2次タスク実行が推奨されない区間である。

姿勢外覚醒下OK（姿勢外OK）の区間は、運転者の着座姿勢が、手動運転に復帰できる着座姿勢と定める範囲外の姿勢であっても、レベル３以上の自動運転走行が可能な区間で、かつ、着座復帰の猶予期間が担保されていれば、そのレベル３許容走行区間を自動運転モード下で短期一時的に2次タスクの実行を行ってもよい区間である。

姿勢外覚醒下NG（姿勢外NG）の区間は、運転者の着座姿勢が、手動運転に直ぐに運転復帰できる姿勢と定める範囲外の姿勢である場合に、例え、運転者が運転復帰に必要な十分に覚醒度保っていたとしても、その様な離脱姿勢では、自動運転を許可しない区間である。

すなわち、レベル３が許容される区間での定常的離席2次タスク作業は禁止に該当する区間である。

姿勢内外ともOKの区間は、LDM等の更新が絶え間なく正常に取得され、手動復帰が求められることなく、安全が確認されたために、運転者の状態を問わず、レベル４相当の自動運転下での2次タスクが実行可能な区間である。

姿勢内外ともNGは、道路区間を自動運転で通過するにはリスクを伴い、レベル０や１で通過が必要な区間であり、更に通常レベル４が許可される道路でも、一時的に何らかの理由でLDM等の更新がされなかったり、安全が確認されなかったりするために、運転者の状態を問わず、自動運転を許可しない区間である。

なお、通常の自動運転が利用可能区間から手動運転が求められる区間に移行する際に、急に手動運転を実行する事は、手動運転の実行の確実性からみて好ましくない。したがって、自動運転のレベルの許容レベルが下がる区間侵入に先立ち、必ず手動運転を確認し終えるまでの猶予期間で許容される自動運転要求レベルを順次下げ、移行レベルの走行区間を確保する制御を行う。

つまり、基本的にはレベル４からレベル２へは移行せず、レベル３を経てレベル２やレベル１に移行する。

図１３において、出発地点である地点P1でのLDMのデータでは、地点P1乃至地点P2の区間S1の許容自動化レベルは、レベル０またはレベル１に設定されている。また、区間S1の２次タスク実行可否は、姿勢内NGと設定されている。

地点P2乃至地点P3の区間S2の許容自動化レベルは、レベル３に設定されている。また、区間S2の２次タスク実行可否は、姿勢内覚醒下OK、または短期限定２次タスク実行可否は、姿勢外覚醒下OKと設定されている。

地点P3乃至地点P4の区間S3の許容自動化レベルは、レベル４に設定されている。また、区間S3の２次タスク実行可否は、姿勢内外ともOKと設定されている。

地点P4乃至地点P5の区間S4の許容自動化レベルは、レベル２に設定されている。また、区間S4の２次タスク実行可否は、姿勢内外ともNG、または短期限定２次タスク実行可否は、姿勢内覚醒下OKと設定されている。

ただし、レベル４の区間終了点であるポイントQ1では、その後の自動運転レベル２を上限の自動運転区間に侵入する事前準備猶予として運転者覚醒復帰が必要である。したがって、必然的な自動運転レベル３区間（破線）を、車両制御システム１１が挿入し、この間に運転者の完全手動運転復帰を進める。

本明細書では詳述をしていないが、定常的な運転者の覚醒状態や姿勢状態や進行予定道路の安全状況等に基づいて復帰遅延リスクを伴わないタイミングを判定し、引き継ぎ遅延Q1を定めている。本発明の運転者引き継ぎのアクティブ確認は、このレベル３相当走行を介して行う。

図１３の例では、地点P4乃至地点P5の区間S4はレベル２としている。図示はしていないが、仮に順行中の時間経過とともに、この区間S4が全てレベル３になり、その後に続く区間S5（レベル３の区間）が、レベル４になった場合には、１つ課題が残る。つまり、レベル４の区間が途切れてレベル３の区間を経て再びレベル４になる区間を走行するようなルート区間においては、該当の途中通過するレベル３区間の通過の際には、本来であれば注意下であれば運転者復帰介在を求めないものの、運転者による機器操舵介在がこの場合ではまったく行われないことになる。

この結果として、運転者の必要時の復帰可否判定を行う事が困難である。したがって、運転者による復帰能力判定をしつつ、上述したレベル４の途中一時的レベル３復帰条件の判定をして、レベル３の区間でありながら車両制御システム１１により運転者反応を把握検出するために、意図的に一時運転のアクティブ操舵反応を確認してもよい。

地点P5乃至地点P6の区間S5の許容自動化レベルは、レベル３に設定されている。また、区間S5の２次タスク実行可否は、姿勢内覚醒下OK（定常的な運転復帰可能性でかつ運転復帰に必要な覚醒下では、2次タスクの実行は可能）、または短期限定２次タスク実行可否は、姿勢外覚醒下OK（短期限定なら姿勢外であっても意識下なら2次タスクの実行は可能）な区間として設定されている。

地点P6乃至地点P7の区間S6の許容自動化レベルは、レベル０またはレベル１に設定されている。また、区間S6の２次タスク実行可否は、姿勢内外ともNG（運転に即復帰が出来さらに十分な覚醒下でも前方注意運転からの離脱は、リスクを伴い許可されない区間）と設定されている。なお、地点P7が到達地点でもある。

ここで、区間S3の終点である地点P4においては、許容自動化レベルがレベル４からレベル２に移行し、２次タスク実行可否が姿勢内外ともOKから、姿勢内外ともNGに移行している。また、区間S5の終点である地点P6においては、許容自動化レベルがレベル３からレベル１（レベル０）に移行し、２次タスク実行可否が姿勢内外ともOKから、姿勢内外ともNGに移行している。

この許容区間前の移行制御は、該当区間侵入に先立ち、次の侵入区間で運転者が次区間で求められる状態に移行完了をし終えるのに必要な移行猶予期間である。本技術は、自動運転車両が、走行ルート途中で手動介在が必要な次走行区間侵入前に確実に運転者の復帰引き継ぎを開始する手順の初期の運転者復帰手順の一環であり、引き継ぎに先立ち、運転者に前方指差し能動的な確認動作を行わせ、その確認ジェスチャーとなる動作シーケンスをさらにモニタリングし、そのジェスチャーの正確さや速さをシステムが観測して運転者の覚醒復帰状態をより正確に求める仕組みである。

運転モード切り替え制御部１５４は、このような許容自動化レベルおよび２次タスク実行可否が移行する地点より所定の距離だけ手前の地点を、予定引き継ぎ開始地点として設定する。例えば、車両が予定引き継ぎ開始地点を通過するタイミングが、自動運転モードから手動運転モードに切り替えることを運転者に通知するタイミングとなる。

すなわち、運転モード切り替え制御部１５４は、区間S3の終点である地点P4の手前に示されるポイントQ1、区間S5の終点である地点P6の手前に示されるポイントQ5を、予定引き継ぎ開始地点として設定する。車両がポイントQ1，Q5を通過するタイミングが、自動運転モードから手動運転モードに切り替えることを運転者に通知するタイミングとなる。

図１４は、状況の変化に伴うLDMのデータの更新の例を示す図である。

なお、実際には、出発後、図１４の吹き出しに示されるように状況の変化がある。そのため、出発（走行ルート選定）時点に設定された予定引き継ぎ開始地点を見直す必要が出てくることがある。

図１４において、地点P11乃至地点P12の区間S11は、図１３の地点P1乃至地点P2の区間S1に対応する。区間S11の許容自動化レベルはレベル０またはレベル１となり、２次タスク実行可否は姿勢外NGとなる。

ここで、地点P12乃至地点P13の区間S12において、積雪などにより道路の区切りが不明りょうとなり、かつ、自動運転に不向きな状況になるような変化が変化１として生じたものとする。この場合、区間S12の許容自動化レベルはレベル２（破線）に変更され、２次タスク実行可否は姿勢内外ともNGとなり、または短期限定の2次タスクのみが姿勢内覚醒下で許可される状況に変更される。図１４の区間S12は、許容自動化レベルがレベル３であった図１３、つまり出発前の区間S2に対応する。

なお、状況の変化が生じた場合、区間の設定についても変化が適宜生じることになる。

図１４の例において、変化１による状況が終了した後の地点P13乃至地点P14の区間S13は、図１３の区間S3と同様に、許容自動化レベルがレベル４、２次タスク実行可否が姿勢内外ともOKの区間として設定されている。

また、図１４の地点P14乃至地点P15の区間S14において、工事などにより、マニュアル走行が必要な状況になるような変化が変化２として生じたものとする。この場合、区間S14の許容自動化レベルはレベル１（破線）に変更され、２次タスク実行可否は姿勢内外ともNGに変更される。図１４の区間S14は、許容自動化レベルがレベル４であった図１３の区間S3の後半の一部や、レベル２であった図１３の区間S4の前半の一部を含む区間である。

ただし、図１３の区間終了点Q1同様、レベル４の区間終了点であるポイントQ11では、その後の自動運転レベル１を上限の自動運転区間に侵入する事前準備猶予として運転者覚醒復帰が必要である。したがって、必然的な自動運転レベル３区間（破線）を、車両制御システム１１が挿入し、この間に運転者の完全手動運転復帰を進める。そこで、車両制御システム１１による運転者の覚醒状態把握の為に、運転者へ通知とそれに応じた運転者の復帰シーケンスの一環として行う前方指差し動作のジェスチャー観測を行い、運転者の復帰準備状態を把握する。

図１４の例において、変化２による状況が終了した後の地点P15乃至地点P16の区間S15は、許容自動化レベルがレベル２、２次タスク実行可否が姿勢内外ともNG、短期限定２次タスク実行可否が、姿勢内覚醒下OKの区間として設定されている。

地点P16乃至地点P17の区間S16において、積雪などにより道路の区切りが不明りょうとなり、かつ、自動運転に不向きな状況になるような変化が変化３として生じたものとする。この場合、区間S16の許容自動化レベルはレベル２（破線）に変更され、２次タスク実行可否は姿勢内外覚醒外ではNG、もはや定常的にはまたは姿勢内覚醒下は許可されず、短期限定の2次タスクのみが姿勢内覚醒下OKに許可条件が変更される。

図１４の例において、変化３による状態が終了する地点P17乃至地点P18の区間S17は、図１３の区間S6と同様に、許容自動化レベルがレベル０またはレベル１、２次タスク実行可否が姿勢内外ともNGの区間として設定されている。

このような状況の変化によって、許容自動化レベルおよび２次タスク実行可否の設定が変更される。運転モード切り替え制御部１５４は、変更後の設定に応じて、予定引き継ぎ開始地点を変更し、自動運転モードから手動運転モードに切り替えることを運転者に通知するタイミングを変更（再設定）することになる。

すなわち、運転モード切り替え制御部１５４は、区間S14の地点P14の手前に示されるポイントQ11を、予定引き継ぎ開始地点として設定する。車両がポイントQ11を通過するタイミングが、自動運転モードから手動運転モードに切り替えることを運転者に通知するタイミングとなる。ここでも、車両制御システム１１による運転者の覚醒状態把握の為に、運転者へ通知とそれに応じた運転者の復帰シーケンスの一環として行う前方指差し動作のジェスチャー観測を行い、運転者の復帰準備状態を把握する。

このように、走行ルートや運転者の状況は、走行開始から時々刻々と変化する。

図１５は、状況の変化に伴うLDMのデータの更新の他の例を示す図である。

図１５の例においては、走行開始から一定時間経過後の地点Ｎにおける最新のLDMのデータが示されている。走行開始後も、図１５のそれぞれの吹き出しに示されるように状況の変化がある。

図１５の例において、現在、車両は、地点P23乃至地点P24の区間S23における地点P23を走行しているものとする。

地点P21乃至地点P22の区間S21は、許容自動化レベルがレベル０またはレベル１として設定されていた区間であり、許容自動化レベルをレベル１として走行済みである。区間S21は、図１４の区間S11に対応する。なお、区間S21の２次タスク実行可否は、姿勢内外ともNGとして設定され、通過し終えた区間である。

区間S21に続く、地点P22乃至地点P23の区間S22は、許容自動化レベルがレベル２として設定されていた区間であり、そのような設定に基づいて走行済みである。区間S22は、図１４の区間S12に対応する。区間S22の２次タスク実行可否は、姿勢内外ともNGで、短期限定２次タスク実行可否が、姿勢内覚醒下OKとして設定されていた区間である。

車両が走行中の地点Ｎを含む地点P23乃至地点P24の区間S23は、許容自動化レベルがレベル４として設定されている区間であり、そのような設定に基づいて走行中である。

車両が自動運転モードとして走行していることから、運転モード切り替え制御部１５４は、例えば白抜き矢印R1に示される区間の最新のLDMの更新データを取得しながら走行を行っている。白抜き矢印R1に示される区間は、地点Ｎを基準として、２次タスクから確実に復帰できると想定される一定期間先までの走行予定区間である。

この事前のLDM情報の最短の情報取得区間は、例えば、運転者が睡眠や荷台移動するなど長期離席が想定される利用なら、その2次タスクから一定の余裕をもって復帰が可能な最短期間を少なくとも定義し更新し続ける必要がある。以下、例えばその際にその区間更新で事前情報に対する変化情報を取得したとする。

地点Nに来た時点で最新LDMの更新データにより変化２１の情報が付加され、予定の変更が生じた場合、運転者のモニタリングから復帰に要する予測時間を常時モニタリングしておくことで、運転者の状態把握から仮に復帰に際して要する時間算出が可能である。変化２１に伴う運転者の介在復帰要求レベルが更新され、当初走行初期やN点未満の情報にはなかった、地点P24乃至地点P25の区間S24が、許容自動化レベルがレベル１に変化して、その区間の２次タスク実行可否が、姿勢内外ともNGの区間になっている。

この場合、運転モード切り替え制御部１５４は、上記復帰に必要な予測タイミング算出し、地点P24の手前のポイントQ21を、予定引き継ぎ開始地点に変更する。

このとき、レベル４の区間終了点であるポイントQ21では、その後の自動運転レベル１を上限の自動運転区間に侵入する事前準備猶予として運転者覚醒復帰が必要である。したがって、必然的な自動運転レベル３区間（破線）を、車両制御システム１１が挿入し、この間に運転者の完全手動運転復帰を進める。

なお、予測タイミングの算出は、運転者の復帰特性の学習に基づく特性、車両の積載・制動のダイナミックス特性、道路の安全性特定など勘案して演算される。車両がポイントQ21を通過するタイミングが、自動運転モードから手動運転モードに切り替えることを運転者に通知するタイミングとなる。

また、運転モード切り替え制御部１５４は、地点P24から地点P25の区間を、許容自動化レベルがレベル１で、２次タスク実行可否が、姿勢内外ともNGの区間として設定する。例えば、寝ている運転者には早期の警告、着座して前方注意しながらスマートフォン操作中なら短期の画面通知など状況に応じたタイミング算出が行われる。

なお、詳細詳述はしないが、一旦レベル０乃至３のレベルに運転者の運転介在モードに移行した場合、自動運転の上位レベルモードに運転者の周知なくして再復帰のシームレス移行が出来ない仕組みが望ましい。また、レベル３乃至レベル４への自動運転復帰には運転者の復帰要請の意図的な入力反映手段を有することが必要となる。

ここで、運転者要請手段とは、運転者による自動運転モードにシームレスの無意識復帰を防止し、実際には自動運転モードに車両制御システム１１が復帰していないにも関わらず運転者の自動運転中と思い込み、勘違いによる錯覚を防止する機能である。運転者による上位自動運転レベル復帰周知機能を有しない制御シーケンスを行うと、システムが自動運転復帰を本来行っていないにもかかわらず、該当区間での走行時に運転者の思い込みで自動運転の継続利用中と思い込み、手動運転対応不全に伴う事故を誘発する恐れがあるからである。

例えば、直線道路が続く区間であったとしても自動で走行が継続されていると勘違いをし、その後にカーブ等に差し掛かった際に無制御であると気づいても運転者は慌てて事故になるリスクがある。

次に、図１５の地点P25乃至地点P26の区間S25は、図１４の地点P13乃至地点P14の区間S14と同様に、許容自動化レベルがレベル４で、２次タスク実行可否が、姿勢内外ともOKである。

ここで、図１４の変化２である工事予定が更新されておらず、予定が変更されていなければ、図１５のポイントQ11が予定引き継ぎ開始地点となる。しかしながら、図１５の例においては、変化２２が生じることによって工事区間情報が更新され、地点P26乃至地点P27の区間S26において区間を縮小する変更がなされている。区間S26は、許容自動化レベルがレベル１で、２次タスク実行可否が、姿勢内外ともNGの区間である。

この場合、運転モード切り替え制御部１５４は、予定引き継ぎ開始地点を、ポイントQ11から、区間S26の地点P26の手前に示されるポイントQ22に変更する。車両がポイントQ22を通過するタイミングが、自動運転モードから手動運転モードに切り替えることを運転者に通知するタイミングとなる。

このとき、レベル４の区間終了点であるポイントQ22では、その後の自動運転レベル１を上限の自動運転区間に侵入する事前準備猶予として運転者覚醒復帰が必要である。したがって、必然的な自動運転レベル３区間（破線）を、車両制御システム１１が挿入し、この間に運転者の完全手動運転復帰を進める。

次に、図１５の地点P27乃至地点P28の区間S27は、図１４の地点P15乃至地点P16の区間S15と同様に、許容自動化レベルがレベル２で、２次タスク実行可否が、姿勢内外ともNGまたは短期限定利用なら姿勢内覚醒下OKである。

図１５に示されるように、地点P28乃至地点P29の区間S28においては、天候が改善し、道路の区切りは鮮明となり、道路環境が改善されるという変化２３が生じたものとする。
変化２３により、区間S28の許容自動化レベルは、図１４ではレベル２からレベル３に変更され、２次タスク実行可否は、姿勢外NG、短期限定２次タスク実行可否が姿勢内覚醒下OKから姿勢内覚醒下OKまたは短期限定姿勢外覚醒下OKに変更されている。

図１５の例において、変化２３が終了する地点P29乃至地点P30の区間S29は、図１５の区間S29、図１４の区間S17と同様に、許容自動化レベルがレベル０またはレベル１、２次タスク実行可否が姿勢内外ともNGに設定されている。

以上のように、許容自動化レベルが同一であったとしても、運転者に復帰が求められる推奨時間（運転者への通知タイミングや警告タイミング）は、その時点（または区間侵入する想定時刻）での走行環境や運転者の状態、車両の積載、または制動特性などに応じて時々刻々と変化する。すなわち、LDMの地図情報や環境情報、事故、飛び出し、落雪、横風といった気象要因による継時変化リスク、さらには運転者の状態に応じて、運転者に復帰を求めるタイミングは能動的に変化する。

なお、正常な走行が可能な状態に運転者の意識が復帰するまでのスピードは、運転者の特性を用いた学習によって求められる固有関数として表される。そのような固有関数は、例えば、眼球のサッケードやマイクロサッケード挙動・固視微動や瞳孔の外光変化に対する応答反射の特性、瞬きの特性などと関連付けた関数として表現される。

その他、前述の脈拍、呼吸、脳は等様々な生体信号の可観測情報と関連付けて関数として表現をしてもよい。これら、可観測の評価値は、自動運転から手動運転の引き継ぎ事象が発生する都度観測され、その後の安定した引き継ぎと、引き継ぎの失敗や遅延との直接的相関が得られるため、引き継ぎが正常に行われた場合の値を運転者が正常に手動運転に引き継いだ際の教師データとして関連付けられ、学習に必要な観測データが増えることになる。つまり、繰り返し起こる引き継ぎ事象が発生する度に、利用に応じて車両制御システム１１による判定器の学習が進み、結果として可観測値から運転者が覚醒復帰時間を推測する際の判定器の性能向上が利用に応じて進むことになる。

図１６は、2次タスク実行可否についてまとめた表を示す図である。

上述したように、表の操舵運転席に運転復帰が可能な着座姿勢において、「姿勢内」は、操舵運転席に運転復帰が可能な着座姿勢であることを表す。「姿勢外」は、操舵運転席に即刻運転復帰が可能な着座姿勢ではないことを表す。

表の周辺環境認知、回避行動がとれる覚醒状態において、「覚醒下」は、周辺環境認知、回避行動がとれる覚醒状態であることを表し、「覚醒外」は、周辺環境認知、回避行動がとれる覚醒状態ではないことを表す。

代表的な覚醒外状態は寝てしまった状態となるが、その他の例として、ビデオ鑑賞していたり、ゲームに夢中になっていたり、移動中の車内で遠隔電話会議を開催していたり、メールやブラウジングに没頭している様な状況の覚醒外に該当する。なお、煩雑さを避けるために敢えて個別の分類記載はしていないが、さらに、体の操舵機能も実際には配慮する必要があり、例えば2次タスクによる手足の痺れなどのいわゆるロコモーティブ能力も、通知タイミング決定と自動運転の利用許容範囲の決定要因となる。

上から順に説明すると、姿勢内外問わず、覚醒下であるか否か問わず、Level4であれば、定常的な2次タスク実行可能である。

姿勢内外問わず、覚醒下であるか否か問わず、Level3以下であれば、定常的な2次タスク実行不可能である。継続的な操舵離脱の長期利用では、基本的に利用不可能としている。この場合、長時間、直接運転の操舵に介在せず、いつでも復帰が求められる状態で自動走行状態の監視・注意の継続的維持をするのは難しいためである。仮にLevel 3の利用が一定以上の時間継続した場合は、断続的に運転者に復帰を求め変化を与える利用形態となるのが望ましい。

姿勢内外問わず、覚醒下であるか否か問わず、Level4であれば、多様な2次タスクも実行可能である。

姿勢内、覚醒下であれば、Lelel3以上で、早期復帰が可能な短期限定2次タスクが実行可能である。前述の通り、Level3の利用は長時間連続無介在の自動運転利用は想定されず、この場合、運転者の運転から意識離脱はしても、定期的に繰り返し状況のモニタリング確認を継続的にされる前提であるので、運転者が眠いたり、ビデオ鑑賞やゲームに夢中になり、復帰遅延が発生した場合その遅延に対してペナルティ対象とする事で心理的に意識離脱の発生を抑制できる。

姿勢外（限定した姿勢を崩す範囲の短期復帰が可能な程度の姿勢崩し）は覚醒下であれば、Level2以上で、短期限定2次タスクが実行可能である。完全自動運転とはいかないものの、一定の安全運転が確保されている区間であれば、ナビゲーションの操作など従来禁止されていた一切の操作も、軽度の姿勢を崩した２次タスクの範囲で実施が可能とする運用を想定できる。

姿勢外であれば、覚醒下であるか否か問わず、短期限定2次タスクであってもLevel3以下で2次タスクの実行は不可能である。

図１１に戻り、ステップＳ１３において、運転モード切り替え制御部１５４は、LDM（の更新情報）および運転状態検出部１４２により検出された運転者の状態に基づいて、図１３乃至図１５を参照して説明したようにして、状況の変化があったか否かを判定する。

ステップＳ１３において、状況の変化があったと判定された場合、処理は、ステップＳ１４に進む。

運転モード切り替え制御部１５４は、ステップＳ１４において、通知タイミングを再設定（変更）する。適宜、LDMおよび運転者の確認頻度の再設定も行われる。

一方、ステップＳ１３において状況の変化がなかったと判定された場合、ステップＳ１４の処理は、スキップされる。

ステップＳ１５において、運転モード切り替え制御部１５４は、現在時刻が、設定された通知タイミングの一定時間前の時刻になったか否かを判定する。

ここで定める一定時刻とは、運転者が、手動運転に復帰に要する固有学習によって定常的観測から推定される復帰時間を示し、一定の成功確率で手動運転が正常に行える予測時間である。学習手法に関しては本明細書では詳述しない。

運転者が引き継ぎに必要な通知を受けてから実際の引き継ぎが正常に完了するまでの時間は、運転者個人でも異なるし、姿勢状態やそれまで行っていた行為等に依存する。

そこで、通知時間は、ここの運転者の復帰特性を把握出来ないとしたら、それら運転者人口の統計的復帰特性分布に基づき、出来れば100％、出来なければ目標とする引継ぎ成功率に応じて、定めた目標引継ぎ成功率を達成するに必要な一定時刻で通知をすることで、運転者が正常に運転を引き継げるために前記成功率を確保する。一定時刻とは、この一定の成功率を確保するための運転者に与えられる通知の猶予限界タイミングである。

ステップＳ１５において、通知タイミングの一定時間前の時刻になっていないと判定された場合、ステップＳ１０に戻り、それ以降の処理が繰り返される。

ここで、低頻度で通知タイミングを定常的に観測し、状況変化観測された場合、高頻度検出に移行する。定常的にLDM更新や運転者の状態観測を継続実施する理由は、運転に対する注意を要しない2次タスクを長期に渡り実行すると、運転者は時間経過とともに眠気をも催したりして、車両制御システム１１側で検出し得ない深い操舵意識からの離脱に移行する事がありえる。つまり、時間経過に伴う運転者状態をある程度把握する為に、一定の割合で観測モニタリングを行い、いざ引き継ぎが濃厚となった時点で観測モニタリングのサンプル頻度を上げる事で運転者の覚醒度の検出精度改善し、遅延発生リスクの抑制を図る。

この場合、通常なら直前の通知で十分に猶予時間が取れたケースでも、睡眠が進み、当初の予定より早く通知をする状況に変化しているケースが起こりえる。これら経時変化にともなう状況の回避の為に、離れた時間間隔で行う定期の定常モニタリングサンプリングと、更に引き継ぎ点接近に伴い、サンプリング頻度を上げた高周期サンプリングして引継ぎタイミングの高精度化や遅れ防止を行う目的のために行うサンプル頻度変更を実施する。

本実施の形態においては、サンプリング頻度を定めた想定であるが、運転者の常時姿勢や定常生体の信号観測から、変化検出に高感度な変化、敏感型の検出手段を組み合せ、運転者の変化を観測して、その変化検出するイベントドリブン型の通知タイミング再算出を行う構成にしてもよい。また、2次タスクの内容次第では、運転者に何らかの状況通知とその認知を定期的に実施してもよい。

一方、ステップＳ１５において、通知タイミングの一定時間前の時刻になったと判定された場合、処理は、ステップＳ１６に進む。

ステップＳ１６において、運転モード切り替え制御部１５４は、LDMおよび運転者の確認頻度を、今までよりも高頻度に再設定する。

ステップＳ１７において、運転モード切り替え制御部１５４は、現在時刻が通知タイミングになったか否かを判定する。例えば、車両が予定引き継ぎ開始地点を通過したときに、通知タイミングになったものとして判定される。

ステップＳ１７において、通知タイミングになっていないと判定された場合、処理は、ステップＳ１８に進む。

ステップＳ１８において、ルート設定部１５１は、設定した目的地に到着したか否かを判定する。

ステップＳ１８において、目的地に到着していないと判定された場合、ステップＳ１０に戻り、それ以降の処理が繰り返される。

一方、ステップＳ１８において、目的地に到着したと判定された場合、自動運転処理は終了手順を開始する。

ステップＳ１７において、通知タイミングになったと判定された場合、処理は、ステップＳ１９（図１２）に進む。

ステップＳ１９において、運転モード切り替え制御部１５４は、運転者が覚醒低下状態であるか否かを判定する。ここでの判定は、運転状態検出部１４２により検出された運転者の反応度および覚醒度に基づいて行われる。

例えば、運転者の反応度および覚醒度が、閾値として予め設定された値より低い場合、運転者が覚醒低下状態であると判定され、閾値として予め設定された値より高い場合、運転者が覚醒低下状態ではないと判定される。

ここでいう閾値として、ドライバー人口に対して一意に定義した固定値を用いてもよい。その場合、運転者には個人の特性に応じて直ぐ復帰を急ぐ運転者もいれば時間を要する運転者もいるため、より運転者固有の復帰に特性に合せ精度を向上する為に、運転者状態の可観測な観測値に応じた運転者固有の学習特性を事前に定期学習し定めてもよい。

運転者が特定することが困難な場合などは復帰に要する一般的運転者人口による統計値を用いてもよい。ただし、あらゆるドライバーを安全に引き継がせるには、早めに通知するが求められる一方で、定常的に数分や数十分も早い段階で早期通知を繰り替えしたのでは、運転者通知に対する復帰必要性の危機意識が低下し、復帰に対する怠慢リスクを誘発するため、運転者に常に早く通知をする事はあまり望ましくない通知タイミングの決定方法と言える。

ステップＳ１９において、運転者が覚醒低下状態にないと判定された場合、処理は、ステップＳ２０に進む。

ステップＳ２０において、運転モード切り替え制御部１５４は、手動運転モードへの切り替え通知を行わせる。手動運転モードへの切り替え通知は、自動運転モードから手動運転モードに切り替えることを運転者に通知するものであり、例えば通知制御部１２４による制御に従って行われる。

例えば、表示部２９は、通知制御部１２４の制御の下に、運転者の視界内に注意を促す通知画面等の表示を行う。運転者が携帯端末１２を操作している場合、携帯端末１２の画面に通知画面を全面に表示して2次タスク継続中断をしたり、注意喚起のPinP子画面表示等が表示されるようにしてもよい。

このとき、携帯端末１２の操作中の状態を強制的に保存し、同じ状態から操作を再開できるように携帯端末１２をスタンバイ状態に遷移させたり、または携帯端末１２の利用に伴い、途中操作情報の喪失を恐れて引き継ぎ開始が遅れる事態防止のために、利用アプリケーション（アプリ）に関連してアプリ利用時の直前複数段入力を常に履歴保存し、直前の任意の操作から操作再開がプレイバック再開できる機能に操作履歴を保持したり、携帯端末１２の画面を強制的にオフさせたりするような制御を行い、引き継ぎの開始を後回ししない仕組みを設けてもよい。これにより、通知画面が表示されたことに対して、運転者が慌てて携帯端末１２を急いで一段落させるために操作を続けることを防止することができる。

手動運転モードへの移行通知が、画面表示以外の方法で行われるようにしてもよい。

例えば、音声出力部３０が、通知制御部１２４の制御の下に、音声メッセージ、アラーム、ブザー、ビープ音、車内のみに聞こえる後続車の疑似カーホーン（クラクション）等の出力を行うようにしてもよい。

また、発光部３１が、通知制御部１２４の制御の下に、ランプ等の点灯または点滅を行うようにしてもよい。

車載装置制御部３４が、通知制御部１２４の制御の下に、運転者のシートまたはステアリングを振動させたり、シートベルトを引っ張ったりする等のハプティクスフィードバックを行うようにしてもよい。なお、シートを振動させることにより、車両がランブルストリップスや道路鋲を横切ったときと同様の振動が運転者に伝わるようにしてもよい。

走行制御部３３がステアリングを制御することにより、ランブルストリップスや道路鋲を横切ったときと同様の振動が運転者に伝わるようにしてもよい。

ステップＳ２１において、運転モード切り替え制御部１５４は、切り替え判定部１５５を制御し、運転モード切り替え判定処理を行わせる。運転モード切り替え判定処理においては、ジェスチャー認識切り替え判定部２０１、サッケード情報切り替え判定部２０２、音声認識切り替え判定部２０３、およびステアリング操作切り替え判定部２０４の各判定部により、それぞれ切り替え可否の判定が行われる。ステップＳ２１の運転モード切り替え判定処理については、図１７のフローチャートを参照して後述する。

ステップＳ２２において、切り替え判定部１５５は、切り替え判定部１５５を構成する各判定部による判定結果に基づいて、自動運転モードから手動運転モードへの切り替えが可能であるか否かを判定する。

ステップＳ２２において、自動運転モードから手動運転モードへの切り替えが可能であると判定された場合、処理は、ステップＳ２３に進む。

ステップＳ２３において、運転モード切り替え制御部１５４は、自動運転モードから手動運転モードへの切り替えを行い、運転者が主体的に運転を行う状態である運転者主体制御の状態へ移行させ、その後、自動運転制御処理を終了させる。

一方、ステップＳ１９において、運転者が覚醒低下状態であると判定された場合、処理は、ステップＳ２４に進む。

ステップＳ２４において、運転モード切り替え制御部１５４は、通知制御部１２４を制御し、覚醒のための警報を行わせる。例えば、人を覚醒させるほどの大きな音や振動などが警報として出力される。

ステップＳ２４において出力される警報は、ステップＳ２０において出力される通知とは異なり、より強力なものとなる。例えば、通知時と比較してより高い音量で、音声メッセージ、アラーム、ブザー、ビープ音、疑似クラクション等が出力される。また、通知時と比較してより不快感が強い不協和音等の音色が出力される。ランプ等の発光が通知時と比較してより多い光量で行われるようにしてもよいし、ハプティクスフィードバックが通知時と比較してより高い強度で行われるようにしてもよい。

ステップＳ２５において、運転モード切り替え制御部１５４は、運転者の確認復帰姿勢が確認されたか否かを判定する。例えば、正常時の姿勢と同じ姿勢を運転者がとろうとしていることが運転状態検出部１４２による覚醒度の検出結果に基づいて特定できた場合、覚醒復帰姿勢が確認できたものとして判定される。姿勢移動や離席作業を許容するシステムでは、運転者の車両内姿勢・体勢移動をトラッキング判定する装置を備えて判定を行ってもよい。なお、運転者の運転操舵席復帰を全て姿勢トラッキングで直接行わなくとも、例えば回転座席やスライディング座席など今後の自動運転の普及で採用される事も予想され、座席回転の復帰や着座分圧検出などで運転姿勢復帰を観測してもよい。

ステップＳ２５において、運転者の覚醒復帰姿勢が確認できていないと判定された場合、処理は、ステップＳ２６に進む。

ステップＳ２６において、運転モード切り替え制御部１５４は、内蔵するタイマを参照し、例えば通知タイミングになってから所定の引き継ぎ完了猶予時間が経過したか否かを判定する。

ステップＳ２６において、所定の時間が経過していないと判定された場合、ステップＳ２４に戻り、それ以降の処理が繰り返される。所定の経過時間とは、例えば寝ている運転者を起こすために許容される覚醒までの時間であり、寝起きの悪い運転者では該当認証運転者には長く、短期で目が覚める運転者なら短く、個人情報として過去利用の都度個人特有値として学習し、設定される時間である。

一方、ステップＳ２６において、所定の時間が経過したと判定された場合、運転者の覚醒復帰作業を断念し、処理は、ステップＳ２７に進む。自動運転モードから手動運転モードへの切り替えが可能ではないとステップＳ２２において判定された場合も同様に、処理は、ステップＳ２７に進む。

ステップＳ２７において、ログ生成部１２５は、手動運転モードへの切り替えNG記録を行う。例えば、手動運転モードに切り替えることができなかったことを表すログが生成され、記録される。

ステップＳ２８において、運転モード切り替え制御部１５４は、緊急退避モードを起動して実行させる。緊急退避モードが実行されることにより、例えば、運転者の車両を、路側帯まで道路走行周辺状況を勘案しつつ減速して低速化をすすめ、その後、路肩などに緊急退避させるような制御が行われる。ただし、仮に緊急時といえども路肩停車は好ましい利用形態ではない。望ましくは、最寄りの退避可能は交通非妨害地点となり得る位置まで車両を移動してパーキングすることである。その理由は、仮に自動運転の普及が進み、そもそもの渋滞等の発生に伴う車の流れの停滞が発生すると自動運転の車で走行帯が全て充填し、緊急車両の通過を阻害するため、路肩確保は交通インフラの正常運用に極めて重要となるからである。

このように、緊急退避モードにおいては、車両を強制的に停車させる処理が行われる。
緊急を要する場合、例えば、走行ルート上の最寄りの強制停車場所がルート設定部１５１により地図情報に基づいて検索され、検索された強制停車場所に停車させる処理が行われる。強制停車場所としては、例えば、車両を停車させることが可能な、非常駐車帯、安全地帯、店舗の駐車場等が検索される。ここで、道路走行の周辺状況を勘案しつつとは、例えば路肩を有しない単車線の交通量の多い時間帯でそのまま唯一の車線で車両をその減速救急停車すれば、該当道路の渋滞要因となる。

緊急を要しない場合、最寄りのパーキングエリアまたはサービスエリアが地図情報に基づいて検索されるようにしてもよい。所定の範囲内にパーキングエリアまたはサービスエリアがあり、そこに、手動運転が要求されるルートを通らずに辿り着ける場合、ルート設定部１５１は、そのパーキングエリアまたはサービスエリアを強制停車場所に設定することになる。所定の範囲内にパーキングエリアまたはサービスエリアがない場合、または、手動運転が要求されるルートを通らずにパーキングエリアまたはサービスエリアに辿り着けない場合、緊急を要する場合と同様の方法により、強制停車場所が検索され、設定されるようにしてもよい。

運転支援制御部１５３は、走行制御部３３等を制御して、設定された強制停車場所に車両を停車させる。このとき、必要に応じて減速または徐行が行われる。また、運転者が復帰できない要因として運転者の病状急変などで発生した場合、SOS発信を検出時や停車後に事象通知と合わせて行われてもよい。

なお、強制停車場所に自動的に停車する前に、運転者が手動運転への切り替えを強制的に行い、運転復帰を強行することも想定される。この場合、運転者が十分に覚醒していない可能性があるため、手動運転に段階的に移行させるようにしてもよい。

次に、図１７のフローチャートを参照して、図１２のステップＳ２１の運転モード切り替え判定処理について説明する。

ステップＳ１０１において、ジェスチャー認識切り替え判定部２０１は、ジェスチャー認識を用いた覚醒度の検出を運転状態検出部１４２に行わせる。

ジェスチャー認識切り替え判定部２０１は、運転状態検出部１４２による検出結果に基づいて運転者の復帰内部状態を判定することで、運転モードを、自動運転モードから手動運転モードに切り替えることができるか否かを判定する。

ステップＳ１０２において、サッケード情報切り替え判定部２０２は、運転者の眼球挙動解析、例えば、サッケード解析を行って運転者の覚醒度を検出することを運転状態検出部１４２に行わせる。

サッケード情報切り替え判定部２０２は、運転状態検出部１４２による検出結果に基づいて運転者の復帰内部状態を判定することで、運転モードを、自動運転モードから手動運転モードに切り替えることができるか否かを判定する。

ステップＳ１０３において、運転者の音声による応答を認識して運転者の反応性および覚醒度を検出することを運転状態検出部１４２に行わせる。

音声認識切り替え判定部２０３は、運転状態検出部１４２による検出結果に基づいて運転者の復帰内部状態を判定することで、運転モードを、自動運転モードから手動運転モードに切り替えることができるか否かを判定する。

ステップＳ１０４において、ステアリング操作切り替え判定部２０４は、ノイズ走行を意図的に発生させ、発生させたノイズ走行に対する運転者の応答に基づいて運転者の反応性および覚醒度を検出することを運転状態検出部１４２に行わせる。

ステアリング操作切り替え判定部２０４は、運転状態検出部１４２による検出結果、つまり、運転に働きかけるアクションに対する運転者の認知応答として現れる反応結果に基づいて運転者の復帰内部状態を判定することで、運転モードを、自動運転モードから手動運転モードに切り替えることができるか否かを判定する。

なお、自動運転モードから手動運転モードへの切り替え判定処理は、これら４つの段階の判定処理を経て行われるものに限定されるものではない。例えば、図１７に示される４つの判定処理に代えて他の判定処理が行われるようにしてもよいし、判定処理が追加されるようにしてもよい。本実施形態ではこれら4つの具体的手段に限定して記載しているが、覚醒度の判定確度がより低い、脈波、発汗、体臭などと言った上記に記載の多様な生体信号を組み合せて利用してもよく、その運転者特有の可観測情報と覚醒度の相関学習は、引継ぎの都度、観測させる可観測情報と実際の引き継ぎの際の復帰成功、覚醒正常推移を学習の教師データとする事で、運転者固有の復帰推移を精度よく推定できるようになる。

また、図１７に示される４つの判定処理の順番は、任意に変更可能である。ここで、運転者に働きかける効果は、単純に運転者の受動的手段に依存した認知判断の観測に依存して検出の場合、道路が単調で特に注意を要しない道路区間では運転者のパッシブ観測には何ら特異な特徴が出現せずに覚醒復帰状態の判断が困難であるのに対し、車両制御システム１１から運転者に能動的に働き掛けることで、覚醒復帰の判定に必要な可観測な状態観測値の判別がより顕在化できる利点がある。

図１２のステップＳ２２における切り替え可能であるか否かの判定が、図１７に示される４つの判定処理の全ての判定結果に基づいて行われるようにしてもよいし、少なくともいずれか１つの判定処理の判定結果に基づいて行われるようにしてもよい。

＜自動運転制御処理＞
次に、図１８乃至図２１のフローチャートを参照して、車両制御システム１１により実行される自動運転制御処理の他の例について説明する。

図１８のステップＳ２０１乃至ステップＳ２０９の処理は、上述した図１０のステップＳ１乃至Ｓ９の処理と同様の処理である。重複する説明については適宜省略する。

ステップＳ２０１において運転者の認証が行われ、ステップＳ２０２においてログの記録が開始される。ステップＳ２０３において目的地が取得され、ステップＳ２０４において周辺情報の取得が開始される。

ステップＳ２０５において走行ルートの設定が開始され、ステップＳ２０６において、自動化レベルの更新が開始される。ステップＳ２０７において運転者の監視が開始され、ステップＳ２０８において学習処理が開始される。また、ステップＳ２０９において、運転支援が開始される。

図１９のステップＳ２１０において、運転支援制御部１５３は、各区間に許容される運転モードに切り替えながら継続走行を行う。

このとき、運転モード切り替え制御部１５４は、通信部２７を介して取得されるLDMおよび交通情報等に基づいて、手動復帰の必要性を監視している。

なお、自動運転モードから手動運転モードへの切り替えは手動復帰と同意である。以下、適宜、自動運転モードから手動運転モードへの切り替え（移行）を、手動復帰と称する。

例えば、手動復帰の必要性の監視中において、図１３乃至図１５を参照して説明したように状況に変化が発生した場合、運転モード切り替え制御部１５４は、予定引き継ぎ開始地点の再設定などを行う。

ステップＳ２１１において、運転モード切り替え制御部１５４は、自動運転モードへの切り替えがあったか否かを判定する。

ステップＳ２１１において、自動運転モードへの切り替えがなかったと判定された場合、ステップＳ２１０の処理に戻り、それ以降の処理が繰り返される。

ステップＳ２１１において、自動運転モードへの切り替えがあったと判定された場合、処理は、ステップＳ２１２に進む。

ステップＳ２１２において、運転状態検出部１４２は、自動運転モード中に、運転者の操舵離脱が発生したか否かを判定する。

ステップＳ２１２において、自動運転モード中に、運転者の操舵離脱が発生していないと判定された場合、ステップＳ２１０の処理に戻り、それ以降の処理が繰り返される。

ステップＳ２１２において、自動運転モード中に、運転者の操舵離脱が発生したと判定された場合、処理は、ステップＳ２１３に進む。

ステップＳ２１３において、運転状態検出部１４２は、自動運転モード中の２次タスクの実行状態と運転者の覚醒状態を推定する。２次タスクの実行状態は、２次タスクの実行の有無を表す。

ステップＳ２１４において、運転状態検出部１４２は、自動運転モード中に運転者の覚醒低下または操舵離脱の発生があったか否かを判定する。

ステップＳ２１４において、自動運転モード中に運転者の覚醒低下または操舵離脱の発生がなかったと判定された場合、ステップＳ２１０の処理に戻り、それ以降の処理が繰り返される。完全離脱を伴わない自動運転の利用をした2次タスクの実行例としては、例えが、通信で車両制御システム１１と継続的に繋がる携帯端末１２等で、伝票処理やメールの書き込みなどの作業をしつつも、同一画面内にマルチタスク画面として進行に伴う走行情報を継続的に提供し、運転者がマルチタスク画面に通知更新され、継続接近する更新情報を定期的に認知する操作を加え続ける状態を指す。つまり、運転の復帰に必要な情報を取得しつつ、2次タスクを実行する場合で、その間に運転者の走行更新情報から離脱が無ければ、Ｓ２１０のステップに復帰し、モニタリングを継続する。認知する操作とは、例えば、PinPとして表示された接近地図上の引き継ぎ点をダブルタッチする操作などである。

ステップＳ２１４において、自動運転モード中に運転者の覚醒低下または操舵離脱の発生があったと判定された場合、処理は、図２０のステップＳ２１５に進む。自動運転に移行した後の操舵からの完全離脱とは、例えば走行前方の定期的目視確認を行わなくなったり、ビデオ鑑賞に没頭したり、スマートフォンやゲームに夢中になるなどの操作が代表的な事例である。

なお、ステップＳ２１０乃至Ｓ２１４においては、２次タスクも含め、運転者の操舵離脱が発生していない。

ステップＳ２１５（図２０）において、運転モード切り替え制御部１５４は、自動運転モードで、２次タスクを実行中の運転者覚醒復帰時間の推定を行う。この運転者覚醒復帰時間の推定は、図２２のフローチャートを参照して後述される。ステップＳ２１５の処理により運転者覚醒復帰時間が推定される。

ステップＳ２１６において、運転モード切り替え制御部１５４は、更新されたLDMに基づく走行上の道路における運転者復帰を要求する自動運転レベルである運転者復帰要求レベルを算出する。

ステップＳ２１７において、運転モード切り替え制御部１５４は、２次タスク実行中に運転者が覚醒復帰する時間を加味した運転者復帰地点を再算出する。運転者が覚醒復帰する時間を加味した運転者復帰地点は、２次タスクに応じて再算出される。

ステップＳ２１８において、運転モード切り替え制御部１５４は、ポーリング情報更新を行う。ポーリングにて情報更新する場合、走行する道路の安全レベルに応じて頻度を決めてもよい。

高頻度でプローブカーや監視カメラで定常的管理された自動運転専用道路で、かつ、直線道路であれば、イレギュラー事象の発生リスクは低い。合流事故や落石、路面凍結や事故発生率の高い道路区間では、観測確認頻度をあげる必要がある。

また、運転に伴う経時変化で、実際に目的地に到達する時刻では、出発時点で想定された状況からは変化し、より早い段階で引き継ぎを求められることもあり得る。引き継ぎ地点に到達する前の数分から数十分の範囲では、予定到達時刻で、情報更新して、再算出を複数回繰り返すようにしてもよい。

ステップＳ２１９において、運転モード切り替え制御部１５４は、通知前に、運転者の状態、LDMの更新情報、および環境状況などにおいて、復帰影響にかかる変化があるか否かを判定する。

ステップＳ２１９において、復帰影響にかかる変化があると判定された場合、ステップＳ２１５の処理に戻り、それ以降の処理が繰り返される。

ステップＳ２１９において、復帰影響にかかる変化がないと判定された場合、処理は、ステップＳ２２０に進む。

ステップＳ２２０において、運転モード切り替え制御部１５４は、現在時刻が、通知時刻前であるか否かを判定する。ステップＳ２０において、通知時刻前であると判定された場合、ステップＳ２１８の処理に戻り、それ以降の処理が繰り返される。

ステップＳ２２０において、通知時刻前ではない、すなわち、通知時刻になったと判定された場合、処理は、図２１のステップＳ２２１に進む。

ステップＳ２２１において、運転モード切り替え制御部１５４は、通知タイミングに、手動運転モードへの切り替えの通知を、通知制御部１２４に行わせる。ここで行われる通知は、図１２のステップＳ２０の通知と同様の手動運転モードへの移行通知となる。

ステップＳ２２２において、切り替え判定部１５５は、運転モード切り替え判定処理を行う。運転モード切り替え判定処理においては、ジェスチャー認識切り替え判定部２０１、サッケード情報切り替え判定部２０２、音声認識切り替え判定部２０３、およびステアリング操作切り替え判定部２０４の各判定部により、それぞれ切り替え可否の判定が行われる。ステップＳ２２２の運転モード切り替え判定処理については、上述した図１７のフローチャートと同様の処理を行うので、その説明は省略される。

ステップＳ２２３において、切り替え判定部１５５は、切り替え判定部１５５を構成する各判定部による判定結果に基づいて、手動復帰しても支障ないか否かを判定する。

ステップＳ２２３において、手動復帰しても支障ないと判定された場合、処理は、ステップＳ２２４に進む。

ステップＳ２２４において、運転モード切り替え制御部１５４は、自動運転モードから手動運転モードへの切り替えを行い、運転者が主体的に運転を行う状態である運転者主体制御の状態へ移行させ、その後、自動運転制御処理を終了させる。もちろん、自動運転自体の機能としては終了するが、AEBSなどの緊急時の緊急自動ブレーキシステムなど一部の機能温存を行ってもよい。ただし、これら自動運転終了後の温存機能のADAS機能は一般的に緊急時の被害防止が主たる目的となるため、事故の完全な防止には至らず負傷などを引き起こす恐れもあり、依存した利用は控えるべき機能である。そのため、依存利用が車両制御システム１１により検出された場合には、機能乱用のペナルティ記録を行ってもよい。

ステップＳ２２３において、手動復帰したら支障ありと判定された場合、処理は、ステップＳ２２５に進む。

ステップＳ２２５において、運転モード切り替え制御部１５４は、運転者覚醒処理を行う。運転者覚醒処理として、少なくとも覚醒のための警報および緊急退避モードの起動実行など、例えば、図１２のステップＳ２４乃至Ｓ２８の処理が行われる。

次に、図２２のフローチャートを参照して、図２１のステップＳ２２２の運転者覚醒復帰時間の推定処理について説明する。運転開始前の走行開始事前情報に対して、実走行開始後にインシデント発生に伴う警戒モード変更、または想定外事象発生通知を受信した場合、予定外の運転者による早期運転復帰通知、警報、必要対処処置を進める必要があることから、この運転者覚醒復帰時間の推定処理が行われる。

ステップＳ２４０において、運転モード切り替え制御部１５４は、走行開始後、走行予定の前方のLDMを更新する。このとき、走行情報も適宜更新される。

走行開始時点で取得されるLDM地図情報に対して、運転者の自動運転から手動運転への切り替え必要地点に遡り、所定期間内より早いタイミングで復帰通知、および覚醒処理が事前に決めた地点で開始される。

しかしながら、走行環境の経時変化により工事または落石発生などの想定外事象により、自動運転専用道であるにも関わらず、運転者が復帰した覚醒状態での手動運転の必要性があるかが、モニタリング管理される。

ステップＳ２４１において、運転モード切り替え制御部１５４は、運転者の操舵離脱での復帰遅延リスク発生を再算出する。

ステップＳ２４２において、運転モード切り替え制御部１５４は、リスク発生の再算出にて、再算出前よりリスク増加があるか否かを判定する。

ステップＳ２４２において、再算出前よりリスク増加があると判定された場合、処理は、ステップＳ２４３に進む。

ステップＳ２４３において、運転モード切り替え制御部１５４は、運転者の覚醒復帰時間を推定する。

ステップＳ２４４において、再算出前よりリスク増加がないと判定された場合、ステップＳ２４３の処理はスキップされる。

以上のように、本技術においては、覚醒度の検出結果などを用いた運転者の復帰内部状態の判定の手順の最初の処理として、進行方向を確認しながらの前方指差し確認合図の検出が行われる。

この前方指差し確認合図の検出に基づいて、自動運転モードから手動運転モードへの切り替えるようにしたため、自動運転から手動運転への引き継ぎをより安全に行うことが可能になる。

特に、運転者の前方指差し確認合図は、人間工学的に見ても、見落とし防止の優れた確認手段であり、鉄道運行や乗り合いバス業界でも多く普及しており、その有効性は高く認知されている。

視線動作トラッキング、音声認識情報、ステアリング操作情報などを用いた運転者の復帰内部状態の判定を順番に行うことにより、運転者の復帰能力の判定を精度よく行うことができ、結果として、自動運転モードから手動運転モードへの引き継ぎをより確実に行わせることが可能になる。

以上により、より安全に自動運転から手動運転に切り替えることができる。

なお、例えば、車両制御システム１１が、SLAM（Simultaneous Localization and Mapping）等の技術を用いて、対環境の相対位置補正する為の自律自己位置の確認・高精度化や更には取得地図データの補正データを作成するようにしてもよい。

本技術の説明として、道路環境に応じて走行が可能な自動運転レベルが自動運転の利用が許容されないレベル０から自動運転可能レベルが順次運転者の介在を要する程度、さらには高度な自動運転化レベル４乃至レベル５に至る分類の基づき説明をしている。

他方で、現行の道路交通法でまだ許容はされていいないものの、車両制御システム１１が低速での走行利用を前提として自動運転を捉えた場合には、現在広く論議がされている通常の高速度の安全な走行に必要な主要リスクを多重にカバーする走行環境状況認識や短期パスプラニングと言った認知・判定と走行プラニングを実施する必要性は必ずしも必須ではない。そして、超小型モビリティーとして、規制緩和で導入が進む低速運転車両と既存従来型の型式認証対象の軽自動車の中間的位置付けで、低速走行限定の自律全自動運転車両を想定した場合、その様な車両の自動運転車が低速で利用可能となるメリットは大きい。

つまり、低速に限定した車両の利用を想定した場合、自動運転システムが短期判断できない場合、時間軸を利用して車を止めたり、減速したりしてクリティカルポイントへの到達時刻を意図的に遅らせつつ、システムが車両の進行に必要な状況把握に時間をかけてもよく、さらに速度が遅ければ、その結果、走行パスの判断に時間を掛けて行ってよく、車両の進行を減速して進めることで補える。つまり、従来の高速自動走行に必要な常時更新されたLDMと言う「見えない軌道」に相当する地図情報が乏しくとも、車両を低速化した利用に限定する事で車両を安全に走行させることが可能となる。

なお、クリティカルポイントとは、例えば、事前取得されたLDM等の情報により、該当する引き継ぎ完了すべき地図上の最終引き継ぎ地点を示している。クリティカルポイントは、その地点を該当する車両が通過した時点で手動運転、または、車両制御システム１１の要請に応じて運転者の手動復帰が求められた場合に、手動運転での対処が取れなかった場合に、危険を誘発する恐れがある地点である。

車両制御システム１１が手動運転を求める要因次第では、その地点は必ずしも手動復帰が出来ていない場合に直接危険を伴うとは限らない。車両制御システム１１が危険か状況の判断ができない何がしらの事象が発生しているために、運転者の手動運転復帰の完了が求めている地点である。

該当のクリティカルポイントは、車両制御システム１１が判断出来なかったり、通常の巡航速度で自動走行をするのに車両制御システム１１が不確実であったりするために、車両制御システム１１が判断した決定地点である。したがって、運転者が、該当のクリティカルポイントを通過した際に、地点通過までに自車の手動運転復帰の必要性を実感しない事も実際には多々発生しえる。

そのため、クリティカルポイントでは、該当地点での油断する運転者による引き継ぎ怠慢が多発する事で、いざ車両制御システム１１が本当に判断出来ない危険事象が、たまたま発生した状況と相まって起きた場合には、結果的に重大事故を誘発するリスクが包含される。したがって、該当クリティカルポイントで運転者の引き継ぎが確認できない際、運転者の引き継ぎ軽視を回避するため、そのクリティカルポイントを、引き継ぎ遅延や引き継ぎ開始遅延の際に該当運転者に付与するペナルティの発行の判定基準点として用いてもよい。

他方で、高速走行環境での混在利用は、道路インフラの渋滞発生などインフラ機能の阻害要因が多いことから、低速での利用しかできない自動運転システムをそのまま高速道路環境で利用は適さない。

つまり、低速専用の自動運転車両はより限定した周辺認知機能でも移動走行を安全に実現が可能である一方、そのまま自動運転を高速運転に適用すると、最適な障害回避ルートパス選定などの高速処理が求めるが、安全な自動運転に必要な遠方認知や高速処理判定が出来ないため、高速走行が求められるルートの通過が困難である。

そこで、低速では運転者の手動運転能力の如何に関わらず低速限定での自動運転利用を許容する。さらに、一定の速度以上で区間通過を希望する運転者が手動運転として運転に介在復帰した場合に限り、走行速度を上げて自動運転化レベル３やレベル２での高速走行の区間通過用が可能となれば、同一の移動手段でより実用的な利用が可能となり、且つ、安全面も確保され、更には道路インフラの低速車両の進入に起因する渋滞の発生等も防げるメリットが生じる。

つまり、本技術は、走行区間に応じて時々刻々変化する道路区間毎に適宜運転者が自動運転モードから手動運転モードに切り替える際の手動運転復帰能力の判定に主体を置いているが、低速時での自動運転を許容する形態の車両を高速で移動する場合の、運転者による手動運転復帰能力判定に拡張利用をしてもよい。

なお、上記説明においては、運転者の制御に対する能動的反応を確認する主要な実施例の構成例である。引き継ぎ手順として通知、ジェスチャー認識、さらに車両の走行その物に具体的にノイズ走行を直接与える制御とした実施例を挙げているが、それ以外であってもよい。例えば、Virtual Reality効果などで視覚的効果を用いたり、ステアリングと車両制御を分離してステアリングの回転とトルクを擬似的に発生させたりまたはステアリングの回転自体は回転させずに打診に依る触覚的手法で回転体感を加えるなど行ってもよい。さらには、前方確認に限定せず、確認手順を仮想的な表示に対するジェスチャー認識に拡張応用してもよい。

本技術は、車両の動力源やエネルギー供給源に関わらず、少なくとも運転の一部を自動化することが可能な各種の車両に適用することができる。例えば、本技術は、ガソリン車、ハイブリッド車、プラグインハイブリッド車、電気自動車、燃料電池車等に適用することができる。また、本技術は、一般的な自動車以外にも、バス、トラック、自動二輪車等にも適用することができる。特に、本技術は、自動運転と手動運転の切り替えが可能な各種の車両に適用した場合に効果が大きくなる。

以上、本技術によれば、自動運転から手動運転への引き継ぎをより安全に行うことができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。

＜コンピュータの構成例＞
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。

図２３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）４０１，ROM（Read Only Memory）４０２，RAM（Random Access Memory）４０３は、バス４０４により相互に接続されている。

バス４０４には、さらに、入出力インターフェース４０５が接続されている。入出力インターフェース４０５には、入力部４０６、出力部４０７、記録部４０８、通信部４０９、およびドライブ４１０が接続されている。

入力部４０６は、入力スイッチ、ボタン、マイクロフォン、撮像素子等よりなる。出力部４０７は、ディスプレイ、スピーカ等よりなる。記録部４０８は、ハードディスクや不揮発性のメモリ等よりなる。通信部４０９は、ネットワークインターフェース等よりなる。ドライブ４１０は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体４１１を駆動する。

以上のように構成されるコンピュータでは、CPU４０１が、例えば、記録部４０８に記録されているプログラムを、入出力インターフェース４０５およびバス４０４を介して、RAM４０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU４０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体４１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブル記録媒体４１１をドライブ４１０に装着することにより、入出力インターフェース４０５を介して、記録部４０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部４０９で受信し、記録部４０８にインストールすることができる。その他、プログラムは、ROM４０２や記録部４０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

＜構成の組み合わせ例＞
本技術は、以下のような構成をとることもできる。

（１）
運転者を撮影する撮影部と、
前記撮影部により撮影された画像に基づいて、前記運転者が覚醒していることを表す所定のジェスチャー動作を検出する覚醒状態検出部と、
前記所定のジェスチャー動作が検出されたことに応じて、運転モードを切り替える運転モード切り替え部と
を備える車両制御装置。
（２）
前記運転モード切り替え部は、前記所定のジェスチャー動作が検出された場合、前記運転モードを、自動運転モードから手動運転モードに切り替える
前記（１）に記載の車両制御装置。
（３）
前記覚醒状態検出部は、車両の進行方向を見ながら行われる、前記車両の進行方向に対する指差し確認の動作を前記所定のジェスチャー動作として検出する
前記（１）または（２）に記載の車両制御装置。
（４）
前記指差し確認の動作は、前記運転者の指先が、前記運転者の視線を含む仮想的に設定された垂直平面の近傍に位置し、かつ、前記運転者の視線より下に位置する動作である
前記（３）に記載の車両制御装置。
（５）
前記覚醒状態検出部は、前記運転者の指先、手、拳のうちの少なくともいずれかの動作を追跡することにより、前記指差し確認の動作を検出する
前記（３）または（４）に記載の車両制御装置。
（６）
前記覚醒状態検出部は、前記所定のジェスチャー動作を、前記運転者固有の特性に基づいて検出する
前記（１）乃至（５）のいずれかに記載の車両制御装置。
（７）
前記覚醒状態検出部により検出された前記所定のジェスチャー動作に基づいて、前記運転者固有の特性を学習する学習部
をさらに備える前記（１）に記載の車両制御装置。
（８）
前記覚醒状態検出部は、前運転者が運転席に着座した後に行われた前記所定のジェスチャー動作を検出する
前記（１）乃至（７）のいずれかに記載の車両制御装置。
（９）
前記覚醒状態検出部は、前記運転モードを切り替えることの通知が前記運転者に対して行われた後で、前記運転者の着座動作を検出する
前記（８）に記載の車両制御装置。
（１０）
前記覚醒状態検出部は、進行方向を再確認する動作と、それに次ぐ、前記運転者への通知または警報を確認する動作とを、前記所定のジェスチャー動作として検出する
前記（１）乃至（９）のいずれかに記載の車両制御装置。
（１１）
前記覚醒状態検出部は、前記所定のジェスチャー動作を検出した後に、前記運転者がステアリングを握る動作を検出し、
前記運転モード切り替え部は、前記ステアリングを握る動作が検出された場合、前記運転モードを、自動運転モードから手動運転モードに切り替える
前記（１）乃至（１０）のいずれかに記載の車両制御装置。
（１２）
前記覚醒状態検出部は、前記運転者への提示に対する前記運転者の応答、および、操舵の補正の正確性のうちの少なくとも１つに基づいて、前記運転者の覚醒状態を検出す
前記（１）乃至（１１）のいずれかに記載の車両制御装置。
（１３）
運転者を撮影し、
撮影された画像に基づいて、前記運転者が覚醒していることを表す所定のジェスチャー動作を検出し、
前記所定のジェスチャー動作が検出されたことに応じて、運転モードを切り替える
ステップを含む車両制御方法。

１０ 自動運転システム， １１ 車両制御システム， １２ 携帯端末， ２１ 周辺撮影部， ２２ 周辺情報取得部， ２３ 位置測定部， ２４ 入力部， ２５ 車両情報取得部， ２６ 運転者監視部， ２７ 通信部， ２８ 車両制御部， ２９ 表示部， ３０ 音声出力部， ３１ 発光部, ３３ 走行制御部， ３４ 車載装置制御部, ３５ 記憶部， １０１ 運転者撮影部， １０２ 生体情報取得部， １０３ 視線検出部， １０４ 認証部， １２１ 周辺監視部， １２２ 運転者監視部， １２３ 自動運転制御部， １２４ 通知制御部, １２５ ログ生成部， １２６ 学習部， １４１ 運転挙動分析部， １４２ 運転状態検出部， １５１ ルート設定部， １５２ 自動化レベル設定部， １５３ 運転支援制御部， １５４ 運転モード切り替え制御部， １５５ 切り替え判定部， ２０１ ジェスチャー認識切り替え判定部， ２０２ サッケード情報切り替え判定部， ２０３ 音声認識切り替え判定部， ２０４ ステアリング操作切り替え判定部

Claims (18)

1. 運転者の挙動を検出するセンサ部と、
   前記センサ部の検出結果に基づいて、前記運転者の所定の動作を検出する覚醒状態検出部と、
   前記所定の動作が検出されたことに応じて、自動運転モードから手動運転モードに運転モードを切り替え、前記所定の動作が検出されなかった場合、切り替えNGと判定し、自動運転モードから緊急退避モードに前記運転モードを切り替える運転モード切り替え部と
   を備え、
   前記運転モード切り替え部は、前記覚醒状態検出部により前記運転者の覚醒状態の低下が検出された場合、前記運転者に対し通知または警報を行い、
   前記通知または警報による前記運転者の覚醒状態の低下からの復帰の検出後、所定時間経過までに前記所定の動作が検出されなかった場合、切り替えNGと判定し、前記運転モードを、自動運転モードから緊急退避モードに切り替える
   車両制御装置。
2. 自動運転モードから手動運転モードへの切り替え結果および切り替えNG結果を記録するログ生成部をさらに備える
   請求項１に記載の車両制御装置。
3. 前記所定の動作は、所定のジェスチャー動作であり、前記覚醒状態検出部は、車両の進行方向を見ながら行われる、前記車両の進行方向に対する指差し確認の動作を前記所定のジェスチャー動作として検出する
   請求項１に記載の車両制御装置。
4. 前記指差し確認の動作は、前記運転者の指先が、前記運転者の視線を含む仮想的に設定された垂直平面の近傍に位置し、かつ、前記運転者の視線より下に位置する動作である
   請求項３に記載の車両制御装置。
5. 前記覚醒状態検出部は、前記運転者の指先、手、拳のうちの少なくともいずれかの動作を追跡することにより、前記指差し確認の動作を検出する
   請求項４に記載の車両制御装置。
6. 前記所定の動作は、所定のジェスチャー動作であり、前記覚醒状態検出部は、前記所定のジェスチャー動作を、前記運転者固有の特性に基づいて検出する
   請求項１に記載の車両制御装置。
7. 前記覚醒状態検出部により検出された前記所定のジェスチャー動作に基づいて、前記運転者固有の特性を学習する学習部
   をさらに備える請求項６に記載の車両制御装置。
8. 前記所定の動作は、所定のジェスチャー動作であり、前記覚醒状態検出部は、前記運転者が運転席に着座した後に行われた前記所定のジェスチャー動作を検出する
   請求項１に記載の車両制御装置。
9. 前記覚醒状態検出部は、前記運転モードを切り替えることの通知が前記運転者に対して行われた後で、前記運転者の着座動作を検出する
   請求項８に記載の車両制御装置。
10. 前記所定の動作は、所定のジェスチャー動作であり、前記覚醒状態検出部は、進行方向を再確認する動作と、それに次ぐ、前記運転者への通知または警報を確認する動作とを、前記所定のジェスチャー動作として検出する
    請求項１に記載の車両制御装置。
11. 前記所定の動作は、所定のジェスチャー動作であり、前記覚醒状態検出部は、前記所定のジェスチャー動作を検出した後に、前記運転者がステアリングを握る動作を検出し、
    前記運転モード切り替え部は、前記ステアリングを握る動作が検出された場合、前記運転モードを、自動運転モードから手動運転モードに切り替える
    請求項１に記載の車両制御装置。
12. 前記覚醒状態検出部は、前記運転者への提示に対する前記運転者の応答、および、操舵の補正の正確性のうちの少なくとも１つに基づいて、前記運転者の覚醒状態を検出する
    請求項１に記載の車両制御装置。
13. 前記運転モード切り替え部は、前記運転モードを、緊急退避モードから自動運転モードLV3または自動運転モードLV4に切り替える
    請求項１に記載の車両制御装置。
14. 前記所定の動作は、所定のジェスチャー動作であり、前記覚醒状態検出部は、前記運転者が介在しなくても走行できる区間から前記運転者の介在が求められる区間への移行に先立って、前記所定のジェスチャー動作を検出する
    請求項１に記載の車両制御装置。
15. 前記所定の動作は、所定のジェスチャー動作であり、前記覚醒状態検出部は、前記運転者が介在しなくても走行できる区間において、LDMの情報鮮度、天候、および事象発生情報のうちの少なくとも１つに応じて、前記所定のジェスチャー動作を検出し、
    前記事象発生情報は、歩行者の飛び出し、合流事故、落石、路面凍結、および事故発生の少なくとも１つを含む
    請求項１に記載の車両制御装置。
16. 前記覚醒状態検出部は、アクティブモニタリングおよびパッシブモニタリングを備える
    請求項１に記載の車両制御装置。
17. 前記所定の動作は、所定のジェスチャー動作であり、前記覚醒状態検出部は、前記アクティブモニタリングにより、前記所定のジェスチャー動作を検出する
    請求項１６に記載の車両制御装置。
18. 運転者の挙動を検出するセンサ部の検出結果に基づいて、前記運転者の所定の動作を検出し、
    前記所定の動作が検出されたことに応じて、自動運転モードから手動運転モードに運転モードを切り替え、前記所定の動作が検出されなかった場合、切り替えNGと判定し、自動運転モードから緊急退避モードに前記運転モードを切り替え、
    前記運転者の覚醒状態の低下が検出された場合、前記運転者に対し通知または警報を行い、
    前記通知または警報による前記運転者の覚醒状態の低下からの復帰の検出後、所定時間経過までに前記所定の動作が検出されなかった場合、切り替えNGと判定し、前記運転モードを、自動運転モードから緊急退避モードに切り替える
    ステップを含む車両制御方法。

Images