JP6552316B2 - 車輌の自動運転システム - Google Patents

Description

本発明は、自動車等の車輌の自動運転システムに関し、特に自動運転から手動運転に運転モードを切り替えるための技術に関する。

近年、運転者による手動操作無しで車輌の速度や操舵を制御して、自動車等の車輌を自動運転させるための様々な自動運転制御技術が開発提案されている。一般に自動運転モードと手動運転モードとは適宜切り替えることができるが、走行中にいきなり自動運転から手動運転に切り替わると、運転者は手動運転の準備が十分にできていない虞がある。

そこで、自動運転で走行中の車輌が安定状態にあるときのみ、手動運転への切替を許容する車輌の自動運転制御装置が提案されている（例えば、特許文献１を参照）。この装置では、車輌が直線路を走行して操舵角が中立状態にある場合を安定状態といい、何らかの積極的な修正動作（ハンドル操作、アクセル操作、ブレーキ操作等）を行わなければ所望の走行を維持できない状態を非安定状態として、手動運転への切替を禁止している。

また、自動運転走行モードから手動運転走行モードへの切換え時に、運転者のステアリング操作であるステアリングオーバーライドを検出し、その結果に基づいて運転者の運転認識を容易に検出できるようにした自動運制御装置が知られている（例えば、特許文献２を参照）。運転者のステアリングオーバーライドが検出されない場合、車輌は自動運転モードを継続して安全な場所に誘導される。

自動運転中の走行状態を画面表示することによって、運転者の意志とは無関係に外的要因により自動運転モードが維持できなくなった場合でも、運転者が手動運転への心構えや運転態勢を準備できるようにした走行状態提示装置が知られている（例えば、特許文献３を参照）。予め運転者が手動運転に切り換わる可能性を容易に判断できるように、自動運転制御の安定度をステアリングホイールを模した画像で表示し、該ステアリングホイールの傾き及び表示面積を車輌の周囲の環境情報及び自車輌の状態に基づいて変化させる。

逆に、自動運転から運転者のオーバーライド（運転操作）によって手動運転に切り替わった場合に、再び自動運転に自動で切り替え可能な自動運転車両制御装置が提案されている（例えば、特許文献４を参照）。この装置では、運転者が自動での切替時に違和感を覚えないように、手動運転時の実際の車輌進路と自動運転の目標進路との差が閾値未満であって、運転者のオーバーライドが検出されていない場合に手動運転から自動運転に切り替える。

他方、車輌用運転支援装置において、運転者の状況に応じて適切な運転支援を行うことが知られている。例えば、運転者の生体情報（呼吸、心拍等）を検知して運転者の肉体的・精神的状態を認識したり、運転者の呼吸の変化と運転操作の変化とに基づいて運転者の心理的動転度合いを判定することが提案されている（例えば、特許文献５を参照）。運転者の呼吸は、運転シートに設けられた感圧センサにより検知される運転者の体圧の変化に基づいて計測される。

また、運転者の眠気（覚醒度）や疲労度を運転中の姿勢変化、瞬目や瞳孔径から検知することが知られている（例えば、特許文献６を参照）。運転者の姿勢変化は、運転シートの座面に設けられた体圧センサにより座面圧の分布、重心を検知することによって判定される。

更に、運転者の覚醒度や漫然度等の運転状態を判定するために、車載カメラで撮影した運転者の顔画像を解析する装置が提案されている（例えば、特許文献７を参照）。この装置は、撮影した顔画像を処理して目の開眼度（目の開き具合）や瞼挙動（瞼の位置、瞬きの速さや頻度等）を検出し、運転者の状態を判定する。

特開平９−２２２９２２号公報 特開２０００−２７６６９０号公報 特開２００１−１９９２９５号公報 特開２０１２−５１４４１号公報 特開２００６−４２９０３号公報 特開２００２−８１５９号公報 特開２０１５−１１８２８７号公報

一般に車両の自動運転制御において、自動運転モードから手動運転モードへの切替が行われるのは、大きく分けて次の２つの場合がある。１つは、運転者自身の意志によって能動的に切り替える場合である。例えば、運転者が、自動運転で設定された走行経路とは異なる経路や設定速度とは異なる速度で走行したい場合、単に自分で運転したい場合等がある。

もう１つは、自動運転システムが、自動運転中に何らかの理由によって、自動運転モードの維持が困難である、又は適当でないと判断した場合である。このような理由として、例えば、自動運転中に自車輌周辺の環境や路面状況又は交通状態が変化し、それが自動運転の維持に適していなかったり、自動運転を維持すると回避し難い危険が予想されると、自動運転システムが判断した場合等が考えられる。

いずれの場合も、自動運転モードから手動運転モードにスムーズかつ安全に移行するためには、運転モードの切り換え時に車輌の運転行動と運転者の状態の両方において準備できていることが重要である。ここで、車輌の運転行動とは、操舵系のステアリング操作、加速系のアクセル操作、制動系のブレーキ操作をいうものとする。運転者の状態（以下、運転者状態という）とは、運転者の精神的、心理的、肉体的状態をいうものとする。

そこで、本発明は、上述した従来の問題点を解消するためになされたもので、その目的は、自動車等の車輌の自動運転において、自動運転モードから手動運転モードに切り替える際に、手動運転に完全に移行するまでの間、車輌の安全な運転を支援する車輌の自動運転システム、及びそのための方法を提供することにある。

更に本発明の目的は、自動車等の車輌の自動運転において、自動運転モードから手動運転モードに切り替える際に、運転者による手動運転が確実に開始したことを判断する車輌の自動運転システム、及びそのための方法を提供することにある。

本発明は、予め設定された走行予定ルートに沿って予定した走行行動に従って自車輌を自動運転により走行させる自動運転モードと、運転者が手動で運転する手動運転モードとの間で切替可能な車輌の自動運転システムであって、
運転者の状態が手動運転できる状態か否かを判定する運転者状態判定部と、
自動運転中の自車輌の運転行動が手動運転への切替可能な安定した状態にあるか否かを判定する運転行動判定部と、
自動運転中の自動運転モードから手動運転モードへの切替を制御する運転モード切換制御部とを備え、
運転者状態判定部が、運転者の覚醒状態と運転者の手動運転への準備態勢とから運転者の状態を判定し、
運転行動判定部が、自動運転中の自車輌の操舵系、加速系、制動系の操作状態から自車輌の運転行動を判定し、
運転モード切換制御部が、運転者状態判定部により運転者の状態が手動運転できる状態であると判定され、かつ運転行動判定部により自車輌の運転行動が手動運転への切替可能な安定した状態にあると判定されたとき、自動運転モードから手動運転モードへの切替を許容し、
前記運転者状態判定部が、運転者が覚醒状態にあるが手動運転への準備態勢にないと判定したとき、前記運転モード切換制御部が、自車輌のディスプレイ装置及び／又はスピーカーを用いて運転者の準備態勢の確認を促す通知を行い、その後前記運転者状態判定部が再度運転者の準備態勢を判定する、ことを特徴とする。

このように、運転者の覚醒状態と運転者の手動運転への準備態勢とから運転者の状態を判定し、かつ自動運転中の自車輌の操舵系、加速系、制動系の操作状態から自車輌の運転行動を判定することによって、自動運転モードから手動運転モードに安全に切り替えることができる。そして、運転者が覚醒状態にあるが手動運転への準備態勢にないと判定したとき、運転モード切換制御部が、自車輌のディスプレイ装置及び／又はスピーカーを用いて運転者の準備態勢の確認を促す通知を行い、その後運転者状態判定部が再度運転者の準備態勢を判定することにより、運転者状態判定部又は運転行動判定部による判定の開始後、速やかにかつ確実に手動運転モードに移行することができる。

別の実施形態では、運転モード切換制御部が、運転者状態判定部又は運転行動判定部による前記判定の開始から手動運転モードへの切替を許容するまでの間、自動運転モードを維持することにより、車両の安全走行を確保することができる。

或る実施形態では、運転者状態判定部が、運転者の生体情報に基づいて該運転者の覚醒状態を判定することにより、運転者が手動運転できる状態でないにも拘わらず、その自己判断によって手動運転に移行する危険を未然に排除することができる。

別の実施形態では、運転モード切換制御部が、運転行動判定部による前記判定の開始から一定の時間経過後に、自動運転モードから手動運転モードへの切替を中止することにより、緊急事態が迫っているような場合でも、時間を無駄にすることなく、速やかに安全な走行のための対応を図ることができる。

また、或る実施形態では、運転者状態判定部が、自車輌のステアリング、アクセル及びブレーキにそれぞれ設けられた感圧センサーから入力する信号に基づいて、運転者がステアリングと、アクセル又はブレーキとを操作可能な状態にあることを検出し、運転者が手動運転への準備態勢にあることを判定することにより、安全運転の確保と速やかな手動運転への移行とを図ることができる。

本発明の別の側面によれば、本発明の車輌の自動運転方法は、予め設定された走行予定ルートに沿って予定した走行行動に従って自車輌を自動運転により走行させる自動運転モードと、運転者が手動で運転する手動運転モードとの間で切替可能な車輌の自動運転システムにおいて、
運転者の覚醒状態と運転者の手動運転への準備態勢とから、運転者の状態が手動運転できる状態か否かを判定する過程と、
自動運転中の自車輌の操舵系、加速系、制動系の操作状態から、自車輌の運転行動が手動運転への切替可能な安定した状態にあるか否かを判定する過程と、
判定した運転者の状態が手動運転できる状態であり、かつ判定した自車輌の運転行動が手動運転への切替可能な安定した状態にあるとき、自動運転モードを解除して手動運転モードに切り替える過程と、
前記運転者が覚醒状態であることを判定した後、運転者が手動運転への準備態勢にないことを判定した後とき、自車輌のティスプレイ装置及び／又はスピーカーにより運転者の準備態勢の確認を促す通知を行う過程と、
を含む、ことを特徴とする。

このように、運転者の覚醒状態と運転者の手動運転への準備態勢とから判定される運転者の状態と、自動運転中の自車輌の操舵系、加速系、制動系の操作状態から判定される自車輌の運転行動の両方に基づいて、自動運転モードから手動運転モードに切り替えることによって、車輌の安全な走行を確保することができる。そして、このように運転者の覚醒状態及び運転者の手動運転への準備態勢の判定から、手動運転モードへの切替を許容するまでの過程を段階的に行うことにより、自動運転から手動運転にいきなり切り替わることがないので、手動運転に移行するまでの時間的、心理的余裕を運転者に与え、運転者の緊張や負担を少なくすることができる。

別の実施形態では、運転者の状態を判定する過程又は自車輌の運転行動を判定する過程の開始から手動運転モードへの切替を許容する過程を終了するまでの間、自動運転モードを維持する。これにより、手動運転に完全に移行するまでの間、車両の安全走行を確保することができる。

或る実施形態では、運転者の生体情報を入手する過程を更に含み、該運転者の生体情報に基づいて運転者の覚醒状態を判定する。これにより、運転者が手動運転できる状態でないにも拘わらず、その自己判断によって手動運転に移行する危険を未然に排除することができる。

別の実施形態では、自車輌の運転行動を判定する過程の開始から時間の経過を計測する過程を更に含み、この時間の経過が一定の時間を超えると、自動運転モードから手動運転モードへの切替を中止することにより、時間を無駄にすることなく、速やかに安全な走行のための対応を図ることができる。

また或る実施形態では、運転者の状態を判定する過程が、運転者がステアリングと、アクセル又はブレーキとを操作可能な状態にあるとき、運転者が手動運転への準備態勢にあると判定することにより、車輌の安全な運転を確保しつつ速やかに手動運転への移行を図ることができる。

本発明の好適な実施形態による車輌の自動運転システムの構成全体を示すブロック図。 自車輌に配置した自動運転用のカメラ及びセンサーの一例を示す平面図。 本実施形態の自動運転システムを備える自動車の室内を運転席側から見た概念図。 自動運転モードから手動運転モードへの切替制御を説明するフロー図。 運転者の状態を判定する過程を説明するフロー図。 車輌の運転行動を判定する過程を説明するフロー図。

我が国では、自動車等の車輌の自動走行システムについて、その自動化レベルがレベル１からレベル４まで４段階に分けて定義されている。レベル１は、加速・操舵・制動のいずれかを自動車が行い、安全運転支援システムと呼ばれる。レベル２は、加速・操舵・制動の内複数の操作を同時に自動車が行い、準自動走行システムと呼ばれる。レベル３は、加速・操舵・制動を全て自動車が行い、緊急時のみドライバーが対応する状態で、これも準自動走行システムと呼ばれる。レベル４は、加速・操舵・制動を全てドライバー以外が行い、ドライバーが全く関与しない状態で完全自動走行システムと呼ばれる。また、レベル２からレベル４までを自動走行システムとも呼んでいる（「SIP（戦略的イノベーション創造プログラム）自動走行システム研究開発計画」、2014年11月13日、内閣府、政策統括官（科学技術・イノベーション担当））。これに従って、本明細書において「自動運転」は、特に明言しない限り、基本的に上記レベル１からレベル４まで全自動化レベルの自動走行を含むものとする。

以下に、添付図面を参照しつつ、本発明による車輌の自動運転システムの好適な実施形態について詳細に説明する。尚、本実施形態における自動運転は、上記レベル３の自動走行をいうものとする。また、添付図面において、同一又は類似の構成要素には、同一又は類似の参照符号を付して表すものとする。

図１は、本実施形態の自動運転システム１の構成全体を概念的に示している。自動運転システム１は、自動運転制御部２、情報入力部３、及び自動走行情報記憶部４を備える。自動運転制御部２は、運転行動判定部２１、運転者状態判定部２２、及び運転モード切換制御部２３を有する。自動運転制御部２は、自動運転システム１と組み合わせて使用するために、画像表示システム５、及びステレオ音響システム６に接続されている。更に自動運転制御部２は、加速系７、操舵系８、制動系９、指示系１０、及び図示しない燃料系やバッテリー等の電気系にも接続されている。

画像表示システム５は、自動車のフロントウインドシールドを画面表示に利用した第１ティスプレイ装置１１、自動車のダッシュボードにインダッシュ又はオンダッシュで搭載されるモニター装置からなる第２ディスプレイ装置１２、及び図示しないディスプレイ制御部を備える。ステレオ音響システム６は、車室内に配置された複数のスピーカー１３、及び図示しない音響制御部からなるサラウンド式である。

一般に、加速系７は、原動機の回転数を上げたりギアチェンジをして自動車を発進加速させ、その速度を増加又は維持する働きを行う。操舵系８は、自動車のステアリングホイールを操作する働きを行う。制動系９は、原動機の回転数を下げたりギアチェンジをして自動車の速度を減少又は走行を停止させる働きを行う。指示系１０は、自動車の方向指示器、駐車灯、非常点滅表示灯、前照灯、尾灯、後退灯等を点灯又は消灯させる働きを行う。

情報入力部３には、自車輌の位置や走行状態等の自車輌情報を取得するために、自車輌に設置された各種センサーや外部との通信機器等が接続されている。例えば、自車輌位置を精度良く把握するために、地球を周回している衛星から送信されてくる信号や画像データをグローバル・ポジショニング・システム（ＧＰＳ）装置により受信し、又は道路上に設置されたアンテナや通信チップとの路車間通信により情報を入手することができる。

また、情報入力部３は、自車輌の操舵系８に設置されたシフトポジションセンサー、加速系７に設置された原動機の回転センサー、制動系９に設置されたブレーキセンサー、車輪等に設置された速度センサー等から、自車輌の走行状態に関する情報を入手することができる。更に情報入力部３は、車室内に設置されたカメラや各種センサーから運転者の状態に関する情報を入手する。また、情報入力部３は、運転者又は他の乗員から直接的又は間接的に自動運転のための入力を受けることもできる。

また、情報入力部３には、自車輌の周囲の交通状況に関する情報を取得するために、自車輌に設置されたカメラ、各種センサーや外部との通信機器等が接続されている。例えば、自車輌の周囲を走行又は駐停車している他車との車車間通信により、当該他車の位置や進路、走行状態を、道路上のアンテナや通信チップとの路車間通信及び／又はインターネットや公共放送を通じた交通情報センターとの無線通信により、他車輌の走行状況や道路状況等に関する最新の交通情報を入手することができる。

図２に例示するように、自動車１４の真直及び左右前方の対象物を認識するために、フロントウインドシールド１５に左右一対のフロントカメラ１６，１６を設け、左右後方の対象物を認識するために、左右のドアミラー１７，１７の下部に左右一対のリアカメラ１８，１８をそれぞれ設けることができる。別の実施形態では、これらのカメラに別のカメラを追加して、３６０°カメラを備えることもできる。

図２では、自動車１４の真直後方を検知するために、リヤウインドシールド１９の上部中央に、例えばミリ波レーダー、マイクロ波レーダー、レーザーレーダー、赤外線センサー、超音波センサー等からなるレーダーセンサー２０が装着されている。また、濃霧や大雨等の天候不良や夜間に対応するために、同様のレーダーセンサーを自動車１４の前部中央（例えば、ラジエーターグリル又はボンネット内）に装着することもできる。別の実施形態では、レーダーセンサー２０に代えて又はそれに加えて、自動車１４の後部中央に中央リアカメラを装着することもできる。

また、図２では、ステレオ音響システム６のスピーカー１３が車室内の前後左右位置に各１台ずつ、計４台設置されている。スピーカー１３の設置台数及び／又は設置個所は、様々に変更することができる。

自動走行情報記憶部４には、道路地図、車線情報、制限速度や道路標識等の交通規制のような、目的地までの走行ルートを選定しかつ必要に応じて変更するため、及び決定された走行ルートに従って自動運転で走行するために必要な地図道路情報が予め記憶されている。更に自動走行情報記憶部４には、情報入力部３が取得した情報から、自車輌の周囲に存在する自動車等の車輌や歩行者を対象物として検出しかつ認識するために使用する、様々な対象物の画像又は形状特徴のデータを蓄積した基準データファイルを記憶させることができる。

自動運転制御部２は、ＣＰＵ、ＲＯＭ、ＲＡＭを含むマイクロコンピュータで構成されており、前記ＣＰＵは、前記ＲＯＭに格納されているプログラムを実行して、自動車の自動運転を行う。自動運転の開始に先立って、運転者又は他の乗員が目的地を入力すると、自動運転制御部２は、該目的地までの走行ルートを演算して１つ又はそれ以上の候補を提示する。提示された走行ルートの１つを乗員が確認又は選択すると、その走行ルートに従って自動運転制御部２は、加速系７、操舵系８、制動系９及び指示系１０を駆動制御し、自動運転を開始する。

図３は、自動運転システム１を備えた自動車１４のダッシュボード２５、運転席２６及びその周辺を概念的に示している。ダッシュボード２５には、運転席２６正面の計器パネル２７の直ぐ上部に顔画像用カメラ２８が取り付けられている。顔画像用カメラ２８は、運転席２６に近い方のフロントピラー２９（本実施形態のように右ハンドル車の場合、右側フロントピラー）に設けることもできる。

顔画像用カメラ２８は、運転席２６の運転者の顔画像を撮影するためのもので、例えばＣＭＯＳイメージセンサーやＣＣＤイメージセンサーで構成される。夜間等の暗い環境下でも十分な感度で鮮明に撮影できるように、顔画像用カメラ２８には、適当な照明器具を付設することが好ましい。このような照明器具としては、運転者にとって運転の妨げとならないように、例えば近赤外ＬＥＤ等を用いることができる。

撮影した運転者の顔画像データは、自動運転システム１の情報入力部３に入力され、自動運転制御部２の運転者状態判定部２２に送信される。運転者状態判定部２２は、受信した前記顔画像データを処理して、運転者の覚醒度、即ち居眠り状態か否か、眠気の程度を判定する。そのために、運転者状態判定部２２は、前記顔画像データから、開眼の度合い（瞼の開き具合）、瞬目挙動（瞼の一時的瞬間的閉開の回数、時間）、瞳孔径の変化、眼球運動、閉眼時間及びその割合等、運転者の眼の挙動に関する指標や、頭部の位置、姿勢及びその変化等の運転者の生体情報を抽出することができる。

運転席２６には、シート座面３０及びシート背もたれ３１にそれぞれ複数の感圧素子からなる体圧センサー３０ａ，３１ａが埋設されている。図３では、体圧センサー３０ａ，３１ａが、シート座面３０及びシート背もたれ３１の対角位置の４個所にそれぞれ各１個の感圧素子を配置しているが、前記感圧素子の数及び／又は配置は、様々に変更することができる。

体圧センサー３０ａ，３１ａは、シート座面３０及びシート背もたれ３１にそれぞれ作用する運転者の体重及びその変化を含む体圧データを検出して、自動運転システム１の情報入力部３に入力する。情報入力部３は、受信した体圧データを自動運転制御部２の運転者状態判定部２２に送信する。

運転者状態判定部２２は、前記体圧データから体圧の周期的変化を抽出し、運転者の一定時間内の呼吸数を検出する。また、運転者状態判定部２２は、前記体圧データからシート座面３０及びシート背もたれ３１における体圧分布、その重心位置及びその変化を抽出し、運転者の運転姿勢及びその変化を検出する。

このように顔画像用カメラ２８から得られる運転者の顔画像データと、運転席２２の体圧センサー３０ａ，３１ａから得られる運転者の体圧データとを用いて、運転者状態判定部２２は、運転者の覚醒状態、即ち手動運転できる程度に覚醒しているか又は居眠り状態か、眠気の程度はどうかを判定する。上述した生体情報は、全部を用いる必要は無く、運転者の覚醒状態を判定するのに必要かつ十分な項目だけを抽出すればよい。例えば、顔画像用カメラ２８又は体圧センサー３０ａ，３１ａの一方を省略して、顔画像データ又は体圧データの一方だけを用いることができる。

運転席２２の正面に配置されたブレーキペダル３２及びアクセルペダル３３、ハンドル３４、運転席２２の助手席側に配置された変速レバー３５には、それぞれ感圧センサー３２ａ，３３ａ，３４ａ，３５ａが設けられている。これらの感圧センサー３２ａ〜３５ａは、それぞれ所定の圧力が印加されることによって作動し、具体的には、運転者がブレーキペダル３２又はアクセルペダル３３に足を載せているか否か、ハンドル３４を握っているか否か、変速レバー３５を握っているか否かという操作状態データを検出する。感圧センサー３４ａは、ハンドル３４を両手で握っていることを検出できるように、ハンドルの周方向に複数個を配置することが好ましい。各感圧センサー３２ａ〜３５ａが検出した前記操作状態データは、自動運転システム１の情報入力部３に入力され、該情報入力部から自動運転制御部２の運転者状態判定部２２に転送される。

運転者状態判定部２２は、前記操作状態データから運転者が直ぐに手動運転をすることができる状態にあるか、その準備ができているかを判定する。例えば、感圧センサー３４ａからのデータ信号がオンで、運転者がハンドル３４を握っている状態であれば、ステアリング操作可能であると判定する。感圧センサー３２ａ又は３３ａからのデータ信号がオンであれば、ブレーキペダル３２又はアクセルペダル３３を操作可能な状態であると判定する。ハンドル３４及びブレーキペダル３２又はアクセルペダル３３からのオン信号に加えて、更に感圧センサー３５ａからのデータ信号がオンであれば、運転者は直ぐに手動運転できる状態にあると、判定することができる。

ダッシュボード２５の上部には、第１ディスプレイ装置１１としてのフロントウインドシールド１５に画像を投影するためのヘッドアップディスプレイ（ＨＵＤ）装置３７が設けられている。ＨＵＤ装置３７は、ダッシュボード２５内に組み込むことができる。前記ＨＵＤ装置は、ダッシュボード２５上面や、運転席天井部のサンバイザー３８の位置に装着することもできる。更に、これら及び／又は他の位置の複数箇所から投影できるように設けることもできる。

一般にＨＵＤ装置は、フロントウインドシールド自体をスクリーンとしたり、フロントウインドシールドと乗員の眼との間若しくはフロントウインドシールドの表面に設けられた透明スクリーンに表示画像を投影するタイプ等、様々な構造のものが使用され、開発されている。本発明のＨＵＤ装置は、従来から知られた如何なる構造、仕組みのものであっても良い。

ダッシュボード２５の正面略中央には、第２ディスプレイ装置１２としてのモニター装置３９がインダッシュで即ちダッシュボード２５内に一体に組み込まれている。前記モニター装置は、オンダッシュで即ちダッシュボード２５上に取り付けることもできる。フロントウインドシールド１５の中央上部に取り付けられているバックミラー４０も、画像表示システム５の第３ディスプレイ装置として機能させることが可能である。

また、情報入力部３には、自動運転中の加速系７、操舵系８及び制動系９からそれぞれ車輌の運転行動を示すデータが入力され、自動運転制御部２の運転行動判定部２１に転送される。受信した運転行動データから、運転行動判定部２１は、車輌が加速又は減速しているか、加速又は減速の程度（急激又は緩やか）、ステアリング操作は安定しているか又は操作中か、等を判断することができる。更に運転行動判定部２１には、自動運転制御部２が自動運転のために設定した走行ルートに関する情報、及び、フロントカメラ１６、リアカメラ１８、レーダーセンサー２０から情報入力部３を介して入力する自車輌の走行環境又は交通状況に関する情報が送信される。

運転行動判定部２１は、これらのデータ及び情報から、自動運転中の車輌を直ぐに手動運転に切り替えても、安全な走行を維持又は確保できるかを判定する。例えば、自車輌が自動運転でステアリング操作中に、いきなり手動運転に切り替えれば、運転者には大きな緊張及び高度なステアリング操作を強いる虞がある。また、自動運転で加速又は減速中に手動運転に切り替わると、車輌の速度が不安定になる虞がある。従って、このような場合には、自動運転が、安定な走行状態（例えば、略一定速度で略直線的に又は緩やかなカーブを走行している状態）になるまで、手動運転への移行を待つべきである。但し、重大な危険が迫っている等の緊急事態には、速やかに手動運転に切り替えるべきであり、そのような切替は運転者のオーバーライドによって可能である。

運転モード切換制御部２３は、上述した運転行動判定部２１及び運転者状態判定部２２の判定結果に基づいて、自動運転モードから手動運転モードへの切替を制御する。運転モードの切替制御は、第１に安全運転を目的として行われ、安全運転を確保できないと判断される場合は、運転モードの切替中止即ち自動運転の維持、又は車輌の安全な停止をも含むものである。

上述したように、車両の自動運転制御において、自動運転モードから手動運転モードへの切替が行われるのは、一般に次の２つの場合である。第１は、自動運転システム１が、自動運転中に何らかの理由によって、自動運転モードの維持が困難である、又は適当でないと判断した場合である。例えば、フロントカメラ１６、リアカメラ１８の撮像画像やレーダーセンサー２０から情報入力部３を介して入力する情報に基づいて、自動運転制御部２が、自車輌の走行環境又は交通状況が自動運転に適していないと判断する場合がある。第２は、運転者自身の意志によって能動的に切り替える場合である。

第１の場合において、本実施形態の自動運転システム１による自動運転モードから手動運転モードへの切替制御について、図４〜図６のフロー図を用いて説明する。先ず、自動運転制御部２が自動運転から手動運転への切替が必要であると判断すると、運転モード切換制御部２３が、自動運転の解除と手動運転への移行を運転者に事前に通知する（ステップSt１）。

この運転モード移行通知は、画像表示システム５を用いて第１及び／又は第２ディスプレイ装置１１，１２にテキスト及び／又はアニメーション等の画像を表示すると同時に、ステレオ音響システム６を用いて各スピーカー１３から音声メッセージを流しかつ／又は警報音を発生することによって行う。別の実施形態では、画像表示システム５又はステレオ音響システム６の一方のみを用いることができる。

次に、運転者状態判定部２２が、上述したようにして運転者の状態を判定する（ステップSt２）。ステップSt２の判定は、図５のフロー図に示すように２段階で行う。運転者状態判定部２２は、最初に、顔画像用カメラ２８及び／又は運転席２２の体圧センサー３０ａ，３１ａからのデータに基づいて、運転者の覚醒状態を判定する（ステップSt２１）。運転者が覚醒状態にあれば、各感圧センサー３２ａ〜３５ａからのデータに基づいて、運転者の準備態勢を判定する（ステップSt２２）。運転者が手動運転に移行し得る準備態勢にあれば、次のステップSt３（図４）に進む。

図５のステップSt２１において、運転者が覚醒状態にない場合、運転モード切換制御部２３は、自動運転を維持する（ステップSt２３）。次に運転モード切換制御部２３は、直前のステップSt２１の判定が最初の判定か否かを判断する（ステップSt２４）。再度の判定であれば、図４のステップSt５に進み、手動運転モードへの切替を中止する。

最初の判定であれば、運転モード切換制御部２３は、運転者の覚醒を促すための処置を行う（ステップSt２５）。この処置は、例えば、ステレオ音響システム６を用いて各スピーカー１３からより大きな音声メッセージ及び／又は警報音を発生することによって、かつ／又は第１、第２ディスプレイ装置１１，１２に警告画像をより目立つように、例えば発光又は点滅表示することによって行う。次に、ステップSt２１に戻って、運転者状態判定部２２により運転者の覚醒状態を再度判定する。

図５のステップSt２２と並行して、運転モード切換制御部２３は、運転者に手動運転に移行し得る準備態勢の確認を促す通知（又は警告）を行う（ステップSt２６）。この確認通知は、画像表示システム５を用いて第１及び／又は第２ディスプレイ装置１１，１２にテキスト及び／又はアニメーション等の画像を表示し、かつ／又はステレオ音響システム６を用いて各スピーカー１３から音声メッセージを流すことによって行う。

運転者状態判定部２２は、ハンドル３４の感圧センサー３４ａからのデータ信号、及びブレーキペダル３２又はアクセルペダル３３の感圧センサー３２ａ又は３３ａからのデータ信号がオンであれば、感圧センサー３５ａからのデータ信号がオンでなくても、運転者が手動運転の準備態勢にある、と判定する。この判定が運転者状態判定部２２から伝達されると、運転モード切換制御部２３は、画像表示システム５及び／又はステレオ音響システム６による前記確認通知を中止する（ステップSt２７）。

ハンドル３４の感圧センサー３４ａからのデータ信号、又はブレーキペダル３２及びアクセルペダル３３の感圧センサー３２ａ、３３ａからのデータ信号がオフの場合、それは運転者状態判定部２２から運転モード切換制御部２３に伝達される。運転モード切換制御部２３は、ステップSt２６において、前記感圧センサーのデータ信号がオフであるハンドル３４、又はブレーキペダル３２及びアクセルペダル３３について、それらを操作し得る態勢を取るように運転者に注意を促す。この注意は、上述したように画像表示システム５及び／又はステレオ音響システム６を用いて行う。

特にハンドル３４からのデータ信号は重要である。これは、走行中の車輌にとって、ステアリング操作は、安全走行を確保するために必要不可欠だからである。従って、ハンドル３４からのデータ信号がオンであることを、運転者が手動運転の準備態勢にあることを判定するための必須又は絶対要件にすることもできる。

次に、運転行動判定部２１が、車輌の運転行動を判定する（ステップSt３）。車輌の運転行動は、上述したように、自動運転中のその時点におけるステアリング操作の安定度合い、加減速の状態から、自車輌の走行環境及び／又は交通状況をも考慮して、安全な走行を維持確保しながら手動運転に移行できる状態かによって判定する（ステップSt３１）。図６のフロー図に示すように、車輌の運転行動が手動運転に移行可能な状態であれば、運転モード切換制御部２３は、図４のステップSt４に進んで、手動運転モードへの切替を行う。

ステップSt３１において、車輌の運転行動が手動運転に移行可能な状態でないと判定された場合、運転モード切換制御部２３は、直前のステップSt３１が最初の判定であるか否かを判定する（ステップSt３２）。直前のステップSt３１が再度の判定であると、運転モード切換制御部２３は、図４のステップSt５に進んで、手動運転モードへの切替を中止する。

ステップSt３２において、直前のステップSt３１が最初の判定であれば、運転モード切換制御部２３は、自動運転を維持して（ステップSt３３）、手動運転に移行可能な状態になるのを待つ。そして、前記最初の判定（ステップSt３１）から或る一定時間が経過すると（ステップSt３４）、ステップSt３１に戻り、運転行動判定部２１により再度車輌の運転行動を判定する。

運転モード切換制御部２３は、ステップSt４において、自動運転システム１による自動運転モードを解除し、手動運転モードに切り替える。これと同時に、運転モード切換制御部２３は、画像表示システム５及び／又はステレオ音響システム６を用いて、手動運転モードに移行したことを運転者に通知する。

他方、手動運転モードへの切り替えを中止するステップSt５では、自動運転制御部２が自動運転の維持が可能であると判断した場合、引き続き自動運転を継続する。しかし、自動運転の継続が困難であると判断した場合、自動運転制御部２は、自車輌を自動運転で安全な場所に停車させる。

次に、第２の場合において、本実施形態の自動運転システム１による自動運転モードから手動運転モードへの切替制御について説明する。運転者自身の意志による手動運転への切替は、或る実施形態において、自動運転システム１が備える手動運転確認ボタン又はスイッチを運転者が操作することによって行われる。別の実施形態では、運転者がステアリング操作、アクセル若しくはブレーキ操作をオーバーライドすることによって、手動運転への切替が行われる。しかしながら、運転者が、例えば病気による体調不良や怪我、飲酒、意識の低下等によって、手動運転に適していない状態にあることが考えられる。また、運転者又は他の乗員の不注意や誤操作、他の偶発的な理由によって、手動運転確認ボタンが誤って操作されたり、運転操作がオーバーライドされる虞がある。

このような場合を考慮して、運転者自身の意志による手動運転への切替であっても、図４〜図６に関連して上述した各ステップの内、必要なステップを実行して、運転者の状態を判定し、車輌の運転行動を判定した後に、手動運転に切り替えることが好ましい。この場合、図４において自動運転システム１が手動運転への移行を通知するステップSt１、図５において運転者の覚醒状態を反対するステップSt２１は省略することができる。

自動運転システム１が前記手動運転確認ボタンを備える場合の実施形態について、具体的に説明する。先ず、前記手動運転確認ボタンが操作されると、自動運転システム１は、運転者が覚醒状態にあると見なして、運転者の準備態勢を判定するステップ（図５のステップSt２２に相当）に進む。運転者の準備態勢が判定されるまでの間、自動運転システム１は自動運転を維持する。

運転者の準備態勢の判定は、運転者状態判定部２２がハンドル３４、ブレーキペダル３２、アクセルペダル３３、変速レバー３５の感圧センサー３４ａ、３２ａ、３３ａ、３５ａからのデータ信号に基づいて行う。例えば、ハンドル３４からのデータ信号がオンで、同時に更にブレーキペダル３２、アクセルペダル３３又は変速レバー３５の１つ以上からのデータ信号がオンであれば、運転者が手動運転の準備態勢にある、と判定する。

ハンドル３４からのデータ信号がオンであっても、前記ブレーキペダル、アクセルペダル及び変速レバーからのデータ信号がオフであれば、自動運転システム１は、それらを操作し得る態勢を取るように、上述したように画像表示システム５及び／又はステレオ音響システム６を用いて運転者に注意を喚起する。逆に、前記ハンドルからのデータ信号がオフであって、前記ブレーキペダル、アクセルペダル又は変速レバーからの１つ以上のデータ信号がオンのとき、自動運転システム１は同様に、前記画像表示システム及び／又はステレオ音響システムを用いて、ハンドルを操作し得る態勢を取るように、運転者に注意を喚起する。これら注意喚起の結果、ハンドル操作を含む２つ以上の操作が同時にオン状態にあれば、運転者が手動運転の準備態勢にある、と判定する。

運転者の準備態勢が確認されると、次に自動運転システム１は、運転行動判定部２１が車輌の運転行動を判定する。この判定は、図４のステップSt３及び図６の各ステップと同様に行うことができる。その結果、車輌の運転行動が手動運転に移行可能であれば、運転モード切換制御部２３は、手動運転モードへの切替を行う。手動運転モードへの移行は、運転モード切換制御部２３が画像表示システム５及び／又はステレオ音響システム６を用いて運転者に通知することができる。この通知は、上述したように運転者の覚醒状態を見なし判定していることから、運転者に手動運転への切替を認識確認させるという意味で、重要である。

次に、自動運転システム１が前記手動運転確認ボタンも、顔画像用カメラ２８若しくは体圧センサー３０ａ，３１ａ又は運転者の覚醒状態を判定するための他のセンサー類を備えていない場合の実施形態について、具体的に説明する。この実施形態でも、自動運転モードから手動運転モードへの切替は、一般に次の２つの場合、即ち自動運転システム１が自動運転中に何らかの理由により、自動運転モードの維持が困難又は不適当と判断した場合と、運転者自身の意志によって能動的に切り替える場合とである。

自動運転システム１が手動運転への切替を必要と判断した場合、図４のステップSt１と同様に、運転モード切換制御部２３が、自動運転の解除と手動運転への移行を運転者に事前に通知する。この運転モード移行通知は、画像表示システム５を用いて第１及び／又は第２ディスプレイ装置１１，１２に適当な通知を表示し、かつ／又はステレオ音響システム６を用いて各スピーカー１３から音声メッセージを流したり警報音を発生することによって行う。

この運転者への通知以降に行われる手動運転への移行処理は、自動運転システム１による切替の場合も運転者の意志による能動的切替の場合も、実質的に同じである。従って、いずれの場合にも共通の移行ステップとして、以下に説明する。

本実施形態において、自動運転システム１は、ハンドル３４、ブレーキペダル３２、アクセルペダル３３、変速レバー３５の感圧センサー３４ａ、３２ａ、３３ａ、３５ａからのデータ信号に基づいて、運転者の覚醒状態と準備態勢とを判定する。例えば、ハンドル３４、ブレーキペダル３２、アクセルペダル３３、又は変速レバー３５の２つ以上からのデータ信号が同時にオンであれば、運転者が覚醒状態にあると見なし判定する。この判定は、自動運転制御部２の運転者状態判定部２２により行われる。

次に自動運転システム１は、同じく前記ハンドル、ブレーキペダル、アクセルペダル、変速レバーの前記感圧センサーからのデータ信号に基づいて、運転者の準備態勢を判定する。運転者の覚醒状態及び準備態勢が判定されるまでの間、自動運転システム１は自動運転を維持する。

本実施形態において運転者の覚醒状態が判定される場合、通常、運転者は手動運転への準備態勢にあると考えられる。例えば、ハンドル３４からのデータ信号がオンで、同時にブレーキペダル３２、アクセルペダル３３又は変速レバー３５の１つ以上からのデータ信号がオンであれば、運転者が手動運転の準備態勢にある、と判定することができる。この場合、運転者の覚醒状態と準備態勢とが同時に判定される。

前記ハンドルからのデータ信号がオフであって、前記ブレーキペダル、アクセルペダル又は変速レバーからの２つ以上のデータ信号がオンのとき、自動運転システム１は、前記画像表示システム及び／又はステレオ音響システムを用いて、ハンドルを操作し得る態勢を取るように、運転者に注意を喚起する。注意喚起の結果、ハンドル操作を含む２つ以上の操作が同時にオン状態にあれば、運転者が手動運転の準備態勢にある、と判定する。

このように本実施形態では、運転者によるハンドル操作の検出を、手動運転の準備態勢を判定するための基本要件としている。これは、走行中の車輌にとって、ステアリング操作は、安全走行を確保するために必要不可欠だからである。別の実施形態では、運転者の準備態勢の判定において、前記ハンドル、ブレーキペダル、アクセルペダル、変速レバーの操作状態を同等に扱うこともできる。

運転者の準備態勢が確認されると、次に自動運転システム１は、運転行動判定部２１が車輌の運転行動を判定する。この判定は、図４のステップSt３及び図６の各ステップと同様に行われる。その結果、車輌の運転行動が手動運転に移行可能であれば、運転モード切換制御部２３は、手動運転モードへの切替を行う。手動運転モードへの移行は、運転モード切換制御部２３が画像表示システム５及び／又はステレオ音響システム６を用いて運転者に通知される。この通知は、上述したように運転者の覚醒状態を見なし判定していることから、運転者に手動運転への切替を認識確認させるという意味で、重要である。

上記各実施形態において、手動運転への切替後であっても、運転者状態判定部２２が、各実施形態についてそれぞれ説明した手法によって運転者の覚醒状態及び／又は準備態勢を判定して、手動運転に適していないと判断した場合、運転モード切換制御部２３により強制的に自動運転に戻すように設定することもできる。例えば、手動運転への切替後或る一定の時間が経過しても、運転者による運転操作、即ちステアリング操作、アクセル操作又はブレーキ操作が行われない場合等である。この場合、自動運転制御部２が自動運転の継続を困難と判断すれば、車輌を安全な場所で停止させることもできる。

また、上記実施形態では、自動化レベルが「レベル３」で、自動車の加速、操舵、制動の全部を行う自動運転システム１について説明した。しかしながら、本発明の車輌の自動運転システムは、加速、操舵、制動のいずれかを自動的に行うレベル１のシステムや、加速、操舵、制動のいずれか複数の操作を自動的に行うレベル２のシステム、システムからの運転モード切換要請に乗員が適切に応じない場合にも自動運転を継続するレベル４のシステムについても、同様に適用することができる。

以上、本発明の好適な実施形態について詳細に説明したが、本発明は上記実施形態に限定されるものでなく、その技術的範囲内において、様々な変形又は変更を加えて実施することができる。

１ 自動運転システム
２ 自動運転制御部
３ 情報入力部
４ 自動走行情報記憶部
５ 画像表示システム
６ ステレオ音響システム
７ 加速系
８ 操舵系
９ 制動系
１０ 指示系
１１ 第１ティスプレイ装置
１２ 第２ディスプレイ装置
１３ スピーカー
１４ 自動車
１５ フロントウインドシールド
２１ 運転行動判定部
２２ 運転者状態判定部
２３ 運転モード切換制御部
２５ ダッシュボード
２６ 運転席
２８ 顔画像用カメラ
３０ シート座面
３１ シート背もたれ
３０ａ，３１ａ 体圧センサー
３２ ブレーキペダル
３３ アクセルペダル
３４ ハンドル
３５ 変速レバー
３２ａ〜３５ａ 感圧センサー
３７ ヘッドアップディスプレイ装置
３９ モニター装置

Claims (10)

1. 予め設定された走行予定ルートに沿って予定した走行行動に従って自車輌を自動運転により走行させる自動運転モードと、運転者が手動で運転する手動運転モードとの間で切替可能な車輌の自動運転システムであって、
   運転者の状態が手動運転できる状態か否かを判定する運転者状態判定部と、
   自動運転中の自車輌の運転行動が手動運転への切替可能な安定した状態にあるか否かを判定する運転行動判定部と、
   自動運転中の自動運転モードから手動運転モードへの切替を制御する運転モード切換制御部とを備え、
   前記運転者状態判定部が、運転者の覚醒状態と運転者の手動運転への準備態勢とから前記運転者の状態を判定し、
   前記運転行動判定部が、自動運転中の自車輌の操舵系、加速系、制動系の操作状態から前記自車輌の運転行動を判定し、
   前記運転モード切換制御部が、前記運転者状態判定部により前記運転者の状態が手動運転できる状態であると判定され、かつ前記運転行動判定部により前記自車輌の運転行動が手動運転への切替可能な安定した状態にあると判定されたとき、自動運転モードから手動運転モードへの切替を許容し、
   前記運転者状態判定部が、運転者が覚醒状態にあるが手動運転への準備態勢にないと判定したとき、前記運転モード切換制御部が、自車輌のディスプレイ装置及び／又はスピーカーを用いて運転者の準備態勢の確認を促す通知を行い、その後前記運転者状態判定部が再度運転者の準備態勢を判定する、車輌の自動運転システム。
2. 前記運転モード切換制御部が、前記運転者状態判定部又は前記運転行動判定部による前記判定の開始から手動運転モードへの切替を許容するまでの間、自動運転モードを維持する請求項１に記載の車輌の自動運転システム。
3. 前記運転者状態判定部が、運転者の生体情報に基づいて該運転者の覚醒状態を判定する請求項１又は２に記載の車輌の自動運転システム。
4. 前記運転モード切換制御部が、前記運転行動判定部による前記判定の開始から一定の時間経過後に、自動運転モードから手動運転モードへの切替を中止する請求項１乃至３のいずれかに記載の車輌の自動運転システム。
5. 前記運転者状態判定部が、自車輌のステアリング、アクセル及びブレーキにそれぞれ設けられた感圧センサーから入力する信号に基づいて、運転者が前記ステアリングと、前記アクセル又は前記ブレーキとを操作可能な状態にあることを検出し、運転者が手動運転への準備態勢にあることを判定する、請求項１乃至４のいずれかに記載の車輌の自動運転システム。
6. 予め設定された走行予定ルートに沿って予定した走行行動に従って自車輌を自動運転により走行させる自動運転モードと、運転者が手動で運転する手動運転モードとの間で切替可能な車輌の自動運転システムにおいて、
   運転者の覚醒状態と運転者の手動運転への準備態勢とから、運転者の状態が手動運転できる状態か否かを判定する過程と、
   自動運転中の自車輌の操舵系、加速系、制動系の操作状態から、自車輌の運転行動が手動運転への切替可能な安定した状態にあるか否かを判定する過程と、
   判定した前記運転者の状態が手動運転できる状態であり、かつ判定した前記自車輌の運転行動が手動運転への切替可能な安定した状態にあるとき、自動運転モードを解除して手動運転モードに切り替える過程と、
   前記運転者が覚醒状態であることを判定した後、運転者が手動運転への準備態勢にないことを判定したとき、自車輌のティスプレイ装置及び／又はスピーカーにより運転者の準備態勢の確認を促す通知を行う過程とを含む、車輌の自動運転方法。
7. 前記運転者の状態を判定する前記過程又は前記自車輌の運転行動を判定する前記過程の開始から手動運転モードへの切替を許容する過程を終了するまでの間、自動運転モードを維持する請求項６に記載の車輌の自動運転方法。
8. 運転者の生体情報を入手する過程を更に含み、前記運転者の生体情報に基づいて該運転者の覚醒状態を判定する、請求項６又は７に記載の車輌の自動運転方法。
9. 前記自車輌の運転行動を判定する過程の開始から時間の経過を計測する過程を更に含み、前記時間の経過が一定の時間を超えると、自動運転モードから手動運転モードへの切替を中止する、請求項６乃至８のいずれかに記載の車輌の自動運転方法。
10. 運転者の状態を判定する前記過程が、運転者がステアリングと、アクセル又はブレーキとを操作可能な状態にあるとき、運転者が手動運転への準備態勢にあると判定する、請求項６乃至９のいずれかに記載の車輌の自動運転方法。

Images