WO2018150676A1

WO2018150676A1 - 運転切替支援装置、及び運転切替支援方法

Info

Publication number: WO2018150676A1
Application number: PCT/JP2017/042379
Authority: WO
Inventors: 匡史日向; 初美青位; 芽衣上谷
Original assignee: オムロン株式会社
Priority date: 2017-02-17
Filing date: 2017-11-27
Publication date: 2018-08-23
Also published as: DE112017007082T5; CN109983523A; US20200064834A1; JP2018133031A

Abstract

自動運転から手動運転への切替時に、運転者の安全確認動作の負担を軽減し、必要な安全確認動作だけで手動運転へ切替可能にする運転切替支援装置を提供することを目的とし、自動運転から手動運転への切り替えを支援する運転切替支援装置１０であって、手動運転への切替時に運転者状態検出部１１で検出されたデータを用い、運転者が手動運転可能な状態であるか否かを判定する運転者状態判定部１３と、手動運転への切替時に視線検出部１２で検出されたデータを用い、運転者により視認されていない領域の有無を判定する視認領域判定部１４と、運転者が手動運転可能な状態であると判定され、かつ視認されていない領域が有ると判定された場合に、視認されていない領域の確認を促す処理を行う領域確認督促処理部１５と、督促処理後、自動運転から手動運転への切替を許可する信号を自動運転制御装置３０に出力する信号出力部１７とを装備する。

Description

運転切替支援装置、及び運転切替支援方法

　本発明は運転切替支援装置、及び運転切替支援方法に関し、より詳細には、車両の走行制御を自動的に行う自動運転から運転者による手動運転への切り替えを支援する運転切替支援装置、及び運転切替支援方法に関する。

　近年、車両の走行制御を自動的に行う自動運転の実現に向けて研究開発が活発に行われている。自動運転の技術レベルには、走行制御（加速、操舵、制動など）の一部を自動化したレベル、これらを複合化、高度化したレベル、さらに完全自動化のレベルまでいくつかのレベルが存在しているが、多くのレベルで走行中に自動運転と手動運転とを切り替える状況が発生することが想定されている。自動運転中は、運転者が運転以外の作業を行ったり、運転者の覚醒度が低下したりする可能性がある。そのため、自動運転から手動運転への引き継ぎが安全に行われるように運転者を支援する必要があり、これらに関する技術も検討されている。

　例えば、下記の特許文献１には、自動運転区間が終了するときに、安全確認用の指標を安全確認すべき車内の位置、例えば、フロントウインドウ、ルームミラー、左右のサイドウインドウに提示し、該提示された指標に対するユーザの指差確認動作をカメラで検出し、該検出結果に基づき車両を制御する技術、例えば、運転者が指差確認動作を怠った虞がある場合には、車両の減速や車間を拡大させてから自動走行を解除する技術が開示されている。

　［発明が解決しようとする課題］
　しかしながら、特許文献１記載の技術では、自動運転から手動運転へ切り替えられる度に、運転者は、フロントウインドウ、ルームミラー、左右のサイドウインドウに提示される全ての指標に対して逐一指差確認動作を行う必要があり、安全確認に手間がかかり煩わしいという課題があった。

特開２０１５－１８４９７５号公報

課題を解決するための手段及びその効果

　本発明は上記課題に鑑みなされたものであって、自動運転から手動運転へ切り替えられる際に、より的確な安全確認を促すことで、安全確認に手間をかけずに手動運転への切り替えを安全に行うことができる運転切替支援装置、及び運転切替支援方法を提供することを目的としている。

　上記目的を達成するために本発明に係る運転切替支援装置（１）は、車両の走行制御を自動的に行う自動運転から運転者による手動運転への切り替えを支援する運転切替支援装置であって、
　前記手動運転へ切り替える前に、前記運転者の状態を検出する運転者状態検出部で検出されたデータを用い、前記運転者が手動運転可能な状態であるか否かを判定する運転者状態判定部と、
　前記手動運転へ切り替える前に、前記運転者の視線を検出する視線検出部で検出されたデータを用い、前記運転者により視認されていない領域の有無を判定する視認領域判定部と、
　前記運転者状態判定部により、前記運転者が手動運転可能な状態であると判定され、前記視認領域判定部により、前記視認されていない領域が有ると判定された場合に、前記視認されていない領域の確認を促す処理を行う領域確認督促処理部と、
　該領域確認督促処理部による督促処理後、所定の条件が成立した場合に、前記自動運転から前記手動運転への切り替えを許可する信号を自動運転制御部に出力する信号出力部とを備えていることを特徴としている。

　上記運転切替支援装置（１）によれば、前記手動運転へ切り替える前に、前記運転者状態判定部により、前記運転者が手動運転可能な状態であると判定され、前記視認領域判定部により、前記視認されていない領域が有ると判定された場合に、前記視認されていない領域の確認を促す督促処理が行われる。該督促処理により前記視認されていない領域の確認が促されるので、前記運転者は、前記視認されていない領域を見ることによって、車両周囲の状況をもれなく把握することができる。したがって、前記運転者による安全確認の動作負担が軽減され、手間をかけずに必要な確認動作だけで安全に前記手動運転への切り替えを行うことができる。

　また本発明に係る運転切替支援装置（２）は、上記運転切替支援装置（１）において、前記領域確認督促処理部による督促処理後、前記視線検出部で検出されたデータを用い、前記視認されていない領域が前記運転者により視認されたか否かを判定する視認判定部を備え、
　前記所定の条件が、前記視認判定部により、前記視認されていない領域が前記運転者により視認されたと判定されることであることを特徴としている。

　上記運転切替支援装置（２）によれば、前記視認判定部により、前記視認されていない領域が前記運転者により視認されたと判定された場合、前記手動運転への切替を許可する信号が前記自動運転制御部に出力されるので、前記運転者により車両周囲の状況がもれなく確認された後に、前記手動運転への切り替えを行うことができ、該切り替え時の安全性をより高めることができる。

　また本発明に係る運転切替支援装置（３）は、上記運転切替支援装置（１）又は（２）において、前記視認領域判定部により、前記視認されていない領域が有ると判定された場合、該視認されていない領域が、目視確認の必要な領域であるか否かを判定する目視確認要否判定部を備え、
　前記領域確認督促処理部が、前記視認されていない領域のうち、前記目視確認要否判定部により目視確認が必要な領域であると判定された領域の確認を促す処理を行うものであることを特徴としている。

　上記運転切替支援装置（３）によれば、前記視認されていない領域が有ると判定された場合、該視認されていない領域が、目視確認の必要な領域であるか否かが判定され、前記視認されていない領域のうち、目視確認が必要な領域であると判定された領域の確認を促す督促処理が行われる。したがって、前記運転者は、前記視認されていない領域のうち、目視確認が必要な領域と判定された領域についてのみ確認すればよく、前記手動運転へ切り替える前に、安全性を損なうことなく、運転者による安全確認の動作負担をさらに軽減することができる。

　また本発明に係る運転切替支援装置（４）は、上記運転切替支援装置（１）～（３）のいずれかにおいて、前記目視確認要否判定部が、前記車両の走行予定経路データ、及び前記車両の周辺に存在する監視対象物の検出データのうちの少なくともいずれかのデータを用い、前記視認されていない領域が、目視確認の必要な領域であるか否かを判定するものであることを特徴としている。

　上記運転切替支援装置（４）によれば、前記車両の走行予定経路データや前記監視対象物の検出データを用い、前記視認されていない領域が、目視確認の必要な領域であるか否かが判定される。該判定において、前記車両の走行予定経路データや前記監視対象物の検出データを用いることにより、時々刻々と変化する前記車両の周辺状況に応じて安全確認に必要な領域のみを的確に確認させることができる。

　また本発明に係る運転切替支援装置（５）は、上記運転切替支援装置（１）～（４）のいずれかにおいて、前記運転者状態判定部により、前記運転者が手動運転可能な状態であると判定され、かつ前記視認領域判定部により、前記視認されていない領域が無いと判定された場合、前記信号出力部が、前記切替を許可する信号を出力するものであることを特徴としている。

　上記運転切替支援装置（５）によれば、前記運転者状態判定部により、前記運転者が手動運転可能な状態であると判定され、かつ前記視認領域判定部により、前記視認されていない領域が無いと判定された場合、すなわち、前記運転者が手動運転可能な状態であり、かつ前記運転者により車両周囲の状況がもれなく確認されている場合、速やかに前記手動運転に切り替えることができる。

　また本発明に係る運転切替支援方法は、車両の走行制御を自動的に行う自動運転から運転者による手動運転への切り替え可能な車両に搭載されるコンピュータが実行する運転切替支援方法であって、
　前記手動運転へ切り替える前に、前記運転者の状態を検出する運転者状態検出部で検出されたデータを用い、前記運転者が手動運転可能な状態であるか否かを判定する運転者状態判定ステップと、
　前記手動運転へ切り替える前に、前記運転者の視線を検出する視線検出部で検出されたデータを用い、前記運転者により視認されていない領域の有無を判定する視認領域判定ステップと、
　前記運転者状態判定ステップにより、前記運転者が手動運転可能な状態であると判定され、前記視認領域判定ステップにより、前記視認されていない領域が有ると判定された場合に、前記視認されていない領域の確認を促す処理を行う領域確認督促処理ステップと、
　前記領域確認督促処理ステップによる督促処理後、所定の条件が成立した場合に、前記自動運転から前記手動運転への切り替えを許可する信号を自動運転制御部に出力する信号出力ステップとを含んでいることを特徴としている。

　上記運転切替支援方法によれば、前記手動運転へ切り替える前に、前記運転者状態判定ステップにより、前記運転者が手動運転可能な状態であると判定され、前記視認領域判定しテップにより、前記視認されていない領域が有ると判定された場合に、前記視認されていない領域の確認を促す領域確認督促処理ステップを実行する。該領域確認督促処理ステップにより、前記視認されていない領域の確認が促されるので、前記運転者は、前記視認されていない領域を見ることによって、車両周囲の状況をもれなく把握することができる。したがって、前記運転者による安全確認の動作負担を軽減でき、手間をかけずに必要な確認動作だけで安全に前記手動運転への切り替えを行うことができる。

本発明の実施の形態（１）に係る運転切替支援装置を含む自動運転システムの概略構成を示すブロック図である。実施の形態（１）に係る運転切替支援装置の概略構成を示すブロック図である。実施の形態（１）に係る運転切替支援装置と自動運転制御装置の行う処理動作を示したフローチャートである。実施の形態（２）に係る運転切替支援装置の概略構成を示すブロック図である。実施の形態（２）に係る運転切替支援装置の行う処理動作を示したフローチャートである。

　以下、本発明に係る運転切替支援装置、及び運転切替支援方法の実施の形態を図面に基づいて説明する。なお、以下に述べる実施の形態は、本発明の好適な具体例であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限定されるものではない。

　図１は、実施の形態（１）に係る運転切替支援装置を含む自動運転システムの概略構成を示すブロック図である。図２は、実施の形態（１）に係る運転切替支援装置の概略構成を示すブロック図である。

　自動運転システム１は、運転切替支援装置１０と自動運転制御装置３０とを含み、車両の加速、操舵、制動などの走行制御を自動的に行う自動運転機能、及び運転者の操作による手動運転機能を備えている。

　自動運転システム１は、運転切替支援装置１０、及び自動運転制御装置３０の他に、ドライバモニタ装置２０、動力源制御装置４０、操舵制御装置５０、制動制御装置６０、アクセルペダルセンサ７１、操舵センサ７２、ブレーキペダルセンサ７３、周辺監視センサ７４、ナビゲーションシステム８０、ＨＭＩ（Human Machine Interface）９０、通信装置１００など、自動運転及び手動運転の制御に必要な各種センサや制御装置などが含まれている。これら各種センサや制御装置が通信バス２を介して接続されている。

　運転切替支援装置１０は、自動運転から手動運転への切り替えを支援するための確認督促処理や信号出力処理などの各種制御を実行する装置であり、制御部１０ａ、記憶部１０ｂ、図示しない各種信号の入力部、及び出力部などを備えている。制御部１０ａは、ＣＰＵ、ＲＯＭ、ＲＡＭなどを含むマイクロプロセッサを備え、ＲＯＭに記憶されているプログラムをＲＡＭに読出し、ＣＰＵで実行することで、各種制御を実行する。運転切替支援装置１０は、自動運転制御装置３０、ドライバモニタ装置２０、周辺監視センサ７４、ナビゲーションシステム８０、ＨＭＩ９０、通信装置１００などに接続され、これらから取得した情報に基づいて、自動運転から手動運転への切り替えを許可する信号、又は不許可とする信号などを自動運転制御装置３０へ出力する制御などを行う。

　ドライバモニタ装置２０は、運転者の状態を撮像する１つ以上のカメラ２１を含んで構成されている。ドライバモニタ装置２０は、運転者の撮像が行える位置（例えば運転席前方で運転席側に向けた状態）に設置されている。ドライバモニタ装置２０で逐次撮像された運転者の撮像データが所定のタイミングで運転切替支援装置１０へ出力される。なお、ドライバモニタ装置２０と運転切替支援装置１０とを一体化した装置として構成してもよい。

　また、運転者の状態を検出するセンサとして、ドライバモニタ装置２０の他に、図示しないハンドル接触センサ、着座センサ、生体情報センサなどを設けてもよい。ハンドル接触センサや着座センサは、それぞれハンドルや座席に設けた感圧センサや静電容量式センサなどで構成される。生体情報センサは、運転者の生体情報（脈拍、血圧、脳波等）を検出するセンサであり、運転者が身につけるウェアラブルセンサや電波（マイクロ波等）を利用した非接触センサなどで構成される。また、ドライバモニタ装置２０とこれらセンサを組み合わせてもよい。

　ドライバモニタ装置２０に搭載されるカメラ２１は、昼夜を問わず運転者の状態を撮像できるように、例えば、赤外光カメラ部（ＣＣＤ、ＣＭＯＳなどのイメージセンサを含む）、赤外光照射部（ＬＥＤ）、インターフェース部、これら各部を制御するカメラ制御部などを含んで構成されている。カメラ制御部が、赤外光カメラ部及び赤外光照射部を制御し、赤外光照射部から赤外光（近赤外線など）を照射し、赤外光カメラ部で赤外光の反射光を撮像する。

　自動運転制御装置３０は、車両の自動運転に関する各種制御を実行する装置であり、制御部３０ａ、記憶部３０ｂ、図示しない各種信号の入力部、出力部などを備えた電子制御ユニットで構成されている。制御部３０ａは、ＣＰＵ、ＲＯＭ、ＲＡＭなどを含むマイクロプロセッサを備え、ＲＯＭに記憶されているプログラムをＲＡＭに読出し、ＣＰＵで実行することで、各種の車両制御を実行する。

　自動運転制御装置３０は、運転切替支援装置１０の他、動力源制御装置４０、操舵制御装置５０、制動制御装置６０、アクセルペダルセンサ７１、操舵センサ７２、ブレーキペダルセンサ７３、周辺監視センサ７４、ナビゲーションシステム８０、ＨＭＩ９０、通信装置１００などに接続されている。自動運転制御装置３０は、これらから取得した情報に基づいて、自動運転を行う制御信号を各制御装置へ出力して、車両の自動走行制御（自動操舵制御、自動速度調整制御、自動制動制御など）を行う。

　自動運転とは、運転者が運転操作することなく、自動運転制御装置３０の行う制御によって車両を道路に沿って自動で走行させることをいう。例えば、設定された目的地に向かって自動で車両を走行させる運転状態が含まれる。そして、自動運転制御装置３０は、予め定められた条件を満たした場合、自動運転を終了（解除）する。例えば、自動運転制御装置３０は、自動運転中の車両が予め定められた自動運転の終了地点に到達したと判定した場合に自動運転を終了する。また、自動運転制御装置３０は、運転者が自動運転解除操作（例えば、自動運転解除ボタンの操作、運転者によるハンドル、アクセル又はブレーキの操作など）を行なった場合に、自動運転を終了する制御を行ってもよい。手動運転とは、運転者の運転操作を主体として車両を走行させる運転状態である。

　動力源制御装置４０は、車両のエンジンやモーターなどの動力源を制御する電子制御ユニットである。動力源制御装置４０は、例えば、エンジンに対する燃料の供給量及び空気の供給量、又はモーターに対する電気の供給量を制御することで車両の駆動力を制御する。自動運転モードでは、自動運転制御装置３０からの制御信号に応じて車両の駆動力を制御する。

　操舵制御装置５０は、車両の電動パワーステアリングシステムを制御する電子制御ユニットである。操舵制御装置５０は、電動パワーステアリングシステムのうち、車両の操舵トルクをコントロールするアシストモータを駆動させることにより、車両の操舵トルクを制御する。自動運転モードでは、自動運転制御装置３０からの制御信号に応じて操舵トルクを制御する。

　制動制御装置６０は、車両のブレーキシステムを制御する電子制御ユニットである。制動制御装置６０は、例えば、液圧ブレーキシステムに付与する液圧を調整することで、車両の車輪へ付与する制動力を制御する。自動運転モードでは、自動運転制御装置３０からの制御信号に応じて車輪への制動力を制御する。

　アクセルペダルセンサ７１は、アクセルペダルの踏込み量（アクセルペダルの位置）を検出するセンサである。アクセルペダルセンサ７１で検出されたアクセルペダルの踏込み量に応じた信号が自動運転制御装置３０や動力源制御装置４０へ出力される。

　操舵センサ７２は、例えば、車両のステアリングシャフトに設けられ、運転者によりハンドルに与えられる操舵トルクを検出するセンサである。操舵センサ７２で検出された、運転者のハンドル操作に応じた信号が自動運転制御装置３０や操舵制御装置５０へ出力される。

　ブレーキペダルセンサ７３は、ブレーキペダルの踏込み量（ブレーキペダルの位置）又は操作力（踏力など）を検出するセンサである。ブレーキペダルセンサ７３で検出されたブレーキペダルの踏込み量や操作力に応じた信号が自動運転制御装置３０や制動制御装置６０へ出力される。

　周辺監視センサ７４は、車両の周辺に存在する対象物（車、自転車、人などの移動物体、路面標示（白線など）、ガードレール、中央分離帯、その他車両の走行に影響を与える構造物など）を検出するセンサである。周辺監視センサ７４は、前方監視カメラ、後方監視カメラ、レーダ、ライダー、及び超音波センサのうち少なくとも１つを含む。周辺監視センサ７４で検出された対象物の検出データが運転切替支援装置１０や自動運転制御装置３０へ出力される。前方監視カメラや後方監視カメラには、ステレオカメラや単眼カメラなどが採用され得る。レーダは、ミリ波等の電波を車両周囲に送信し、車両周囲に存在する対象物で反射された電波を受信することで対象物の位置、方向、距離などを検出する。ライダーは、レーザー光を車両周囲に送信し、車両周囲に存在する対象物で反射された光を受信することで対象物の位置、方向、距離などを検出する。

　ナビゲーションシステム８０は、設定された目的地までの経路案内などを行う装置であり、ＧＰＳ受信部８１、地図データベース８２、ナビゲーション制御部８３、図示しない表示部、操作部、車速センサ、加速度センサ、ヨーレートセンサなどが含まれる。ＧＰＳ受信部８１は、車両の位置情報（例えば経緯度）を計測する。地図データベース８２には、案内表示用地図データとともに自動運転制御用の高精度地図データが含まれている。これら地図データには、道路の位置（交差、分岐点など）、種別（高速、一般道など）、形状（勾配、曲率半径など）、詳細道路情報（車線、渋滞、車線規制情報など）といった車線単位で経路作成可能な情報が含まれる。

　ナビゲーションシステム８０は、ＧＰＳ受信部８１などで計測された車両の位置情報と地図データベース８２の地図情報とに基づいて、車両が走行する道路や車線を割り出し、車両の現在位置から目的地までの経路を演算し、該経路を表示部へ表示し、音声で経路案内を行う。ナビゲーション制御部８３で求められた、車両の位置情報、走行道路の情報、及び案内経路の情報などが運転切替支援装置１０や自動運転制御装置３０へ出力される。案内経路の情報には、自動運転区間の開始・終了地点、自動運転の終了（解除）予告地点などの自動運転の制御に関連する情報も含まれる。

　ＨＭＩ（Human Machine Interface）９０は、運転切替支援装置１０や自動運転制御装置３０などから送信されてきた信号に基づいて、自動運転システム１の作動状況や解除情報を視覚や聴覚により運転者に知らせ、運転切替支援装置１０や自動運転制御装置３０に、自動運転制御に関連する操作信号を出力するための装置である。ＨＭＩ９０は、例えば、運転者が視認しやすい位置に設けられた表示部９１、音声出力部９２、操作部９３、及び図示しないマイクなどを含んで構成されている。ＨＭＩ９０にドライバモニタ装置２０を組み込んでもよい。

　通信装置１００は、無線通信網（例えば、携帯電話網、ＶＩＣＳ（登録商標）、ＤＳＲＣ（登録商標）などの通信網）を介して各種の情報を取得する装置である。通信装置１００は、車々間通信機能や路車間通信機能を備えてもよい。車々間通信機能や路車間通信機能を備えることにより、例えば、道路脇に設けられた路側送受信機（例えば光ビーコン、ＩＴＳスポット（登録商標））などとの路車間通信により、車両の進路上の道路環境情報（車線規制情報など）を取得することが可能となる。また、車々間通信により、他車両に関する情報（位置情報、走行制御に関する情報など）や他車両により検出された道路環境情報などを取得することが可能となる。

　次に実施の形態（１）に係る運転切替支援装置１０について図２に示すブロック図に基づいて説明する。
　運転切替支援装置１０は、運転者状態検出部１１、視線検出部１２、運転者状態判定部１３、視認領域判定部１４、領域確認督促処理部１５、視認判定部１６、切替許可信号出力部１７、及び切替不許可信号出力部１８を備えている。例えば、制御部１０ａによりこれら各部の機能が実現される。

　運転者状態検出部１１は、手動運転へ切り替える前（自動運転が解除される前）に、ドライバモニタ装置２０から取得した撮像データの画像処理を行い、運転者の状態を検出する。手動運転へ切り替える前とは、自動運転から手動運転に切り替えられるタイミングをいう。例えば、運転切替支援装置１０が、自動運転制御装置３０から出力された自動運転終了信号を入力したタイミングである。具体的には、後述する図３に示したステップＳ４、Ｓ５の処理が実行されるタイミングである。運転者の状態を検出する画像処理方法には各種の方法が採用され得る。例えば、撮像データから運転者の顔の輪郭、向き、位置、動き、及び瞬き動作などを示す特徴量の抽出処理や解析処理などを行う。

　視線検出部１２は、手動運転へ切り替える前に、ドライバモニタ装置２０から取得した撮像データの画像処理を行い、運転者の視線を検出する。運転者の視線を検出する画像処理方法には各種の方法が採用され得る。例えば、運転者の目の画像部分に写った基準点（動かない部分）と動点（動く部分）との位置関係に基づいて視線の動きを検出する。例えば、可視光カメラを用いる場合は、基準点を目頭、動点を虹彩に設定して位置関係を検出する。赤外光カメラを用いる場合は、基準点を角膜反射、動点を瞳孔に設定して位置関係を検出する。

　運転者状態判定部１３は、運転者状態検出部１１で検出された運転者の状態を示すデータを用い、運転者の状態を判定し、運転者が手動運転可能な状態であるか否かを判定する。運転者の状態とは、例えば、前方を向いている状態、脇見をしている状態、前方を見ずに作業（読書、飲食、ゲーム、スマートフォン等の操作）をしている状態、眠気を催している状態、居眠りしている状態、急病発作やパニック状態などが含まれる。運転者状態判定部１３は、例えば、運転者が前方を向いている場合、手動運転可能な状態であると判定する。

　視認領域判定部１４は、視線検出部１２で検出された運転者の視線データを用い、運転者により視認された領域と視認されていない領域とを判別し、視認されていない領域の有無を判定する。例えば、視認すべき領域（例えば、正面、左前方、右前方、ルームミラー近傍、左右のサイドミラー近傍、右斜め後方、左斜め後方などの領域）を予め設定しておき、これら各領域に対して、一定の頻度や時間、視線が向けられたか否かを、視線の検出データから判定し、視認された領域と視認されていない領域とを判別する。また、前記視認すべき領域の設定は、走行環境（例えば、一般道、高速道、車線数、天候（晴、雨、雪、霧など）、時間帯（昼と夜など）など）の変化に応じて、各領域の大きさや位置などが変わるようにしてもよい。

　領域確認督促処理部１５は、運転者状態判定部１３により、運転者が手動運転可能な状態であると判定され、視認領域判定部１４により、視認されていない領域が有ると判定された場合に、視認されていない領域の確認を促す処理を行う。例えば、左サイドミラー近傍領域が視認されていないと判定された場合、「左サイドミラーで後方を確認してください。」といったアナウンスを音声出力部９２から出力する報知処理を行う。

　領域確認督促処理部１５による督促処理後、視線検出部１２は、ドライバモニタ装置２０から取得した撮像データの画像処理を行い、運転者の視線の動きを検出する。視認判定部１６は、視線検出部１２で検出された視線データを用い、視認されていない領域が運転者により視認されたか否かを判定する処理を行う。

　切替許可信号出力部１７は、視認判定部１６において、視認されていない領域が運転者により視認されたと判定された場合、自動運転から手動運転への切り替えを許可する信号（切替許可信号）を自動運転制御装置３０へ出力する処理を行う。

　また、切替許可信号出力部１７は、運転者状態判定部１３により運転者が手動運転可能な状態であると判定され、かつ視認領域判定部１４により視認されていない領域が無いと判定された場合、切替を許可する信号を自動運転制御装置３０へ出力する処理を行う。

　また、切替不許可信号出力部１８は、運転者状態判定部１３により運転者が手動運転可能な状態ではない（例えば、居眠り状態、急病発作やパニック状態など）と判定された場合、手動運転への切り替えを許可しない信号（切替不許可信号）を自動運転制御装置３０に出力する処理を行う。

　図３は、実施の形態（１）に係る運転切替支援装置１０と自動運転制御装置３０とで行われる処理動作を示したフローチャートである。実施の形態（１）では、目的地までの走行予定経路に高速道路が含まれ、該高速道路のＩＣ（インターチェンジ）入口（本線入口）からＩＣ出口（本線出口）までが自動運転区間に設定されている場合を想定して説明するが、自動運転区間はこれに限定されるものではない。

　まず、自動運転制御装置３０では、ステップＳ１において、自動運転制御を開始する処理を行い、自動運転制御を開始する。例えば、高速道路の本線合流後に、手動運転から自動運転への所定の引継条件が成立した場合に、自動的に自動運転制御を開始する。又は、図示しない自動運転切替ボタンの操作（手動操作）があった後、手動運転から自動運転への所定の引継条件が成立した場合に自動運転制御を開始するようにしてもよい。

　そして、ステップＳ２において、自動運転終了間近になったか否かを判断する。例えば、ナビゲーションシステム８０から受信した車両の位置情報や自動運転から手動運転への引継地点情報などに基づいて、自動運転終了地点手前（引継地点）に到達したか否かを判断する。具体的には、高速道路のＩＣ入口からＩＣ出口までが自動運転可能区間に設定されている場合、高速道路のＩＣ出口手前の所定地点に到達したか否か、又はＩＣ出口に到達するまでの予測時間が所定時間を切ったか否かを判断する。

　ステップＳ２において自動運転終了間近になったと判断すればステップＳ３に進み、自動運転終了（解除）を知らせる報知処理を行う。例えば、音声出力部９２から「まもなく自動運転区間が終了します。手動運転の準備をしてください。」といった音声を出力させる処理を行い、ステップＳ４に進む。ステップＳ４では、運転切替支援装置１０に自動運転終了信号を出力する処理を行う。

　運転切替支援装置１０では、ステップＳ５において、自動運転制御装置３０から自動運転終了信号を入力し、ステップＳ６に進む。ステップＳ６では、ドライバモニタ装置２０から取得した撮像データの画像処理、すなわち、運転者の状態を検出する画像処理と運転者の視線を検出する画像処理を行い、ステップＳ７に進む。なお、ステップＳ６における撮像データの画像処理では、自動運転終了信号入力後の撮像データを用いてもよいし、自動運転解除信号入力前（直前）の撮像データ（記録済みデータ）を用いてもよい。

　ステップＳ７では、ステップＳ６において運転者の状態を検出したデータに基づいて運転者の状態を判定する処理を行い、ステップＳ８に進む。ステップＳ６で検出される運転者の状態には、例えば、運転者の顔の位置、向き、動き、又は目蓋の動き（瞬き）などの情報が含まれる。ステップＳ７では、これらの情報から、運転者が前方を向いている状態、脇見をしている状態、前方を見ずに作業（読書、飲食、ゲーム、スマートフォン等の操作）をしている状態、眠気を催している状態、居眠りしている状態、急病発作やパニック状態などを判定する。

　ステップＳ８では、運転者の状態が手動運転可能な状態であるか否かを判定し、手動運転可能な状態であると判定すればステップＳ９に進む。手動運転可能な状態には、運転者の顔が前方を向いている状態が含まれる。なお、運転者の体が前方を向いた状態で他の作業（読書、飲食、ゲーム、スマートフォン等の操作等）をしている状態など、短時間で手動運転可能な姿勢に復帰できる状態も含めてもよい。また、ステップＳ８での判定には、ドライバモニタ装置２０のカメラ２１で撮像されたデータの他に、図示しないハンドル接触センサ、着座センサ、生体情報センサなどから得られた運転者の状態を検出したデータを組み合わせて判定してもよい。

　ステップＳ９では、視線検出部１２で検出された視線データに基づいて、運転者により視認された領域（以下、視認領域ともいう。）と視認されていない領域（以下、未視認領域ともいう。）とを検出する処理を行う。例えば、視認すべき領域として、例えば、車両の正面、左前方、右前方、ルームミラー近傍、左右のサイドミラー近傍、右斜め後方、左斜め後方（死角）などの領域を予め設定しておく。そして、これら各領域に対して、一定の頻度や時間、視線が向けられたか否かを、視線データから判定する処理を行い、視認領域と未視認領域とを判定する。

　次のステップＳ１０では、視認されていない領域（未視認領域）が有るか否かを判定し、未視認領域が有ると判定すればステップＳ１１に進み、ステップＳ１１では、未視認領域の確認を促す処理（領域確認督促処理）を行う。例えば、未視認領域が、右サイドミラー近傍であった場合、音声出力部９２から「右サイドミラーで後方を確認してください。」といった音声を出力させる報知処理を行う。

　次のステップＳ１２では、未視認領域の確認督促処理後に、ドライバモニタ装置２０から取得した撮像データの画像処理を行い、運転者の視線を検出する処理を行う。ステップＳ１３では、視線の検出データを用い、ステップＳ１１で報知された未視認領域が運転者により視認されたか否かを判定し、未視認領域が視認されたと判定すればステップＳ１４に進む一方、未視認領域が視認されていないと判定すればステップＳ１２に戻り処理を繰り返す。ステップＳ１４では、自動運転から手動運転への切り替えを許可する信号（切替許可信号）を自動運転制御装置３０へ出力する処理を行う。

　一方ステップＳ１０において、未視認領域が無いと判定すればステップＳ１４に進み、自動運転から手動運転への切り替えを許可する信号を自動運転制御装置３０へ出力する処理を行う。

　自動運転制御装置３０では、ステップＳ１５において、運転切替支援装置１０から切替許可信号を入力し、ステップＳ１６において、自動運転制御を終了（解除）し、自動運転から手動運転による走行制御へ切り替える処理を実行し、その後処理を終える。

　また一方、ステップＳ８において、運転者が手動運転可能な状態ではない、例えば、居眠りをしている状態、急病発作やパニック状態であると判定すればステップＳ１７に進む。ステップＳ１７では、自動運転から手動運転への切り替えを許可しない信号（切替不許可信号）を自動運転制御装置３０に出力する処理を行う。

　自動運転制御装置３０では、ステップＳ１８において、運転切替支援装置１０から切替不許可信号を入力し、続くステップＳ１９において、切替不許可信号に基づいて、車両を安全な場所（路肩等）に停車させる制御を実行し、その後処理を終える。

　なお、上記ステップＳ１２、Ｓ１３の代わりに、ステップＳ１１の未視認領域の確認督促処理の後に、所定時間（未視認領域の確認に必要な時間）が経過したか否かを判断し、所定時間が経過したと判断すれば、ステップＳ１４に進み、切替許可信号を出力する処理を行うようにしてもよい。

　上記実施の形態（１）に係る運転切替支援装置１０によれば、運転者状態判定部１３により、運転者が手動運転可能な状態であると判定され、視認領域判定部１４により、未視認領域が有ると判定された場合に、領域確認督促処理部１５により、未視認領域の確認を促す処理が行われるので、手動運転へ切り替えられる際に、運転者に車両周囲の安全を確認させるための的確な報知を行うことができる。

　したがって、運転者は、手動運転へ切り替えられる際に、確認を督促された未視認領域を見ることにより、車両周囲の状況をもれなく確認することができ、運転者による安全確認の動作負担が軽減され、手間をかけずに必要な確認動作だけで安全に前記手動運転への切り替えを行うことができる。

　また、視認判定部１６により未視認領域が運転者により視認されたと判定された場合、手動運転への切替許可信号が自動運転制御装置３０に出力されるので、運転者により車両周囲の状況がもれなく確認された後に、手動運転への切替を行うことができ、安全性をより高めることができる。

　また、運転者状態判定部１３により、運転者が手動運転可能な状態であると判定され、かつ視認領域判定部１４により、未視認領域がないと判定された場合、すなわち、運転者が手動運転可能な状態であり、かつ運転者により車両周囲の状況がもれなく確認されている場合は、再度、運転者に安全確認動作を強いることなく、速やかに手動運転に切り替えることができる。

　図４は、実施の形態（２）に係る運転切替支援装置の概略構成を示すブロック図である。ただし、図２に示した実施の形態（１）に係る運転切替支援装置と同一機能を有する構成部分については、同一符号を付し、ここではその説明を省略する。

　実施の形態（２）に係る運転切替支援装置１０Ａが、実施の形態（１）に係る運転切替支援装置１０と相違する点は、目視確認要否判定部１９を備えている点である。
　目視確認要否判定部１９は、視認領域判定部１４により、未視認領域が有ると判定された場合、未視認領域が目視確認の必要な領域であるか否かを判定する。未視認領域が目視確認の必要な領域であるか否かの判定には、ナビゲーションシステム８０から取得した車両の走行予定経路データ（自車位置、走行車線を含む）、及び周辺監視センサ７４や通信装置１００を介して取得した車両の周辺に存在する対象物の検出データのうちの少なくともいずれかのデータを用いる。

　領域確認督促処理部１５Ａは、未視認領域のうち、目視確認要否判定部１９により目視確認が必要な領域であると判定された領域の確認を促す処理を行う。未視認領域のうち、目視確認が必要ない領域については、例えば、○○（未視認領域）の方向は安全である（例えば、他の車両がいない）旨の報知を行ってもよい。係る報知を行うことで、運転者は目視確認しなくても安全であるという安心感を得ることができる。

　図５は、実施の形態（２）に係る運転切替支援装置１０Ａの行う処理動作を示すフローチャートである。ステップＳ１０までの処理と、ステップＳ１４以降の処理は、図３に示す処理動作と同一であるので、ここではその説明を省略する。
　実施の形態（２）では、目的地までの走行予定経路に高速道路が含まれ、該高速道路のＩＣ（インターチェンジ）入口（本線入口）からＩＣ出口（本線出口）までが自動運転区間に設定され、片側３車線の中央車線を自動運転で走行中に、ＩＣ出口が近づき、自動運転から手動運転に引き継ぐ場合を想定して説明するが、これに限定されるものではない。

　運転切替支援装置１０Ａでは、ステップＳ１０において、未視認領域が有るか否かを判定し、未視認領域が有ると判定すればステップＳ２１に進む。ステップＳ２１では、ナビゲーションシステム８０から走行経路（走行予定の道路車線データを含む）を取得する処理を行い、ステップＳ２２に進む。ステップＳ２２では、周辺監視センサ７４から車両周辺に存在する対象物の検出データを取得する処理を行い、ステップＳ２３に進む。なお、ステップＳ２２において、さらに通信装置１００を介して外部から車両周辺に存在する対象物の情報を取得してもよい。

　ステップＳ２３では、車両の走行予定経路データ、及び車両の周辺に存在する対象物の検出データのうちの少なくともいずれかのデータを用いて、未視認領域が、目視確認の必要な領域であるか否か（換言すれば、未視認の領域に、対象物が存在するか否か）を判定する。
　例えば、車両が片側３車線の中央車線を走行中であり、走行予定経路が左側のＩＣ出口から高速道路を降りるルートに設定されている状態で、同一車線前方に他車両が１台、左側車線後方に他車両が１台走行し、右側車線前方後方には車両が走行していない状況において、未視認領域が右サイドミラー近傍であった場合は、右側車線前方後方には車両が走行していないので、目視確認の必要な領域ではない（目視しなくても安全が確認されている領域）と判定する。一方、未視認領域が、左サイドミラー近傍であった場合は、左側車線後方に他車両が１台走行しており、またＩＣ出口から降りるため左車線に変更する必要があるので、目視確認の必要な領域である（目視による安全確認が必要な領域）と判定する。

　ステップＳ２３において、未視認領域が、目視確認の必要な領域ではない（換言すれば、未視認の領域に対象物が存在しない）と判定した場合はステップＳ１４に進む。一方ステップＳ２３において、未視認領域が、目視確認の必要な領域である（換言すれば、未視認の領域に対象物が存在する）と判定した場合はステップＳ２４に進み、未視認領域の確認を促す処理を行う。例えば、上記（２）の未視認領域が、左サイドミラー領域であった場合、音声出力部９２から「左サイドミラーで後方を確認してください。」といった音声を出力する報知処理を行う。

　ステップＳ２４での未視認領域の確認督促処理後、ステップＳ２５に進み、ドライバモニタ装置２０から取得した撮像データを視線検出部１２で画像処理し、運転者の視線を検出する処理を行う。次のステップＳ２６では、視線の検出データを用いて、ステップＳ２４で報知された未視認領域を運転者が視認したか否かを判定し、未視認領域を視認したと判定すればステップＳ１４に進む一方、未視認領域を視認していないと判定すればステップＳ２５に戻り処理を繰り返す。ステップＳ１４では、自動運転から手動運転への切り替えを許可する信号を自動運転制御装置３０へ出力する処理を行う。

　上記実施の形態（２）に係る運転切替支援装置１０Ａによれば、未視認領域が有ると判定された場合、該未視認領域が、目視確認の必要な領域であるか否かが判定され、前記未視認領域のうち、目視確認が必要な領域であると判定された領域の確認を促す処理が行われる。したがって、運転者は、目視確認が必要な領域と判定された領域についてのみ確認すればよく、手動運転へ切り替える際に、安全性を損なうことなく、運転者の確認動作負担をさらに軽減させることができる。

　また、車両の走行予定経路データや監視対象物の検出データを用いて、未視認領域が、目視確認の必要な領域であるか否かが判定されるので、該判定において、車両走行中に予測される危険性を十分に考慮して判定されるので、安全確認に必要な領域のみを的確に報知することができる。

　なお、上記運転切替支援装置１０、１０Ａの一部又は全ての機能を自動運転制御装置３０に組み込んでもよい。また、運転切替支援装置１０、１０Ａの一部又は全ての機能をナビゲーションシステム８０に組み込んで構成してもよい。

（付記１）
　車両の走行制御を自動的に行う自動運転から運転者による手動運転への切り替えを支援する運転切替支援装置であって、
　記憶部と、ハードウェアプロセッサとを有し、
　前記記憶部は、
　前記運転者の状態を検出する運転者状態検出部で検出されたデータを記憶する運転者状態検出データ記憶部と、
　前記運転者の視線を検出する視線検出部で検出されたデータを記憶する視線検出データ記憶部とを有し、
　前記ハードウェアプロセッサは、
　前記手動運転へ切り替える前に、前記運転者状態検出部で検出されたデータを用い、前記運転者が手動運転可能な状態であるか否かを判定し、
　前記手動運転へ切り替える前に、前記視線検出部で検出されたデータを用い、前記運転者により視認されていない領域の有無を判定し、
　前記運転者が手動運転可能な状態であると判定され、かつ前記視認されていない領域が有ると判定された場合に、前記視認されていない領域の確認を促す督促処理を行い、
　該督促処理後、所定の条件が成立した場合に、前記自動運転から前記手動運転への切り替えを許可する信号を自動運転制御部に出力する、運転切替支援装置。

（付記２）
　車両の走行制御を自動的に行う自動運転から運転者による手動運転への切り替え可能な車両に搭載されるハードウェアプロセッサによって実行する運転切替支援方法であって、
　少なくとも１つのハードウェアプロセッサによって、
　前記手動運転へ切り替える前に、前記運転者の状態を検出する運転者状態検出部で検出されたデータを用い、前記運転者が手動運転可能な状態であるか否かを判定するステップと、
　前記手動運転へ切り替える前に、前記運転者の視線を検出する視線検出部で検出されたデータを用い、前記運転者により視認されていない領域の有無を判定するステップと、
　前記運転者が手動運転可能な状態であると判定され、かつ前記視認されていない領域が有ると判定された場合に、前記視認されていない領域の確認を促す督促処理を行うステップと、
　前記督促処理後、所定の条件が成立した場合に、前記自動運転から前記手動運転への切り替えを許可する信号を自動運転制御部に出力するステップとを有する、運転切替支援方法。

　本発明は、自動運転から手動運転へ切り替える制御を行う自動運転システムなど、主に自動車産業の分野において広く利用することができる。

１　自動運転システム
１０、１０Ａ　運転切替支援装置
１１　運転者状態検出部
１２　視線検出部
１３　運転者状態判定部
１４　視認領域判定部
１５　領域確認督促処理部
１６　視認判定部
１７　切替許可信号出力部
１８　切替不許可信号出力部
１９　目視確認要否判定部
２０　ドライバモニタ装置
３０　自動運転制御装置
７４　周辺監視センサ
８０　ナビゲーションシステム
９０　ＨＭＩ
１００　通信装置

Claims

　車両の走行制御を自動的に行う自動運転から運転者による手動運転への切り替えを支援する運転切替支援装置であって、
　前記手動運転へ切り替える前に、前記運転者の状態を検出する運転者状態検出部で検出されたデータを用い、前記運転者が手動運転可能な状態であるか否かを判定する運転者状態判定部と、
　前記手動運転へ切り替える前に、前記運転者の視線を検出する視線検出部で検出されたデータを用い、前記運転者により視認されていない領域の有無を判定する視認領域判定部と、
　前記運転者状態判定部により、前記運転者が手動運転可能な状態であると判定され、前記視認領域判定部により、前記視認されていない領域が有ると判定された場合に、前記視認されていない領域の確認を促す処理を行う領域確認督促処理部と、
　該領域確認督促処理部による督促処理後、所定の条件が成立した場合に、前記自動運転から前記手動運転への切り替えを許可する信号を自動運転制御部に出力する信号出力部とを備えていることを特徴とする運転切替支援装置。
　前記領域確認督促処理部による督促処理後、前記視線検出部で検出されたデータを用い、前記視認されていない領域が前記運転者により視認されたか否かを判定する視認判定部を備え、
　前記所定の条件が、前記視認判定部により、前記視認されていない領域が前記運転者により視認されたと判定されることであることを特徴とする請求項１記載の運転切替支援装置。
　前記視認領域判定部により、前記視認されていない領域が有ると判定された場合、該視認されていない領域が、目視確認の必要な領域であるか否かを判定する目視確認要否判定部を備え、
　前記領域確認督促処理部が、前記視認されていない領域のうち、前記目視確認要否判定部により目視確認が必要な領域であると判定された領域の確認を促す処理を行うものであることを特徴とする請求項１又は請求項２記載の運転切替支援装置。
　前記目視確認要否判定部が、前記車両の走行予定経路データ、及び前記車両の周辺に存在する監視対象物の検出データのうちの少なくともいずれかのデータを用い、前記視認されていない領域が、目視確認の必要な領域であるか否かを判定するものであることを特徴とする請求項３記載の運転切替支援装置。
　前記運転者状態判定部により、前記運転者が手動運転可能な状態であると判定され、かつ前記視認領域判定部により、前記視認されていない領域が無いと判定された場合、前記信号出力部が、前記切替を許可する信号を出力するものであることを特徴とする請求項１～４のいずれかの項に記載の運転切替支援装置。
　車両の走行制御を自動的に行う自動運転から運転者による手動運転への切り替え可能な車両に搭載されるコンピュータが実行する運転切替支援方法であって、
　前記手動運転へ切り替える前に、前記運転者の状態を検出する運転者状態検出部で検出されたデータを用い、前記運転者が手動運転可能な状態であるか否かを判定する運転者状態判定ステップと、
　前記手動運転へ切り替える前に、前記運転者の視線を検出する視線検出部で検出されたデータを用い、前記運転者により視認されていない領域の有無を判定する視認領域判定ステップと、
　前記運転者状態判定ステップにより、前記運転者が手動運転可能な状態であると判定され、前記視認領域判定ステップにより、前記視認されていない領域が有ると判定された場合に、前記視認されていない領域の確認を促す処理を行う領域確認督促処理ステップと、
　前記領域確認督促処理ステップによる督促処理後、所定の条件が成立した場合に、前記自動運転から前記手動運転への切り替えを許可する信号を自動運転制御部に出力する信号出力ステップとを含んでいることを特徴とする運転切替支援方法。