JP7108814B2 - 運転支援方法、運転支援プログラム及び車両制御装置 - Google Patents

Description

本開示は、複数の操作入力部が設置されている車両における、運転支援方法、運転支援プログラム及び車両制御装置に関する。

近年、自動運転車両の開発が進められている。自動運転車両では、運転者が運転操作に関与しない自動運転モード中、運転者は車室内の自由な位置に自由な姿勢で乗車することができる。自動運転車両の普及が拡大すれば、シートレイアウトの柔軟化が予想され、その場合、運転者が後ろ向きに座るシチュエーションも考えられる。そのような柔軟なシートレイアウトが可能になると、車室内の複数箇所にディスプレイが設置されることが予想される。

近未来において、道路状況や周辺環境に関わらず常に自動運転モードで走行することは難しく、道路状況や周辺環境が厳しい状況では、運転者の関与が必要な手動運転モードに切り替える必要がある。その場合、車両側から運転者側に、自動運転モードから手動運転モードに切り替えるハンドオーバ通知が必要となる。ハンドオーバ通知を受けた運転者は、モード切替スイッチを操作したり、所定の運転操作を行うことにより手動運転モードに切り替える（例えば、特許文献１参照）。

特開平１０－３２９５７５号公報

本開示は、車両から搭乗者への通知に対して、搭乗者による迅速な応答を可能とする技術を提供する。

本開示の一態様の運転支援方法は、車両内の搭乗者の位置および顔の向きを検知するための検知部が、車両内の搭乗者の位置および顔の向きを検知するステップを有する。また、運転支援方法は、ユーザインタフェース制御部が、検知した搭乗者の位置および顔の向きに応じて、車両内の複数の操作入力部のうち、搭乗者の視野範囲内に存在する操作入力部から、搭乗者が最も操作容易な操作入力部を決定するステップを有する。さらに、複数の操作入力部は、複数のタッチパネルディスプレイであり、運転支援方法は、ユーザインタフェース制御部が、イベントの発生に対して実行する予定の処理内容に対する同意要求を、最も操作容易な操作入力部に表示することによって報知するステップを有する。さらに、運転支援方法は、ユーザインタフェース制御部が、最も操作容易な操作入力部への同意操作を有効とするステップを有する。

なお、以上の構成要素の任意の組み合わせ、本開示の表現を装置、システム、方法、プログラム、プログラムを記録した記録媒体、それらを搭載した自動運転車両などの間で変換したものもまた、本開示の態様として有効である。

本開示によれば、車両から搭乗者への通知に対して、搭乗者による迅速な応答が可能となる。

図１Ａは、車両内のレイアウトの第１例を説明するための図である。 図１Ｂは、車両内のレイアウトの第１例を説明するための図である。 図２Ａは、車両内のレイアウトの第２例を説明するための図である。 図２Ｂは、車両内のレイアウトの第２例を説明するための図である。 図３Ａは、車両内のレイアウトの第３例を説明するための図である。 図３Ｂは、車両内のレイアウトの第３例を説明するための図である。 図４は、本開示の実施の形態に係る運転支援システムの構成を示すブロック図である。 図５は、カメラの設置例を示す図である。 図６Ａは、図２Ａ、図２Ｂに示した車両内のレイアウトを変更した状態を示した図である。 図６Ｂは、図２Ａ、図２Ｂに示した車両内のレイアウトを変更した状態を示した図である。 図７は、本開示の実施の形態に係る運転支援システムの動作を示すフローチャートである。 図８は、タッチパネルディスプレイに表示される同意要求画面の一例を示す図である。 図９Ａは、イベントと応答処理の別の例を説明するための図である。 図９Ｂは、イベントと応答処理の別の例を説明するための図である。 図１０は、本開示の変形例１に係る運転支援システムの構成を示すブロック図である。 図１１Ａは、運転者が携帯端末装置を使用している状態における車両内の様子を示す図である。 図１１Ｂは、運転者が携帯端末装置を使用している状態における車両内の様子を示す図である。 図１２は、本開示の変形例２に係る運転支援システムの構成を示すブロック図である。

本開示の実施の形態の説明に先立ち、従来の技術における問題点を簡単に説明する。特許文献１の切替方法は運転者が運転席に前を向いて座っていることを前提としており、例えば運転者が後ろ向きに座っているような状態は想定されていない。運転者が後ろ向きに座っているような状態では、車両側からのハンドオーバ通知を運転者が直ぐに認知できない場合が発生する。また直ぐに認知できた場合でも、車両側に直ぐに応答できない場合が発生する。なお、車両側からの通知はハンドオーバ通知に限らず、クラクションやパッシング等の外部への合図発信に対する許可要求通知などもある。これら車両側からの通知に対して、運転者または同乗者による迅速な応答が求められる。

図１Ａおよび図１Ｂは、車両１内のレイアウトの第１例を説明するための図である。図１Ａは車両１を上方から俯瞰した模式図であり、図１Ｂは車両１内の運転席付近の模式図である。図１Ａおよび図１Ｂに示す車両１は４シート仕様の車両であり、ステアリングホイール３が右側に設置されている。またフロントガラスの上部にはルームミラーＭ１が設置されている。運転者は右前シートＳ１に座って車両１を運転する。

図１Ｂに示すようにダッシュボードの上に、タッチパネル式のセンタディスプレイ（以下、第１タッチパネルディスプレイ３１ａという）が設置されている。また、ダッシュボードの中央下部にタッチパネル式のヘッドユニットディスプレイ（以下、第２タッチパネルディスプレイ３１ｂという）が設置されている。また、センタコンソールにタッチパネル式の小型ディスプレイ（以下、第３タッチパネルディスプレイ３１ｃという）が設置されている。また、第１タッチパネルディスプレイ３１ａと第２タッチパネルディスプレイ３１ｂの間の領域に物理ボタン３２が設置されている。

図２Ａおよび図２Ｂは、車両１内のレイアウトの第２例を説明するための図である。図２Ａは車両１を上方から俯瞰した模式図であり、図２Ｂは車両１内の前方領域の模式図である。自動運転車両が普及すると、従来のステアリングホイール、アクセルペダル、ブレーキペダルを搭載しない車両が実用化されると予想されている。また手動運転が必要な状況になった場合でも、運転操作が従来と比較して大幅に簡素化することが予想されている。例えば、ジョイスティックのような小型のコンソール端末で運転操作を行うことが考えられる。その場合、従来のステアリングホイール等の操縦部は不要になる。

図２Ｂに示す例では、従来、ステアリングホイールが設置された位置に、タッチパネル式のディスプレイ（以下、第４タッチパネルディスプレイ３１ｄという）が設置されている。第４タッチパネルディスプレイ３１ｄは、運転操作におけるコマンド（追越コマンド、車線変更コマンドなど）の入力にも使用することができる。

図３Ａおよび図３Ｂは、車両１内のレイアウトの第３例を説明するための図である。図３Ａは車両１を上方から俯瞰した模式図であり、図３Ｂは車両１内のシートレイアウトの一例を示す模式図である。第３例も第２例と同様に、従来のステアリングホイール等の操縦部が省略された構成である。第３例では右前シートＳ１及び左前シートＳ２が後ろ向きになり、右後シートＳ３及び左後シートＳ４と対面している。右前シートＳ１、左前シートＳ２、右後シートＳ３及び左後シートＳ４は固定式であってもよいし、回転自在な可動式の構成であってもよい。また、右前シートＳ１及び左前シートＳ２のみが前方に向きを変更可能な構成であってもよい。

図３Ａおよび図３Ｂでは、右前シートＳ１及び左前シートＳ２と右後シートＳ３及び左後シートＳ４の間にテーブルＴ１が設置されている。図３Ｂに示すようにテーブルＴ１の表面にはタッチパネル式のディスプレイ（以下、第５タッチパネルディスプレイ３１ｅという）が形成されている。第５タッチパネルディスプレイ３１ｅは、テーブルＴ１内に予め埋め込まれた物理的なディスプレイであってもよいし、超短焦点プロジェクタとジェスチャ検出センサの組み合わせて実現されてもよい。

図４は、本開示の実施の形態に係る運転支援システム２の構成を示すブロック図である。運転支援システム２は、車両制御装置１０、車室内状況検知部２０、ＵＩ（user interface）部３０、自動運転制御装置４０及びセンサ５０を有する。車両制御装置１０は、車両１と搭乗者との間のインタフェース機能を実行するＨＭＩ(Human Machine Interface)コントローラであり、自動運転制御装置４０は、車両１の自動運転機能を実行する自動運転コントローラであり、両者が連携して車両１を制御する。

センサ５０は、自車の状態および自車周辺の状況を把握するための種々のセンサの総称である。例えばセンサ５０として、可視光カメラ、ＬＩＤＡＲ（Light Detection and Ranging）、ミリ波レーダ、車速センサ、及びＧＰＳ（global positioning system）センサを有する。

可視光カメラは車両１の前方、後方、左右の少なくとも４箇所に設置され、車両１の前方、後方、左右の映像を撮影する。ＬＩＤＡＲは、車両１の周囲に光線（例えば、赤外線レーザ）を放射して、その反射信号を受信し、受信した反射信号をもとに周囲に存在する対象物との距離、対象物の大きさ、対象物の組成を測定する。ミリ波レーダは、車両１の周囲に電波（ミリ波）を放射して、その反射信号を受信し、受信した反射信号をもとに周囲に存在する対象物までの距離を測定する。ミリ波レーダは、ＬＩＤＡＲで検出困難な、より遠方の対象物も検出可能である。車速センサは車両１の速度を検出する。ＧＰＳセンサは車両１の位置情報を検出する。具体的には複数のＧＰＳ衛星からそれぞれ発信時刻を受信し、受信した複数の発信時刻をもとに受信地点の緯度経度を算出する。

自動運転制御装置４０は処理部４１、Ｉ／Ｏ（input/output）部４２、及び記録部４３を有する。処理部４１はハードウェア資源とソフトウェア資源の協働、又はハードウェア資源のみにより実現できる。ハードウェア資源としてプロセッサ、ＲＯＭ（read-only memory）、ＲＡＭ（random-access memory）、その他のＬＳＩ（large-scale integration）を利用できる。プロセッサとしてＣＰＵ（central processing unit）、ＧＰＵ（graphics processing unit）、ＤＳＰ（digital signal processor）等を利用できる。ソフトウェア資源としてオペレーティングシステム、アプリケーション、ファームウェア等のプログラムを利用できる。Ｉ／Ｏ部４２は各種の外部機器との接続を制御する。記録部４３は不揮発性メモリであり、ＮＡＮＤ型フラッシュメモリチップ、ＳＳＤ（solid-state drive）、ＨＤＤ（hard disk drive）等の記録媒体を有する。記録部４３には、３次元マップ等の自律走行に必要なデータが保持される。

処理部４１は所定の自動運転アルゴリズムに基づき、車両１を自律走行させる。具体的には処理部４１は、センサ５０により検知された各種検知データ、及び外部から無線通信により収集した各種の情報に基づき、自車および自車周辺の状況を認識する。処理部４１は、認識した状況を示す各種パラメータを自動運転アルゴリズムに適用して車両１の行動を決定する。

自動運転アルゴリズムは、例えばディープラーニングをもとにした人工知能（ＡＩ:Artificial Intelligence）により生成される。自動運転アルゴリズムの各種パラメータは、事前にハイスペックなコンピュータにより学習された値に初期設定されるとともに、クラウド上のデータセンタからアップデートされた値が適宜、ダウンロードされる。

処理部４１は、決定した行動をもとに操作対象を制御する。図４に示す例では操作対象は、ステアリングホイール３、アクセルペダル４、ブレーキペダル５、ウインカスイッチ６、ヘッドライトスイッチ７、及びクラクションスイッチ８である。例えば処理部４１は、所定の速度への加速を決定したとき、アクセルペダル４を制御するＥＣＵ(Electronic Control Unit)に車載ネットワークを介して制御信号を送信する。車載ネットワークには例えば、ＣＡＮ（Controller Area Networkを使用することができる。同様に処理部４１は、所定の速度への減速を決定したとき、所定の操舵角への操舵を決定したとき、ウインカの点滅を決定したとき、ヘッドライトの点灯／消灯を決定したとき、クラクションの鳴動を決定したとき、それぞれのＥＣＵに制御信号を送信する。

車両制御装置１０は処理部１１、Ｉ／Ｏ部１２、及び記録部１３を有する。処理部１１は、検知情報解析部１１１、ＵＩ（User Interface）制御部１１２、及び連携部１１３を含む。処理部１１の機能はハードウェア資源とソフトウェア資源の協働により実現できる。ハードウェア資源としてハードウェア資源としてプロセッサ、ＲＯＭ、ＲＡＭ、その他のＬＳＩを利用できる。プロセッサとしてＣＰＵ、ＧＰＵ、ＤＳＰ等を利用できる。ソフトウェア資源としてオペレーティングシステム、アプリケーション、ファームウェア等のプログラムを利用できる。Ｉ／Ｏ部１２は各種の外部機器との接続を制御する。記録部１３は不揮発性メモリであり、ＮＡＮＤ型フラッシュメモリチップ、ＳＳＤ、ＨＤＤ等の記録媒体を有する。

車室内状況検知部２０は、車両１内の搭乗者の位置および状態を検知するためのセンサであり、例えばカメラを使用することができる。カメラは、シートレイアウトを考慮し、車室内の搭乗者を撮影可能な位置に設置される。

図５は、カメラ２０ａ、２０ｂの設置例を示す図である。例えば、ルームミラーの上にカメラ２０ａを設置することが考えられる。この設置位置は、前列シートの搭乗者の位置および状態を検知するのに有効である。また車室内の天井の中央部にカメラ２０ｂを設置することも考えられる。この場合、広角カメラを使用することが好ましい。この設置位置は、車室内の搭乗者を広範囲に検知することができる。

なお車室内の複数の箇所にカメラを設置すれば、搭乗者に関するより正確な情報を得ることができる。また車室内状況検知部２０として、シート位置センサを使用することもできる。例えば、運転シートの位置から運転者の位置を推定することができる。

図４に戻る。ＵＩ部３０は、複数のタッチパネルディスプレイ３１、物理ボタン３２、及びスピーカ３３を含む。タッチパネルディスプレイ３１は車室内の複数の箇所に設置され、タッチパネル機能付きの液晶ディスプレイ、タッチパネル機能付きの有機ＥＬ（organic electro-luminescence：OEL）ディスプレイで構成される。タッチパネルディスプレイ３１には、既存のカーナビゲーション装置のディスプレイ、ディスプレイオーディオ等のヘッドユニットのディスプレイも含まれる。

タッチパネルディスプレイ３１は車両制御装置１０から供給される画像信号を再生して表示するとともに、ユーザの操作を受け付け、受け付けた操作に応じた操作信号を生成して車両制御装置１０に出力する。

物理ボタン３２は車室内に少なくとも１つ設置される。なお物理ボタン３２は物理的な入力部の一例であり、スイッチ、ダイヤル、パッド等でもよい。物理ボタン３２は、ユーザの操作を受け付け、受け付けた操作に応じた操作信号を生成して車両制御装置１０に出力する。スピーカ３３は、車両制御装置１０から供給される音声信号を再生して音声出力する。

検知情報解析部１１１は、車室内状況検知部２０から搭乗者の位置および状態の少なくとも一方を示す検知情報を取得し、取得した検知情報を解析する。例えば、検知情報として車室内の画像データを取得した場合、検知情報解析部１１１は取得した画像データを解析する。検知情報解析部１１１は例えば、顔の識別器を用いて画像内から搭乗者の顔を検出する。顔の識別器は、顔が写った複数のサンプル画像から、Haar-like特徴量などを学習することにより生成することができる。

検知情報解析部１１１は、画像内で検出された顔の位置および大きさをもとに、車室内における搭乗者の位置を推定することができる。また検知情報解析部１１１は識別器として、正面顔の識別器、側面顔の識別器など、複数種類の顔識別器を用いることにより、搭乗者の顔の向きを推定することができる。また搭乗者の位置を推定する際、シートの位置を考慮してもよい。

ＵＩ制御部１１２は、検知情報解析部１１１により推定された搭乗者の位置および状態の少なくとも一方に応じて、複数のタッチパネルディスプレイ３１の内、搭乗者が最も操作容易なタッチパネルディスプレイ３１を決定する。具体的には、搭乗者の視野範囲内に存在するタッチパネルディスプレイ３１の内、搭乗者に最も近接しているタッチパネルディスプレイ３１に決定する。

連携部１１３は、自動運転制御装置４０とコマンドを送受信する。本実施の形態では、自動運転制御装置４０の処理部４１が、車両１の走行に関連する所定のイベントを検出し、検出したイベントに対して実行する予定の処理内容を決定した場面を考える。決定した処理内容によっては搭乗者（以下、運転者を想定する）の同意を得ることが必要または好ましいものがある。運転者の同意を得ることが必要または好ましい処理内容の場合、自動運転制御装置４０の処理部４１は、決定した処理内容に対する同意の取得を要求するコマンドを車両制御装置１０に送信する。

車両制御装置１０の連携部１１３が当該コマンドを受信すると、ＵＩ制御部１１２は当該処理内容に対する同意要求のメッセージを、上記で決定した運転者が最も操作容易なタッチパネルディスプレイ３１に表示させる。その際、ＵＩ制御部１１２は当該メッセージをスピーカ３３から音声出力させてもよい。ＵＩ制御部１１２は、当該最も操作容易なタッチパネルディスプレイ３１への、上記同意要求に対する同意操作を有効なものとして受け付ける。

例えば図１Ａおよび図１Ｂに示したレイアウトにおいて、運転者がステアリングホイール３に近い位置でステアリングホイール３を操作している場合、ＵＩ制御部１１２は、最も操作容易なタッチパネルディスプレイ３１として第２タッチパネルディスプレイ３１ｂを選択する。

また図３Ａおよび図３Ｂに示したレイアウトにおいて、運転者が後ろ向きに座っている場合、ＵＩ制御部１１２は、最も操作容易なタッチパネルディスプレイ３１として第５タッチパネルディスプレイ３１ｅを選択する。

図６Ａおよび図６Ｂは、図２Ａおよび図２Ｂに示した車両１内のレイアウトを変更した状態を示した図である。具体的には、右前シートＳ１の位置を後ろにずらした状態を示している。右前シートＳ１とともにセンタコンソールも後ろにずれている。この状態では、ＵＩ制御部１１２は、最も操作容易なタッチパネルディスプレイ３１として、センタコンソールに設置された第３タッチパネルディスプレイ３１ｃを選択する。

なおＵＩ制御部１１２は、同意要求のメッセージを最も操作容易なタッチパネルディスプレイ３１に表示させるだけでなく、他のタッチパネルディスプレイ３１に表示させてもよい。例えば、２番目に操作容易な操作容易なタッチパネルディスプレイ３１にも表示させてもよいし、車室内の全てのタッチパネルディスプレイ３１に表示させてもよい。また、運転者の視野範囲に存在するタッチパネルディスプレイ３１のみに表示させてもよい。

またＵＩ制御部１１２は、同意要求のメッセージをスピーカ３３から音声出力させる場合、運転者が最も操作容易なタッチパネルディスプレイ３１を運転者の位置のみによって決定してもよい。即ち、運転者の顔向きに関係なく、運転者に物理的に最も近いタッチパネルディスプレイ３１を選択する。

またＵＩ制御部１１２は、上記同意要求に対する運転者の同意操作を有効なものとして受け付けるタッチパネルディスプレイ３１を、最も操作容易なタッチパネルディスプレイ３１に限定してもよいし、限定しなくてもよい。例えば、同意要求の対象となっている処理内容を実行するための物理ボタン３２が存在する場合、ＵＩ制御部１１２は、物理ボタン３２への同意操作を有効なものとして受け付ける。車両１の操作は、従来から存在する物理ボタン３２を操作した方が安心感を持って操作できる運転者も多い。

またＵＩ制御部１１２は、上記最も操作容易なタッチパネルディスプレイ３１以外のタッチパネルディスプレイ３１への、上記同意要求に対する同意操作を有効なものとして受け付けてもよい。なお運転者以外の同乗者の有無により、最も操作容易でないタッチパネルディスプレイ３１への同意操作の有効／無効を切り替えてもよい。同乗者がいる場合、運転者の意図に反して同乗者が近くのタッチパネルディスプレイ３１に触れてしまう可能性がある。そこで同乗者がいる場合、ＵＩ制御部１１２は、運転者が最も操作容易なタッチパネルディスプレイ３１への操作のみを有効な操作として扱う。一方、同乗者がいない場合、ＵＩ制御部１１２は、車室内の全てのタッチパネルディスプレイ３１への操作を有効な操作として扱う。

図７は、本開示の実施の形態に係る運転支援システム２の動作を示すフローチャートである。自動運転制御装置４０の処理部４１は、車両１の走行に関するイベントを検出すると（Ｓ４０のＹ）、検出したイベントに対する応答処理を決定する（Ｓ４１）。以下、イベントの検出として、自動運転モードが継続困難となる事象の検出を想定する。例えば、先行車および道路上の白線を検出できなくなった場合、自動運転を継続することが困難になる。処理部４１は当該事象に対する応答処理として、手動運転モードへの切り替えを決定する。なお本実施の形態では当該手動運転モードに、手動運転と自動運転が併存するモードを含むものとする。

処理部４１は、決定した応答処理に対する同意要求コマンドを車両制御装置１０に送信する（４２）。同意要求コマンドには、応答処理の内容と、同意要求に対する回答時間が含まれる。車両制御装置１０の連携部１１３は、自動運転制御装置４０から同意要求コマンドを受信する（Ｓ１０）。検知情報解析部１１１は、車室内状況検知部２０から搭乗者の位置および状態を示す検知情報を取得して解析する（Ｓ１１）。なお検知情報解析部１１１は、検知情報の取得および解析処理を、同意要求コマンドの受信をトリガとして実行してもよいし、常時実行していてもよい。

ＵＩ制御部１１２は、検知情報解析部１１１による解析結果をもとに、搭乗者が最も操作しやすいタッチパネルディスプレイ３１を特定する（Ｓ１２）。ＵＩ制御部１１２は、特定したタッチパネルディスプレイ３１に、応答処理の内容と同意要求のメッセージを表示させる（Ｓ１３）。

図８は、タッチパネルディスプレイ３１に表示される同意要求画面３１１の一例を示す図である。図８に示す例では、同意要求画面３１１内に「手動運転に切り替えます。準備ＯＫですか？」というメッセージと、ＯＫ（同意）キー３１２、ＮＧ（不同意）キー３１３が表示されている。搭乗者（運転者）は準備ＯＫの場合はＯＫキー３１２を押下し、準備できていない場合はＮＧキー３１３を押下する。

図７に戻る。ＵＩ制御部１１２は、特定したタッチパネルディスプレイ３１から搭乗者の操作内容を取得する（Ｓ１４）。なお、指定された回答時間内に操作されなかった場合、ＮＧキー３１３が押下されたものとして取り扱う。連携部１１３は、取得された操作内容を含む操作コマンドを自動運転制御装置４０に送信する（Ｓ１５）。

自動運転制御装置４０の処理部４１は、車両制御装置１０から操作コマンドを受信する（Ｓ４３）。処理部４１は、受信した操作コマンドに応じた処理を実行する（Ｓ４４）。例えば、操作内容が同意の場合、自動運転モードから手動運転モードへ切り替える。操作内容が拒否の場合、車両１を路肩に移動させて停車させる。

図９Ａおよび図９Ｂは、イベントと応答処理の別の例を説明するための図である。この例では車両１は、車外にメッセージを伝達するための外部ディスプレイ６０を有する。外部ディスプレイ６０は例えば、図９Ａに示すようにフロントガラスの下部に設置される。なお、外部ディスプレイ６０はフロントガラスの上部やフロントグリルに設置されてもよい。

車両１の走行中に運転者が、周辺の歩行者や他車の運転者とコミュニケーションを図りたい場合が発生する。例えば、横断歩道の前で待っている歩行者に、横断歩道を渡るように合図を送りたい場合がある。また信号のない交差点等で、他車の運転者に先に行くよう合図を送りたい場合がある。また先を譲ってくれた他車の運転者に感謝の合図を送りたい場合もある。

このように外部とのコミュニケーションを図りたい場合のイベントの検出として、例えば、横断歩道の前で待っている歩行者の検出が挙げられる。図９Ｂは、当該歩行者を検出した場合にタッチパネルディスプレイ３１に表示される同意要求画面３１４の一例を示す図である。図９Ｂに示す例では、同意要求画面３１４内に「「おさきにどうぞ」を外部に表示しますか？」というメッセージと、ＯＫキー３１５、ＮＧキー３１６が表示されている。搭乗者（運転者）は、当該メッセージを表示する場合はＯＫキー３１５を押下し、表示しない場合はＮＧキー３１６を押下する。

なお、外部とのコミュニケーション方法は外部ディスプレイ６０へのメッセージ表示に限るものではない。例えば、クラクションを小音量で鳴動させる、ヘッドライトでパッシングするといった伝達方法も考えられる。

外部へのコミュニケーション通知は、歩行者、近隣住民、他車の搭乗者にとって迷惑な行為と受け取られる可能性をはらんでいる。従って、外部へのコミュニケーション通知を発動する前に運転者の確認をとることが好ましい。

以上説明したように本実施の形態によれば、車両から搭乗者への通知を、当該搭乗者の最も操作しやすいタッチパネルディスプレイ３１に表示させ、タッチパネルディスプレイ３１への操作を有効とする。これにより、車室内のシートレイアウト、搭乗者の位置、搭乗者の顔向きに関係なく、搭乗者への素早い伝達と、搭乗者による素早い操作を実現することができる。特に、上述した手動運転モードへの切り替えや外部へのコミュニケーション通知など、搭乗者の迅速な判断が求められる状況に有効な技術である。搭乗者の意思決定が迅速になれば、自動運転車両が緊急停止する可能性を低減することもできる。

以上、本開示を実施の形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本開示の範囲にあることは当業者に理解されるところである。

図１０は、本開示の変形例１に係る運転支援システム２の構成を示すブロック図である。変形例１では、運転支援システム２は、搭乗者が車両内に持ち込んだ携帯端末装置９と連携する。携帯端末装置９は、通信機能を有する携帯可能な機器であればよく、例えば、スマートフォン、フィーチャーフォン、タブレット、ノート型ＰＣ（personal computer）、携帯型音楽プレーヤ、携帯型ゲーム機などが該当する。携帯端末装置９はタッチパネルディスプレイ９３を有する。

変形例１の車両制御装置１０は、携帯端末装置９と短距離通信するための通信部１４を有する。通信部１４は、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の短距離無線通信規格に準拠した通信処理を実行する。変形例１では、電源がオン状態の携帯端末装置９のタッチパネルディスプレイ９３も、車室内のタッチパネルディスプレイ３１に含めて考える。なお電源がオフ状態の携帯端末装置９のタッチパネルディスプレイ９３は、車室内のタッチパネルディスプレイ３１に含めない。

検知情報解析部１１１は、車室内のカメラで撮影された映像を解析して、携帯端末装置９の位置とタッチパネルディスプレイ９３の向きを検出する。ＵＩ制御部１１２は、携帯端末装置９のタッチパネルディスプレイ９３を含む車室内の複数のタッチパネルディスプレイから、搭乗者が最も操作容易なタッチパネルディスプレイを決定する。

なお、車室内における携帯端末装置９の位置とタッチパネルディスプレイ９３の向きを検出できない場合、ＵＩ制御部１１２は、携帯端末装置９のタッチパネルディスプレイ９３を含まない車室内の複数のタッチパネルディスプレイ３１から、搭乗者が最も操作容易なタッチパネルディスプレイ３１を決定する。ＵＩ制御部１１２は、決定したタッチパネルディスプレイ３１と、携帯端末装置９のタッチパネルディスプレイ９３の両方に同意要求メッセージを表示させ、いずれか一方に対する同意操作を有効な操作として受け付ける。

図１１Ａおよび図１１Ｂは、運転者が携帯端末装置９を使用している状態における車両１内の様子を示す図である。自動運転モードで走行中は、運転者が運転操作をする必要がないため、運転者が携帯端末装置９を使用してウェブサイトの閲覧、動画の視聴などを行うことが可能である。図１１Ａおよび図１１Ｂに示す状態では、ＵＩ制御部１１２は、最も操作容易なタッチパネルディスプレイとして、携帯端末装置９のタッチパネルディスプレイ９３を選択する。

以上説明したように変形例１によれば、スマートフォン等の携帯端末装置９を見ている搭乗者への素早い情報伝達と、搭乗者による素早い応答操作を実現することができる。

図１２は、本開示の変形例２に係る運転支援システム２の構成を示すブロック図である。変形例２では、車室内に複数の搭乗者が存在することを前提とする。変形例２では車両制御装置１０の処理部１１は、対象者決定部１１４をさらに含む。対象者決定部１１４は、車室内の複数の搭乗者の権限または属性をもとに、複数の搭乗者の中から同意要求メッセージの報知対象とすべき搭乗者を決定する。

対象者決定部１１４は基本的に、運転権限を持つ搭乗者を同意要求メッセージの報知対象とすべき搭乗者に決定する。例えば、車両１の所有者の顔画像を車両制御装置１０に予め登録する。また新たな人物が車両１を運転したとき、その人物の顔画像を撮影して登録する。対象者決定部１１４は、車室内に複数の搭乗者が存在する場合、登録されている顔の搭乗者を運転権限を持つ搭乗者と判断する。登録されている顔の搭乗者が複数存在する場合、運転シートに座っている搭乗者を運転権限を持つ搭乗者と判断する。

なお、同意要求の対象となる処理内容には、運転免許を持たない搭乗者でも同意を与えることができる性質のものもある。例えば、駐車場で自動運転制御装置４０が駐車位置を決定したときに求められる同意要求、自動運転制御装置４０がガソリンスタンドまたは充電スタンドに寄ることを決定したときに求められる同意要求、渋滞回避のために自動運転制御装置４０がルート変更を決定したときに求められる同意要求などは、運転権限を持つ搭乗者以外が同意しても問題がない性質の同意要求である。

この場合、対象者決定部１１４は、車室内に運転権限を持つ搭乗者が存在しない場合であっても、所定のシートに座っている搭乗者を、同意要求メッセージを報知する搭乗者に決定する。予め車室内のシートに優先順位（例えば、右前シートＳ１→左前シートＳ２→右後シートＳ３→左後シートＳ４）を付け、対象者決定部１１４は優先順位に従い、同意要求メッセージを報知する搭乗者の候補を選定する。その際、対象者決定部１１４は搭乗者の属性を考慮する。例えば、搭乗者が子供または後期高齢者であると推定される場合、その搭乗者は候補から除外する。また、寝ていると推定される搭乗者も候補から除外する。

なお、同意要求の対象となる処理内容が、運転権限を持つ搭乗者の同意を必要とする性質のものであり、起きている運転権限を持つ搭乗者が存在しない場合、対象者決定部１１４は、ＮＧコマンドを車両制御装置１０に返信する。

以上説明したように変形例２によれば、車室内の複数の搭乗者が存在する場合において、最適な操作見込者に同意要求メッセージを伝達することができる。

以上の説明では、搭乗者が最も操作しやすいタッチパネルディスプレイ３１に同意要求メッセージを表示することを必須として説明した。この点、他のタッチパネルディスプレイ３１に同意要求メッセージを表示、またはスピーカ３３から音声出力した場合、最も操作しやすいタッチパネルディスプレイ３１への同意要求メッセージの表示は必須ではない。

また以上の説明では、同意要求メッセージを表示し、同意操作を受け付けるデバイスとしてタッチパネルディスプレイを例に説明したが、必ずしもタッチパネルディスプレイに限定されるものではない。タッチパネル機能なしのディスプレイと、当該ディスプレイの近傍に配置された物理キーとの組み合わせであってもよい。即ち、表示機能と操作入力機能が一体または近接しているデバイスであればよい。

なお、実施の形態は、以下の項目によって特定されてもよい。

［項目１］
運転支援方法は、車両（１）内の少なくとも１人の搭乗者の位置および状態の少なくとも一方を検知するステップを有する。また、運転支援方法は、検知した搭乗者の位置および状態の少なくとも一方に応じて、車両（１）内の複数の操作入力部（３１）から、搭乗者が最も操作容易な操作入力部（３１）を決定するステップを有する。さらに、運転支援方法は、イベントの発生に対して実行する予定の処理内容に対する同意要求を、車両（１）内において報知するステップを有する。さらに、運転支援方法は、最も操作容易な操作入力部（３１）への同意操作を有効とするステップを有する。

これにより、車両（１）から搭乗者への通知に対して、搭乗者が迅速に応答することができる。

［項目２］
項目１に記載の運転支援方法において、最も操作容易な操作入力部（３１）を決定するステップでは、搭乗者に最も近接している操作入力部（３１）を最も操作容易な操作入力部として決定する。

なお、最も操作容易な操作入力部（３１）は、搭乗者の視野範囲内に存在する操作入力部（３１）の内、搭乗者に最も近接している操作入力部（３１）であってもよい。

これにより、搭乗者が、手を大きく移動させることなく、迅速に操作を行うことができる。

［項目３］
項目１または２に記載の運転支援方法において、複数の操作入力部（３１）は、複数のタッチパネルディスプレイ（３１）であり、同意要求を報知するステップでは、最も操作容易な操作入力部（３１）に、処理内容に対する同意要求を表示する。

これにより、搭乗者の見やすい位置に同意要求を表示させることができる。

［項目４］
項目１から３のいずれかに記載の運転支援方法において、複数の操作入力部（３１、９３）には、搭乗者の携帯端末装置（９）が含まれる。

これにより、搭乗者が携帯端末装置（９）に対して応答操作を行うことができる。

［項目５］
項目１から４のいずれかに記載の運転支援方法は、少なくとも１人の搭乗者が複数の搭乗者を含む場合、複数の搭乗者の権限または属性をもとに、複数の搭乗者の中から報知対象とすべき搭乗者を決定するステップをさらに有する。

これにより、最適な搭乗者に同意要求を報知することができる。

［項目６］
項目１から５のいずれかに記載の運転支援方法において、車両（１）は自動運転車両であり、イベントの発生は、自動運転中に自動運転が継続困難になる事象の発生であり、イベントの発生に対して実行する予定の処理内容は、手動運転への切り替えである。

これにより、自動運転から手動運転への切り替え要求に対して、搭乗者が迅速に応答することができる。

［項目７］
項目１から５のいずれかに記載の運転支援方法において、車両（１）は、少なくとも一部の運転操作を車両（１）が自律的に行う車両であり、イベントの発生は、車両（１）の外に合図またはメッセージを送る必要の発生であり、イベントの発生に対して実行する予定の処理内容は、車両（１）の外に合図またはメッセージを送る処理である。

これにより、外部へのコミュニケーション通知に対する同意要求に対して、搭乗者が迅速に応答することができる。

［項目８］
運転支援プログラムは、車両（１）内の搭乗者の位置および状態の少なくとも一方を検知する処理をコンピュータに実行させる。また、運転支援プログラムは、検知した搭乗者の位置および状態の少なくとも一方に応じて、車両（１）内の複数の操作入力部（３１）から、搭乗者が最も操作容易な操作入力部（３１）を決定する処理をコンピュータに実行させる。さらに、運転支援プログラムは、イベントの発生に対して実行する予定の処理内容に対する同意要求を、車両（１）内において報知する処理をコンピュータに実行させる。さらに、運転支援プログラムは、最も操作容易な操作入力部（３１）への同意操作を有効とする処理をコンピュータに実行させる。

これにより、車両（１）から搭乗者への通知に対して、搭乗者が迅速に応答することができる。

［項目９］
車両制御装置（１０）は、検知情報取得部（１１１）と、ユーザインタフェース制御部（１１２）と、を有する。検知情報取得部（１１１）は、車両（１）内の搭乗者の位置および状態の少なくとも一方を検知するための検知部（２０）から、検知した搭乗者の位置および状態の少なくとも一方の検知情報を取得する。ユーザインタフェース制御部（１１２）は、取得された検知情報に応じて、車両（１）内の複数の操作入力部（３１）から、搭乗者が最も操作容易な操作入力部（３１）を決定する。また、ユーザインタフェース制御部（１１２）は、発生したイベントに対して実行する予定の処理内容に対する同意要求を車両（１）内において報知させ、最も操作容易な操作入力部（３１）への同意操作を有効とする。

これにより、車両制御装置（１０）から搭乗者への通知に対して、搭乗者が迅速に応答することができる。

本開示は、複数の操作入力部が設置されている車両における、運転支援方法、運転支援プログラム及び車両制御装置として有用である。

１ 車両
２ 運転支援システム
３ ステアリングホイール
４ アクセルペダル
５ ブレーキペダル
６ ウインカスイッチ
７ ヘッドライトスイッチ
８ クラクションスイッチ
９ 携帯端末装置
１０ 車両制御装置
１１ 処理部
１２ Ｉ／Ｏ部
１３ 記録部
１４ 通信部
２０ 車室内状況検知部
２０ａ，２０ｂ カメラ
３０ ＵＩ部
３１ タッチパネルディスプレイ
３１ａ 第１タッチパネルディスプレイ
３１ｂ 第２タッチパネルディスプレイ
３１ｃ 第３タッチパネルディスプレイ
３１ｄ 第４タッチパネルディスプレイ
３１ｅ 第５タッチパネルディスプレイ
３２ 物理ボタン
３３ スピーカ
４０ 自動運転制御装置
４１ 処理部
４２ Ｉ／Ｏ部
４３ 記録部
５０ センサ
６０ 外部ディスプレイ
９３ タッチパネルディスプレイ
１１１ 検知情報解析部
１１２ ＵＩ制御部
１１３ 連携部
１１４ 対象者決定部
３１１，３１４ 同意要求画面
３１２，３１５ ＯＫキー
３１３，３１６ ＮＧキー
Ｍ１ ルームミラー
Ｓ１ 右前シート
Ｓ２ 左前シート
Ｓ３ 右後シート
Ｓ４ 左後シート
Ｔ１ テーブル

Claims (8)

1. 車両内の搭乗者の位置および顔の向きを検知するための検知部が、前記 車両内の少なくとも１人の搭乗者の位置および顔の向きを検知するステップと、
   ユーザインタフェース制御部が、 検知した前記搭乗者の位置および顔の向きに応じて、前記車両内の複数の操作入力部のうち、前記搭乗者の視野範囲内に存在する操作入力部から、前記搭乗者が最も操作容易な操作入力部を決定するステップと、
   前記複数の操作入力部は、複数のタッチパネルディスプレイであり、前記ユーザインタフェース制御部が、イベントの発生に対して実行する予定の処理内容に対する同意要求を、前記最も操作容易な操作入力部に表示することによって報知するステップと、
   前記ユーザインタフェース制御部が、 前記最も操作容易な操作入力部への同意操作を有効とするステップと、
   を有する運転支援方法。
2. 前記最も操作容易な操作入力部を決定するステップでは、前記ユーザインタフェース制御部が、前記搭乗者の視野範囲内に存在する操作入力部のうち、前記搭乗者に最も近接している操作入力部を前記最も操作容易な操作入力部として決定する、
   請求項１に記載の運転支援方法。
3. 前記複数の操作入力部には、前記搭乗者の携帯端末装置が含まれる、
   請求項１または２に記載の運転支援方法。
4. 前記少なくとも１人の搭乗者が複数の搭乗者である場合、対象者決定部が、前記複数の搭乗者の権限または属性をもとに、前記複数の搭乗者の中から報知対象とすべき搭乗者を決定するステップをさらに有する、
   請求項１から３のいずれかに記載の運転支援方法。
5. 前記車両は自動運転車両であり、
   前記イベントの発生は、自動運転中に自動運転が継続困難になる事象の発生であり、
   前記イベントの発生に対して実行する予定の処理内容は、手動運転への切り替えである、
   請求項１から４のいずれかに記載の運転支援方法。
6. 前記車両は、少なくとも一部の運転操作を車両が自律的に行う車両であり、
   前記イベントの発生は、前記車両の外に合図またはメッセージを送る必要の発生であり、
   前記イベントの発生に対して実行する予定の処理内容は、前記車両の外に合図またはメッセージを送る処理である、
   請求項１から４のいずれかに記載の運転支援方法。
7. 車両内の搭乗者の位置および顔の向きを検知する処理と、
   検知した前記搭乗者の位置および顔の向きに応じて、前記車両内の複数の操作入力部のうち、前記搭乗者の視野範囲内に存在する操作入力部から、前記搭乗者が最も操作容易な操作入力部を決定する処理と、
   前記複数の操作入力部は、複数のタッチパネルディスプレイであり、イベントの発生に対して実行する予定の処理内容に対する同意要求を、前記最も操作容易な操作入力部に表示することによって報知する処理と、
   前記最も操作容易な操作入力部への同意操作を有効とする処理と、
   をコンピュータに実行させる運転支援プログラム。
8. 車両内の搭乗者の位置および顔の向きを検知するための検知部から、検知した前記搭乗者の位置および顔の向きの検知情報を取得する検知情報取得部と、
   取得された検知情報に応じて、前記車両内の複数の操作入力部のうち、前記搭乗者の視野範囲内に存在する操作入力部から、前記搭乗者が最も操作容易な操作入力部を決定するユーザインタフェース制御部と、を備え、
   前記複数の操作入力部は、複数のタッチパネルディスプレイであり、前記ユーザインタフェース制御部は、イベントの発生に対して実行する予定の処理内容に対する同意要求を、前記最も操作容易な操作入力部に表示することによって報知させ、前記最も操作容易な操作入力部への同意操作を有効とする、
   車両制御装置。

Images