以下、本発明の実施の形態について図面を参照しながら説明する。図1は、本発明の実施の形態に係る車両1の構成を示すブロック図であり、自動運転に関連する構成である。自動運転モードを搭載した車両1(自車)は、運転支援装置10、自動運転制御装置20、表示装置30、検出部40及び運転操作部50を備える。
表示装置30は、表示部31及び入力部32を含む。表示装置30は、カーナビゲーションシステム、ディスプレイオーディオ等のヘッドユニットであってもよいし、スマートフォン、タブレット等の携帯端末機器であってもよいし、専用のコンソール端末装置であってもよい。
表示部31は液晶ディスプレイや有機ELディスプレイやヘッドアップディスプレイ(HUD)である。入力部32はユーザの入力を受け付けるユーザインタフェースである。表示部31と入力部32は一体化したタッチパネルディスプレイであってもよい。なお、タッチパネルまたはタッチパッド上での手の近接検知やホバー操作による指の位置検知を可能な近接タッチパネルのように、表示部から所定距離を離れた場所でのジェスチャ入力を受け付けられるものであってもよい。更に、入力部32は、マウス、スタイラスペン、トラックボール等のジェスチャ入力を補助する入力デバイスを備えていてもよい。また可視光または赤外線を発光するペンを使用してもよい。
なお、表示部31と入力部32が一体型のタッチパネルディスプレイではなく、物理的にセパレートであってもよい。例えば入力部32は、カメラ等のセンサを備え、空中ジェスチャ操作入力が可能な非接触型の入力デバイスであってもよい。例えば、対象を指さしでポイントし、親指と人差し指を近づけて閉じるジェスチャでドラッグ開始、親指と人差し指を離すジェスチャでドラッグ終了などの操作方法が考えられる。
運転支援装置10と表示装置30との間は、専用線やCAN(Controller Area Network)等の有線通信で接続されていても良いし、USB、Ethernet(登録商標)、Wi−Fi(登録商標)、Bluetooth(登録商標)等の有線通信または無線通信で接続されていても良い。
検出部40は、位置情報取得部41、センサ42、速度情報取得部43及び地図情報取得部44を含む。位置情報取得部41はGPS受信機から車両1の現在位置を取得する。センサ42は車外の状況および車両1の状態を検出するための各種センサの総称である。車外の状況を検出するためのセンサとして例えばカメラ、ミリ波レーダ、LIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、気温センサ、気圧センサ、湿度センサ、照度センサ等が搭載される。車外の状況とは、自車の走行する道路状況や天候を含む環境及び自車周辺を走行する他車の走行位置や走行状態などの自車周辺状況が考えられる。なお、センサが検出できる車外の情報であれば何でもよい。また車両1の状態を検出するためのセンサとして例えば、加速度センサ、ジャイロセンサ、地磁気センサ、傾斜センサ等が搭載される。速度情報取得部43は車速センサから車両1の現在速度を取得する。地図情報取得部44は、地図データベースから車両1の現在位置周辺の地図情報を取得する。地図データベースは、車両1内の記録媒体に記録されていてもよいし、使用時にネットワークを介して地図サーバからダウンロードしてもよい。
検出部40と自動運転制御装置20との間は、専用線やUSB、Ethernet(登録商標)、CAN(Controller Area Network)等の有線通信で接続される。なお検出部40が取得および検出したデータを、検出部40から運転支援装置10に直接出力可能な構成であってもよい。
運転操作部50は、ステアリング51、ブレーキペダル52、アクセルペダル53、及びウインカスイッチ54を含む。本実施の形態に係る自動運転モードでは、加速、減速、操舵、及びウインカ点滅が自動運転制御装置20による自動制御の対象であり、図1にはそれらの制御を手動で行う際の操作部を描いている。なお運転者が手動で運転操作部50を少し動かした情報を運転支援装置10に出力してもよい。
ステアリング51は車両を操舵するための操作部である。運転者によりステアリング51が回転されると、ステアリングアクチュエータを介して車両の進行方向が制御される。ステアリングアクチュエータはステアリングECU(Electronic Control Unit)により電子制御が可能である。
ブレーキペダル52は車両1を減速させるための操作部である。運転者によりブレーキペダル52が踏まれると、ブレーキアクチュエータを介して車両が減速される。ブレーキアクチュエータはブレーキECUにより電子制御が可能である。
アクセルペダル53は車両1を加速させるための操作部である。運転者によりアクセルペダル53が踏まれると、アクセルアクチュエータを介してエンジン回転数および/またはモータ回転数が制御される。純粋なエンジンカーではエンジン回転数が制御され、純粋な電気自動車ではモータ回転数が制御され、ハイブリッドカーではその両方が制御される。アクセルアクチュエータはエンジンECUおよび/またはモータECUにより電子制御が可能である。
ウインカスイッチ54は、車両の進路を外部に通知するためのウインカを点滅させるための操作部である。運転者によりウインカスイッチ54がオン/オフされると、ウインカコントローラを介してウインカが点灯/消灯される。ウインカコントローラは、ウインカランプへの給電を制御するリレー等の駆動回路を備える。
ステアリングECU、ブレーキECU、エンジンECU、モータECU、ウインカコントローラのそれぞれと自動運転制御装置20との間は、CANや専用線等の有線通信で接続される。ステアリングECU、ブレーキECU、エンジンECU、モータECU、ウインカコントローラはそれぞれ、ステアリング、ブレーキ、エンジン、モータ、ウインカランプの状態を示す状態信号を自動運転制御装置20に送信する。
自動運転モードにおいて、ステアリングECU、ブレーキECU、エンジンECU、モータECUは、自動運転制御装置20から供給される制御信号に応じて各アクチュエータを駆動する。手動運転モードにおいては、ステアリング51、ブレーキペダル52、アクセルペダル53のそれぞれから各アクチュエータに直接機械的に指示が伝達される構成であってもよいし、各ECUを介した電子制御が介在する構成であってもよい。ウインカコントローラは自動運転制御装置20から供給される制御信号、又はウインカスイッチ54からの指示信号に応じてウインカランプを点灯/消灯する。
自動運転制御装置20は、自動運転制御機能を実装した自動運転コントローラであり、制御部21、記憶部22及び入出力部23を備える。制御部21の構成はハードウェア資源とソフトウェア資源の協働、又はハードウェア資源のみにより実現できる。ハードウェア資源としてプロセッサ、ROM、RAM、その他のLSIを利用でき、ソフトウェア資源としてオペレーティングシステム、アプリケーション、ファームウェア等のプログラムを利用できる。記憶部22は、フラッシュメモリ等の不揮発性記録媒体を備える。入出力部23は、各種の通信フォーマットに応じた各種の通信制御を実行する。
制御部21は、検出部40や各種ECUから収集した各種パラメータ値を自動運転アルゴリズムに適用して、車両1の進行方向等の自動制御対象を制御するための制御値を算出する。制御部21は算出した制御値を、各制御対象のECU又はコントローラに伝達する。本実施の形態ではステアリングECU、ブレーキECU、エンジンECU、ウインカコントローラに伝達する。なお電気自動車やハイブリッドカーの場合、エンジンECUに代えて又は加えてモータECUに制御値を伝達する。
運転支援装置10は、車両1と運転者との間のインタフェース機能を実行するためのHMI(Human Machine Interface)コントローラであり、判定部11、生成部12、指示部13及び入出力部14を備える。判定部11、生成部12及び指示部13は、ハードウェア資源とソフトウェア資源の協働、又はハードウェア資源のみにより実現できる。ハードウェア資源としてプロセッサ、ROM、RAM、その他のLSIを利用でき、ソフトウェア資源としてオペレーティングシステム、アプリケーション、ファームウェア等のプログラムを利用できる。入出力部14は、各種の通信フォーマットに応じた各種の通信制御を実行する。入出力部14は、画像出力部14a、操作信号入力部14b、コマンド出力部14c、及び車両情報入力部14dを含む。画像出力部14aは、生成部12が生成した画像を表示部31に出力する。操作信号入力部14bは、入力部32に対してなされた運転者や乗員もしくは車外にいるユーザの操作による操作信号を受け付け、判定部11に出力する。コマンド出力部14cは、指示部13により指示されたコマンドを自動運転コントローラ20に出力する。車両情報入力部14dは、検出部40が取得した検出データや自動運転コントローラ20により生成された車両側の情報を受け付け、生成部12に出力する。
自動運転コントローラ20とHMIコントローラ10との間は直接、信号線で接続される。なおCANを介して接続する構成であってもよい。また自動運転コントローラ20とHMIコントローラ10を統合して1つのコントローラとする構成も可能である。
図2は、図1の検出部40、自動運転コントローラ20、HMIコントローラ10、表示部31、及び入力部32の基本シーケンスの一例を示す図である。検出部40は、自車位置情報、自車走行道路情報、及び自車周辺情報を検出して自動運転コントローラ20に出力する(P1)。自動運転コントローラ20は、検出部40から取得した自車位置情報、自車走行道路情報、及び自車周辺情報をHMIコントローラ10に出力する(P2)。HMIコントローラ10は、自動運転コントローラ20から取得した情報をもとに、自車と自車の周辺状況を含む模式図を生成する(P3)。HMIコントローラ10は、生成した模式図を表示装置30に出力し、表示部31に表示させる(P4)。
表示部31に表示された模式図を見たユーザは、入力部32に接触する(P5)。表示部31は、接触を検出した座標データをHMIコントローラ10に出力する(P6)。HMIコントローラ10は、表示装置30から取得した座標データをもとにコマンドの種別を判定する(P7)。HMIコントローラ10は、一定時間が経過するまでは、追加入力の受け付けを行う(P8〜P12)。HMIコントローラ10はコマンドの判定後、コマンドの指示中であることを示す模式図を再生成する(P8)。HMIコントローラ10は、再生成した模式図を表示装置30に出力し、表示部31に表示させる(P9)。なおユーザの接触によるジェスチャ操作に該当するコマンドが存在しない場合は、エラーメッセージを含む模式図を生成して表示装置30に出力し、表示部31に表示させる。
コマンドの指示中であることを示す模式図を見たユーザが、入力部32に接触すると(P10)、表示部31は、接触を検出した座標データをHMIコントローラ10に出力する(P11)。HMIコントローラ10は、表示装置30から取得した座標データをもとに追加コマンド処理を実行する(P12)。HMIコントローラ10は、追加コマンド処理(P12)で新たなコマンドの入力がなかった場合は、P7で判定したコマンドを自動運転コントローラ20に発行する(P13、P14)。追加コマンド処理(P12)で新たなコマンドが入力された場合は、新たなコマンドを自動運転コントローラ20に発行する。新たに入力されたコマンドがキャンセルコマンドであった場合は、コマンド発行を取りやめる。新たなコマンドによる元のコマンドの上書き・キャンセル処理は、自動運転コントローラ20で行ってもよく、その場合、HMIコントローラ10は、P7、P12におけるコマンド判定処理後に自動運転コントローラ20へコマンドの送信を行い、自動運転コントローラ20内部の状態に応じて上書き・キャンセル処理を行う。
検出部40は定期的に、自車位置情報、自車走行道路情報、及び自車周辺情報を検出して自動運転コントローラ20に出力する(P15)。自動運転コントローラ20は当該情報をもとに、HMIコントローラ10から発行されたコマンドにより指示された制御が実行可能であるか否か判定する(P16)。実行可能である場合、自動運転コントローラ20は制御開始通知をHMIコントローラ10に出力する(P17)。HMIコントローラ10は制御開始通知を受けると、制御中であることを示すメッセージを含む模式図を再生成する(P18)。HMIコントローラ10は、再生成した模式図を表示装置30に出力し、表示部31に表示させる(P19)。図示しないが、自動運転コントローラ20が、検出部40や各種ECUから収集した各種パラメータ値を自動運転アルゴリズムに適用して、発行されたコマンドを遂行するための車両1の進行方向等の自動制御対象となる運転操作部50を制御する具体的な制御値を算出し、各制御対象のECU又はコントローラに伝達する。運転操作部50は具体的な制御値に基づき動作する。運転操作部50は、所定の制御値または検出部40の検出データが所定値(範囲)になり、自動運転コントローラ20が、発行されたコマンドの条件に満たしたと判断したら、コマンド実行完了と判断する。
HMIコントローラ10は、自動運転コントローラ20から制御完了通知を受けると、制御が完了したことを示すメッセージを含む模式図を生成して表示装置30に出力する。なお、ユーザから操作を受け付けない期間は、操作を受け付けないことを示すメッセージを含む模式図を生成して表示装置30に出力する。
図3は、図1のHMIコントローラ10の処理を説明するための基本フローチャートの一例を示す図である。HMIコントローラ10の判定部11は、運転モードが自動運転モードか手動運転モードであるかをチェックする(S1)。手動運転モードの場合(S2のN)、処理を終了する。自動運転モードの場合(S2のY)、以下のように処理される。
検出部40から自動運転コントローラ20に入力されるセンサ情報は随時更新されている(S3)。HMIコントローラ10の生成部12は、自動運転コントローラ20から入力される自車位置情報、自車走行道路情報、及び自車周辺情報を基に自車と自車の周辺状況を含む模式図を生成し、生成した模式図を表示部31に描画する(S4)。判定部11は受付モードが、ユーザからの操作を受付可能な受付可モードか、ユーザからの操作を受付不可な受付不可モードであるかをチェックする(S5)。受付不可モードである場合(S6のN)、処理を終了する。受付可モードである場合(S6のY)、判定部11は入力部32に対するユーザによる接触があるか否か判定する(S7)。接触がない場合(S8のN)、後述する一定時間経過判定処理(S12)を実行する。接触がある場合(S8のY)、判定部11は、ユーザによるジェスチャ操作入力に応じて制御コマンドを決定する(S9)。この決定処理の詳細は後述する。
ステップS9で決定された制御コマンドがキャンセルコマンドでない場合(S10のN)、生成部12は表示部31にコマンド指示中を表示する(S11)。制御コマンドが決定されてから一定時間経過すると(S12のY)、ステップS9で決定された制御コマンドがある場合(S13のY)、表示部31に操作受付不可を表示し(S14)、判定部11は受付モードを受付可モードから受付不可モードに更新し(S15)、指示部13は、決定された制御コマンドを自動運転コントローラ20に出力する(S16)。一定時間が経過するまでは(S12のN)、ステップS3に遷移する。
ステップS10において、決定された制御コマンドがキャンセルコマンドである場合(S10のY)、キャンセルを表示し(S110)、処理を終了する。ステップS13において、ステップS9で決定された制御コマンドがない場合、入力エラーを表示し(S111)、処理を終了する。自動運転コントローラ20は、検出部40から自車位置情報、自車走行道路情報、及び自車周辺情報を定期的に検出している。周辺状況は刻々と変化するため、制御コマンドが自動運転コントローラ20に出力された後、制御コマンドが実行不能と判断される場合がある。例えば、追従指示後に、自車と他車の間に別の車が割り込んできた場合などである。自動運転コントローラ20により制御コマンドが実行可能と判断された場合(S17のY)、生成部12は表示部31に制御中であることを表示し(S18)、タイマを発動してカウントを開始する(S19)。自動運転コントローラ20により制御不能と判断された場合(S17のN)、生成部12は表示部31に制御不能エラーを表示する(S112)。
図4は、受付モードの更新処理を説明するためのフローチャートである。HMIコントローラ10の判定部11は、タイマのカウント値が設定値(例えば、10秒)に到達すると(S113のY)、受付モードを受付不可モードから受付可モードに更新する(S114)。なお、タイマのカウント値は自車の周辺状況に応じて変更してもよい。なお判定部11は、自動運転コントローラ20から制御完了を示す通知を受信するか、車両1の挙動から、制御コマンドに応じた制御が完了したと判断したとき、受付モードを受付不可モードから受付可モードに更新してもよい。
図5は、図3のステップS9において、ジェスチャ操作が入力される場合のコマンド決定処理の一例を示すフローチャートである。入力部32へのユーザによる接触が開始されると(S9aのY)、生成部12は、ドロップ可能エリアを模式図内に描画し、表示部31に表示させる(S9b)。
判定部11は、入力部32で発生したタッチイベントを受信し(S9c)、タッチイベントの種別を判定する(S9d)。タッチイベントの種別が接触開始/移動であった場合(S9dの接触開始/移動)、生成部12は車両1の予測軌道/ルートの候補を模式図内に描画し、表示部31に表示させる(S9e)。その後、ステップS9cに戻る。
タッチイベントの種別が接触終了であった場合(S9dの接触終了)、判定部11は、ジェスチャ操作の種別を判定する。ジェスチャ操作の代表的なものとして、ドラッグ&ドロップ、フリック、スワイプ、ピンチイン/ピンチアウト、回転がある。判定部11は、タッチイベントの時系列推移をもとにジェスチャ操作の種別を判定する(S9f)。具体的には接触開始位置での滞在時間、移動開始後の移動速度、接触終了位置での滞在時間をもとにドラッグ&ドロップとフリックとスワイプを区別する。また接触点が2点であり、2点間の距離が所定距離以上変化している場合、ピンチイン/ピンチアウトと判定する。2点間の距離が所定距離以上変化せずに2点の位置が変化している場合、回転と判定する。
判定部11は、接触点数、接触開始位置、接触終了位置およびジェスチャ種別をキーに、自動運転制御テーブルを参照する(S9g)。自動運転制御コマンドテーブル内に4つのキーに合致する制御コマンドが存在する場合(S9hのY)、判定部11は、当該制御コマンドを自動運転コントローラ20に発行する制御コマンドに決定する(S9i)。自動運転制御コマンドテーブル内に4つのキーに合致する制御コマンドが存在しない場合(S9hのN)、生成部12は表示部31にエラーメッセージを表示させる(S9s)。
図6は、自動運転制御コマンドテーブル11aの一例を示す図である。自動運転制御コマンドテーブル11aは、判定部11の中に構築される。以下、本実施の形態では接触開始位置が、模式図内の自車マークである例を説明する。図6に示す自動運転制御コマンドテーブル11aは接触終了位置として他車マーク、緊急車両マーク、歩行者マーク、レーン、路肩、交差点、及び特定エリアを規定しており、ジェスチャ操作としてドラッグ&ドロップ、フリック/スワイプ、ピンチイン/ピンチアウト、及び回転を規定している。
ユーザが自車マークをドラッグして他車マークにドロップすると、追従/隊列走行を指示するコマンドが発行される。ユーザが自車マークをドラッグして緊急車両(救急車など)マークにドロップした場合において、緊急車両マークの位置が自車マークの位置より右側の場合は左寄せ一時停車を指示するコマンドが発行される。緊急車両マークの位置が自車マークの位置より左側の場合は右寄せ一時停車を指示するコマンドが発行される。ユーザが自車マークをドラッグして歩行者マークにドロップすると、歩行者の横に停車することを指示するコマンドが発行される。
ユーザが自車マークをドラッグして他のレーンにドロップすると、交差点近辺でない場合、当該レーンへの車線変更を指示するコマンドが発行される。交差点近辺の場合でドロップされたレーンが右折レーンの場合、右折レーンへの車線変更と右折を指示するコマンドが発行される。交差点近辺の場合でドロップされたレーンが左折レーンの場合、左折レーンへの車線変更と左折を指示するコマンドが発行される。
ユーザが自車マークをドラッグして路肩にドロップすると、路肩に駐車することを指示するコマンドが発行される。ユーザが自車マークをドラッグして交差点内の右折後レーンの入口にドロップすると、右折を指示するコマンドが発行される。ユーザが自車マークをドラッグして交差点内の左折後レーンの入口にドロップすると、左折を指示するコマンドが発行される。
ユーザが自車マークをドラッグしてレーン、交差点、路肩以外の特定エリアにドロップすると、特定エリアに応じたコマンドが発行される。例えば、特定エリアへの一時退避を指示するコマンドが発行される。また特定エリアが道路案内標識内の地名や地域名が表示されたエリアである場合、当該地名や地域名に対応する目的地へのルート変更を指示するコマンドが発行される。また当該地名や地域名に対応する経由地の設定を指示するコマンドが発行されてもよい。また特定エリアが道路案内標識内の道路や道路名が表示されたエリアである場合、当該道路を通るルートにルート変更を指示するコマンドが発行される。また特定エリアが有料道路の出口案内標識が表示されたエリアである場合、当該出口から降りることを指示するコマンドが発行されてもよい。
ユーザが自車マークをフリック/スワイプすると、その自車マークの移動方向および移動距離に応じて車速変更を指示するコマンドが発行されてもよい。例えば、上方向にスワイプで速度アップ、下方向にスワイプで速度ダウン、移動距離が大きいほど速度変更量が大きくなる設定でもよい。またユーザが自車マークをフリック/スワイプすると、その自車マークの移動方向および移動距離に応じて先行車との車間距離の変更を指示するコマンドが発行されてもよい。例えば、上方向にスワイプで車間距離短縮、下方向にスワイプで車間距離拡大、移動距離が大きいほど距離変更量が大きくなる設定でもよい。
ユーザが自車マークをフリック/スワイプした場合において、他レーンがある場合、当該レーンへの車線変更指示が発行されてもよい。またユーザが自車マークをフリック/スワイプした場合において、交差点近辺の場合でフリック/スワイプされたレーンが右折レーンの場合、右折レーンへの車線変更と右折を指示するコマンドが発行される。交差点近辺の場合でフリック/スワイプされたレーンが左折レーンの場合、左折レーンへの車線変更と左折を指示するコマンドが発行される。
ユーザが自車マーク内の2点にタッチしてピンチイン/ピンチアウトすると、2点間の距離変更に応じて車速変更を指示するコマンドが発行される。例えば、ピンチインで速度ダウン、ピンチアウトで速度アップ、2点間の距離が大きいほど速度変更量が大きくなる設定でもよい。
ユーザが自車マークと他車マークの2点にタッチしてピンチイン/ピンチアウトした場合において、当該自車と当該他車が追従走行中である場合、当該自車と当該他車との車間距離の変更を指示するコマンドが発行される。例えば、ピンチインで車間距離短縮、ピンチアウトで車間距離拡大、2点間の距離が大きいほど距離変更量が大きくなる設定でもよい。ユーザが自車マークと他車マークの2点にタッチしてピンチイン/ピンチアウトした場合において、当該自車と当該他車が追従走行中でない場合、当該自車と当該他車との一時的な車間距離の変更を指示するコマンドが発行される。この場合、時間経過に従い当該自車と当該他車が車間距離が変化しても、車間距離を一定に保つ制御は働かない。
ユーザが自車マーク内の2点にタッチして回転させた場合において、交差点近辺である場合、その回転方向に応じて右折または左折を指示するコマンドが発行される。またユーザが自車マーク内の2点にタッチして回転させた場合において、駐車スペースの近辺である場合、その回転方向に応じて自車の方向転換を指示するコマンドが発行される。
ユーザが自車マークと他車マークの2点にタッチして回転させた場合において、追従/隊列走行中である場合、当該自車と当該他車の位置を入れ替えることを指示するコマンドが発行される。ユーザが自車マークと他車マークの2点にタッチして回転させた場合において、追従/隊列走行中でない場合、自車が他車を追越すことを指示するコマンドが発行される。
また、コンテキストに応じてコマンドに関する具体的な制御方法を変えてもよい。例えば、ユーザが自車マークを先行車(他車)マークの前に移動させた場合、同じく追越のコマンドになるが、コンテキストに応じて追越の仕方が変わってくる組み合わせであっても良い。例えば、通常、日本の交通ルール上右側車線から追い越すが、左側車線には走行している他車両がない場合左側車線から追い越しても良い。また、個人の嗜好性データを参考に運転者の嗜好性に合ったルートで追い越しても良い。なお、コマンドに関する具体的な制御方法は、例えば、経路、実行タイミング、速度等が考えられ、HMIコントローラ10の判定部11が決定してから具体的な制御方法を含めたコマンドを自動運転コントローラ20に送信してもいいし、コマンドを受け取った後自動運転コントローラ20側で具体的な制御方法を決定しても良い。更に、HMIコントローラ10または自動運転コントローラ20で決められた具体的な制御方法の選択肢を表示部31に表示したり、図示しないスピーカーや振動手段を含む報知部により運転者に聴覚的/触覚的に報知したりし、運転者に選択させても良い。
以上に説明した図6に示す自動運転制御コマンドテーブル11aは、接触点数、接触開始位置、接触終了位置、及びジェスチャ種別が同一であっても、コンテキストに応じてコマンドの内容が変わってくる組み合わせを含んでいる。コンテキストとして自車周辺の環境情報が参照され、例えば、他車との相対位置、車線有無、交差点有無、追従/隊列走行中であるか否か、自車の向き等が参照される。なお、コンテキストを参照せずに接触点数、接触開始位置、接触終了位置、及びジェスチャ種別のみによって一意にコマンドが決定される設計であってもよい。例えば、ユーザが自車マークをフリック/スワイプしたとき、自車の周辺環境がどのような状態であってもグローバルに、速度変更を指示するコマンドが発行される設計であってもよい。
以下、図6に示した自動運転制御コマンドテーブル11aに規定されたジェスチャ操作のいくつかの例を説明する。以下の例では表示部31及び入力部32が一体化したタッチパネルディスプレイを使用することを想定する。
図7は、自車アイコンを他のレーンにドラッグ&ドロップするジェスチャ操作の例を示すフローチャートである。HMIコントローラ10の判定部11は、タッチパネルからタッチイベント(DOWN)を受信する(S20)。タッチイベント(DOWN)は、タッチパネルに対する指やペンによる非接触状態から接触状態への変化を表すイベントである。判定部11は、タッチイベント(DOWN)が検出された座標が自車アイコンの表示エリアの内部であるか否か判定する(S21)。表示エリアの外である場合(S21のN)、車線変更指示でないと判定して処理を終了する。
表示エリアの内部である場合(S21のY)、判定部11はタッチパネルからタッチイベント(MOVE)を受信する(S22)。タッチイベント(MOVE)は、タッチパネルのある点に対する指やペンによる接触状態から、別の点に対する接触状態への変化を表すイベントである。その後、判定部11はタッチパネルからタッチイベント(UP)を受信する(S23)。タッチイベント(UP)は、タッチパネルに対する指やペンによる接触状態から非接触状態への変化を表すイベントである。
判定部11は、タッチイベント(UP)が検出された座標が同一進行方向の他レーンであるか否か判定する(S24)。他レーンである場合(S24のY)、指示部13は車線変更指示コマンドを自動運転コントローラ20に発行する(S25)。他レーンでない場合(S24のN)、車線変更指示でないと判定して処理を終了する。
図8(a)−(b)は、図7のフローチャートに係るジェスチャ操作の一例を示す図である。図8(a)に示す模式図には、第1レーンL1と第2レーンL2が表示されており、第1レーンL1上に自車アイコンV1が表示されている。なお自車、及び道路を含む周辺状況の表示形態には様々な表示形態が考えられる。実写映像を用いてもよいし、精緻なCG画像やアニメーション画像を用いてもよい。自車の表示もアイコンに限らず、よりシンプルなマークや文字で表示されてもよいし、実写映像で表示されてもよい。即ち、何らかの表示形態で画面内にオブジェクト表示されればよい。
運転者が第1レーンL1から第2レーンL2に車線変更したい場合、図8(a)に示すように第1レーンL1上の自車アイコンV1をドラッグし、図8(b)に示すように第2レーンL2上に自車アイコンV1をドロップする。これにより、車線変更指示コマンドが発行される。
図9は、自車アイコンをフリックするジェスチャ操作の例を示すフローチャートである。HMIコントローラ10の判定部11は、タッチパネルからタッチイベント(DOWN)を受信する(S20)。判定部11は、タッチイベント(DOWN)が検出された座標が自車アイコンの表示エリアの内部であるか否か判定する(S21)。表示エリアの外である場合(S21のN)、車線変更指示でないと判定して処理を終了する。
表示エリアの内部である場合(S21のY)、判定部11は自車の進行方向に走行可能なレーンが複数あるか否か判定する(S212)。複数のレーンがある場合(S212のY)、生成部12は自車アイコンの左および/または右に、走行可能なレーンへのレーン変更指示用のドロップエリアを生成し、タッチパネルに表示させる(S213)。複数のレーンがない場合(S212のN)、ステップS213の処理をスキップする。
判定部11は、進行方向の一定距離内に交差点があるか否か判定する(S214)。交差点がある場合(S214のY)、生成部12は自車アイコン若しくはレーン変更指示用のドロップエリアの左および/または右に、交差点で進路変更が可能な方向の進路変更指示用のドロップエリアを生成し、タッチパネルに表示させる(S215)。交差点がない場合(S214のN)、ステップS215の処理をスキップする。
判定部11はタッチパネルからタッチイベント(UP)を受信する(S216)。判定部11は、タッチイベント(UP)が検出された座標がドロップエリア内であるか否か判定する(S217)。ドロップエリア内でない場合(S217のN)、車線変更指示でないと判定して処理を終了する。タッチイベント(UP)が検出された座標が車線変更指示用のドロップエリア内である場合(S217の車線変更指示用ドロップエリア)、指示部13は車線変更指示コマンドを自動運転コントローラ20に発行する(S218)。タッチイベント(UP)が検出された座標が進路変更指示用のドロップエリア内である場合(S217の進路変更指示用ドロップエリア)、指示部13は進路変更指示コマンドを自動運転コントローラ20に発行する(S219)。
図10(a)−(d)は、図9のフローチャートに係るジェスチャ操作の一例を示す図である。運転者が第1レーンL1から第2レーンL2に車線変更したい場合、図9(a)に示すように第1レーンL1上の自車アイコンV1にタッチする。自車アイコンV1がタッチされると、図10(b)に示すように第2レーンL2への車線変更指示用のドロップエリアA1が表示される。ユーザがこのドロップエリアA1にフリックすると、第2レーンL2への車線変更指示コマンドが発行される。
図10(c)に示すように前方に交差点がある場合においてユーザが自車アイコンV1にタッチすると、図10(d)に示すように右側レーンへの車線変更指示用のドロップエリアA1、左側レーンへの車線変更指示用のドロップエリアA2、右折指示用のドロップエリアA3、及び左折指示用のドロップエリアA4が表示される。ユーザが、いずれかのドロップエリアにフリックすることにより、対応するコマンドが発行される。
図11は、自車アイコンと他車アイコンの2点にタッチして回転させるジェスチャ操作の例を示すフローチャートである。HMIコントローラ10の判定部11は、タッチパネルから2点のタッチイベント(DOWN)を受信する(S38)。判定部11は、タッチイベント(DOWN)が検出された一方の1点の座標が自車アイコンの表示エリアの内部であるか否か判定する(S39)。自車アイコンの表示エリアの外である場合(S39のN)、追越指示でないと判定して処理を終了する。
自車アイコンの表示エリアの内部である場合(S39のY)、判定部11は、タッチイベント(DOWN)が検出された他方の1点の座標が他車(先行車)アイコンの表示エリアの内部であるか否か判定する(S310)。他車(先行車)アイコンの表示エリアの外である場合(S310のN)、追越指示でないと判定して処理を終了する。
他車(先行車)アイコンの表示エリアの内部である場合(S310のY)、判定部11はタッチパネルからタッチイベント(MOVE)を受信する(S311)。その後、判定部11はタッチパネルから2点のタッチイベント(UP)を受信する(S312)。判定部11は、自車アイコンのタッチイベント(UP)が検出された座標が、他車アイコンのタッチイベント(UP)が検出された座標の前方領域であるか否か判定する(S313)。自車アイコンが他車アイコンの前方である場合(S313のY)、指示部13は当該他車(先行車)アイコンに係る他車を追い越すための追越指示コマンドを自動運転コントローラ20に発行する(S314)。自車アイコンが他車アイコンの前方でない場合(S313のN)、追越指示でないと判定して処理を終了する。
図12(a)−(c)は、図11のフローチャートに係るジェスチャ操作の一例を示す図である。運転者が他車を追越したい場合、図12(a)に示すように自車アイコンV1と他車アイコンV2を2本の指でタッチし、図12(b)−(c)に示すように自車アイコンV1と他車アイコンV2の前後を入れ替えてドロップする。これにより、追越指示コマンドが発行される。なお、追越指示コマンドを発行するためのジェスチャ操作として、上記以外の自車アイコンと他車アイコンの相対位置を変更する操作であってもよい。
図13は、自車アイコンを他車アイコンにドラッグ&ドロップするジェスチャ操作の例を示すフローチャートである。HMIコントローラ10の判定部11は、タッチパネルからタッチイベント(DOWN)を受信する(S40)。判定部11は、タッチイベント(DOWN)が検出された座標が自車アイコンの表示エリアの内部であるか否か判定する(S41)。自車アイコンの表示エリアの外である場合(S41のN)、追従指示でないと判定して処理を終了する。
自車アイコンの表示エリアの内部である場合(S41のY)、判定部11はタッチパネルからタッチイベント(MOVE)を受信する(S42)。その後、判定部11はタッチパネルからタッチイベント(UP)を受信する(S43)。
判定部11は、タッチイベント(UP)が検出された座標が他車アイコンの表示エリアの内部であるか否か判定する(S44)。他車アイコンの表示エリアの内部である場合(S44のY)、指示部13は、当該他車アイコンに係る他車に追従走行するための追従指示コマンドを自動運転コントローラ20に発行する(S45)。生成部12は模式図内の自車アイコンと他車アイコンの間に、自車が他車を追従走行中であることを示す追従アイコンを表示させる(S46)。タッチイベント(UP)が検出された座標が他車アイコンの表示エリアの外である場合(S44のN)、追従指示コマンドでないと判定して処理を終了する。
図14(a)−(c)は、図13のフローチャートに係るジェスチャ操作の一例を示す図である。運転者が他車に追従走行したい場合、図14(a)に示すように自車アイコンV1をドラッグし、図14(b)に示すように他車アイコンV2上に自車アイコンV1をドロップする。これにより追従指示コマンドが発行され、図14(c)に示すように自車アイコンV1と他車アイコンV2の間に、自車が他車を追従走行中であることを示す追従アイコンF1が表示されるようになる。追従アイコンF1はバネや紐といった自車と他車の紐付け状態を表すアイコンや二者を指す矢印であってもよいし、追従中などの文字説明であってもよい。また、表示位置は自車アイコンと他車アイコンの間以外であってもよい。なお、追従指示コマンドを発行するためのジェスチャ操作として、上記以外の自車アイコンと他車アイコンを紐付ける操作であってもよい。
図15は、追従走行中において、自車アイコンと他車アイコンの2点にタッチしてピンチイン/ピンチアウトするジェスチャ操作の例を示すフローチャートである。HMIコントローラ10の判定部11は、タッチパネルから2点のタッチイベント(DOWN)を受信する(S412)。判定部11は、第1のタッチイベント(DOWN)が検出された座標が自車アイコンの表示エリアの内部であるか否か判定する(S413)。自車アイコンの表示エリアの外である場合(S413のN)、車間距離変更指示でないと判定して処理を終了する。
第1のタッチイベント(DOWN)が検出された座標が自車アイコンの表示エリアの内部である場合(S413のY)、判定部11は、第2のタッチイベント(DOWN)が検出された座標が他車アイコンの表示エリアの内部であるか否か判定する(S414)。他車アイコンの表示エリアの外である場合(S414のN)、車間距離変更指示でないと判定して処理を終了する。
第2のタッチイベント(DOWN)が検出された座標が他車アイコンの表示エリアの内部である場合(S414のY)、判定部11はタッチパネルからタッチイベント(MOVE)を受信する(S415)。その後、判定部11はタッチパネルから2点のタッチイベント(UP)を受信する(S416)。判定部11は、タッチイベント(UP)が検出された第3の座標と第4の座標間の距離と、タッチイベント(DOWN)が検出された第1の座標と第2の座標間の距離とを比較する(S417)。両者の距離が異なる場合(S417のY)、指示部13は、追従走行中の自車と他車間の距離を変更するための追従車間距離変更指示コマンドを自動運転コントローラ20に発行する(S418)。生成部12は模式図内の自車アイコンと他車アイコンとの車間距離を変更する(S419)。両者の距離が同じ場合(S417のN)、車間距離変更指示でないと判定して処理を終了する。
図16(a)−(c)は、図15のフローチャートに係るジェスチャ操作の一例を示す図である。運転者が追従走行中の自車と他車との車間距離を変更したい場合、図16(a)に示すように自車アイコンV1と他車アイコンV2に2本の指でタッチする。その状態から図16(b)に示すようにピンチインすると、自車と他車との車間距離を短くする車間距離変更指示コマンドが発行される。変更後の車間距離は自車アイコンV1と他車アイコンV2間の距離に応じて決定される。図16(c)は車間距離変更後の模式図を示しており、図16(a)と比較して自車アイコンV1と他車アイコンV2との車間距離が短くなっている。なお、自車アイコンV1と他車アイコンV2を2本の指でタッチした状態からピンチアウトすると、自車と他車との車間距離を長くする車間距離変更指示コマンドが発行される。なお、車間距離変更指示コマンドを発行するためのジェスチャ操作として、2本指でのピンチ操作以外の1本指での操作であってもよく、自車アイコンと他車アイコンの距離を変更する操作であればよい。
図17は、追従走行中において、自車アイコンと他車アイコンの2点にタッチして回転させるジェスチャ操作の例を示すフローチャートである。ステップS412からステップS416までの処理は、図15のフローチャートと同じである。判定部11は、タッチイベント(UP)が検出された第3の座標と第4の座標間の中心点が、タッチイベント(DOWN)が検出された第1の座標と第2の座標間の中心点と同じであるか否か判定する(S427)。同じである場合(S427のY)、指示部13は、自車が他車に追従している追従走行を解除するための追従解除指示コマンドを自動運転コントローラ20に発行する(S428)。それと共に、指示部13は、他車を自車に追従させるための他車追従指示コマンドを、車車間通信を介して当該他車に送信する(S429)。なお中継装置を介して他車追従指示コマンドを当該他車に送信してもよい。生成部12は模式図内の自車(追従車)アイコンと他車(被追従車)アイコンを入れ替える(S430)。ステップS427において2つの中心点の位置が異なる場合(S427のN)、追従走行中の車両入替指示でないと判定して処理を終了する。
図18(a)−(c)は、図17のフローチャートに係るジェスチャ操作の一例を示す図である。運転者が追従走行中の自車と他車の位置を入れ替えたい場合、図18(a)に示すように自車アイコンV1と他車アイコンV2を2本の指でタッチする。その状態から図18(b)に示すように、自車アイコンV1と他車アイコンV2を入れ替えるように2本の指を回転させる。これにより追従走行中の自車と他車の位置を入れ替えるためのコマンドが発行される。図18(c)は車両入替後の模式図を示しており、図18(a)と比較して自車アイコンV1と他車アイコンV2の位置が逆になっている。なお図18(a)−(b)では仮想線L10と、自車アイコンV1と他車アイコンV2の中心点C2を模式図内に表示しているが、仮想線L10と中心点C2を表示しない例も可能である。追従走行の順番を定期的に入れ替えることにより、自車と他車の燃費を平準化できる。なお、追従解除指示コマンドを発行するために、上記以外の自車アイコンと他車アイコンの紐付けを取り消す操作であってもよい。また、追従関係変更指示コマンドを発行するためのジェスチャ操作として、上記以外の自車アイコンと他車アイコンの追従関係を入れ替える操作であってもよい。また、入れ替えボタンを自車アイコンまたは他車アイコンまたはそれらの間に表示し、入れ替えボタンを押すことで自車アイコンと他車アイコンを入れ替えてもよい。さらに、追従関係になってから、自動運転コントローラ20で定期的に入れ替える制御をしてもよい。
図19は、自車アイコンをスワイプするジェスチャ操作の例を示すフローチャートである。HMIコントローラ10の判定部11は、タッチパネルからタッチイベント(DOWN)を受信する(S431)。判定部11は、タッチイベント(DOWN)が検出された座標が自車アイコンの表示エリアの内部であるか否か判定する(S432)。自車アイコンの表示エリアの外である場合(S432のN)、車間距離設定指示でないと判定して処理を終了する。
自車アイコンの表示エリアの内部である場合(S432のY)、判定部11はタッチパネルからタッチイベント(MOVE)を受信する(S433)。生成部12は、自車と他車との車間距離を模式図内に表示する(S434)。タッチパネルからタッチイベント(UP)を受信しない間(S435のN)、ステップS433に遷移し、タッチイベント(MOVE)の受信と車間距離情報の表示を継続する(S433、S434)。即ち、自車アイコンと他車アイコンとの距離が変更されるに従い、生成部12は模式図内の車間距離情報をリアルタイムに更新する。
タッチパネルからタッチイベント(UP)を受信すると(S435のY)、判定部11は、タッチイベント(UP)が検出された座標が、自車アイコンと同一車線上であり、他車アイコンの後方であるか否か判定する(S436)。同一車線上の他車アイコンの後方である場合(S436のY)、指示部13は、自車アイコンと他車アイコンとの距離に応じた車間距離を設定するための車間距離設定指示コマンドを自動運転コントローラ20に発行する(S437)。生成部12は模式図内に、設定された車間距離情報を表示する(S438)。タッチイベント(UP)が検出された座標が、同一車線上の他車アイコンの後方でない場合(S436のN)、車間距離設定指示でないと判定して処理を終了する。
図20(a)−(c)は、図19のフローチャートに係るジェスチャ操作の一例を示す図である。運転者が自車と他車との車間距離を設定したい場合、図20(a)に示すように自車アイコンV1を図20(b)に示すように上方向または下方向にスワイプする。スワイプ中は車間距離表示用のポップアップウインドウP1が表示される。図20(c)に示すようにスワイプが終了すると、車間距離設定指示コマンドが発行される。ポップアップウインドウP1内に車間距離を設定する旨のメッセージが表示され、その後、ポップアップウインドウP1が消去される。
図21は、自車アイコンを特定エリア(道路案内標識)にドラッグ&ドロップする例を示すフローチャートである。HMIコントローラ10の判定部11は、タッチパネルからタッチイベント(DOWN)を受信する(S50)。判定部11は、タッチイベント(DOWN)が検出された座標が自車アイコンの表示エリアの内部であるか否か判定する(S51)。表示エリアの外である場合(S51のN)、道路案内標識の内容に応じた操作指示でないと判定して処理を終了する。
表示エリアの内部である場合(S51のY)、判定部11はタッチパネルからタッチイベント(MOVE)を受信する(S52)。その後、判定部11はタッチパネルからタッチイベント(UP)を受信する(S53)。
判定部11は、タッチイベント(UP)が検出された座標が道路案内標識の表示エリアの内部であるか否か判定する(S54)。表示エリアの内部である場合(S54のY)、指示部13は当該道路案内標識の内容に応じたコマンドを自動運転コントローラ20に発行する(S55)。表示エリアの外である場合(S54のN)、道路案内標識の内容に応じた操作指示でないと判定して処理を終了する。
図22(a)−(b)は、図21のフローチャートに係るジェスチャ操作の一例を示す図である。運転者が交差点の行先案内標識S1内に表示されたいずれかの進路に進路変更したい場合、図22(a)に示すように自車アイコンV1をドラッグし、図22(b)に示すように自車アイコンV1を、行先案内標識S1内の所望の行先の地名「町田」N1上にドロップする。これにより、当該行先を経由地または目的地としたルートへのルート変更指示コマンドが発行される。
以下、図5に戻り、ステップS9eの予測軌道/ルートの候補を描画する処理の詳細を説明する。
図23は、図5のステップS9eにおいて、予測軌道/ルートの候補を描画する処理の一例を示すフローチャートである。HMIコントローラ10の判定部11は、タッチパネルから自車アイコンの移動通知を受信しているか否か判定する(S9ea)。受信している場合(S9eaのY)、判定部11は自車アイコンの移動位置がレーン上であるか否か判定する(S9eb)。レーン上である場合(S9ebのY)、判定部11は自車アイコンの移動位置が、自車アイコンの移動開始位置のレーンと異なるレーン上であるか否か判定する(S9ec)。異なるレーン上でない場合(同じレーン上である場合)(S9ecのN)、生成部12は、タッチパネルに表示された模式図内の移動軌道を消去する(S9ed)。ステップS9ebにおいて、自車アイコンの移動位置がレーン上でない場合も(S9ebのN)、生成部12は、タッチパネルに表示された模式図内の移動軌道を消去する(S9ed)。
ステップS9ecにおいて、自車アイコンの移動位置が、自車アイコンの移動開始位置のレーンと異なるレーン上である場合(S9ecのY)、判定部11は自車アイコンの移動位置が、車線変更が可能なレーン上であるか否か判定する(S9ee)。車線変更が可能なレーン上でない場合(S9eeのN)、生成部12は、タッチパネルにエラー通知を描画する(S9ef)。車線変更が可能なレーン上である場合(S9eeのY)、指示部13は自動運転コントローラ20に、自車アイコンのタッチイベント座標を通知し、予測軌道を要求する(S9eg)。生成部12は、自動運転コントローラ20から取得した車線変更の予測軌道をタッチパネルに描画する(S9eh)。以上の処理がタッチパネルから自車アイコンの移動通知を受信しなくなるまで(S9eaのN)、継続される。
図24は、図5のステップS9eにおいて、予測軌道/ルートの候補を描画する処理の別の例を示すフローチャートである。ステップS9eaからステップS9efまでの処理は、図25のフローチャートと同じである。車線変更が可能なレーン上である場合(S9eeのY)、判定部11は車線変更先のレーンに他車が存在するか否か判定する(S9ei)。他車が存在しない場合(S9eiのN)、生成部12は、加減速なしの車線変更の予測軌道をタッチパネルに描画する(S9ej)。
車線変更先のレーンに他車が存在する場合(S9eiのY)、判定部11は自車アイコンの移動位置が、他車アイコンの前方であるか後方であるか判定する(S9ek)。他車アイコンの前方である場合(S9ekの前)、生成部12は、加速ありの車線変更の予測軌道をタッチパネルに描画する(S9el)。他車アイコンの後方である場合(S9ekの後)、生成部12は、減速ありの車線変更の予測軌道をタッチパネルに描画する(S9em)。自車アイコンの移動位置が、他車アイコンの内部である場合(S9ekの他車)、生成部12は、タッチパネルにエラー通知モードを描画する(S9en)。以上の処理がタッチパネルから自車アイコンの移動通知を受信しなくなるまで(S9eaのN)、継続される。
図25(a)−(c)は、図24のフローチャートに係るジェスチャ操作の一例を示す図である。図25(a)はステップS9ejの加減速なしの車線変更の予測軌道の例である。図25(b)はステップS9elの加速ありの車線変更の予測軌道の例である。図25(c)はステップS9emの減速ありの車線変更の予測軌道の例である。
図26(a)−(c)は、エラー表示画面の一例を示す図である。運転者が第1レーンL1から第2レーンL2に車線変更したい場合、図26(a)に示すように第1レーンL1上の自車アイコンV1をドラッグし、図26(b)に示すように第2レーンL2上に自車アイコンV1をドロップする。そのドロップ位置に他車の接近が検出された場合、図26(c)に示すようにポップアップウインドウP1内にエラーメッセージ「後続車のためキャンセルされました」が表示され、自車アイコンV1が第1レーンL1に戻される。
図27(a)−(d)は、自車アイコンV1をドラッグしてから他車アイコンV2上にドロップするまでの間の表示例を示す図である。運転者が他車に追従走行したい場合、図27(a)に示すように自車アイコンV1をドラッグする。自車アイコンV1をドラッグしてから他車アイコンV2上にドロップするまでの間、図27(b)に示すように自車アイコンの元の位置に残像(点線の丸印など)V1aを表示させる。図27(c)に示すように自車アイコンV1が他車アイコンV2上にドロップされると、残像V1aが消去される。図27(d)に示すように追従走行が成立すると、自車アイコンV1と他車アイコンV2との間に追従アイコンF1が表示されるようになる。
図28(a)−(c)は、自車アイコンV1をドラッグしてから他車アイコンV2上にドロップするまでの間の別の表示例を示す図である。図28(a)は、自車アイコンV1をドラッグしてから他車アイコンV2上にドロップするまでの間、道路エリアの周辺にドロップエリアを表示する例である。図28(a)では道路エリアの上下左右に、取り消し用ドロップエリアD1、自宅にリルート用ドロップエリアD2、左折用ドロップエリアD3、右折用ドロップエリアD4がそれぞれ表示される。運転者はドロップエリアD11〜D14のいずれかに自車アイコンV1をドロップすることにより、対応する操作を行うことができる。なおドロップエリアには、上記操作以外の操作を表示してもよく、例えば、ガソリンスタンドへのリルート、パーキングエリアへのリルート、サービスエリアへのリルート、追越、車線変更、ACC、目標速度の加減速等の操作指示を表示してもよい。
図28(b)は、自車アイコンV1をドラッグしてから他車アイコンV2上にドロップするまでの間、道路など背景の色を変更(反転、薄くなど)し、ドロップが完了したら、元の色に戻す例である。図28(c)は、自車アイコンV1をドラッグしてから他車アイコンV2上にドロップするまでの間、ドラッグ開始位置からドラッグ中の移動軌道(点線など)T1を表示し、ドロップが完了したら、軌道T1を消す例である。
図29(a)−(c)は、ドロップ不可エリアなどがある場合における、自車アイコンV1のドラッグ中の表示例を示す図である。運転者が他車に追従走行したい場合、図29(a)に示すように自車アイコンV1をドラッグする。自車アイコンV1をドラッグした後において、ドロップ不可エリア(追従を拒否している車両、反対車線など)があったり、状況により追従操作が不可なとき、自車アイコンV1の色を変更(反転、薄くなど)する。他車アイコンV2へのドロップが不可の場合において、図29(b)に示すように自車アイコンV1を他車アイコンV2上にドロップすると、図29(c)に示すように自車アイコンV1が元の位置に戻され、「追従操作不可エリアです。」といったエラーメッセージを含むポップアップウインドウP3が表示される。
図30(a)−(c)は、ドロップ不可エリアなどがある場合における、自車アイコンV1のドラッグ中の別の表示例を示す図である。図30(a)は、自車アイコンV1をドラッグした後において、追従操作が不可なとき、道路など背景の色を変更する例である。追従操作が可能な状況になれば、元の色に戻す。図30(b)は、自車アイコンV1をドラッグした後において、ドロップ不可エリアの色を変更(反転、薄くなど)する例である。図30(c)は、自車アイコンV1をドラッグした後において、ドロップ不可エリアがあったり、追従操作が不可なとき、エラー音や振動を通知する。
図31(a)−(b)は、ドラッグ操作を不可とする場合における表示例を示す図である。運転者が他車に追従走行したい場合、図31(a)に示すように自車アイコンV1のドラッグ開始時において、操作開始不可な場合、図31(b)に示すように自車アイコンV1の色を変更し、ドラッグ操作(アイコンの移動)ができない状態とする。さらに、「追従操作不可エリアです。」といったエラーメッセージを含むポップアップウインドウP3を表示する。
図32(a)−(b)は、ドラッグ操作を不可とする場合における別の表示例を示す図である。図32(a)は、自車アイコンV1のドラッグ開始時において、操作開始不可な場合、道路など背景の色を変更する例である。追従操作が可能な状況になれば、元の色に戻す。図32(c)は、自車アイコンV1のドラッグ開始時において、操作開始不可な場合、ドラッグ操作ができない状態で、エラー音や振動を通知する。
図33(a)−(d)は、自車アイコンをドロップしてから自車が追越を完了するまでの制御中の第1表示例を示す図である。運転者が先行車を追越したい場合、図33(a)に示すように自車アイコンV1をドラッグし、図33(b)に示すように他車アイコンV2の前方に自車アイコンV1をドロップする。他車アイコンV2の前方にドロップしてから追越が完了するまでの間、図33(c)に示すように自車の状態(現在位置)をゴーストアイコンV1gで表示する。また移動中の軌道T1も表示する。追越が完了すると、図33(d)に示すように自車のゴーストアイコンV1gと軌道T1が消去される。
図34(a)−(d)は、自車アイコンをドロップしてから自車が追越を完了するまでの制御中の第2表示例を示す図である。運転者が先行車を追越したい場合、図34(a)に示すように自車アイコンV1をドラッグし、図34(b)に示すように他車アイコンV2の前方に自車アイコンV1をドロップする。他車アイコンV2の前方にドロップしてから追越が完了するまでの間、図34(c)に示すように移動先の自車アイコンV1の表示状態を変更する。図34(c)では自車アイコンV1を点滅させる例を描いているが、色変更、サイズ変更、位置変更などを行ってもよい。追越が完了すると、図34(d)に示すように自車アイコンV1の表示状態が元に戻る。
図35(a)−(d)は、自車アイコンをドロップしてから自車が追越を完了するまでの制御中の第3表示例を示す図である。運転者が先行車を追越したい場合、図35(a)に示すように自車アイコンV1をドラッグし、図35(b)に示すように他車アイコンV2の前方に自車アイコンV1をドロップする。他車アイコンV2の前方にドロップしてから追越が完了するまでの間、追加操作で次の指示をキューイング(現在の制御が完了後に行われる制御の予約)する。図35(c)−(d)では、追越制御中に車線変更を追加指示した場合の例を描いている。この場合、 追越車線へ車線変更→他車の追い抜き→元の車線へ車線変更→追越車線へ車線変更となるが、最後の2つの制御を相殺して、追越車線へ車線変更→追い抜きとする。
図36(a)−(d)は、自車アイコンをドロップしてから自車が追越を完了するまでの制御中の第4表示例を示す図である。運転者が先行車を追越したい場合、図36(a)に示すように自車アイコンV1をドラッグし、図36(b)に示すように他車アイコンV2の前方に自車アイコンV1をドロップする。他車アイコンV2の前方にドロップしてから追越が完了するまでの間、図36(c)−(d)に示すように、自車アイコンV1を再度、ドラッグして元の位置にドロップした場合、次のように処理する。元の位置にドロップした時点で、追越車線への車線変更中または車線変更が完了している場合、元の車線への車線変更指示コマンドを送信する。元の位置にドロップした時点で、他車を追い抜き中、追い抜き後、または元の車線に車線変更中の場合、エラーメッセージ(例えば、「制御中のためその操作はできません」、「しばらくお待ちください」等)を表示する。
以上説明したように本実施の形態によれば、タッチパネルに表示されたアイコンをジェスチャで移動させることにより、自動運転コントローラ20に種々の操作内容を伝達することができる。アイコンのジェスチャ操作は簡単な操作であり、運転者がステアリング51を回す、アクセルペダル53を踏み込むなどの従来の運転操作から解放される。運転者は、周辺状況の確認と操作指示をタッチパネル上で同時に行うことができるため、視線移動が発生しない。従って、誤操作する可能性が低下し、より安全な運転を実現できる。
以上、本発明を実施の形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
例えば、HMIコントローラ10は専用のLSIで実装する例を想定したが、表示装置30として使用するスマートフォンやタブレット等の携帯機器内のCPUを用いてHMIコントローラ10の機能を実現してもよい。この場合、表示装置30として使用する携帯機器と自動運転コントローラ20とが直接接続されることになる。またHMIコントローラ10の機能を、カーナビゲーション装置やディスプレイオーディオ等のヘッドユニット内のCPUで実現してもよい。またHMIコントローラ10を実装した専用のLSIをヘッドユニット内に含める構成でもよい。
上述の実施の形態では、自車アイコンを接触開始位置とするジェスチャ操作の例をいくつか挙げた。以下、上述した例も含めて、自車アイコンを接触開始位置とするジェスチャ操作の例を列挙する。
自車アイコンにタッチした後、同一レーン内の障害物のない前方にスワイプするジェスチャ操作で速度アップを指示するコマンドが発行される。障害物のない後方にスワイプするジェスチャ操作で速度ダウンを指示するコマンドが発行される。この場合、別途にユーザインタフェースを用意する必要がなく、スペースを節約できる。自車アイコンにタッチした後、右または左にスワイプするジェスチャ操作で、同一車線内における右寄せまたは左寄せを指示するコマンドが発行される。この場合、操作入力と結果表示を同一画面で実現でき、スペースを節約できる。
自車アイコンをドラッグして他車アイコンにドロップするジェスチャ操作で、他車への追従走行またはACC(Adaptive Cruise Control)の開始を指示するコマンドが発行される。自車アイコンをドラッグして先行する他車アイコンの前にドロップするジェスチャ操作で追越を指示するコマンドが発行される。この場合、別途にユーザインタフェースを用意する必要がなく、スペースを節約できる。
複数レーンがある場合において、自車アイコンをドラッグして他レーンにドロップするジェスチャ操作で当該他レーンへの車線変更を指示するコマンドが発行される。この場合、操作入力と結果表示を同一画面で実現でき、スペースを節約できる。当該他レーンに他車が存在する場合、他車アイコンの前にドロップするか他車アイコンの後ろにドロップするかによって、他車の前方に進入するか後方に侵入するかを指定できるようにしてもよい。右折専用レーンおよび/または左折専用レーンがある場合において、右折専用レーンまたは左折専用レーンに自車アイコンをドロップするジェスチャ操作で、レーン変更後に右折または左折を指示するコマンドが発行される。この場合、右折または左折操作を入力するステップを省くことができる。
自車アイコンをドラッグして有料道路(例えば、高速道路)の入口アイコンにドロップするジェスチャ操作で、有料道路への進入を指示するコマンドが発行される。この場合、有料道路の入口アイコンに対して何を行うか入力するステップを省略できる。自車アイコンをドラッグして有料道路の入口レーンにドロップするジェスチャ操作で、有料道路への進入を指示するコマンドが発行される。この場合、操作入力と結果表示を同一画面で実現できる。
自車アイコンをドラッグして有料道路の出口アイコンにドロップするジェスチャ操作で、有料道路からの退出を指示するコマンドが発行される。この場合、有料道路の出口アイコンに対して何を行うか入力するステップを省略できる。自車アイコンをドラッグして有料道路の出口レーンにドロップするジェスチャ操作で有料道路からの退出を指示するコマンドが発行される。この場合、操作入力と結果表示を同一画面で実現できる。
高速道路の合流地点の加速車線において、自車アイコンをドラッグして走行車線にドロップするジェスチャ操作で、走行車線の後ろから来る車両の速度に応じて当該車両の前に侵入するか後ろに侵入するかを判断した上での合流制御を指示するコマンドが発行される。この場合、操作入力と結果表示を同一画面で実現できる。
自車アイコンをドラッグして曲がりたい方向の道路にドロップするジェスチャ操作で、進路変更を指示するコマンドが発行される。この場合、操作入力と結果表示を同一画面で実現できる。例えば、右折レーンにドロップすると右折を指示するコマンドが発行される。自車アイコンをUの字を描くようにドラッグ&ドロップするジェスチャ操作で、Uターンを指示するコマンドが発行される。この場合、操作入力と結果表示を同一画面で実現できる。
自車アイコンをドラッグして、目的地またはランドマークを示すアイコンにドラッグするジェスチャ操作で、目的地を変更する、または経由地を追加することを指示するコマンドが発行される。自宅を示すアイコンは画面上に常に表示するようにしておいてもよい。自車アイコンにタッチして進みたい方向にフリックするジェスチャ操作で、目的地を設定せずにフリックされた方向に向かって走行することを指示するコマンドが発行される。
駐車場において、自車アイコンをドラッグして駐車したいブロック(店の入口付近などの大雑把な範囲で規定される)にドロップすると、当該ブロック内の空いている駐車スペースに駐車することを指示するコマンドが発行される。
自車アイコンをドラッグして歩行者アイコン、ポストアイコン、バス停アイコンまたはタクシー乗り場アイコンにドロップすると、ドロップした場所に横付けすることを指示するコマンドが発行される。この場合、停車を指示するステップを減らすことができる。
ドラッグ操作でPOI(Point of Interest)範囲を指定してもよい。例えば、探索範囲を指定した後、その範囲内のガソリンスタンドを探索することができる。自車アイコンをドラッグして、サービスエリアアイコンまたはパーキングエリアアイコンにドロップするジェスチャ操作で、駐車場を検索することを指示するコマンドが発行されてもよい。
自車アイコンをドラッグして歩行者アイコンにドロップするジェスチャ操作で、歩行者をフロントランプで照らすことを指示するコマンドが発行される。この場合、フロントランプを点灯させる操作をするステップを減らすことができる。自車アイコンをドラッグして歩行者アイコンにドロップするジェスチャ操作で、歩行者に対してクラクションを鳴らすことを指示するコマンドが発行されてもよい。その際、歩行者の位置に応じてクラクションに指向性を持たせてもよい。この場合、クラクションを鳴らす操作をするステップを減らすことができる。
自車アイコンをドラッグ中、または、ドロップ時、または、ドロップしてから制御コマンドに応じた処理が成立するまでの間、予想軌道を自動運転コントローラ20から受け取り、表示部31に描画するようにしてもよい。信号待ちであったり車線変更不可区間であったりして一時的に制御コマンドに応じた処理が不可の場合、生成部12は、制御コマンドに応じた処理が成立するまで「トライ中」などの表示を行い、実行可能になったタイミングで予想軌道を描画するようにしてもよい。自車アイコンをドラッグ中、または、ドロップしてから制御コマンドに応じた処理が成立するまでの間、生成部12はドロップしてから制御コマンドに応じた処理が成立するまでの予想所要時間や所要残時間を表示したりするようにしてもよい。一時的に制御コマンドに応じた処理が不可の場合、可能になるまで制御を続けるか、あきらめて制御を中止するか、あらかじめ設定できるようにしてもよい。あやまってドラッグ開始してしまったり、ドラッグ後に取り消し操作をしたいときのため、取り消し用のドロップ領域を設けてもよい。自車をドラッグ後、取り消し用のドロップ領域にドロップすることで、コマンドの発行を取りやめることができる。
以上の説明において、自車アイコンをドロップした後、実行可能なアクションの候補が2種類以上ある場合はドロップ後に選択メニューを表示させてもよい。自車アイコンをドラッグしたとき、可能な全ての操作のガイダンスを画面上に表示させてもよい。自車アイコンをドラッグした後、確認ボタンを押下するまで、自車アイコンを離してもドラッグ状態を継続させてもよい。自車アイコンをドラッグした後、誤ってドロップした場合の訂正方法、確認方法をポップアップ画面で提示してもよい。自車アイコンをドラッグした後、ドロップできる位置に自車アイコンを移動させた場合とドロップできない位置に自車アイコンを移動させた場合とで異なる振動のハプティックフィードバックがかかるように、タッチパネルを設計してもよい。自車アイコンをドロップした際、画面の縮尺が自動調整されてもよい。例えば、少なくとも自車に最も近い他車が画面に含まれるように縮尺が自動調整されてもよい。これにより、他車などを簡単に見つけられ、より早く指示コマンドを発行できる。自車アイコンをドラッグした後、ドロップできる位置に自車アイコンを移動させた場合とドロップできない位置に自車アイコンを移動させた場合とで、自動アイコンの色が変わってもよい。自車アイコンをドラッグした際、ドロップ可能なエリアとドラッグ不可なエリアとで、異なる背景色としてもよい。なお、制御コマンドに対応するジェスチャ操作について、ドラッグアンドドロップなどで説明したが、タッチアンドタッチであってもよい。予め決められた操作であればよいが、運転者がカスタマイズ可能にしてもよい。また、表示部にて、ジェスチャ操作と制御コマンドの対応関係が分かるように、説明文やアイコンや矢印を表示したりガイドの表示や音声によるガイダンスをしたりしてもよい。
なお、実施の形態は、以下の項目によって特定されてもよい。
[項目1]
表示部(31)に、自車を表す自車オブジェクトと当該自車の周辺状況を含む画像を出力する画像出力部(14a)と、
前記表示部(31)に表示された画像内の前記自車オブジェクトの移動を伴うユーザによるジェスチャ操作を受け付ける操作信号入力部(14b)と、
前記ジェスチャ操作に応じたコマンドを、自動運転の制御を行う自動運転制御部(20)に出力するコマンド出力部(14c)と、
を備えることを特徴とする運転支援装置(10)。
これにより、自動運転に係る操作を直感的かつ簡便に行うことができる。
[項目2]
前記表示部(31)に表示された画像内において前記自車オブジェクトを、自車以外の所定の対象を表す非自車オブジェクトの位置に移動させるユーザのジェスチャ操作を前記操作信号入力部(14b)が受け付けると、前記コマンド出力部(14c)は、前記自車と前記所定の対象との相対的な位置関係を変更することを指示するコマンド、または前記自車から前記所定の対象へ通知を出力することを指示するコマンドを前記自動運転制御部(20)に出力することを特徴とする項目1に記載の運転支援装置(10)。
自車以外の所定の対象は、他車、歩行者、障害物、または特定エリアであってもよい。
これにより、自車以外の所定の対象に関連する操作を直感的かつ簡便に行うことができる。
[項目3]
前記表示部(31)に表示された画像内において前記自車オブジェクトを、自車以外の所定の対象を表す非自車オブジェクトが存在しない位置に移動させるユーザのジェスチャ操作を前記操作信号入力部(14b)が受け付けると、前記コマンド出力部(14c)は、前記ジェスチャ操作の終点位置に対応する場所に前記自車を移動させることを指示するコマンドを前記自動運転制御部(20)に出力することを特徴とする項目1に記載の運転支援装置(10)。
これにより、自車以外の所定の対象に関連しない操作(例えば、車線変更や進路変更など)を直感的かつ簡便に行うことができる。
[項目4]
前記表示部(31)に表示された画像内において前記自車オブジェクトと、自車以外の所定の対象を表す非自車オブジェクトとの距離を変更するユーザのジェスチャ操作を前記操作信号入力部(14b)が受け付けると、前記コマンド出力部(14c)は、前記自車と前記所定の対象との距離を変更することを指示するコマンドを前記自動運転制御部(20)に出力することを特徴とする項目1に記載の運転支援装置(10)。
これにより、自車と所定の対象との距離を変更する操作を直感的かつ簡便に行うことができる。
[項目5]
前記表示部(31)に表示された画像内の前記自車オブジェクトと、当該画像内において自車以外の所定の対象を表す非自車オブジェクトとを入れ替えるユーザのジェスチャ操作を前記操作信号入力部(14b)が受け付けると、前記コマンド出力部(14c)は、前記自車と前記所定の対象との相対的な位置関係を変更することを指示するコマンドを前記自動運転制御部(20)に出力することを特徴とする項目1に記載の運転支援装置(10)。
これにより、自車と所定の対象との相対的な位置関係を変更する操作を直感的かつ簡便に行うことができる。
[項目6]
前記自車と自車以外の所定の対象が連携して動作している状態において、前記表示部に表示された画像内の前記自車オブジェクトを、前記自車オブジェクトと、自車以外の所定の対象を表す非自車オブジェクトとを結ぶ仮想線の外に移動させるユーザのジェスチャ操作を前記操作信号入力部(14b)が受け付けると、前記コマンド出力部(14c)は、前記連携を解除することを指示するコマンドを前記自動運転制御部に出力することを特徴とする項目1に記載の運転支援装置(10)。
これにより、自車と所定の対象との連携を解除する操作を直感的かつ簡便に行うことができる。
[項目7]
前記コマンド出力部(14c)は、前記ジェスチャ操作を前記操作信号入力部(14b)が受け付けたときの前記自車の周辺状況に応じて、前記自動運転制御部(20)に出力するコマンドの内容を変更することを特徴とする項目1に記載の運転支援装置(10)。
これにより、コンテキストに応じたコマンドを発行することができる。
[項目8]
前記画像出力部(14a)は、前記操作信号入力部(14b)がユーザのジェスチャ操作を受付不可な期間において、前記自車オブジェクトの表示態様が、ユーザのジェスチャ操作を受付可能な期間の表示態様と異なる画像を前記表示部(31)に出力することを特徴とする項目1から7のいずれかに記載の運転支援装置(10)。
これにより、ユーザはジェスチャ操作の入力が有効な期間か無効な期間かを容易に認識することができる。
[項目9]
前記画像出力部(14a)は、前記自車以外の所定の対象を含む画像が前記表示部(31)に表示されるよう、前記自車オブジェクト、前記所定の対象を表す非自車オブジェクト、及び前記自車の周辺状況のサイズを変更することを特徴とする項目1から8のいずれかに記載の運転支援装置(10)。
これにより、ユーザは非自車オブジェクトを含む画像を見ることができる。
[項目10]
画像を表示する表示装置(30)と、
前記表示装置(30)に画像を出力する運転支援装置(10)と、を備え、
前記運転支援装置(10)は、
前記表示装置(30)に、自車を表す自車オブジェクトと当該自車の周辺状況を含む画像を出力する画像出力部(14a)と、
前記表示装置(30)に表示された画像内の前記自車オブジェクトの移動を伴うユーザによるジェスチャ操作を受け付ける操作信号入力部(14b)と、
前記ジェスチャ操作に応じたコマンドを、自動運転の制御を行う自動運転制御部(20)に出力するコマンド出力部(14c)と、
を含むことを特徴とする運転支援システム(10、30)。
これにより、自動運転に係る操作を直感的かつ簡便に行うことができる。
[項目11]
表示部(31)に、自車を表す自車オブジェクトと当該自車の周辺状況を含む画像を出力するステップと、
前記表示部(31)に表示された画像内の前記自車オブジェクトの移動を伴うユーザによるジェスチャ操作を受け付けるステップと、
前記ジェスチャ操作に応じたコマンドを、自動運転の制御を行う自動運転制御部(20)に出力するステップと、
を備えることを特徴とする運転支援方法。
これにより、自動運転に係る操作を直感的かつ簡便に行うことができる。
[項目12]
表示部(31)に、自車を表す自車オブジェクトと当該自車の周辺状況を含む画像を出力する処理と、
前記表示部(31)に表示された画像内の前記自車オブジェクトの移動を伴うユーザによるジェスチャ操作を受け付ける処理と、
前記ジェスチャ操作に応じたコマンドを、自動運転の制御を行う自動運転制御部(20)に出力する処理と、
をコンピュータに実行させることを特徴とする運転支援プログラム。
これにより、自動運転に係る操作を直感的かつ簡便に行うことができる。
[項目13]
表示部(31)に、自車を表す自車オブジェクトと当該自車の周辺状況を含む画像を出力する画像出力部(14a)と、
前記表示部(31)に表示された画像内の前記自車オブジェクトの移動を伴うユーザによるジェスチャ操作を受け付ける操作信号入力部(14b)と、
前記ジェスチャ操作に応じたコマンドを出力するコマンド出力部(14c)と、
前記出力されたコマンドを実行する自動運転制御部(20)と、
を備えることを特徴とする自動運転車両(1)。
これにより、自動運転に係る操作を直感的かつ簡便に行うことができる。