WO2017022195A1

WO2017022195A1 - 運転支援装置、運転支援システム、運転支援方法及び自動運転車両

Info

Publication number: WO2017022195A1
Application number: PCT/JP2016/003379
Authority: WO
Inventors: 一成山田; 山地　治; 梓五條; 梶田　哲史; 森　敏昭; 岡田　誠
Original assignee: パナソニックＩｐマネジメント株式会社
Priority date: 2015-07-31
Filing date: 2016-07-19
Publication date: 2017-02-09
Also published as: CN107851395A; US10532763B2; CN107851395B; US20180043923A1; US20170225702A1; US9828020B2; JP5910903B1; JP2017030570A; DE112016003498T5

Abstract

運転支援装置において、画像出力部は、表示部に、自車を表す自車オブジェクトと当該自車の周辺状況を含む画像を出力する。操作信号入力部は、表示部に表示された画像内の自車オブジェクトの移動を伴うユーザによるジェスチャ操作を受け付ける。コマンド出力部は、ジェスチャ操作に応じたコマンドを、自動運転の制御を行う自動運転制御部に出力する。

Description

運転支援装置、運転支援システム、運転支援方法及び自動運転車両

　本発明は、自動運転中に運転者が車両に対する運転操作の指示を支援する技術に関する。

　近年、自動車の自動運転に関する開発が進められている。自動運転について、ＮＨＴＳＡ（Ｎａｔｉｏｎａｌ　Ｈｉｇｈｗａｙ　Ｔｒａｆｆｉｃ　Ｓａｆｅｔｙ　Ａｄｍｉｎｉｓｔｒａｔｉｏｎ）が２０１３年に定義した自動化レベルは、自動化なし（レベル０）、特定機能の自動化（レベル１）、複合機能の自動化（レベル２）、半自動運転（レベル３）、完全自動運転（レベル４）に分類される。レベル１は加速・減速・操舵の内、１つを自動的に行う運転支援システムであり、レベル２は加速・減速・操舵の内、２つ以上を調和して自動的に行う運転支援システムである。いずれの場合も運転者による運転操作の関与が残る。自動化レベル４は加速・減速・操舵の全てを自動的に行う完全自動走行システムであり、運転者が運転操作に関与しない。自動化レベル３は加速・減速・操舵の全てを自動的に行うが、必要に応じて運転者が運転操作を行う準完全自動走行システムである。

　自動運転の一形態として、運転者はステアリングやアクセルペダル等の既存の運転操作部を操作しないが、車両側にコマンドを発行することにより、車線変更、追越、追従走行などの特定の運転操作を車両側に指示する形態が考えられる。この形態では、誤操作が少ないユーザインタフェースが求められる。

特開平１０－１０５８８５号公報

　本発明の目的は、運転者が車両に特定の運転操作を直感的かつ簡便に指示することができる技術を提供することにある。

　上記問題を解決するために、本発明のある態様の運転支援装置は、画像出力部と、操作信号入力部と、コマンド出力部とを有する。画像出力部は、自車を表す自車オブジェクトと自車の周辺状況を含む画像を表示部に出力する。操作信号入力部は、表示部に表示された画像内の自車オブジェクトを自車以外の所定の対象を表す非自車オブジェクトの位置に移動させるジェスチャ操作を受け付ける。コマンド出力部は、自車と所定の対象との相対的な位置関係を変更することを指示するコマンド、または自車から所定の対象へ通知を出力することを指示するコマンドを自動運転の制御を行う自動運転制御部に出力する。

　なお、以上の構成要素の任意の組み合わせ、本発明を装置、システム、方法、プログラム、プログラムを記録した記録媒体、それらを搭載した車両などの間で変換したものもまた、本発明の態様として有効である。

　本発明によれば、運転者が車両に特定の運転操作を直感的かつ簡便に指示することができる。

図１は、本発明の実施の形態に係る車両の構成を示すブロック図である。図２は、図１の検出部、自動運転コントローラ、ＨＭＩコントローラ、表示部、及び入力部の基本シーケンスの一例を示す図である。図３は、図１のＨＭＩコントローラの処理を説明するための基本フローチャートの一例を示す図である。図４は、受付モードの更新処理を説明するためのフローチャートである。図５は、図３のステップＳ９において、ジェスチャ操作が入力される場合のコマンド決定処理の一例を示すフローチャートである。図６は、自動運転制御コマンドテーブルの一例を示す図である。図７は、自車アイコンを他のレーンにドラッグ＆ドロップするジェスチャ操作の例を示すフローチャートである。図８は、図７のフローチャートに係るジェスチャ操作の一例を示す図である。図９は、自車アイコンをフリックするジェスチャ操作の例を示すフローチャートである。図１０Ａは、図９のフローチャートに係るジェスチャ操作の一例を示す図である。図１０Ｂは、図９のフローチャートに係るジェスチャ操作の一例を示す図である。図１１は、自車アイコンと他車アイコンの２点にタッチして回転させるジェスチャ操作の例を示すフローチャートである。図１２は、図１１のフローチャートに係るジェスチャ操作の一例を示す図である。図１３は、自車アイコンを他車アイコンにドラッグ＆ドロップするジェスチャ操作の例を示すフローチャートである。図１４は、図１３のフローチャートに係るジェスチャ操作の一例を示す図である。図１５は、追従走行中において、自車アイコンと他車アイコンの２点にタッチしてピンチイン／ピンチアウトするジェスチャ操作の例を示すフローチャートである。図１６は、図１５のフローチャートに係るジェスチャ操作の一例を示す図である。図１７は、追従走行中において、自車アイコンと他車アイコンの２点にタッチして回転させるジェスチャ操作の例を示すフローチャートである。図１８は、図１７のフローチャートに係るジェスチャ操作の一例を示す図である。図１９は、自車アイコンをスワイプするジェスチャ操作の例を示すフローチャートである。図２０は、図１９のフローチャートに係るジェスチャ操作の一例を示す図である。図２１は、自車アイコンを特定エリア（道路案内標識）にドラッグ＆ドロップする例を示すフローチャートである。図２２は、図２１のフローチャートに係るジェスチャ操作の一例を示す図である。図２３は、図５のステップＳ９ｅにおいて、予測軌道／ルートの候補を描画する処理の一例を示すフローチャートである。図２４は、図５のステップＳ９ｅにおいて、予測軌道／ルートの候補を描画する処理の別の例を示すフローチャートである。図２５Ａは、図２４のフローチャートに係るジェスチャ操作の一例を示す図である。図２５Ｂは、図２４のフローチャートに係るジェスチャ操作の一例を示す図である。図２５Ｃは、図２４のフローチャートに係るジェスチャ操作の一例を示す図である。図２６は、エラー表示画面の一例を示す図である。図２７は、自車アイコンをドラッグしてから他車アイコン上にドロップするまでの間の表示例を示す図である。図２８は、自車アイコンをドラッグしてから他車アイコン上にドロップするまでの間の別の表示例を示す図である。図２９は、ドロップ不可エリアなどがある場合における、自車アイコンのドラッグ中の表示例を示す図である。図３０Ａは、ドロップ不可エリアなどがある場合における、自車アイコンのドラッグ中の別の表示例を示す図である。図３０Ｂは、ドロップ不可エリアなどがある場合における、自車アイコンのドラッグ中の別の表示例を示す図である。図３０Ｃは、ドロップ不可エリアなどがある場合における、自車アイコンのドラッグ中の別の表示例を示す図である。図３１は、ドラッグ操作を不可とする場合における表示例を示す図である。図３２Ａは、ドラッグ操作を不可とする場合における別の表示例を示す図である。図３２Ｂは、ドラッグ操作を不可とする場合における別の表示例を示す図である。図３３は、自車アイコンをドロップしてから自車が追越を完了するまでの制御中の第１表示例を示す図である。図３４は、自車アイコンをドロップしてから自車が追越を完了するまでの制御中の第２表示例を示す図である。図３５は、自車アイコンをドロップしてから自車が追越を完了するまでの制御中の第３表示例を示す図である。図３６は、自車アイコンをドロップしてから自車が追越を完了するまでの制御中の第４表示例を示す図である。

　本発明の実施の形態の説明に先立ち、従来の装置における問題点を簡単に説明する。道路状況を表示するだけでは、運転者が車両に特定の運転操作を指示するとき、道路状況を確認しながら、一々特定のスイッチを操作したり、ステアリングを回したり、アクセルを踏んだりする必要があり、視線移動が発生するし、誤操作する可能性がある。また、車線変更、追越、追従走行などの特定の運転操作ごとにスイッチを設ける設計では、スイッチ操作と自動走行制御との対応づけが直感的でなく、多くのスイッチから指示を選択することやスイッチ数を減らして状況に応じて変更された機能を選択することは、複雑な作業である。よって、今まで運転していなかった人や、運転能力が低下してきていても運転を継続したい人などを含め幅広いユーザが、訓練をせずに自動運転車を利用できない、という問題がある。

　以下、本発明の実施の形態について図面を参照しながら説明する。図１は、本発明の実施の形態に係る車両１の構成を示すブロック図であり、自動運転に関連する構成である。自動運転モードを搭載した車両１（自車）は、運転支援装置（ヒューマン・マシン・インターフェイス（ＨＭＩ（Ｈｕｍａｎ　Ｍａｃｈｉｎｅ　Ｉｎｔｅｒｆａｃｅ））コントローラ）１０、自動運転制御装置（自動運転コントローラ）２０、表示装置３０、検出部４０及び運転操作部５０を有する。

　表示装置３０は、表示部３１及び入力部３２を含む。表示装置３０は、カーナビゲーションシステム、ディスプレイオーディオ等のヘッドユニットであってもよいし、スマートフォン、タブレット等の携帯端末機器であってもよいし、専用のコンソール端末装置であってもよい。

　表示部３１は液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ－ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイやヘッドアップディスプレイ（ＨＵＤ）である。入力部３２はユーザの入力を受け付けるユーザインタフェースである。表示部３１と入力部３２は一体化したタッチパネルディスプレイであってもよい。なお、タッチパネルまたはタッチパッド上での手の近接検知やホバー操作による指の位置検知を可能な近接タッチパネルのように、表示部から所定距離を離れた場所でのジェスチャ入力を受け付けられるものであってもよい。更に、入力部３２は、マウス、スタイラスペン、トラックボール等のジェスチャ入力を補助する入力デバイスを有していてもよい。また可視光または赤外線を発光するペンを使用してもよい。

　なお、表示部３１と入力部３２が一体型のタッチパネルディスプレイではなく、物理的にセパレートであってもよい。例えば入力部３２は、カメラ等のセンサを有し、空中ジェスチャ操作入力が可能な非接触型の入力デバイスであってもよい。例えば、対象を指さしでポイントし、親指と人差し指を近づけて閉じるジェスチャでドラッグ開始、親指と人差し指を離すジェスチャでドラッグ終了などの操作方法が考えられる。

　運転支援装置１０と表示装置３０との間は、専用線やＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）等の有線通信で接続されていても良いし、ＵＳＢ、Ｅｔｈｅｒｎｅｔ（登録商標）、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の有線通信または無線通信で接続されていても良い。

　検出部４０は、位置情報取得部４１、センサ４２、速度情報取得部４３及び地図情報取得部４４を含む。位置情報取得部４１はＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）受信機から車両１の現在位置を取得する。センサ４２は車外の状況および車両１の状態を検出するための各種センサの総称である。車外の状況を検出するためのセンサとして例えばカメラ、ミリ波レーダ、ＬＩＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ、Ｌａｓｅｒ　Ｉｍａｇｉｎｇ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）、気温センサ、気圧センサ、湿度センサ、照度センサ等が搭載される。車外の状況とは、自車の走行する道路状況や天候を含む環境及び自車周辺を走行する他車の走行位置や走行状態などの自車周辺状況が考えられる。なお、センサが検出できる車外の情報であれば何でもよい。また車両１の状態を検出するためのセンサとして例えば、加速度センサ、ジャイロセンサ、地磁気センサ、傾斜センサ等が搭載される。速度情報取得部４３は車速センサから車両１の現在速度を取得する。地図情報取得部４４は、地図データベースから車両１の現在位置周辺の地図情報を取得する。地図データベースは、車両１内の記録媒体に記録されていてもよいし、使用時にネットワークを介して地図サーバからダウンロードしてもよい。

　検出部４０と自動運転制御装置２０との間は、専用線やＵＳＢ、Ｅｔｈｅｒｎｅｔ（登録商標）、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）等の有線通信で接続される。なお検出部４０が取得および検出したデータを、検出部４０から運転支援装置１０に直接出力可能な構成であってもよい。

　運転操作部５０は、ステアリング５１、ブレーキペダル５２、アクセルペダル５３、及びウインカスイッチ５４を含む。本実施の形態に係る自動運転モードでは、加速、減速、操舵、及びウインカ点滅が自動運転制御装置２０による自動制御の対象であり、図１にはそれらの制御を手動で行う際の操作部を描いている。なお運転者が手動で運転操作部５０を少し動かした情報を運転支援装置１０に出力してもよい。

　ステアリング５１は車両を操舵するための操作部である。運転者によりステアリング５１が回転されると、ステアリングアクチュエータを介して車両の進行方向が制御される。ステアリングアクチュエータはステアリングＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）により電子制御が可能である。

　ブレーキペダル５２は車両１を減速させるための操作部である。運転者によりブレーキペダル５２が踏まれると、ブレーキアクチュエータを介して車両が減速される。ブレーキアクチュエータはブレーキＥＣＵにより電子制御が可能である。

　アクセルペダル５３は車両１を加速させるための操作部である。運転者によりアクセルペダル５３が踏まれると、アクセルアクチュエータを介してエンジン回転数および／またはモータ回転数が制御される。純粋なエンジンカーではエンジン回転数が制御され、純粋な電気自動車ではモータ回転数が制御され、ハイブリッドカーではその両方が制御される。アクセルアクチュエータはエンジンＥＣＵおよびモータＥＣＵの少なくとも一方により電子制御が可能である。

　ウインカスイッチ５４は、車両の進路を外部に通知するためのウインカを点滅させるための操作部である。運転者によりウインカスイッチ５４がオン／オフされると、ウインカコントローラを介してウインカが点灯／消灯される。ウインカコントローラは、ウインカランプへの給電を制御するリレー等の駆動回路を有する。

　ステアリングＥＣＵ、ブレーキＥＣＵ、エンジンＥＣＵ、モータＥＣＵ、ウインカコントローラの各々と自動運転制御装置２０との間は、ＣＡＮや専用線等の有線通信で接続される。ステアリングＥＣＵ、ブレーキＥＣＵ、エンジンＥＣＵ、モータＥＣＵ、ウインカコントローラは各々、ステアリング、ブレーキ、エンジン、モータ、ウインカランプの状態を示す状態信号を自動運転制御装置２０に送信する。

　自動運転モードにおいて、ステアリングＥＣＵ、ブレーキＥＣＵ、エンジンＥＣＵ、モータＥＣＵの各々は、自動運転制御装置２０から供給される制御信号に応じて対応するアクチュエータを駆動する。手動運転モードにおいては、ステアリング５１、ブレーキペダル５２、アクセルペダル５３の各々から対応するアクチュエータに直接機械的に指示が伝達される構成であってもよいし、対応するＥＣＵを介した電子制御が介在する構成であってもよい。ウインカコントローラは自動運転制御装置２０から供給される制御信号、又はウインカスイッチ５４からの指示信号に応じてウインカランプを点灯／消灯する。

　自動運転制御装置２０は、自動運転制御機能を実装した自動運転コントローラであり、制御部２１、記憶部２２及び入出力部２３を有する。制御部２１の構成はハードウェア資源とソフトウェア資源の協働、又はハードウェア資源のみにより実現できる。ハードウェア資源としてプロセッサ、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、その他のＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔｓ）を利用でき、ソフトウェア資源としてオペレーティングシステム、アプリケーション、ファームウェア等のプログラムを利用できる。記憶部２２は、フラッシュメモリ等の不揮発性記録媒体を有する。入出力部２３は、各種の通信フォーマットに応じた各種の通信制御を実行する。

　制御部２１は、検出部４０や各種ＥＣＵから収集した各種パラメータ値を自動運転アルゴリズムに適用して、車両１の進行方向等の自動制御対象を制御するための制御値を算出する。制御部２１は算出した制御値を、各制御対象のＥＣＵ又はコントローラに伝達する。本実施の形態ではステアリングＥＣＵ、ブレーキＥＣＵ、エンジンＥＣＵ、ウインカコントローラに伝達する。なお電気自動車やハイブリッドカーの場合、エンジンＥＣＵに代えて又は加えてモータＥＣＵに制御値を伝達する。

　運転支援装置１０は、車両１と運転者との間のインタフェース機能を実行するためのＨＭＩ（Ｈｕｍａｎ　Ｍａｃｈｉｎｅ　Ｉｎｔｅｒｆａｃｅ）コントローラであり、判定部１１、画像生成部１２、指示部１３及び入出力部１４を有する。判定部１１、画像生成部１２及び指示部１３は、ハードウェア資源とソフトウェア資源の協働、又はハードウェア資源のみにより実現できる。ハードウェア資源としてプロセッサ、ＲＯＭ、ＲＡＭ、その他のＬＳＩを利用でき、ソフトウェア資源としてオペレーティングシステム、アプリケーション、ファームウェア等のプログラムを利用できる。入出力部１４は、各種の通信フォーマットに応じた各種の通信制御を実行する。入出力部１４は、画像出力部１４ａ、操作信号入力部１４ｂ、コマンド出力部１４ｃ、及び車両情報入力部１４ｄを含む。画像出力部１４ａは、画像生成部１２が生成した画像を表示部３１に出力する。操作信号入力部１４ｂは、入力部３２に対してなされた運転者や乗員もしくは車外にいるユーザの操作による操作信号を受け付け、判定部１１に出力する。コマンド出力部１４ｃは、指示部１３により指示されたコマンドを自動運転コントローラ２０に出力する。車両情報入力部１４ｄは、検出部４０が取得した検出データや自動運転コントローラ２０により生成された車両側の情報を受け付け、画像生成部１２に出力する。

　自動運転コントローラ２０とＨＭＩコントローラ１０との間は直接、信号線で接続される。なおＣＡＮを介して接続する構成であってもよい。また自動運転コントローラ２０とＨＭＩコントローラ１０を統合して１つのコントローラとする構成も可能である。

　図２は、図１の検出部４０、自動運転コントローラ２０、ＨＭＩコントローラ１０、表示部３１、及び入力部３２の基本シーケンスの一例を示す図である。検出部４０は、自車位置情報、自車走行道路情報、及び自車周辺情報を検出して自動運転コントローラ２０に出力する（Ｐ１）。自動運転コントローラ２０は、検出部４０から取得した自車位置情報、自車走行道路情報、及び自車周辺情報をＨＭＩコントローラ１０に出力する（Ｐ２）。ＨＭＩコントローラ１０は、自動運転コントローラ２０から取得した情報をもとに、自車と自車の周辺状況を含む模式図を生成する（Ｐ３）。ＨＭＩコントローラ１０は、生成した模式図を表示装置３０に出力し、表示部３１に表示させる（Ｐ４）。

　表示部３１に表示された模式図を見たユーザは、入力部３２に接触する（Ｐ５）。表示部３１は、接触を検出した座標データをＨＭＩコントローラ１０に出力する（Ｐ６）。ＨＭＩコントローラ１０は、表示装置３０から取得した座標データをもとにコマンドの種別を判定する（Ｐ７）。ＨＭＩコントローラ１０は、一定時間が経過するまでは、追加入力の受け付けを行う（Ｐ８～Ｐ１２）。ＨＭＩコントローラ１０はコマンドの判定後、コマンドの指示中であることを示す模式図を再生成する（Ｐ８）。ＨＭＩコントローラ１０は、再生成した模式図を表示装置３０に出力し、表示部３１に表示させる（Ｐ９）。なおユーザの接触によるジェスチャ操作に該当するコマンドが存在しない場合は、エラーメッセージを含む模式図を生成して表示装置３０に出力し、表示部３１に表示させる。

　コマンドの指示中であることを示す模式図を見たユーザが、入力部３２に接触すると（Ｐ１０）、表示部３１は、接触を検出した座標データをＨＭＩコントローラ１０に出力する（Ｐ１１）。ＨＭＩコントローラ１０は、表示装置３０から取得した座標データをもとに追加コマンド処理を実行する（Ｐ１２）。ＨＭＩコントローラ１０は、追加コマンド処理（Ｐ１２）で新たなコマンドの入力がなかった場合は、Ｐ７で判定したコマンドを自動運転コントローラ２０に発行する（Ｐ１３、Ｐ１４）。追加コマンド処理（Ｐ１２）で新たなコマンドが入力された場合は、新たなコマンドを自動運転コントローラ２０に発行する。新たに入力されたコマンドがキャンセルコマンドであった場合は、コマンド発行を取りやめる。新たなコマンドによる元のコマンドの上書き・キャンセル処理は、自動運転コントローラ２０で行ってもよい。その場合、ＨＭＩコントローラ１０は、Ｐ７、Ｐ１２におけるコマンド判定処理後に自動運転コントローラ２０へコマンドの送信を行い、自動運転コントローラ２０内部の状態に応じて上書き・キャンセル処理を行う。

　検出部４０は定期的に、自車位置情報、自車走行道路情報、及び自車周辺情報を検出して自動運転コントローラ２０に出力する（Ｐ１５）。自動運転コントローラ２０は情報をもとに、ＨＭＩコントローラ１０から発行されたコマンドにより指示された制御が実行可能であるか否か判定する（Ｐ１６）。実行可能である場合、自動運転コントローラ２０は制御開始通知をＨＭＩコントローラ１０に出力する（Ｐ１７）。ＨＭＩコントローラ１０は制御開始通知を受けると、制御中であることを示すメッセージを含む模式図を再生成する（Ｐ１８）。ＨＭＩコントローラ１０は、再生成した模式図を表示装置３０に出力し、表示部３１に表示させる（Ｐ１９）。図示しないが、自動運転コントローラ２０が、検出部４０や各種ＥＣＵから収集した各種パラメータ値を自動運転アルゴリズムに適用して、発行されたコマンドを遂行するために運転操作部５０を制御する制御値を算出し、各制御対象のＥＣＵ又はコントローラに伝達する。制御値とは、車両１の進行方向等の自動制御対象を実現するための具体的な値である。運転操作部５０は具体的な制御値に基づき動作する。運転操作部５０は、所定の制御値または検出部４０の検出データが所定値（範囲）になり、自動運転コントローラ２０が、発行されたコマンドの条件を満たしたと判断したら、コマンド実行完了と判断する。

　ＨＭＩコントローラ１０は、自動運転コントローラ２０から制御完了通知を受けると、制御が完了したことを示すメッセージを含む模式図を生成して表示装置３０に出力する。なお、ユーザから操作を受け付けない期間は、操作を受け付けないことを示すメッセージを含む模式図を生成して表示装置３０に出力する。

　図３は、図１のＨＭＩコントローラ１０の処理を説明するための基本フローチャートの一例を示す図である。ＨＭＩコントローラ１０の判定部１１は、運転モードが自動運転モードか手動運転モードであるかをチェックする（Ｓ１）。手動運転モードの場合（Ｓ２のＮ）、処理を終了する。自動運転モードの場合（Ｓ２のＹ）、以下のように処理される。

　検出部４０から自動運転コントローラ２０に入力されるセンサ情報は随時更新されている（Ｓ３）。ＨＭＩコントローラ１０の画像生成部１２は、自動運転コントローラ２０から入力される自車位置情報、自車走行道路情報、及び自車周辺情報を基に自車と自車の周辺状況を含む模式図を生成し、生成した模式図を表示部３１に描画する（Ｓ４）。判定部１１は受付モードが、ユーザからの操作を受付可能な受付可モードか、ユーザからの操作を受付不可な受付不可モードであるかをチェックする（Ｓ５）。受付不可モードである場合（Ｓ６のＮ）、処理を終了する。受付可モードである場合（Ｓ６のＹ）、判定部１１は入力部３２に対するユーザによる接触があるか否か判定する（Ｓ７）。接触がない場合（Ｓ８のＮ）、後述する一定時間経過判定処理（Ｓ１２）を実行する。接触がある場合（Ｓ８のＹ）、判定部１１は、ユーザによるジェスチャ操作入力に応じて制御コマンドを決定する（Ｓ９）。この制御コマンド決定処理の詳細は後述する。

　ステップＳ９で決定された制御コマンドがキャンセルコマンドでない場合（Ｓ１０のＮ）、画像生成部１２は表示部３１にコマンド指示中を表示する（Ｓ１１）。制御コマンドが決定されてから一定時間経過すると（Ｓ１２のＹ）、ステップＳ９で決定された制御コマンドがある場合（Ｓ１３のＹ）、表示部３１に操作受付不可を表示し（Ｓ１４）、判定部１１は受付モードを受付可モードから受付不可モードに更新し（Ｓ１５）、指示部１３は、決定された制御コマンドを自動運転コントローラ２０に出力する（Ｓ１６）。一定時間が経過するまでは（Ｓ１２のＮ）、ステップＳ３に遷移する。

　ステップＳ１０において、決定された制御コマンドがキャンセルコマンドである場合（Ｓ１０のＹ）、キャンセルを表示し（Ｓ１１０）、処理を終了する。ステップＳ１３において、ステップＳ９で決定された制御コマンドがない場合（Ｓ１３のＮ）、入力エラーを表示し（Ｓ１１１）、処理を終了する。自動運転コントローラ２０は、検出部４０から自車位置情報、自車走行道路情報、及び自車周辺情報を定期的に検出している。周辺状況は刻々と変化するため、制御コマンドが自動運転コントローラ２０に出力された後、制御コマンドが実行不能と判断される場合がある。例えば、追従指示後に、自車と他車の間に別の車が割り込んできた場合などである。自動運転コントローラ２０により制御コマンドが実行可能と判断された場合（Ｓ１７のＹ）、画像生成部１２は表示部３１に制御中であることを表示し（Ｓ１８）、タイマを発動してカウントを開始する（Ｓ１９）。自動運転コントローラ２０により制御不能と判断された場合（Ｓ１７のＮ）、画像生成部１２は表示部３１に制御不能エラーを表示する（Ｓ１１２）。

　図４は、受付モードの更新処理を説明するためのフローチャートである。ＨＭＩコントローラ１０の判定部１１は、タイマのカウント値が設定値（例えば、１０秒）に到達すると（Ｓ１１３のＹ）、受付モードを受付不可モードから受付可モードに更新する（Ｓ１１４）。なお、タイマのカウント値は自車の周辺状況に応じて変更してもよい。なお判定部１１は、自動運転コントローラ２０から制御完了を示す通知を受信するか、車両１の挙動から、制御コマンドに応じた制御が完了したと判断したとき、受付モードを受付不可モードから受付可モードに更新してもよい。

　図５は、図３のステップＳ９において、ジェスチャ操作が入力される場合のコマンド決定処理の一例を示すフローチャートである。入力部３２へのユーザによる接触が開始されると（Ｓ９ａのＹ）、画像生成部１２は、ドロップ可能エリアを模式図内に描画し、表示部３１に表示させる（Ｓ９ｂ）。

　判定部１１は、入力部３２で発生したタッチイベントを受信し（Ｓ９ｃ）、タッチイベントの種別を判定する（Ｓ９ｄ）。タッチイベントの種別が接触開始／移動であった場合（Ｓ９ｄの接触開始／移動）、画像生成部１２は車両１の予測軌道／ルートの候補を模式図内に描画し、表示部３１に表示させる（Ｓ９ｅ）。その後、ステップＳ９ｃに戻る。

　タッチイベントの種別が接触終了であった場合（Ｓ９ｄの接触終了）、判定部１１は、ジェスチャ操作の種別を判定する。ジェスチャ操作の代表的なものとして、ドラッグ＆ドロップ、フリック、スワイプ、ピンチイン／ピンチアウト、回転がある。判定部１１は、タッチイベントの時系列推移をもとにジェスチャ操作の種別を判定する（Ｓ９ｆ）。具体的には接触開始位置での滞在時間、移動開始後の移動速度、接触終了位置での滞在時間をもとにドラッグ＆ドロップとフリックとスワイプを区別する。また接触点が２点であり、２点間の距離が所定距離以上変化している場合、ピンチイン／ピンチアウトと判定する。２点間の距離が所定距離以上変化せずに２点の位置が変化している場合、回転と判定する。

　判定部１１は、接触点数、接触開始位置、接触終了位置およびジェスチャ種別をキーに、自動運転制御テーブルを参照する（Ｓ９ｇ）。自動運転制御コマンドテーブル内に４つのキーに合致する制御コマンドが存在する場合（Ｓ９ｈのＹ）、判定部１１は、制御コマンドを自動運転コントローラ２０に発行する制御コマンドに決定する（Ｓ９ｉ）。自動運転制御コマンドテーブル内に４つのキーに合致する制御コマンドが存在しない場合（Ｓ９ｈのＮ）、画像生成部１２は表示部３１にエラーメッセージを表示させる（Ｓ９ｓ）。

　図６は、自動運転制御コマンドテーブル１１ａの一例を示す図である。自動運転制御コマンドテーブル１１ａは、判定部１１の中に構築される。以下、本実施の形態では接触開始位置が、模式図内の自車マークである例を説明する。図６に示す自動運転制御コマンドテーブル１１ａは接触終了位置として他車マーク、緊急車両マーク、歩行者マーク、レーン、路肩、交差点、及び特定エリアを規定している。ジェスチャ操作としてドラッグ＆ドロップ、フリック／スワイプ、ピンチイン／ピンチアウト、及び回転を規定している。

　ユーザが自車マークをドラッグして他車マークにドロップすると、追従／隊列走行を指示するコマンドが発行される。ユーザが自車マークをドラッグして緊急車両（救急車など）マークにドロップした場合において、緊急車両マークの位置が自車マークの位置より右側の場合は左寄せ一時停車を指示するコマンドが発行される。緊急車両マークの位置が自車マークの位置より左側の場合は右寄せ一時停車を指示するコマンドが発行される。ユーザが自車マークをドラッグして歩行者マークにドロップすると、歩行者の横に停車することを指示するコマンドが発行される。

　ユーザが自車マークをドラッグして他のレーンにドロップすると、交差点近辺でない場合、レーンへの車線変更を指示するコマンドが発行される。交差点近辺の場合でドロップされたレーンが右折レーンの場合、右折レーンへの車線変更と右折を指示するコマンドが発行される。交差点近辺の場合でドロップされたレーンが左折レーンの場合、左折レーンへの車線変更と左折を指示するコマンドが発行される。

　ユーザが自車マークをドラッグして路肩にドロップすると、路肩に駐車することを指示するコマンドが発行される。ユーザが自車マークをドラッグして交差点内の右折後レーンの入口にドロップすると、右折を指示するコマンドが発行される。ユーザが自車マークをドラッグして交差点内の左折後レーンの入口にドロップすると、左折を指示するコマンドが発行される。

　ユーザが自車マークをドラッグしてレーン、交差点、路肩以外の特定エリアにドロップすると、特定エリアに応じたコマンドが発行される。例えば、特定エリアへの一時退避を指示するコマンドが発行される。また特定エリアが道路案内標識内の地名や地域名が表示されたエリアである場合、地名や地域名に対応する目的地へのルート変更を指示するコマンドが発行される。また地名や地域名に対応する経由地の設定を指示するコマンドが発行されてもよい。また特定エリアが道路案内標識内の道路や道路名が表示されたエリアである場合、道路を通るルートにルート変更を指示するコマンドが発行される。また特定エリアが有料道路の出口案内標識が表示されたエリアである場合、出口から降りることを指示するコマンドが発行されてもよい。

　ユーザが自車マークをフリック／スワイプすると、その自車マークの移動方向および移動距離に応じて車速変更を指示するコマンドが発行されてもよい。例えば、上方向にスワイプで速度アップ、下方向にスワイプで速度ダウン、移動距離が大きいほど速度変更量が大きくなる設定でもよい。またユーザが自車マークをフリック／スワイプすると、その自車マークの移動方向および移動距離に応じて先行車との車間距離の変更を指示するコマンドが発行されてもよい。例えば、上方向にスワイプで車間距離短縮、下方向にスワイプで車間距離拡大、移動距離が大きいほど距離変更量が大きくなる設定でもよい。

　ユーザが自車マークをフリック／スワイプした場合において、他レーンがある場合、レーンへの車線変更指示が発行されてもよい。またユーザが自車マークをフリック／スワイプした場合において、交差点近辺の場合でフリック／スワイプされたレーンが右折レーンの場合、右折レーンへの車線変更と右折を指示するコマンドが発行される。交差点近辺の場合でフリック／スワイプされたレーンが左折レーンの場合、左折レーンへの車線変更と左折を指示するコマンドが発行される。

　ユーザが自車マーク内の２点にタッチしてピンチイン／ピンチアウトすると、２点間の距離変更に応じて車速変更を指示するコマンドが発行される。例えば、ピンチインで速度ダウン、ピンチアウトで速度アップ、２点間の距離が大きいほど速度変更量が大きくなる設定でもよい。

　ユーザが自車マークと他車マークの２点にタッチしてピンチイン／ピンチアウトした場合において、自車と他車が追従走行中である場合、自車と他車との車間距離の変更を指示するコマンドが発行される。例えば、ピンチインで車間距離短縮、ピンチアウトで車間距離拡大、２点間の距離が大きいほど距離変更量が大きくなる設定でもよい。ユーザが自車マークと他車マークの２点にタッチしてピンチイン／ピンチアウトした場合において、自車と他車が追従走行中でない場合、自車と他車との一時的な車間距離の変更を指示するコマンドが発行される。この場合、時間経過に従い自車と他車が車間距離が変化しても、車間距離を一定に保つ制御は働かない。

　ユーザが自車マーク内の２点にタッチして回転させた場合において、交差点近辺である場合、その回転方向に応じて右折または左折を指示するコマンドが発行される。またユーザが自車マーク内の２点にタッチして回転させた場合において、駐車スペースの近辺である場合、その回転方向に応じて自車の方向転換を指示するコマンドが発行される。

　ユーザが自車マークと他車マークの２点にタッチして回転させた場合において、追従／隊列走行中である場合、自車と他車の位置を入れ替えることを指示するコマンドが発行される。ユーザが自車マークと他車マークの２点にタッチして回転させた場合において、追従／隊列走行中でない場合、自車が他車を追越すことを指示するコマンドが発行される。

　また、コンテキストに応じてコマンドに関する具体的な制御方法を変えてもよい。例えば、ユーザが自車マークを先行車（他車）マークの前に移動させた場合、同じく追越のコマンドになるが、コンテキストに応じて追越の仕方が変わってくる組み合わせであっても良い。例えば、通常、日本の交通ルール上右側車線から追い越すが、左側車線には走行している他車両がない場合左側車線から追い越しても良い。また、個人の嗜好性データを参考に運転者の嗜好性に合ったルートで追い越しても良い。なお、コマンドに関する具体的な制御方法は、例えば、経路、実行タイミング、速度等が考えられ、ＨＭＩコントローラ１０の判定部１１が決定してから具体的な制御方法を含めたコマンドを自動運転コントローラ２０に送信しても良い。あるいは、コマンドを受け取った後、自動運転コントローラ２０側で具体的な制御方法を決定しても良い。更に、ＨＭＩコントローラ１０または自動運転コントローラ２０で決められた具体的な制御方法の選択肢を表示部３１に表示したり、図示しないスピーカーや振動部を含む報知部により運転者に聴覚的／触覚的に報知したりし、運転者に選択させても良い。

　以上に説明した図６に示す自動運転制御コマンドテーブル１１ａは、接触点数、接触開始位置、接触終了位置、及びジェスチャ種別が同一であっても、コンテキストに応じてコマンドの内容が変わってくる組み合わせを含んでいる。コンテキストとして自車周辺の環境情報が参照され、例えば、他車との相対位置、車線有無、交差点有無、追従／隊列走行中であるか否か、自車の向き等が参照される。なお、コンテキストを参照せずに接触点数、接触開始位置、接触終了位置、及びジェスチャ種別のみによって一意にコマンドが決定される設計であってもよい。例えば、ユーザが自車マークをフリック／スワイプしたとき、自車の周辺環境がどのような状態であってもグローバルに、速度変更を指示するコマンドが発行される設計であってもよい。

　以下、図６に示した自動運転制御コマンドテーブル１１ａに規定されたジェスチャ操作のいくつかの例を説明する。以下の例では表示部３１及び入力部３２が一体化したタッチパネルディスプレイを使用することを想定する。

　図７は、自車アイコンを他のレーンにドラッグ＆ドロップするジェスチャ操作の例を示すフローチャートである。ＨＭＩコントローラ１０の判定部１１は、タッチパネルからタッチイベント（ＤＯＷＮ）を受信する（Ｓ２０）。タッチイベント（ＤＯＷＮ）は、タッチパネルに対する指やペンによる非接触状態から接触状態への変化を表すイベントである。判定部１１は、タッチイベント（ＤＯＷＮ）が検出された座標が自車アイコンの表示エリアの内部であるか否か判定する（Ｓ２１）。表示エリアの外である場合（Ｓ２１のＮ）、車線変更指示でないと判定して処理を終了する。

　表示エリアの内部である場合（Ｓ２１のＹ）、判定部１１はタッチパネルからタッチイベント（ＭＯＶＥ）を受信する（Ｓ２２）。タッチイベント（ＭＯＶＥ）は、タッチパネルのある点に対する指やペンによる接触状態から、別の点に対する接触状態への変化を表すイベントである。その後、判定部１１はタッチパネルからタッチイベント（ＵＰ）を受信する（Ｓ２３）。タッチイベント（ＵＰ）は、タッチパネルに対する指やペンによる接触状態から非接触状態への変化を表すイベントである。

　判定部１１は、タッチイベント（ＵＰ）が検出された座標が同一進行方向の他レーンであるか否か判定する（Ｓ２４）。他レーンである場合（Ｓ２４のＹ）、指示部１３は車線変更指示コマンドを自動運転コントローラ２０に発行する（Ｓ２５）。他レーンでない場合（Ｓ２４のＮ）、車線変更指示でないと判定して処理を終了する。

　図８は、図７のフローチャートに係るジェスチャ操作の一例を示す図である。図８の（ａ）に示す模式図には、第１レーンＬ１と第２レーンＬ２が表示されており、第１レーンＬ１上に自車アイコンＶ１が表示されている。なお自車、及び道路を含む周辺状況の表示形態には様々な表示形態が考えられる。実写映像を用いてもよいし、精緻なＣＧ画像やアニメーション画像を用いてもよい。自車の表示もアイコンに限らず、よりシンプルなマークや文字で表示されてもよいし、実写映像で表示されてもよい。即ち、何らかの表示形態で画面内にオブジェクト表示されればよい。

　運転者が第１レーンＬ１から第２レーンＬ２に車線変更したい場合、図８の（ａ）に示すように第１レーンＬ１上の自車アイコンＶ１をドラッグし、図８の（ｂ）に示すように第２レーンＬ２上に自車アイコンＶ１をドロップする。これにより、車線変更指示コマンドが発行される。

　図９は、自車アイコンをフリックするジェスチャ操作の例を示すフローチャートである。ＨＭＩコントローラ１０の判定部１１は、タッチパネルからタッチイベント（ＤＯＷＮ）を受信する（Ｓ２０）。判定部１１は、タッチイベント（ＤＯＷＮ）が検出された座標が自車アイコンの表示エリアの内部であるか否か判定する（Ｓ２１）。表示エリアの外である場合（Ｓ２１のＮ）、車線変更指示でないと判定して処理を終了する。

　表示エリアの内部である場合（Ｓ２１のＹ）、判定部１１は自車の進行方向に走行可能なレーンが複数あるか否か判定する（Ｓ２１２）。複数のレーンがある場合（Ｓ２１２のＹ）、画像生成部１２は自車アイコンの左および／または右に、走行可能なレーンへのレーン変更指示用のドロップエリアを生成し、タッチパネルに表示させる（Ｓ２１３）。複数のレーンがない場合（Ｓ２１２のＮ）、ステップＳ２１３の処理をスキップする。

　判定部１１は、進行方向の一定距離内に交差点があるか否か判定する（Ｓ２１４）。交差点がある場合（Ｓ２１４のＹ）、画像生成部１２は自車アイコン若しくはレーン変更指示用のドロップエリアの左および／または右に、交差点で進路変更が可能な方向の進路変更指示用のドロップエリアを生成し、タッチパネルに表示させる（Ｓ２１５）。交差点がない場合（Ｓ２１４のＮ）、ステップＳ２１５の処理をスキップする。

　判定部１１はタッチパネルからタッチイベント（ＵＰ）を受信する（Ｓ２１６）。判定部１１は、タッチイベント（ＵＰ）が検出された座標がドロップエリア内であるか否か判定する（Ｓ２１７）。ドロップエリア内でない場合（Ｓ２１７のＮ）、車線変更指示でないと判定して処理を終了する。タッチイベント（ＵＰ）が検出された座標が車線変更指示用のドロップエリア内である場合（Ｓ２１７の車線変更指示用ドロップエリア）、指示部１３は車線変更指示コマンドを自動運転コントローラ２０に発行する（Ｓ２１８）。タッチイベント（ＵＰ）が検出された座標が進路変更指示用のドロップエリア内である場合（Ｓ２１７の進路変更指示用ドロップエリア）、指示部１３は進路変更指示コマンドを自動運転コントローラ２０に発行する（Ｓ２１９）。

　図１０Ａ，図１０Ｂは、図９のフローチャートに係るジェスチャ操作の一例を示す図である。運転者が第１レーンＬ１から第２レーンＬ２に車線変更したい場合、図１０Ａの（ａ）に示すように第１レーンＬ１上の自車アイコンＶ１にタッチする。自車アイコンＶ１がタッチされると、図１０Ｂの（ｂ）に示すように第２レーンＬ２への車線変更指示用のドロップエリアＡ１が表示される。ユーザがこのドロップエリアＡ１にフリックすると、第２レーンＬ２への車線変更指示コマンドが発行される。

　図１０Ｂの（ａ）に示すように前方に交差点がある場合においてユーザが自車アイコンＶ１にタッチすると、図１０Ｂの（ｂ）に示すように右側レーンへの車線変更指示用のドロップエリアＡ１、左側レーンへの車線変更指示用のドロップエリアＡ２、右折指示用のドロップエリアＡ３、及び左折指示用のドロップエリアＡ４が表示される。ユーザが、いずれかのドロップエリアにフリックすることにより、対応するコマンドが発行される。

　図１１は、自車アイコンと他車アイコンの２点にタッチして回転させるジェスチャ操作の例を示すフローチャートである。ＨＭＩコントローラ１０の判定部１１は、タッチパネルから２点のタッチイベント（ＤＯＷＮ）を受信する（Ｓ３８）。判定部１１は、タッチイベント（ＤＯＷＮ）が検出された一方の１点の座標が自車アイコンの表示エリアの内部であるか否か判定する（Ｓ３９）。自車アイコンの表示エリアの外である場合（Ｓ３９のＮ）、追越指示でないと判定して処理を終了する。

　自車アイコンの表示エリアの内部である場合（Ｓ３９のＹ）、判定部１１は、タッチイベント（ＤＯＷＮ）が検出された他方の１点の座標が他車（先行車）アイコンの表示エリアの内部であるか否か判定する（Ｓ３１０）。他車（先行車）アイコンの表示エリアの外である場合（Ｓ３１０のＮ）、追越指示でないと判定して処理を終了する。

　他車（先行車）アイコンの表示エリアの内部である場合（Ｓ３１０のＹ）、判定部１１はタッチパネルからタッチイベント（ＭＯＶＥ）を受信する（Ｓ３１１）。その後、判定部１１はタッチパネルから２点のタッチイベント（ＵＰ）を受信する（Ｓ３１２）。判定部１１は、自車アイコンのタッチイベント（ＵＰ）が検出された座標が、他車アイコンのタッチイベント（ＵＰ）が検出された座標の前方領域であるか否か判定する（Ｓ３１３）。自車アイコンが他車アイコンの前方である場合（Ｓ３１３のＹ）、指示部１３は他車（先行車）アイコンに係る他車を追い越すための追越指示コマンドを自動運転コントローラ２０に発行する（Ｓ３１４）。自車アイコンが他車アイコンの前方でない場合（Ｓ３１３のＮ）、追越指示でないと判定して処理を終了する。

　図１２は、図１１のフローチャートに係るジェスチャ操作の一例を示す図である。運転者が他車を追越したい場合、図１２の（ａ）に示すように自車アイコンＶ１と他車アイコンＶ２を２本の指でタッチし、図１２の（ｂ）－図１２の（ｃ）に示すように自車アイコンＶ１と他車アイコンＶ２の前後を入れ替えてドロップする。これにより、追越指示コマンドが発行される。なお、追越指示コマンドを発行するためのジェスチャ操作として、上記以外の自車アイコンと他車アイコンの相対位置を変更する操作であってもよい。

　図１３は、自車アイコンを他車アイコンにドラッグ＆ドロップするジェスチャ操作の例を示すフローチャートである。ＨＭＩコントローラ１０の判定部１１は、タッチパネルからタッチイベント（ＤＯＷＮ）を受信する（Ｓ４０）。判定部１１は、タッチイベント（ＤＯＷＮ）が検出された座標が自車アイコンの表示エリアの内部であるか否か判定する（Ｓ４１）。自車アイコンの表示エリアの外である場合（Ｓ４１のＮ）、追従指示でないと判定して処理を終了する。

　自車アイコンの表示エリアの内部である場合（Ｓ４１のＹ）、判定部１１はタッチパネルからタッチイベント（ＭＯＶＥ）を受信する（Ｓ４２）。その後、判定部１１はタッチパネルからタッチイベント（ＵＰ）を受信する（Ｓ４３）。

　判定部１１は、タッチイベント（ＵＰ）が検出された座標が他車アイコンの表示エリアの内部であるか否か判定する（Ｓ４４）。他車アイコンの表示エリアの内部である場合（Ｓ４４のＹ）、指示部１３は、他車アイコンに係る他車に追従走行するための追従指示コマンドを自動運転コントローラ２０に発行する（Ｓ４５）。画像生成部１２は模式図内の自車アイコンと他車アイコンの間に、自車が他車を追従走行中であることを示す追従アイコンを表示させる（Ｓ４６）。タッチイベント（ＵＰ）が検出された座標が他車アイコンの表示エリアの外である場合（Ｓ４４のＮ）、追従指示コマンドでないと判定して処理を終了する。

　図１４は、図１３のフローチャートに係るジェスチャ操作の一例を示す図である。運転者が他車に追従走行したい場合、図１４の（ａ）に示すように自車アイコンＶ１をドラッグし、図１４の（ｂ）に示すように他車アイコンＶ２上に自車アイコンＶ１をドロップする。これにより追従指示コマンドが発行され、図１４の（ｃ）に示すように自車アイコンＶ１と他車アイコンＶ２の間に、自車が他車を追従走行中であることを示す追従アイコンＦ１が表示されるようになる。追従アイコンＦ１はバネや紐といった自車と他車の紐付け状態を表すアイコンや二者を指す矢印であってもよいし、追従中などの文字説明であってもよい。また、表示位置は自車アイコンと他車アイコンの間以外であってもよい。なお、追従指示コマンドを発行するためのジェスチャ操作として、上記以外の自車アイコンと他車アイコンを紐付ける操作であってもよい。

　図１５は、追従走行中において、自車アイコンと他車アイコンの２点にタッチしてピンチイン／ピンチアウトするジェスチャ操作の例を示すフローチャートである。ＨＭＩコントローラ１０の判定部１１は、タッチパネルから２点のタッチイベント（ＤＯＷＮ）を受信する（Ｓ４１２）。判定部１１は、第１のタッチイベント（ＤＯＷＮ）が検出された座標が自車アイコンの表示エリアの内部であるか否か判定する（Ｓ４１３）。自車アイコンの表示エリアの外である場合（Ｓ４１３のＮ）、車間距離変更指示でないと判定して処理を終了する。

　第１のタッチイベント（ＤＯＷＮ）が検出された座標が自車アイコンの表示エリアの内部である場合（Ｓ４１３のＹ）、判定部１１は、第２のタッチイベント（ＤＯＷＮ）が検出された座標が他車アイコンの表示エリアの内部であるか否か判定する（Ｓ４１４）。他車アイコンの表示エリアの外である場合（Ｓ４１４のＮ）、車間距離変更指示でないと判定して処理を終了する。

　第２のタッチイベント（ＤＯＷＮ）が検出された座標が他車アイコンの表示エリアの内部である場合（Ｓ４１４のＹ）、判定部１１はタッチパネルからタッチイベント（ＭＯＶＥ）を受信する（Ｓ４１５）。その後、判定部１１はタッチパネルから２点のタッチイベント（ＵＰ）を受信する（Ｓ４１６）。判定部１１は、タッチイベント（ＵＰ）が検出された第３の座標と第４の座標間の距離と、タッチイベント（ＤＯＷＮ）が検出された第１の座標と第２の座標間の距離とを比較する（Ｓ４１７）。両者の距離が異なる場合（Ｓ４１７のＹ）、指示部１３は、追従走行中の自車と他車間の距離を変更するための追従車間距離変更指示コマンドを自動運転コントローラ２０に発行する（Ｓ４１８）。画像生成部１２は模式図内の自車アイコンと他車アイコンとの車間距離を変更する（Ｓ４１９）。両者の距離が同じ場合（Ｓ４１７のＮ）、車間距離変更指示でないと判定して処理を終了する。

　図１６は、図１５のフローチャートに係るジェスチャ操作の一例を示す図である。運転者が追従走行中の自車と他車との車間距離を変更したい場合、図１６の（ａ）に示すように自車アイコンＶ１と他車アイコンＶ２に２本の指でタッチする。その状態から図１６の（ｂ）に示すようにピンチインすると、自車と他車との車間距離を短くする車間距離変更指示コマンドが発行される。変更後の車間距離は自車アイコンＶ１と他車アイコンＶ２間の距離に応じて決定される。図１６の（ｃ）は車間距離変更後の模式図を示しており、図１６の（ａ）と比較して自車アイコンＶ１と他車アイコンＶ２との車間距離が短くなっている。なお、自車アイコンＶ１と他車アイコンＶ２を２本の指でタッチした状態からピンチアウトすると、自車と他車との車間距離を長くする車間距離変更指示コマンドが発行される。なお、車間距離変更指示コマンドを発行するためのジェスチャ操作として、２本指でのピンチ操作以外の１本指での操作であってもよく、自車アイコンと他車アイコンの距離を変更する操作であればよい。

　図１７は、追従走行中において、自車アイコンと他車アイコンの２点にタッチして回転させるジェスチャ操作の例を示すフローチャートである。ステップＳ４１２からステップＳ４１６までの処理は、図１５のフローチャートと同じである。判定部１１は、タッチイベント（ＵＰ）が検出された第３の座標と第４の座標間の中心点が、タッチイベント（ＤＯＷＮ）が検出された第１の座標と第２の座標間の中心点と同じであるか否か判定する（Ｓ４２７）。同じである場合（Ｓ４２７のＹ）、指示部１３は、自車が他車に追従している追従走行を解除するための追従解除指示コマンドを自動運転コントローラ２０に発行する（Ｓ４２８）。それと共に、指示部１３は、他車を自車に追従させるための他車追従指示コマンドを、車車間通信を介して他車に送信する（Ｓ４２９）。なお中継装置を介して他車追従指示コマンドを他車に送信してもよい。画像生成部１２は模式図内の自車（追従車）アイコンと他車（被追従車）アイコンを入れ替える（Ｓ４３０）。ステップＳ４２７において２つの中心点の位置が異なる場合（Ｓ４２７のＮ）、追従走行中の車両入替指示でないと判定して処理を終了する。

　図１８は、図１７のフローチャートに係るジェスチャ操作の一例を示す図である。運転者が追従走行中の自車と他車の位置を入れ替えたい場合、図１８の（ａ）に示すように自車アイコンＶ１と他車アイコンＶ２を２本の指でタッチする。その状態から図１８の（ｂ）に示すように、自車アイコンＶ１と他車アイコンＶ２を入れ替えるように２本の指を回転させる。これにより追従走行中の自車と他車の位置を入れ替えるためのコマンドが発行される。図１８の（ｃ）は車両入替後の模式図を示しており、図１８の（ａ）と比較して自車アイコンＶ１と他車アイコンＶ２の位置が逆になっている。なお図１８の（ａ）－図１８の（ｂ）では仮想線Ｌ１０と、自車アイコンＶ１と他車アイコンＶ２の中心点Ｃ２を模式図内に表示しているが、仮想線Ｌ１０と中心点Ｃ２を表示しない例も可能である。追従走行の順番を定期的に入れ替えることにより、自車と他車の燃費を平準化できる。なお、追従解除指示コマンドを発行するために、上記以外の自車アイコンと他車アイコンの紐付けを取り消す操作であってもよい。また、追従関係変更指示コマンドを発行するためのジェスチャ操作として、上記以外の自車アイコンと他車アイコンの追従関係を入れ替える操作であってもよい。また、入れ替えボタンを自車アイコンまたは他車アイコンまたはそれらの間に表示し、入れ替えボタンを押すことで自車アイコンと他車アイコンを入れ替えてもよい。さらに、追従関係になってから、自動運転コントローラ２０で定期的に入れ替える制御をしてもよい。

　図１９は、自車アイコンをスワイプするジェスチャ操作の例を示すフローチャートである。ＨＭＩコントローラ１０の判定部１１は、タッチパネルからタッチイベント（ＤＯＷＮ）を受信する（Ｓ４３１）。判定部１１は、タッチイベント（ＤＯＷＮ）が検出された座標が自車アイコンの表示エリアの内部であるか否か判定する（Ｓ４３２）。自車アイコンの表示エリアの外である場合（Ｓ４３２のＮ）、車間距離設定指示でないと判定して処理を終了する。

　自車アイコンの表示エリアの内部である場合（Ｓ４３２のＹ）、判定部１１はタッチパネルからタッチイベント（ＭＯＶＥ）を受信する（Ｓ４３３）。画像生成部１２は、自車と他車との車間距離を模式図内に表示する（Ｓ４３４）。タッチパネルからタッチイベント（ＵＰ）を受信しない間（Ｓ４３５のＮ）、ステップＳ４３３に遷移し、タッチイベント（ＭＯＶＥ）の受信と車間距離情報の表示を継続する（Ｓ４３３、Ｓ４３４）。即ち、自車アイコンと他車アイコンとの距離が変更されるに従い、画像生成部１２は模式図内の車間距離情報をリアルタイムに更新する。

　タッチパネルからタッチイベント（ＵＰ）を受信すると（Ｓ４３５のＹ）、判定部１１は、タッチイベント（ＵＰ）が検出された座標が、自車アイコンと同一車線上であり、他車アイコンの後方であるか否か判定する（Ｓ４３６）。同一車線上の他車アイコンの後方である場合（Ｓ４３６のＹ）、指示部１３は、自車アイコンと他車アイコンとの距離に応じた車間距離を設定するための車間距離設定指示コマンドを自動運転コントローラ２０に発行する（Ｓ４３７）。画像生成部１２は模式図内に、設定された車間距離情報を表示する（Ｓ４３８）。タッチイベント（ＵＰ）が検出された座標が、同一車線上の他車アイコンの後方でない場合（Ｓ４３６のＮ）、車間距離設定指示でないと判定して処理を終了する。

　図２０は、図１９のフローチャートに係るジェスチャ操作の一例を示す図である。運転者が自車と他車との車間距離を設定したい場合、図２０の（ａ）に示すように自車アイコンＶ１を図２０の（ｂ）に示すように上方向または下方向にスワイプする。スワイプ中は車間距離表示用のポップアップウインドウＰ１が表示される。図２０の（ｃ）に示すようにスワイプが終了すると、車間距離設定指示コマンドが発行される。ポップアップウインドウＰ１内に車間距離を設定する旨のメッセージが表示され、その後、ポップアップウインドウＰ１が消去される。

　図２１は、自車アイコンを特定エリア（道路案内標識）にドラッグ＆ドロップする例を示すフローチャートである。ＨＭＩコントローラ１０の判定部１１は、タッチパネルからタッチイベント（ＤＯＷＮ）を受信する（Ｓ５０）。判定部１１は、タッチイベント（ＤＯＷＮ）が検出された座標が自車アイコンの表示エリアの内部であるか否か判定する（Ｓ５１）。表示エリアの外である場合（Ｓ５１のＮ）、道路案内標識の内容に応じた操作指示でないと判定して処理を終了する。

　表示エリアの内部である場合（Ｓ５１のＹ）、判定部１１はタッチパネルからタッチイベント（ＭＯＶＥ）を受信する（Ｓ５２）。その後、判定部１１はタッチパネルからタッチイベント（ＵＰ）を受信する（Ｓ５３）。

　判定部１１は、タッチイベント（ＵＰ）が検出された座標が道路案内標識の表示エリアの内部であるか否か判定する（Ｓ５４）。表示エリアの内部である場合（Ｓ５４のＹ）、指示部１３は道路案内標識の内容に応じたコマンドを自動運転コントローラ２０に発行する（Ｓ５５）。表示エリアの外である場合（Ｓ５４のＮ）、道路案内標識の内容に応じた操作指示でないと判定して処理を終了する。

　図２２は、図２１のフローチャートに係るジェスチャ操作の一例を示す図である。運転者が交差点の行先案内標識Ｓ１内に表示されたいずれかの進路に進路変更したい場合、図２２の（ａ）に示すように自車アイコンＶ１をドラッグし、図２２の（ｂ）に示すように自車アイコンＶ１を、行先案内標識Ｓ１内の所望の行先の地名「町田」Ｎ１上にドロップする。これにより、行先を経由地または目的地としたルートへのルート変更指示コマンドが発行される。

　以下、図５に戻り、ステップＳ９ｅの予測軌道／ルートの候補を描画する処理の詳細を説明する。

　図２３は、図５のステップＳ９ｅにおいて、予測軌道／ルートの候補を描画する処理の一例を示すフローチャートである。ＨＭＩコントローラ１０の判定部１１は、タッチパネルから自車アイコンの移動通知を受信しているか否か判定する（Ｓ９ｅａ）。受信している場合（Ｓ９ｅａのＹ）、判定部１１は自車アイコンの移動位置がレーン上であるか否か判定する（Ｓ９ｅｂ）。レーン上である場合（Ｓ９ｅｂのＹ）、判定部１１は自車アイコンの移動位置が、自車アイコンの移動開始位置のレーンと異なるレーン上であるか否か判定する（Ｓ９ｅｃ）。異なるレーン上でない場合（同じレーン上である場合）（Ｓ９ｅｃのＮ）、画像生成部１２は、タッチパネルに表示された模式図内の予測軌道を消去する（Ｓ９ｅｄ）。ステップＳ９ｅｂにおいて、自車アイコンの移動位置がレーン上でない場合も（Ｓ９ｅｂのＮ）、画像生成部１２は、タッチパネルに表示された模式図内の予測軌道を消去する（Ｓ９ｅｄ）。

　ステップＳ９ｅｃにおいて、自車アイコンの移動位置が、自車アイコンの移動開始位置のレーンと異なるレーン上である場合（Ｓ９ｅｃのＹ）、判定部１１は自車アイコンの移動位置が、車線変更が可能なレーン上であるか否か判定する（Ｓ９ｅｅ）。車線変更が可能なレーン上でない場合（Ｓ９ｅｅのＮ）、画像生成部１２は、タッチパネルにエラー通知を描画する（Ｓ９ｅｆ）。車線変更が可能なレーン上である場合（Ｓ９ｅｅのＹ）、指示部１３は自動運転コントローラ２０に、自車アイコンのタッチイベント座標を通知し、予測軌道を要求する（Ｓ９ｅｇ）。画像生成部１２は、自動運転コントローラ２０から取得した車線変更の予測軌道をタッチパネルに描画する（Ｓ９ｅｈ）。以上の処理がタッチパネルから自車アイコンの移動通知を受信しなくなるまで（Ｓ９ｅａのＮ）、継続される。

　図２４は、図５のステップＳ９ｅにおいて、予測軌道／ルートの候補を描画する処理の別の例を示すフローチャートである。ステップＳ９ｅａからステップＳ９ｅｆまでの処理は、図２３のフローチャートと同じである。車線変更が可能なレーン上である場合（Ｓ９ｅｅのＹ）、判定部１１は車線変更先のレーンに他車が存在するか否か判定する（Ｓ９ｅｉ）。他車が存在しない場合（Ｓ９ｅｉのＮ）、画像生成部１２は、加減速なしの車線変更の予測軌道をタッチパネルに描画する（Ｓ９ｅｊ）。

　車線変更先のレーンに他車が存在する場合（Ｓ９ｅｉのＹ）、判定部１１は自車アイコンの移動位置が、他車アイコンの前方であるか後方であるか判定する（Ｓ９ｅｋ）。他車アイコンの前方である場合（Ｓ９ｅｋの前）、画像生成部１２は、加速ありの車線変更の予測軌道をタッチパネルに描画する（Ｓ９ｅｌ）。他車アイコンの後方である場合（Ｓ９ｅｋの後）、画像生成部１２は、減速ありの車線変更の予測軌道をタッチパネルに描画する（Ｓ９ｅｍ）。自車アイコンの移動位置が、他車アイコンの内部である場合（Ｓ９ｅｋの他車）、画像生成部１２は、タッチパネルにエラー通知モードを描画する（Ｓ９ｅｎ）。以上の処理がタッチパネルから自車アイコンの移動通知を受信しなくなるまで（Ｓ９ｅａのＮ）、継続される。

　図２５Ａ－図２５Ｃは、図２４のフローチャートに係るジェスチャ操作の一例を示す図である。図２５ＡはステップＳ９ｅｊの加減速なしの車線変更の予測軌道の例である。図２５ＢはステップＳ９ｅｌの加速ありの車線変更の予測軌道の例である。図２５ＣはステップＳ９ｅｍの減速ありの車線変更の予測軌道の例である。

　図２６は、エラー表示画面の一例を示す図である。運転者が第１レーンＬ１から第２レーンＬ２に車線変更したい場合、図２６の（ａ）に示すように第１レーンＬ１上の自車アイコンＶ１をドラッグし、図２６の（ｂ）に示すように第２レーンＬ２上に自車アイコンＶ１をドロップする。そのドロップ位置に他車の接近が検出された場合、図２６の（ｃ）に示すようにポップアップウインドウＰ１内にエラーメッセージ「後続車のためキャンセルされました」が表示され、自車アイコンＶ１が第１レーンＬ１に戻される。

　図２７は、自車アイコンＶ１をドラッグしてから他車アイコンＶ２上にドロップするまでの間の表示例を示す図である。運転者が他車に追従走行したい場合、図２７の（ａ）に示すように自車アイコンＶ１をドラッグする。自車アイコンＶ１をドラッグしてから他車アイコンＶ２上にドロップするまでの間、図２７の（ｂ）に示すように自車アイコンの元の位置に残像（点線の丸印など）Ｖ１ａを表示させる。図２７の（ｃ）に示すように自車アイコンＶ１が他車アイコンＶ２上にドロップされると、残像Ｖ１ａが消去される。図２７の（ｄ）に示すように追従走行が成立すると、自車アイコンＶ１と他車アイコンＶ２との間に追従アイコンＦ１が表示されるようになる。

　図２８は、自車アイコンＶ１をドラッグしてから他車アイコンＶ２上にドロップするまでの間の別の表示例を示す図である。図２８の（ａ）は、自車アイコンＶ１をドラッグしてから他車アイコンＶ２上にドロップするまでの間、道路エリアの周辺にドロップエリアを表示する例である。図２８の（ａ）では道路エリアの上下左右に、取り消し用ドロップエリアＤ１、自宅にリルート用ドロップエリアＤ２、左折用ドロップエリアＤ３、右折用ドロップエリアＤ４が各々表示される。運転者はドロップエリアＤ１１～Ｄ１４のいずれかに自車アイコンＶ１をドロップすることにより、対応する操作を行うことができる。なおドロップエリアには、上記操作以外の操作を表示してもよく、例えば、ガソリンスタンドへのリルート、パーキングエリアへのリルート、サービスエリアへのリルート、追越、車線変更、ＡＣＣ（Ａｄａｐｔｉｖｅ　Ｃｒｕｉｓｅ　Ｃｏｎｔｒｏｌ）、目標速度の加減速等の操作指示を表示してもよい。

　図２８の（ｂ）は、自車アイコンＶ１をドラッグしてから他車アイコンＶ２上にドロップするまでの間、道路など背景の色を変更（反転、薄くなど）し、ドロップが完了したら、元の色に戻す例である。図２８の（ｃ）は、自車アイコンＶ１をドラッグしてから他車アイコンＶ２上にドロップするまでの間、ドラッグ開始位置からドラッグ中の移動軌道（点線など）Ｔ１を表示し、ドロップが完了したら、軌道Ｔ１を消す例である。

　図２９は、ドロップ不可エリアなどがある場合における、自車アイコンＶ１のドラッグ中の表示例を示す図である。運転者が他車に追従走行したい場合、図２９の（ａ）に示すように自車アイコンＶ１をドラッグする。自車アイコンＶ１をドラッグした後において、ドロップ不可エリア（追従を拒否している車両、反対車線など）があったり、状況により追従操作が不可なとき、自車アイコンＶ１の色を変更（反転、薄くなど）する。他車アイコンＶ２へのドロップが不可の場合において、図２９の（ｂ）に示すように自車アイコンＶ１を他車アイコンＶ２上にドロップすると、図２９の（ｃ）に示すように自車アイコンＶ１が元の位置に戻され、「追従操作不可エリアです。」といったエラーメッセージを含むポップアップウインドウＰ３が表示される。

　図３０Ａ－図３０Ｃは、ドロップ不可エリアなどがある場合における、自車アイコンＶ１のドラッグ中の別の表示例を示す図である。図３０Ａは、自車アイコンＶ１をドラッグした後において、追従操作が不可なとき、道路など背景の色を変更する例である。追従操作が可能な状況になれば、元の色に戻す。図３０Ｂは、自車アイコンＶ１をドラッグした後において、ドロップ不可エリアの色を変更（反転、薄くなど）する例である。図３０Ｃは、自車アイコンＶ１をドラッグした後において、ドロップ不可エリアがあったり、追従操作が不可なとき、エラー音や振動を通知する。

　図３１は、ドラッグ操作を不可とする場合における表示例を示す図である。運転者が他車に追従走行したい場合、図３１の（ａ）に示すように自車アイコンＶ１のドラッグ開始時において、操作開始不可な場合、図３１の（ｂ）に示すように自車アイコンＶ１の色を変更し、ドラッグ操作（アイコンの移動）ができない状態とする。さらに、「追従操作不可エリアです。」といったエラーメッセージを含むポップアップウインドウＰ３を表示する。

　図３２Ａ－図３２Ｂは、ドラッグ操作を不可とする場合における別の表示例を示す図である。図３２の（ａ）は、自車アイコンＶ１のドラッグ開始時において、操作開始不可な場合、道路など背景の色を変更する例である。追従操作が可能な状況になれば、元の色に戻す。図３２の（ｂ）は、自車アイコンＶ１のドラッグ開始時において、操作開始不可な場合、ドラッグ操作ができない状態で、エラー音や振動を通知する。

　図３３は、自車アイコンをドロップしてから自車が追越を完了するまでの制御中の第１表示例を示す図である。運転者が先行車を追越したい場合、図３３の（ａ）に示すように自車アイコンＶ１をドラッグし、図３３の（ｂ）に示すように他車アイコンＶ２の前方に自車アイコンＶ１をドロップする。他車アイコンＶ２の前方にドロップしてから追越が完了するまでの間、図３３の（ｃ）に示すように自車の状態（現在位置）をゴーストアイコンＶ１ｇで表示する。また移動中の軌道Ｔ１も表示する。追越が完了すると、図３３の（ｄ）に示すように自車のゴーストアイコンＶ１ｇと軌道Ｔ１が消去される。

　図３４は、自車アイコンをドロップしてから自車が追越を完了するまでの制御中の第２表示例を示す図である。運転者が先行車を追越したい場合、図３４の（ａ）に示すように自車アイコンＶ１をドラッグし、図３４の（ｂ）に示すように他車アイコンＶ２の前方に自車アイコンＶ１をドロップする。他車アイコンＶ２の前方にドロップしてから追越が完了するまでの間、図３４の（ｃ）に示すように移動先の自車アイコンＶ１の表示状態を変更する。図３４の（ｃ）では自車アイコンＶ１を点滅させる例を描いているが、色変更、サイズ変更、位置変更などを行ってもよい。追越が完了すると、図３４の（ｄ）に示すように自車アイコンＶ１の表示状態が元に戻る。

　図３５は、自車アイコンをドロップしてから自車が追越を完了するまでの制御中の第３表示例を示す図である。運転者が先行車を追越したい場合、図３５の（ａ）に示すように自車アイコンＶ１をドラッグし、図３５の（ｂ）に示すように他車アイコンＶ２の前方に自車アイコンＶ１をドロップする。他車アイコンＶ２の前方にドロップしてから追越が完了するまでの間、追加操作で次の指示をキューイング（現在の制御が完了後に行われる制御の予約）する。図３５の（ｃ）－図３５の（ｄ）では、追越制御中に車線変更を追加指示した場合の例を描いている。この場合、追越車線へ車線変更→他車の追い抜き→元の車線へ車線変更→追越車線へ車線変更となるが、最後の２つの制御を相殺して、追越車線へ車線変更→追い抜きとする。

　図３６は、自車アイコンをドロップしてから自車が追越を完了するまでの制御中の第４表示例を示す図である。運転者が先行車を追越したい場合、図３６の（ａ）に示すように自車アイコンＶ１をドラッグし、図３６の（ｂ）に示すように他車アイコンＶ２の前方に自車アイコンＶ１をドロップする。他車アイコンＶ２の前方にドロップしてから追越が完了するまでの間、図３６の（ｃ）－図３６の（ｄ）に示すように、自車アイコンＶ１を再度、ドラッグして元の位置にドロップした場合、次のように処理する。元の位置にドロップした時点で、追越車線への車線変更中または車線変更が完了している場合、元の車線への車線変更指示コマンドを送信する。元の位置にドロップした時点で、他車を追い抜き中、追い抜き後、または元の車線に車線変更中の場合、エラーメッセージ（例えば、「制御中のためその操作はできません」、「しばらくお待ちください」等）を表示する。

　以上説明したように本実施の形態によれば、タッチパネルに表示されたアイコンをジェスチャで移動させることにより、自動運転コントローラ２０に種々の操作内容を伝達することができる。アイコンのジェスチャ操作は簡単な操作であり、運転者がステアリング５１を回す、アクセルペダル５３を踏み込むなどの従来の運転操作から解放される。運転者は、周辺状況の確認と操作指示をタッチパネル上で同時に行うことができるため、視線移動が発生しない。従って、誤操作する可能性が低下し、より安全な運転を実現できる。

　以上、本発明を実施の形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

　例えば、ＨＭＩコントローラ１０は専用のＬＳＩで実装する例を想定したが、表示装置３０として使用するスマートフォンやタブレット等の携帯機器内のＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）を用いてＨＭＩコントローラ１０の機能を実現してもよい。この場合、表示装置３０として使用する携帯機器と自動運転コントローラ２０とが直接接続されることになる。またＨＭＩコントローラ１０の機能を、カーナビゲーション装置やディスプレイオーディオ等のヘッドユニット内のＣＰＵで実現してもよい。またＨＭＩコントローラ１０を実装した専用のＬＳＩをヘッドユニット内に含める構成でもよい。

　上述の実施の形態では、自車アイコンを接触開始位置とするジェスチャ操作の例をいくつか挙げた。以下、上述した例も含めて、自車アイコンを接触開始位置とするジェスチャ操作の例を列挙する。

　自車アイコンにタッチした後、同一レーン内の障害物のない前方にスワイプするジェスチャ操作で速度アップを指示するコマンドが発行される。障害物のない後方にスワイプするジェスチャ操作で速度ダウンを指示するコマンドが発行される。この場合、別途にユーザインタフェースを用意する必要がなく、スペースを節約できる。自車アイコンにタッチした後、右または左にスワイプするジェスチャ操作で、同一車線内における右寄せまたは左寄せを指示するコマンドが発行される。この場合、操作入力と結果表示を同一画面で実現でき、スペースを節約できる。

　自車アイコンをドラッグして他車アイコンにドロップするジェスチャ操作で、他車への追従走行またはＡＣＣ（Ａｄａｐｔｉｖｅ　Ｃｒｕｉｓｅ　Ｃｏｎｔｒｏｌ）の開始を指示するコマンドが発行される。自車アイコンをドラッグして先行する他車アイコンの前にドロップするジェスチャ操作で追越を指示するコマンドが発行される。この場合、別途にユーザインタフェースを用意する必要がなく、スペースを節約できる。

　複数レーンがある場合において、自車アイコンをドラッグして他レーンにドロップするジェスチャ操作で他レーンへの車線変更を指示するコマンドが発行される。この場合、操作入力と結果表示を同一画面で実現でき、スペースを節約できる。他レーンに他車が存在する場合、他車アイコンの前にドロップするか他車アイコンの後ろにドロップするかによって、他車の前方に進入するか後方に侵入するかを指定できるようにしてもよい。右折専用レーンおよび／または左折専用レーンがある場合において、右折専用レーンまたは左折専用レーンに自車アイコンをドロップするジェスチャ操作で、レーン変更後に右折または左折を指示するコマンドが発行される。この場合、右折または左折操作を入力するステップを省くことができる。

　自車アイコンをドラッグして有料道路（例えば、高速道路）の入口アイコンにドロップするジェスチャ操作で、有料道路への進入を指示するコマンドが発行される。この場合、有料道路の入口アイコンに対して何を行うか入力するステップを省略できる。自車アイコンをドラッグして有料道路の入口レーンにドロップするジェスチャ操作で、有料道路への進入を指示するコマンドが発行される。この場合、操作入力と結果表示を同一画面で実現できる。

　自車アイコンをドラッグして有料道路の出口アイコンにドロップするジェスチャ操作で、有料道路からの退出を指示するコマンドが発行される。この場合、有料道路の出口アイコンに対して何を行うか入力するステップを省略できる。自車アイコンをドラッグして有料道路の出口レーンにドロップするジェスチャ操作で有料道路からの退出を指示するコマンドが発行される。この場合、操作入力と結果表示を同一画面で実現できる。

　高速道路の合流地点の加速車線において、自車アイコンをドラッグして走行車線にドロップするジェスチャ操作で、走行車線の後ろから来る車両の速度に応じて車両の前に侵入するか後ろに侵入するかを判断した上での合流制御を指示するコマンドが発行される。この場合、操作入力と結果表示を同一画面で実現できる。

　自車アイコンをドラッグして曲がりたい方向の道路にドロップするジェスチャ操作で、進路変更を指示するコマンドが発行される。この場合、操作入力と結果表示を同一画面で実現できる。例えば、右折レーンにドロップすると右折を指示するコマンドが発行される。自車アイコンをＵの字を描くようにドラッグ＆ドロップするジェスチャ操作で、Ｕターンを指示するコマンドが発行される。この場合、操作入力と結果表示を同一画面で実現できる。

　自車アイコンをドラッグして、目的地またはランドマークを示すアイコンにドラッグするジェスチャ操作で、目的地を変更する、または経由地を追加することを指示するコマンドが発行される。自宅を示すアイコンは画面上に常に表示するようにしておいてもよい。自車アイコンにタッチして進みたい方向にフリックするジェスチャ操作で、目的地を設定せずにフリックされた方向に向かって走行することを指示するコマンドが発行される。

　駐車場において、自車アイコンをドラッグして駐車したいブロック（店の入口付近などの大雑把な範囲で規定される）にドロップすると、ブロック内の空いている駐車スペースに駐車することを指示するコマンドが発行される。

　自車アイコンをドラッグして歩行者アイコン、ポストアイコン、バス停アイコンまたはタクシー乗り場アイコンにドロップすると、ドロップした場所に横付けすることを指示するコマンドが発行される。この場合、停車を指示するステップを減らすことができる。

　ドラッグ操作でＰＯＩ（Ｐｏｉｎｔ　ｏｆ　Ｉｎｔｅｒｅｓｔ）範囲を指定してもよい。例えば、探索範囲を指定した後、その範囲内のガソリンスタンドを探索することができる。自車アイコンをドラッグして、サービスエリアアイコンまたはパーキングエリアアイコンにドロップするジェスチャ操作で、駐車場を検索することを指示するコマンドが発行されてもよい。

　自車アイコンをドラッグして歩行者アイコンにドロップするジェスチャ操作で、歩行者をフロントランプで照らすことを指示するコマンドが発行される。この場合、フロントランプを点灯させる操作をするステップを減らすことができる。自車アイコンをドラッグして歩行者アイコンにドロップするジェスチャ操作で、歩行者に対してクラクションを鳴らすことを指示するコマンドが発行されてもよい。その際、歩行者の位置に応じてクラクションに指向性を持たせてもよい。この場合、クラクションを鳴らす操作をするステップを減らすことができる。

　自車アイコンをドラッグ中、または、ドロップ時、または、ドロップしてから制御コマンドに応じた処理が成立するまでの間、予想軌道を自動運転コントローラ２０から受け取り、表示部３１に描画するようにしてもよい。信号待ちであったり車線変更不可区間であったりして一時的に制御コマンドに応じた処理が不可の場合、画像生成部１２は、制御コマンドに応じた処理が成立するまで「トライ中」などの表示を行い、実行可能になったタイミングで予想軌道を描画するようにしてもよい。自車アイコンをドラッグ中、または、ドロップしてから制御コマンドに応じた処理が成立するまでの間、画像生成部１２はドロップしてから制御コマンドに応じた処理が成立するまでの予想所要時間や所要残時間を表示したりするようにしてもよい。一時的に制御コマンドに応じた処理が不可の場合、可能になるまで制御を続けるか、あきらめて制御を中止するか、あらかじめ設定できるようにしてもよい。あやまってドラッグ開始してしまったり、ドラッグ後に取り消し操作をしたいときのため、取り消し用のドロップ領域を設けてもよい。自車をドラッグ後、取り消し用のドロップ領域にドロップすることで、コマンドの発行を取りやめることができる。

　以上の説明において、自車アイコンをドロップした後、実行可能なアクションの候補が２種類以上ある場合はドロップ後に選択メニューを表示させてもよい。自車アイコンをドラッグしたとき、可能な全ての操作のガイダンスを画面上に表示させてもよい。自車アイコンをドラッグした後、確認ボタンを押下するまで、自車アイコンを離してもドラッグ状態を継続させてもよい。自車アイコンをドラッグした後、誤ってドロップした場合の訂正方法、確認方法をポップアップ画面で提示してもよい。自車アイコンをドラッグした後、ドロップできる位置に自車アイコンを移動させた場合とドロップできない位置に自車アイコンを移動させた場合とで異なる振動のハプティックフィードバックがかかるように、タッチパネルを設計してもよい。自車アイコンをドロップした際、画面の縮尺が自動調整されてもよい。例えば、少なくとも自車に最も近い他車が画面に含まれるように縮尺が自動調整されてもよい。これにより、他車などを簡単に見つけられ、より早く指示コマンドを発行できる。自車アイコンをドラッグした後、ドロップできる位置に自車アイコンを移動させた場合とドロップできない位置に自車アイコンを移動させた場合とで、自車アイコンの色が変わってもよい。自車アイコンをドラッグした際、ドロップ可能なエリアとドラッグ不可なエリアとで、異なる背景色としてもよい。なお、制御コマンドに対応するジェスチャ操作について、ドラッグアンドドロップなどで説明したが、タッチアンドタッチであってもよい。予め決められた操作であればよいが、運転者がカスタマイズ可能にしてもよい。また、表示部にて、ジェスチャ操作と制御コマンドの対応関係が分かるように、説明文やアイコンや矢印を表示したりガイドの表示や音声によるガイダンスをしたりしてもよい。

　なお、実施の形態は、以下の項目によって特定されてもよい。

　［項目１］
　表示部（３１）に、自車を表す自車オブジェクトと自車の周辺状況を含む画像を出力する画像出力部（１４ａ）と、
　表示部（３１）に表示された画像内の自車オブジェクトの移動を伴うユーザによるジェスチャ操作を受け付ける操作信号入力部（１４ｂ）と、
　ジェスチャ操作に応じたコマンドを、自動運転の制御を行う自動運転制御部（２０）に出力するコマンド出力部（１４ｃ）と、
　を有する運転支援装置（１０）。

　これにより、自動運転に係る操作を直感的かつ簡便に行うことができる。

　［項目２］
　表示部（３１）に表示された画像内において自車オブジェクトを、自車以外の所定の対象を表す非自車オブジェクトの位置に移動させるユーザのジェスチャ操作を操作信号入力部（１４ｂ）が受け付けると、コマンド出力部（１４ｃ）は、自車と所定の対象との相対的な位置関係を変更することを指示するコマンド、または自車から所定の対象へ通知を出力することを指示するコマンドを自動運転制御部（２０）に出力する項目１に記載の運転支援装置（１０）。

　自車以外の所定の対象は、他車、歩行者、障害物、または特定エリアであってもよい。

　これにより、自車以外の所定の対象に関連する操作を直感的かつ簡便に行うことができる。

　［項目３］
　表示部（３１）に表示された画像内において自車オブジェクトを、自車以外の所定の対象を表す非自車オブジェクトが存在しない位置に移動させるユーザのジェスチャ操作を操作信号入力部（１４ｂ）が受け付けると、コマンド出力部（１４ｃ）は、ジェスチャ操作の終点位置に対応する場所に自車を移動させることを指示するコマンドを自動運転制御部（２０）に出力する項目１に記載の運転支援装置（１０）。

　これにより、自車以外の所定の対象に関連しない操作（例えば、車線変更や進路変更など）を直感的かつ簡便に行うことができる。

　［項目４］
　表示部（３１）に表示された画像内において自車オブジェクトと、自車以外の所定の対象を表す非自車オブジェクトとの距離を変更するユーザのジェスチャ操作を操作信号入力部（１４ｂ）が受け付けると、コマンド出力部（１４ｃ）は、自車と所定の対象との距離を変更することを指示するコマンドを自動運転制御部（２０）に出力する項目１に記載の運転支援装置（１０）。

　これにより、自車と所定の対象との距離を変更する操作を直感的かつ簡便に行うことができる。

　［項目５］
　表示部（３１）に表示された画像内の自車オブジェクトと、画像内において自車以外の所定の対象を表す非自車オブジェクトとを入れ替えるユーザのジェスチャ操作を操作信号入力部（１４ｂ）が受け付けると、コマンド出力部（１４ｃ）は、自車と所定の対象との相対的な位置関係を変更することを指示するコマンドを自動運転制御部（２０）に出力する項目１に記載の運転支援装置（１０）。

　これにより、自車と所定の対象との相対的な位置関係を変更する操作を直感的かつ簡便に行うことができる。

　［項目６］
　自車と自車以外の所定の対象が連携して動作している状態において、表示部に表示された画像内の自車オブジェクトを、自車オブジェクトと、自車以外の所定の対象を表す非自車オブジェクトとを結ぶ仮想線の外に移動させるユーザのジェスチャ操作を操作信号入力部（１４ｂ）が受け付けると、コマンド出力部（１４ｃ）は、連携を解除することを指示するコマンドを自動運転制御部に出力する項目１に記載の運転支援装置（１０）。

　これにより、自車と所定の対象との連携を解除する操作を直感的かつ簡便に行うことができる。

　［項目７］
　コマンド出力部（１４ｃ）は、ジェスチャ操作を操作信号入力部（１４ｂ）が受け付けたときの自車の周辺状況に応じて、自動運転制御部（２０）に出力するコマンドの内容を変更する項目１に記載の運転支援装置（１０）。

　これにより、コンテキストに応じたコマンドを発行することができる。

　［項目８］
　画像出力部（１４ａ）は、操作信号入力部（１４ｂ）がユーザのジェスチャ操作を受付不可な期間において、自車オブジェクトの表示態様が、ユーザのジェスチャ操作を受付可能な期間の表示態様と異なる画像を表示部（３１）に出力する項目１から７のいずれかに記載の運転支援装置（１０）。

　これにより、ユーザはジェスチャ操作の入力が有効な期間か無効な期間かを容易に認識することができる。

　［項目９］
　画像出力部（１４ａ）は、自車以外の所定の対象を含む画像が表示部（３１）に表示されるよう、自車オブジェクト、所定の対象を表す非自車オブジェクト、及び自車の周辺状況のサイズを変更する項目１から８のいずれかに記載の運転支援装置（１０）。

　これにより、ユーザは非自車オブジェクトを含む画像を見ることができる。

　［項目１０］
　画像を表示する表示装置（３０）と、
　表示装置（３０）に画像を出力する運転支援装置（１０）と、を有し、
　運転支援装置（１０）は、
　表示装置（３０）に、自車を表す自車オブジェクトと自車の周辺状況を含む画像を出力する画像出力部（１４ａ）と、
　表示装置（３０）に表示された画像内の自車オブジェクトの移動を伴うユーザによるジェスチャ操作を受け付ける操作信号入力部（１４ｂ）と、
　ジェスチャ操作に応じたコマンドを、自動運転の制御を行う自動運転制御部（２０）に出力するコマンド出力部（１４ｃ）と、
　を含む運転支援システム（１０、３０）。

　［項目１１］
　表示部（３１）に、自車を表す自車オブジェクトと自車の周辺状況を含む画像を出力するステップと、
　表示部（３１）に表示された画像内の自車オブジェクトの移動を伴うユーザによるジェスチャ操作を受け付けるステップと、
　ジェスチャ操作に応じたコマンドを、自動運転の制御を行う自動運転制御部（２０）に出力するステップと、
　を有する運転支援方法。

　［項目１２］
　表示部（３１）に、自車を表す自車オブジェクトと自車の周辺状況を含む画像を出力する処理と、
　表示部（３１）に表示された画像内の自車オブジェクトの移動を伴うユーザによるジェスチャ操作を受け付ける処理と、
　ジェスチャ操作に応じたコマンドを、自動運転の制御を行う自動運転制御部（２０）に出力する処理と、
　をコンピュータに実行させる運転支援プログラム。

　［項目１３］
　表示部（３１）に、自車を表す自車オブジェクトと自車の周辺状況を含む画像を出力する画像出力部（１４ａ）と、
　表示部（３１）に表示された画像内の自車オブジェクトの移動を伴うユーザによるジェスチャ操作を受け付ける操作信号入力部（１４ｂ）と、
　ジェスチャ操作に応じたコマンドを出力するコマンド出力部（１４ｃ）と、
　出力されたコマンドを実行する自動運転制御部（２０）と、
　を有する自動運転車両（１）。

　本発明は、自動運転モードを搭載した車両に利用可能である。

　１　車両
　１０　運転支援装置（ＨＭＩコントローラ）
　１１　判定部
　１１ａ　自動運転制御コマンドテーブル
　１２　画像生成部
　１３　指示部
　１４　入出力部
　１４ａ　画像出力部
　１４ｂ　操作信号入力部
　１４ｃ　コマンド出力部
　１４ｄ　車両情報入力部
　２０　自動運転制御装置（自動運転コントローラ）
　２１　制御部
　２２　記憶部
　２３　入出力部
　３０　表示装置
　３１　表示部
　３２　入力部
　４０　検出部
　４１　位置情報取得部
　４２　センサ
　４３　速度情報取得部
　４４　地図情報取得部
　５０　運転操作部
　５１　ステアリング
　５２　ブレーキペダル
　５３　アクセルペダル
　５４　ウインカスイッチ

Claims

　自車を表す自車オブジェクトと当該自車の周辺状況を含む画像を表示部に出力する画像出力部と、
　前記表示部に表示された画像内の前記自車オブジェクトを前記自車以外の所定の対象を表す非自車オブジェクトの位置に移動させるジェスチャ操作を受け付ける操作信号入力部と、
　前記自車と前記所定の対象との相対的な位置関係を変更することを指示する第一のコマンド、または前記自車から前記所定の対象へ通知を出力することを指示する第二のコマンドを自動運転の制御を行う自動運転制御部に出力するコマンド出力部とを備える運転支援装置。
　自車を表す自車オブジェクトと当該自車の周辺状況を含む画像を表示部に出力する画像出力部と、
　前記表示部に表示された画像内の前記自車オブジェクトと当該画像内において前記自車以外の所定の対象を表す非自車オブジェクトとを入れ替えるジェスチャ操作を受け付ける操作信号入力部と、
　前記自車と前記所定の対象との相対的な位置関係を変更することを指示する第一のコマンドを自動運転の制御を行う自動運転制御部に出力するコマンド出力部とを備える運転支援装置。
　前記画像出力部は、前記操作信号入力部がユーザのジェスチャ操作を受付不可な期間において、前記自車オブジェクトの表示態様が、ユーザのジェスチャ操作を受付可能な期間の表示態様と異なる画像を前記表示部に出力する請求項１または２に記載の運転支援装置。
　前記画像出力部は、前記前記自車以外の所定の対象を含む画像が前記表示部に表示されるよう、前記自車オブジェクト、前記所定の対象を表す非自車オブジェクト、及び前記自車の周辺状況のサイズを変更する請求項１または２に記載の運転支援装置。
　自車を表す自車オブジェクトと当該自車の周辺状況を含む画像を表示部に出力するステップと、
　前記表示部に表示された画像内の前記自車オブジェクトを前記自車以外の所定の対象を表す非自車オブジェクトの位置に移動させるジェスチャ操作を受け付けるステップと、
　前記自車と前記所定の対象との相対的な位置関係を変更することを指示する第一のコマンド、または前記自車から前記所定の対象へ通知を出力することを指示する第二のコマンドを自動運転の制御を行う自動運転制御部に出力するステップとを備える運転支援方法。
　自車を表す自車オブジェクトと当該自車の周辺状況を含む画像を表示部に出力するステップと、
　前記表示部に表示された画像内の前記自車オブジェクトと当該画像内において前記自車以外の所定の対象を表す非自車オブジェクトとを入れ替えるジェスチャ操作を受け付けるステップと、
　前記自車と前記所定の対象との相対的な位置関係を変更することを指示する第一のコマンドを自動運転の制御を行う自動運転制御部に出力するステップとを備える運転支援方法。
　前記自車以外前記自車以外
　画像を表示する表示装置と、
　前記表示装置に画像を出力する運転支援装置と、を備え、
　前記運転支援装置は、
　自車を表す自車オブジェクトと当該自車の周辺状況を含む画像を前記表示装置に出力する画像出力部と、
　前記表示装置に表示された画像内の前記自車オブジェクトを前記自車以外の所定の対象を表す非自車オブジェクトの位置に移動させるジェスチャ操作を受け付ける操作信号入力部と、
　前記自車と前記所定の対象との相対的な位置関係を変更することを指示する第一のコマンド、または前記自車から前記所定の対象へ通知を出力することを指示する第二のコマンドを自動運転の制御を行う自動運転制御部に出力するコマンド出力部と、
　を含む運転支援システム。
　画像を表示する表示装置と、
　前記表示装置に画像を出力する運転支援装置と、を備え、
　前記運転支援装置は、
　自車を表す自車オブジェクトと当該自車の周辺状況を含む画像を前記表示装置に出力する画像出力部と、
　前記表示装置に表示された画像内の前記自車オブジェクトと当該画像内において前記自車以外の所定の対象を表す非自車オブジェクトとを入れ替えるジェスチャ操作を受け付ける操作信号入力部と、
　前記自車と前記所定の対象との相対的な位置関係を変更することを指示する第一のコマンドを自動運転の制御を行う自動運転制御部に出力するコマンド出力部と、
　を含む運転支援システム。
　自車を表す自車オブジェクトと当該自車の周辺状況を含む画像を表示部に出力する画像出力部と、
　前記表示部に表示された画像内の前記自車オブジェクトを前記自車以外の所定の対象を表す非自車オブジェクトの位置に移動させるジェスチャ操作を受け付ける操作信号入力部と、
　前記自車と前記所定の対象との相対的な位置関係を変更することを指示する第一のコマンド、または前記自車から前記所定の対象へ通知を出力することを指示する第二のコマンドを出力するコマンド出力部と、
　前記出力されたコマンドを実行する自動運転制御部と、
　を備える自動運転車両。
　自車を表す自車オブジェクトと当該自車の周辺状況を含む画像を表示部に出力する画像出力部と、
　前記表示部に表示された画像内の前記自車オブジェクトと当該画像内において前記自車以外の所定の対象を表す非自車オブジェクトとを入れ替えるジェスチャ操作を受け付ける操作信号入力部と、
　前記自車と前記所定の対象との相対的な位置関係を変更することを指示する第一のコマンドを出力するコマンド出力部と、
　前記出力された第一のコマンドを実行する自動運転制御部と、
　を備える自動運転車両。