JP5957744B1 - 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両 - Google Patents

運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両 Download PDF

Info

Publication number
JP5957744B1
JP5957744B1 JP2015152851A JP2015152851A JP5957744B1 JP 5957744 B1 JP5957744 B1 JP 5957744B1 JP 2015152851 A JP2015152851 A JP 2015152851A JP 2015152851 A JP2015152851 A JP 2015152851A JP 5957744 B1 JP5957744 B1 JP 5957744B1
Authority
JP
Japan
Prior art keywords
vehicle
sign
unit
command
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015152851A
Other languages
English (en)
Other versions
JP2017032412A (ja
Inventor
一成 山田
一成 山田
山地 治
治 山地
梓 五條
梓 五條
梶田 哲史
哲史 梶田
森 敏昭
敏昭 森
岡田 誠
誠 岡田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2015152851A priority Critical patent/JP5957744B1/ja
Priority to US15/501,176 priority patent/US10031519B2/en
Priority to DE112016003473.3T priority patent/DE112016003473T5/de
Priority to CN201680043551.3A priority patent/CN107851394B/zh
Priority to PCT/JP2016/003383 priority patent/WO2017022199A1/ja
Application granted granted Critical
Publication of JP5957744B1 publication Critical patent/JP5957744B1/ja
Publication of JP2017032412A publication Critical patent/JP2017032412A/ja
Priority to US16/039,149 priority patent/US10656639B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0016Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement characterised by the operator's input device
    • B60K35/10
    • B60K35/28
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K37/00Dashboards
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18Propelling the vehicle
    • B60W30/18009Propelling the vehicle related to particular drive situations
    • B60W30/18163Lane change; Overtaking manoeuvres
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • B60K2360/1438
    • B60K2360/171
    • B60K2360/175
    • B60K2360/31
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/215Selection or confirmation of options
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00Output or target parameters relating to a particular sub-units
    • B60W2710/20Steering systems

Abstract

【課題】運転者が車両に特定の運転操作を直感的かつ簡便に指示することができる技術を提供する。【解決手段】運転支援装置10において、画像出力部14aは、表示部31に、自車を表す自車オブジェクト及び標識を表す標識オブジェクトを含む画像を出力する。操作信号入力部14bは、表示部31に表示された画像内の自車オブジェクトを、標識オブジェクトの位置または標識オブジェクトを自車オブジェクトの位置に移動させるユーザの操作を受け付ける。コマンド出力部14cは、当該操作を受け付けると、標識オブジェクト内の表示内容に応じたコマンドを、自動運転の制御を行う自動運転コントローラ20に出力する。【選択図】図1

Description

本発明は、自動運転中に運転者が車両に対する運転操作の指示を支援する技術に関する。
近年、自動車の自動運転に関する開発が進められている。自動運転について、NHTSA(National Highway Traffic Safety Administration)が2013年に定義した自動化レベルは、自動化なし(レベル0)、特定機能の自動化(レベル1)、複合機能の自動化(レベル2)、半自動運転(レベル3)、完全自動運転(レベル4)に分類される。レベル1は加速・減速・操舵の内、1つを自動的に行う運転支援システムであり、レベル2は加速・減速・操舵の内、2つ以上を調和して自動的に行う運転支援システムである。いずれの場合も運転者による運転操作の関与が残る。自動化レベル4は加速・減速・操舵の全てを自動的に行う完全自動走行システムであり、運転者が運転操作に関与しない。自動化レベル3は加速・減速・操舵の全てを自動的に行うが、必要に応じて運転者が運転操作を行う準完全自動走行システムである。
自動運転の一形態として、運転者はステアリングやアクセルペダル等の既存の運転操作部を操作しないが、車両側にコマンドを発行することにより、車線変更、追越、追従走行などの特定の運転操作を車両側に指示する形態が考えられる。この形態では、誤操作が少ないユーザインタフェースが求められる。原画像から案内標識を切り出し、進行方向等に基づいて案内標識を選択的に表示するものが知られている(例えば、特許文献1参照)。
特開2014−074627号公報
ただし、自動運転に適用する場合、標識を確認した上で、さらに別の場所にある別の手段(ステアリング、アクセルなど)を使って進路を指示する手間がかかる。また、車線変更、追越、追従走行などの特定の運転操作ごとにスイッチを設ける設計では、車両周囲の状況を確認しながら手元を見ずにスイッチを操作する場合、誤操作する可能性がある。また、スイッチ操作と自動走行制御との対応づけが直感的でなく、多くのスイッチから指示を選択することやスイッチ数を減らして状況に応じて変更された機能を選択することは、複雑な作業であり、今まで運転していなかった人や、運転能力が低下してきていても運転を継続したい人などを含め幅広いユーザが、訓練をせずに自動運転車を利用できない、という課題がある。
本発明はこうした状況に鑑みなされたものであり、その目的は、運転者が車両に特定の運転操作を直感的かつ簡便に指示することができる技術を提供することにある。
上記課題を解決するために、本発明のある態様の運転支援装置は、表示部に、自車を表す自車オブジェクト及び標識情報を表す標識オブジェクトを含む画像情報を出力する画像出力部と、前記表示部に表示された画像内の前記自車オブジェクトを前記標識オブジェクトの位置に、または前記標識オブジェクトを前記自車オブジェクトの位置に移動させるユーザの操作信号を受け付ける操作信号入力部と、前記操作信号を受け付けると、前記標識オブジェクト内の表示内容に応じた自動運転制御コマンドを、自動運転の制御を行う自動運転制御部に出力するコマンド出力部と、を備える。
なお、以上の構成要素の任意の組み合わせ、本発明の表現を装置、システム、方法、プログラム、プログラムを記録した記録媒体、それらを搭載した自動運転車両などの間で変換したものもまた、本発明の態様として有効である。
本発明によれば、運転者が車両に特定の運転操作を直感的かつ簡便に指示することができる。
本発明の実施の形態に係る車両の構成を示すブロック図である。 図1の検出部、自動運転コントローラ、HMIコントローラ、表示部、及び入力部の基本シーケンスの一例を示す図である。 図1のHMIコントローラの処理を説明するための基本フローチャートの一例を示す図である。 受付モードの更新処理を説明するためのフローチャートである。 図3のステップS9において、道路案内標識を利用して特定の操作を指示するジェスチャ操作が入力される場合の決定処理の一例を示すフローチャートである。 ジェスチャ操作により道路案内標識の内容に応じたコマンドを発行する処理例を示すフローチャートである。 図7(a)−(b)は、交差点の行先案内標識を利用して進路変更指示コマンドまたはルート変更指示コマンドを発行する例を示す図である。 図8(a)−(b)は、車線案内標識を利用して進路変更指示コマンドまたはルート変更指示コマンドを発行する例を示す図である。 図9(a)−(b)は、有料道路の出口案内標識を利用して、経由地を設定する設定指示コマンドを発行する例を示す図である。 図10(a)−(b)は、有料道路の出口案内標識を利用して、経由地を設定する設定指示コマンドを発行する別の例を示す図である。 図11(a)−(b)は、駐車場案内標識を利用して目的地を設定する目的地設定指示コマンドを発行する例を示す図である。 図12(a)−(c)は、交差点の行先案内標識を利用して進路変更指示コマンドを発行する別の例を示す図である。 図13(a)−(b)は、車線上の案内標識を利用して車線変更指示コマンドと進路変更指示コマンドを発行する例を示す図である。
以下、本発明の実施の形態について図面を参照しながら説明する。図1は、本発明の実施の形態に係る車両1の構成を示すブロック図であり、自動運転に関連する構成である。自動運転モードを搭載した車両1(自車)は、運転支援装置10、自動運転制御装置20、表示装置30、検出部40及び運転操作部50を備える。
表示装置30は、表示部31及び入力部32を含む。表示装置30は、カーナビゲーションシステム、ディスプレイオーディオ等のヘッドユニットであってもよいし、スマートフォン、タブレット等の携帯端末機器であってもよいし、専用のコンソール端末装置であってもよい。
表示部31は液晶ディスプレイや有機ELディスプレイやヘッドアップディスプレイ(HUD)である。入力部32はユーザの入力を受け付けるユーザインタフェースである。表示部31と入力部32は一体化したタッチパネルディスプレイであってもよい。なお、タッチパネルまたはタッチパッド上での手の近接検知やホバー操作による指の位置検知を可能な近接タッチパネルのように、表示部から所定距離を離れた場所でのジェスチャ入力を受け付けられるものであってもよい。更に、入力部32は、マウス、スタイラスペン、トラックボール等のジェスチャ入力を補助する入力デバイスを備えていてもよい。また可視光または赤外線を発光するペンを使用してもよい。
なお、表示部31と入力部32が一体型のタッチパネルディスプレイではなく、物理的にセパレートであってもよい。例えば入力部32は、カメラ等のセンサを備え、空中ジェスチャ操作入力が可能な非接触型の入力デバイスであってもよい。例えば、対象を指さしでポイントし、親指と人差し指を近づけて閉じるジェスチャでドラッグ開始、親指と人差し指を離すジェスチャでドラッグ終了などの操作方法が考えられる。
運転支援装置10と表示装置30との間は、専用線やCAN(Controller Area Network)等の有線通信で接続されていても良いし、USB、Ethernet(登録商標)、Wi−Fi(登録商標)、Bluetooth(登録商標)等の有線通信または無線通信で接続されていても良い。
検出部40は、位置情報取得部41、センサ42、速度情報取得部43及び地図情報取得部44を含む。位置情報取得部41はGPS受信機から車両1の現在位置を取得する。センサ42は車外の状況および車両1の状態を検出するための各種センサの総称である。車外の状況を検出するためのセンサとして例えばカメラ、ミリ波レーダ、LIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、気温センサ、気圧センサ、湿度センサ、照度センサ等が搭載される。車外の状況とは、標識情報を含む自車の走行する道路状況や天候を含む環境及び自車の周辺状況が考えられる。なお、センサが検出できる車外の情報であれば何でもよい。なお、本実施の形態における標識情報とは、道路案内標識、交差点の行先案内標識、車線案内標識、有料道路の出口案内標識等を含むが、この限りではない。また車両1の状態を検出するためのセンサとして例えば、加速度センサ、ジャイロセンサ、地磁気センサ、傾斜センサ等が搭載される。速度情報取得部43は車速センサから車両1の現在速度を取得する。地図情報取得部44は、地図データベースから車両1の現在位置周辺の地図情報を取得する。地図データベースは、車両1内の記録媒体に記録されていてもよいし、使用時にネットワークを介して地図サーバからダウンロードしてもよい。
検出部40と自動運転制御装置20との間は、専用線やUSB、Ethernet(登録商標)、CAN(Controller Area Network)等の有線通信で接続される。なお検出部40が取得および検出したデータを、検出部40から運転支援装置10に直接出力可能な構成であってもよい。
運転操作部50は、ステアリング51、ブレーキペダル52、アクセルペダル53、及びウインカスイッチ54を含む。本実施の形態に係る自動運転モードでは、加速、減速、操舵、及びウインカ点滅が自動運転制御装置20による自動制御の対象であり、図1にはそれらの制御を手動で行う際の操作部を描いている。なお運転者が手動で運転操作部50を少し動かした情報を運転支援装置10に出力してもよい。
ステアリング51は車両を操舵するための操作部である。運転者によりステアリング51が回転されると、ステアリングアクチュエータを介して車両の進行方向が制御される。ステアリングアクチュエータはステアリングECU(Electronic Control Unit)により電子制御が可能である。
ブレーキペダル52は車両1を減速させるための操作部である。運転者によりブレーキペダル52が踏まれると、ブレーキアクチュエータを介して車両が減速される。ブレーキアクチュエータはブレーキECUにより電子制御が可能である。
アクセルペダル53は車両1を加速させるための操作部である。運転者によりアクセルペダル53が踏まれると、アクセルアクチュエータを介してエンジン回転数および/またはモータ回転数が制御される。純粋なエンジンカーではエンジン回転数が制御され、純粋な電気自動車ではモータ回転数が制御され、ハイブリッドカーではその両方が制御される。アクセルアクチュエータはエンジンECUおよび/またはモータECUにより電子制御が可能である。
ウインカスイッチ54は、車両の進路を外部に通知するためのウインカを点滅させるための操作部である。運転者によりウインカスイッチ54がオン/オフされると、ウインカコントローラを介してウインカが点灯/消灯される。ウインカコントローラは、ウインカランプへの給電を制御するリレー等の駆動回路を備える。
ステアリングECU、ブレーキECU、エンジンECU、モータECU、ウインカコントローラのそれぞれと自動運転制御装置20との間は、CANや専用線等の有線通信で接続される。ステアリングECU、ブレーキECU、エンジンECU、モータECU、ウインカコントローラはそれぞれ、ステアリング、ブレーキ、エンジン、モータ、ウインカランプの状態を示す状態信号を自動運転制御装置20に送信する。
自動運転モードにおいて、ステアリングECU、ブレーキECU、エンジンECU、モータECUは、自動運転制御装置20から供給される制御信号に応じて各アクチュエータを駆動する。手動運転モードにおいては、ステアリング51、ブレーキペダル52、アクセルペダル53のそれぞれから各アクチュエータに直接機械的に指示が伝達される構成であってもよいし、各ECUを介した電子制御が介在する構成であってもよい。ウインカコントローラは自動運転制御装置20から供給される制御信号、又はウインカスイッチ54からの指示信号に応じてウインカランプを点灯/消灯する。
自動運転制御装置20は、自動運転制御機能を実装した自動運転コントローラであり、制御部21、記憶部22及び入出力部23を備える。制御部21の構成はハードウェア資源とソフトウェア資源の協働、又はハードウェア資源のみにより実現できる。ハードウェア資源としてプロセッサ、ROM、RAM、その他のLSIを利用でき、ソフトウェア資源としてオペレーティングシステム、アプリケーション、ファームウェア等のプログラムを利用できる。記憶部22は、フラッシュメモリ等の不揮発性記録媒体を備える。入出力部23は、各種の通信フォーマットに応じた各種の通信制御を実行する。
制御部21は、検出部40や各種ECUから収集した各種パラメータ値を自動運転アルゴリズムに適用して、車両1の進行方向等の自動制御対象を制御するための制御値を算出する。制御部21は算出した制御値を、各制御対象のECU又はコントローラに伝達する。本実施の形態ではステアリングECU、ブレーキECU、エンジンECU、ウインカコントローラに伝達する。なお電気自動車やハイブリッドカーの場合、エンジンECUに代えて又は加えてモータECUに制御値を伝達する。
運転支援装置10は、車両1と運転者との間のインタフェース機能を実行するためのHMI(Human Machine Interface)コントローラであり、判定部11、生成部12、指示部13及び入出力部14を備える。判定部11、生成部12及び指示部13は、ハードウェア資源とソフトウェア資源の協働、又はハードウェア資源のみにより実現できる。ハードウェア資源としてプロセッサ、ROM、RAM、その他のLSIを利用でき、ソフトウェア資源としてオペレーティングシステム、アプリケーション、ファームウェア等のプログラムを利用できる。入出力部14は、各種の通信フォーマットに応じた各種の通信制御を実行する。入出力部14は、画像出力部14a、操作信号入力部14b、コマンド出力部14c、及び車両情報入力部14dを含む。画像出力部14aは、生成部12が生成した画像を表示部31に出力する。操作信号入力部14bは、入力部32に対してなされた運転者や乗員もしくは車外にいるユーザの操作による操作信号を受け付け、判定部11に出力する。コマンド出力部14cは、指示部13により指示されたコマンドを自動運転コントローラ20に出力する。車両情報入力部14dは、検出部40が取得した検出データや自動運転コントローラ20により生成された車両側の情報を受け付け、生成部12に出力する。
自動運転コントローラ20とHMIコントローラ10との間は直接、信号線で接続される。なおCANを介して接続する構成であってもよい。また自動運転コントローラ20とHMIコントローラ10を統合して1つのコントローラとする構成も可能である。
図2は、図1の検出部40、自動運転コントローラ20、HMIコントローラ10、表示部31、及び入力部32の基本シーケンスの一例を示す図である。検出部40は、自車位置情報、標識情報を含む自車走行道路情報、及び自車周辺情報を検出して自動運転コントローラ20に出力する(P1)。自動運転コントローラ20は、検出部40から取得した自車位置情報、自車走行道路情報、及び自車周辺情報をHMIコントローラ10に出力する(P2)。HMIコントローラ10は、自動運転コントローラ20から取得した情報をもとに、自車と自車の周辺状況を含む模式図を生成する(P3)。HMIコントローラ10は、生成した模式図を表示装置30に出力し、表示部31に表示させる(P4)。
表示部31に表示された模式図を見たユーザは、入力部32に接触する(P5)。表示部31は、接触を検出した座標データをHMIコントローラ10に出力する(P6)。HMIコントローラ10は、表示装置30から取得した座標データをもとにコマンドの種別を判定する(P7)。HMIコントローラ10は、一定時間が経過するまでは、追加入力の受け付けを行う(P8〜P12)。HMIコントローラ10はコマンドの判定後、コマンドの指示中であることを示す模式図を再生成する(P8)。HMIコントローラ10は、再生成した模式図を表示装置30に出力し、表示部31に表示させる(P9)。なおユーザの接触によるジェスチャ操作に該当するコマンドが存在しない場合は、エラーメッセージを含む模式図を生成して表示装置30に出力し、表示部31に表示させる。
コマンドの指示中であることを示す模式図を見たユーザが、入力部32に接触すると(P10)、表示部31は、接触を検出した座標データをHMIコントローラ10に出力する(P11)。HMIコントローラ10は、表示装置30から取得した座標データをもとに追加コマンド処理を実行する(P12)。HMIコントローラ10は、追加コマンド処理(P12)で新たなコマンドの入力がなかった場合は、P7で判定したコマンドを自動運転コントローラ20に発行する(P13、P14)。追加コマンド処理(P12)で新たなコマンドが入力された場合は、新たなコマンドを自動運転コントローラ20に発行する。新たに入力されたコマンドがキャンセルコマンドであった場合は、コマンド発行を取りやめる。新たなコマンドによる元のコマンドの上書き・キャンセル処理は、自動運転コントローラ20で行ってもよく、その場合、HMIコントローラ10は、P7、P12におけるコマンド判定処理後に自動運転コントローラ20へコマンドの送信を行い、自動運転コントローラ20内部の状態に応じて上書き・キャンセル処理を行う。
検出部40は定期的に、自車位置情報、自車走行道路情報、及び自車周辺情報を検出して自動運転コントローラ20に出力する(P15)。自動運転コントローラ20は当該情報をもとに、HMIコントローラ10から発行されたコマンドにより指示された制御が実行可能であるか否か判定する(P16)。実行可能である場合、自動運転コントローラ20は制御開始通知をHMIコントローラ10に出力する(P17)。HMIコントローラ10は制御開始通知を受けると、制御中であることを示すメッセージを含む模式図を再生成する(P18)。HMIコントローラ10は、再生成した模式図を表示装置30に出力し、表示部31に表示させる(P19)。図示しないが、自動運転コントローラ20が、検出部40や各種ECUから収集した各種パラメータ値を自動運転アルゴリズムに適用して、発行されたコマンドを遂行するための車両1の進行方向等の自動制御対象となる運転操作部50を制御する具体的な制御値を算出し、各制御対象のECU又はコントローラに伝達する。運転操作部50は具体的な制御値に基づき動作する。運転操作部50は、所定の制御値または検出部40の検出データが所定値(範囲)になり、自動運転コントローラ20が、発行されたコマンドの条件に満たしたと判断したら、コマンド実行完了と判断する。
HMIコントローラ10は、自動運転コントローラ20から制御完了通知を受けると、制御が完了したことを示すメッセージを含む模式図を生成して表示装置30に出力する。なお、ユーザから操作を受け付けない期間は、操作を受け付けないことを示すメッセージを含む模式図を生成して表示装置30に出力する。
図3は、図1のHMIコントローラ10の処理を説明するための基本フローチャートの一例を示す図である。HMIコントローラ10の判定部11は、運転モードが自動運転モードか手動運転モードであるかをチェックする(S1)。手動運転モードの場合(S2のN)、処理を終了する。自動運転モードの場合(S2のY)、以下のように処理される。
検出部40から自動運転コントローラ20に入力されるセンサ情報は随時更新されている(S3)。HMIコントローラ10の生成部12は、自動運転コントローラ20から入力される自車位置情報、標識情報を含む自車走行道路情報、及び自車周辺情報を基に自車と自車の周辺状況を含む模式図を生成し、生成した模式図を表示部31に描画する(S4)。判定部11は受付モードが、ユーザからの操作を受付可能な受付可モードか、ユーザからの操作を受付不可な受付不可モードであるかをチェックする(S5)。受付不可モードである場合(S6のN)、処理を終了する。受付可モードである場合(S6のY)、判定部11は入力部32に対するユーザによる接触があるか否か判定する(S7)。接触がない場合(S8のN)、後述する一定時間経過判定処理(S12)を実行する。接触がある場合(S8のY)、判定部11は、ユーザによるジェスチャ操作入力に応じて制御コマンドを決定する(S9)。この決定処理の詳細は後述する。
ステップS9で決定された制御コマンドがキャンセルコマンドでない場合(S10のN)、生成部12は表示部31にコマンド指示中を表示する(S11)。制御コマンドが決定されてから一定時間経過すると(S12のY)、ステップS9で決定された制御コマンドがある場合(S13のY)、表示部31に操作受付不可を表示し(S14)、判定部11は受付モードを受付可モードから受付不可モードに更新し(S15)、指示部13は、決定された制御コマンドを自動運転コントローラ20に出力する(S16)。一定時間が経過するまでは(S12のN)、ステップS3に遷移する。
ステップS10において、決定された制御コマンドがキャンセルコマンドである場合(S10のY)、キャンセルを表示し(S110)、処理を終了する。ステップS13において、ステップS9で決定された制御コマンドがない場合、入力エラーを表示し(S111)、処理を終了する。自動運転コントローラ20は、検出部40から自車位置情報、自車走行道路情報、及び自車周辺情報を定期的に検出している。周辺状況は刻々と変化するため、制御コマンドが自動運転コントローラ20に出力された後、制御コマンドが実行不能と判断される場合がある。例えば、追従指示後に、自車と他車の間に別の車が割り込んできた場合などである。自動運転コントローラ20により制御コマンドが実行可能と判断された場合(S17のY)、生成部12は表示部31に制御中であることを表示し(S18)、タイマを発動してカウントを開始する(S19)。自動運転コントローラ20により制御不能と判断された場合(S17のN)、生成部12は表示部31に制御不能エラーを表示する(S112)。
図4は、受付モードの更新処理を説明するためのフローチャートである。HMIコントローラ10の判定部11は、タイマのカウント値が設定値(例えば、10秒)に到達すると(S113のY)、受付モードを受付不可モードから受付可モードに更新する(S114)。なお、タイマのカウント値は自車の周辺状況に応じて変更してもよい。なお判定部11は、自動運転コントローラ20から制御完了を示す通知を受信するか、車両1の挙動から、制御コマンドに応じた制御が完了したと判断したとき、受付モードを受付不可モードから受付可モードに更新してもよい。
以下、本実施の形態では制御コマンドとして、道路案内標識を利用して特定の操作を指示する制御コマンドが発行される例を説明する。ユーザは、入力部32に対して、道路案内標識を利用して特定の操作を指示するジェスチャ操作を入力する。当該ジェスチャ操作の具体例は後述する。
図5は、図3のステップS9において、道路案内標識を利用して特定の操作を指示するジェスチャ操作が入力される場合の決定処理の一例を示すフローチャートである。HMIコントローラ10の判定部11は、接触開始位置に自車マークが存在するか否か判定する(S9a)。自車マークが存在しない場合(S9aのN)、判定部11は道路案内標識を利用しないその他の制御コマンドと判定する(S9b)。自車マークが存在する場合(S9aのY)、生成部12は、ドロップ可能エリアを模式図内に描画し、表示部31に表示させる(S9c)。その際、生成部12は模式図内に、道路案内標識のドロップ可能エリアを生成する。道路案内標識のドロップ可能エリアに関する情報は、あらかじめ用意されたローカルの地図情報データベース、またはネットワーク上の地図情報データベースから取得する。また、車載カメラによりライブ撮影された道路案内標識画像から画像認識技術を用いて、標識内の地名や矢印などのオブジェクト座標を取得してもよい。
判定部11は、入力部32で発生したタッチイベントを受信し(S9d)、タッチイベントの種別を判定する(S9e)。タッチイベントの種別が移動であった場合(S9eの移動)、生成部12は車両1の予測軌道/ルートの候補を模式図内に描画し、表示部31に表示させる(S9f)。
タッチイベントの種別が接触終了であった場合(S9eの接触終了)、判定部11は、接触終了位置が道路案内標識のエリアであるか否か判定する(S9g)。道路案内標識のエリアでない場合(S9gのN)、判定部11は道路案内標識を利用しないその他の制御コマンドと判定する(S9h)。接触終了位置が道路案内標識のエリアである場合(S9gのY)、判定部11は道路案内標識のエリアが、レーン案内または登坂レーンの標識のエリアであるか否か判定する(S9i)。レーン案内または登坂レーンの標識のエリアである場合(S9iのY)、該当するレーンが右折専用レーンまたは左折レーンであるか否か判定する(S9j)。右折専用レーンまたは左折レーンでない場合(S9jのN)、判定部11は当該レーンへの車線変更指示コマンドと判定する(S9k)。右折専用レーンまたは左折レーンである場合(S9jのY)、判定部11は当該レーンへの車線変更指示コマンドと、右折指示または左折指示コマンドと判定する(S9l)。
ステップS9iにおいて、ドロップされたエリアがレーン案内または登坂レーンの標識のエリアでない場合(S9iのN)、判定部11はドロップされたエリアが方向・方面を示す矢印が表示されたエリアであるか否か判定する(S9m)。方向・方面を示す矢印が表示されたエリアである場合(S9mのY)、判定部11は当該方向への進行方向変更指示コマンドと判定する(S9n)。ドロップされたエリアが方向・方面を示す矢印が表示されたエリアでない場合(S9mのN)、判定部11はドロップされたエリアが都市・地域を示す地名が表示されたエリアであるか否か判定する(S9o)。都市・地域を示す地名が表示されたエリアである場合(S9oのY)、判定部11は当該地名に対応する進行方向を地図情報データベースから取得する(S9p)。判定部11は取得した進行方向への進行方向変更指示コマンドと判定する(S9q)。
ステップS9oにおいて、ドロップされたエリアが都市・地域を示す地名が表示されたエリアでない場合(S9oのN)、判定部11はドロップされたエリアが道路名が表示されたエリアであるか否か判定する(S9r)。道路名が表示されたエリアである場合(S9rのY)、生成部12は上りと下りの選択を要求する画像(例えば、メニューやダイアログ)または音声を生成し、ユーザに通知する(S9s)。ユーザにより上りが選択された場合(S9tのY)、判定部11は上り方向への進行方向変更指示コマンドと判定する(S9u)。ユーザにより下りが選択された場合(S9tのN)、判定部11は下り方向への進行方向変更指示コマンドと判定する(S9v)。
ステップS9rにおいて、ドロップされたエリアが道路名が表示されたエリアでない場合(S9rのN)、判定部11はドロップされたエリアが有料道路の入口、出口、パーキングエリアまたはサービスエリアの標識が表示されたエリアであるか否か判定する(S9w)。有料道路の入口、出口、パーキングエリアまたはサービスエリアの標識が表示されたエリアである場合(S9wのY)、判定部11は、該当する有料道路の入口、出口、パーキングエリアまたはサービスエリアを経由地に設定するための設定指示コマンドと判定する(S9x)。
ドロップされたエリアが有料道路の入口、出口、パーキングエリアまたはサービスエリアの標識が表示されたエリアでない場合(S9wのN)、判定部11はドロップされたエリアが駐車場、待避所または非常電話の標識が表示されたエリアであるか否か判定する(S9y)。駐車場、待避所、または非常電話の標識が表示されたエリアである場合(S9yのY)、判定部11は、駐車場、待避所、または非常電話がある路肩を目的地に設定するための設定指示コマンドと判定する(S9z)。ステップS9yにおいて、ドロップされたエリアが駐車場、待避所、または非常電話の標識でない場合(S9yのN)、生成部12は表示部31にエラーメッセージを表示させる(S9zz)。
以下、道路案内標識を使用したジェスチャ操作の具体例を説明する。以下の例では表示部31及び入力部32が一体化したタッチパネルディスプレイを使用することを想定する。
図6は、ジェスチャ操作により道路案内標識の内容に応じたコマンドを発行する処理例を示すフローチャートである。HMIコントローラ10の判定部11は、タッチパネルからタッチイベント(DOWN)を受信する(S50)。タッチイベント(DOWN)は、タッチパネルに対する指やペンによる非接触状態から接触状態への変化を表すイベントである。判定部11は、タッチイベント(DOWN)が検出された座標が自車アイコンの表示エリアの内部であるか否か判定する(S51)。表示エリアの外である場合(S51のN)、道路案内標識の内容に応じた操作指示でないと判定して処理を終了する。
表示エリアの内部である場合(S51のY)、判定部11はタッチパネルからタッチイベント(MOVE)を受信する(S52)。タッチイベント(MOVE)は、タッチパネルのある点に対する指やペンによる接触状態から、別の点に対する接触状態への変化を表すイベントである。その後、判定部11はタッチパネルからタッチイベント(UP)を受信する(S53)。タッチイベント(UP)は、タッチパネルに対する指やペンによる接触状態から非接触状態への変化を表すイベントである。
判定部11は、タッチイベント(UP)が検出された座標が道路案内標識の表示エリアの内部であるか否か判定する(S54)。表示エリアの内部である場合(S54のY)、指示部13は当該道路案内標識の内容に応じたコマンドを自動運転コントローラ20に発行する(S55)。表示エリアの外である場合(S54のN)、道路案内標識の内容に応じた操作指示でないと判定して処理を終了する。
図7(a)−(b)は、交差点の行先案内標識を利用して進路変更指示コマンドまたはルート変更指示コマンドを発行する例を示す図である。図7(a)に示す模式図には、自車アイコンV1、道路、及び行先案内標識S1が表示されている。なお自車、道路、案内標識の表示形態には様々な表示形態が考えられる。実写映像を用いてもよいし、精緻なCG画像やアニメーション画像を用いてもよい。自車の表示もアイコンに限らず、よりシンプルなマークや文字で表示されてもよいし、実写映像で表示されてもよい。即ち、何らかの表示形態で画面内にオブジェクト表示されればよい。
運転者が交差点の行先案内標識S1内に表示されたいずれかの進路に進路変更したい場合、図7(a)に示すように自車アイコンV1をドラッグし、図7(b)に示すように自車アイコンV1を、行先案内標識S1内の所望の行先の地名「町田」N1上にドロップする。これにより、当該行先の進路への進路変更指示コマンドが発行される。または当該行先を経由地または目的地としたルートへのルート変更指示コマンドが発行される。
図8(a)−(b)は、車線案内標識を利用して進路変更指示コマンドまたはルート変更指示コマンドを発行する例を示す図である。運転者が車線案内標識S2a、S2bに表示されたいずれかの進路に進路変更したい場合、図8(a)に示すように自車アイコンV1をドラッグし、図8(b)に示すように自車アイコンV1を、所望の車線案内標識「相模原」S2b上にドロップする。これにより、当該行先の進路への進路変更指示コマンドが発行される。または当該行先を経由地または目的地としたルートへのルート変更指示コマンドが発行される。
図9(a)−(b)は、有料道路の出口案内標識を利用して、経由地を設定する設定指示コマンドを発行する例を示す図である。運転者が有料道路の次の出口から降りたい場合、図9(a)に示すように自車アイコンV1をドラッグし、図9(b)に示すように自車アイコンV1を、出口案内標識「横浜町田」S3上にドロップする。これにより、当該出口を経由地に設定する経由地設定指示コマンドが発行される。この経由地の設定によりルートが変更される場合、ルート変更指示コマンドも発行される。
図10(a)−(b)は、有料道路の出口案内標識を利用して、経由地を設定する設定指示コマンドを発行する別の例を示す図である。運転者が有料道路の所望の出口から降りたい場合、図10(a)に示すように自車アイコンV1をドラッグし、図10(b)に示すように自車アイコンV1を、複数の出口案内標識S4a、S4b、S4cの内、所望の出口案内標識「横浜町田」S4c上にドロップする。これにより、当該出口を経由地に設定する経由地設定指示コマンドが発行される。この経由地の設定によりルートが変更される場合、ルート変更指示コマンドも発行される。
図11(a)−(b)は、駐車場案内標識を利用して目的地を設定する目的地設定指示コマンドを発行する例を示す図である。運転者が自車を駐車場に駐車したい場合、図11(a)に示すように自車アイコンV1をドラッグし、図11(b)に示すように自車アイコンV1を、駐車場案内標識S5上にドロップする。これにより、当該駐車場を目的地に設定する目的地設定指示コマンドが発行される。目的地が設定されると自動運転コントローラ20は新たな目的地にリルートする。
図12(a)−(c)は、交差点の行先案内標識を利用して進路変更指示コマンドを発行する別の例を示す図である。運転者が交差点の行先案内標識S6内に表示されたいずれかの進路に進路変更したい場合、図12(a)に示すように自車アイコンV1をドラッグし、図12(b)に示すように自車アイコンV1を、行先案内標識S6内の道路名「行幸道路」R1上にドロップする。道路名に自車アイコンV1がドロップされると図12(c)に示すように当該道路の上り方面(町田方面)と下り方面(座間方面)の行先表示ウインドウR2が表示される。運転車は、行先表示ウインドウR2の上り方面か下り方面かをタッチする。これにより、タッチされた方面の進路への進路変更指示コマンドが発行される。
図13(a)−(b)は、車線上の案内標識を利用して車線変更指示コマンドと進路変更指示コマンドを発行する例を示す図である。運転者が右折したい場合、図13(a)に示すように自車アイコンV1をドラッグし、図13(b)に示すように自車アイコンV1を車線上の右折専用レーン標識M1上にドロップする。これにより、右折専用レーンへの車線変更指示コマンドと右折指示コマンドが発行される。
以上の例において、自車アイコンをドラッグしてからドロップするまでの間、生成部12は元の画像(移動前の自車アイコン)を模式図内に残し、ドロップされた時点で元の画像を消してもよい。また自車アイコンをドラッグしてからドロップするまでの間、生成部12は点線でドラッグの軌道を模式図内に描画してもよい。また自車アイコンをドラッグしてからドロップするまでの間、生成部12は道路の色を反転させ、ドロップされた時点で元の色に戻してもよい。
また自車アイコンをドラッグしてからドロップするまでの間、生成部12はドロップ不可エリア(反対車線など)があったり、操作(車線変更など)が不可なとき、自車アイコンの色を変更(反転、薄くなど)してもよい。ドロップされた時点で、元の自車位置に自車アイコンを戻し、「操作不可」などのエラーメッセージを表示してもよい。操作不可な場合の例として、後続車の接近、車線変更禁止エリア、制限速度オーバー等がある。
また自車アイコンをドラッグしてからドロップするまでの間、生成部12は、操作が不可なとき、道路など背景の色を変更(反転、薄くなど)してもよい。操作が可能な状況になれば、元の色に戻す。また自車アイコンをドラッグしてからドロップするまでの間、生成部12は、ドロップ不可エリアの色を変更する。また自車アイコンをドラッグしてからドロップするまでの間、生成部12は、ドロップ不可エリアがあったり、操作が不可なとき、エラー音や、振動を通知する。
また自車アイコンのドラッグを開始したとき操作開始が不可の場合、生成部12は自車アイコンの色を変更してもよい。またドラッグ操作(自車アイコンの移動)をできない状態にしてもよい。また「操作不可」などのエラーメッセージを表示してもよい。また自車アイコンのドラッグを開始したとき操作開始が不可の場合、生成部12は、道路など背景の色を変更してもよい。操作が可能な状況になれば、元の色に戻す。また自車アイコンのドラッグを開始したとき操作開始が不可の場合、生成部12は、ドラッグ操作(自車アイコンの移動)ができない状態で、エラー音や、振動を通知する。
自車アイコンをドロップしてから制御コマンドに応じた処理が完了するまでの間、生成部12は移動中の自車の状態をゴースト表示し、かつ自車の軌道を表示してもよい。また自車アイコンをドロップしてから自車が制御コマンドに応じた処理を完了するまでの間、生成部12は自車アイコンの表示状態(点滅、色変更、サイズ、位置等)を変更してもよい。また自車アイコンをドロップしてから制御コマンドに応じた処理が完了するまでの間、判定部11は、追加操作で次の指示をキューイング(現在の制御が完了後に行われる制御の予約)してもよい。
以上説明したように本実施の形態によれば、タッチパネルに表示されたアイコンをジェスチャで移動させることにより、自動運転コントローラ20に種々の操作内容を伝達することができる。アイコンのジェスチャ操作は簡単な操作であり、運転者がステアリング51を回す、アクセルペダル53を踏み込むなどの従来の運転操作から解放される。例えば、道路案内標識を含む模式図を表示し、自車アイコンを道路案内標識に移動させることにより、道路案内標識の内容に応じた操作を簡易に指示できる。運転者は、周辺状況の確認と操作指示をタッチパネル上で同時に行うことができるため、視線移動が発生しない。従って、誤操作する可能性が低下し、より安全な運転を実現できる。なお、上記制御コマンドを発行するために、上記操作以外の自車アイコンと標識とを紐付ける操作であってもよい。また、制御コマンドに対応するジェスチャ操作について、ドラッグアンドドロップなどで説明したが、タッチアンドタッチであってもよい。予め決められたジェスチャや操作であればよいが、運転者がカスタマイズ可能にしてもよい。また、ジェスチャ操作と制御コマンドの対応関係が分かるように、表示部31で説明文やアイコンや矢印を表示したりガイドの表示や音声によるガイダンスをしたりしてもよい。
以上、本発明を実施の形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
例えば、HMIコントローラ10は専用のLSIで実装する例を想定したが、表示装置30として使用するスマートフォンやタブレット等の携帯機器内のCPUを用いてHMIコントローラ10の機能を実現してもよい。この場合、表示装置30として使用する携帯機器と自動運転コントローラ20とが直接接続されることになる。またHMIコントローラ10の機能を、カーナビゲーション装置やディスプレイオーディオ等のヘッドユニット内のCPUで実現してもよい。またHMIコントローラ10を実装した専用のLSIをヘッドユニット内に含める構成でもよい。
また上述の実施の形態では、自車アイコンを道路案内標識を示す標識オブジェクトにドラッグ&ドロップすることにより、標識の表示内容に応じたコマンドを発行する例を説明した。この点、標識オブジェクトと自車アイコンにドラッグ&ドロップすることによっても同様に、標識の表示内容に応じたコマンドを発行することができる。
なお、実施の形態は、以下の項目によって特定されてもよい。
[項目1]
表示部(31)に、自車を表す自車オブジェクト及び標識を表す標識オブジェクトを含む画像を出力する画像出力部(14a)と、
前記表示部(31)に表示された画像内の前記自車オブジェクトを前記標識オブジェクトの位置に、または前記標識オブジェクトを前記自車オブジェクトの位置に移動させるユーザの操作を受け付ける操作信号入力部(14b)と、
前記操作を受け付けると、前記標識オブジェクト内の表示内容に応じたコマンドを、自動運転の制御を行う自動運転制御部(20)に出力するコマンド出力部(14c)と、
を備えることを特徴とする運転支援装置(10)。
「標識」は道路交通に関する標識であり、案内標識であってもよいし、交通標識であってもよい。
これにより、ユーザが標識の内容に応じた操作を直感的かつ簡便に行うことができる。
[項目2]
前記コマンド出力部(14c)は、前記自車オブジェクトが移動された前記標識オブジェクト内の表示内容により特定される場所を目的地または経由地に設定するコマンドを前記自動運転制御部(20)に出力することを特徴とする項目1に記載の運転支援装置(10)。
これにより、ユーザが目的地または経由地の設定操作を直感的かつ簡便に行うことができる。
[項目3]
前記コマンド出力部(14c)は、前記自車オブジェクトが移動された前記標識オブジェクト内の車線に前記自車を進入させることを指示するコマンドを前記自動運転制御部(20)に出力することを特徴とする項目1または2に記載の運転支援装置(10)。
「進入」には、右折、左折、Uターン、車線変更を含む。
これにより、ユーザが右折、左折、Uターン、車線変更を指示する操作を直感的かつ簡便に行うことができる。
[項目4]
前記表示部(31)に表示された画像内の前記自車オブジェクトを前記標識オブジェクト内の車線または道路名に移動させるユーザの操作を前記操作信号入力部(14b)が受け付けると、前記画像出力部(14a)は、前記車線の上り方向と下り方向を選択するための選択オブジェクトを含む画像を前記表示部(31)に出力することを特徴とする項目3に記載の運転支援装置(10)。
これにより、ユーザが別の道路に進路を変更する際、上り方向に行くか下り方向に行くかを直感的かつ簡便に指示することができる。
[項目5]
画像を表示する表示装置(30)と、
前記表示装置(30)に画像を出力する運転支援装置(10)と、を備え、
前記運転支援装置(10)は、
前記表示装置(30)に、自車を表す自車オブジェクト及び標識を表す標識オブジェクトを含む画像を出力する画像出力部(14a)と、
前記表示装置(30)に表示された画像内の前記自車オブジェクトを前記標識オブジェクトの位置に、または前記標識オブジェクトを前記自車オブジェクトの位置に移動させるユーザの操作を受け付ける操作信号入力部(14b)と、
前記操作を受け付けると、前記標識オブジェクト内の表示内容に応じたコマンドを、自動運転の制御を行う自動運転制御部(20)に出力するコマンド出力部(14c)と、
を含むことを特徴とする運転支援システム(10、30)。
これにより、ユーザが標識の内容に応じた操作を直感的かつ簡便に行うことができる。
[項目6]
表示部(31)に、自車を表す自車オブジェクト及び道路標識を表す標識オブジェクトを含む画像を出力するステップと、
前記表示部(31)に表示された画像内の前記自車オブジェクトを前記標識オブジェクトの位置に、または前記標識オブジェクトを前記自車オブジェクトの位置に移動させるユーザの操作を受け付けるステップと、
前記操作を受け付けると、前記標識オブジェクト内の表示内容に応じたコマンドを、自動運転の制御を行う自動運転制御部(20)に出力するステップと、
を備えることを特徴とする運転支援方法。
これにより、ユーザが標識の内容に応じた操作を直感的かつ簡便に行うことができる。
[項目7]
表示部(31)に、自車を表す自車オブジェクト及び標識を表す標識オブジェクトを含む画像を出力する処理と、
前記表示部(31)に表示された画像内の前記自車オブジェクトを前記標識オブジェクトの位置に、または前記標識オブジェクトを前記自車オブジェクトの位置に移動させるユーザの操作を受け付ける処理と、
前記操作を受け付けると、前記標識オブジェクト内の表示内容に応じたコマンドを、自動運転の制御を行う自動運転制御部(20)に出力する処理と、
をコンピュータに実行させることを特徴とする運転支援プログラム。
これにより、ユーザが標識の内容に応じた操作を直感的かつ簡便に行うことができる。
[項目8]
表示部(31)に、自車を表す自車オブジェクト及び標識を表す標識オブジェクトを含む画像を出力する画像出力部(14a)と、
前記表示部(31)に表示された画像内の前記自車オブジェクトを前記標識オブジェクトの位置に、または前記標識オブジェクトを前記自車オブジェクトの位置に移動させるユーザの操作を受け付ける操作信号入力部(14b)と、
前記操作を受け付けると、前記標識オブジェクト内の表示内容に応じたコマンドを出力するコマンド出力部(14c)と、
前記出力されたコマンドを実行する自動運転制御部(20)と、
を備えることを特徴とする自動運転車両(1)。
これにより、ユーザが標識の内容に応じた操作を直感的かつ簡便に行うことができる。
1 車両、 10 HMIコントローラ、 11 判定部、 12 生成部、 13 指示部、 14 入出力部、 20 自動運転コントローラ、 21 制御部、 22 記憶部、 23 入出力部、 30 表示装置、 31 表示部、 32 入力部、 40 検出部、 41 位置情報取得部、 42 センサ、 43 速度情報取得部、 44 地図情報取得部、 50 運転操作部、 51 ステアリング、 52 ブレーキペダル、 53 アクセルペダル、 54 ウインカスイッチ。
本発明は、自動運転モードを搭載した車両に利用可能である。

Claims (8)

  1. 表示部に、自車を表す自車オブジェクト及び標識情報を表す標識オブジェクトを含む画像情報を出力する画像出力部と、
    前記表示部に表示された画像内の前記自車オブジェクトを前記標識オブジェクトの位置に、または前記標識オブジェクトを前記自車オブジェクトの位置に移動させるユーザの操作信号を受け付ける操作信号入力部と、
    前記操作信号を受け付けると、前記標識オブジェクト内の表示内容に応じた自動運転制御コマンドを、自動運転の制御を行う自動運転制御部に出力するコマンド出力部と、
    を備える運転支援装置。
  2. 前記コマンド出力部は、前記自車オブジェクトが移動された前記標識オブジェクト内の表示内容により特定される場所を目的地または経由地に設定するコマンドを前記自動運転制御部に出力する請求項1に記載の運転支援装置。
  3. 前記コマンド出力部は、前記自車オブジェクトが移動された前記標識オブジェクト内の車線に前記自車を進入させることを指示するコマンドを前記自動運転制御部に出力する請求項1または2に記載の運転支援装置。
  4. 前記表示部に表示された画像内の前記自車オブジェクトを前記標識オブジェクト内の車線または道路名に移動させるユーザの操作信号を前記操作信号入力部が受け付けると、前記画像出力部は、前記車線の上り方向と下り方向を選択するための選択オブジェクトを含む画像情報を前記表示部に出力する請求項3に記載の運転支援装置。
  5. 画像を表示する表示装置と、
    前記表示装置に画像情報を出力する運転支援装置と、を備え、
    前記運転支援装置は、
    前記表示装置に、自車を表す自車オブジェクト及び標識情報を表す標識オブジェクトを含む画像情報を出力する画像出力部と、
    前記表示装置に表示された画像内の前記自車オブジェクトを前記標識オブジェクトの位置に、または前記標識オブジェクトを前記自車オブジェクトの位置に移動させるユーザの操作信号を受け付ける操作信号入力部と、
    前記操作信号を受け付けると、前記標識オブジェクト内の表示内容に応じた自動運転制御コマンドを、自動運転の制御を行う自動運転制御部に出力するコマンド出力部と、
    を含む運転支援システム。
  6. 表示部に、自車を表す自車オブジェクト及び標識情報を表す標識オブジェクトを含む画像を出力するステップと、
    前記表示部に表示された画像内の前記自車オブジェクトを前記標識オブジェクトの位置に、または前記標識オブジェクトを前記自車オブジェクトの位置に移動させるユーザの操作信号を受け付けるステップと、
    前記操作信号を受け付けると、記標識オブジェクト内の表示内容に応じた自動運転制御コマンドを、自動運転の制御を行う自動運転制御部に出力するステップと、
    を備える運転支援方法。
  7. 表示部に、自車を表す自車オブジェクト及び標識情報を表す標識オブジェクトを含む画像情報を出力する処理と、
    前記表示部に表示された画像内の前記自車オブジェクトを前記標識オブジェクトの位置に、または前記標識オブジェクトを前記自車オブジェクトの位置に移動させるユーザの操作信号を受け付ける処理と、
    前記操作信号を受け付けると、前記標識オブジェクト内の表示内容に応じた自動運転制御コマンドを、自動運転の制御を行う自動運転制御部に出力する処理と、
    をコンピュータに実行させる運転支援プログラム。
  8. 表示部に、自車を表す自車オブジェクト及び標識情報を表す標識オブジェクトを含む画像情報を出力する画像出力部と、
    前記表示部に表示された画像内の前記自車オブジェクトを前記標識オブジェクトの位置に、または前記標識オブジェクトを前記自車オブジェクトの位置に移動させるユーザの操作信号を受け付ける操作信号入力部と、
    前記操作信号を受け付けると、前記標識オブジェクト内の表示内容に応じた自動運転制御コマンドを出力するコマンド出力部と、
    前記出力されたコマンドを実行する自動運転制御部と、
    を備える自動運転車両。
JP2015152851A 2015-07-31 2015-07-31 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両 Active JP5957744B1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2015152851A JP5957744B1 (ja) 2015-07-31 2015-07-31 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
US15/501,176 US10031519B2 (en) 2015-07-31 2016-07-19 Driving support device, driving support system, and driving support method
DE112016003473.3T DE112016003473T5 (de) 2015-07-31 2016-07-19 Fahrunterstützungsvorrichtung, Fahrunterstützungssystem und Fahrunterstützungsverfahren
CN201680043551.3A CN107851394B (zh) 2015-07-31 2016-07-19 驾驶辅助装置、驾驶辅助系统、驾驶辅助方法以及自动驾驶车辆
PCT/JP2016/003383 WO2017022199A1 (ja) 2015-07-31 2016-07-19 運転支援装置、運転支援システム、運転支援方法及び自動運転車両
US16/039,149 US10656639B2 (en) 2015-07-31 2018-07-18 Driving support device, driving support system, and driving support method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015152851A JP5957744B1 (ja) 2015-07-31 2015-07-31 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016108680A Division JP6575915B2 (ja) 2016-05-31 2016-05-31 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両

Publications (2)

Publication Number Publication Date
JP5957744B1 true JP5957744B1 (ja) 2016-07-27
JP2017032412A JP2017032412A (ja) 2017-02-09

Family

ID=56513772

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015152851A Active JP5957744B1 (ja) 2015-07-31 2015-07-31 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両

Country Status (5)

Country Link
US (2) US10031519B2 (ja)
JP (1) JP5957744B1 (ja)
CN (1) CN107851394B (ja)
DE (1) DE112016003473T5 (ja)
WO (1) WO2017022199A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110235070A (zh) * 2016-11-30 2019-09-13 日产北美公司 用以解决问题情况的自主车辆的遥操作
US10591912B2 (en) 2016-11-30 2020-03-17 Nissan North America, Inc. Autonomous vehicle remote support mapping interface
US11016485B2 (en) 2019-03-28 2021-05-25 Nissan North America, Inc. Teleoperation for exception handling

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5910904B1 (ja) * 2015-07-31 2016-04-27 パナソニックIpマネジメント株式会社 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
JP5957744B1 (ja) * 2015-07-31 2016-07-27 パナソニックIpマネジメント株式会社 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
US9581460B1 (en) * 2016-03-29 2017-02-28 Toyota Motor Engineering & Manufacturing North America, Inc. Apparatus and method transitioning between driving states during navigation for highly automated vechicle
JP2018117320A (ja) * 2017-01-20 2018-07-26 株式会社東芝 電子ミラーの映像合成装置及び映像合成方法
JP6916647B2 (ja) * 2017-03-31 2021-08-11 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
DE102017208931A1 (de) * 2017-05-29 2018-11-29 Volkswagen Aktiengesellschaft Verfahren zum Unterstützen eines Benutzers eines Kraftfahrzeugs bei einer Fahrt mit dem Kraftfahrzeug, Navigationseinrichtung und Kraftfahrzeug
JP6690612B2 (ja) * 2017-08-03 2020-04-28 トヨタ自動車株式会社 車外報知装置
US10647332B2 (en) * 2017-09-12 2020-05-12 Harman International Industries, Incorporated System and method for natural-language vehicle control
JP7035447B2 (ja) 2017-10-26 2022-03-15 トヨタ自動車株式会社 車両制御装置
JP6745294B2 (ja) * 2018-04-04 2020-08-26 本田技研工業株式会社 車両制御装置、車両制御方法、及びプログラム
CN108334258A (zh) * 2018-04-11 2018-07-27 刘连波 自动驾驶辅助装置、自动驾驶辅助方法以及自动驾驶辅助系统
US10838417B2 (en) 2018-11-05 2020-11-17 Waymo Llc Systems for implementing fallback behaviors for autonomous vehicles
JP7206886B2 (ja) 2018-12-19 2023-01-18 トヨタ自動車株式会社 運転支援装置
JP7205236B2 (ja) * 2019-01-08 2023-01-17 トヨタ自動車株式会社 リモート走行システム及びリモート走行アプリケーションソフト
JP7268481B2 (ja) * 2019-05-22 2023-05-08 トヨタ自動車株式会社 情報処理装置、自律走行車両、情報処理方法及びプログラム
DE102020106380A1 (de) 2020-03-09 2021-09-09 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Betreiben eines Fahrerassistenzsystems eines Fahrzeugs durch Anpassung von angezeigten Objekten, Fahrerassistenzsystem sowie Fahrzeug
KR20220085860A (ko) * 2020-12-15 2022-06-23 현대자동차주식회사 차량 및 그 제어방법
CN113840766B (zh) * 2021-03-31 2022-10-18 华为技术有限公司 一种车辆控制方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005041433A (ja) * 2003-07-25 2005-02-17 Denso Corp 車両誘導装置、および経路判定プログラム
JP2006284218A (ja) * 2005-03-31 2006-10-19 Xanavi Informatics Corp ナビゲーション装置
JP2008032629A (ja) * 2006-07-31 2008-02-14 Xanavi Informatics Corp ナビゲーション装置
JPWO2008072412A1 (ja) * 2006-12-11 2010-03-25 三菱電機株式会社 ナビゲーション装置
JPWO2008099483A1 (ja) * 2007-02-15 2010-05-27 パイオニア株式会社 表示制御装置、表示制御方法、表示制御プログラムおよび記録媒体
JP2010198578A (ja) * 2009-02-27 2010-09-09 Toyota Motor Corp 移動軌跡生成装置
JP2015011458A (ja) * 2013-06-27 2015-01-19 株式会社デンソー 車両用情報提供装置
WO2015141308A1 (ja) * 2014-03-18 2015-09-24 日産自動車株式会社 車両操作装置

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005307491A (ja) * 2004-04-20 2005-11-04 Yanmar Co Ltd 作業車用誤操作防止装置
JP2008072412A (ja) * 2006-09-14 2008-03-27 Fujifilm Corp 撮影装置および方法並びにプログラム
JP2008099483A (ja) * 2006-10-13 2008-04-24 Matsushita Electric Ind Co Ltd モータ駆動装置およびこれを具備する冷蔵庫
JP5182260B2 (ja) * 2009-09-02 2013-04-17 ソニー株式会社 操作制御装置、操作制御方法およびコンピュータプログラム
JP2011095238A (ja) * 2009-09-30 2011-05-12 Aisin Aw Co Ltd ナビゲーション装置及びプログラム
FR2957266B1 (fr) * 2010-03-11 2012-04-20 Parrot Procede et appareil de telecommande d'un drone, notamment d'un drone a voilure tournante.
US8924150B2 (en) * 2010-12-29 2014-12-30 GM Global Technology Operations LLC Vehicle operation and control system for autonomous vehicles on full windshield display
US20120310465A1 (en) * 2011-06-02 2012-12-06 Harman International Industries, Incorporated Vehicle nagivation system
WO2013021685A1 (ja) * 2011-08-11 2013-02-14 株式会社Jvcケンウッド 車両における操作対象装置の制御装置及び制御方法、ステアリングホイール
DE102012002304A1 (de) * 2012-02-06 2013-08-08 Audi Ag Vorrichtung zum automatisierten Führen eines Kraftwagens und Verfahren zum Betreiben eines Kraftwagens
US9429943B2 (en) * 2012-03-05 2016-08-30 Florida A&M University Artificial intelligence valet systems and methods
US20130289858A1 (en) * 2012-04-25 2013-10-31 Alain Anthony Mangiat Method for controlling and communicating with a swarm of autonomous vehicles using one-touch or one-click gestures from a mobile platform
CN104487308B9 (zh) * 2012-07-24 2017-07-07 丰田自动车株式会社 驾驶辅助装置
US9633564B2 (en) * 2012-09-27 2017-04-25 Google Inc. Determining changes in a driving environment based on vehicle behavior
JP2014074627A (ja) 2012-10-03 2014-04-24 Denso Corp 車両用ナビゲーションシステム
US9747898B2 (en) * 2013-03-15 2017-08-29 Honda Motor Co., Ltd. Interpretation of ambiguous vehicle instructions
US9536427B2 (en) * 2013-03-15 2017-01-03 Carnegie Mellon University Methods and software for managing vehicle priority in a self-organizing traffic control system
US9126694B2 (en) * 2013-07-15 2015-09-08 Honeywell International Inc. Display systems and methods for providing displays having an integrated autopilot functionality
US9505383B2 (en) * 2013-10-29 2016-11-29 Medallion Instrumentation Systems, Llc Removable vehicle operation instrument with remote control capability and related method
EP2902864B1 (en) * 2014-01-30 2017-05-31 Volvo Car Corporation Control arrangement for autonomously driven vehicle
US9843647B2 (en) * 2014-02-25 2017-12-12 Here Global B.V. Method and apparatus for providing selection and prioritization of sensor data
CN103971128B (zh) * 2014-05-23 2017-04-05 北京理工大学 一种面向无人驾驶车的交通标志识别方法
CN107077780A (zh) * 2014-10-30 2017-08-18 三菱电机株式会社 车载设备、自动驾驶车辆、自动驾驶辅助系统、自动驾驶监视装置、道路管理装置及自动驾驶信息收集装置
CN107249954B (zh) * 2014-12-29 2020-07-10 罗伯特·博世有限公司 用于使用个性化驾驶简档操作自主车辆的系统和方法
JP5910904B1 (ja) * 2015-07-31 2016-04-27 パナソニックIpマネジメント株式会社 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
JP5957744B1 (ja) * 2015-07-31 2016-07-27 パナソニックIpマネジメント株式会社 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
JP5957745B1 (ja) * 2015-07-31 2016-07-27 パナソニックIpマネジメント株式会社 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
JP5910903B1 (ja) * 2015-07-31 2016-04-27 パナソニックIpマネジメント株式会社 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
US10824985B2 (en) * 2016-03-09 2020-11-03 Amazon Technologies, Inc. Interactive mobile pick-up unit notification
US9581460B1 (en) * 2016-03-29 2017-02-28 Toyota Motor Engineering & Manufacturing North America, Inc. Apparatus and method transitioning between driving states during navigation for highly automated vechicle
KR101747375B1 (ko) * 2016-09-12 2017-06-15 아이피랩 주식회사 차량 원격제어 장치 및 방법, 원격 운전 시스템
US10257582B2 (en) * 2017-03-17 2019-04-09 Sony Corporation Display control system and method to generate a virtual environment in a vehicle
US10496362B2 (en) * 2017-05-20 2019-12-03 Chian Chiu Li Autonomous driving under user instructions
US10246015B2 (en) * 2017-08-25 2019-04-02 Cubic Corporation Remote operation of non-driving functionality autonomous vehicles

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005041433A (ja) * 2003-07-25 2005-02-17 Denso Corp 車両誘導装置、および経路判定プログラム
JP2006284218A (ja) * 2005-03-31 2006-10-19 Xanavi Informatics Corp ナビゲーション装置
JP2008032629A (ja) * 2006-07-31 2008-02-14 Xanavi Informatics Corp ナビゲーション装置
JPWO2008072412A1 (ja) * 2006-12-11 2010-03-25 三菱電機株式会社 ナビゲーション装置
JPWO2008099483A1 (ja) * 2007-02-15 2010-05-27 パイオニア株式会社 表示制御装置、表示制御方法、表示制御プログラムおよび記録媒体
JP2010198578A (ja) * 2009-02-27 2010-09-09 Toyota Motor Corp 移動軌跡生成装置
JP2015011458A (ja) * 2013-06-27 2015-01-19 株式会社デンソー 車両用情報提供装置
WO2015141308A1 (ja) * 2014-03-18 2015-09-24 日産自動車株式会社 車両操作装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110235070A (zh) * 2016-11-30 2019-09-13 日产北美公司 用以解决问题情况的自主车辆的遥操作
JP2019537155A (ja) * 2016-11-30 2019-12-19 ニッサン ノース アメリカ,インク 問題の状況に対処するための自律走行車の遠隔操作
US10591912B2 (en) 2016-11-30 2020-03-17 Nissan North America, Inc. Autonomous vehicle remote support mapping interface
JP2020513621A (ja) * 2016-11-30 2020-05-14 ニッサン ノース アメリカ,インク 自律走行車の遠隔サポートマッピングインターフェース
US10705539B2 (en) 2016-11-30 2020-07-07 Nissan North America, Inc. Tele-operation of autonomous cars to negotiate problem situations
CN110235070B (zh) * 2016-11-30 2020-11-10 日产北美公司 用以解决问题情况的自主车辆的遥操作
US11307597B2 (en) 2016-11-30 2022-04-19 Nissan North America, Inc. Tele-operation of autonomous cars to negotiate problem situations
US11378952B2 (en) 2016-11-30 2022-07-05 Nissan North America, Inc. Autonomous vehicle remote support mapping interface
US11016485B2 (en) 2019-03-28 2021-05-25 Nissan North America, Inc. Teleoperation for exception handling

Also Published As

Publication number Publication date
DE112016003473T5 (de) 2018-04-12
CN107851394B (zh) 2021-12-28
US10031519B2 (en) 2018-07-24
US20180321673A1 (en) 2018-11-08
JP2017032412A (ja) 2017-02-09
US20170364066A1 (en) 2017-12-21
CN107851394A (zh) 2018-03-27
WO2017022199A1 (ja) 2017-02-09
US10656639B2 (en) 2020-05-19

Similar Documents

Publication Publication Date Title
JP5957744B1 (ja) 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
JP5910904B1 (ja) 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
JP5957745B1 (ja) 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
CN107851395B (zh) 驾驶辅助装置、驾驶辅助系统、驾驶辅助方法、自动驾驶车辆以及非暂时性的记录介质
JP5945999B1 (ja) 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
US10017189B2 (en) Driving support device, driving support system, and driving support method
JP6621032B2 (ja) 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
JP6575915B2 (ja) 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
JP6090727B2 (ja) 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
JP6681604B2 (ja) 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
JP6671019B2 (ja) 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム、自動運転車両及び自動運転制御システム
JP6558738B2 (ja) 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160531

R151 Written notification of patent or utility model registration

Ref document number: 5957744

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

SZ03 Written request for cancellation of trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z03