JP6575818B2 - 運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、車両、運転支援システム、プログラム - Google Patents

運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、車両、運転支援システム、プログラム Download PDF

Info

Publication number
JP6575818B2
JP6575818B2 JP2016062683A JP2016062683A JP6575818B2 JP 6575818 B2 JP6575818 B2 JP 6575818B2 JP 2016062683 A JP2016062683 A JP 2016062683A JP 2016062683 A JP2016062683 A JP 2016062683A JP 6575818 B2 JP6575818 B2 JP 6575818B2
Authority
JP
Japan
Prior art keywords
driving
automation level
driving behavior
automation
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016062683A
Other languages
English (en)
Other versions
JP2017174355A (ja
Inventor
江村 恒一
恒一 江村
本村 秀人
秀人 本村
サヒム コルコス
サヒム コルコス
好秀 澤田
好秀 澤田
勝長 辻
勝長 辻
森 俊也
俊也 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2016062683A priority Critical patent/JP6575818B2/ja
Priority to DE112017001551.0T priority patent/DE112017001551T5/de
Priority to PCT/JP2017/005216 priority patent/WO2017163667A1/ja
Priority to CN201780019526.6A priority patent/CN108885836B/zh
Priority to US16/084,585 priority patent/US20190071101A1/en
Publication of JP2017174355A publication Critical patent/JP2017174355A/ja
Application granted granted Critical
Publication of JP6575818B2 publication Critical patent/JP6575818B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09Driving style or behaviour
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062Adapting control system settings
    • B60W2050/0075Automatic parameter input, automatic initialising or calibrating means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062Adapting control system settings
    • B60W2050/0075Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0083Setting, resetting, calibration
    • B60W2050/0088Adaptive recalibration
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/10Historical data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle

Description

本発明は、車両、車両に設けられる運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、運転支援システム、プログラムに関する。
自動運転車両は、車両の周囲の状況を検知し、運転行動を自動的に実行することによって走行する。このような自動運転車両には、乗員が即座に自動運転車両の行動を変更するための車両操作装置が搭載される。車両操作装置は、実行可能な運転行動を提示し、乗員に運転行動を選択させる(例えば、特許文献1参照)。
国際公開第15/141308号パンフレット
自動運転車両の自動化システムでは、時々刻々と変化する車両の周辺の状況、あるいは車両の周辺の状況を検知するためのセンサの性能限界などのために、提示された実行可能な運転行動の信頼度がゆらぐ。このような信頼度のゆらぎを把握しないまま、提示された実行可能な運転行動を乗員が選択した場合、自動化システムへの不信が生ずるおそれがある。また、一貫したインタフェースによって、自動化システムの判断結果を報知すると、運転者に対し、信頼度の低い判断結果からシステムへの不信を招いたり、信頼度の高い判断結果からシステムへ過信を招いたりする。さらに、信頼度の高い判断結果を都度運転者に対応を問い合せるのは煩わしく感じさせたり、煩わしく感じた運転者が逆に大事な対応をすべき判断結果を見落としてしまったりするおそれがある。
本発明はこうした状況に鑑みなされたものであり、その目的は、提示する情報の信頼度に応じて適切に知らせる技術を提供することにある。
上記課題を解決するために、本発明のある態様の運転支援装置は、車両によって過去になされた複数の運転行動のそれぞれに対応した、複数の特徴量および複数の環境パラメータのうちの少なくとも1つが入力パラメータとして入力されることにより構築された運転行動モデルを用いた推定結果である複数種類の運転行動のそれぞれに対応した信頼度の偏り度および難易度をもとに、複数段階定義された自動化レベルのうちの1つの自動化レベルを選択する自動化レベル判定部と、複数段階定義された自動化レベルのそれぞれに対応した出力テンプレートのうち、自動化レベル判定部において選択した1つの自動化レベルに対応した出力テンプレートに、複数種類の運転行動を適用することによって、提示情報を生成する生成部と、生成部において生成した提示情報を出力する出力部と、を備える。
本発明の別の態様は、自動運転制御装置である。この装置は、車両によって過去になされた複数の運転行動のそれぞれに対応した、複数の特徴量および複数の環境パラメータのうちの少なくとも1つが入力パラメータとして入力されることにより構築された運転行動モデルを用いた推定結果である複数種類の運転行動のそれぞれに対応した信頼度の偏り度および難易度をもとに、複数段階定義された自動化レベルのうちの1つの自動化レベルを選択する自動化レベル判定部と、複数段階定義された自動化レベルのそれぞれに対応した出力テンプレートのうち、自動化レベル判定部において選択した1つの自動化レベルに対応した出力テンプレートに、複数種類の運転行動を適用することによって、提示情報を生成する生成部と、生成部において生成した提示情報を出力する出力部と、複数種類の運転行動のうちの1つの運転行動をもとに、車両の自動運転を制御する自動運転制御部と、を備える。
本発明のさらに別の態様は、車両である。この車両は、運転支援装置を備える車両であって、運転支援装置は、車両によって過去になされた複数の運転行動のそれぞれに対応した、複数の特徴量および複数の環境パラメータのうちの少なくとも1つが入力パラメータとして入力されることにより構築された運転行動モデルを用いた推定結果である複数種類の運転行動のそれぞれに対応した信頼度の偏り度および難易度をもとに、複数段階定義された自動化レベルのうちの1つの自動化レベルを選択する自動化レベル判定部と、複数段階定義された自動化レベルのそれぞれに対応した出力テンプレートのうち、自動化レベル判定部において選択した1つの自動化レベルに対応した出力テンプレートに、複数種類の運転行動を適用することによって、提示情報を生成する生成部と、生成部において生成した提示情報を出力する出力部と、を備える。
本発明のさらに別の態様は、運転支援システムである。この運転支援システムは、車両によって過去になされた複数の運転行動のそれぞれに対応した、複数の特徴量および複数の環境パラメータのうちの少なくとも1つが入力パラメータとして入力されることにより構築された運転行動モデルを生成するサーバと、サーバにおいて生成した運転行動モデルを受信する運転支援装置とを備える。運転支援装置は、運転行動モデルを用いた推定結果である複数種類の運転行動のそれぞれに対応した信頼度の偏り度および難易度をもとに、複数段階定義された自動化レベルのうちの1つの自動化レベルを選択する自動化レベル判定部と、複数段階定義された自動化レベルのそれぞれに対応した出力テンプレートのうち、自動化レベル判定部において選択した1つの自動化レベルに対応した出力テンプレートに、複数種類の運転行動を適用することによって、提示情報を生成する生成部と、生成部において生成した提示情報を出力する出力部と、を備える。
本発明のさらに別の態様は、運転支援方法である。この方法は、 車両によって過去になされた複数の運転行動のそれぞれに対応した、複数の特徴量および複数の環境パラメータのうちの少なくとも1つが入力パラメータとして入力されることにより構築された運転行動モデルを用いた推定結果である複数種類の運転行動のそれぞれに対応した信頼度の偏り度および難易度をもとに、複数段階定義された自動化レベルのうちの1つの自動化レベルを選択するステップと、複数段階定義された自動化レベルのそれぞれに対応した出力テンプレートのうち、選択した1つの自動化レベルに対応した出力テンプレートに、複数種類の運転行動を適用することによって、提示情報を生成するステップと、生成した提示情報を出力するステップと、を備える。
なお、以上の構成要素の任意の組合せ、本発明の表現を装置、システム、方法、プログラム、プログラムを記録した記録媒体、本装置を搭載した車両などの間で変換したものもまた、本発明の態様として有効である。
本発明によれば、提示する情報の信頼度に応じて適切に知らせることができる。
実施の形態に係る車両の構成を示す図である。 図1の車両の室内を模式的に示す図である。 図1の制御部の構成を示す図である。 図3の自動化レベル判定部の動作概要を示す図である。 図3の出力テンプレート記憶部に記憶される出力テンプレートの構成を示す図である。 図3の出力テンプレート記憶部に記憶される別の出力テンプレートの構成を示す図である。 図3の出力テンプレート記憶部に記憶されるさらに別の出力テンプレートの構成を示す図である。 図8(a)−(b)は、図3の生成部において生成される提示情報の構成を示す図である。 図3の表示制御部による出力手順を示すフローチャートである。
本発明を具体的に説明する前に、概要を述べる。本実施の形態は、自動車の自動運転に関する。特に、本実施の形態は、車両の運転行動に関する情報を車両の乗員(例えば運転者)との間でやり取りするためのHMI(Human Machine Interface)を制御する装置(以下「運転支援装置」とも呼ぶ。)に関する。本実施の形態における各種の用語は次のように定義される。「運転行動」は、車両の走行中または停止時の操舵や制動などの作動状態、もしくは自動運転制御に係る制御内容を含んでおり、例えば、定速走行、加速、減速、一時停止、停止、車線変更、進路変更、右左折、駐車などである。また、運転行動は、巡航(車線維持で車速維持)、車線維持、先行車追従、追従時のストップアンドゴー、車線変更、追越、合流車両への対応、高速道への進入と退出を含めた乗換(インターチェンジ)、合流、工事ゾーンへの対応、緊急車両への対応、割込み車両への対応、右左折専用レーンへの対応、歩行者・自転車とのインタラクション、車両以外の障害物回避、標識への対応、右左折・Uターン制約への対応、車線制約への対応、一方通行への対応、交通標識への対応、交差点・ランドアバウトへの対応などであってもよい。
「運転行動推定エンジン」として、DL(Deep Learning:深層学習)、ML(Machine Learning:機械学習)、フィルタ等のいずれか、あるいはそれらの組合せが使用される。Deep Learningは、例えば、CNN(Convolutional Neural Network:畳み込みニューラルネットワーク)、RNN(Recurrent Neural Network:リカレント・ニューラル・ネットワーク)である。また、Machine Learningは、例えば、SVM(Support Vector Machine)である。さらに、フィルタは、例えば、協調フィルタリングである。
「運転行動モデル」は、運転行動推定エンジンに応じて一意に定められる。DLの場合の運転行動モデルは学習されたニューラルネットワーク(Neural Network)であり、SVMの場合の運転行動モデルは学習された予測モデルであり、協調フィルタリングの場合の運転行動モデルは走行環境データと運転行動データとを紐付けたデータである。ルールの場合の運転行動モデルは入力と出力とを紐付けたデータである。
このような定義のもと、ここでは、機械学習等により生成した運転行動モデルを用いて運転行動が導出される。運転行動の信頼度は、車両の周囲の状況、センサの性能限界、それまでの学習内容に応じて変化する。予測された運転行動の信頼度が高い場合、運転者はそれにしたがえばよいが、運転行動の信頼度が低い場合、運転者はそれにしたがわない方がよいこともある。そのため、運転行動を提示する場合に、それの信頼度も運転者に把握させることが望ましい。そのため、本実施の形態では、それぞれの運転行動モデルの信頼度により出力方法を変える。なお、信頼度とは、導出された運転行動の確からしさを示しており、DLの場合に推定結果の累積値に相当し、SVMの場合に信頼値(confidence value)に相当し、協調フィルタリングの場合に相関度に相当する。ルールの場合にルールの信頼度に相当する。
以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、以下に説明する各実施の形態は一例であり、本発明はこれらの実施の形態により限定されるものではない。
図1は、実施の形態に係る車両100の構成を示し、特に自動運転に関する構成を示す。車両100は、自動運転モードで走行可能であり、報知装置2、入力装置4、無線装置8、運転操作部10、検出部20、自動運転制御装置30、運転支援装置40を含む。図1に示す各装置の間は、専用線あるいはCAN(Controller Area Network)等の有線通信で接続されてもよい。また、USB(Universal Serial Bus)、Ethernet(登録商標)、Wi−Fi(登録商標)、Bluetooth(登録商標)等の有線通信または無線通信で接続されてもよい。
報知装置2は、車両100の走行に関する情報を運転者に報知する。報知装置2は、例えば、車内に設置されているカーナビゲーションシステム、ヘッドアップディスプレイ、センターディスプレイ、ステアリングホイール、ピラー、ダッシュボード、メータパネル周りなどに設置されているLEDなどの発光体などのような情報を表示する表示部である。また、報知装置2は、情報を音声に変換して運転者に報知するスピーカであってもよいし、あるいは、運転者が感知できる位置(例えば、運転者の座席、ステアリングホイールなど)に設けられる振動体であってもよい。さらに、報知装置2は、これらの組合せであってもよい。入力装置4は、乗員による操作入力を受けつけるユーザインタフェース装置である。例えば入力装置4は、運転者が入力した自車の自動運転に関する情報を受けつける。入力装置4は、受けつけた情報を操作信号として運転支援装置40に出力する。
図2は、車両100の室内を模式的に示す。報知装置2は、ヘッドアップディスプレイ(HUD)2aであってもよく、センターディスプレイ2bであってもよい。入力装置4は、ステアリング11に設けられた第1操作部4aであってもよく、運転席と助手席との間に設けられた第2操作部4bであってもよい。なお、報知装置2と入力装置4は一体化されてもよく、例えばタッチパネルディスプレイとして実装されてもよい。車両100には、自動運転に関する情報を音声にて乗員へ提示するスピーカ6がさらに設けられてもよい。この場合、運転支援装置40は、自動運転に関する情報を示す画像を報知装置2に表示させ、それとともに、またはそれに代えて、自動運転に関する情報を示す音声をスピーカ6から出力させてもよい。図1に戻る。
無線装置8は、携帯電話通信システム、WMAN(Wireless Metropolitan Area Network)等に対応しており、無線通信を実行する。具体的に説明すると、無線装置8は、ネットワーク302を介してサーバ300と通信する。サーバ300は車両100外部の装置であり、運転行動学習部310を含む。運転行動学習部310については後述する。なお、サーバ300と運転支援装置40は、運転支援システム500に含められる。
運転操作部10は、ステアリング11、ブレーキペダル12、アクセルペダル13、ウィンカスイッチ14を備える。ステアリング11、ブレーキペダル12、アクセルペダル13、ウィンカスイッチ14は、ステアリングECU、ブレーキECU、エンジンECUとモータECUとの少なくとも一方、ウィンカコントローラにより電子制御が可能である。自動運転モードにおいて、ステアリングECU、ブレーキECU、エンジンECU、モータECUは、自動運転制御装置30から供給される制御信号に応じて、アクチュエータを駆動する。またウィンカコントローラは、自動運転制御装置30から供給される制御信号に応じてウィンカランプを点灯あるいは消灯する。
検出部20は、車両100の周囲状況および走行状態を検出する。検出部20は、例えば、車両100の速度、車両100に対する先行車両の相対速度、車両100と先行車両との距離、車両100に対する側方車線の車両の相対速度、車両100と側方車線の車両との距離、車両100の位置情報を検出する。検出部20は、検出した各種情報(以下、「検出情報」という)を自動運転制御装置30、運転支援装置40に出力する。検出部20は、位置情報取得部21、センサ22、速度情報取得部23、地図情報取得部24を含む。
位置情報取得部21は、GPS受信機から車両100の現在位置を取得する。センサ22は、車外の状況および車両100の状態を検出するための各種センサの総称である。車外の状況を検出するためのセンサとして例えばカメラ、ミリ波レーダ、LIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、気温センサ、気圧センサ、湿度センサ、照度センサ等が搭載される。車外の状況は、車線情報を含む自車の走行する道路状況、天候を含む環境、自車周辺状況、近傍位置にある他車(隣接車線を走行する他車等)を含む。なお、センサ22が検出できる車外の情報であれば何でもよい。また車両100の状態を検出するためのセンサ22として例えば、加速度センサ、ジャイロセンサ、地磁気センサ、傾斜センサ等が搭載される。
速度情報取得部23は、車速センサから車両100の現在速度を取得する。地図情報取得部24は、地図データベースから車両100の現在位置周辺の地図情報を取得する。地図データベースは、車両100内の記録媒体に記録されていてもよいし、使用時にネットワークを介して地図サーバからダウンロードしてもよい。
自動運転制御装置30は、自動運転制御機能を実装した自動運転コントローラであり、自動運転における車両100の行動を決定する。自動運転制御装置30は、制御部31、記憶部32、I/O部33を備える。制御部31の構成はハードウェア資源とソフトウェア資源の協働、またはハードウェア資源のみにより実現できる。ハードウェア資源としてプロセッサ、ROM(Read Only Memory)、RAM(Random Access Memory)、その他のLSIを利用でき、ソフトウェア資源としてオペレーティングシステム、アプリケーション、ファームウェア等のプログラムを利用できる。記憶部32は、フラッシュメモリ等の不揮発性記録媒体を備える。I/O部33は、各種の通信フォーマットに応じた通信制御を実行する。例えば、I/O部33は、自動運転に関する情報を運転支援装置40に出力するとともに、制御コマンドを運転支援装置40から入力する。また、I/O部33は、検出情報を検出部20から入力する。
制御部31は、運転支援装置40から入力した制御コマンド、検出部20あるいは各種ECUから収集した各種情報を自動運転アルゴリズムに適用して、車両100の進行方向等の自動制御対象を制御するための制御値を算出する。制御部31は算出した制御値を、各制御対象のECUまたはコントローラに伝達する。本実施の形態ではステアリングECU、ブレーキECU、エンジンECU、ウィンカコントローラに伝達する。なお電気自動車あるいはハイブリッドカーの場合、エンジンECUに代えてまたは加えてモータECUに制御値を伝達する。
運転支援装置40は、車両100と運転者との間のインタフェース機能を実行するHMIコントローラであり、制御部41、記憶部42、I/O部43を備える。制御部41は、HMI制御等の各種データ処理を実行する。制御部41は、ハードウェア資源とソフトウェア資源の協働、またはハードウェア資源のみにより実現できる。ハードウェア資源としてプロセッサ、ROM、RAM、その他のLSIを利用でき、ソフトウェア資源としてオペレーティングシステム、アプリケーション、ファームウェア等のプログラムを利用できる。
記憶部42は、制御部41により参照され、または更新されるデータを記憶する記憶領域である。例えばフラッシュメモリ等の不揮発の記録媒体により実現される。I/O部43は、各種の通信フォーマットに応じた各種の通信制御を実行する。I/O部43は、操作入力部50、画像・音声出力部51、検出情報入力部52、コマンドIF53、通信IF56を備える。
操作入力部50は、入力装置4に対してなされた運転者あるいは乗員もしくは車外にいるユーザの操作による操作信号を入力装置4から受信し、制御部41へ出力する。画像・音声出力部51は、制御部41が生成した画像データあるいは音声メッセージを報知装置2へ出力して表示させる。検出情報入力部52は、検出部20による検出処理の結果であり、車両100の現在の周囲状況および走行状態を示す情報(以下、「検出情報」と呼ぶ)を検出部20から受信し、制御部41へ出力する。
コマンドIF53は、自動運転制御装置30とのインタフェース処理を実行し、行動情報入力部54とコマンド出力部55を含む。行動情報入力部54は、自動運転制御装置30から送信された車両100の自動運転に関する情報を受信し、制御部41へ出力する。コマンド出力部55は、自動運転制御装置30に対して自動運転の態様を指示する制御コマンドを、制御部41から受けつけて自動運転制御装置30へ送信する。
通信IF56は、無線装置8とのインタフェース処理を実行する。通信IF56は、制御部41から出力されたデータを無線装置8へ送信し、無線装置8から車外の装置へ送信させる。また、通信IF56は、無線装置8により転送された、車外の装置からのデータを受信し、制御部41へ出力する。
なお、ここでは、自動運転制御装置30と運転支援装置40は別個の装置として構成される。変形例として、図1の破線で示すように、自動運転制御装置30と運転支援装置40を1つのコントローラに統合してもよい。言い換えれば、1つの自動運転制御装置が、図1の自動運転制御装置30と運転支援装置40の両方の機能を備える構成であってもよい。
図3は、制御部41の構成を示す。制御部41は、運転行動推定部70、表示制御部72を含む。運転行動推定部70は、運転行動モデル80、推定部82、ヒストグラム生成部84を含み、表示制御部72は、自動化レベル判定部90、出力テンプレート記憶部92、生成部94、出力部96を含む。
運転行動推定部70は、車両100が実行しうる複数の運転行動の候補のうち、現在の状況において実現可能な運転行動を判定するために、予め学習により構築されたニューラルネットワーク(NN)を使用する。ここで、実現可能な運転行動は複数であってもよく、運転行動を判定することは運転行動を推定することともいえる。
運転行動推定部70での処理には、図1のサーバ300における運転行動学習部310も関連するので、ここでは、運転行動学習部310の処理をまず説明する。運転行動学習部310は、複数の運転者の運転履歴と走行履歴の少なくとも1つをパラメータとしてニューラルネットワークに入力する。また、運転行動学習部310は、ニューラルネットワークからの出力が、入力したパラメータに対応した教師付けデータに一致するように、ニューラルネットワークの重みを最適化する。運転行動学習部310は、このような処理を繰り返し実行することによって、運転行動モデル80を生成する。つまり、運転行動モデル80は、重みが最適化されたニューラルネットワークである。サーバ300は、運転行動学習部310において生成した運転行動モデル80をネットワーク302、無線装置8を介して運転支援装置40に出力する。なお、運転行動学習部310は、新たなパラメータをもとに運転行動モデル80を更新するが、更新された運転行動モデル80は、リアルタイムに運転支援装置40へ出力されてもよいし、遅延をもって運転支援装置40へ出力されてもよい。
運転行動学習部310によって生成され、かつ運転行動推定部70に入力された運転行動モデル80は、複数の運転者の運転履歴と走行履歴の少なくとも1つから構築したニューラルネットワークである。また、運転行動モデル80は、複数の運転者の走行履歴と走行履歴から構築したニューラルネットワークを、特定の運転者の走行履歴と走行履歴を用いた転移学習により、構築し直したニューラルネットワークであってもよい。ニューラルネットワークの構築には公知の技術が使用されればよいので、ここでは説明を省略する。なお、図3の運転行動推定部70には1つの運転行動モデル80が含まれているが、運転者、乗員、走行シーン、天候、国ごとに複数の運転行動モデル80が運転行動推定部70に含まれてもよい。
推定部82は、運転行動モデル80を用いて、運転行動を推定する。ここで、運転履歴は、車両100によって過去になされた複数の運転行動のそれぞれに対応した複数の特徴量(以下、「特徴量セット」という)を示す。運転行動に対応した複数の特徴量は、例えば、車両100によって当該運転行動がなされた時点から所定時間前の時点における車両100の走行状態を示す量である。特徴量は、例えば、同乗者数、車両100の速さ、ハンドルの動き、ブレーキの度合い、アクセルの度合いなどである。運転履歴は、運転特性モデルといわれてもよい。そのため、特徴量は、例えば、速度に関する特徴量、ステアリングに関する特徴量、操作タイミングに関する特徴量、車外センシングに関する特徴量、または車内センシングに関する特徴量等である。これらの特徴量は、図1の検出部20によって検出されて、I/O部43経由で推定部82に入力される。また、これらの特徴量は、複数の運転者の走行履歴と走行履歴に加えられ、新たにニューラルネットワークの再構築に用いてもよい。さらに、これらの特徴量は、特定の運転者の走行履歴と走行履歴に加えられ、新たにニューラルネットワークの再構築に用いてもよい。
走行履歴は、車両100によって過去になされた複数の運転行動のそれぞれに対応した複数の環境パラメータ(以下、「環境パラメータセット」という)を示す。運転行動に対応した複数の環境パラメータは、例えば、車両100によって当該運転行動がなされた時点から所定時間前の時点における車両100の環境(周囲の状況)を示すパラメータである。環境パラメータは、例えば、自車両の速度、自車両に対する先行車両の相対速度、および先行車両と自車両との車間距離などである。また、これらの環境パラメータは、図1の検出部20によって検出されて、I/O部43経由で推定部82に入力される。また、これらの環境パラメータは、複数の運転者の走行履歴と走行履歴に加えられ、新たにニューラルネットワークの再構築に用いてもよい。さらに、これらの環境パラメータは、特定の運転者の走行履歴と走行履歴に加えられ、新たにニューラルネットワークの再構築に用いてもよい。
推定部82は、運転履歴あるいは走行履歴に含まれる特徴量セットあるいは環境パラメータを入力パラメータとして取得する。推定部82は、運転行動モデル80のニューラルネットワークに入力パラメータを入力し、ニューラルネットワークからの出力を推定結果としてヒストグラム生成部84に出力する。
ヒストグラム生成部84は、推定部82から、運転行動と、各運転行動に対応する推定結果とを取得し、その運転行動に対する推定結果の累積値を示すヒストグラムを生成する。そのため、ヒストグラムには、複数種類の運転行動と、各運転行動に対応した累積値とが含まれる。ここで、累積値とは、運転行動に対する推定結果が導出された回数を累積した値である。ヒストグラム生成部84は、生成したヒストグラムを自動化レベル判定部90に出力する。
自動化レベル判定部90は、ヒストグラム生成部84からヒストグラム、つまり複数種類の運転行動と、各運転行動に対応した累積値とを入力し、それらをもとに自動化レベルを特定する。ここで、自動化レベルは、どの程度まで運転者が交通状況を監視する必要があるのか、またどの範囲内で運転者が車両の操作の責任をもつのかに応じて複数段階定義される。つまり、自動化レベルは、何をすべきかを決定し、それを実行するとき、人と自動化システムはどのように協調できるかについての概念である。自動化レベルは、例えば、稲垣,“人と機械の共生のデザイン 「人間中心の自動化」を探る」”,pp.111〜118,森北出版、T.B.Sheridan, Telerobotics, “Automation, and Human Supervisory Control”, MIT Press, 1992., T.Inagaki, et al, “Trust, self‐confidence and authority in human‐machine systems,” Proc. IFAC HMS, 1998.に開示されている。
ここで、自動化レベルは、例えば、11段階で定義されている。自動化レベル「1」では、コンピュータの支援なしにすべてを人間が決定・実行する。自動化レベル「2」では、コンピュータはすべての選択肢を提示し、人間はそのうちのひとつを選択して実行する。自動化レベル「3」では、コンピュータは可能な選択肢をすべて人間に提示するとともに、その中のひとつを選んで提案し、それを実行するか否かは人間が決定する。自動化レベル「4」では、コンピュータは可能な選択肢の中からひとつを選んでから、それを人間に提案し、それを実行するか否かは人間が決定する。自動化レベル「5」では、コンピュータはひとつの案を人間に提示し、人間が了承すれば、コンピュータが実行する。
自動化レベル「6」では、コンピュータはひとつの案を人間に提示し、人間が一定時間以内に実行中止を指令しない限り、コンピュータはその案を実行する。自動化レベル「6.5」では、コンピュータはひとつの案を人間に提示すると同時に、その案を実行する。自動化レベル「7」では、コンピュータがすべてを行い、何を実行したか人間に報告する。自動化レベル「8」では、コンピュータがすべてを決定・実行し、人間に問われれば、何を実行したか人間に報告する。自動化レベル「9」では、コンピュータがすべてを決定・実行し、何を実行したか人間に報告するのは、必要性をコンピュータが認めたときのみである。自動化レベル「10」では、コンピュータがすべてを決定し、実行する。このように最も低い自動化レベル「1」では、自動化がなされておらず、完全に手動であり、最も高い自動化レベル「10」では、完全に自動化がなされている。つまり、自動化レベルが高くなるほど、コンピュータによる処理が支配的になる。
ここでは、自動化レベル判定部90での処理を順に説明する。まず、自動化レベル判定部90は、ヒストグラムの累積値の和の中央値と、各運転行動の累積値との差分値を二乗する。これは、差分がプラスマイナス両方の値となるので、中央値との距離を導出するためである。次に、自動化レベル判定部90は、各運転行動の二乗値の差からヒストグラムの形の偏り度、つまり各運転行動の累積値が集中している程度を示す偏り度を導出する。例えば、各運転行動の二乗値が所定の範囲内であれば、ヒストグラムの形の偏り度は小さい。一方、少なくとも1つの運転行動の二乗値がその他の二乗値に比べて所定値以上大きい場合には、ヒストグラムの形の偏り度が大きい。また、自動化レベル判定部90は、ヒストグラムの形の偏り度が大きい場合、累積値が高い運転行動のヒストグラムから順に、累積値から残りの運転行動の累積値の中央値を引いた値をピーク度として算出する。自動化レベル判定部90は、ピーク度が所定値より大きいものをピークとしてカウントし、ピーク数を算出する。
このように、自動化レベル判定部90は、機械学習等により生成した運転行動モデルを用いた推定結果である複数種類の運転行動のそれぞれに対応した信頼度である累積値をもとに、偏り度とピーク数とを導出する。さらに、自動化レベル判定部90は、偏り度とピーク数とをもとに、複数段階定義された自動化レベルのうちの1つの自動化レベルを選択する。例えば、自動化レベル判定部90は、運転行動数が「0」である場合、自動化レベル「1」を選択する。また、自動化レベル判定部90は、偏り度が小さい場合、自動化レベル「2」を選択する。また、自動化レベル判定部90は、ピーク数が2以上の場合、自動化レベル「3」を選択し、ピーク数が1の場合、自動化レベル3〜10のいずれかを選択する。ここで、自動化レベル判定部90は、偏り度あるいはピーク度の所定値に応じて、自動化レベル3〜10のいずれかを選択する。自動化レベル判定部90は、選択した自動化レベルと、ヒストグラムに含まれた複数種類の運転行動とを生成部94に通知する。
図4は、自動化レベル判定部90の動作概要を示す。ここでは、ヒストグラム生成部84から入力の一例として、第1ヒストグラム200、第2ヒストグラム202が示される。比較を簡易にするために、第1ヒストグラム200、第2ヒストグラム202には、運転行動A〜Eが共通して含まれるが、互いに異なった運転行動が含まれてもよい。第1ヒストグラム200では、運転行動Aに対する累積値が、他の運転行動に対する累積値よりも突出して大きい。そのため、第1ヒストグラム200における偏り度は大きくなる。一方、第2ヒストグラム202では、累積値が突出して大きい運転行動が含まれていない。そのため、第2ヒストグラム202における偏り度は小さくなる。偏り度が大きい方の第1ヒストグラム200に対して、自動化レベル「6.5」が選択され、偏り度が小さい方の第2ヒストグラム202に対して、自動化レベル「2」が選択される。これは、突出した累積値を含むことによって偏り度が大きいほど、運転行動の選択の信頼度が高いためである。図3に戻る。
出力テンプレート記憶部92は、複数段階定義された自動化レベルのそれぞれに対応した出力テンプレートを記憶する。出力テンプレートとは、運転行動推定部70において推定された運転行動を運転者に示すためのフォーマットである。出力テンプレートは、音声・文字として規定されてもよく、画像・映像として規定されてもよい。図5は、出力テンプレート記憶部92に記憶される出力テンプレートの構成を示す。自動化レベル「1」に対して、「自動運転できません。手動運転して下さい。」の音声・文字が記憶されるとともに、運転者に入力を促さない画像・映像が記憶される。
自動化レベル「2」に対して、「A,B,C,D,Eから自動運転を選択して下さい」の音声・文字が記憶されるとともに、AからEのいずれかの入力を運転者に促すための画像・映像が記憶される。ここで、AからEには、運転行動が入力される。なお、入力される運転行動の数は「5」に限定されない。自動化レベル「3」に対して、「可能な自動運転はAとBです。どちらを実行しますか?」の音声・文字が記憶されるとともに、AあるいはBの選択を運転者に促すための画像・映像が記憶される。なお、画像・映像は、「AかB」とメッセージを日本語で表示してもよい。
図6は、出力テンプレート記憶部92に記憶される別の出力テンプレートの構成を示す。自動化レベル「4」に対して、「お薦めの自動運転はAです。実行ボタンか、中止ボタンを押して下さい。」の音声・文字が記憶されるとともに、実行から中止の選択を運転者に促すための画像・映像が記憶される。なお、画像・映像は、「Aを実行するかキャンセルするかを選んで下さい」とメッセージを日本語で表示してもよい。自動化レベル「5」に対して、「お薦めの自動運転はAです。OKとお答え頂ければ実行します。」の音声・文字が記憶されるとともに、運転者から「OK」の返事が入力された場合に出力するための「自動運転Aを実行します。」の音声・文字も記憶される。また、「OK」の発声を運転者に促すための画像・映像が記憶される。なお、画像・映像は、「Aを実行させるために”OK”といって下さい」とメッセージを日本語で表示してもよい。自動化レベル「6」に対して、「お薦めの自動運転はAです。10秒以内に中止ボタンが押されない場合実行します。」の音声・文字が記憶されるとともに、中止ボタンの受付を終了するまでの時間をカウントダウンするような画像・映像が記憶される。なお、画像・映像は、「3秒以内にキャンセルされないと実行します」とメッセージを日本語で表示してもよい。
図7は、出力テンプレート記憶部92に記憶されるさらに別の出力テンプレートの構成を示す。自動化レベル「6.5」に対して、「自動運転Aを実行します。中止したい場合は中止ボタンを押して下さい。」の音声・文字が記憶されるとともに、中止ボタンが示される画像・映像が記憶される。なお、画像・映像は、「Aを実行します。中止するにはキャンセルして下さい」とメッセージを日本語で表示してもよい。自動化レベル「7」に対して、自動運転A実行後に出力すべき「自動運転Aを実行しました。」の音声・文字が記憶されるとともに、自動運転Aの実行を報告するための画像・映像が記憶される。なお、画像・映像は、「Aを実行しました」とメッセージを日本語で表示してもよい。
自動化レベル「8」に対して、自動運転A実行後に運転者から「どうした?」との入力がなされた場合に出力すべき「歩行者を回避するため自動運転Aを実行しました。」の音声・文字が記憶される。また、自動運転Aの実行とその理由を報告するための画像・映像が記憶される。なお、画像・映像は、「歩行者回避のためAを実行しました」とメッセージを日本語で表示してもよい。自動化レベル「9」に対して、自動運転A実行後に出力すべき「衝突回避のため自動運転Aを実行しました。」の音声・文字が記憶されるとともに、自動化レベル「8」での画像・映像と同一の画像・映像が記憶される。自動化レベル「10」に対して、音声・文字が記憶されず、運転者に入力を促さない画像・映像が記憶される。
図5から図7によれば、11段階の自動化レベルのそれぞれに対応した出力テンプレートは、4種類に分類される。1つ目は、自動化レベル「1」が含まれる第1段階の自動化レベルにおける出力テンプレートである。これは、最も低い自動化レベルでの出力テンプレートである。第1段階の自動化レベルにおける出力テンプレートでは、運転行動が非通知である。2つ目は、自動化レベル「2」から「6.5」が含まれる第2段階の自動化レベルにおける出力テンプレートである。これは、第1段階よりも自動化レベルの高い自動化レベルでの出力テンプレートである。第2段階の自動化レベルにおける出力テンプレートでは、運転行動の選択肢が通知される。なお、選択肢には中止も含まれる。
3つ目は、自動レベル「7」から「9」が含まれる第3段階の自動化レベルにおける出力テンプレートである。これは、第2段階よりも自動化レベルの高い自動化レベルでの出力テンプレートである。第3段階の自動化レベルにおける出力テンプレートでは、運転行動の実行報告が通知される。4つ目は、自動化レベル「10」が含まれる第4段階の自動化レベルにおける出力テンプレートである。これは、第3段階よりも自動化レベルの高い自動化レベルであって、かつ最も高い自動化レベルの出力テンプレートである。第4段階の自動化レベルにおける出力テンプレートでは、運転行動が非通知である。図3に戻る。
生成部94は、自動化レベル判定部90から、選択した自動化レベルと、複数種類の運転行動とを受けつける。生成部94は、出力テンプレート記憶部92に記憶された複数の出力テンプレートのうち、自動化レベル判定部90において選択した1つの自動化レベルに対応した出力テンプレートを取得する。また、生成部94は、取得した出力テンプレートに複数種類の運転行動を適用することによって、提示情報を生成する。これは、出力テンプレートに含まれた「A」等に、運転行動をはめ込むことに相当する。生成部94は、生成した提示情報を出力する。
図8(a)−(b)は、生成部94において生成される提示情報の構成を示す。図8(a)は、自動化レベル「2」の出力テンプレートにおける画像・映像に、左折、左車線変更、直進、右車線変更、右折の運転行動がはめ込まれた提示情報を示す。図8(b)は、自動化レベル「3」の出力テンプレートにおける画像・映像に、直進、右車線変更の運転行動がはめ込まれた提示情報を示す。図3に戻る。
出力部96は、生成部94からの提示情報を入力し、提示情報を出力する。提示情報が音声・文字である場合、出力部96は、図1の画像・音声出力部51を介して、図2のスピーカ6に提示情報を出力する。スピーカ6は、提示情報の音声メッセージを出力する。提示情報が画像・映像である場合、出力部96は、図1の画像・音声出力部51を介して、図2のヘッドアップディスプレイ2aあるいはセンターディスプレイ2bに提示情報を出力する。ヘッドアップディスプレイ2aあるいはセンターディスプレイ2bは、提示情報の画像を表示する。なお、図1の自動運転制御装置30は、複数種類の運転行動のうちの1つの運転行動に対応した制御コマンドをもとに、車両100の自動運転を制御する。
以上の構成による運転支援装置40の動作を説明する。図9は、表示制御部72による出力手順を示すフローチャートである。自動化レベル判定部90は、運転行動と累積値の入力を受けつける(S10)。運転行動数が「0」である場合(S12のY)、自動化レベル判定部90は自動化レベル「1」を選択する(S14)。運転行動数が「0」でない場合(S12のN)、自動化レベル判定部90は偏り度とピーク数とを算出する(S16)。偏り度が所定値1よりも小さい場合(S18のY)、自動化レベル判定部90は自動化レベル「2」を選択する(S20)。偏り度が所定値1よりも小さくなく(S18のN)、ピーク数が2以上である場合(S22のY)、自動化レベル判定部90は自動化レベル「3」を選択する(S24)。
ピーク数が2以上でなく(S22のN)、偏り度が所定値2より小さい場合(S26のY)、自動化レベル判定部90は自動化レベル「4」を選択する(S28)。偏り度が所定値2より小さくなく(S26のN)、偏り度が所定値3より小さい場合(S30のY)、自動化レベル判定部90は自動化レベル「5」を選択する(S32)。偏り度が所定値3より小さくなく(S30のN)、偏り度が所定値4より小さい場合(S34のY)、自動化レベル判定部90は自動化レベル「6」あるいは「6.5」を選択する(S36)。
偏り度が所定値4より小さくなく(S34のN)、偏り度が所定値5より小さい場合(S38のY)、自動化レベル判定部90は自動化レベル「7」、「8」、「9」のいずれかを選択する(S40)。偏り度が所定値5より小さくない場合(S38のN)、自動化レベル判定部90は自動化レベル「10」を選択する(S42)。生成部94は、自動化レベルに対応した出力テンプレートを読み出し(S44)、出力テンプレートに運転行動を適用する(S46)。出力部96は、提示情報を出力する(S48)。なお、所定値1<所定値2<所定値3<所定値4<所定値5である。
本実施の形態によれば、機械学習等により生成した運転行動モデルを用いた推定結果をもとに選択した自動化レベルに対応した出力テンプレートを使用して提示情報を生成するので、提示情報の信頼度を知らせることができる。また、機械学習等により生成した運転行動モデルを用いた推定結果である運転行動の信頼度の偏り度をもとに1つの自動化レベルを選択するので、運転行動の信頼度と自動化レベルを対応付けることができる。また、機械学習等により生成した運転行動モデルを用いた推定結果である運転行動の信頼度のピーク数をもとに1つの自動化レベルを選択するので、運転行動の信頼度と自動化レベルを対応付けることができる。また、信頼度として累積値を使用するので、累積値が推定部によって出力される場合に、自動化レベルを選択できる。また、自動化レベルにおいて出力テンプレートが異なるので、自動化レベルを運転者に認識させることができる。また、自動化レベルにおいて出力テンプレートが異なるので、自動化レベルに合った出力テンプレートを使用できる。
以上、本発明に係る実施の形態について図面を参照して詳述してきたが、上述した装置や各処理部の機能は、コンピュータプログラムにより実現されうる。上述した機能をプログラムにより実現するコンピュータは、キーボードやマウス、タッチパッドなどの入力装置、ディスプレイやスピーカなどの出力装置、CPU(Central Processing Unit)、ROM、RAM、ハードディスク装置やSSD(Solid State Drive)などの記憶装置、DVD−ROM(Digital Versatile Disk Read Only Memory)やUSBメモリなどの記録媒体から情報を読み取る読取装置、ネットワークを介して通信を行うネットワークカードなどを備え、各部はバスにより接続される。
また、読取装置は、上記プログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置に記憶させる。あるいは、ネットワークカードが、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各装置の機能を実現するためのプログラムを記憶装置に記憶させる。また、CPUが、記憶装置に記憶されたプログラムをRAMにコピーし、そのプログラムに含まれる命令をRAMから順次読み出して実行することにより、上記各装置の機能が実現される。
本発明の一態様の概要は、次の通りである。本発明のある態様の運転支援装置は、運転行動モデルを用いた推定結果である複数種類の運転行動のそれぞれに対応した信頼度の偏り度をもとに、複数段階定義された自動化レベルのうちの1つの自動化レベルを選択する自動化レベル判定部と、複数段階定義された自動化レベルのそれぞれに対応した出力テンプレートのうち、自動化レベル判定部において選択した1つの自動化レベルに対応した出力テンプレートに、複数種類の運転行動を適用することによって、提示情報を生成する生成部と、生成部において生成した提示情報を出力する出力部と、を備える。
この態様によると、機械学習等により生成した運転行動モデルを用いた推定結果をもとに選択した自動化レベルに対応した出力テンプレートを使用するので、提示する情報の信頼度を知らせることができる。
自動化レベル判定部における処理対象となる信頼度は、各運転行動に対する累積値であってもよい。この場合、信頼度として累積値を使用するので、累積値が推定部によって出力される場合に、自動化レベルを選択できる。
自動化レベル判定部における処理対象となる信頼度は、各運転行動に対する尤度であってもよい。この場合、信頼度として尤度を使用するので、尤度が推定部によって出力される場合に、自動化レベルを選択できる。
生成部において使用対象となる出力テンプレートであって、かつ複数段階定義された自動化レベルのそれぞれに対応した出力テンプレートでは、(1)第1段階の自動化レベルにおいて運転行動が非通知であり、(2)第1段階よりも自動化レベルの高い第2段階の自動化レベルにおいて運転行動の選択肢が通知され、(3)第2段階よりも自動化レベルの高い第3段階の自動化レベルにおいて運転行動の実行報告が通知され、(4)第3段階よりも自動化レベルの高い第4段階の自動化レベルにおいて運転行動が非通知であってもよい。この場合、自動化レベルにおいて出力テンプレートが異なるので、自動化レベルを運転者に認識させることができる。
本発明の別の態様は、自動運転制御装置である。この装置は、運転行動モデルを用いた推定結果である複数種類の運転行動のそれぞれに対応した信頼度の偏り度をもとに、複数段階定義された自動化レベルのうちの1つの自動化レベルを選択する自動化レベル判定部と、複数段階定義された自動化レベルのそれぞれに対応した出力テンプレートのうち、自動化レベル判定部において選択した1つの自動化レベルに対応した出力テンプレートに、複数種類の運転行動を適用することによって、提示情報を生成する生成部と、生成部において生成した提示情報を出力する出力部と、複数種類の運転行動のうちの1つの運転行動をもとに、車両の自動運転を制御する自動運転制御部と、を備える。
本発明のさらに別の態様は、車両である。この車両は、運転支援装置を備える車両であって、運転支援装置は、運転行動モデルを用いた推定結果である複数種類の運転行動のそれぞれに対応した信頼度の偏り度をもとに、複数段階定義された自動化レベルのうちの1つの自動化レベルを選択する自動化レベル判定部と、複数段階定義された自動化レベルのそれぞれに対応した出力テンプレートのうち、自動化レベル判定部において選択した1つの自動化レベルに対応した出力テンプレートに、複数種類の運転行動を適用することによって、提示情報を生成する生成部と、生成部において生成した提示情報を出力する出力部と、を備える。
本発明のさらに別の態様は、運転支援システムである。この運転支援システムは、運転行動モデルを生成するサーバと、サーバにおいて生成した運転行動モデルを受信する運転支援装置とを備える。運転支援装置は、運転行動モデルを用いた推定結果である複数種類の運転行動のそれぞれに対応した信頼度の偏り度をもとに、複数段階定義された自動化レベルのうちの1つの自動化レベルを選択する自動化レベル判定部と、複数段階定義された自動化レベルのそれぞれに対応した出力テンプレートのうち、自動化レベル判定部において選択した1つの自動化レベルに対応した出力テンプレートに、複数種類の運転行動を適用することによって、提示情報を生成する生成部と、生成部において生成した提示情報を出力する出力部と、を備える。
本発明のさらに別の態様は、運転支援方法である。この方法は、運転行動モデルを用いた推定結果である複数種類の運転行動のそれぞれに対応した信頼度の偏り度をもとに、複数段階定義された自動化レベルのうちの1つの自動化レベルを選択するステップと、複数段階定義された自動化レベルのそれぞれに対応した出力テンプレートのうち、選択した1つの自動化レベルに対応した出力テンプレートに、複数種類の運転行動を適用することによって、提示情報を生成するステップと、生成した提示情報を出力するステップと、を備える。
以上、本発明を実施の形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
実施の形態において、運転行動推定部70は運転支援装置40の制御部41に含まれる。しかしながらこれに限らず例えば、運転行動推定部70は、自動運転制御装置30の制御部31に含まれてもよい。本変形例によれば、構成の自由度を向上できる。
実施の形態において、運転行動モデル80は、運転行動学習部310において生成され、運転行動推定部70に送信されている。しかしながらこれに限らず例えば、運転行動モデル80は運転行動推定部70にプリインストールされていてもよい。本変形例によれば、構成を簡易にできる。
実施の形態において、運転行動推定部70は、推定として、ニューラルネットワークを使用する深層学習により生成した運転行動モデルを用いている。しかしながらこれに限らず例えば、運転行動推定部70は、深層学習以外の機械学習を用いた運転行動モデルを用いてもよい。深層学習以外の機械学習の一例は、SVMである。さらに、運転行動推定部70は、統計処理により生成したフィルタを用いてもよい。フィルタの一例は、協調フィルタリングである。協調フィルタリングでは、各運転行動に対応した運転履歴あるいは走行履歴と、入力パラメータとの相関値を算出することによって、相関値の高い運転行動が選択される。相関値によって確からしさが示されているので、相関値は尤度ともいえ、信頼度に相当する。本変形例によれば、信頼度として尤度を使用するので、尤度が推定部82によって出力される場合に、自動化レベルを選択できる。さらに、運転行動推定部70は、機械学習やフィルタにより一意に対応付けられる入力と出力の対を予め保持するルールであってもよい。
2 報知装置、 2a ヘッドアップディスプレイ、 2b センターディスプレイ、 4 入力装置、 4a 第1操作部、 4b 第2操作部、 6 スピーカ、 8 無線装置、 10 運転操作部、 20 検出部、 30 自動運転制御装置、 31 制御部、 32 記憶部、 33 I/O部、 40 運転支援装置、 41 制御部、 42 記憶部、 43 I/O部、 50 操作入力部、 51 画像・音声出力部、 52 検出情報入力部、 53 コマンドIF、 54 行動情報入力部、 55 コマンド出力部、 56 通信IF、 70 運転行動推定部、 72 表示制御部、 80 運転行動モデル、 82 推定部、 84 ヒストグラム生成部、 90 自動化レベル判定部、 92 出力テンプレート記憶部、 94 生成部、 96 出力部、 100 車両、 300 サーバ、 302 ネットワーク、 310 運転行動学習部、 500 運転支援システム。

Claims (9)

  1. 車両によって過去になされた複数の運転行動のそれぞれに対応した、複数の特徴量および複数の環境パラメータのうちの少なくとも1つが入力パラメータとして入力されることにより構築された運転行動モデルを用いた推定結果である複数種類の運転行動のそれぞれに対応した信頼度の偏り度および難易度をもとに、複数段階定義された自動化レベルのうちの1つの自動化レベルを選択する自動化レベル判定部と、
    複数段階定義された自動化レベルのそれぞれに対応した出力テンプレートのうち、前記自動化レベル判定部において選択した1つの自動化レベルに対応した出力テンプレートに、複数種類の運転行動を適用することによって、提示情報を生成する生成部と、
    前記生成部において生成した提示情報を出力する出力部と、
    を備えることを特徴とする運転支援装置。
  2. 前記自動化レベル判定部における処理対象となる信頼度は、各運転行動に対する累積値であることを特徴とする請求項1に記載の運転支援装置。
  3. 前記自動化レベル判定部における処理対象となる信頼度は、各運転行動に対する尤度であることを特徴とする請求項1に記載の運転支援装置。
  4. 前記生成部において使用対象となる出力テンプレートであって、かつ複数段階定義された自動化レベルのそれぞれに対応した出力テンプレートでは、(1)第1段階の自動化レベルにおいて運転行動が非通知であり、(2)第1段階よりも自動化レベルの高い第2段階の自動化レベルにおいて運転行動の選択肢が通知され、(3)第2段階よりも自動化レベルの高い第3段階の自動化レベルにおいて運転行動の実行報告が通知され、(4)第3段階よりも自動化レベルの高い第4段階の自動化レベルにおいて運転行動が非通知であることを特徴とする請求項1から3のいずれかに記載の運転支援装置。
  5. 車両によって過去になされた複数の運転行動のそれぞれに対応した、複数の特徴量および複数の環境パラメータのうちの少なくとも1つが入力パラメータとして入力されることにより構築された運転行動モデルを用いた推定結果である複数種類の運転行動のそれぞれに対応した信頼度の偏り度および難易度をもとに、複数段階定義された自動化レベルのうちの1つの自動化レベルを選択する自動化レベル判定部と、
    複数段階定義された自動化レベルのそれぞれに対応した出力テンプレートのうち、前記自動化レベル判定部において選択した1つの自動化レベルに対応した出力テンプレートに、複数種類の運転行動を適用することによって、提示情報を生成する生成部と、
    前記生成部において生成した提示情報を出力する出力部と、
    複数種類の運転行動のうちの1つの運転行動をもとに、車両の自動運転を制御する自動運転制御部と、
    を備えることを特徴とする自動運転制御装置。
  6. 運転支援装置を備える車両であって、
    前記運転支援装置は、
    車両によって過去になされた複数の運転行動のそれぞれに対応した、複数の特徴量および複数の環境パラメータのうちの少なくとも1つが入力パラメータとして入力されることにより構築された運転行動モデルを用いた推定結果である複数種類の運転行動のそれぞれに対応した信頼度の偏り度および難易度をもとに、複数段階定義された自動化レベルのうちの1つの自動化レベルを選択する自動化レベル判定部と、
    複数段階定義された自動化レベルのそれぞれに対応した出力テンプレートのうち、前記自動化レベル判定部において選択した1つの自動化レベルに対応した出力テンプレートに、複数種類の運転行動を適用することによって、提示情報を生成する生成部と、
    前記生成部において生成した提示情報を出力する出力部と、
    を備えることを特徴とする車両。
  7. 車両によって過去になされた複数の運転行動のそれぞれに対応した、複数の特徴量および複数の環境パラメータのうちの少なくとも1つが入力パラメータとして入力されることにより構築された運転行動モデルを生成するサーバと、
    前記サーバにおいて生成した前記運転行動モデルを受信する運転支援装置とを備え、
    前記運転支援装置は、
    前記運転行動モデルを用いた推定結果である複数種類の運転行動のそれぞれに対応した信頼度の偏り度および難易度をもとに、複数段階定義された自動化レベルのうちの1つの自動化レベルを選択する自動化レベル判定部と、
    複数段階定義された自動化レベルのそれぞれに対応した出力テンプレートのうち、前記自動化レベル判定部において選択した1つの自動化レベルに対応した出力テンプレートに、複数種類の運転行動を適用することによって、提示情報を生成する生成部と、
    前記生成部において生成した提示情報を出力する出力部と、
    を備えることを特徴とする運転支援システム。
  8. 車両によって過去になされた複数の運転行動のそれぞれに対応した、複数の特徴量および複数の環境パラメータのうちの少なくとも1つが入力パラメータとして入力されることにより構築された運転行動モデルを用いた推定結果である複数種類の運転行動のそれぞれに対応した信頼度の偏り度および難易度をもとに、複数段階定義された自動化レベルのうちの1つの自動化レベルを選択するステップと、
    複数段階定義された自動化レベルのそれぞれに対応した出力テンプレートのうち、選択した1つの自動化レベルに対応した出力テンプレートに、複数種類の運転行動を適用することによって、提示情報を生成するステップと、
    生成した提示情報を出力するステップと、
    を備えることを特徴とする運転支援方法。
  9. 車両によって過去になされた複数の運転行動のそれぞれに対応した、複数の特徴量および複数の環境パラメータのうちの少なくとも1つが入力パラメータとして入力されることにより構築された運転行動モデルを用いた推定結果である複数種類の運転行動のそれぞれに対応した信頼度の偏り度および難易度をもとに、複数段階定義された自動化レベルのうちの1つの自動化レベルを選択するステップと、
    複数段階定義された自動化レベルのそれぞれに対応した出力テンプレートのうち、選択した1つの自動化レベルに対応した出力テンプレートに、複数種類の運転行動を適用することによって、提示情報を生成するステップと、
    生成した提示情報を出力するステップとをコンピュータに実行させるためのプログラム。
JP2016062683A 2016-03-25 2016-03-25 運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、車両、運転支援システム、プログラム Active JP6575818B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2016062683A JP6575818B2 (ja) 2016-03-25 2016-03-25 運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、車両、運転支援システム、プログラム
DE112017001551.0T DE112017001551T5 (de) 2016-03-25 2017-02-14 Fahrassistenzverfahren, dieses nutzende Fahrassistenzvorrichtung, Steuervorrichtung für automatisches Fahren, Fahrzeug und Fahrassistenzsystem
PCT/JP2017/005216 WO2017163667A1 (ja) 2016-03-25 2017-02-14 運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、車両、運転支援システム、プログラム
CN201780019526.6A CN108885836B (zh) 2016-03-25 2017-02-14 驾驶辅助装置、系统、方法、控制装置、车辆及介质
US16/084,585 US20190071101A1 (en) 2016-03-25 2017-02-14 Driving assistance method, driving assistance device which utilizes same, autonomous driving control device, vehicle, driving assistance system, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016062683A JP6575818B2 (ja) 2016-03-25 2016-03-25 運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、車両、運転支援システム、プログラム

Publications (2)

Publication Number Publication Date
JP2017174355A JP2017174355A (ja) 2017-09-28
JP6575818B2 true JP6575818B2 (ja) 2019-09-18

Family

ID=59901168

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016062683A Active JP6575818B2 (ja) 2016-03-25 2016-03-25 運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、車両、運転支援システム、プログラム

Country Status (5)

Country Link
US (1) US20190071101A1 (ja)
JP (1) JP6575818B2 (ja)
CN (1) CN108885836B (ja)
DE (1) DE112017001551T5 (ja)
WO (1) WO2017163667A1 (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6451674B2 (ja) * 2016-03-14 2019-01-16 株式会社デンソー 運転支援装置
WO2018042592A1 (ja) * 2016-09-01 2018-03-08 三菱電機株式会社 自動運転レベル低下可否判定装置、自動運転レベル低下可否判定方法
US10452068B2 (en) * 2016-10-17 2019-10-22 Uber Technologies, Inc. Neural network system for autonomous vehicle control
JP6820533B2 (ja) * 2017-02-16 2021-01-27 パナソニックIpマネジメント株式会社 推定装置、学習装置、推定方法、及び推定プログラム
DE112018001106T5 (de) 2017-03-02 2019-11-21 Panasonic Intellectual Property Management Co., Ltd. Fahrassistenzverfahren, Fahrassistenzvorrichtung und dieses Verfahren verwendendes Fahrassistenzsystem
US20180348751A1 (en) * 2017-05-31 2018-12-06 Nio Usa, Inc. Partially Autonomous Vehicle Passenger Control in Difficult Scenario
EP3507783B1 (en) * 2017-11-23 2021-11-10 Beijing Didi Infinity Technology and Development Co., Ltd. System and method for estimating arrival time
JP6965426B2 (ja) * 2017-11-23 2021-11-10 ベイジン ディディ インフィニティ テクノロジー アンド ディベロップメント カンパニー リミティッド 到着時間を推定するためのシステムおよび方法
US11042163B2 (en) * 2018-01-07 2021-06-22 Nvidia Corporation Guiding vehicles through vehicle maneuvers using machine learning models
CN111587198A (zh) 2018-01-17 2020-08-25 三菱电机株式会社 驾驶控制装置、驾驶控制方法及驾驶控制程序
WO2019152888A1 (en) 2018-02-02 2019-08-08 Nvidia Corporation Safety procedure analysis for obstacle avoidance in autonomous vehicle
US10997433B2 (en) 2018-02-27 2021-05-04 Nvidia Corporation Real-time detection of lanes and boundaries by autonomous vehicles
DE112019000048T5 (de) 2018-03-15 2020-01-16 Nvidia Corporation Bestimmung eines befahrbaren freiraums für autonome fahrzeuge
US11080590B2 (en) 2018-03-21 2021-08-03 Nvidia Corporation Stereo depth estimation using deep neural networks
WO2019191306A1 (en) 2018-03-27 2019-10-03 Nvidia Corporation Training, testing, and verifying autonomous machines using simulated environments
TWI690440B (zh) * 2018-10-17 2020-04-11 財團法人車輛研究測試中心 基於支持向量機之路口智慧駕駛方法及其系統
CN113039563B (zh) 2018-11-16 2024-03-12 辉达公司 学习生成用于训练神经网络的合成数据集
US11170299B2 (en) 2018-12-28 2021-11-09 Nvidia Corporation Distance estimation to objects and free-space boundaries in autonomous machine applications
WO2020140049A1 (en) 2018-12-28 2020-07-02 Nvidia Corporation Distance to obstacle detection in autonomous machine applications
US11308338B2 (en) 2018-12-28 2022-04-19 Nvidia Corporation Distance to obstacle detection in autonomous machine applications
US11520345B2 (en) 2019-02-05 2022-12-06 Nvidia Corporation Path perception diversity and redundancy in autonomous machine applications
CN113811886B (zh) 2019-03-11 2024-03-19 辉达公司 自主机器应用中的路口检测和分类
US11679834B2 (en) 2019-03-29 2023-06-20 Honda Motor Co., Ltd. Driving assistance device for saddle type vehicle
US11157784B2 (en) * 2019-05-08 2021-10-26 GM Global Technology Operations LLC Explainable learning system and methods for autonomous driving
DE112020004139T5 (de) 2019-08-31 2022-05-12 Nvidia Corporation Erstellung von karten und lokalisierung für anwendungen im bereich des autonomen fahrens
DE102020206433A1 (de) * 2020-05-25 2021-11-25 Hitachi Astemo, Ltd. Computerprogrammprodukt und Trainingssteuervorrichtung für künstliche Intelligenz
US11661082B2 (en) * 2020-10-28 2023-05-30 GM Global Technology Operations LLC Forward modeling for behavior control of autonomous vehicles
US20230249695A1 (en) * 2022-02-09 2023-08-10 Google Llc On-device generation and personalization of automated assistant suggestion(s) via an in-vehicle computing device

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8401736B2 (en) * 2008-06-20 2013-03-19 Toyota Jidosha Kabushiki Kaisha Driving assistance apparatus and driving assistance method
JP4737238B2 (ja) * 2008-06-20 2011-07-27 トヨタ自動車株式会社 運転支援装置
CN101697251B (zh) * 2009-10-12 2012-05-23 骆勇强 全国性机动车智能动态管理网络系统
JP5506423B2 (ja) * 2010-01-21 2014-05-28 株式会社Ihiエアロスペース 無人車両の半自律走行システム
CN102006460A (zh) * 2010-11-15 2011-04-06 东莞市高鑫机电科技服务有限公司 一种基于自动控制与提示的辅助驾驶方法及系统
CN102476638B (zh) * 2010-11-26 2017-06-06 上海汽车集团股份有限公司 车载信息提供系统及方法
CN202320297U (zh) * 2011-11-16 2012-07-11 哈尔滨理工大学 智能车辆辅助驾驶器
US8744691B2 (en) * 2012-04-16 2014-06-03 GM Global Technology Operations LLC Adaptive human-machine system and method
US9421969B2 (en) * 2012-05-25 2016-08-23 Toyota Jidosha Kabushiki Kaisha Approaching vehicle detection apparatus and drive assist system
CN102700569A (zh) * 2012-06-01 2012-10-03 安徽理工大学 基于图像处理的矿用电机车行人监测方法及报警系统
CN102849067B (zh) * 2012-09-26 2016-05-18 浙江吉利汽车研究院有限公司杭州分公司 一种车辆泊车辅助系统及泊车方法
JP6155921B2 (ja) * 2013-07-12 2017-07-05 株式会社デンソー 自動運転支援装置
JP6349833B2 (ja) * 2014-03-25 2018-07-04 日産自動車株式会社 情報表示装置
DE102014215980A1 (de) * 2014-08-12 2016-02-18 Volkswagen Aktiengesellschaft Kraftfahrzeug mit kooperativem autonomen Fahrmodus
WO2016151749A1 (ja) * 2015-03-24 2016-09-29 パイオニア株式会社 自動運転支援装置、制御方法、プログラム及び記憶媒体
JP6642972B2 (ja) * 2015-03-26 2020-02-12 修一 田山 車輌用画像表示システム及び方法
US9699289B1 (en) * 2015-12-09 2017-07-04 Toyota Motor Engineering & Manufacturing North America, Inc. Dynamic vehicle automation level availability indication system and method

Also Published As

Publication number Publication date
US20190071101A1 (en) 2019-03-07
DE112017001551T5 (de) 2018-12-06
JP2017174355A (ja) 2017-09-28
WO2017163667A1 (ja) 2017-09-28
CN108885836A (zh) 2018-11-23
CN108885836B (zh) 2021-05-07

Similar Documents

Publication Publication Date Title
JP6575818B2 (ja) 運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、車両、運転支援システム、プログラム
US10919540B2 (en) Driving assistance method, and driving assistance device, driving control device, vehicle, and recording medium using said method
JP2021185486A (ja) 車両に安全に追い付けるように運転を支援するシステムおよび方法
CN110582439B (zh) 驾驶辅助方法以及利用了该驾驶辅助方法的驾驶辅助装置、驾驶辅助系统
JP6137194B2 (ja) 運転支援装置及び運転支援方法
JP2019510677A (ja) 運転者のルールベース型支援のための制御データ作成方法
US20170217445A1 (en) System for intelligent passenger-vehicle interactions
JP6733293B2 (ja) 情報処理装置
JP2019043495A (ja) 自動運転調整装置、自動運転調整システム、及び自動運転調整方法
US10583841B2 (en) Driving support method, data processor using the same, and driving support system using the same
JP7035447B2 (ja) 車両制御装置
WO2018008488A1 (ja) 運転支援方法およびそれを利用した運転支援装置、運転支援システム、自動運転制御装置、車両、プログラム
JP2018163112A (ja) 自動駐車制御方法およびそれを利用した自動駐車制御装置、プログラム
CN112699721B (zh) 离开道路扫视时间的情境相关调整
JP2021026720A (ja) 運転支援装置、車両の制御方法、およびプログラム
JP2021026720A5 (ja)
JP2018165692A (ja) 運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、車両、プログラム、提示システム
US11904856B2 (en) Detection of a rearward approaching emergency vehicle
US20220161819A1 (en) Automatic motor-vehicle driving speed control based on driver's driving behaviour
JP7285705B2 (ja) 自動運転システム
JP2006160032A (ja) 運転状態判定装置及び運転状態判定方法
JP6443323B2 (ja) 運転支援装置
JP2018169771A (ja) 報知制御方法およびそれを利用した報知制御装置、自動運転制御装置、車両、プログラム、報知制御システム
JP2018165693A (ja) 運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、車両、プログラム、提示システム
Jayan et al. Advanced Driver Assistance System technologies and its challenges toward the development of autonomous vehicle

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180802

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190521

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190709

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190723

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190807

R150 Certificate of patent or registration of utility model

Ref document number: 6575818

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150