JPWO2018100619A1 - 車両制御システム、車両制御方法、および車両制御プログラム - Google Patents

車両制御システム、車両制御方法、および車両制御プログラム Download PDF

Info

Publication number
JPWO2018100619A1
JPWO2018100619A1 JP2018553526A JP2018553526A JPWO2018100619A1 JP WO2018100619 A1 JPWO2018100619 A1 JP WO2018100619A1 JP 2018553526 A JP2018553526 A JP 2018553526A JP 2018553526 A JP2018553526 A JP 2018553526A JP WO2018100619 A1 JPWO2018100619 A1 JP WO2018100619A1
Authority
JP
Japan
Prior art keywords
vehicle
occupant
unit
control
automatic driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018553526A
Other languages
English (en)
Other versions
JP6841843B2 (ja
Inventor
嘉崇 味村
嘉崇 味村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of JPWO2018100619A1 publication Critical patent/JPWO2018100619A1/ja
Application granted granted Critical
Publication of JP6841843B2 publication Critical patent/JP6841843B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0013Planning or execution of driving tasks specially adapted for occupant comfort
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D6/00Arrangements for automatically controlling steering depending on driving conditions sensed and responded to, e.g. control circuits
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062Adapting control system settings
    • B60W2050/0075Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0083Setting, resetting, calibration
    • B60W2050/0088Adaptive recalibration
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408Radar; Laser, e.g. lidar
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/22Psychological state; Stress level or workload

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

車両制御システムにおいて、車両の操舵または加減速の少なくとも一方を自動で制御する自動運転を実行する自動運転制御部と、前記車両の乗員の状態を判定する乗員状態判定部と、前記自動運転制御部により実行される自動運転制御に伴い発生する前記車両の挙動または前記自動運転制御に関する車両の乗員への情報通知と、前記車両の挙動または前記車両の乗員への情報通知の後に前記乗員状態判定部により判定された乗員の状態との組み合わせに基づいて、前記乗員状態判定部により判定される前記乗員の状態が所定の状態に近づくように前記自動運転制御を学習する学習部と、を備える。

Description

本発明は、車両制御システム、車両制御方法、および車両制御プログラムに関する。
従来では、車両の乗員の運転状態を判定し、乗員が危険な運転をしている場合に警告等を行う運転支援装置が知られている。これに関連して、車両情報及び環境情報から、予め定めた運転行動判定ルールに基づき乗員の運転行動を判定し、運転行動毎に、乗員の運転状態と車両情報及び環境情報との関係に基づく判定器を構築し、構築した判定器を用いて乗員の状態を判定する技術が開示されている(例えば、特許文献1参照)。
特開2010−256943号公報
しかしながら、従来技術の手法では、車両が自動運転により走行している場合には、乗員の運転行動自体を取得することができないのであるから、自動運転時において、乗員がどのような自動運転制御のときに快適と感じ、またどのような自動運転のときに不快と感じるのかを把握することができない。この結果、乗員ごとの嗜好に応じた自動運転制御を実行することが困難であった。
本発明は、このような事情を考慮してなされたものであり、乗員ごとの嗜好に応じた自動運転制御を実行することができる車両制御システム、車両制御方法、および車両制御プログラムを提供することを目的の一つとする。
請求項1に記載の発明は、車両の操舵または加減速の少なくとも一方を自動で制御する自動運転を実行する自動運転制御部(121、122、123、141)と、前記車両の乗員の状態を判定する乗員状態判定部(160)と、前記自動運転制御部により実行される自動運転制御に伴い発生する前記車両の挙動または前記自動運転制御に関する車両の乗員への情報通知と、前記車両の挙動または前記車両の乗員への情報通知の後に前記乗員状態判定部により判定された乗員の状態との組み合わせに基づいて、前記乗員状態判定部により判定される前記乗員の状態が所定の状態に近づくように前記自動運転制御を学習する学習部(150)と、を備える車両制御システムである。
請求項2に記載の発明は、請求項1に記載の車両制御システムであって、前記乗員の状態は、前記乗員が快適と感じる状態と不快と感じる状態とを少なくとも含む状態に分類され、前記所定の状態は、前記乗員が快適に感じる状態である。
請求項3に記載の発明は、請求項1に記載の車両制御システムであって、前記車両の周辺状況を認識する認識部(121)を更に備え、前記学習部は、前記乗員状態判定部により判定された前記乗員の状態と、前記認識部により認識された周辺状況との組み合わせに基づいて、前記自動運転制御を学習するものである。
請求項4に記載の発明は、請求項2に記載の車両制御システムであって、前記学習部は、前記乗員状態判定部により前記乗員が快適と感じる状態であると判定された前に発生した前記車両の挙動または前記自動運転に関する車両の乗員への情報通知に対応する自動運転の制御度合を維持し、前記乗員状態判定部により前記乗員が不快と感じる状態であると判定された前に発生した前記車両の挙動または前記自動運転に関する車両の乗員への情報通知に対応する自動運転の制御度合を変更するように、前記自動運転制御部に指示するものである。
請求項5に記載の発明は、請求項1に記載の車両制御システムであって、前記学習部は、前記自動運転に関する制御度合を変更する制御パラメータの値をランダムに変更し、変更された制御パラメータに基づく制御度合で、前記自動運転制御部に自動運転を実行させるものである。
請求項6に記載の発明は、請求項1に記載の車両制御システムであって、前記学習部は、前記車両が新しく行えるようになった機能に関する制御度合について、前記車両の挙動または前記自動運転に関する車両の乗員への情報通知を、既存の機能に関する制御度合よりも高くさせるように前記自動運転制御部に指示するものである。
請求項7に記載の発明は、請求項1に記載の車両制御システムであって、前記車両の乗員を撮像する撮像部(90)と、情報を前記乗員に提示するインターフェース部(30)と、を更に備え、前記乗員状態判定部は、前記撮像部により撮像された画像から前記車両の乗員の状態を判定し、前記学習部は、前記乗員にオーバーアクションまたは所定のジェスチャーを行うように促すための情報を、前記インターフェース部に提示させるものである。
請求項8に記載の発明は、請求項1に記載の車両制御システムであって、サーバ装置(600)とデータの送受信を行う通信部(20)を更に備え、前記学習部は、周辺状況に応じた自動運転の制御度合の学習結果を、前記通信部を用いて前記サーバ装置に送信し、前記通信部により受信した複数車両において共通傾向がある制御パラメータに基づいて、前記自動運転制御部に自動運転を実行させる。
請求項9に記載の発明は、車載コンピュータが、車両の操舵または加減速の少なくとも一方を自動で制御する自動運転を実行し、前記車両の乗員の状態を判定し、実行される自動運転制御に伴い発生する前記車両の挙動または前記自動運転制御に関する車両の乗員への情報通知と、前記車両の挙動または前記車両の乗員への情報通知の後に判定された前記乗員の状態との組み合わせに基づいて、前記乗員の状態が所定の状態に近づくように前記自動運転制御を学習する、車両制御方法である。
請求項10に記載の発明は、車載コンピュータに、車両の操舵または加減速の少なくとも一方を自動で制御する自動運転を実行させ、前記車両の乗員の状態を判定させ、実行される自動運転制御に伴い発生する前記車両の挙動または前記自動運転制御に関する車両の乗員への情報通知と、前記車両の挙動または前記車両の乗員への情報通知の後に判定された前記乗員の状態との組み合わせに基づいて、前記乗員の状態が所定の状態に近づくように前記自動運転制御を学習させる、車両制御プログラムである。
請求項1〜3、9および10に記載の発明によれば、車両制御システムは、乗員ごとの嗜好に応じた自動運転制御を実行することができる。
請求項4に記載の発明によれば、車両制御システムは、自動運転の実行後の乗員の状態が快適な場合と不快な場合とで、自動運転の制御度合を維持または変更することで、乗員ごとの嗜好に応じた自動運転制御を実行することができる。
請求項5に記載の発明によれば、車両制御システムは、制御度合を変更する制御パラメータの値をランダムに変更することで、様々な車両の挙動、挙動により乗員に提供される内容、乗員への通知条件等に基づく乗員の状態を取得することできる。したがって、車両制御システムは、より高精度に乗員の嗜好を取得することができる。
請求項6に記載の発明によれば、車両制御システムは、所定時間内に、車両が新しく行えるようになった機能に関する学習結果を多く収集することができる。したがって、車両制御システムは、車両が新しく行えるようになった機能に関する乗員の嗜好に沿った自動運転を迅速に実行することができる。
請求項7に記載の発明によれば、車両制御システムは、乗員によるオーバーアクションまたは所定のジェスチャーにより、より正確に乗員の状態を把握することができる。
請求項8に記載の発明によれば、車両制御システムは、サーバ装置により取得した共通傾向がある自動運転を実行することで、複数の乗員が快適と感じる自動運転を乗員に提供することができる。
第1実施形態の車両システム1の構成図である。 自車位置認識部122により走行車線L1に対する自車両Mの相対位置および姿勢が認識される様子を示す図である。 推奨車線に基づいて目標軌道が生成される様子を示す図である。 学習部150の指示により行動計画生成部123により変更される行動計画の一例を示す図である。 自動運転における学習実行時に、HMI30に出力される情報の一例を示す図である。 乗員に動作を促すメッセージ情報の一例を示す図である。 学習データ181の一例を示す図である。 第1実施形態の車両制御処理の一例を示すフローチャートである。 自動運転制御ユニット100を含む交通情報共有システム400の構成の一例を示す図である。 サーバ装置600で実行される処理の流れを示すフローチャートである。 第2実施形態のサーバ装置600により取得した制御パラメータに対する自動運転制御ユニット100の処理の流れを示すフローチャートである。
以下、図面を参照し、本発明の車両制御システム、車両制御方法、および車両制御プログラムの実施形態について説明する。
[第1実施形態]
まず、第1実施形態の車両制御システム、車両制御方法、および車両制御プログラムについて説明する。
[全体構成]
図1は、第1実施形態の車両システム1の構成図である。車両システム1が搭載される車両は、例えば、二輪や三輪、四輪等の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジン等の内燃機関、電動機、或いはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。
車両システム1は、例えば、カメラ10と、レーダ装置12と、ファインダ14と、物体認識装置16と、通信装置(通信部)20と、HMI(Human Machine Interface)30と、ナビゲーション装置50と、MPU(Micro-Processing Unit)60と、車両センサ70と、運転操作子80と、車室内カメラ(撮像部)90と、乗員状態検出センサ95と、自動運転制御ユニット100と、走行駆動力出力装置200と、ブレーキ装置210と、ステアリング装置220とを備える。これらの装置や機器は、CAN(Controller Area Network)通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図1に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。
第1実施形態において「車両制御システム」は、例えば、HMI30と、車両センサ70と、車室内カメラ90と、乗員状態検出センサ95と、自動運転制御ユニット100とを含む。HMI30は、「インターフェース部」の一例である。
カメラ10は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の固体撮像素子を利用したデジタルカメラである。カメラ10は、車両システム1が搭載される車両(以下、「自車両M」と称する)の任意の箇所に一つまたは複数が取り付けられる。前方を撮像する場合、カメラ10は、フロントウインドシールド上部やルームミラー裏面等に取り付けられる。後方を撮像する場合、カメラ10は、リアウインドシールド上部やバックドア等に取り付けられる。側方を撮像する場合、カメラ10は、ドアミラー等に取り付けられる。カメラ10は、例えば、周期的に繰り返し自車両Mの周辺を撮像する。カメラ10は、ステレオカメラであってもよい。
レーダ装置12は、自車両Mの周辺にミリ波等の電波を放射するとともに、物体によって反射された電波(反射波)を検出して少なくとも物体の位置(距離および方位)を検出する。レーダ装置12は、自車両Mの任意の箇所に一つまたは複数が取り付けられる。レーダ装置12は、FMCW(Frequency Modulated Continuous Wave)方式によって物体の位置および速度を検出してもよい。
ファインダ14は、照射光に対する散乱光を測定し、対象までの距離を検出するLIDAR(Light Detection and Ranging、或いはLaser Imaging Detection and Ranging)である。ファインダ14は、自車両Mの任意の箇所に一つまたは複数が取り付けられる。
物体認識装置16は、カメラ10、レーダ装置12、およびファインダ14のうち一部または全部による検出結果に対してセンサフュージョン処理を行って、物体の位置、種類、速度等を認識する。物体認識装置16は、認識結果を自動運転制御ユニット100に出力する。
通信装置20は、例えば、セルラー網やWi−Fi網、Bluetooth(登録商標)、DSRC(Dedicated Short Range Communication)等を利用して、自車両Mの周辺に存在する他車両と通信し、或いは無線基地局を介して各種サーバ装置と通信する。
HMI30は、自車両Mの乗員に対して各種情報を提示するとともに、乗員による入力操作を受け付ける。HMI30は、各種表示装置、スピーカ、ブザー、タッチパネル、スイッチ、キー等を含む。
ナビゲーション装置50は、例えば、GNSS(Global Navigation Satellite System)受信機51と、ナビHMI52と、経路決定部53とを備え、HDD(Hard Disk Drive)やフラッシュメモリ等の記憶装置に第1地図情報54を保持している。GNSS受信機51は、GNSS衛星から受信した信号に基づいて、自車両Mの位置を特定する。自車両Mの位置は、車両センサ70の出力を利用したINS(Inertial Navigation System)によって特定または補完されてもよい。ナビHMI52は、表示装置、スピーカ、タッチパネル、キー等を含む。ナビHMI52は、前述したHMI30と一部または全部が共通化されてもよい。経路決定部53は、例えば、GNSS受信機51により特定された自車両Mの位置(或いは入力された任意の位置)から、ナビHMI52を用いて乗員により入力された目的地までの経路を、第1地図情報54を参照して決定する。第1地図情報54は、例えば、道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。第1地図情報54は、道路の曲率やPOI(Point Of Interest)情報等を含んでもよい。経路決定部53により決定された経路は、MPU60に出力される。また、ナビゲーション装置50は、経路決定部53により決定された経路に基づいて、ナビHMI52を用いた経路案内を行ってもよい。なお、ナビゲーション装置50は、例えば、ユーザの保有するスマートフォンやタブレット端末等の端末装置の機能によって実現されてもよい。また、ナビゲーション装置50は、通信装置20を介してナビゲーションサーバに現在位置と目的地を送信し、ナビゲーションサーバから返信された経路を取得してもよい。
MPU60は、例えば、推奨車線決定部61として機能し、HDDやフラッシュメモリ等の記憶装置に第2地図情報62を保持している。推奨車線決定部61は、ナビゲーション装置50から提供された経路を複数のブロックに分割し(例えば、車両進行方向に関して100[m]毎に分割し)、第2地図情報62を参照してブロックごとに推奨車線を決定する。推奨車線決定部61は、左から何番目の車線を走行するといった決定を行う。推奨車線決定部61は、経路において分岐箇所や合流箇所等が存在する場合、自車両Mが、分岐先に進行するための合理的な走行経路を走行できるように、推奨車線を決定する。
第2地図情報62は、第1地図情報54よりも高精度な地図情報である。第2地図情報62は、例えば、車線の中央の情報あるいは車線の境界の情報等を含んでいる。また、第2地図情報62には、道路情報、交通規制情報、住所情報(住所・郵便番号)、施設情報、電話番号情報等が含まれてよい。道路情報には、高速道路、有料道路、国道、都道府県道といった道路の種別を表す情報や、道路の車線数、非常駐車帯の領域、各車線の幅員、道路の勾配、道路の位置(経度、緯度、高さを含む3次元座標)、車線のカーブの曲率、車線の合流および分岐ポイントの位置、道路に設けられた標識等の情報が含まれる。第2地図情報62は、通信装置20を用いて他装置にアクセスすることにより、随時、アップデートされてよい。
車両センサ70は、自車両Mの速度を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、自車両Mの向きを検出する方位センサ等を含む。加速度センサは、例えば、自車両Mの横方向に関する重力加速度(以下、「横加速度」と称する)を検出する横加速度センサを含んでいてもよい。
運転操作子80は、例えば、アクセルペダル、ブレーキペダル、シフトレバー、ステアリングホイールその他の操作子を含む。運転操作子80には、操作量あるいは操作の有無を検出するセンサが取り付けられており、その検出結果は、自動運転制御ユニット100、もしくは、走行駆動力出力装置200、ブレーキ装置210、およびステアリング装置220のうち一方または双方に出力される。
車室内カメラ90は、座席に着座した乗員の顔を中心として上半身を撮像する。座席に着座した乗員とは、運転席に着座した乗員でもよく、助手席や後部座席に着座した乗員でもよい。車室内カメラ90の撮像画像は、自動運転制御ユニット100に出力される。
乗員状態検出センサ95は、例えば、乗員が着座する座席の背もたれ部(シートバック)に設けられ、背もたれ部から乗員の胸部に対して電波を照射し、照射した電波を検知することで、乗員の心拍を検出する心拍センサである。また、乗員状態検出センサ95は、例えば、ステアリングホイールに設けられ、乗員が把持した手の湿度から発汗量を検出する発汗量検出センサであってもよい。また、乗員状態検出センサ95は、乗員の脳波を検出する脳波センサ、乗員の脳内の血流を検出する脳内血流センサ、または乗員の血圧等を検出する血圧センサであってもよい。また、乗員状態検出センサ95は、乗員が着座する座席の荷重を検出する荷重センサであってもよい。乗員状態検出センサ95は、検出した情報を、自動運転制御ユニット100に出力する。
[自動運転制御ユニット]
自動運転制御ユニット100は、例えば、第1制御部120と、第2制御部140と、学習部150と、乗員状態判定部160と、インターフェース制御部170と、記憶部180とを備える、第1制御部120と、第2制御部140と、学習部150と、乗員状態判定部160と、インターフェース制御部170とは、それぞれ、CPU(Central Processing Unit)等のプロセッサがプログラム(ソフトウェア)を実行することで実現される。また、以下に説明する第1制御部120、第2制御部140、学習部150、乗員状態判定部160、およびインターフェース制御部170の各機能部のうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)等のハードウェアによって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。また、ソフトウェアは、それぞれの機能に応じてモジュール化されていてもよい。第1制御部120、第2制御部140、および学習部150のうち一部または全部は、「自動運転制御部」の一例である。自動運転制御部は、自車両Mの操舵または加減速の少なくとも一方を自動で制御する自動運転を実行する。また、記憶部180は、HDDやフラッシュメモリ等の記憶装置である。
第1制御部120は、例えば、外界認識部(認識部)121と、自車位置認識部122と、行動計画生成部123とを備える。
外界認識部121は、カメラ10、レーダ装置12、およびファインダ14から物体認識装置16を介して入力される情報に基づいて、周辺車両の位置および速度、加速度等の状態を認識する。周辺車両の位置は、その周辺車両の重心やコーナー等の代表点で表されてもよいし、周辺車両の輪郭で表現された領域で表されてもよい。周辺車両の「状態」とは、周辺車両の加速度やジャーク、あるいは「行動状態」(例えば車線変更をしている、またはしようとしているか否か)を含んでもよい。
また、外界認識部121は、周辺車両に加えて、ガードレールや電柱、駐車車両、歩行者その他の物体の位置を認識してもよい。
自車位置認識部122は、例えば、自車両Mが走行している車線(走行車線)、並びに走行車線に対する自車両Mの相対位置および姿勢を認識する。自車位置認識部122は、例えば、第2地図情報62から得られる道路区画線のパターン(例えば実線と破線の配列)と、カメラ10によって撮像された画像から認識される自車両Mの周辺の道路区画線のパターンとを比較することで、走行車線を認識する。この認識において、ナビゲーション装置50から取得される自車両Mの位置やINSによる処理結果が加味されてもよい。
そして、自車位置認識部122は、例えば、走行車線に対する自車両Mの位置や姿勢を認識する。図2は、自車位置認識部122により走行車線L1に対する自車両Mの相対位置および姿勢が認識される様子を示す図である。自車位置認識部122は、例えば、自車両Mの基準点(例えば重心)の走行車線中央CLからの乖離OS、および自車両Mの進行方向の走行車線中央CLを連ねた線に対してなす角度θを、走行車線L1に対する自車両Mの相対位置および姿勢として認識する。なお、これに代えて、自車位置認識部122は、走行車線L1のいずれかの側端部に対する自車両Mの基準点の位置等を、走行車線に対する自車両Mの相対位置として認識してもよい。自車位置認識部122により認識される自車両Mの相対位置は、推奨車線決定部61および行動計画生成部123に提供される。
[行動計画生成部]
行動計画生成部123は、自車両Mが目的地等に対して自動運転を行うための行動計画を生成する。例えば、行動計画生成部123は、推奨車線決定部61により決定された推奨車線を走行するように、且つ、自車両Mの周辺状況に対応できるように、自動運転制御において順次実行されるイベントを決定する。第1実施形態の自動運転におけるイベントには、例えば、一定速度で同じ走行車線を走行する定速走行イベント、自車両Mの走行車線を変更する車線変更イベント、前走車両を追い越す追い越しイベント、合流地点で自車両Mを合流させる合流イベント、道路の分岐地点で自車両Mを目的の方向に走行させる分岐イベント、自車両Mを緊急停車させる緊急停車イベント、自動運転を終了して手動運転に切り替えるための切替イベント(テイクオーバーイベント)等がある。また、これらのイベントの実行中に、自車両Mの周辺状況(周辺車両や歩行者の存在、道路工事による車線狭窄等)に基づいて、回避のための行動が計画される場合もある。
行動計画生成部123は、自車両Mが将来走行する目標軌道を生成する。目標軌道は、自車両Mの到達すべき地点(軌道点)を順に並べたものとして表現される。軌道点は、所定の走行距離ごとの自車両Mの到達すべき地点であり、それとは別に、所定のサンプリング時間(例えば0コンマ数[sec]程度)ごとの目標速度および目標加速度が、目標軌道の一部として生成される。また、軌道点は、所定のサンプリング時間ごとの、そのサンプリング時刻における自車両Mの到達すべき位置であってもよい。この場合、目標速度や目標加速度の情報は、軌道点の間隔で表現される。
図3は、推奨車線に基づいて目標軌道が生成される様子を示す図である。図示するように、推奨車線は、目的地までの経路に沿って走行するのに都合が良いように設定される。行動計画生成部123は、推奨車線の切り替わり地点の所定距離手前(イベントの種類に応じて決定されてよい)に差し掛かると、車線変更イベント、分岐イベント、合流イベント等を起動する。各イベントの実行中に、障害物を回避する必要が生じた場合には、図示するように回避軌道が生成される。
行動計画生成部123は、例えば、複数の目標軌道の候補を生成し、安全性と効率性の観点に基づいて、その時点で目的地までの経路に適合する最適な目標軌道を選択する。また、行動計画生成部123は、学習部150からの指示に基づいて、選択した一つの目標軌道の一部または全部を変更しして、学習用の目標軌道を生成する。また、行動計画生成部123は、学習部150により学習された結果に基づいて、選択した一つの目標軌道を修正する。
第2制御部140は、例えば走行制御部141を備える。走行制御部141は、行動計画生成部123によって生成された目標軌道を、予定の時刻通りに自車両Mが通過するように、走行駆動力出力装置200、ブレーキ装置210、およびステアリング装置220を制御する。
[学習部]
学習部150は、自動運転に伴い発生する自車両Mの挙動または自動運転に関する車両の乗員への情報通知と、自車両Mが行った挙動後、または乗員への情報通知後の乗員の状態との組み合わせに基づいて、自車両Mの周辺状況に応じた適切な自動運転の制御度合を学習する。
ここで、自車両Mが行った挙動とは、例えば、自車両Mの横加速度等である。自車両Mの挙動とは、例えば、自車両Mの前後加速度、ジャーク、速度、角速度等であってもよい。また、乗員への情報通知とは、例えば、自動運転に関してHMI30から出力される情報(通知や情報提供等)である。
乗員の状態は、例えば、良い状態と良くない状態とを少なくとも含む状態に分類される。良い状態とは、例えば、乗員が快適と感じる状態である。良くない状態とは、乗員が不快と感じる状態である。快適な状態または不快な状態は、例えば、後述する乗員状態判定部160によって、車室内カメラ90の撮像画像から得られる乗員の顔の表情(口や目、眉の傾き)や顔色を予め登録された所定のパターンと比較し、パターンに対する差分が所定値以内であるか否かに基づき判定されてもよく、また乗員状態検出センサ95から得られる心拍または発汗量等から判定されてもよい。
より具体的には、乗員状態判定部160は、乗員の顔の表情パターンが笑顔に近い表情であったり、通常時の表情であったりするときや、心拍または発汗量が所定の基準値未満であるときに、乗員が快適と感じる状態であると判定してもよい。また、乗員状態判定部160は、乗員の顔の表情パターンが顔をしかめた状態に近い表情となったとき、単位時間当たりの眼球運動や顔向きの変化が所定の頻度よりも多いとき、または心拍または発汗量が所定の基準値以上であるとき等に、乗員が不快と感じる状態であると判定してもよい。また、乗員状態判定部160は、首をかしげる等の所定のジェスチャーを検知したときに乗員が不快と感じる状態であると判定してもよい。
また、乗員状態判定部160は、乗員状態検出センサ95により検出された乗員の脳波から、予め定義された所定の脳波パターンが観測されたときに、その乗員が快適と感じる状態、或いは不快と感じる状態であると判定してもよい。また、乗員状態判定部160は、声の高さが通常時よりも高くなった場合に乗員が不快と感じる状態であると判定してもよい。
また、乗員状態判定部160は、自車両Mの乗員への情報通知を行った後の乗員の反射行動に基づいて、乗員が不快と感じる状態であると判定してもよい。反射行動としては、例えば、運転操作子80のブレーキペダルに足を移動させようとした、或いはブレーキペダルを操作した、ステアリングホイールに手を伸ばした、或いはステアリングホイールを把持した等の行動である。これらの行動は、車室内カメラ90の画像から検出してもよく、運転操作子80による操作入力が受け付けられたか否かにより検出してもよい。
また、乗員状態判定部160は、自車両Mの乗員への情報通知を行った後に、乗員状態検出センサ95により検出された座席の荷重が変化した場合には、乗員が情報通知を受け入れて身構える行動を取ったと推定し、その乗員が快適と感じる状態であると判定してもよい。
また、適切な自動運転の制御度合を学習するとは、例えば、外界認識部121により認識された車両の周辺状況を、例えば任意のシーンや条件等によりパターン化して有限のパターンにしたものに対応させて、自車両Mが今後どのような自動運転制御を実行すべきかを制御度合によって学習することである。
また、どのような自動運転制御を実行すべきかを制御度合によって学習するとは、例えば、自動運転中に、後述する乗員状態判定部160により乗員が快適と感じる状態であると判定された前に発生した自車両Mの挙動または自動運転に関する車両の乗員への情報通知に対応する自動運転の制御度合を維持することである。また、どのような自動運転制御を実行すべきかを制御度合によって学習するとは、乗員が不快と感じる状態であると判定された前に発生した自車両Mの挙動または自動運転に関する自車両Mの乗員への情報通知に対応する自動運転の制御度合を変更するように、第1制御部120に指示することである。制御度合を変更するとは、例えば、乗員状態判定部160により判定される乗員の状態が所定の状態に近づくように変更することである。所定の状態とは、例えば、乗員が快適と感じる状態である。
学習部150は、行動計画生成部123により生成される行動計画に対して、自車両Mの挙動、挙動により乗員に提供される内容、乗員への通知条件等を変更する制御パラメータを生成し、生成した制御パラメータとともに、行動計画の変更指示を第1制御部120に出力する。制御パラメータとは、例えば、自動運転において、操作する対象(シーン)に応じた制御度合の変更幅のことである。
図4は、学習部150の指示により行動計画生成部123により変更される行動計画の一例を示す図である。図4の例では、自車両Mが行動計画生成部123により生成された行動計画に基づいて、走行車線L1から走行車線L2に車線変更する例を示している。
学習部150は、行動計画生成部123により生成される最適な目標軌道を基準として、その変更幅を±10%した目標軌道を走行させるような制御パラメータを生成し、生成した制御パラメータと目標軌道の変更指示を行動計画生成部123に出力する。この変更幅は、例えば予め設定される乗員が不安に感じない平均的なレベルよりもわずかに不安に感じるレベルの変更幅である。
また、学習部150は、例えば、制御パラメータの値をランダムに変更し、変更された制御パラメータに基づく制御度合で、行動計画生成部123が生成する目標軌道を変更させてもよい。これにより、様々な自車両Mの挙動、挙動により乗員に提供される内容、乗員への通知条件等に基づく乗員の状態を取得することできる。したがって、学習部150は、より高精度に乗員の嗜好を取得することができる。
また、学習部150が使用する制御パラメータの値は、予め設定されてもよく、乗員が任意に指定してもよい。また、学習部150は、制御パラメータの値を、通信装置20を用いて他車両やサーバ装置等から取得してもよい。また、学習部150は、学習後の制御パラメータの値を、他車両やサーバ装置等に提供してもよい。なお、学習部150は、制御パラメータにより変更させた目標軌道に対する走行後の乗員の状態から制御度合を学習するだけでなく、行動計画生成部123により生成された目標軌道に沿った走行後の乗員の状態から制御度合を学習してもよい。
また、学習部150は、インターフェース制御部170に、自動運転に関する乗員への通知や情報提供の内容を変更させる制御パラメータを出力してもよい。通知や情報提供の内容の変更とは、例えば、表示される文字の大きさ、画面の色、音量の大きさ、表示する内容(コンテンツ等)等を変更することである。また、この場合の制御パラメータとは、例えば、文字の大きさに関する変更幅や音量の大きさに関する変更幅である。また、制御パラメータは、画面の色を現在の色から所定の色に変えるため値や、変更して表示される内容に関する情報等であってもよい。また、学習部150は、乗員への通知や情報提供の量を、所定の頻度よりも多くなるようにインターフェース制御部170に制御パラメータを出力してもよい。
図5は、自動運転における学習実行時に、HMI30に出力される情報の一例を示す図である。図5の例では、HMI30の表示装置31に車線変更を行う画面が表示されている。
例えば、学習部150は、行動計画に基づいて目的地方面に走行している自車両Mに対して、車線変更の学習用のテスト走行を実行させる。この場合、学習部150は、車線変更の学習用のテスト走行を実行するための制御パラメータを、行動計画生成部123に出力する。また、インターフェース制御部170は、学習部150の指示により、学習用の車線変更を実行することを示すメッセージ情報310や、学習用の自動運転実行時の目標軌道320を、表示装置31を用いて表示する。また、インターフェース制御部170は、表示装置31を用いて表示した内容と同内容の音声を、HMI30のスピーカを用いて出力してもよい。これにより、乗員は、自動運転に関する学習を行っていることを容易に把握することができる。したがって、もし、乗員が学習用の自動運転において、不快に感じたとしても、その挙動が学習用の自動運転であるため、安心感を得ることができる。
なお、図5に示すように、学習用の自動運転であることを乗員に通知することで、乗員が身構えたり、実際の感情とは異なる表情を作ったりする場合がある。このような場合には、実際の結果を取得できずに間違った学習を行う可能性がある。したがって、学習部150は、一部の学習については、学習中であることを表示させないようにしてもよい。一部の学習とは、例えば、車間距離や音声出力等のように、車線変更や追い越し等の制御内容に比して制御内容(変更幅)が低い挙動や内容、条件に関する学習である。また、一部の学習とは、例えば車線変更等において、最適な目標軌道からの変更幅が、閾値より小さい僅かな変更である場合の学習である。このような学習において、乗員に、学習中であることを通知しないようにすることで、乗員のより正確な状態を取得することができる。また、変更幅が大きくないため、乗員は、自動運転に対して不快に感じることを軽減することができる。
また、学習部150は、自動運転制御ユニット100のソフトウェアのアップデート等で、自車両Mが新しく行えるようになった機能に関する制御度合について、自車両Mの挙動または自動運転に関する自車両Mの乗員への情報通知を、既存の機能に関する制御度合よりも高くさせるように第1制御部120に指示してもよい。なお、制御度合を高くするとは、例えば、挙動に対する制御の大きさを大きくすることや、通知に対する頻度を高くすることを含む。
これにより、学習部150は、自車両Mが新しく行えるようになった機能に関する学習結果を多く収集することができる。また、学習部150は、自車両Mが新しく行えるようになった機能に関する乗員の嗜好に基づく自動運転を、迅速に反映させることができる。
また、学習部150は、オーバーアクションまたは所定のジェスチャーを行うように、乗員に動作を促すメッセージ等をHMI30から出力させる指示をインターフェース制御部170に出力してもよい。図6は、乗員に動作を促すメッセージ情報の一例を示す図である。図6の例では、上述した図5の例と同様に、学習用の車線変更を行う場合に、表示装置31に表示される画面例を示している。
例えば、学習部150は、行動計画に基づいて目的地方面に走行している自車両Mに対して、学習用の車線変更を行うように、行動計画生成部123に指示を出力する。また、学習部150は、学習用の車線変更の目標軌道320や、オーバーアクションまたは所定のジェスチャーを等の動作を促すメッセージ情報330を、表示装置31により表示させる指示を、インターフェース制御部170に出力する。
所定のジェスチャーとは、例えば、不快と感じた場合に手を振る動作や、快適と感じた場合に笑顔になるといった動作等である。また、所定のジェスチャーは、例えば、予め工場出荷時等に自車両Mに定義されてよい。これにより、乗員の状態の判定の認識を向上させることができる。
また、学習部150は、複数の制御パラメータを組み合わせて実行された自動運転の結果に対する学習を行ってもよい。複数の制御パラメータの組み合わせとは、例えば、車線変更に関する変更を行った後に、音声出力に関する変更を行い、その後の乗員の状態に基づいて、自動運転の制御度合を学習する等である。
また、学習部150は、乗員状態判定部から得られる乗員の状態と、行動計画生成部123またはインターフェース制御部170に指示した制御パラメータとの情報とを対応付けて、学習データ181に記憶させる。
図7は、学習データ181の一例を示す図である。図7の例において、学習データ181は、例えば、自車両Mの乗員の識別情報に対応付けて記憶部180に記憶される。また、学習データは、例えば、車両の識別情報ごとに記憶部180に記憶されてよい。
学習データ181は、例えば、自車両Mが自動運転時に実行する項目ごとに、実行日時と、場所と、挙動/内容/条件と、乗員状況とが、対応付けられている。
項目とは、例えば、自車両Mが自動運転の学習時に操作する対象(シーン)である。実行日時とは、例えば、自車両Mが実際に学習部150により指示された情報で、行動計画生成部123またはインターフェース制御部170により実行された情報である。場所とは、例えば、学習部150により指示された情報で、行動計画生成部123またはインターフェース制御部170の指示により学習用の自動運転に関する処理が実行された場所である。場所は、例えば、走行車線に関する概略的な情報でもよく、位置情報等でもよい。
挙動/内容/条件とは、例えば、行動計画生成部123により生成された各シーンの目標軌道に対する自車両Mの挙動、挙動により乗員に提供される内容、乗員への通知条件等である。例えば、項目が車線変更の場合には、横加速度、前走車両との最小車間距離に関する情報が格納される。また、項目が自動運転に関する乗員への音声出力である場合には、注意喚起、音量+10%等の情報が格納される。
乗員状況とは、例えば、表情判定や心拍、発汗量等である。これらの情報は、後述する乗員状態判定部160により取得される。
また、学習部150は、例えば、学習データ181から次の自動運転時の自車両Mの挙動、挙動により乗員に提供される内容、乗員への通知条件等に関する制御パラメータを設定して、行動計画生成部123またはインターフェース制御部170に出力する。
このように、学習部150は、行動計画生成部123により生成された最適な行動計画で走行するのではなく、その行動計画を制御パラメータで変更して自動運転させ、その運転後の乗員の状態を判定することで、乗員ごとに、自動運転に関する許容範囲や運転嗜好等に迅速に学習することができる。
[乗員状態判定部]
乗員状態判定部160は、車室内カメラ90からの撮像画像から、自動運転における各イベント等が実行されたときの乗員の表情や顔色に基づいて、自車両Mの挙動、挙動により乗員に提供される内容、乗員への通知条件等に対して、乗員の状態が快適であるかまたは不快であるかを判定する。
具体的には、乗員状態判定部160は、車室内カメラ90からの撮像画像に基づいて、顔の目や鼻、口等の特徴部分の位置、形状、所定時間における特徴部分の移動量等により、乗員の表情を判定する。表情を判定する場合、乗員状態判定部160は、例えば、予め表情ごとに設定された特徴量の位置、形状、移動量等のデータとマッチングを行うことで、表情を推定することができる。
また、乗員状態判定部160は、乗員の表情が乗員の表情が笑っていると推定された場合、乗員がその運転を快適に感じたと判定する。また、乗員状態判定部160は、乗員が怒っていたり、びっくりした顔をしていると推定された場合、乗員はその運転を不快に感じたと判定する。また、乗員状態判定部160は、顔色が青白っぽい色をしていると推定された場合に、乗員はその運転を不快に感じたと判定する。また、乗員状態判定部160は、予め設定された手を振る等の動作を行っていると判定された場合に、不快に感じていると判定してもよい。
また、乗員状態判定部160は、乗員状態検出センサ95により得られる心拍や発汗量を、予め測定された安定時の心拍や発汗量、または予め基準値として設定した心拍や発汗量と比較することで、心拍や発汗量が多いかまたは少ないかを判定してもよい。乗員状態判定部160は、判定された乗員の状態に関する情報を、学習部150に出力する。
インターフェース制御部170は、行動計画生成部123により実行中のシーンやイベント等に関連して、自動運転における学習が実行中であること等を示す情報を、画面表示や音声出力等の態様でHMI30に提示させる。
走行駆動力出力装置200は、車両が走行するための走行駆動力(トルク)を駆動輪に出力する。走行駆動力出力装置200は、例えば、内燃機関、電動機、および変速機等の組み合わせと、これらを制御するECU(Electronic Control Unit)とを備える。ECUは、走行制御部141から入力される情報、或いは運転操作子80から入力される情報に従って、上記の構成を制御する。
ブレーキ装置210は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ブレーキECUとを備える。ブレーキECUは、走行制御部141から入力される情報、或いは運転操作子80から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。ブレーキ装置210は、運転操作子80に含まれるブレーキペダルの操作によって発生させた油圧を、マスターシリンダを介してシリンダに伝達する機構をバックアップとして備えてよい。なお、ブレーキ装置210は、上記説明した構成に限らず、走行制御部141から入力される情報、或いは運転操作子80から入力される情報に従ってアクチュエータを制御して、マスターシリンダの油圧をシリンダに伝達する電子制御式油圧ブレーキ装置であってもよい。また、ブレーキ装置210は、安全面を考慮して複数系統のブレーキ装置を備えていてもよい。
ステアリング装置220は、例えば、ステアリングECUと、電動モータとを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングECUは、走行制御部141から入力される情報、或いは運転操作子80から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。
[車両制御処理]
以下、車両システム1による各種車両制御について説明する。図8は、第1実施形態の車両制御処理の一例を示すフローチャートである。図8の処理は、例えば、自動運転実行時に所定周期で繰り返し実行される。
まず、外界認識部121は、自車両Mの周辺状況を認識する(ステップS100)。次に、学習部150は、行動計画生成部123により学習用の行動計画を生成させるための制御パラメータを生成する(ステップS102)。次に、行動計画生成部123は、学習部150により生成された制御パラメータに基づいて、最適な目標軌道を変更する(ステップS106)。次に、走行制御部141は、変更された目標軌道に基づく自動運転を実行する(ステップS106)。
次に、乗員状態判定部160は、自動運転中の乗員の状態を判定する(ステップS108)。次に、学習部150は、自動運転における車両の挙動または乗員への情報通知と、乗員の状態とに基づいて、周辺状況に応じた自動運転の制御度合を学習する(ステップS110)。これにより、本フローチャートの処理を終了する。
上述したように第1実施形態によれば、乗員ごとの嗜好に応じた自動運転制御を実行することができる。具体的には、第1実施形態によれば、自動運転の実行後の乗員の状態が快適な場合と不快な場合とで、自動運転の制御度合を維持または変更することで、乗員ごとの嗜好に応じた自動運転制御を実行することができる。また、第1実施形態によれば、制御度合を変更する制御パラメータの値をランダムに変更することで、様々な車両の挙動、挙動により乗員に提供される内容、乗員への通知条件等に基づく乗員の状態を取得することできる。また、第1実施形態によれば、所定時間内に、車両が新しく行えるようになった機能に関する学習結果を多く収集することができ、車両が新しく行えるようになった機能に関する乗員の嗜好に沿った自動運転を迅速に実行することができる。
[第2実施形態]
次に、第2実施形態の車両制御システム、車両制御方法、および車両制御プログラムについて説明する。第2実施形態では、自動運転制御ユニット100は、通信装置20を用いて学習データ181をサーバ装置に送信し、サーバ装置から取得する統計処理後の制御パラメータに基づいて、自動運転を実行する。なお、以下の説明において、第1実施形態と同様の構成については、同様の名称および符号を付するものとし、ここでの具体的な説明は省略する。
[交通情報共有システム]
図9は、自動運転制御ユニット100を含む交通情報共有システム400の構成の一例を示す図である。交通情報共有システム400は、自動運転制御ユニット100を搭載した複数の車両M−1〜M−k(kは任意の自然数)と、基地局装置500と、サーバ装置600とを含む。例えば、自車両Mは、車両M−1〜M−kに含まれる。
基地局装置500と、各車両M−1〜M−kとの間では、例えば、携帯電話網やWi−Fi網等を利用した無線通信が行われる。また、基地局装置500とサーバ装置600との間では、ネットワークNWを介した通信が行われる。ネットワークNWは、例えば、WAN(Wide Area Network)やLAN(Local Area Network)等である。また、各車両は、基地局装置500を介してサーバ装置600と通信する。
サーバ装置600は、サーバ側通信部610と、データベース620と、サーバ側処理部630とを備える。サーバ側通信部610は、基地局装置500を介して、各車両により送信された情報を取得する。サーバ側通信部610は、サーバ装置600により保持される情報を所定の車両へ送信する。
データベース620には、例えば各車両M−1〜M−kから取得した学習データ181に関する情報等が記憶される。サーバ側処理部630は、各車両M−1〜M−kから取得した情報、またはデータベース620に記憶された情報に対して統計処理等を行う。
図10は、サーバ装置600で実行される処理の流れを示すフローチャートである。図10の処理は、例えば、所定周期で繰り返し実行される。サーバ側通信部610は、各車両M−1〜M−kから送信された学習データを受信する(ステップS200)。この学習データは、乗員ごとに対応付けられている。また、学習データは、車両の識別情報等に対応付けられていてもよい。受信した学習データは、データベース620に格納される。
次に、サーバ側処理部630は、受信した学習データから、ある一定の共通傾向を抽出する(ステップS202)。ある一定の共通傾向とは、例えば、条件と結果に関して、高確率で同じものが出現する組み合わせである。共通傾向とは、例えば、車線変更において、所定の時間帯や場所等で、横加速度が閾値以下の場合に、乗員が快適に感じる確率が80%以上になるといった傾向である。共通傾向は、乗員が快適に感じる傾向でもよく、乗員が不快に感じる傾向でもよい。
次に、サーバ側処理部630は、共通傾向が存在するか否かを判定する(ステップS204)。共通傾向がある場合、サーバ側処理部630は、抽出した共通傾向に基づいて、自動運転用の制御パラメータを生成し(ステップS206)、生成した制御パラメータをサーバ側通信部610によって各車両M−1〜M−kに出力させる(S208)。また、サーバ側処理部630は、共通傾向がない場合に、乗員ごとの学習データとして管理する(ステップS210)。これにより、本フローチャートの処理を終了する。
図11は、第2実施形態のサーバ装置600により取得した制御パラメータに対する自動運転制御ユニット100の処理の流れを示すフローチャートである。図11の処理は、例えば、所定周期で繰り返し実行される。図11の例において、通信装置20を用いてサーバ装置600から送信された制御パラメータを受信すると(ステップS300)、学習部150は、受信した制御パラメータに基づき、自動運転時における行動計画生成部123またはインターフェース制御部170の制御を、共通傾向に基づく制御パラメータに変更するか否かを判定する(ステップS302)。ステップS302の処理において、例えば、乗員により変更しない旨の指示を受けていた場合、または、すでに共通傾向に基づく制御パラメータに変更している場合、学習部150は、共通傾向の制御パラメータに変更しないと判定する。また、それ以外の場合、学習部150は、共通傾向の制御パラメータに変更する。
供給傾向の制御パラメータに変更する場合、学習部150は、自動運転における自車両Mの挙動、挙動により乗員に提供される内容、および乗員への通知条件等を共通傾向の内容に変更する(ステップS304)。また、行動計画生成部123は、変更された自車両Mの挙動、挙動により乗員に提供される内容、乗員への通知条件等に基づいて、行動計画生成部123およびインターフェース制御部170の指示により、自動運転に関する各種処理を実行させる(ステップS306)。また、供給傾向の制御パラメータに変更しない場合、学習部150は、既存の挙動、挙動により乗員に提供される内容、乗員への通知条件等に基づいて、行動計画生成部123およびインターフェース制御部170の指示により、自動運転に関する各種処理を実行させる(ステップS308)。これにより、本フローチャートの処理を終了する。
第2実施形態によれば、サーバ装置600は、各車両M−1〜M−kの学習データを、プローブデータとして収集し、収集した学習データの統計処理を行い、ある一定以上の快適さを感じる共通傾向がある場合に、その制御パラメータを各車両M−1〜M−kに配信することで、複数の乗員が快適と感じる自動運転を提供することができる。また、第2実施形態によれば、乗員の設定等により、共通傾向の制御パラメータを反映させないようにすることができ、乗員ごとにカスタマイズされた自動運転を実行することができる。
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
1…車両システム、10…カメラ、12…レーダ装置、14…ファインダ、16…物体認識装置、20…通信装置、30…HMI、50…ナビゲーション装置、60…MPU、70…車両センサ、80…運転操作子、90…車室内カメラ、95…乗員状態検出センサ、100…自動運転制御ユニット、120…第1制御部、121…外界認識部、122…自車位置認識部、123…行動計画生成部、140…第2制御部、141…走行制御部、150…学習部、160…乗員状態判定部、170…インターフェース制御部、180…記憶部、200…走行駆動力出力装置、210…ブレーキ装置、220…ステアリング装置、400…交通情報共有システム、500…基地局装置、600…サーバ装置、610…サーバ側通信部、620…データベース、630…サーバ側処理部、M…自車両

Claims (10)

  1. 車両の操舵または加減速の少なくとも一方を自動で制御する自動運転を実行する自動運転制御部と、
    前記車両の乗員の状態を判定する乗員状態判定部と、
    前記自動運転制御部により実行される自動運転制御に伴い発生する前記車両の挙動または前記自動運転制御に関する車両の乗員への情報通知と、前記車両の挙動または前記車両の乗員への情報通知の後に前記乗員状態判定部により判定された乗員の状態との組み合わせに基づいて、前記乗員状態判定部により判定される前記乗員の状態が所定の状態に近づくように前記自動運転制御を学習する学習部と、
    を備える車両制御システム。
  2. 前記乗員の状態は、前記乗員が快適と感じる状態と不快と感じる状態とを少なくとも含む状態に分類され、
    前記所定の状態は、前記乗員が快適に感じる状態である、
    請求項1に記載の車両制御システム。
  3. 前記車両の周辺状況を認識する認識部を更に備え、
    前記学習部は、前記乗員状態判定部により判定された前記乗員の状態と、前記認識部により認識された周辺状況との組み合わせに基づいて、前記自動運転制御を学習する、
    請求項1に記載の車両制御システム。
  4. 前記学習部は、前記乗員状態判定部により前記乗員が快適と感じる状態であると判定された前に発生した前記車両の挙動または前記自動運転に関する車両の乗員への情報通知に対応する自動運転の制御度合を維持し、前記乗員状態判定部により前記乗員が不快と感じる状態であると判定された前に発生した前記車両の挙動または前記自動運転に関する車両の乗員への情報通知に対応する自動運転の制御度合を変更するように、前記自動運転制御部に指示する、
    請求項2に記載の車両制御システム。
  5. 前記学習部は、前記自動運転に関する制御度合を変更する制御パラメータの値をランダムに変更し、変更された制御パラメータに基づく制御度合で、前記自動運転制御部に自動運転を実行させる、
    請求項1に記載の車両制御システム。
  6. 前記学習部は、前記車両が新しく行えるようになった機能に関する制御度合について、前記車両の挙動または前記自動運転に関する車両の乗員への情報通知を、既存の機能に関する制御度合よりも高くさせるように前記自動運転制御部に指示する、
    請求項1に記載の車両制御システム。
  7. 前記車両の乗員を撮像する撮像部と、
    情報を前記乗員に提示するインターフェース部と、を更に備え、
    前記乗員状態判定部は、前記撮像部により撮像された画像から前記車両の乗員の状態を判定し、
    前記学習部は、前記乗員にオーバーアクションまたは所定のジェスチャーを行うように促すための情報を、前記インターフェース部に提示させる、
    請求項1に記載の車両制御システム。
  8. サーバ装置とデータの送受信を行う通信部を更に備え、
    前記学習部は、周辺状況に応じた自動運転の制御度合の学習結果を、前記通信部を用いて前記サーバ装置に送信し、前記通信部により受信した複数車両において共通傾向がある制御パラメータに基づいて、前記自動運転制御部に自動運転を実行させる、
    を備える請求項1に記載の車両制御システム。
  9. 車載コンピュータが、
    車両の操舵または加減速の少なくとも一方を自動で制御する自動運転を実行し、
    前記車両の乗員の状態を判定し、
    実行される自動運転制御に伴い発生する前記車両の挙動または前記自動運転制御に関する車両の乗員への情報通知と、前記車両の挙動または前記車両の乗員への情報通知の後に判定された前記乗員の状態との組み合わせに基づいて、前記乗員の状態が所定の状態に近づくように前記自動運転制御を学習する、
    車両制御方法。
  10. 車載コンピュータに、
    車両の操舵または加減速の少なくとも一方を自動で制御する自動運転を実行させ、
    前記車両の乗員の状態を判定させ、
    実行される自動運転制御に伴い発生する前記車両の挙動または前記自動運転制御に関する車両の乗員への情報通知と、前記車両の挙動または前記車両の乗員への情報通知の後に判定された前記乗員の状態との組み合わせに基づいて、前記乗員の状態が所定の状態に近づくように前記自動運転制御を学習させる、
    車両制御プログラム。
JP2018553526A 2016-11-29 2016-11-29 車両制御システム、車両制御方法、および車両制御プログラム Active JP6841843B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/085343 WO2018100619A1 (ja) 2016-11-29 2016-11-29 車両制御システム、車両制御方法、および車両制御プログラム

Publications (2)

Publication Number Publication Date
JPWO2018100619A1 true JPWO2018100619A1 (ja) 2019-07-11
JP6841843B2 JP6841843B2 (ja) 2021-03-10

Family

ID=62241291

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018553526A Active JP6841843B2 (ja) 2016-11-29 2016-11-29 車両制御システム、車両制御方法、および車両制御プログラム

Country Status (4)

Country Link
US (1) US11186297B2 (ja)
JP (1) JP6841843B2 (ja)
CN (1) CN110023168B (ja)
WO (1) WO2018100619A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190185012A1 (en) 2017-12-18 2019-06-20 PlusAI Corp Method and system for personalized motion planning in autonomous driving vehicles
US11130497B2 (en) 2017-12-18 2021-09-28 Plusai Limited Method and system for ensemble vehicle control prediction in autonomous driving vehicles
WO2020069517A2 (en) * 2018-09-30 2020-04-02 Strong Force Intellectual Capital, Llc Intelligent transportation systems
MX2021012911A (es) * 2019-04-25 2022-01-18 Huawei Tech Co Ltd Sistema recomendador que selecciona un conductor de múltiples candidatos.
JP7270481B2 (ja) * 2019-06-25 2023-05-10 株式会社日立製作所 車両制御システム
JP6971300B2 (ja) * 2019-12-27 2021-11-24 本田技研工業株式会社 車両制御装置、車両制御方法及びプログラム
CN113135190A (zh) * 2020-01-17 2021-07-20 株式会社斯巴鲁 自动驾驶辅助装置
US20230347888A1 (en) * 2020-01-30 2023-11-02 Hitachi Astemo, Ltd. Vehicle Control Device, Vehicle Control Method, and Vehicle Control System
JP7279656B2 (ja) * 2020-02-06 2023-05-23 トヨタ自動車株式会社 情報処理装置、システム、及び、情報処理方法
US11878714B2 (en) 2020-04-06 2024-01-23 Harman International Industries, Incorporated Techniques for customizing self-driving models
JP7375683B2 (ja) * 2020-06-16 2023-11-08 トヨタ自動車株式会社 情報処理装置、プログラム、及び情報処理方法
CN112026789A (zh) * 2020-09-09 2020-12-04 广汽丰田汽车有限公司 自动驾驶学习方法、车辆及可读存储介质
CN114347788B (zh) * 2021-11-30 2023-10-13 岚图汽车科技有限公司 一种基于面向服务的智能座舱人机交互按键控制系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008308035A (ja) * 2007-06-14 2008-12-25 Denso Corp 車両機能実行システム、車両側装置、携帯機、記憶媒体、情報センタ
JP2014019301A (ja) * 2012-07-18 2014-02-03 Toyota Motor Corp 緊急退避装置
WO2015166721A1 (ja) * 2014-05-02 2015-11-05 エイディシーテクノロジー株式会社 車両制御装置
JP2016020177A (ja) * 2014-07-15 2016-02-04 株式会社デンソー 運転制御装置
JP2016052881A (ja) * 2014-09-03 2016-04-14 株式会社デンソー 車両の走行制御システム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010256943A (ja) 2009-04-21 2010-11-11 Nec Corp ドライバ状態判定システム、判定方法及び判定用プログラム
US8509982B2 (en) * 2010-10-05 2013-08-13 Google Inc. Zone driving
US8825258B2 (en) * 2012-11-30 2014-09-02 Google Inc. Engaging and disengaging for autonomous driving
US9165477B2 (en) * 2013-12-06 2015-10-20 Vehicle Data Science Corporation Systems and methods for building road models, driver models, and vehicle models and making predictions therefrom
US10099700B2 (en) 2014-04-30 2018-10-16 Ford Global Technologies, Llc Method and system for driver tailored interaction time alert
WO2016035268A1 (ja) * 2014-09-03 2016-03-10 株式会社デンソー 車両の走行制御システム
US10377303B2 (en) * 2014-09-04 2019-08-13 Toyota Motor Engineering & Manufacturing North America, Inc. Management of driver and vehicle modes for semi-autonomous driving systems
JP6375237B2 (ja) * 2015-01-28 2018-08-15 日立オートモティブシステムズ株式会社 自動運転制御装置
US9896030B2 (en) * 2015-04-30 2018-02-20 Honda Motor Co., Ltd. System and method for vehicle collision mitigation with vulnerable road user context sensing
KR20170015114A (ko) * 2015-07-30 2017-02-08 삼성전자주식회사 자율 주행 차량 및 자율 주행 차량 제어 방법
US9896100B2 (en) * 2015-08-24 2018-02-20 International Business Machines Corporation Automated spatial separation of self-driving vehicles from other vehicles based on occupant preferences
US20180208209A1 (en) * 2015-09-08 2018-07-26 Apple Inc. Comfort profiles
CN108137050B (zh) * 2015-09-30 2021-08-10 索尼公司 驾驶控制装置、驾驶控制方法
US20170143246A1 (en) * 2015-11-20 2017-05-25 Gregory C Flickinger Systems and methods for estimating and predicting emotional states and affects and providing real time feedback
US9828001B2 (en) * 2016-04-10 2017-11-28 Toyota Motor Engineering & Manufacturing North America, Inc. Confidence icons for apprising a driver of confidence in an autonomous operation of a vehicle
US9969404B2 (en) * 2016-06-03 2018-05-15 Toyota Motor Engineering & Manufacturing North America, Inc. Conveyance of required driver behaviors using persistent patterned sound
US9956963B2 (en) * 2016-06-08 2018-05-01 GM Global Technology Operations LLC Apparatus for assessing, predicting, and responding to driver fatigue and drowsiness levels
US11623647B2 (en) * 2016-10-27 2023-04-11 Toyota Motor Engineering & Manufacturing North America, Inc. Driver and vehicle monitoring feedback system for an autonomous vehicle

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008308035A (ja) * 2007-06-14 2008-12-25 Denso Corp 車両機能実行システム、車両側装置、携帯機、記憶媒体、情報センタ
JP2014019301A (ja) * 2012-07-18 2014-02-03 Toyota Motor Corp 緊急退避装置
WO2015166721A1 (ja) * 2014-05-02 2015-11-05 エイディシーテクノロジー株式会社 車両制御装置
JP2016020177A (ja) * 2014-07-15 2016-02-04 株式会社デンソー 運転制御装置
JP2016052881A (ja) * 2014-09-03 2016-04-14 株式会社デンソー 車両の走行制御システム

Also Published As

Publication number Publication date
CN110023168B (zh) 2022-03-08
CN110023168A (zh) 2019-07-16
US20210114619A1 (en) 2021-04-22
JP6841843B2 (ja) 2021-03-10
US11186297B2 (en) 2021-11-30
WO2018100619A1 (ja) 2018-06-07

Similar Documents

Publication Publication Date Title
JP6841843B2 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
US11046332B2 (en) Vehicle control device, vehicle control system, vehicle control method, and storage medium
JP6650386B2 (ja) 遠隔運転制御装置、車両制御システム、遠隔運転制御方法、および遠隔運転制御プログラム
JP6691032B2 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
JP6528336B2 (ja) 車両制御システムおよび車両制御方法
WO2018116409A1 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
WO2018138768A1 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
JPWO2018087880A1 (ja) 車両制御装置、車両制御システム、車両制御方法、および車両制御プログラム
JPWO2018096644A1 (ja) 車両用表示制御装置、車両用表示制御方法、および車両用表示制御プログラム
CN109890679B (zh) 车辆控制系统、车辆控制方法及存储介质
JP6766171B2 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
JP2018076027A (ja) 車両制御システム、車両制御方法、および車両制御プログラム
WO2019069425A1 (ja) 車両制御装置、車両制御方法、およびプログラム
JPWO2018179359A1 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
WO2018123346A1 (ja) 車両制御装置、車両制御方法、及びプログラム
JP2018124855A (ja) 車両制御システム、車両制御方法、および車両制御プログラム
JP2019079363A (ja) 車両制御装置
JPWO2018230530A1 (ja) 車両制御システム、車両制御方法、およびプログラム
JP2019156175A (ja) 車両制御装置、車両制御方法、及びプログラム
JP2019156266A (ja) 車両制御装置、車両制御方法、及びプログラム
JP2018084989A (ja) 車両用情報出力装置、車両制御システム、情報出力方法、および情報出力プログラム
US11192485B2 (en) Vehicle control system, vehicle control method, and storage medium
JP2022142941A (ja) 運転支援装置、運転支援方法及びプログラム
WO2018179277A1 (ja) 車両制御システム、サーバ装置、車両制御方法、および車両制御プログラム
JP2018118532A (ja) 車両用シート制御装置、車両用シート制御方法、および車両用シート制御プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190318

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200825

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201015

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210218

R150 Certificate of patent or registration of utility model

Ref document number: 6841843

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150