JP6074553B1 - 情報処理システム、情報処理方法、およびプログラム - Google Patents

情報処理システム、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP6074553B1
JP6074553B1 JP2016544179A JP2016544179A JP6074553B1 JP 6074553 B1 JP6074553 B1 JP 6074553B1 JP 2016544179 A JP2016544179 A JP 2016544179A JP 2016544179 A JP2016544179 A JP 2016544179A JP 6074553 B1 JP6074553 B1 JP 6074553B1
Authority
JP
Japan
Prior art keywords
behavior
vehicle
unit
driver
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016544179A
Other languages
English (en)
Other versions
JPWO2016170786A1 (ja
Inventor
本村 秀人
秀人 本村
モハメド サヒム コルコス
モハメド サヒム コルコス
好秀 澤田
好秀 澤田
森 俊也
俊也 森
勝長 辻
勝長 辻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Application granted granted Critical
Publication of JP6074553B1 publication Critical patent/JP6074553B1/ja
Publication of JPWO2016170786A1 publication Critical patent/JPWO2016170786A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Arrangement of adaptations of instruments
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09Driving style or behaviour
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097Predicting future conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/082Selecting or switching between different modes of propelling
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/085Changing the parameters of the control units, e.g. changing limit values, working points by control input
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133Distances to prototypes
    • G06F18/24143Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125Traffic data processing
    • G08G1/0129Traffic data processing for creating historical data or processing based on historical data
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0141Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09626Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages where the origin of the information is within the own vehicle, e.g. a local storage device, digital map
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096716Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information does not generate an automatic action on the vehicle control
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096733Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
    • G08G1/096741Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where the source of the transmitted information selects which information to transmit to each vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096775Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a central station
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0002Automatic control, details of type of controller or control system architecture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062Adapting control system settings
    • B60W2050/0075Automatic parameter input, automatic initialising or calibrating means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • B60W2420/408
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/10Longitudinal speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/10Accelerator pedal position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/12Brake pedal position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/20Direction indicator values
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/30Driving style
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/10Number of lanes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4041Position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • B60W2554/802Longitudinal distance
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • B60W2554/804Relative longitudinal speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/10Historical data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • B60W2556/50External transmission of data to or from the vehicle for navigation systems

Abstract

運転行動を適切に推定する情報処理システム(1000)は、車両の周囲の状況またはその車両の走行状態のうちの少なくとも何れか1つである車両環境状態を検出する検出部(1001)と、検出部(1001)が検出したその車両環境状態と、その車両環境状態の後に行われたその車両の挙動との関係をニューラルネットワークに学習させる挙動学習部(1002)と、検出部(1001)によって検出される現時点におけるその車両環境状態を、学習したニューラルネットワークに入力することによって、その車両の挙動を推定する挙動推定部(1003)とを備える。

Description

本発明は、車両に関する情報を処理する情報処理システム、情報処理方法、およびプログラムに関する。
近年、車両の周囲の状況や前記車両の走行状態(例えば、自車両の速度や操舵・アクセル・ブレーキ・方向指示器・アクチュエータの制御情報など)に基づいて、運転者が自ら運転操作を行う手動運転と一部若しくはすべての運転操作を自動で行う自動運転とによる走行が可能な車両や完全自動運転可能な車両に関する様々な技術が提案され、実用化されている。
例えば、特許文献1には、自車両が自動操舵制御や自動加減速制御となる場合に、自動操舵制御や自動加減速制御の作動状態を視覚的にドライバに認識させる走行制御装置が開示されている。
特開2005−67483号公報
しかしながら、上記特許文献1の走行制御装置(すなわち情報処理システム)では、車両の運転操作を適切に推定することができないという問題がある。なお、運転操作は、運転行動または挙動ともいう。
そこで、本発明は、車両の運転行動を適切に推定することができる情報処理システムなどを提供する。
本発明の一態様に係る情報処理システムは、車両の周囲の状況または前記車両の走行状態のうちの少なくとも何れか1つである車両環境状態を検出する検出部と、前記検出部が検出した前記車両環境状態と、前記車両環境状態の後に行われた前記車両の挙動との関係をニューラルネットワークに学習させる挙動学習部と、前記検出部によって検出される現時点における前記車両環境状態を、学習した前記ニューラルネットワークに入力することによって、前記車両の挙動を推定する挙動推定部と、を備える。
これにより、ニューラルネットワークを用いて車両の挙動が推定されるため、その車両の挙動(すなわち運転行動)を適切に推定することができる。
また、前記挙動学習部は、複数の運転者のそれぞれについて、前記検出部が検出した前記車両環境状態と、前記車両環境状態の後に行われた前記車両の挙動との関係をニューラルネットワークに学習させる汎用挙動学習部と、特定の運転者に対して前記検出部が検出した前記車両環境状態と、前記車両環境状態の後に行われた前記車両の挙動とを用いて、学習した前記ニューラルネットワークに再学習させる転移学習によって、前記特定の運転者に対する専用のニューラルネットワークを構築する専用挙動学習部とを備え、前記挙動推定部は、前記専用のニューラルネットワークを用いて、前記特定の運転者に対する前記車両の挙動を推定してもよい。具体的には、前記挙動推定部は、前記汎用挙動学習部によって学習した前記ニューラルネットワークに、前記特定の運転者に対して前記検出部が検出した前記車両環境状態を入力することによって、前記特定の運転者に対する前記車両の仮の挙動を推定する汎用挙動推定部と、前記専用のニューラルネットワークを用いて、前記特定の運転者に対する前記車両の挙動を推定する専用挙動推定部とを備え、前記情報処理システムは、さらに、前記汎用挙動推定部による仮の挙動の推定結果のヒストグラムを生成するヒストグラム生成部を備え、前記専用挙動学習部は、生成された前記ヒストグラムを参照した前記転移学習によって、前記専用のニューラルネットワークを構築してもよい。
これにより、特定の運転者に対して検出された車両の周囲の状況または走行状態と、その後の挙動とを示す履歴が少なく、その履歴だけでは学習が不十分な場合であっても、複数の運転者の履歴が学習に用いられるため、特定の運転者に対する車両の挙動を適切に推定することができる。また、このような複数の運転者の履歴によって学習された汎用のニューラルネットワークは、特定の運転者の履歴を用いて専用のニューラルネットワークにファインチューニングされる。したがって、その挙動の推定の精度を高めることができる。
また、前記情報処理システムは、さらに、前記挙動推定部によって推定された挙動が有効か否かを判定し、有効と判定した場合に、前記推定された挙動を出力する評価部を備えてもよい。
これにより、不適切な挙動が報知されることを防ぐことができる。
また、前記情報処理システムは、さらに、特定の運転者によって入力される前記車両の挙動を受け付ける入力部と、前記挙動推定部によって推定された前記車両の挙動を、前記入力部によって受け付けられた前記車両の挙動に基づいて評価する評価部とを備え、前記評価部は、前記挙動推定部によって推定された前記車両の挙動に誤りがあると評価した場合には、前記入力部によって受け付けられた前記車両の挙動と、前記車両の挙動の推定時に前記検出部によって検出された前記車両の周囲の状況とを用いた前記ニューラルネットワークの再学習を、前記挙動学習部に実行させてもよい。
これにより、検出部によって検出された周辺の状況または走行状態に誤差が含まれていても、運転行動の予測精度、すなわち車両の挙動の推定精度を向上することができる。
また、前記専用挙動学習部は、前記車両が走行するシーンごとに、当該シーンに応じた前記特定の運転者に対する前記専用のニューラルネットワークを構築するとともに、複数の前記専用のニューラルネットワークのうち、前記車両が走行する現在のシーンに応じた前記専用のニューラルネットワークを選択し、前記専用挙動推定部は、選択された前記専用のニューラルネットワークを用いて、前記特定の運転者に対する前記車両の挙動を推定してもよい。
これにより、シーンごとに適切なニューラルネットワークを選択することができ、各シーンにおける車両の挙動の推定精度、すなわち運転行動の予測精度を向上することができる。
また、前記情報処理システムは、さらに、前記挙動推定部によって推定された挙動を、前記挙動が実施される前に、運転者に報知する報知部を備えてもよい。
これにより、推定された挙動が報知されるため、どのような挙動が行われるのかを事前に運転者に容易に把握させることができ、その運転者の不安を解消することができる。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
ところで、自動運転(完全自動運転及び一部自動運転の両方を含む)中、車に運転を任せるということで、車と運転者の間の信頼関係が極めて大事であり、車両と運転者(乗員)との間に適切な情報を伝達することが必要となる。特許文献1には、運転者に対して現在の作動状態のみを報知している。
自動運転中、車両の現在の挙動(作動状態)を報知されるだけで、これから実施する挙動(例えば、特に合流前、交差点進入の前や緊急車両が近くにいた場合や周囲の他車が何らかの作動をした/しそうなときに、車両が実施しようとする車線変更、加速、減速といった挙動)について何も知らされていない状態だと、運転者が非常に不安感を抱えてしまうという第1の課題があった。
また、完全自動運転中だと、運転者が運転監視以外の他の行動を取っている可能性が高く、いきなり現在の作動状態のみ表示されても、現在の車両の周囲状況や車両の走行状態も把握できないし、運転者の意思で運転を指示しようとしてもすぐに対応できなく、運転者がスムーズに車へ指示を与えることができないという第2の課題があった。
また、運転者に現在の作動状態のみを報知しているだけで、運転者が車に対して直接手動運転を行おうとしても、すぐに切り替えられないという第3の課題があった。
また、運転者若しくは乗員によって、車が同じ動作を取るとしても、動作のタイミングや操作量は人によって異なり、実際運転者が手動運転する場合の感覚と乖離する可能性が高く、最悪な場合、自動運転中に運転者による不要な操作介入を誘発してしまうことがあるという第4の課題があった。
そこで、本発明は、完全自動運転または一部自動運転中において、上記課題のうち少なくとも1つの課題を解決することが可能な情報報知装置、情報報知方法、情報報知プログラムおよび情報処理システムについても提供する。
すなわち、本発明の一態様に係る情報報知装置は、車両の周囲の状況及び車両の走行状態を検出する検出部と、検出部が検出した車両の周囲の状況及び車両の走行状態に基づいて車両の挙動を決定する車両制御部とを備える車両に搭載される情報報知装置であって、自動運転中に車両の挙動を更新する可能性があると判定された場合に、実施する挙動の情報を取得する情報取得部と、実施する挙動を前記車両の挙動が更新される前に報知する報知部と、を備える。
本発明の一態様に係る情報報知方法は、車両の周囲の状況及び車両の走行状態を検出し、検出した車両の周囲の状況及び車両の走行状態に基づいて車両の挙動を決定する車両において実行される情報報知方法であって、自動運転中に車両の挙動を更新する可能性があると判定された場合に、実施する挙動の情報を取得する情報取得ステップと、実施する挙動を前記車両の挙動が更新される前に報知する報知ステップと、を含む。
本発明の一態様に係る情報報知プログラムは、車両の周囲の状況及び車両の走行状態を検出し、検出した車両の周囲の状況及び車両の走行状態に基づいて車両の挙動を決定する車両においてコンピュータにより実行される情報報知プログラムであって、コンピュータを、自動運転中に車両の挙動を更新する可能性があると判定された場合に、実施する挙動の情報を取得する情報取得手段、前記実施する挙動を前記車両の挙動が更新される前に報知する報知手段、として機能させる。
このような情報報知装置、情報報知方法または情報報知プログラムによれば、完全自動運転または一部自動運転において、車両と運転者の操作が対立しにくい、快適な自動運転ができるように、適切に情報を伝達することができる。
本発明によれば、車両の運転行動を適切に推定することができる。
図1は、本発明の実施の形態1に係る情報報知装置を含む車両の要部構成を示すブロック図である。 図2は、走行環境の第1の例と、それに対する報知部の表示、及び、操作部の操作について説明する図である。 図3は、報知部における表示の別の例を示す図である。 図4は、本実施の形態における情報報知処理の処理手順を示すフローチャートである。 図5は、走行環境の第1の例と、それに対する表示制御を示す図である。 図6は、走行環境の第1の例と、それに対する別の表示制御を示す図である。 図7は、走行環境の第2の例と、それに対する表示制御を示す図である。 図8は、走行環境の第3の例と、それに対する表示制御を示す図である。 図9は、走行環境の第4の例と、それに対する表示制御を示す図である。 図10は、走行環境の第5の例と、それに対する表示制御を示す図である。 図11は、図5に示した走行環境の第1の例に対する別の表示制御を示す図である。 図12は、図7に示した走行環境の第2の例に対する別の表示制御を示す図である。 図13は、本発明の実施の形態2に係る情報報知装置を含む車両の要部構成を示すブロック図である。 図14は、実施の形態2におけるタッチパネルの表示を説明する図である。 図15は、本発明の実施の形態3における報知部の表示を説明する図である。 図16は、実施の形態4における車両制御部の挙動の推定に関する機能構成の一例を示すブロック図である。 図17は、実施の形態4における挙動学習部の学習を説明するための図である。 図18Aは、実施の形態4におけるニューラルネットワークの学習を示す図である。 図18Bは、実施の形態4における挙動推定NNを用いた挙動の推定を示す図である。 図19は、実施の形態4における車両制御部の挙動の推定に関する機能構成の他の例を示すブロック図である。 図20は、実施の形態4における汎用挙動学習部の学習を説明するための図である。 図21Aは、実施の形態4における汎用挙動学習部におけるニューラルネットワークの学習を示す図である。 図21Bは、実施の形態4における汎用挙動推定NNを用いた挙動の推定を示す図である。 図22は、実施の形態4における専用挙動推定NNの構築方法を示す図である。 図23は、実施の形態4における専用挙動推定NNを用いた挙動の推定を示す図である。 図24は、実施の形態4の変形例1における車両制御部の挙動の推定に関する機能構成の一例を示すブロック図である。 図25は、実施の形態4の変形例1における挙動学習部の学習を説明するための図である。 図26Aは、実施の形態4の変形例1におけるニューラルネットワークの学習を示す図である。 図26Bは、実施の形態4の変形例1における挙動推定NNを用いた挙動の推定を示す図である。 図27は、実施の形態4の変形例1における車両制御部の挙動の推定に関する機能構成の他の例を示すブロック図である。 図28は、実施の形態4の変形例1における汎用挙動学習部の学習を説明するための図である。 図29Aは、実施の形態4の変形例1における汎用挙動学習部におけるニューラルネットワークの学習を示す図である。 図29Bは、実施の形態4の変形例1における汎用挙動推定NNを用いた挙動の推定を示す図である。 図30は、実施の形態4の変形例1における専用挙動推定NNの構築方法を示す図である。 図31は、実施の形態4の変形例1における専用挙動推定NNを用いた挙動の推定を示す図である。 図32は、実施の形態4の変形例2における車両制御部の挙動の推定に関する機能構成の一例を示すブロック図である。 図33は、実施の形態4の変形例2における車両制御部の挙動の推定に関する機能構成の他の例を示すブロック図である。 図34は、実施の形態5における情報処理システムの設計思想を示す図である。 図35は、実施の形態5における学習用データおよび学習エンジンの推定結果における誤差を説明するための図である。 図36は、実施の形態5における車両内のシステム構成を示す図である。 図37は、実施の形態5における自動運転制御システムの機能構成を示すブロック図である。 図38は、実施の形態5におけるタッチパネルによって表示および入力される挙動の一例を示す図である。 図39は、実施の形態5におけるファインチューニングを説明するための図である。 図40は、実施の形態5における車両内の詳細なシステム構成を示す図である。 図41は、実施の形態5における専用挙動推定NNの構築方法を示す図である。 図42は、実施の形態5における専用挙動推定NNの入力挙動に基づく再学習を示す図である。 図43は、実施の形態6における複数の知識(NN)を示す図である。 図44は、実施の形態6における車両内のシステム構成を示す図である。 図45は、実施の形態6における自動運転制御システムの機能構成を示すブロック図である。 図46は、実施の形態6における専用挙動学習部による学習を説明するための図である。 図47は、実施の形態6における専用挙動学習部による専用挙動推定NNの選択を説明するための図である。 図48Aは、本発明の一態様に係る情報処理システムの構成を示す図である。 図48Bは、本発明の一態様に係る情報処理方法のフローチャートである。 図49は、走行履歴の一例を示す図である。 図50は、クラスタリング型のドライバモデルの構築方法を示す図である。 図51は、構築されたクラスタリング型のドライバモデルの一例を示す図である。 図52は、構築されたクラスタリング型のドライバモデルの別の一例を示す図である。 図53は、個別適応型のドライバモデルの構築方法を示す図である。 図54は、構築された個別適応型のドライバモデルの一例を示す図である。 図55は、運転特性モデルの一例を示す図である。 図56は、本発明の実施の形態7における報知部の表示を説明する図である。 図57は、本発明の実施の形態7における報知部の表示を説明する図である。 図58は、本発明の実施の形態7における報知部の表示を説明する図である。 図59は、本発明の実施の形態7における報知部の表示を説明する図である。 図60は、走行履歴の一例を示す図である。 図61は、本変形例におけるドライバモデルの使用方法を示す図である。 図62は、本変形例におけるキャッシュの配置の一例を示すブロック図である。 図63は、本変形例におけるキャッシュの作成方法の一例を示す図である。 図64は、本変形例におけるキャッシュの作成方法の一例を示す図である。
以下、本発明の実施の形態について、図面を参照して詳細に説明する。実施の形態1〜3では、車両と運転者の操作が対立しにくい、快適な自動運転ができるように、適切に情報を伝達することができる情報報知装置、情報報知方法または情報報知プログラムを説明する。実施の形態4〜6では、車両の運転行動を適切に推定することができる本発明の一態様に係る情報処理システム、情報処理方法およびプログラムを説明する。さらに、実施の形態7では、実施の形態4〜6とは異なる態様で運転行動を推定する情報処理システム等を説明する。
なお、以下に説明する各実施の形態は一例であり、本発明はこれらの実施の形態により限定されるものではない。つまり、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。
(実施の形態1)
図1は、本発明の実施の形態1に係る情報報知装置を含む車両1の要部構成を示すブロック図である。車両1は、運転者の操作を必要とせずに、運転制御の全てまたは一部を自動で行うことができる車両である。
車両1は、ブレーキペダル2と、アクセルペダル3と、ウィンカーレバー4と、ハンドル5と、検出部6と、車両制御部7と、記憶部8と、情報報知装置9とを有する。
ブレーキペダル2は、運転者によるブレーキ操作を受けつけ、車両1を減速させる。またブレーキペダル2は、車両制御部7による制御結果を受けつけ、車両1の減速の度合いに対応した量変化してもよい。アクセルペダル3は、運転者によるアクセル操作を受けつけ、車両1を加速させる。またアクセルペダル3は、車両制御部7による制御結果を受けつけ、車両1の加速の度合いに対応した量変化してもよい。ウィンカーレバー4は、運転者によるレバー操作を受けつけ、車両1の図示しない方向指示器を点灯させる。またウィンカーレバー4は、車両制御部7による制御結果を受けつけ、車両1の方向指示方向に対応する状態にウィンカーレバー4を変化させ、車両1の図示しない方向指示器を点灯させてもよい。
ハンドル5は、運転者によるステアリング操作を受けつけ、車両1の走行する方向を変更する。またハンドル5は、車両制御部7による制御結果を受けつけ、車両1の走行する方向の変更に対応した量変化してもよい。ハンドル5は、操作部51を有する。
操作部51は、ハンドル5の前面(運転者と対向する面)に設けられ、運転者からの入力操作を受け付ける。操作部51は、例えば、ボタン、タッチパネル、グリップセンサ等の装置である。操作部51は、運転者から受けつけた入力操作の情報を車両制御部7へ出力する。
検出部6は、車両1の走行状態、及び、車両1の周囲の状況を検出する。そして、検出部6は、検出した走行状態、及び、周囲の状況の情報を車両制御部7へ出力する。
この検出部6は、位置情報取得部61と、センサ62と、速度情報取得部63と、地図情報取得部64とを有する。
位置情報取得部61は、GPS(Global Positioning System)測位等により車両1の位置情報を走行状態の情報として取得する。
センサ62は、車両1の周囲に存在する他車両の位置および車線位置情報から、他車両の位置および先行車両かどうかという種別、他車両の速度と自車両の速度から衝突予測時間(TTC:Time To Collision)、車両1の周囲に存在する障害物など、車両1の周囲の状況を検出する。
速度情報取得部63は、走行状態の情報として、図示しない速度センサ等から車両1の速度や走行方向などの情報を取得する。
地図情報取得部64は、車両1が走行する道路、道路における他車両との合流ポイント、現在走行中の車線、交差点の位置などの車両1の周辺の地図情報を、車両1の周囲の状況の情報として取得する。
なお、センサ62は、ミリ波レーダ、レーザレーダやカメラなど、またそれらの組合せから構成される。
記憶部8は、ROM(Read Only Memory)、RAM(Random Access Memory)、ハードディスク装置やSSD(Solid State Drive)などの記憶装置であり、現時点の走行環境と、次に(第1の所定時間経過後に)とり得る挙動の候補との間の対応関係を記憶する。
現時点の走行環境とは、車両1の位置、車両1が走行している道路、車両1の周囲に存在する他車両の位置および速度等によって判定される環境である。なお、瞬間的なデータのみならず、その時点の前後のデータまでを基に、例えば、他車両の位置や速度により加速中、減速中、他車両が割込んできて1秒後には衝突する可能性まで判定してもよい。これにより、他車両の行動を予測することができ、走行環境をより詳細かつ正確に把握することが可能である。挙動の候補とは、現時点の走行環境に対して、車両1が次に(第1の所定時間経過後に)とり得る挙動の候補である。
例えば、記憶部8は、車両1が走行する車線の前方に合流路があり、車線の左方から合流する車両が存在し、かつ、車両1が走行する車線の右方への車線変更が可能な走行環境に対応付けて、車両1の加速、車両1の減速、及び、車両1の右方への車線変更の3通りの挙動の候補を予め記憶する。
また、記憶部8は、車両1と同一車線の前方を走行する車両(以下、「先行車両」と記載)が車両1よりも遅い速度で走行し、かつ、隣の車線への車線変更が可能な走行環境に対応付けて、先行車両を追い越す走行、隣の車線へ車線変更を行う走行、車両1を減速させて先行車両に追従する走行の3通りの挙動の候補を予め記憶する。
さらに、記憶部8は、それぞれの挙動の候補に対する優先順位を記憶してもよい。例えば、記憶部8は、過去の同一の走行環境において実際に採用された挙動の回数を記憶し、採用された回数の多い挙動ほど高く設定された優先順位を記憶してもよい。
車両制御部7は、例えば、LSI回路、または、車両を制御する電子制御ユニット(Electronic Control Unit:ECU)の一部として実現可能である。車両制御部7は、検出部6から取得する走行状態および周囲の状況の情報に基づいて、車両を制御し、車両制御結果に対応してブレーキペダル2、アクセルペダル3、ウィンカーレバー4、情報報知装置9を制御する。なお、車両制御部7が制御する対象は、これらに限定されない。
まず、車両制御部7は、走行状態および周囲の状況の情報に基づいて、現時点の走行環境を判定する。この判定には、従来提案されている様々な方法が利用され得る。
例えば、車両制御部7は、走行状態および周囲の状況の情報に基づいて、現時点の走行環境が、「車両1が走行する車線の前方に合流路があり、車線の左方から合流する車両が存在し、かつ、車両1が走行する車線の右方への車線変更が可能な走行環境」であると判定する。
また、例えば、車両制御部7は、走行状態および周囲の状況の情報に基づいて、走行環境の時系列が、「車両1と同一車線の前方を走行する車両が車両1よりも遅い速度で走行し、かつ、隣の車線への車線変更が可能な走行環境」であると判定する。
車両制御部7は、走行状態および周囲の状況を示す走行環境に関する情報を情報報知装置9の報知部92に報知させる。また、車両制御部7は、判定した走行環境に対して、車両1が次に(第1の所定時間経過後に)とり得る挙動の候補を記憶部8から読み出す。
車両制御部7は、読み出した挙動の候補から、現在の走行環境に最も適した挙動がどれかを判定し、現在の走行環境に最も適した挙動を第1の挙動に設定する。なお、第1の挙動は車両現在実施している挙動と同じ挙動、即ち現在実施している挙動を継続することであってもよい。そして、車両制御部7は、現在の走行環境において第1の挙動を除く他に運転者が実施可能性な挙動の候補を第2の挙動(いわゆる実施する挙動とは異なる挙動)に設定する。
例えば、車両制御部7は、走行状態および周囲の状況の情報に基づいて最も適した挙動を判定する従来技術を用いて、最も適した挙動を第1の挙動に設定することとしてもよい。
または、車両制御部7は、複数の挙動の候補のうち、予め設定された挙動を最も適した挙動として設定してもよいし、前回選択された挙動の情報を記憶部8に記憶しておき、その挙動を最も適した挙動と判定してもよいし、過去に各挙動が選択された回数を記憶部8に記憶しておき、回数が最も多い挙動を最も適した挙動と判定してもよい。
そして、車両制御部7は、第1の挙動と第2の挙動の情報を情報報知装置9の報知部92に報知させる。なお、車両制御部7は第2の挙動が無いと判定した場合、第1の挙動のみを報知部92に報知させる。
なお、車両制御部7は、第1の挙動と第2の挙動の情報と、走行状態および周囲の状況の情報とを、同時に、報知部92に報知させてもよい。
さらに、車両制御部7は、操作部51が運転者から受けつけた操作の情報を取得する。車両制御部7は、第1の挙動と第2の挙動を報知してから、第2の所定時間内に操作部51が操作を受けつけたか否かを判定する。この操作は、例えば、第2の挙動に含まれる挙動の中から1つの挙動を選択する操作である。
車両制御部7は、第2の所定時間内に操作部51が操作を受けつけなかった場合、第1の挙動を実行するように車両を制御し、車両制御結果に対応してブレーキペダル2、アクセルペダル3、ウィンカーレバー4を制御する。
車両制御部7は、第2の所定時間内に操作部51が操作を受けつけた場合、受けつけた操作に対応する制御を行う。
情報報知装置9は、車両制御部7から車両1の走行に関する種々の情報を取得し、取得した情報を報知する。情報報知装置9は、情報取得部91と報知部92とを有する。
情報取得部91は、車両制御部7から車両1の走行に関する種々の情報を取得する。例えば、情報取得部91は、車両制御部7が車両1の挙動を更新する可能性があると判定した場合に、車両制御部7から第1の挙動の情報と第2の挙動の情報を取得する。
そして、情報取得部91は、取得した情報を図示しない記憶部に一時的に記憶し、必要に応じて記憶した情報を記憶部から読み出して報知部92へ出力する。
報知部92は、車両1の走行に関する情報を運転者に報知する。報知部92は、例えば、車内に設置されているカーナビゲーションシステム、ヘッドアップディスプレイ、センターディスプレイ、ハンドル5やピラーに設置されているLEDなどの発光体などのような情報を表示する表示部であってもよいし、情報を音声に変換して運転者に報知するスピーカであってもよいし、あるいは、運転者が感知できる位置(例えば、運転者の座席、ハンドル5など)に設けられる振動体であってもよい。また、報知部92は、これらの組み合わせであってもよい。
以下の説明では、報知部92が表示装置であるものとする。
この場合、報知部92とは、例えば、ヘッドアップディスプレイ(Head Up Display:HUD)、LCD(Liquid Crystal Display)、HMD(Head-Mounted DisplayまたはHelmet-Mounted Display)、眼鏡型ディスプレイ(Smart Glasses)、その他の専用のディスプレイなどである。HUDは、例えば、車両1のウインドシールドであってもよいし、別途設けられるガラス面、プラスチック面(例えば、コンバイナ)などであってもよい。また、ウインドシールドは、例えば、フロントガラスであってもよいし、車両1のサイドガラスまたはリアガラスであってもよい。
さらに、HUDは、ウインドシールドの表面または内側に備えられた透過型ディスプレイであってもよい。ここで、透過型ディスプレイとは、例えば、透過型の有機ELディスプレイ、または、特定の波長の光を照射した際に発光するガラスを用いた透明なディスプレイである。運転者は、背景を視認すると同時に、透過型ディスプレイ上の表示を視認することができる。このように報知部92は、光を透過する表示媒体であってもよい。いずれの場合も、画像が報知部92に表示される。
報知部92は、車両制御部7から情報取得部91を介して取得した走行に関する情報を運転者に報知する。例えば、報知部92は、車両制御部7から取得した第1の挙動、及び、第2の挙動の情報を運転者に報知する。
ここで、具体的な表示内容、及び、操作部51に対してなされる操作について説明する。
図2は、走行環境の第1の例と、それに対する報知部92の表示、及び、操作部51の操作について説明する図である。
図2の(a)は、車両1の走行環境を示す俯瞰図である。具体的には、図2の(a)は、車両1が走行する車線の前方に合流路があり、車線の左方から合流する車両が存在し、かつ、車両1が走行する車線の右方への車線変更が可能な走行環境であることを示している。
車両制御部7は、走行状態および周囲の状況の情報に基づき、走行環境が、図2の(a)に示すような走行環境であると判定する。なお、車両制御部7は、図2の(a)に示す俯瞰図を生成し、第1の挙動、及び、第2の挙動の情報に加えて、生成した俯瞰図を報知部92に報知させてもよい。
図2の(b)は、図2の(a)に示した走行環境に対する報知部92の表示の一例を示している。報知部92の表示範囲のうち、右側には、車両1の挙動に関わる選択肢が表示され、左側には、手動運転に切り替えるための情報が表示される。
第1の挙動は、表示領域29a〜29c、29gのうち、強調されている表示領域29bに示されている「車線変更」である。第2の挙動は、表示領域29a、29cにそれぞれ示されている「加速」、「減速」である。また、表示領域29gには、手動運転に切替えることを示す「自動運転終了」が表示されている。
図2の(c)は、ハンドル5に設けられる操作部51の一例を示している。操作部51は、ハンドル5の右側に設けられる操作ボタン51a〜51dと、ハンドル5の左側に設けられる操作ボタン51e〜51hとを有する。なお、ハンドル5に設けられる操作部51の数や形状等はこれらに限定されない。
本実施の形態では、図2の(b)に示す表示領域29a〜29cと操作ボタン51a〜51cがそれぞれ対応し、表示領域29gと操作ボタン51gとが対応する。
この構成において、運転者は、各表示領域に表示される内容のいずれかを選択する際に、各表示領域に対応する操作ボタンを押下する。例えば、運転者が表示領域29aに表示される「加速」という挙動を選択する場合、運転者は、操作ボタン51aを押下する。
なお、図2の(b)には、各表示領域に文字の情報のみが表示されているが、次に説明するように、車両の駆動に関する記号やアイコンを表示してもよい。これにより、運転者に表示内容を一目瞭然に把握できる。
図3は、報知部92における表示の別の例を示す図である。図3に示すように、表示領域39a〜39c、39gに文字の情報とその情報を示す記号の両方が表示される。なお、記号のみが表示されてもよい。
次に、具体的な走行環境を例に挙げて、表示制御の流れについて説明する。
図4は、本実施の形態における情報報知処理の処理手順を示すフローチャートである。図5は、走行環境の第1の例と、それに対する表示制御を示す図である。
図4に示すように、検出部6は、車両の走行状態を検出する(ステップS11)。次に、検出部6は、車両の周囲の状況を検出する(ステップS12)。検出された車両の走行状態、及び、車両の周囲の状況の情報は、検出部6により車両制御部7へ出力される。
つぎに、車両制御部7は、走行状態および周囲の状況の情報に基づいて、現時点の走行環境を判定する(ステップS13)。図5の(a)の例の場合、車両制御部7は、現時点の走行環境が、「車両1が走行する車線の前方に合流路があり、車線の左方から合流する車両が存在し、かつ、車両1が走行する車線の右方への車線変更が可能な走行環境」であると判定する。
その後、車両制御部7は、判定した走行環境の情報を情報報知装置9の報知部92に報知させる(ステップS14)。図5の(b)の例の場合、車両制御部7は、判定した走行環境の情報を情報取得部91へ出力する。報知部92は、情報取得部91から走行環境の情報を取得し、文字情報59として表示させる。なお、車両制御部7は、走行環境の情報を報知部92に表示させる代わりに、スピーカ等で音声として走行環境の情報を運転者に報知してもよい。これにより、運転者がディスプレイやモニターを見ていない、もしくは見落としている場合でも、運転者に確実に情報を伝達できる。
次に、車両制御部7は、判定した走行環境が挙動の更新の可能性があるとするか否かを判定し、更新する可能性があるとすると判定された場合、さらに第1の挙動、及び、第2の挙動の判定を行う(ステップS15)。走行環境が挙動の更新の可能性があるとするか否かの判定は、走行環境が変更したか否かによって判定される。更新後実施する挙動とは、例えば、他の車両等と衝突が発生する可能性がある場合に減速する、ACC(Adaptive Cruise Control)において先行車両が消えた場合に速度変更する、隣の車線が空いた場合に車線変更するなどが考えられる。更新するか否かを判定するときは従来技術を用いてなされる。
この場合、車両制御部7は、判定した走行環境に対して、車両1が次に(第1の所定時間経過後に)とり得る挙動の候補を記憶部8から読み出す。そして、車両制御部7は、挙動の候補から、現在の走行環境に最も適した挙動がどれかを判定し、現在の走行環境に最も適した挙動を第1の挙動に設定する。そして、車両制御部7は、第1の挙動を除く挙動の候補を第2の挙動に設定する。
図5の(b)の例の場合、車両制御部7は、記憶部8から、車両1の加速、車両1の減速、及び車両1の右方への車線変更の3通りの挙動の候補を読み出す。そして、車両制御部7は、左方から合流する車両の速度、及び、車両1の右方の車線の状況に基づき、車両1の右方への車線変更が最も適した挙動であると判定し、その挙動を第1の挙動に設定する。そして、車両制御部7は、第1の挙動を除く挙動の候補を第2の挙動に設定する。
次に、車両制御部7は、第1の挙動、及び、第2の挙動を情報報知装置9の報知部92に報知させる(ステップS16)。図5の(b)の例の場合、報知部92は、第1の挙動の情報である「車線変更」という文字情報を表示領域59bに強調して表示し、第2の挙動の情報である「加速」、「減速」をそれぞれ表示領域59a、59cに表示させる。
次に、車両制御部7は、第2の所定時間内に操作部51が運転者からの操作を受けつけたか否かを判定する(ステップS17)。
例えば、車両制御部7は、現時点での走行環境が図5の(a)に示す走行環境であると判定してから、合流ポイントに到達するまでの時間を第1の所定時間と設定する。そして、車両制御部7は、第1の所定時間よりも短い第2の所定時間を、合流ポイントまでに実行される次の挙動に対する操作の受付が可能な時間として設定する。
車両制御部7は、第2の所定時間内に操作部51が運転者からの操作を受けつけた場合(ステップS17においてYES)、受けつけた操作が自動運転終了の操作か、挙動の選択操作(いわゆる更新)かを判定する(ステップS18)。
図2にて説明したように、報知部92の各表示領域と操作部51の各操作ボタンとは対応している。運転者は、図5の(b)における自動運転終了を選択する場合、図2の(c)に示した操作ボタン51gを押下する。また、運転者は、挙動の選択を行う場合、図2の(c)に示した操作ボタン51a〜51cのいずれかを押下する。
車両制御部7は、操作部51が受けつけた操作が自動運転終了の操作である場合(つまり、操作ボタン51gが押下されたことを検知した場合)、自動運転を終了させる(ステップS19)。車両制御部7は、操作部51が受けつけた操作が挙動の選択操作である場合(つまり、操作ボタン51a〜51cのいずれかが押下された場合)、押下された操作ボタンに対応する挙動を実行するように、車両1の制御を行う(ステップS20)。
車両制御部7は、第2の所定時間内に操作部51が運転者からの操作を受けつけなかった場合(ステップS17においてNO)、第1の挙動を実行するように、車両1の制御を行う(ステップS21)。
図6は、走行環境の第1の例と、それに対する別の表示制御を示す図である。図6の(a)は、図5の(a)と同様であるが、図6の(b)の表示制御が図5の(b)の表示制御とは異なっている。
図5の(b)を用いて説明した場合と同様に、車両制御部7は、図6の(a)に示した走行環境に対して、記憶部8から、車両1の加速、車両1の減速、及び車両1の右方への車線変更の3通りの挙動の候補を読み出す。その際、記憶部8には、車両1の右方への車線変更が最も優先される挙動として記憶されているものとする。
この場合、車両制御部7は、走行環境の情報と、第1の挙動の情報とを報知部92に報知させる。図6の(b)の場合、車両制御部7は、走行環境の情報と、第1の挙動の情報を示す文字情報69を生成し、報知部92に文字情報69を表示させる。
そして、車両制御部7は、運転者に第1の挙動の採否を促す表示を表示領域69a、69cに表示させる。また、車両制御部7は、手動運転に切り替え可能であることを示す「自動運転終了」という表示を表示領域69gに表示させる。
ここで、車両制御部7は、第1の挙動を採用することに対応する「YES」を強調して表示する。「YES」、「NO」のどちらを強調して表示するかは、予め定められていてもよいし、前回選択された選択肢を強調して表示することとしてもよいし、過去に選択された回数を記憶部8に記憶しておき、回数が多い方を報知部92が強調して表示することとしてもよい。
このように過去に選択された挙動を学習することにより、車両制御部7は、運転者に適切に情報を報知できる。また、図5の(b)の場合よりも報知部92に報知させる表示を減らすことができ、運転者の煩わしさを低減できる。
図7は、走行環境の第2の例と、それに対する表示制御を示す図である。図7の(a)は、走行環境を示す俯瞰図である。図7の(a)に示す走行環境は、前方に合流路がある点で図5の(a)、図6の(a)と同様であるが、車両1の右側に走行車両が存在する点で図5の(a)、図6の(a)と異なる。このような場合、車両制御部7は、車線変更が行えないと判断する。
そして、車両制御部7は、車両1の走行環境が図7の(a)のようなものと判定した場合、図7の(b)に示すように、判定した走行環境の情報を報知部92に文字情報79として表示させる。
さらに、車両制御部7は、記憶部8から読み出した車両1の加速、車両1の減速、及び、車両1の右方への車線変更の3通りの挙動の候補のうち、車両1の右方への車線変更はできないため、車両1の加速、及び、車両1の減速のみを選択する。
また、車両制御部7は、このままの速度で進むと合流車両と接近しすぎることを予測し、車両1の減速が最も適した挙動である、つまり、第1の挙動であると判定する。
ここで、3通りの挙動の候補のうち、最も適した挙動がどれかは、走行状態および周囲の状況の情報に基づいて最も適した挙動を判定する従来技術を用いて判定される。また、最も適した挙動がどれかは、予め定められていてもよいし、前回選択された挙動の情報を記憶部8に記憶しておき、その挙動を最も適した挙動と判定してもよいし、過去に各挙動が選択された回数を記憶部8に記憶しておき、回数が最も多い挙動を最も適した挙動と判定してもよい。
その後、車両制御部7は、「減速」を第1の挙動として表示領域79cに表示させ、「加速」を第2の挙動として表示領域79aに表示させる。また、車両制御部7は、手動運転に切替えることを示す「自動運転終了」という表示を表示領域79gに表示させる。
このような表示制御により、車両制御部7は、走行環境に応じて、その走行環境に最も適した挙動を第1の挙動として運転者に報知できる。
第1の挙動の情報を上方に、第2の挙動の情報を下方に配置し、それぞれ操作ボタン51a、51cに選択機能を割り当ててもよいし、加速挙動の情報を上方に、減速挙動の情報を下方に、右車線変更の挙動の情報を右方に、左車線変更の挙動の情報を左方へ配置し、それぞれ操作ボタン51a、51c、51b、51dに選択機能を割り当ててもよいし、それらを切り替えられるようにし、別途行動優先配置か、操作優先配置かを表示してもよい。さらに、第1の挙動の情報の表示サイズを大きく、第2の挙動の情報の表示サイズを小さくしてもよい。なお、車の前後・左右の挙動と対応して挙動情報の表示を配置することにより、運転者に直感的な認識と操作が可能である。
次に、前方に合流路があるという走行環境以外の走行環境の例について説明する。
図8は、走行環境の第3の例と、それに対する表示制御を示す図である。図8の(a)は、車両1の走行環境を示す俯瞰図である。具体的には、図8の(a)には、先行車両が車両1よりも遅い速度で走行し、かつ、隣の車線への車線変更が可能な走行環境が示されている。
車両制御部7は、走行状態および周囲の状況の情報に基づき、走行環境が、図8の(a)に示すような走行環境であると判定する。この場合、車両制御部7は、判定した走行環境の情報を報知部92に文字情報89として表示させる。
また、車両制御部7は、判定した走行環境に対応する挙動の候補として、先行車両を追い越す走行、隣の車線へ車線変更を行う走行、車両1を減速させて先行車両を追従する走行の3通りの挙動の候補を記憶部8から読み出す。
そして、車両制御部7は、例えば、先行車両の減速後の速度が所定値より高く許容できることから、車両1を減速させて先行車両を追従する走行が最も適した挙動、つまり、第1の挙動であると判定する。
ここで、3通りの挙動の候補のうち、最も適した挙動がどれかは、走行状態および周囲の状況の情報に基づいて最も適した挙動を判定する従来技術を用いて判定される。また、最も適した挙動がどれかは、予め定められていてもよいし、前回選択された挙動の情報を記憶部8に記憶しておき、その挙動を最も適した挙動と判定してもよいし、過去に各挙動が選択された回数を記憶部8に記憶しておき、回数が最も多い挙動を最も適した挙動と判定してもよい。
さらに、車両制御部7は、図8の(b)に示すように、第1の挙動を示す「追従」という文字情報を表示領域89cに強調して表示し、第2の挙動を示す「追い越し」、「車線変更」という文字情報をそれぞれ表示領域89a、89bに表示させる。また、車両制御部7は、手動運転に切替えることを示す「自動運転終了」という表示を表示領域89gに表示させる。
第1の挙動の情報を上方に、第2の挙動の情報を下方に配置し、それぞれ操作ボタン51a、51cに選択機能を割り当ててもよいし、追い越し挙動の情報を上方に、追従挙動の情報を下方に、右車線変更の挙動の情報を右方に、左車線変更の挙動の情報を左方へ配置し、それぞれ操作ボタン51a、51c、51b、51dに選択機能を割り当ててもよいし、それらを切り替えられるようにし、別途行動優先配置か、操作優先配置かを表示してもよい。さらに、第1の挙動の情報の表示サイズを大きく、第2の挙動の情報の表示サイズを小さくしてもよい。
図9は、走行環境の第4の例と、それに対する表示制御を示す図である。図9の(a)は、車両1の走行環境を示す俯瞰図である。具体的には、図9の(a)は、走行環境が、車両1と同一車線の前方において、車線が減少する走行環境であることを示している。
車両制御部7は、走行状態および周囲の状況の情報に基づき、走行環境が、図9の(a)に示すような走行環境であると判定する。この場合、車両制御部7は、判定した走行環境の情報を報知部92に文字情報99として表示させる。
また、車両制御部7は、判定した走行環境に対応する挙動の候補として、隣の車線へ車線変更を行う走行、そのまま現車線を維持する走行の2通りの挙動の候補を記憶部8から読み出す。
そして、車両制御部7は、例えば、車線減少箇所までのTTCが所定値より短いため、隣の車線へ車線変更を行う走行が最も適した挙動である、つまり、第1の挙動であると判定する。
ここで、2通りの挙動の候補のうち、最も適した挙動がどれかは、走行状態および周囲の状況の情報に基づいて最も適した挙動を判定する従来技術を用いて判定される。また、最も適した挙動がどれかは、予め定められていてもよいし、前回選択された挙動の情報を記憶部8に記憶しておき、その挙動を最も適した挙動と判定してもよいし、過去に各挙動が選択された回数を記憶部8に記憶しておき、回数が最も多い挙動を最も適した挙動と判定してもよい。
さらに、車両制御部7は、図9の(b)に示すように、第1の挙動を示す「車線変更」という文字情報を表示領域99bに強調して表示し、第2の挙動を示す「そのまま」という文字情報を表示領域99cに表示させる。また、車両制御部7は、手動運転に切替えることを示す「自動運転終了」という表示を表示領域99gに表示させる。
第1の挙動の情報を上方に、第2の挙動の情報を下方に配置し、それぞれ操作ボタン51a、51cに選択機能を割り当ててもよいし、何もしない挙動の情報を下方に、右車線変更の挙動の情報を右方に、左車線変更の挙動の情報を左方へ配置し、それぞれ操作ボタン51c、51b、51dに選択機能を割り当ててもよいし、それらを切り替えられるようにし、別途行動優先配置か、操作優先配置かを表示してもよい。さらに、第1の挙動の情報の表示サイズを大きく、第2の挙動の情報の表示サイズを小さくしてもよい。なお、図7、図8、図9に示されているように、異なる走行環境によって、表示領域にはそれぞれ異なる機能が割り当てられることで、少ない領域で情報報知や操作することができる。
上記の説明では、車両制御部7が、走行環境および周囲の状況の情報に応じて、報知部92に挙動を報知させる場合について説明したが、本発明はこれに限定されない。例えば、運転者による所定の操作があったときに、報知部92に挙動を報知させることとしてもよい。
図10は、走行環境の第5の例と、それに対する表示制御を示す図である。図10の(a)は、車両1の走行環境を示す俯瞰図である。具体的には、図10の(a)には、車両1が左方と右方にそれぞれ車線変更可能な走行環境であることを示す走行環境が示されている。
図10の(a)に示す走行環境は、図5の(a)〜図9の(a)の場合と異なり、車線の変更や車両の加速、減速が不要な通常走行が可能な走行環境である。この場合、車両制御部7は、図10の(b)の表示109に示すように、走行環境の情報を報知部92に文字情報として表示させなくともよい。
このように報知部92に文字情報が表示されていない状況において、運転者が操作部51のいずれかの操作ボタンを押下した場合、車両制御部7は、通常走行における挙動の候補を記憶部8から読み出す。
具体的には、記憶部8には、図10の(a)に示すような通常走行の走行環境に対応付けて、車両1の加速、車両1の減速、車両1の右方への車線変更、車両1の左方への車線変更の4通りの挙動の候補が記憶されている。車両制御部7は、これらを読み出し、報知部92の表示領域109a〜109dにそれぞれ表示させる。
また、車両制御部7は、手動運転に切り替えることを示す「自動運転終了」という表示を表示領域99gに表示させるとともに、挙動の更新をキャンセルすることを示す「キャンセル」という表示を表示領域109eに強調して表示させる。
以上説明した本実施の形態によれば、運転者に次に実施される挙動の候補を効果的に報知し、運転者により好ましい挙動を選択させることができる。
なお、運転者が実施したい挙動を選択する代わりに、直接ハンドルなどの手動操作をしてもよい。これにより、運転者が自分の意思により素早く手動運転操作に切り替えられる。
[変形例]
以上説明した本実施の形態では、報知部92における表示は、文字情報であるとして説明したが、本発明はこれに限定されない。例えば、挙動を示す記号を用いて運転者に視覚的に表示させてもより。以下では、運転者に視覚的に表示させる記号を用いた表示を図5および図7に対する表示を例にとって説明する。
図11は、図5に示した走行環境の第1の例に対する別の表示制御を示す図である。この例では、上述した第1の挙動が車両1の右方への車線変更であり、第2の挙動が車両1の加速、及び、車両1の減速である。
この場合、第1の挙動である「車線変更」を示す記号111が中央に大きく表示され、第2の挙動である「車両1の加速」を示す記号112、及び、「車両1の減速」を示す記号113が右方に小さく表示される。また、自動運転終了を示す記号114が左方に小さく表示される。
そして、このまま運転手により車両1の挙動の変更指示を受けつけなければ、車線変更が行われる。
図12は、図7に示した走行環境の第2の例に対する別の表示制御を示す図である。この例では、上記第1の例と異なり、車両1の右方に別の車両が走行しているため、車線変更ができない。そのため、例えば、「車両1の減速」が第1の挙動に設定され、「車両1の加速」が第2の挙動に設定される。
そして、この場合、図12の(a)に示すように、第1の挙動である「車両1の減速」を示す記号121が中央に大きく表示され、第2の挙動である「車両1の加速」を示す記号122が右方に小さく表示される。また、自動運転終了を示す記号123が左方に小さく表示される。
ここで、操作部51が運転手から「車両1の加速」を選択する操作を受けつけたものとする。この場合、図12の(b)に示すように、第1の挙動である「車両1の加速」を示す記号122’が中央に大きく表示され、第2の挙動である「車両1の減速」を示す記号121’が右方に小さく表示されることになる。
以上説明した本実施の形態によれば、運転者に次に実施される挙動の候補を効果的に報知し、運転者により好ましい挙動を選択させることができる。一方、運転者は、車両が実施する挙動や他に選択可能な挙動を把握でき、安心感を持って自動運転を継続することできる。または、運転者がスムーズに車へ指示を与えることができる。
また、本実施の形態によれば、走行環境に応じて、報知部に報知させる選択肢、つまり、第2の挙動を可変にすることができる。
(実施の形態2)
実施の形態1では、ハンドル5に設けられた操作部51によって、報知部92の表示に応じた操作を行う構成について説明した。本実施の形態では、ハンドル5に設けられる操作部51の代わりに、タッチパネルが設けられる構成について説明する。
図13は、本発明の実施の形態2に係る情報報知装置を含む車両1の要部構成を示すブロック図である。なお、図13において、図1と共通する構成には図1と同一の符号を付し、その詳しい説明を省略する。図13に示す車両1には、ハンドル5の操作部51の代わりにタッチパネル10が設けられている。
タッチパネル10は、情報の表示と入力の受付が可能な液晶パネル等からなる装置であり、車両制御部7と接続される。タッチパネル10は、車両制御部7による制御に基づいて情報を表示する表示部101と、運転者等からの操作を受けつけ、受けつけた操作を車両制御部7へ出力する入力部102とを有する。
次に、タッチパネル10の表示制御について説明する。ここでは、車両1が3車線の中央を走行中であり、右方の車線と左方の車線のいずれかに車線変更が可能である場合の表示制御について説明する。
図14は、実施の形態2におけるタッチパネル10の表示を説明する図である。図14の(a)は、タッチパネル10の表示部101の初期表示である。車両制御部7は、車両1が右方の車線と左方の車線のいずれかに車線変更が可能であると判定した場合、タッチパネル10の表示部101に図14の(a)のような表示を実行させる。ここで、表示領域121における「Touch」という表示は、タッチパネル10が運転者によるタッチ操作を受けつけ可能なモードであることを示している。
運転者は、図14の(a)に示す表示において、表示領域121をタッチするタッチ操作を行う場合、入力部102は、この操作を受けつけて、この操作が行われたことを示す情報を車両制御部7へ出力する。車両制御部7は、この情報を受けつけると、図14の(b)に示す表示を表示部101に表示させ、また、図14の(c)に示す表示を報知部92に表示させる。
図14の(b)には、車両1へ移動を指示する操作であることを示す「Move」と表示された表示領域121aが示されている。また、図14の(b)には、車両1が3車線のそれぞれを走行可能であることを示す表示領域121b〜121dが示されている。なお、表示領域121b〜121dは、それぞれ、図14の(c)に矢印X、Y、Zで示される車線での走行と対応する。
また、図14の(b)の各表示領域と、図14の(c)の各矢印とは、それぞれ、態様(例えば、色や配置など)を一致させる。これにより、運転者により理解しやすい表示となる。
さらに、矢印X、Y、Zで示される車線の太さなどを変えて、車両制御が判定した車両が実施する挙動と他に運転者が選択可能な挙動が区別できるように表示してもよい。
運転者は、表示領域121b〜121dのうち、走行したい車線に対応する表示領域に触れることによって、車両1の挙動の選択を行う。この場合、入力部102は、運転者の挙動の選択操作を受けつけて、選択された挙動の情報を車両制御部7へ出力する。そして、車両制御部7は、選択された挙動を実行するよう車両1を制御する。これにより、運転者が走行したい車線を車両1が走行することになる。
なお、運転者は、タッチパネル10に対して、タッチ操作の代わりに、スワイプ操作を行ってもよい。例えば、図14に示す例において、運転者が図14の(c)の矢印Xで示される車線への変更を行いたい場合、運転者は、タッチパネル10において右方へのスワイプ操作を行う。
この場合、入力部102は、スワイプ操作を受けつけ、スワイプ操作の内容を示す情報を車両制御部7へ出力する。そして、車両制御部7は、選択された挙動である矢印Xで示される車線への車線変更を実行するよう車両1を制御する。
さらに、車両1へ移動を指示する操作であることを示す「Move」と表示された表示領域121aが示されるときに、音声で「挙動選択」などと発話してもよい。これにより、手元のタッチパネルを見ることなく、HUDの表示のみで操作が可能となる。
また、タッチ操作やスワイプ操作の際に、選択したタッチパネルの表示領域に対応する車線の表示態様を変更し、どの車線を選択しようとしているのか選択前に確認できるようにしてもよい。例えば、表示領域bをタッチした瞬間に、車線Xの太さが拡大し、すぐに手を離せば車線Xは選択されず車線Xの太さが元の大きさに戻り、表示領域121cにタッチを移動した瞬間に、車線Yの太さが拡大し、しばらくその状態を保持すると、車線Yが選択され、車線Yが点滅することで決定されたことを伝えても良い。これにより、手元を目視せずに選択や決定の操作ができる。
なお、実施の形態1と同様に、加速、減速、追越し、そのままなどの車両制御機能を、走行環境に応じて、表示領域に割り当てても良い。
以上説明した本実施の形態によれば、操作部の代わりにタッチパネルを設けることにより、運転者に直感的な操作を行わせることができる。また、タッチパネルは、操作を受けつける表示領域の数、形状、色などを自由に変更させることができるため、ユーザインターフェースの自由度が向上する。
(実施の形態3)
実施の形態1では、第1の挙動と第2の挙動が同時に表示される場合について説明した。本実施の形態では、まず、報知部92に第1の挙動が表示され、運転者の操作を受けつけた場合に、第2の挙動が表示される構成について説明する。
本実施の形態に係る構成は、実施の形態1で説明した図1の構成において、操作部51に運転者がハンドル5を握ったか否かを検出するグリップセンサがさらに含まれた構成となる。
図15は、本発明の実施の形態3における報知部92の表示を説明する図である。図15には、図8の(a)に示した場合と同様に、車両1と同一車線の前方を走行する車両が車両1よりも遅い速度で走行し、かつ、隣の車線への車線変更が可能な走行環境における表示の例が示されている。
車両制御部7は、走行環境が、図8の(a)に示した走行環境であると判定すると、まず、報知部92に図15の(a)に示す表示を実行させる。
図15の(a)には、第1の所定時間が経過した後に実施される挙動の候補うち、第1の挙動である「追い越し」を示す記号131が第1の態様(例えば、第1の色)で示されている。
車両制御部7は、図15の(a)に示す表示を報知部92に実行させた後、第2の所定時間が経過した場合、記号131を第1の態様から、第1の態様とは異なる第2の態様(例えば、第1の色とは異なる第2の色)で報知部92に表示させる。ここで、第2の所定時間は、実施の形態1で説明した第2の所定時間と同様のものである。
つまり、記号131が第1の態様で示されている間、運転者は、第2の挙動の選択が可能であるが、記号131が第2の態様に変更された場合、運転者は、第2の挙動の選択が不可能になる。
また、図15の(a)には、第2の挙動が選択可能であることを示すハンドル形状の記号132が示されている。記号132が表示されている場合に運転者がハンドル5を握ることによって、第2の挙動が表示される。記号132は、第2の挙動が選択可能であることを示す表示であるが、記号131が第1の態様にて表示されることによって、運転者に第2の挙動が選択可能であることを示すこととしてもよい。この場合、記号132は、表示されなくてもよい。
また、図15の(a)には、現在、自動運転中であることを示す記号133が示されている。記号133は、自動運転で走行中であることを運転者に示す補助的な表示であるが、記号133は表示されなくてもよい。
図15の(a)の表示に対して運転者がハンドル5を握った場合、グリップセンサがそれを検出し、その検出結果の情報を車両制御部7へ出力する。この場合、車両制御部7は、図15の(b)に示す表示を報知部92に実行させる。
図15の(b)には、図15の(a)と同様に、第1の挙動である「追い越し」を示す記号131が第1の態様(例えば、第1の色)で示されている。また、第2の挙動である「車線変更」を示す記号134と、第2の挙動である「減速」を示す記号135が示されている。
運転者は、ハンドル5の操作部51を操作することによって、第1の挙動から第2の挙動への変更を行う。例えば、運転者は、操作部51の操作ボタン51a、または、操作ボタン51c(図2の(c)参照)を押下することによって、「車線変更」(記号134)、または、「減速」(記号135)への挙動の更新を行う。
また、図15の(b)には、車両制御部7が、車両1の挙動を学習中であることを示す記号136が示されている。記号136が表示されている場合、車両制御部7は、運転者が選択した挙動を学習する。記号136は表示されなくても構わない。また、学習は常に行っていても構わない。
つまり、車両制御部7は、運転者が選択した挙動を記憶部8に記憶し、次に同様の走行環境になった場合、記憶した挙動を第1の挙動として、報知部92に表示させる。または、車両制御部7は、過去に各挙動が選択された回数を記憶部8に記憶しておき、回数が最も多い挙動を第1の挙動として、報知部92に表示させてもよい。
また、図15の(b)には、自動運転中ではないことを示す記号137が示されている。記号137が表示されている場合、車両制御部7は、第1の所定時間経過後に行う挙動が運転者によって選択されるまで待機する。
図15の(b)に示す表示に対して、運転者が操作部51の操作ボタン51aを押下して「車線変更」を選択した場合、車両制御部7は、この選択操作の情報を受けつけ、図15の(c)に示す表示を報知部92に実行させる。
図15の(c)には、「車線変更」を示す記号134’が、第1の態様で示されている。車両制御部7は、「車線変更」を選択する選択操作の情報を受けつけた場合、この選択された挙動が次に行う挙動であると判定し、「車線変更」を示す記号134’を第1の態様で報知部92に表示させる。
また、図15の(c)の記号131’は、図15の(b)において第1の挙動として表示されていた記号131が記号134と入れ替わって表示されたものである。
また、図15の(c)に示す表示に対して、運転者が操作ボタンのいずれかを2度連続して押下した場合、運転者が前に行った選択操作をキャンセルできるようにしてもよい。この場合、車両制御部7は、操作ボタンのいずれかを2度連続して押下する操作の情報を受けつけ、図15の(c)に示す表示から図15の(b)に示す表示への変更を報知部92に実行させる。
車両制御部7は、図15の(a)に示す表示を報知部92に実行させてから、第2の所定時間が経過するまでの間に、運転者の操作に基づいて、図15の(b)、図15の(c)へと報知部92の表示を変化させる。その後、車両制御部7は、図15の(a)に示す表示を報知部92に実行させてから第2の所定時間が経過した後に、図15の(d)に示す表示を報知部92に表示させる。
なお、車両制御部7は、運転者がハンドル5から手を離したこと示す情報をグリップセンサから取得した場合に、第2の所定時間が経過する前に図15の(d)に示す表示を報知部92に表示させてもよい。
ここで、図15の(d)には、次の挙動として、運転者が選択した「車線変更」を示す記号134’が第2の態様で表示され、また、自動運転で走行中であることを示す記号133が、再び、表示された状態が示されている。
以上説明した本実施の形態によれば、車両制御部7は、運転者が次にとる挙動の更新したい場合にのみ、他の挙動の候補を確認できるように、報知部92での表示を変更する。この構成により、運転者が視認する表示を減らすことができ、運転者の煩わしさを低減できる。
(実施の形態4)
本実施の形態では、車両1が実行しうる複数の挙動の候補のうち最も適した挙動がどれかを判定する方法として、予め学習により構築されたニューラルネットワーク(NN)を用いる場合について説明する。なお、上述の挙動を判定することを、以下、挙動を推定するという。
図16は、本実施の形態における車両制御部7の挙動の推定に関する機能構成の一例を示すブロック図である。
車両制御部7は、挙動学習部401と、挙動推定部402と、挙動推定結果受付部403とを備える。
挙動学習部401は、特定の運転者(例えば、運転者x)の運転履歴から運転者xのニューラルネットワークを構築する。そして、挙動学習部401は、その構築されたニューラルネットワークを挙動推定NNとして挙動推定部402に出力する。
運転履歴は、過去に車両1によって行われた挙動ごとに、その挙動に対応する複数の特徴量(以下、特徴量セットという)を示す。挙動に対応する複数の特徴量はそれぞれ、例えば、車両1によってその挙動が行われた時点から上述の第1の所定時間前の時点における車両1の走行状態を示す量である。例えば、特徴量は、同乗者数、車両1の速さ、ハンドルの動き、ブレーキの度合い、またはアクセルの度合いなどである。また、この運転履歴は、実施の形態7の図55に示す運転特性モデルであってもよい。つまり、特徴量は、例えば、速度に関する特徴量、ステアリングに関する特徴量、操作タイミングに関する特徴量、車外センシングに関する特徴量、または車内センシングに関する特徴量等である。また、これらの特徴量は、上述の検出部6によって検出された車両1の走行状態である。
挙動推定部402は、挙動学習部401によって構築された挙動推定NNに、現時点において得られた特徴量セットをテストデータとして入力することによって、その特徴量セットに対応する挙動を挙動推定結果として出力する。つまり、挙動推定部402は、例えば上述の第1の所定時間後の挙動を推定する。
挙動推定結果受付部403は、挙動推定部402から出力された挙動推定結果を受け付ける。挙動推定結果受付部403は、このように受け付けられた挙動推定結果を上述の情報取得部91に出力する。これにより、挙動推定結果が情報取得部91に取得される。
図17は、挙動学習部401の学習を説明するための図である。
挙動学習部401は、特定の運転者(例えば、運転者x)の運転履歴に含まれる特徴量セットを入力パラメータとして取得する。さらに、挙動学習部401は、運転履歴に含まれるその特徴量セットに対応付けられている挙動を教師付けデータとして取得する。そして、挙動学習部401は、その入力パラメータと教師付けデータとに基づいて、ニューラルネットワークを調整する。つまり、挙動学習部401は、入力パラメータをニューラルネットワークに入力することによって、教師付けデータが出力として得られるように、ニューラルネットワークの重みなどを調整する。このような調整によって、挙動学習部401は、入力パラメータと教師付けデータとの関係を、ニューラルネットワークに学習させ、挙動推定NNが構築される。
図18Aは、ニューラルネットワークの学習を示す図である。
挙動学習部401は、運転者xの運転履歴に含まれる、それぞれ同乗者数および速さなどを含む複数の入力パラメータをニューラルネットワークに入力する。そして、挙動学習部401は、ニューラルネットワークからの出力が、その入力パラメータに対応付けられた教師付けデータに一致するように、ニューラルネットワークの重みを最適化する。これにより、挙動推定NNが構築される。
図18Bは、挙動推定NNを用いた挙動の推定を示す図である。
挙動推定部402は、運転者xの現時点の特徴量セットをテストデータとして取得して、そのテストデータを挙動推定NNに入力する。なお、このテストデータに含まれる各特徴量は、同乗者数および速さなどであって、入力パラメータとして用いられた各特徴量と対応している。これにより、挙動推定部402は、挙動推定NNの出力として、例えば車線変更などを示す挙動推定結果を取得する。
このように本実施の形態では、上記実施の形態1〜3の何れかの情報報知装置9と、挙動学習部401と、挙動推定部402とから、情報処理システムが構成される。つまり、本実施の形態における情報処理システムは、上記実施の形態1〜3の何れかの情報報知装置9と、挙動学習部401と、挙動推定部402とを備える。挙動学習部401は、検出部6が検出した車両1の走行状態と、その車両1の走行状態の後に行われた車両1の挙動との関係を、運転履歴を用いてニューラルネットワークに学習させる。挙動推定部402は、検出部6によって検出される現時点における車両1の走行状態を、学習したニューラルネットワークに入力することによって、車両1の挙動を推定する。
これにより、クラスタリングまたは類似度などを用いることなく、車両1の挙動を適切に推定することができる。なお、本実施の形態における情報処理システムは情報報知装置9を備えるが、この情報報知装置9を備えていなくて、車両1の挙動を適切に推定することができる。
ここで、上述の例では、特定の運転者の運転履歴のみからニューラルネットワークを構築したが、他の運転者の運転履歴も用いて、つまり複数の運転者の運転履歴からニューラルネットワークを構築してもよい。
図19は、本実施の形態における車両制御部7の挙動の推定に関する機能構成の他の例を示すブロック図である。
車両制御部7は、複数の運転者の運転履歴を用いてニューラルネットワークを構築する。この車両制御部7は、汎用挙動学習部411と、汎用挙動推定部412と、ヒストグラム生成部413と、専用挙動学習部414と、専用挙動推定部415と、挙動推定結果受付部416とを備える。このような車両制御部7では、まず、複数の運転者の運転履歴を用いて汎用的なニューラルネットワークを汎用挙動推定NNとして構築する。そして、車両制御部7は、特定の運転者(例えば、運転者x)の運転履歴を用いて、その汎用挙動推定NNに再学習させる転移学習によって、専用挙動推定NNを構築する。車両制御部7は、この専用挙動推定NNを用いて車両1の挙動を推定する。
汎用挙動学習部411は、複数の運転者の運転履歴から汎用的なニューラルネットワークを汎用挙動推定NNとして構築する。そして、汎用挙動学習部411は、その構築された汎用挙動推定NNを汎用挙動推定部412に出力する。
汎用挙動推定部412は、特定の運転者(例えば、運転者x)の運転履歴に含まれる挙動を教師付けデータとして取得する。さらに、汎用挙動推定部412は、運転履歴に含まれるその挙動に対応付けられている特徴量セットを入力パラメータとして取得する。汎用挙動推定部412は、汎用挙動推定NNに入力パラメータを入力し、その汎用挙動推定NNからの出力を仮挙動推定結果としてヒストグラム生成部413に出力する。また、汎用挙動推定部412は、その教師付けデータもヒストグラム生成部413に出力する。
ヒストグラム生成部413は、教師付けデータの挙動と、その挙動に対応する仮挙動推定結果とを取得し、その教師付けデータの挙動に対する仮挙動推定結果の累積値を示す仮挙動ヒストグラムを生成する。
専用挙動学習部414は、その仮挙動ヒストグラムに基づいて、汎用挙動推定NNの出力と教師付けデータとの一致度を高めるように汎用挙動推定NNの重みを再学習して、専用挙動推定NNを構築する。
専用挙動推定部415は、専用挙動学習部414によって構築された専用挙動推定NNに、特定の運転者(例えば、運転者x)の現時点において得られた特徴量セットをテストデータとして入力する。その結果、専用挙動推定部415は、専用挙動推定NNから出力される、その特徴量セットに対する挙動を取得し、その挙動を挙動推定結果として出力する。つまり、専用挙動推定部415は、例えば上述の第1の所定時間後の挙動を推定する。
挙動推定結果受付部416は、専用挙動推定部415から出力された挙動推定結果を受け付ける。挙動推定結果受付部416は、このように受け付けられた挙動推定結果を上述の情報取得部91に出力する。これにより、挙動推定結果が情報取得部91に取得される。
図20は、汎用挙動学習部411の学習を説明するための図である。
汎用挙動学習部411は、複数の運転者の運転履歴に含まれる特徴量セットを入力パラメータとして取得する。さらに、汎用挙動学習部411は、運転履歴に含まれるその特徴量セットに対応付けられている挙動を教師付けデータとして取得する。そして、汎用挙動学習部411は、その入力パラメータと教師付けデータとに基づいて、ニューラルネットワークを調整する。つまり、汎用挙動学習部411は、入力パラメータをニューラルネットワークに入力することによって、教師付けデータが出力として得られるように、ニューラルネットワークの重みなどを調整する。このような調整によって、汎用挙動学習部411は、入力パラメータと教師付けデータとの関係を、ニューラルネットワークに学習させる。
図21Aは、汎用挙動学習部411におけるニューラルネットワークの学習を示す図である。
汎用挙動学習部411は、任意の運転者の運転履歴に含まれる、それぞれ同乗者数および速さなどを含む複数の入力パラメータをニューラルネットワークに入力する。そして、汎用挙動学習部411は、ニューラルネットワークからの出力が、その入力パラメータに対応付けられた教師付けデータに一致するように、ニューラルネットワークの重みを最適化する。このような最適化は、1人の運転者の運転履歴だけでなく、複数の運転者の運転履歴にも基づいて行われる。これにより、汎用挙動推定NNが構築される。
図21Bは、汎用挙動推定NNを用いた挙動の推定を示す図である。
汎用挙動推定部412は、汎用挙動学習部411によって構築された汎用挙動推定NNを用いて仮の挙動を推定する。つまり、汎用挙動推定部412は、特定の運転者(例えば、運転者x)の運転履歴に含まれる特定の挙動(例えば車線変更)を教師付けデータとして取得し、その挙動に対応付けられている特徴量セットを入力パラメータとして取得する。運転履歴において、その特定の挙動に対応付けられている特徴量セットが複数あれば、汎用挙動推定部412は、それらの複数の特徴量セットのそれぞれを入力パラメータとして取得する。
そして、汎用挙動推定部412は、それらの入力パラメータを汎用挙動推定NNに順に入力する。これにより、汎用挙動推定部412は、特定の挙動である教師付けデータ(例えば車線変更)に対して、車線変更だけでなく例えば追い越しも含む、互いに異なる推定結果を仮挙動推定結果として取得する。
ヒストグラム生成部413は、特定の挙動である教師付けデータ(例えば車線変更)に対する仮挙動推定結果のヒストグラム(仮挙動ヒストグラム)を生成する。この仮挙動ヒストグラムは、汎用挙動推定NNの出力として得られる仮挙動推定結果の累積値を示す。
図22は、専用挙動推定NNの構築方法を示す図である。
専用挙動学習部414は、図22の(a)に示す仮挙動ヒストグラムが生成されると、汎用挙動推定NNの出力と教師付けデータ(この例では車線変更)との一致度を高めるように汎用挙動推定NNの重みを再学習させる。これにより、専用挙動学習部414は、図22の(b)に示すように、教師付けデータの挙動(例えば車線変更)のみが推定結果として出力される専用挙動推定NNを構築する。このような再学習は、1つの教師付けデータに対してだけでなく、他の複数の教師付けデータのそれぞれに対しても行われる。つまり、専用挙動学習部414は、転移学習によって、特定の運転者に対する専用のニューラルネットワークを構築する。
図23は、専用挙動推定NNを用いた挙動の推定を示す図である。
専用挙動推定部415は、運転者xの現時点における特徴量セットをテストデータとして取得して、そのテストデータを専用挙動推定NNに入力する。なお、このテストデータに含まれる各特徴量は、同乗者数および速さなどであって、入力パラメータとして用いられた各特徴量と対応している。これにより、専用挙動推定部415は、専用挙動推定NNの出力として、例えば車線変更などを示す挙動推定結果を取得する。
このように、本実施の形態における情報処理システムは、汎用挙動学習部411と、専用挙動学習部414と、汎用挙動推定部412と、専用挙動推定部415と、ヒストグラム生成部413とを備える。汎用挙動学習部411は、複数の運転者のそれぞれについて、検出部6が検出した車両1の走行状態と、その車両1の走行状態の後に行われた車両1の挙動との関係をニューラルネットワークに学習させる。汎用挙動推定部412は、汎用挙動学習部411によって学習したニューラルネットワークに、特定の運転者に対して検出部6が検出した車両1の走行状態を入力することによって、その特定の運転者に対する車両1の仮の挙動を推定する。ヒストグラム生成部413は、汎用挙動推定部412による仮の挙動の推定結果のヒストグラムを生成する。専用挙動学習部414は、特定の運転者に対して検出部6が検出した車両1の走行状態と、その車両1の走行状態の後に行われた車両1の挙動とを用いて、学習したニューラルネットワークに再学習させる転移学習によって、特定の運転者に対する専用のニューラルネットワークを構築する。このとき、専用挙動学習部414は、生成されたヒストグラムを参照した転移学習によって、専用のニューラルネットワークを構築する。専用挙動推定部415は、その専用のニューラルネットワークを用いて、特定の運転者に対する車両1の挙動を推定する。
これにより、特定の運転者の運転履歴に含まれる挙動と特徴量セットが少ない場合であっても、複数の運転者の運転履歴が用いられるため、特定の運転者に対する車両1の挙動を適切に推定することができる。
[変形例1]
ここで、上述の例では、運転履歴を用いてニューラルネットワークを構築した。本変形例では、実施の形態7の図60または図61に示す走行履歴を用いてニューラルネットワークを構築する。
図24は、本変形例における車両制御部7の挙動の推定に関する機能構成の一例を示すブロック図である。
車両制御部7は、挙動学習部421と、挙動推定部422と、挙動推定結果受付部423とを備える。
挙動学習部421は、特定の運転者(例えば、運転者x)の走行履歴から運転者xのニューラルネットワークを構築する。そして、挙動学習部421は、その構築されたニューラルネットワークを挙動推定NNとして挙動推定部422に出力する。
走行履歴は、過去に車両1によって行われた挙動ごとに、その挙動に対応する複数の環境パラメータ(以下、環境パラメータセットという)を示す。挙動に対応する複数の環境パラメータはそれぞれ、例えば、車両1によってその挙動が行われた時点から上述の第1の所定時間前の時点における車両1の環境(周囲の状況)を示すパラメータである。例えば、環境パラメータは、自車両の速度Va、自車両に対する先行車両の相対速度Vba、および先行車両と自車両との車間距離DRbaなどである。また、これらの環境パラメータは、上述の検出部6によって検出された車両1の周囲の状況である。
挙動推定部422は、挙動学習部421によって構築された挙動推定NNに、現時点において得られた環境パラメータセットをテストデータとして入力することによって、その環境パラメータセットに対応する挙動を挙動推定結果として出力する。つまり、挙動推定部422は、例えば上述の第1の所定時間後の挙動を推定する。
挙動推定結果受付部423は、挙動推定部422から出力された挙動推定結果を受け付ける。挙動推定結果受付部423は、このように受け付けられた挙動推定結果を上述の情報取得部91に出力する。これにより、挙動推定結果が情報取得部91に取得される。
図25は、挙動学習部421の学習を説明するための図である。
挙動学習部421は、特定の運転者(例えば、運転者x)の走行履歴に含まれる環境パラメータセットを入力パラメータとして取得する。さらに、挙動学習部421は、走行履歴に含まれるその環境パラメータセットに対応付けられている挙動を教師付けデータとして取得する。そして、挙動学習部421は、その入力パラメータと教師付けデータとに基づいて、ニューラルネットワークを調整する。つまり、挙動学習部421は、入力パラメータをニューラルネットワークに入力することによって、教師付けデータが出力として得られるように、ニューラルネットワークの重みなどを調整する。このような調整によって、挙動学習部421は、入力パラメータと教師付けデータとの関係を、ニューラルネットワークに学習させ、挙動推定NNが構築される。
図26Aは、ニューラルネットワークの学習を示す図である。
挙動学習部421は、運転者xの走行履歴に含まれる、それぞれ自車両の速度Vaおよび先行車両の相対速度Vbaなどを含む複数の入力パラメータをニューラルネットワークに入力する。そして、挙動学習部421は、ニューラルネットワークからの出力が、その入力パラメータに対応付けられた教師付けデータに一致するように、ニューラルネットワークの重みを最適化する。これにより、挙動推定NNが構築される。
図26Bは、挙動推定NNを用いた挙動の推定を示す図である。
挙動推定部422は、運転者xの現時点の環境パラメータセットをテストデータとして取得して、そのテストデータを挙動推定NNに入力する。なお、このテストデータに含まれる各環境パラメータは、自車両の速度Vaおよび先行車両の相対速度Vbaなどであって、入力パラメータとして用いられた各環境パラメータと対応している。これにより、挙動推定部422は、挙動推定NNの出力として、例えば減速などを示す挙動推定結果を取得する。
このように本変形例では、上記実施の形態1〜3の何れかの情報報知装置9と、挙動学習部421と、挙動推定部422とから、情報処理システムが構成される。つまり、本実施の形態における情報処理システムは、上記実施の形態1〜3の何れかの情報報知装置9と、挙動学習部421と、挙動推定部422とを備える。挙動学習部421は、検出部6が検出した車両1の周囲の状況と、その車両1の周囲の状況の後に行われた車両1の挙動との関係を、走行履歴を用いてニューラルネットワークに学習させる。挙動推定部422は、検出部6によって検出される現時点における車両1の走行状態を、学習したニューラルネットワークに入力することによって、車両1の挙動を推定する。
これにより、クラスタリングまたは類似度などを用いることなく、車両1の挙動を適切に推定することができる。なお、本変形例における情報処理システムは情報報知装置9を備えるが、この情報報知装置9を備えていなくて、車両1の挙動を適切に推定することができる。
ここで、上述の例では、特定の運転者の走行履歴のみからニューラルネットワークを構築したが、他の運転者の走行履歴も用いて、つまり複数の運転者の走行履歴からニューラルネットワークを構築してもよい。
図27は、本実施の形態における車両制御部7の挙動の推定に関する機能構成の他の例を示すブロック図である。
車両制御部7は、複数の運転者の走行履歴を用いてニューラルネットワークを構築する。この車両制御部7は、汎用挙動学習部431と、汎用挙動推定部432と、ヒストグラム生成部433と、専用挙動学習部434と、専用挙動推定部435と、挙動推定結果受付部436とを備える。このような車両制御部7では、まず、複数の運転者の走行履歴を用いて汎用的なニューラルネットワークを汎用挙動推定NNとして構築する。そして、車両制御部7は、特定の運転者(例えば、運転者x)の走行履歴を用いて、その汎用挙動推定NNに再学習させる転移学習によって、専用挙動推定NNを構築する。車両制御部7は、この専用挙動推定NNを用いて車両1の挙動を推定する。
汎用挙動学習部431は、複数の運転者の走行履歴から汎用的なニューラルネットワークを汎用挙動推定NNとして構築する。そして、汎用挙動学習部431は、その構築された汎用挙動推定NNを汎用挙動推定部432に出力する。
汎用挙動推定部432は、特定の運転者(例えば、運転者x)の走行履歴に含まれる挙動を教師付けデータとして取得する。さらに、汎用挙動推定部432は、走行履歴に含まれるその挙動に対応付けられている環境パラメータセットを入力パラメータとして取得する。汎用挙動推定部432は、汎用挙動推定NNに入力パラメータを入力し、その汎用挙動推定NNからの出力を仮挙動推定結果としてヒストグラム生成部433に出力する。また、汎用挙動推定部432は、その教師付けデータもヒストグラム生成部433に出力する。
ヒストグラム生成部433は、教師付けデータの挙動と、その挙動に対応する仮挙動推定結果とを取得し、その教師付けデータの挙動に対する仮挙動推定結果の累積値を示す仮挙動ヒストグラムを生成する。
専用挙動学習部434は、その仮挙動ヒストグラムに基づいて、汎用挙動推定NNの出力と教師付けデータとの一致度を高めるように汎用挙動推定NNの重みを再学習して、専用挙動推定NNを構築する。
専用挙動推定部435は、専用挙動学習部434によって構築された専用挙動推定NNに、特定の運転者(例えば、運転者x)の現時点において得られた環境パラメータセットをテストデータとして入力する。その結果、専用挙動推定部435は、専用挙動推定NNから出力される、その環境パラメータセットに対する挙動を取得し、その挙動を挙動推定結果として出力する。つまり、専用挙動推定部435は、例えば上述の第1の所定時間後の挙動を推定する。
挙動推定結果受付部436は、専用挙動推定部435から出力された挙動推定結果を受け付ける。挙動推定結果受付部436は、このように受け付けられた挙動推定結果を上述の情報取得部91に出力する。これにより、挙動推定結果が情報取得部91に取得される。
図28は、汎用挙動学習部431の学習を説明するための図である。
汎用挙動学習部431は、複数の運転者の走行履歴に含まれる環境パラメータセットを入力パラメータとして取得する。さらに、汎用挙動学習部431は、走行履歴に含まれるその環境パラメータセットに対応付けられている挙動を教師付けデータとして取得する。そして、汎用挙動学習部431は、その入力パラメータと教師付けデータとに基づいて、ニューラルネットワークを調整する。つまり、汎用挙動学習部431は、入力パラメータをニューラルネットワークに入力することによって、教師付けデータが出力として得られるように、ニューラルネットワークの重みなどを調整する。このような調整によって、汎用挙動学習部431は、入力パラメータと教師付けデータとの関係を、ニューラルネットワークに学習させる。
図29Aは、汎用挙動学習部431におけるニューラルネットワークの学習を示す図である。
汎用挙動学習部431は、任意の運転者の走行履歴に含まれる、それぞれ自車両の速度Vaおよび先行車両の相対速度Vbaなどを含む複数の入力パラメータをニューラルネットワークに入力する。そして、汎用挙動学習部431は、ニューラルネットワークからの出力が、その入力パラメータに対応付けられた教師付けデータに一致するように、ニューラルネットワークの重みを最適化する。このような最適化は、1人の運転者の走行履歴だけでなく、複数の運転者の走行履歴にも基づいて行われる。これにより、汎用挙動推定NNが構築される。
図29Bは、汎用挙動推定NNを用いた挙動の推定を示す図である。
汎用挙動推定部432は、汎用挙動学習部431によって構築された汎用挙動推定NNを用いて仮の挙動を推定する。つまり、汎用挙動推定部432は、特定の運転者(例えば、運転者x)の走行履歴に含まれる特定の挙動(例えば減速)を教師付けデータとして取得し、その挙動に対応付けられている環境パラメータセットを入力パラメータとして取得する。走行履歴において、その特定の挙動に対応付けられている環境パラメータセットが複数あれば、汎用挙動推定部412は、それらの複数の環境パラメータセットのそれぞれを入力パラメータとして取得する。
そして、汎用挙動推定部432は、それらの入力パラメータを汎用挙動推定NNに順に入力する。これにより、汎用挙動推定部432は、特定の挙動である教師付けデータ(例えば減速)に対して、減速だけでなく例えば車線変更も含む、互いに異なる推定結果を仮挙動推定結果として取得する。
ヒストグラム生成部433は、特定の挙動である教師付けデータ(例えば減速)に対する仮挙動推定結果のヒストグラム(仮挙動ヒストグラム)を生成する。この仮挙動ヒストグラムは、汎用挙動推定NNの出力として得られる仮挙動推定結果の累積値を示す。
図30は、専用挙動推定NNの構築方法を示す図である。
専用挙動学習部434は、図30の(a)に示す仮挙動ヒストグラムが生成されると、汎用挙動推定NNの出力と教師付けデータ(この例では減速)との一致度を高めるように汎用挙動推定NNの重みを再学習させる。これにより、専用挙動学習部434は、図30の(b)に示すように、教師付けデータの挙動(例えば減速)のみが推定結果として出力される専用挙動推定NNを構築する。このような再学習は、1つの教師付けデータに対してだけでなく、他の複数の教師付けデータのそれぞれに対しても行われる。つまり、専用挙動学習部434は、転移学習によって、特定の運転者に対する専用のニューラルネットワークを構築する。
図31は、専用挙動推定NNを用いた挙動の推定を示す図である。
専用挙動推定部435は、運転者xの現時点における環境パラメータセットをテストデータとして取得して、そのテストデータを専用挙動推定NNに入力する。なお、このテストデータに含まれる各環境パラメータは、自車両の速度Vaおよび先行車両の相対速度Vbaなどであって、入力パラメータとして用いられた各環境パラメータと対応している。これにより、専用挙動推定部435は、専用挙動推定NNの出力として、例えば減速などを示す挙動推定結果を取得する。
このように、本実施の形態における情報処理システムは、汎用挙動学習部431と、専用挙動学習部434と、汎用挙動推定部432と、専用挙動推定部435と、ヒストグラム生成部433とを備える。汎用挙動学習部431は、複数の運転者のそれぞれについて、検出部6が検出した車両1の周囲の状況と、その車両1の周囲の状況の後に行われた車両1の挙動との関係をニューラルネットワークに学習させる。汎用挙動推定部432は、汎用挙動学習部431によって学習したニューラルネットワークに、特定の運転者に対して検出部6が検出した車両1の周囲の状況を入力することによって、その特定の運転者に対する車両1の仮の挙動を推定する。ヒストグラム生成部433は、汎用挙動推定部432による仮の挙動の推定結果のヒストグラムを生成する。専用挙動学習部434は、特定の運転者に対して検出部6が検出した車両1の周囲の状況と、その車両1の周囲の状況の後に行われた車両1の挙動とを用いて、学習したニューラルネットワークに再学習させる転移学習によって、特定の運転者に対する専用のニューラルネットワークを構築する。このとき、専用挙動学習部434は、生成されたヒストグラムを参照した転移学習によって、専用のニューラルネットワークを構築する。専用挙動推定部435は、その専用のニューラルネットワークを用いて、特定の運転者に対する車両1の挙動を推定する。
これにより、特定の運転者の走行履歴に含まれる挙動と特徴量セットが少ない場合であっても、複数の運転者の走行履歴が用いられるため、特定の運転者に対する車両1の挙動を適切に推定することができる。
[変形例2]
本変形例では、推定された挙動を評価し、評価結果を再学習に用いるとともに、評価結果に基づいて、その推定された挙動を上述の情報取得部91に出力するか否かを切り替える。
図32は、本変形例における車両制御部7の挙動の推定に関する機能構成の一例を示すブロック図である。
車両制御部7は、挙動学習部401と、挙動推定部402と、評価部441と、スイッチ442とを備える。なお、図32には図示されていないが、車両制御部7は、実施の形態4と同様に、挙動推定結果受付部403を備える。
挙動推定部402は、上記実施の形態4のように、車両1の挙動推定結果を出力する。
評価部441は、車両1の現在の挙動と、その挙動推定部402から出力された挙動推定結果との変化量を算出する。さらに、評価部441は、その変化量と閾値とを比較し、変化量が閾値を超えている場合には、つまり車両1の挙動が急激に変化する場合には、その挙動推定結果を無効にする。逆に、評価部441は、変化量が閾値以下の場合には、つまり車両1の挙動が緩やかに変化する場合には、その挙動推定結果を有効にする。そして、評価部441は、挙動推定結果が有効であるか否かを示す制御信号をスイッチ442および挙動学習部401に出力する。
スイッチ442は、制御信号が有効を示している場合には、挙動推定部402から出力された挙動推定結果を、挙動推定結果受付部403に出力する。逆に、スイッチ442は、制御信号が無効を示している場合には、その挙動推定結果を挙動推定結果受付部403に出力することを禁止する。
挙動学習部401は、制御信号が無効を示している場合には、その挙動推定結果に対応するテストデータからその挙動推定結果が出力されないように挙動推定NNを再学習させる。
図33は、本変形例における車両制御部7の挙動の推定に関する機能構成の他の例を示すブロック図である。
車両制御部7は、ドライバモデル挙動推定部443と、挙動推定部402と、評価部441と、スイッチ442aと、スイッチ442bとを備える。なお、図33には図示されていないが、車両制御部7は、実施の形態4と同様に、挙動学習部401と挙動推定結果受付部403とを備える。
スイッチ442aは、走行環境、運転者の運転特性を示す特徴量、または環境パラメータなどの、挙動の推定に用いられるデータを取得して、そのデータをドライバモデル挙動推定部443または挙動推定部402に振り分けて出力する。
ドライバモデル挙動推定部443は、スイッチ442aを介して走行環境などのデータを受け付けて、そのデータと、実施の形態7におけるクラスタリング型または個別適応型のドライバモデルとを用いて車両1の挙動を推定する。この挙動の推定方法は、実施の形態7に示すとおりである。
挙動推定部402は、スイッチ442aを介して特徴量などのデータを受け付けて、そのデータと挙動推定NNとを用いて車両1の挙動を推定する。この挙動の推定方法は、実施の形態4に示すとおりである。
評価部441は、上述のように、挙動推定部402から出力された挙動推定結果が有効か否かを判定し、その判定結果を示す制御信号をスイッチ442a、442bに出力する。
スイッチ442bは、評価部441からの制御信号に応じて、挙動推定結果受付部403に出力される挙動推定結果を、ドライバモデル挙動推定部443による挙動推定結果と、挙動推定部402による挙動推定結果とに切り替える。つまり、挙動推定部402の挙動推定結果が有効であることがその制御信号に示されている場合、スイッチ442bは、挙動推定部402の挙動推定結果を挙動推定結果受付部403に出力する。一方、挙動推定部402の挙動推定結果が無効であることがその制御信号に示されている場合、スイッチ442bは、ドライバモデル挙動推定部443の挙動推定結果を挙動推定結果受付部403に出力する。
このように、本変形例に係る情報処理システムは、さらに、挙動推定部402によって推定された挙動が有効か否かを判定し、有効と判定した場合に、その推定された挙動を情報取得部91に取得させる評価部441を備える。つまり、評価部441は、有効と判定した場合に、その推定された挙動を出力する。
これにより、不適切な挙動が報知部92によって報知されることを防ぐことができる。
なお、評価部441は、車両1の現在の挙動と、その挙動推定部402から出力された挙動推定結果との変化量に基づいて、挙動推定部402の挙動推定結果の有効性を判定したが、他の基準に基づいてその有効性を判定してもよい。例えば、車線変更ができない状況において車線変更が推定された場合には、評価部441は、その車線変更の挙動推定結果を無効とする。
また、上述の例では、評価部441は、挙動推定部402の挙動推定結果を評価したが、挙動推定部422、専用挙動推定部415、または専用挙動推定部435の挙動推定結果を評価してもよい。あるいは、評価部441は、ドライバモデル挙動推定部443の挙動推定結果を評価してもよい。または、評価部441は、ドライバモデル挙動推定部443の挙動推定結果および挙動推定部402の挙動推定結果のそれぞれを評価してもよい。この場合には、評価部441は、有効とされる挙動推定結果を示す制御信号をスイッチ442bに出力する。これにより、有効とされる挙動推定結果がスイッチ442bおよび挙動推定結果受付部403を介して情報取得部91に出力される。
また、スイッチ442bは、制御信号を受け付けた場合には、その制御信号に応じて、ドライバモデル挙動推定部443および挙動推定部402に入力されるデータを振り分けてもよい。この場合、スイッチ442bは、その制御信号によって示される無効とされた挙動推定結果を出力した挙動推定部にはデータが入力されないように、そのデータの振り分けを行う。
(実施の形態5)
本実施の形態における車両は、実施の形態4と同様に、ニューラルネットワーク(NN)を用いてその車両の挙動を推定するが、運転者の入力に基づいてその推定された挙動を評価し、その評価結果を再学習に反映させる点に特徴がある。
図34は、本実施の形態における情報処理システムの設計思想を示す図である。
機械学習において、学習用データを誤算なく100%正しい状態で取得することは現時的には非常に困難である。また、100%正しいデータを数万または数十万のオーダーで大量に集めることも非常に困難である。
したがって、学習用データはノイズを含むものであり、このノイズによって学習エンジンは誤差を発生する。すなわち、100%完璧な機械学習を構築することは現実的ではない。
そこで、本実施の形態における自動運転制御システムは、アプリケーションの目的(つまり自動運転)に応じた評価関数を設け、その評価関数を最大化するように学習データの修正、あるいは学習エンジンの方式の修正を行う。
なお、本実施の形態における自動運転制御システムは、実施の形態4における挙動学習部401および挙動推定部402などの各構成要素であって、挙動の学習を行い、その学習結果に基づいて挙動を推定する各構成要素を含むシステムである。また、本実施の形態における情報処理システムは、このような自動運転制御システムと、図13に示す情報報知装置9およびタッチパネル10とを含む。
図35は、上述の学習用データおよび学習エンジンの推定結果における誤差を説明するための図である。なお、図35では、その誤差を説明するために、図24および図25などに示す環境パラメータまたは環境パラメータセットを学習用データの一例として示す。また、この環境パラメータは、上述の検出部6によって検出された車両1の周囲の状況である。
例えば、図35に示すように、挙動学習部があまりにも大量のデータを処理する場合は、ひとつひとつ、そのデータの妥当性を検証することは非常に困難である。つまり、検出部6によって生成されるデータには誤差が含まれる可能性がある。具体的には、検出部6は、先行車両と自車両との車間距離DRbaを「5」として検出しても、その車間距離DRbaは、誤りであり、正しくは「4」かもしれない。また、挙動学習部である学習エンジンの学習方式に問題があって、挙動の推定の精度が低下してしまう場合もある。
本実施の形態における自動運転制御システムは、このような検出部6によって生成されるデータに誤りまたは誤差があっても、あるいは、学習方式に問題があっても、挙動の推定の精度の低下を抑えることができる。このような自動運転制御システムの構成および処理動作について、以下、詳細に説明する。
図36は、本実施の形態における車両内のシステム構成を示す図である。
車両1Aは、実施の形態2の図13に示す車両1と同様に、ブレーキペダル2、アクセルペダル3、ウィンカーレバー4、ハンドル5、検出部6、車両制御部7、記憶部8、情報報知装置9、およびタッチパネル10を備える。さらに、車両1Aは、学習部501、運転行動予測部502および自動運転評価部503を備える。本実施の形態における自動運転制御システムは、学習部501、運転行動予測部502および自動運転評価部503からなり、車両1Aに含まれる他の構成要素も備えていてもよい。なお、本実施の形態では、他の実施の形態と共通している点については説明を省略または簡略化し、異なる点について詳細に説明する。
車両制御部7は、車両1Aの走行状態と周辺の状況に基づいて走行環境を判定する。具体的には、車両制御部7は、ブレーキペダル2、アクセルペダル3、ウィンカーレバー4、およびハンドル5から、走行状態を取得する。また、車両制御部7は、周辺の状況(環境パラメータなど)を検出部6から取得する。さらに、車両制御部7は、その取得された走行状態および周辺の状況を走行履歴として記憶部8に格納する。
学習部501は、車両1Aの挙動を学習する。運転行動予測部502は、その学習結果を用いて周囲の状況に応じた車両1Aの挙動を推定する。車両制御部7は、その推定された挙動をタッチパネル10の表示部101に推定挙動として表示する。このとき、車両制御部7は、その推定挙動とは異なる少なくとも1つの挙動を挙動候補として表示部101に表示する。
タッチパネル10の入力部102は、運転者によって入力される車両1Aの挙動を受け付ける。つまり、入力部102は、表示部101によって表示される少なくとも1つの挙動候補のうちの何れかが運転者によって選択されたときには、運転者によって選択された挙動候補を入力挙動として受け付ける。
ここで、タッチパネル10の入力部102によって受け付けられた入力挙動は、表示部101に表示された推定挙動(運転行動)に対する運転者の評価結果である。推定挙動が車両1Aによって行われることを運転者が受け入れる場合には、入力部102は入力挙動を受け付けない。一方、推定挙動ではなく、その推定挙動とは異なる挙動が車両1Aによって行われることを運転者が望む場合には、入力部102はその挙動(挙動候補)を入力挙動として受け付ける。この入力挙動の受け付けは、運転行動予測部502による挙動の推定結果(予測結果)が間違っていたことを意味する。
そこで、本実施の形態における自動運転評価部503は、その挙動の推定に用いられた環境パラメータに対する挙動のラベル付けを訂正し、学習部501に再学習を実施させる。あるいは、自動運転評価部503は、運転行動予測部502の予測方式を変更させる。
図37は、本実施の形態における自動運転制御システムの機能構成を示すブロック図である。なお、図37では、自動運転評価部503を省略している。
本実施の形態における自動運転制御システムは、実施の形態4と同様に、汎用挙動学習部431、汎用挙動推定部432、ヒストグラム生成部433、専用挙動学習部434、専用挙動推定部435および挙動推定結果受付部436を備える。なお、図36に示す学習部501は、汎用挙動学習部431、ヒストグラム生成部433および専用挙動学習部434を含み、運転行動予測部502は、汎用挙動推定部432および専用挙動推定部435を含む。
ここで、例えば、専用挙動学習部434は、挙動推定結果(推定挙動)として「速度維持」を推定する。
図38は、タッチパネル10によって表示および入力される挙動の一例を示す図である。
図37に示すように、速度維持が挙動推定結果として推定されると、タッチパネル10の表示部101は、速度維持を推定挙動(挙動推定結果)として表示するとともに、推定挙動と異なる少なくとも1つの挙動候補を表示する。ここで、運転者は、例えば、表示された推定挙動が車両1Aによって行われることを望まず、入力部102を操作することにより、推定挙動と共に表示されている少なくとも1つの挙動候補のうちの1つの挙動候補「減速」を入力挙動として選択する。これにより、入力部102は「減速」を入力挙動として受け付ける。
このように、入力挙動「減速」は、推定挙動「速度維持」と異なる。つまり、この入力挙動「減速」の受け付けは、運転行動予測部502による挙動の推定結果「速度維持」が間違っていたことを意味する。
本実施の形態における自動運転制御システムは、運転者が入力挙動として推定挙動と異なる「減速」を指示した場合には、その入力挙動「減速」を専用挙動学習部434による専用挙動推定NNのファインチューニングの拘束条件とする。
図39は、本実施の形態におけるファインチューニングを説明するための図である。
ファインチューニングでは、入力挙動「減速」が、上述の推定挙動「速度維持」の推定に用いられたテストデータである環境パラメータに対して正解ラベルとして対応付けられる。つまり、専用挙動学習部434は、推定挙動「速度維持」の推定に用いられた環境パラメータを入力パラメータとして用い、入力挙動「減速」をその入力パラメータに対応する教師付けデータとして用いて、汎用挙動推定NNの重みを再学習する。この再学習によって、専用挙動推定NNが構築されるとともに、専用挙動推定NNがファインチューニングされる。なお、この再学習においても、実施の形態4と同様に、仮挙動ヒストグラムに基づいて、汎用挙動推定NNの出力と教師付けデータとの一致度を高めるように汎用挙動推定NNの重みが再学習される。
このように、入力挙動「減速」は、正解ラベルとして専用挙動学習部434によるファインチューニングに適用される。
図40は、本実施の形態における車両1A内の詳細なシステム構成を示す図である。
自動運転評価部503は、比較部503aを備える。比較部503aは、運転行動予測部502における専用挙動推定部435によって推定された挙動(すなわち上述の推定挙動)と、入力部102によって受け付けられた入力挙動とを比較する。例えば、比較部503aは、推定挙動「速度維持」と入力挙動「減速」とを比較する。なお、入力挙動は、入力部102から車両制御部7を介して自動運転評価部503の比較部503aに通知される。
比較部503aは、その比較の結果、推定挙動と入力挙動とが異なると判断すると、入力挙動(例えば「減速」)を正解ラベルとして学習部501の専用挙動学習部434に入力する。この入力によって、専用挙動学習部434による専用挙動推定NNのファインチューニングが行われる。
図41は、専用挙動推定NNの構築方法を示す図である。
専用挙動学習部434は、実施の形態4と同様に、図41の(a)に示す仮挙動ヒストグラムが生成されると、汎用挙動推定NNの出力と教師付けデータ(この例では速度維持)との一致度を高めるように汎用挙動推定NNの重みを再学習させる。これにより、専用挙動学習部434は、図41の(b)に示すように、教師付けデータの挙動(例えば速度維持)のみが推定結果として出力される専用挙動推定NNを構築する。このような再学習は、1つの教師付けデータに対してだけでなく、他の複数の教師付けデータのそれぞれに対しても行われる。つまり、専用挙動学習部434は、転移学習によって、特定の運転者に対する専用のニューラルネットワークを構築する。
図42は、専用挙動推定NNの入力挙動に基づく再学習を示す図である。
専用挙動学習部434は、図42の(a)に示すように、転移学習によって、特定の運転者に対する専用のニューラルネットワークである専用挙動推定NNを構築する。このように構築された専用挙動推定NNを用いた推定結果が推定挙動「速度維持」であって、入力部102に受け付けられた入力挙動「減速」と異なっている。つまり、推定挙動「速度維持」は間違っていたことになる。
そこで、専用挙動学習部434は、比較部503aから入力される正解ラベル「減速」と、推定挙動「速度維持」の推定に用いられたテストデータである環境パラメータセットとを対応付けて走行履歴に追加する。そして、専用挙動学習部434は、その追加が行われた走行履歴において、正解ラベルである挙動「減速」に対応付けられた複数の環境パラメータセットを用いて、汎用挙動推定NNの重みを再学習させる。つまり、専用挙動学習部434は、正解ラベルの頻度(累積値)が他のラベル(挙動)の頻度(累積値)を超えるように、汎用挙動推定NNの重みを再学習させる。その結果、専用挙動推定NNが更新されて、推定精度を向上させた専用挙動推定NNが構築される。
このように本実施の形態における情報処理システムは、特定の運転者によって入力される車両1Aの挙動を受け付ける入力部102と、運転行動予測部502によって推定された車両1Aの挙動を、入力部102によって受け付けられた車両1Aの挙動に基づいて評価する自動運転評価部503とを備える。自動運転評価部503は、運転行動予測部502によって推定された車両1Aの挙動に誤りがあると評価した場合には、入力部102によって受け付けられた車両1Aの挙動と、車両1Aの挙動の推定時に検出部6によって検出された車両1Aの周囲の状況である環境パラメータとを用いたニューラルネットワークの再学習を、挙動学習部である学習部501に実行させる。
これにより、検出部6によって検出された周辺の状況に誤差が含まれていても、運転行動の予測精度、すなわち車両1Aの挙動の推定精度を向上することができる。
(実施の形態6)
本実施の形態における車両は、実施の形態4と同様に、専用挙動推定NNを用いてその車両の挙動を推定するが、車両が走行しているシーンに応じて、専用挙動推定NNを切り換える点に特徴がある。
本実施の形態では、学習用データが少量しか収集できない場合、転移学習を用いて大量の転移元の知識から転移先の知識を導き出す。したがって、転移先のそれぞれで与えられる少量の学習用データ群ごとに、転移先の知識が複数生まれる。例えば、市街地(渋谷の交差点などの大量の歩行者が存在する場所)における知識と、地方の閑散地(歩行者がほとんどいない場所)における知識とを生成することができる。または、晴天時における知識と、雨天時における知識とを生成することができる。あるいは、渋滞時における知識と、渋滞になっていない通常時における知識とを生成することができる。なお、この知識は、上述の専用挙動推定NNに相当する。
しかし、生成された転移先の知識が複数ある場合、これらの知識のうち挙動の推定に使用される知識を選択する必要がある。
そこで、本実施の形態における自動運転制御システムでは、車両が走行しているシーン、つまり環境、天候、渋滞状況などを知識選択のスイッチとして利用する。なお、本実施の形態では、他の実施の形態と共通している点については説明を省略または簡略化し、異なる点について詳細に説明する。
図43は、本実施の形態における複数の知識(NN)を示す図である。
本実施の形態における自動運転制御システムは、車両が市街地を走行したときの走行履歴(データ群)を用いた転移学習によって、移転元知識(汎用挙動推定NN)から、市街地用の転移先知識(専用挙動推定NN)を構築する。同様に、自動運転制御システムは、車両が地方の閑散地を走行したときの走行履歴(データ群を)用いた転移学習によって、地方の閑散地用の転移先知識(専用挙動推定NN)を構築する。また、自動運転制御システムは、車両の周囲が渋滞しているときの走行履歴(データ群を)用いた転移学習によって、渋滞用の転移先知識(専用挙動推定NN)を構築する。
図44は、本実施の形態における車両内のシステム構成を示す図である。
車両1Bは、実施の形態5の図36に示す車両1Aと同様に、ブレーキペダル2、アクセルペダル3、ウィンカーレバー4、ハンドル5、検出部6、車両制御部7、記憶部8、情報報知装置9、タッチパネル10、および自動運転評価部503を備える。さらに、車両1Bは、外部環境情報取得部504を備えるとともに、学習部501および運転行動予測部502の代わりに、学習部501aおよび運転行動予測部502aを備える。本実施の形態における自動運転制御システムは、学習部501a、運転行動予測部502aおよび自動運転評価部503からなり、車両1Bに含まれる他の構成要素も備えていてもよい。また、本実施の形態における情報処理システムは、このような自動運転制御システムと情報報知装置9とを含む。
外部環境情報取得部504は、例えばVICS(登録商標)(Vehicle Information and Communication System)によって渋滞情報を取得し、さらに、例えばインターネットを介した通信によって天候情報を取得する。なお、渋滞情報および天候情報を、以下、外部環境情報と総称する。
学習部501aは、実施の形態4の学習部501と同様の機能を備えるとともに、車両1Bが走行しているシーンに対応する専用挙動推定NNを専用知識として特定する。具体的には、学習部501aは、位置情報取得部61によって取得された位置情報と、地図情報取得部64によって取得された地図情報と、外部環境情報取得部504によって取得された渋滞情報とに基づいてシーンを特定する。そして、学習部501aは、その特定されたシーンに対応付けられた専用知識である専用挙動推定NNを、複数の専用知識の中から選択し、その選択された専用挙動推定NNを運転行動予測部502aに出力する。
このように、本実施の形態における学習部501aは、位置情報取得部61、地図情報取得部64および外部環境情報取得部504から、位置情報、地図情報および外部環境情報を、専用知識を切り換えるための制御信号として取得する。
運転行動予測部502aは、実施の形態4の運転行動予測部502と同様の機能を備えるとともに、学習部501aから出力された専用挙動推定NNを取得する。そして、運転行動予測部502aは、その取得した専用挙動推定NNを用いた挙動の推定(つまり、運転行動の予測)を実施する。
図45は、本実施の形態における自動運転制御システムの機能構成を示すブロック図である。なお、図45では、自動運転評価部503を省略している。
本実施の形態における自動運転制御システムは、実施の形態5と同様に、汎用挙動学習部431、汎用挙動推定部432、ヒストグラム生成部433、および挙動推定結果受付部436を備える。また、本実施の形態における自動運転制御システムは、実施の形態5の専用挙動学習部434および専用挙動推定部435の代わりに、専用挙動学習部434aおよび専用挙動推定部435aを備える。なお、図45に示す学習部501aは、汎用挙動学習部431、ヒストグラム生成部433および専用挙動学習部434aを含み、運転行動予測部502aは、汎用挙動推定部432および専用挙動推定部435aを含む。
専用挙動学習部434aは、学習時には、特定の運転者の走行履歴のうち、シーンごとに、そのシーンにおいて得られた環境パラメータセットおよび挙動を用いて、そのシーンに対応する専用挙動推定NNを構築する。そして、挙動の推定時には、専用挙動学習部434aは、上述の制御信号を受信すると、その制御信号に応じたシーンを特定し、そのシーンに対応する専用挙動推定NNを選択する。専用挙動学習部434aは、その選択した専用挙動推定NNを専用挙動推定部435aに出力する。
専用挙動推定部435aは、選択された専用挙動推定NNを専用挙動学習部434aから取得すると、その選択された専用挙動推定NNを用いて、テストデータに対応する車両1Bの挙動を推定する。
図46は、本実施の形態における専用挙動学習部434aによる学習を説明するための図である。
機械学習には大量のデータを用いるため、通常、NN(ニューラルネットワーク)の更新にはかなりの時間がかかる。また、機械学習にはコンピュータの計算能力も必要になる。
そこで、汎用挙動学習部431は、典型的には、走行時に記憶部8に蓄積した走行履歴を走行終了後(たとえば帰宅後)にサーバへ転送し、サーバから送信される他の運転者の走行履歴を取得して、汎用挙動推定NNを更新する。一方、専用挙動学習部434aは、その更新された汎用挙動推定NNを取得して、その汎用挙動推定NNから専用挙動推定NNを構築する。この構築によって、既に構築されている専用挙動推定NNが更新されたり、あるいは新規に専用挙動推定NNが追加される。
また、その構築では、専用挙動学習部434aは、シーンごとに、そのシーンに対応する専用挙動推定NNを更新または生成する。ここで、シーンは、過去に取得された外部環境情報、地図情報および位置情報によって示される。例えば、シーンは、1月1日に取得された上記各情報によって示される「晴天、昼間、渋滞、4車線および市街地01」である。つまり、そのシーンでは、車両1Bが走行している位置において、天気は晴天であり、時間帯は昼間であり、交通状態は渋滞であり、道路の車線数は4であり、且つ、地域種別は市街地01である。専用挙動学習部434aは、このようなシーンに対して専用挙動推定NN「NN0001」を更新または生成する。つまり、専用挙動学習部434aは、そのシーンに対応する走行履歴のみを用いることによって、そのシーンに対応する専用挙動推定NN「NN0001」を更新または生成する。さらに、専用挙動学習部434aは、他のシーンに対しても同様に、そのシーンに対応する専用挙動推定NN(例えば「NN0002」)を構築または生成する。
図47は、本実施の形態における専用挙動学習部434aによる専用挙動推定NNの選択を説明するための図である。
専用挙動学習部434aは、専用挙動推定NN選択部505を備える。この専用挙動推定NN選択部505は、車両1Bが走行しているときに、位置情報取得部61、地図情報取得部64および外部環境情報取得部504から位置情報、地図情報および外部環境情報をそれぞれ制御信号として受信する。そして、専用挙動推定NN選択部505は、その受信された制御信号によって示されるシーンを特定する。専用挙動推定NN選択部505は、その特定されたシーンに対応する専用挙動推定NNを選択する。例えば、その特定されたシーンが「晴天、夜間、通常、2車線、市街地23」であれば、専用挙動推定NN選択部505は、複数の専用挙動推定NNの中から、そのシーンに対応する専用挙動推定NN「NN0002」を選択する。そして、専用挙動学習部434aは、その選択された専用挙動推定NN「NN0002」を専用挙動推定部435aに出力する。これにより、専用挙動推定部435aは、その専用挙動推定NN「NN0002」を用いて、車両1Bの挙動を推定、すなわち運転行動を予測する。
このように本実施の形態では、専用挙動学習部434aは、車両1Bが走行するシーンごとに、当該シーンに応じた特定の運転者に対する専用のニューラルネットワークを構築する。さらに、専用挙動学習部434aは、複数の専用のニューラルネットワークのうち、車両1Bが走行する現在のシーンに応じた専用のニューラルネットワークを選択し、選択された専用のニューラルネットワークを用いて、特定の運転者に対する車両1Bの挙動を推定する。
これにより、シーンごとに適切なニューラルネットワークを選択することができ、各シーンにおける車両1Bの挙動の推定精度、すなわち運転行動の予測精度を向上することができる。
[実施の形態4〜6のまとめ]
図48Aは、本発明の一態様に係る情報処理システムの構成を示す図である。
この情報処理システム1000は、検出部1001と、挙動学習部1002と、挙動推定部1003とを備える。
検出部1001は、例えば実施の形態1〜3における検出部6であって、車両1の周囲の状況または車両1の走行状態のうちの少なくとも何れか1つである車両環境状態を検出する。挙動学習部1002は、実施の形態4〜6における挙動学習部401または421である。この挙動学習部1002は、検出部1001が検出した車両環境状態と、その車両環境状態の後に行われた車両1の挙動との関係をニューラルネットワークに学習させる。
挙動推定部1003は、実施の形態4〜6における挙動推定部402または422である。この挙動推定部1003は、検出部1001によって検出される現時点における車両環境状態を、学習したニューラルネットワークに入力することによって、車両1の挙動を推定する。
また、情報処理システム1000は、さらに、挙動推定部1003によって推定された挙動を、その挙動が実施される前に、運転者に報知する報知部を備えてもよい。この報知部は、例えば実施の形態1〜3における報知部92である。
これにより、推定された挙動が報知されるため、どのような挙動が行われるのかを事前に運転者に容易に把握させることができ、その運転者の不安を解消することができる。
なお、検出部1001、挙動学習部1002および挙動推定部1003の全てまたは一部は、車両に備えられていてもよく、その車両の外部に備えられていてもよい。情報処理システム1000に含まれるこれらの構成要素のうち、一部の構成要素が車両に備えられ、残りの一部の構成要素が車両の外部に備えられる場合には、車両の内外にある構成要素は、例えばネットワークを介した通信を行うことによって、上述の各処理を実行する。
図48Bは、本発明の一態様に係る情報処理方法のフローチャートである。
この情報処理方法は、ステップS1001、S1002およびS1003を含む。
ステップS1001では、車両1の周囲の状況または車両1の走行状態のうちの少なくとも何れか1つである車両環境状態を検出する。ステップS1002では、検出した車両環境状態と、その車両環境状態の後に行われた車両1の挙動との関係をニューラルネットワークに学習させる。ステップS1003では、検出される現時点における車両環境状態を、学習したニューラルネットワークに入力することによって、車両1の挙動を推定する。
これにより、ニューラルネットワークを用いて車両1の挙動が推定されるため、その車両1の挙動(すなわち運転行動)を適切に推定することができる。
(実施の形態7)
上述した実施の形態1〜3において、車両1が実行しうる複数の挙動の候補のうち最も適した挙動がどれかを判定する方法についていくつか説明した。また、実施の形態4〜6では、最も適した挙動を判定する方法として、ニューラルネットワークを用いる場合について説明した。本実施の形態では、最も適した挙動を判定する方法として、予め学習により構築されたドライバモデルを用いる場合について説明する。
ここで、ドライバモデルの構築方法について説明する。ドライバモデルは、走行環境毎の運転者による操作の傾向を各操作の頻度の情報などに基づいてモデル化したものである。ドライバモデルは、複数の運転者の走行履歴を集約し、集約した走行履歴から構築される。
運転者の走行履歴は、例えば、各走行環境に対応する挙動の候補のうち、運転者が実際に選択した挙動の頻度が、挙動の候補毎に集約された履歴である。
図49は、走行履歴の一例を示す図である。図49には、運転者xが「合流路が近づく」という走行環境において、「減速」、「加速」、「車線変更」という挙動の候補を、それぞれ、3回、1回、5回選択したことが示されている。また、図49には、運転者Xが「前方に低速車あり」という走行環境において、「追従」、「追い越し」、「車線変更」という挙動の候補を、それぞれ、2回、2回、1回選択したことが示されている。運転者yについても同様である。
運転者の走行履歴は、自動運転中に選択した挙動を集約してもよいし、運転者が手動運転中に実際に行った挙動を集約してもよい。これにより、自動運転や手動運転といった運転状態に応じた走行履歴の収集ができる。
ドライバモデルには、複数のドライバの走行履歴をクラスタリングして構築するクラスタリング型と、特定の運転者(例えば、運転者x)の走行履歴と類似する複数の走行履歴から運転者xのドライバモデルを構築する個別適応型とがある。
まず、クラスタリング型について説明する。クラスタリング型のドライバモデルの構築方法は、図49に示したような複数の運転者の走行履歴を予め集約する。そして、互いの走行履歴の類似度が高い複数の運転者、つまり、類似した運転操作傾向を有する複数の運転者をグループ化してドライバモデルを構築する。
図50は、クラスタリング型のドライバモデルの構築方法を示す図である。図50には、運転者a〜fの走行履歴が表形式で示されている。そして、運転者a〜fの走行履歴から、モデルAが運転者a〜cの走行履歴から構築され、モデルBが運転者d〜fの走行履歴から構築されることが示されている。
走行履歴の類似度は、例えば、運転者aと運転者bの走行履歴における各頻度(各数値)を頻度分布として扱い、互いの頻度分布の相関値を算出し、算出した相関値を類似度としてもよい。この場合、例えば、運転者aと運転者bの走行履歴から算出した相関値が所定値よりも高い場合に、運転者aと運転者bの走行履歴を1つのグループとする。
なお、類似度の算出については、これに限定されない。例えば、運転者aと運転者bの各走行履歴において、最も頻度の高い挙動が一致する数に基づいて、類似度を算出してもよい。
そして、クラスタリング型のドライバモデルは、例えば、各グループ内の運転者の走行履歴において、それぞれの頻度の平均を算出することによって構築される。
図51は、構築されたクラスタリング型のドライバモデルの一例を示す図である。図50で示した各グループ内の運転者の走行履歴において、それぞれの頻度の平均を算出することによって、各グループの走行履歴の平均頻度を導出する。このように、クラスタリング型のドライバモデルは、走行環境毎に定められた挙動に対する平均頻度で構築される。
なお、ドライバモデルは、算出した平均頻度から最も頻度の高いもののみで構築してもよい。図52は、構築されたクラスタリング型のドライバモデルの別の一例を示す図である。図52に示すように、走行環境毎に最頻の挙動が選択され、選択された挙動からドライバモデルが構築される。
ここで、構築したクラスタリング型のドライバモデルの使用方法について、例を挙げて説明する。
図51に示したようなドライバモデルは、予め車両1の記憶部8に記憶される。また、車両制御部7は、運転者yが過去に運転した際の走行履歴を記憶部8に記憶しておく。なお、運転者yの検知は、車内に設置されるカメラ等(図示しない)で実行される。
そして、車両制御部7は、運転者yの走行履歴とドライバモデルの各モデルの走行履歴との類似度を算出し、どのモデルが運転者yに最も適しているかを判定する。例えば、図49に示した運転者yの走行履歴と図51に示したドライバモデルの場合、車両制御部7は、モデルBが運転者yに最も適していると判定する。
車両制御部7は、実際の自動走行の際に、モデルBの各走行環境において、最も頻度が高い挙動が運転者yに最も適した挙動、つまり、第1の挙動であると判定する。
このように、予め複数の運転者の走行履歴からドライバモデルを構築することにより、運転者により適した挙動を報知できる。
例えば、図49の示すように、運転者yの走行履歴に「前方に低速車あり」という走行環境に対する挙動の頻度が0、つまり、運転者が「前方に低速車あり」という走行環境において「追従」、「追い越し」、「車線変更」という挙動を選択したことが無い場合においても、車両制御部7は、図51に示すモデルBに基づき、「前方に低速車あり」という走行環境において、「追従」を第1の挙動として判定できる。
次に、個別適応型について説明する。個別適応型のドライバモデルの構築方法は、クラスタリング型の場合と同様に、図49に示したような複数の運転者の走行履歴を予め集約する。ここで、クラスタリング型の場合と異なる点は、運転者毎にドライバモデルを構築する点である。以下では、運転者yに対してドライバモデルを構築する例について説明する。
まず、集約した複数の運転者の走行履歴の中から、運転者yの走行履歴と類似度が高い複数の運転者の走行履歴を抽出する。そして、抽出した複数の運転者の走行履歴から運転者yのドライバモデルを構築する。
図53は、個別適応型のドライバモデルの構築方法を示す図である。図53には、図50と同様に、運転者a〜fの走行履歴が表形式で示されている。また、図53には、図49に示した運転者yの走行履歴と類似度が高い運転者c〜eの走行履歴とから運転者yのドライバモデルが構築されることが示されている。
個別適応型のドライバモデルは、抽出した各運転者の走行履歴において、それぞれの頻度の平均を算出することによって構築される。
図54は、構築された個別適応型のドライバモデルの一例を示す図である。図49に示した運転者yの走行履歴、及び、図53に示した運転者c〜eの走行履歴において、走行環境毎に、各挙動の平均頻度を導出する。このように、運転者yに対する個別適応型のドライバモデルは、各走行環境に対応する挙動の平均頻度で構築される。
ここで、構築した個別適応型のドライバモデルの使用方法について、例を挙げて説明する。
図54に示したような運転者yのドライバモデルは、予め車両1の記憶部8に記憶される。また、車両制御部7は、運転者yが過去に運転した際の走行履歴を記憶部8に記憶しておく。なお、運転者yの検知は、車内に設置されるカメラ等(図示しない)で実行される。
そして、車両制御部7は、実際の自動走行の際に、運転者yのドライバモデルの各走行環境において、最も頻度が高い挙動が運転者yに最も適した挙動、つまり、第1の挙動であると判定する。
このように、予め複数の運転者の走行履歴から運転者個人のドライバモデルを構築することにより、運転者により適した挙動を報知できる。
例えば、図49の示すように、運転者yの走行履歴に「前方に低速車あり」という走行環境に対する挙動の頻度が0、つまり、運転者が「前方に低速車あり」という走行環境において「追従」、「追い越し」、「車線変更」という挙動を選択したことが無い場合においても、車両制御部7は、図54に示すドライバモデルに基づき、「前方に低速車あり」という走行環境において、「車線変更」を第1の挙動として判定できる。
次に、運転者の運転特性(運転の癖)を取得し、運転者の嗜好に応じた自動運転を行う場合について説明する。一般に、1つの挙動(例えば、車線変更)に対する実際の動作(例えば、加速、減速の大きさ、あるいは、ハンドルの操作量)は、運転者毎に異なる。そのため、運転者の嗜好に応じた自動運転を行うことにより、運転者にとってより快適な走行が可能となる。
なお、以下の説明では、手動運転中に運転者の運転特性を取得し、取得した運転特性を自動運転の際に反映させる場合について説明するが、本発明はこれに限定されない。
車両制御部7は、運転者の車両1の各部の操作内容から、運転者の運転特性を示す特徴量を抽出し、記憶部8に記憶する。ここで、特徴量とは、例えば、速度に関する特徴量、ステアリングに関する特徴量、操作タイミングに関する特徴量、車外センシングに関する特徴量、車内センシングに関する特徴量等がある。
速度に関する特徴量は、例えば、車両の速度、加速度、減速度などがあり、これらの特徴量は、車両が有する速度センサ等から取得される。
ステアリングに関する特徴量は、例えば、ステアリングの舵角、角速度、各加速度などがあり、これらの特徴量は、ハンドル5から取得される。
操作タイミングに関する特徴量は、例えば、ブレーキ、アクセル、ウィンカーレバー、ハンドルの操作タイミングなどがあり、これらの特徴量は、それぞれ、ブレーキペダル2、アクセルペダル3、ウィンカーレバー4、ハンドル5から取得される。
車外センシングに関する特徴量は、例えば、前方、側方、後方に存在する車両との車間距離などがあり、これらの特徴量は、センサ62から取得される。
車内センシングに関する特徴量は、例えば、運転者が誰であるか、及び、同乗者が誰であるかを示す個人認識情報であり、これらの特徴量は、車内に設置されるカメラ等から取得される。
例えば、運転者が手動で車線変更を行う場合、車両制御部7は、運転者が手動で車線変更を行ったことを検知する。検知方法は、予め車線変更の操作時系列パターンをルール化しておくことにより、CAN情報などから取得した操作時系列データを解析することで検知する。その際、車両制御部7は、上述した特徴量を取得する。車両制御部7は、運転者毎に、特徴量を記憶部8に記憶し、運転特性モデルを構築する。
なお、車両制御部7は、運転者毎の特徴量に基づき、上述したドライバモデルを構築してもよい。つまり、車両制御部7は、速度に関する特徴量、ステアリングに関する特徴量、操作タイミングに関する特徴量、車外センシングに関する特徴量、車内センシングに関する特徴量を抽出し、記憶部8に記憶する。そして、記憶部8に記憶した特徴量に基づいて、走行環境毎の運転者による操作の傾向と各操作の頻度の情報を対応づけたドライバモデルを構築してもよい。
図55は、運転特性モデルの一例を示す図である。図55は、運転者毎に、特徴量が表形式で示されている。また、図55には、運転者毎に、各挙動を過去に選択した回数が示されている。特徴量についても一部のみが記載されているが、上記に挙げたいずれか、またはその全てを記載してもよい。
図55に記載の特徴量について詳細を説明する。速度の数値は、実際の速度を段階的に示している数値である。ハンドル、ブレーキ、アクセルの数値は、操作量を段階的に示している数値である。これらの数値は、例えば、過去の所定の期間内の速度、ハンドル、ブレーキ、アクセルの操作量の平均値を算出し、その平均値を段階的に表すことによって得られる。
例えば、図55において、運転者xが同乗者がいない状態で車線変更を行う場合、速さのレベルは8であり、ハンドル、ブレーキ、アクセルの操作量のレベルはそれぞれ4、6、8である。
自動運転の際は、車両制御部7は、運転者が誰か、どのような挙動が実行されるか、及び、同乗者が誰かに応じて、運転者、挙動、及び、同乗者に対応する運転特性モデルが図55に示す運転特性モデルの中から選択する。
そして、車両制御部7は、選択した運転特性モデルに対応する速度で車両1を走行させ、また、ハンドル、ブレーキ、アクセルの操作量およびそのタイミングの組み合わせで車両1を制御する。これにより、運転者の嗜好に応じた自動運転を行うことができる。なお、図55に示すような運転特性モデルの情報は、報知部92に報知させることができる。
図56は、本発明の実施の形態7における報知部92の表示を説明する図である。図56は、図5に示した走行環境の第1の例に対する表示である。
図56の(a)は、車線の変更や車両の加速、減速が不要な通常走行を行っている状態の報知部92の表示である。図56の(a)には、運転者の運転特性が「減速が多い」運転特性であることを示す記号231と、現在、自動運転中であることを示す記号232が示されている。
車両制御部7は、例えば、図55に示した運転特性モデルに含まれる各挙動を過去に選択した回数に基づいて、運転者の運転特性を判定する。この場合、車両制御部7は、例えば、運転特性から「減速」が多い(いわゆる「減速」という挙動を選択した回数が多い)運転者に対して、図56のような記号231を含む表示を報知部92に表示させる。
そして、車両制御部7が、走行環境が図5に示した第1の例の走行環境であると判定した場合、車両制御部7は、運転者の運転特性が「減速が多い」運転特性であることに基づいて、第1の挙動を「減速」と判定し、図56の(b)の表示を報知部92に実行させる。
図56の(b)には、第1の挙動である「減速」を示す記号233が第1の態様(例えば、第1の色)で示されている。また、第2の挙動である「加速」を示す記号234と、第2の挙動である「車線変更」を示す記号235が示されている。
運転者は、実施の形態1で説明したような操作により、「加速」への挙動の変更を行った場合、車両制御部7は、図56の(c)の表示を報知部92に実行させる。
図56の(c)には、選択された挙動である「加速」を示す記号234’が、第1の態様で示されている。また、記号233’は、図56の(b)において第1の挙動として表示されていた記号233が記号234と入れ替わって表示されたものである。
その後、車両制御部7は、図56の(a)に示す表示を報知部92に実行させてから第2の所定時間が経過した後に、図56の(d)に示す表示を報知部92に表示させる。ここで、図55の(d)には、次の挙動として、運転者が選択した「加速」を示す記号234’が第2の態様で表示される。
車両制御部7は、次にとる挙動が「加速」と決定した場合、運転特性モデルに含まれる「加速」の挙動に対応する特徴量を読み出し、それらの特徴量を反映させた「加速」を行うように、車両1を制御する。
図57は、本発明の実施の形態7における報知部92の表示を説明する図である。図57は、図7に示した走行環境の第2の例に対する表示である。なお、図57において、図56と共通する構成には図56と同一の符号を付し、その詳しい説明を省略する。図57は、図56から、「車線変更」を示す記号235が削除された図である。
前述の通り、第2の例(図7)では、第1の例(図5)と異なり、車両1の右方に別の車両が走行しているため、車線変更ができない。そのため、図57の(b)、(c)では、「車線変更」が表示されていない。また、図57の(c)の例では、図56の(c)の場合と同様に、「加速」が選択されたため、車両制御部7は、図56と同様に、運転特性モデルに含まれる「加速」の挙動に対応する特徴量を読み出し、それらの特徴量を反映させた「加速」を行うように、車両1を制御する。
図58は、本発明の実施の形態7における報知部92の表示を説明する図である。図58は、図8に示した走行環境の第3の例に対する表示である。
図58の(a)は、図56の(a)と同様である。車両制御部7が図8に示した第3の例の走行環境であることを判定した場合、車両制御部7は、運転者の運転特性が「減速が多い」運転特性であることに基づいて、第1の挙動を「減速」と判定し、図58の(b)の表示を報知部92に実行させる。
図58の(b)には、第1の挙動である「減速」を示す記号251が第1の態様(例えば、第1の色)で示されている。また、第2の挙動である「追い越し」を示す記号252と、第2の挙動である「車線変更」を示す記号253が示されている。
運転者は、実施の形態1で説明したような操作により、「追い越し」への挙動の変更を行った場合、車両制御部7は、図58の(c)の表示を報知部92に実行させる。
図58の(c)には、選択された挙動である「追い越し」を示す記号252’が、第1の態様で示されている。また、記号251’は、図58の(b)において第1の挙動として表示されていた記号251が記号252と入れ替わって表示されたものである。
その後、車両制御部7は、図58の(a)に示す表示を報知部92に実行させてから第2の所定時間が経過した後に、図58の(d)に示す表示を報知部92に表示させる。ここで、図55の(d)には、次の挙動として、運転者が選択した「追い越し」を示す記号252’が第2の態様で表示される。
車両制御部7は、次にとる挙動が「追い越し」と決定した場合、運転特性モデルに含まれる「追い越し」の挙動に対応する特徴量を読み出し、それらの特徴量を反映させた「加速」を行うように、車両1を制御する。
次に、運転者の運転特性が「減速が多い」運転特性ではない場合の表示の例を説明する。
図59は、本発明の実施の形態7における報知部92の表示を説明する図である。図59は、図5に示した走行環境の第1の例に対する表示である。なお、図59の(a)は、運転者の運転特性が「加速が多い」運転特性である場合の例を示し、図59の(b)は、運転者の運転特性が「車線変更が多い」運転特性である場合の例を示している。
図59の(a)には、運転者の運転特性が「加速が多い」運転特性であることを示す記号261が示されている。また、第1の挙動である「加速」を示す記号262が第1の態様(例えば、第1の色)で示されている。また、第2の挙動である「車線変更」を示す記号263と、第2の挙動である「減速」を示す記号264が示されている。
車両制御部7は、例えば、運転特性から過去に「加速」が多い(いわゆる過去に「加速」という挙動を選択した回数が多い)運転者に対して、図59の(a)のような記号261を含む表示を報知部92に実行させる。また、車両制御部7は、運転者の運転特性が「加速が多い」運転特性であることに基づいて、第1の挙動を「加速」と判定し、図59の(a)の表示を報知部92に実行させる。
図59(b)には、運転者の運転特性が「車線変更が多い」運転特性であることを示す記号265が示されている。また、第1の挙動である「車線変更」を示す記号266が第1の態様(例えば、第1の色)で示されている。また、第2の挙動である「車線変更」を示す記号267と、第2の挙動である「減速」を示す記号268が示されている。
車両制御部7は、例えば、運転特性から過去に「車線変更」が多い(いわゆる過去に「車線変更」という挙動を選択した回数が多い)運転者に対して、図59の(b)のような記号265を含む表示を報知部92に実行させる。車両制御部7は、運転者の運転特性が「車線変更が多い」運転特性であることに基づいて、第1の挙動を「車線変更」と判定し、図59の(b)の表示を報知部92に実行させる。
上記は、運転特性モデルのみを使用して説明したが、ドライバモデルを加味してもよく、図56、図58、図59において、記号231は運転者の操作履歴から選択されたドライバモデルの種類を示してもよい。例えば、図5に示した走行環境の第1の例について、「減速」をよく選ぶドライバに適用するドライバモデルには図56のような記号231を含む表示を報知部92に実行させ、第1の挙動を「減速」と判定する。「加速」をよく選ぶドライバに適用するドライバモデルには図59の(a)のような記号261を含む表示を報知部92に実行させ、第1の挙動を「加速」と判定する。「車線変更」をよく選ぶドライバに適用するドライバモデルには図59の(a)のような記号261を含む表示を報知部92に実行させ、第1の挙動を「車線変更」と判定する。
以上説明した本実施の形態によれば、車の将来の挙動を決定する際に、運転者の過去の走行履歴を学習し、その結果を将来の挙動の決定に反映させることができる。また、車両制御部が車を制御する際に、運転者の運転特性(運転嗜好)を学習し、車の制御に反映させることができる。
これにより、車両が運転者若しくは乗員が嗜好するタイミングや操作量で自動運転を制御でき、実際運転者が手動運転する場合の感覚と乖離することなく、自動運転中に運転者による不要な操作介入を抑制することができる。
なお、本発明では、車両制御部7が実行する機能と同様の機能をクラウドサーバなどのサーバ装置に実行させてもよい。また、記憶部8は、車両1ではなく、クラウドサーバなどのサーバ装置にあってもよい。あるいは、記憶部8は、既に構築されたドライバモデルを記憶し、車両制御部7は、記憶部8に記憶されたドライバモデルを参照して、挙動を判定することとしてもよい。
このように、実施の形態7では、車両制御部7が、運転者の運転特性を示す特徴量の情報を取得し、記憶部8がその特徴量の情報を記憶し、車両制御部7が記憶部8に記憶された特徴量の情報に基づいて、運転者が選択した車両の挙動の傾向を、選択された各挙動の頻度で示すドライバモデルを車両の走行環境毎に構築することとした。
また、車両制御部7は、複数の運転者のうち、類似した挙動の選択を行う運転者のグループを決定し、グループ毎、車両の走行環境毎にドライバモデルを構築することとした。
また、車両制御部7は、類似した操作を行う運転者のグループ毎に各運転者が選択した挙動の頻度の平均値を算出し、運転者が選択した車両の挙動の傾向を、算出した平均値で示すドライバモデルを車両の走行環境毎に構築することとした。
また、車両制御部7は、特定の運転者が選択した車両の挙動の傾向と類似する傾向がある他の運転者が選択した車両の挙動に基づいて、上記特定の運転者が選択した車両の挙動の傾向を、選択された各挙動の頻度で示すドライバモデルを車両の走行環境毎に構築することとした。
以上により、車両制御部7は、運転者の運転傾向により適したドライバモデルを構築でき、構築したドライバモデルに基づいて、運転者に対してより適切な自動運転を行うことができる。
(ドライバモデルの変形例)
なお、上記で説明したドライバモデルは、走行環境毎の運転者による操作(挙動)の傾向を各操作の頻度の情報などに基づいてモデル化したものであったが、本発明はこれに限定されない。
例えば、ドライバモデルは、過去に走行した走行環境(つまり、シチュエーション)を示す環境パラメータと、その走行環境において運転者が実際に選択した操作(挙動)とを対応させた走行履歴に基づいて構築されてもよい。環境パラメータをドライバモデルに組み込むことにより、走行環境の検出・分類を別途行い、その分類結果をドライバモデルに入力(記憶)するという手続きを踏むことなく、選択肢を決めることが出来る。具体的には、図56、図57のような走行環境の違いを、環境パラメータとして取得し、ドライバモデルに直接入力(記憶)することにより、図56では「加速」、「減速」、「車線変更」が選択肢となり、図57では、「加速」、「減速」が選択肢となる。以下では、このようなドライバモデルを構築する場合について説明する。なお、以下に説明するドライバモデルは、シチュエーションデータベースと言い換えても良い。
ここで、本変形例におけるドライバモデルを構築するための走行履歴について説明する。図60は、走行履歴の一例を示す図である。図60には、運転者xが運転する車両が、過去に走行した走行環境を示す環境パラメータと、その走行環境において運転者が実際に選択した操作(挙動)とを対応させた走行履歴が示されている。
図60に示す走行履歴の(a)〜(c)の環境パラメータは、それぞれ、例えば、図8の(b)、図5の(b)、図7の(b)に示したようにして運転者に車両の挙動を提示した際の走行環境を示すものである。この走行履歴の環境パラメータは、センシング情報およびインフラ情報から得られる。
センシング情報は、車両が有するセンサやレーダ等が検知した情報である。インフラ情報は、GPSの情報、地図情報、路車間通信で取得される情報などである。
例えば、図60に示す走行履歴の環境パラメータは、「自車両の情報」、自車両aが走行する車線の前方を走行する車両の情報を示す「先行車両の情報」、自車両が走行する車線の側方車線の情報を示す「側方車線の情報」、自車両が走行する位置に合流車線がある場合に、その合流車線の情報を示す「合流車線の情報」、自車両の位置とその周囲の情報を示す「位置情報」などを含む。また、後方車両の情報を含めてもよい。その場合、後方車両と自車両との相対速度、車頭間距離、車頭間距離の変化率などを用いても良い。また、車両の存在の情報を含めてもよい。
例えば、「自車両の情報」は、自車両の速度Vaの情報を含む。「先行車両の情報」は、自車両に対する先行車両bの相対速度Vba、先行車両と自車両との車間距離DRba、先行車両のサイズの変化率RSbの情報を含む。
ここで、自車両の速度Vaは、自車両が有する速度センサによって検知される。相対速度Vba、車間距離DRbaは、センサやレーダ等によって検知される。サイズの変化率RSbは、RSb=−Vba/DRbaという関係式によって算出される。
「側方車線の情報」は、側方車線において自車両より後方を走行する側後方車両cの情報と、側方車線において自車両より前方を走行する側前方車両dの情報と、自車両の残存側方車線長DRdaの情報とを含む。
側後方車両の情報は、自車両に対する側後方車両の相対速度Vca、側後方車両と自車両との車頭間距離Dca、車頭間距離の変化率Rcaの情報を含む。側後方車両と自車両との車頭間距離Dcaとは、自車両(および側後方車両)の進行方向に沿った方向において測定される自車両の先端部(車頭)と側後方車両の先端部(車頭)との間の距離である。なお、車頭間距離は、車間距離及び車長から算出してもよい。また、車頭間距離は、車間距離に代替させてもよい。
ここで、相対速度Vca、車頭間距離Dcaは、センサやレーダ等によって検知される。車頭間距離の変化率Rcaは、Rca=Vca/Dcaという関係式によって算出される。
また、側前方車両の情報は、自車両に対する側前方車両の相対速度Vda、側前方車両と自車両との車頭間距離Dda、車頭間距離の変化率Rdaの情報を含む。側前方車両と自車両との車頭間距離Ddaは、自車両(および側前方車両)の進行方向に沿って測定される自車両の先端部(車頭)と側前方車両の先端部(車頭)との間の距離である。
相対速度Vda、車頭間距離Ddaは、センサやレーダ等によって検知される。また、車頭間距離の変化率Rdaは、Rda=Vda/Ddaという関係式によって算出される。
自車両の残存側方車線長DRdaは、側方車線への車線変更の可能性の高さを示すパラメータである。具体的には、自車両の残存側方車線長DRdaは、自車両(および側前方車両)進行方向に沿った方向において測定される自車両の先端部(車頭)と側前方車両の後端部との間の距離が、先行車両と自車両との車間距離DRbaより長い場合、自車両の先端部(車頭)と側前方車両の後端部との間の距離となり、自車両の先端部(車頭)と側前方車両の後端部との間の距離が、DRbaより短い場合、DRbaとなる。自車両の残存側方車線長DRdaは、センサやレーダ等によって検知される。
「合流車線の情報」は、自車両に対する合流車両の相対速度Vma、合流車両と自車両との車頭間距離Dma、車頭間距離の変化率Rmaの情報を含む。ここで、合流車両と自車両との車頭間距離Dmaは、自車両(および合流車両)の進行方向に沿った方向において測定される自車両の先端部(車頭)と合流車両の先端部(車頭)との間の距離である。
相対速度Vma、車頭間距離Dmaは、センサやレーダ等によって検知される。車頭間距離の変化率Rmaは、Rma=Vma/Dmaという関係式によって算出される。
図60に示す走行履歴の例では、上記で説明した速度、距離、及び変化率の数値が複数のレベルに分類され、分類されたレベルを示す数値が記憶されている。なお、速度、距離、及び変化率の数値は、レベルに分類されることなくそのまま記憶されてもよい。
位置情報は、「自車両の位置情報」、「走行車線数」、「自車両の走行車線」、「合流区間の開始・終了地点までの距離」「分岐区間の開始・終了地点までの距離」「工事区間開始・終了地点までの距離」「車線減少区間開始・終了地点までの距離」「交通事故発生地点までの距離」などの情報を含む。図60には、位置情報の例として「自車両の走行車線」(図60の走行車線)、及び「合流区間の開始・終了地点までの距離」の情報が示されている。
例えば、「自車両の位置情報」の欄には、GPSより得られた緯度・経度を示す数値情報が記憶される。「走行車線数」の欄には、走行している道の車線の数が記憶される。「自車両の走行車線」の欄には、走行している車線の位置を示す数値情報が記憶される。「合流区間の開始・終了地点までの距離」の欄には、所定の距離内に合流区間の開始・終了地点が存在する場合に、合流区間の開始・終了地点までの距離が予め決められた複数のレベルに分類され、分類されたレベルの数値が記憶される。なお、所定の距離内に合流区間の開始・終了地点が存在しない場合、「合流区間の開始・終了地点までの距離」の欄には「0」が記憶される。
「分岐区間の開始・終了地点までの距離」の欄には、所定の距離内に分岐区間の開始・終了地点が存在する場合に、分岐区間の開始・終了地点までの距離が予め決められた複数のレベルに分類され、分類されたレベルの数値が記憶される。なお、所定の距離内に分岐区間の開始・終了地点が存在しない場合、「分岐区間の開始・終了地点までの距離」の欄には「0」が記憶される。「工事区間開始・終了地点までの距離」の欄には、所定の距離内に工事区間開始・終了地点が存在する場合に、工事区間開始・終了地点までの距離が予め決められた複数のレベルに分類され、分類されたレベルの数値が記憶される。なお、所定の距離内に工事区間開始・終了地点が存在しない場合、「工事区間開始・終了地点までの距離」の欄には「0」が記憶される。
「車線減少区間開始・終了地点までの距離」の欄には、所定の距離内に車線減少区間開始・終了地点が存在する場合に、車線減少区間開始・終了地点までの距離が予め決められた複数のレベルに分類され、分類されたレベルの数値が記憶される。なお、所定の距離内に車線減少区間開始・終了地点が存在しない場合、「車線減少区間開始・終了地点までの距離」の欄には「0」が記憶される。
「交通事故発生地点までの距離」の欄には、所定の距離内に交通事故発生地点が存在する場合に、交通事故発生地点までの距離が予め決められた複数のレベルに分類され、分類されたレベルの数値が記憶される。なお、所定の距離内に交通事故発生地点が存在しない場合、「交通事故発生地点までの距離」の欄には「0」が記憶される。
さらに、位置情報は、自車両が走行している道の全車線のうちどの車線が合流車線、分岐車線、工事車線、減少車線、事故発生車線かの情報を含んでも良い。
なお、図60に示した走行履歴はあくまで一例であり、本発明はこれに限定されない。例えば、上記側方車線の情報が右側方車線の情報である場合、走行履歴に、その反対側である「左側方車線の情報」がさらに含まれても良い。
「左側方車線の情報」は、左側方車線において自車両より後方を走行する左側後方車両の情報と、左側方車線において自車両より前方を走行する左側前方車両の情報と、自車両の残存左側方車線長DRdaの情報とを含む。
左側後方車両の情報は、自車両に対する左側後方車両の相対速度Vfa、左側後方車両と自車両との車頭間距離Dfa、車頭間距離の変化率Rfaの情報を含む。左側後方車両と自車両との車頭間距離Dfaとは、自車両(および左側後方車両)の進行方向に沿った方向において測定される自車両の先端部(車頭)と左側後方車両の先端部(車頭)との間の距離である。
ここで、相対速度Vfa、車頭間距離Dfaは、センサやレーダ等によって検知される。また、車頭間距離の変化率Rfaは、Rfa=Vfa/Dfaという関係式によって算出される。
また、左側前方車両の情報は、自車両に対する左側前方車両の相対速度Vga、左側前方車両と自車両との車頭間距離Dga、車頭間距離の変化率Rgaの情報を含む。左側前方車両と自車両との車頭間距離Dgaは、自車両(および左側前方車両)の進行方向に沿って測定される自車両の先端部(車頭)と左側前方車両の先端部(車頭)との間の距離である。
ここで、相対速度Vga、車頭間距離Dgaは、センサやレーダ等によって検知される。また、車頭間距離の変化率Rgaは、Rga=Vga/Dgaという関係式によって算出される。
なお、ここでは、車両の通行が左側通行である場合について説明したが、左右を逆転させることにより右側通行の場合にも同様の処理が可能である。
また、図60に示す走行履歴は、走行車線において自車両より後方を走行する後方車両の情報を示す「後方車両の情報」を含んでもよい。
後方車両の情報は、自車両に対する後方車両の相対速度Vea、後方車両と自車両との車頭間距離Dea、車頭間距離の変化率Reaの情報を含む。後方車両と自車両との車頭間距離Deaとは、自車両(および後方車両)の進行方向に沿った方向において測定される自車両の先端部(車頭)と後方車両の先端部(車頭)との間の距離である。
ここで、相対速度Vea、車頭間距離Deaは、センサやレーダ等によって検知される。車頭間距離の変化率Reaは、Rea=Vea/Deaという関係式によって算出される。
なお、移動体に隠れて車頭間距離が計測できない場合などは、車頭間距離の代替として、計測できる車間距離や、車間距離に所定の車長を加えた近似値を使用しても良いし、車間距離に認識した車種ごとの車長を加えて算出してもよい。また、車頭間距離が計測できるかできないかに拘わらず、車頭間距離の代替として、計測できる車間距離や、車間距離に所定の車長を加えた近似値を使用しても良いし、車間距離に認識した車種ごとの車長を加えて算出してもよい。
走行履歴には、車両の走行環境に関する他の様々な情報が含まれていてもよい。例えば、走行履歴には、先行車両や側方車両、合流車両の大きさや種別、および自車両との相対位置の情報が含まれていてもよい。例えば、後方から接近する車両の種別をカメラセンサで認識し、車両が緊急車両である場合に車両が救急車両であることを示す情報を含めても良い。これにより、緊急車両への対応のための情報報知であることを情報報知できる。あるいは、図55で説明したような、ハンドル、ブレーキ、アクセル操作量を段階的に示した数値や、同乗者の情報などが走行履歴に含まれていてもよい。
また、運転者の走行履歴として、自動運転中に選択した挙動が集約されてもよいし、運転者が手動運転中に実際に行った挙動が集約されてもよい。これにより、自動運転や手動運転といった運転状態に応じた走行履歴の収集ができる。
また、図60の例では、走行履歴に含まれる環境パラメータが、運転者に車両の挙動を提示した際の走行環境を示すものとしたが、運転者が挙動の選択を行った際の走行環境を示すものであってもよい。あるいは、運転者に車両の挙動を提示した際の走行環境を示す環境パラメータと、運転者が挙動の選択を行った際の走行環境を示す環境パラメータとが両方とも走行履歴に含まれてもよい。
さらに、車両制御部7が、図2の(a)、図5の(a)、図6の(a)、図7の(a)、図8の(a)、図9の(a)、図10の(a)に示す俯瞰図、または図14の(c)に示す表示を生成するに伴い、第1の挙動、及び、第2の挙動が選択される要因となった、寄与度の高い環境パラメータの情報、および、その環境パラメータに関連する情報(例えば、アイコンなど)の少なくとも一つを報知情報として生成し、生成した報知情報を俯瞰図上に示すなどして報知情報を報知部92に報知させてもよい。
この場合、例えば、車両制御部7は、先行車両と自車両との車間距離DRbaや先行車両のサイズの変化率RSbの寄与度が高ければ、俯瞰図における先行車両と自車両との間に輝度を上げたり色を変えたりした領域を表示させ、報知情報を報知部92に報知させてもよい。
また、車両制御部7が、先行車両と自車両との間の領域に車間距離DRbaや変化率RSbの寄与度が高いことを示すアイコンを報知情報として表示させてもよい。さらに、車両制御部7が、報知部92に、俯瞰図上で先行車両と自車両とを結ぶ線分を報知情報として描画させるか、全ての周辺車両と自車両とを結ぶ線分を報知情報として描画させ、俯瞰図上で先行車両と自車両とを結ぶ線分を強調させてもよい。
また、車両制御部7は、俯瞰図ではなく、運転者から見える視点画像の中で、報知部92に先行車両と自車両との間に周囲の領域よりも輝度を上げたり、周囲の領域と異なる色にした領域を報知情報として表示させたりしてAR(Augmented Reality)表示を実現させてもよい。また、車両制御部7が視点画像の中で、先行車両と自車との間の領域に高い寄与度の環境パラメータを示すアイコンを報知情報として報知部92にAR表示させてもよい。
さらに、車両制御部7が視点画像の中で、先行車両と自車とを結ぶ線分を報知情報としてAR表示させるか、視点画像の中で、全ての周辺車両と自車両とを結ぶ線分を報知情報としてAR表示させ、先行車両と自車両とを結ぶ線分を強調させてもよい。
なお、寄与度の高い環境パラメータあるいはその環境パラメータに関連する情報を報知する方法は、上記に限定されない。例えば、車両制御部7は、寄与度の高い環境パラメータの対象となる先行車両を強調表示した画像を報知情報として生成し、報知部92に表示させてもよい。
また、車両制御部7が、俯瞰図またはAR表示において、寄与度の高い環境パラメータの対象となる先行車両等の方向を示す情報を報知情報として生成し、その情報を自車両または自車両の周辺に表示させてもよい。
また、例えば、車両制御部7は、寄与度が高い環境パラメータの情報あるいはその環境パラメータに関連する情報を報知する代わりに、寄与度が低い環境パラメータの対象となる先行車両等の表示輝度を低くするなどして目立たなくし、相対的に目立つようにした寄与度が高い環境パラメータの情報あるいはその環境パラメータに関連する情報を報知情報として生成し、報知部92に表示させてもよい。
次に、運転者の走行履歴に基づくドライバモデルの構築について説明する。ドライバモデルには、複数のドライバの走行履歴をクラスタリングして構築するクラスタリング型と、特定の運転者(例えば、運転者x)の走行履歴と類似する複数の走行履歴から運転者xのドライバモデルを構築する個別適応型とがある。
まず、クラスタリング型について説明する。クラスタリング型のドライバモデルの構築方法は、図60に示したような運転者の走行履歴を運転者毎に予め集約する。そして、互いの走行履歴の類似度が高い複数の運転者、つまり、類似した運転操作傾向を有する複数の運転者をグループ化してドライバモデルを構築する。
走行履歴の類似度は、例えば、運転者aと運転者bの走行履歴における挙動を所定のルールに基づいて数値化した場合に、環境パラメータの数値と挙動の数値とを要素とするベクトルの相関値から決定できる。この場合、例えば、運転者aと運転者bの走行履歴から算出した相関値が所定値よりも高い場合に、運転者aと運転者bの走行履歴を1つのグループとする。なお、類似度の算出については、これに限定されない。
次に、個別適応型について説明する。個別適応型のドライバモデルの構築方法は、クラスタリング型の場合と同様に、図60に示したような複数の運転者の走行履歴を予め集約する。ここで、クラスタリング型の場合と異なる点は、運転者毎にドライバモデルを構築する点である。例えば、運転者yに対してドライバモデルを構築する場合、運転者yの走行履歴と他の複数の運転者の走行履歴とを比較し、類似度が高い複数の運転者の走行履歴を抽出する。そして、抽出した複数の運転者の走行履歴から運転者yの個別適応型のドライバモデルを構築する。
なお、図60に示す走行履歴に基づくドライバモデル(シチュエーションデータベース)は、クラスタリング型、または、個別適応型に限定されず、例えば、全ての運転者の走行履歴を含むように構成されてもよい。
ここで、構築したドライバモデルの使用方法について、例を挙げて説明する。以下の例では、運転者xに対し、4人の運転者a〜dの走行履歴を集約したドライバモデルが用いられる場合について説明する。なお、ドライバモデルは、車両制御部7によって構築される。
図61は、本変形例におけるドライバモデルの使用方法を示す図である。図61の(a)は、運転者xが運転する車両の現時点における走行環境を示す環境パラメータである。図61の(b)は、運転者xに対するドライバモデルの一例である。
図61の(a)に示すように、現時点における走行環境を示す環境パラメータに対する挙動(操作)はブランクになる。車両制御部7は、環境パラメータを所定の間隔で取得し、環境パラメータのいずれかをトリガとして、図61の(b)に示すドライバモデルから次の挙動を判定する。
トリガとしては、例えば、合流区間の開始地点までの距離が所定の距離以下になった場合、あるいは、先行車両との相対速度が所定値以下になった場合など、車両の操作の変更が必要となる場合を示す環境パラメータをトリガとしてもよい。
車両制御部7は、図61の(a)に示す環境パラメータと、図61の(b)に示すドライバモデルのそれぞれの走行履歴の環境パラメータとを比較し、最も類似する環境パラメータに対応づけられた挙動を第1の挙動であると判定する。また、それ以外の類似する環境パラメータに対応づけられたいくつかの挙動については、第2の挙動と判定する。
環境パラメータが類似するか否かは、環境パラメータの数値を要素とするベクトルの相関値から決定できる。例えば、図61の(a)に示す環境パラメータの数値を要素とするベクトルと、図61の(b)に示す環境パラメータの数値を要素とするベクトルとから算出した相関値が所定値よりも高い場合に、これらの環境パラメータが類似すると判定される。なお、環境パラメータが類似するか否かの判定方法については、これに限定されない。
例えば、ここでは環境パラメータの類似度に基づいて挙動を決定することとしたが、まず環境パラメータの類似度の高いグループを作成し、そのグループにおける環境パラメータの統計をとり、その統計データから挙動を決定してもよい。
このように、予め複数の運転者の走行履歴から運転者個人のドライバモデルを構築することにより、運転者により適した挙動を報知できる。なお、より安全な走行履歴をデータベースに登録するため、安全な走行の基準を示す情報を記憶部8が記憶しておき、走行履歴がこの基準を満たすか否かを車両制御部7が判定し、さらに車両制御部7が、この基準を満たす走行履歴をデータベースに登録し、この基準を満たさない走行履歴をデータベースに登録しないこととしてもよい。
さらに、走行環境を示すパラメータと挙動とが対応づけられることにより、車両制御部7が、具体的な走行環境を判定することなく、つまり、走行環境のラベリングを行う事無く、精度よく次の挙動を判定できる。
なお、ドライバモデル(シチュエーションデータベース)は、自動運転中に運転者が選択した挙動とその挙動を提示した際の走行環境を示す環境パラメータとを対応づけた走行履歴から構築されてもよい。あるいは、ドライバモデル(シチュエーションデータベース)は、自動運転中に運転者が選択した挙動とその挙動を車両が行った際の走行環境を示す環境パラメータとを対応付けた走行履歴から構築されてもよい。
環境パラメータが、運転者により選択された挙動を車両が行った際の走行環境を示すものである場合、現時点における走行環境を示す環境パラメータから将来の走行環境を示す環境パラメータを予測し、運転者により選択された挙動を車両が行った際の走行環境を示す環境パラメータのうち、予測された環境パラメータに最も類似する環境パラメータに対応付けられた挙動を第1の挙動、それ以外の類似する環境パラメータに対応付けられたいくつかの挙動を第2の挙動であると判定してもよい。
上記予測は、例えば、現時点と現時点よりも前の時点の走行環境を示す環境パラメータから将来の時点の環境パラメータを外挿することにより行う。
あるいは、ドライバモデル(シチュエーションデータベース)は、自動運転中に運転者が選択した挙動とその挙動を提示した際の走行環境を示す環境パラメータとを対応づけた走行履歴、および、自動運転中に運転者が選択した挙動とその挙動を車両が行った際の走行環境を示す環境パラメータとを対応付けた走行履歴の両方から構築されてもよい。
この場合、例えば、両者の走行履歴が図61の(b)に示したような形式で記憶され、車両制御部7は、それらから次の挙動を判定する。ここで、車両制御部7は、両者の間で優先度を設け、例えば、自動運転中に運転者が選択した挙動とその挙動を車両が行った際の走行環境を示す環境パラメータとを対応付けた走行履歴から優先的に次の挙動を判定してもよい。
なお、本発明では、車両制御部7が実行する機能と同様の機能をクラウドサーバなどのサーバ装置に実行させてもよい。特に、記憶部8は走行履歴の蓄積に伴い膨大なデータ数となるため、車両1ではなくクラウドサーバなどのサーバ装置にあってもよい。あるいは、記憶部8は、既に構築されたドライバモデルを記憶し、車両制御部7は、記憶部8に記憶されたドライバモデルを参照して、挙動を判定することとしてもよい。
なお、記憶部8がクラウドサーバに設けられる構成では、通信速度の低下・通信断などの原因により記憶部8にアクセスできない場合に備えキャッシュが設けられることが望ましい。
図62は、キャッシュの配置の一例を示すブロック図である。車両制御部7は、通信部291を通じて記憶部8に走行履歴を保存させ、通信部291を通じてキャッシュ292に記憶部8に記憶されたドライバモデル(シチュエーションデータベース)の一部を保持させる。
車両制御部7は、キャッシュ292のドライバモデルにアクセスする。このときのキャッシュの作成方法については、環境パラメータの有無で限定する方法、位置情報を用いる方法、データを加工する方法などが考えられる。以下、それぞれについて説明する。
まず、環境パラメータの有無で限定する方法について説明する。周囲の状況の比較により似た状況を抽出するには、同じ環境パラメータのみが存在する走行環境(シチュエーション)が十分にあれば可能である。従って、車両制御部7は、記憶部8に記憶された走行環境の中から同じ環境パラメータのみを持つ走行環境を抽出して、これらをソートし、キャッシュ292に保持する。
ここで、車両制御部7は、検出された状況から得られる環境パラメータが変更されたタイミングで、一次キャッシュの更新を行う。こうすることで、車両制御部7は、通信速度の低下が発生しても似た周囲の状況を抽出することが可能になる。なお、変更の有無を判断する環境パラメータは、先に挙げた全ての環境パラメータでもよいし、一部の環境パラメータでもよい。
さらに、この環境パラメータは刻一刻と変化するため、キャッシュ292内に一次キャッシュおよび二次キャッシュを用意しても良い。例えば、車両制御部7は、同じ環境パラメータを持つ走行環境を一次キャッシュに保持する。さらに、車両制御部7は、環境パラメータが一時キャッシュに保持された走行環境に一つ追加された状態にある走行環境、および、環境パラメータが一時キャッシュに保持された走行環境から一つ削減された状態にある走行環境の少なくとも一方を二次キャッシュに保持する。
このようにすることで、車両制御部7は、一時的な通信断が発生しても、キャッシュ292のデータのみで、似た状況を抽出することが可能になる。
図63を使って、この場合についてさらに具体的に説明する。センサ62により、自車両301の周囲に側前方車両302のみが存在している周囲状況303が検出されたとき、車両制御部7は、側前方車両302のみが存在している走行環境(同一の環境パラメータのみ存在する走行環境)を、全ての走行環境(シチュエーション)が記憶された記憶部8から抽出し、一次キャッシュ304に格納させる。
さらに、車両制御部7は、側前方車両302以外の車が1台だけ追加された走行環境(同一の環境パラメータに1つの環境パラメータが追加された状態にある走行環境)もしくは、側前方車両302のいない走行環境(同一の環境パラメータから1つの環境パラメータが削減された状態にある走行環境)を記憶部8から抽出し、二次キャッシュ305に格納させる。
そして、センサ62により検出された周囲状況303が変わったとき、車両制御部7は、変わった周囲状況303に対応する走行環境を二次キャッシュ305から一次キャッシュ304にコピーし、変わった周囲状況303に対応する走行環境に対し、環境パラメータが一つ追加された走行環境、及び、環境パラメータが一つ削減された走行環境を記憶部8から抽出し、二次キャッシュ305に格納することで、二次キャッシュ305を更新する。これにより、車両制御部7は、周囲状況のスムーズに比較により似た周囲状況をスムーズに抽出することが可能になる。
次に、位置情報を用いる方法について説明する。環境パラメータに位置情報が含まれている場合、車両制御部7は、その位置情報により示される位置が自車位置を中心とする一定の範囲内に含まれる走行環境(シチュエーション)を記憶部8から抽出し、キャッシュ292に格納させることが可能となる。
この場合、車両制御部7は、走行環境に対応する位置情報により示される位置が上記一定の範囲から外れたときに、キャッシュ292の更新を行う。このようにすることで、車両制御部7は、長期間の通信断が発生しても位置が一定の範囲内であれば似た周囲状況を抽出することが可能になる。
さらに、データを加工する方法について説明する。記憶部8には環境パラメータを含む操作履歴が蓄積されている。車両制御部7は、各々の環境パラメータを一定の範囲毎に分割し、多次元空間上でメッシュを作成する。そして、車両制御部7は、各々のメッシュに含まれる挙動をその種別ごとにカウントしたテーブルを作成する。
例えば、使用する環境パラメータを二つに限定して説明する。車両制御部7は、操作履歴に含まれる環境パラメータを図64の(a)のように平面状にマッピングし、これらの各々の軸を一定の範囲で分割することで、平面を複数のブロックに分ける。これをメッシュと呼ぶ。
車両制御部7は、各々のメッシュの中に含まれる挙動の個数をその種別(例えば、加速、減速、車線変更、追い越しなどの種別)ごとにカウントする。図64の(b)に各メッシュの中に含まれる挙動の個数をその種別ごとにカウントしたテーブルを示す。
車両制御部7は、この内容をキャッシュ292に保持する。そして、車両制御部7は、周囲状況の比較により似た周囲状況の抽出を行う際に、検出された環境パラメータがどのメッシュに位置するかを判別し、判別したメッシュの中に含まれる挙動のうち個数が最大である挙動を選択し、選択された挙動を報知する挙動に決定する。
例えば、車両制御部7は、検出された環境パラメータがメッシュの3番に位置すると判別したとき、3番のメッシュの中に含まれる挙動のうち最大個数を示す挙動(ここでは「加速」)の操作を報知する挙動に決定する。この方法であれば、キャッシュ292の更新タイミングはいつでもよく、キャッシュ292の容量も一定とすることができる。
これらの方法を一つもしくは複数を組み合わせることでキャッシュを作成する。ただし、上に挙げた方法は一例であり、キャッシュの作成方法はこの限りではない。
このように、実施の形態7のドライバモデル拡張の例では、車両制御部7が、過去の走行環境の情報を含む運転者の運転特性を示す特徴量の情報を取得し、記憶部8がその特徴量の情報を記憶し、車両の挙動を変更する必要があると判定された場合、車両制御部7が記憶部8に記憶された特徴量の情報の中から、新たに取得した走行環境の情報を含む運転者の運転特性を示す特徴量に類似する情報を決定し、決定された情報に対応する挙動を報知することとした。
また、実施の形態7のドライバモデル拡張の例では、過去の走行環境の情報を含む運転者の運転特性を示す特徴量の情報は、運転者に車両の挙動を提示した際の特徴量の情報、および、運転者が挙動の選択を行った際の特徴量の情報の少なくとも1つであることとした。
また、実施の形態7のドライバモデル拡張の例では、過去の走行環境の情報を含む運転者の運転特性を示す特徴量の情報が、運転者に車両の挙動を提示した際の特徴量の情報、および、運転者が挙動の選択を行った際の特徴量の情報の両方である場合、それら両方の特徴量の情報の中から、新たに取得した走行環境の情報を含む運転者の運転特性を示す特徴量に類似する情報を決定し、決定された情報に対応する挙動を報知することとした。
また、実施の形態7のドライバモデル拡張の例では、過去の走行環境の情報を含む運転者の運転特性を示す特徴量の情報が、運転者に車両の挙動を提示した際の特徴量の情報、および、運転者が挙動の選択を行った際の特徴量の情報の両方である場合、運転者が挙動の選択を行った際の特徴量の情報の中から優先的に、新たに取得した走行環境の情報を含む運転者の運転特性を示す特徴量に類似する情報を決定し、決定された情報に対応する挙動を報知することとした。
また、実施の形態7のドライバモデル拡張の例では、過去の走行環境の情報を含む運転者の運転特性を示す特徴量の情報が、車両の自動運転時、および/または、手動運転時の運転者の運転特性を示す特徴量の情報であることとした。
以上により、車両制御部7は、運転者の運転傾向により適したドライバモデルを構築でき、構築したドライバモデルに基づいて、運転者に対してより適切な自動運転を行うことができる。走行環境を示すパラメータと挙動とが対応づけられることにより、具体的な走行環境を判定する処理を要することなく、つまり、走行環境のラベリングを行うことなく、精度よく次の挙動を判定できる。
以上、本発明に係る実施形態について図面を参照して詳述してきたが、上述した装置や各処理部の機能は、コンピュータプログラムにより実現され得る。
上述した機能をプログラムにより実現するコンピュータは、キーボードやマウス、タッチパッドなどの入力装置、ディスプレイやスピーカなどの出力装置、プロセッサまたはCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、ハードディスク装置やSSD(Solid State Drive)などの記憶装置、DVD−ROM(Digital Versatile Disk Read Only Memory)やUSB(Universal Serial Bus)メモリなどの記録媒体から情報を読み取る読取装置、ネットワークを介して通信を行うネットワークカードなどを備え、各部はバスにより接続される。
そして、読取装置は、上記プログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置に記憶させる。あるいは、ネットワークカードが、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各装置の機能を実現するためのプログラムを記憶装置に記憶させる。
そして、プロセッサまたはCPUが、記憶装置に記憶されたプログラムをRAMにコピーし、そのプログラムに含まれる命令をRAMから順次読み出して実行することにより、上記各装置の機能が実現される。
本発明に係る情報処理システム、情報処理方法およびプログラムは、車両の運転に関する情報を処理する装置またはシステムに適用することができる。
1 車両
2 ブレーキペダル
3 アクセルペダル
4 ウィンカーレバー
5 ハンドル
6、1001 検出部
7 車両制御部
8 記憶部
9 情報報知装置
10 タッチパネル
29a〜29c、29g、39a〜39c、39g、59a〜59c、59g、69a、69c、69g、79a、79c、79g、89a〜89c、89g、99b、99c、99g、109a〜109d、109e、109g、121、121a〜121d 表示領域
51 操作部
51a〜51h 操作ボタン
59、69、79、89、99 文字情報
91 情報取得部
92 報知部
101 表示部
102 入力部
109 表示
111、112、113、114、121、121’、122、122’、123、131、131’、132、133、134、134’、135〜137、231、232、233、233’、234、234’、235、251、251’、252、252’、253、261、262、263、264、265、266、267、268 記号
291 通信部
292 キャッシュ
301 自車両
302 側前方車両
303 検出された周囲状況
304 一次キャッシュ
305 二次キャッシュ
401、421、1002 挙動学習部
402、422、1003 挙動推定部
403、416、423、436 挙動推定結果受付部
411、431 汎用挙動学習部
412、432 汎用挙動推定部
413、433 ヒストグラム生成部
414、434 専用挙動学習部
415、435 専用挙動推定部
441 評価部
442、442a、442b スイッチ
443 ドライバモデル挙動推定部
1000 情報処理システム

Claims (6)

  1. 情報処理システムであって、
    車両の周囲の状況または前記車両の走行状態のうちの少なくとも何れか1つである車両環境状態を検出する検出部と、
    前記検出部が検出した前記車両環境状態と、前記車両環境状態の後に行われた前記車両の挙動との関係をニューラルネットワークに学習させる挙動学習部と、
    前記検出部によって検出される現時点における前記車両環境状態を、学した前記ニューラルネットワークに入力することによって、前記車両の挙動を推定する挙動推定部と、
    前記挙動推定部によって推定された挙動が有効か否かを判定し、有効と判定した場合に、前記推定された挙動を出力する評価部とを備え、
    前記挙動学習部は、
    複数の運転者のそれぞれについて、前記検出部が検出した前記車両環境状態と、前記車両環境状態の後に行われた前記車両の挙動との関係を前記ニューラルネットワークに学習させることによって、汎用のニューラルネットワークを構築する汎用挙動学習部と、
    特定の運転者に対して前記検出部が検出した前記車両環境状態と、前記車両環境状態の後に行われた前記車両の挙動とを用いて、前記汎用のニューラルネットワークに再学習させる転移学習によって、前記特定の運転者に対する専用のニューラルネットワークを構築する専用挙動学習部とを備え、
    前記挙動推定部は、
    前記汎用のニューラルネットワークに、前記特定の運転者に対して前記検出部が検出した前記車両環境状態を入力することによって、前記特定の運転者に対する前記車両の仮の挙動を推定する汎用挙動推定部と、
    前記専用のニューラルネットワークを用いて、前記特定の運転者に対する前記車両の挙動を推定する専用挙動推定部とを備え、
    前記情報処理システムは、さらに、
    前記汎用挙動推定部による仮の挙動の推定結果のヒストグラムを生成するヒストグラム生成部を備え、
    前記専用挙動学習部は、
    生成された前記ヒストグラムを参照した前記転移学習によって、前記専用のニューラルネットワークを構築する
    情報処理システム。
  2. 前記情報処理システムは、さらに、
    特定の運転者によって入力される前記車両の挙動を受け付ける入力部を備え、
    前記評価部は、
    前記挙動推定部によって推定された前記車両の挙動を、前記入力部によって受け付けられた前記車両の挙動に基づいて評価し、
    前記挙動推定部によって推定された前記車両の挙動に誤りがあると評価した場合には、
    前記入力部によって受け付けられた前記車両の挙動と、前記車両の挙動の推定時に前記検出部によって検出された前記車両の周囲の状況とを用いた前記ニューラルネットワークの再学習を、前記挙動学習部に実行させる
    請求項に記載の情報処理システム。
  3. 前記専用挙動学習部は、
    前記車両が走行するシーンごとに、当該シーンに応じた前記特定の運転者に対する前記専用のニューラルネットワークを構築するとともに、複数の前記専用のニューラルネットワークのうち、前記車両が走行する現在のシーンに応じた前記専用のニューラルネットワークを選択し、
    前記専用挙動推定部は、
    選択された前記専用のニューラルネットワークを用いて、前記特定の運転者に対する前記車両の挙動を推定する
    請求項に記載の情報処理システム。
  4. 情報処理方法であって、
    車両の周囲の状況または前記車両の走行状態のうちの少なくとも何れか1つである車両環境状態を検出し、
    検出した前記車両環境状態と、前記車両環境状態の後に行われた前記車両の挙動との関係をニューラルネットワークに学習させ
    検出される現時点における前記車両環境状態を、学した前記ニューラルネットワークに入力することによって、前記車両の挙動を推定
    推定された挙動が有効か否かを判定し、有効と判定した場合に、前記推定された挙動を出力し、
    前記ニューラルネットワークの学習では、
    複数の運転者のそれぞれについて、検出した前記車両環境状態と、前記車両環境状態の後に行われた前記車両の挙動との関係を前記ニューラルネットワークに学習させることによって、汎用のニューラルネットワークを構築し、
    特定の運転者に対して検出した前記車両環境状態と、前記車両環境状態の後に行われた前記車両の挙動とを用いて、前記汎用のニューラルネットワークに再学習させる転移学習によって、前記特定の運転者に対する専用のニューラルネットワークを構築し、
    前記車両の挙動の推定では、
    前記汎用のニューラルネットワークに、前記特定の運転者に対して検出した前記車両環境状態を入力することによって、前記特定の運転者に対する前記車両の仮の挙動を推定し、
    前記専用のニューラルネットワークを用いて、前記特定の運転者に対する前記車両の挙動を推定し、
    前記情報処理方法は、さらに、
    前記仮の挙動の推定結果のヒストグラムを生成し、
    前記専用のニューラルネットワークの構築では、
    生成された前記ヒストグラムを参照した前記転移学習によって、前記専用のニューラルネットワークを構築する、
    情報処理方法。
  5. プログラムであって、
    車両の周囲の状況または前記車両の走行状態のうちの少なくとも何れか1つである車両環境状態を検出し、
    検出した前記車両環境状態と、前記車両環境状態の後に行われた前記車両の挙動との関係をニューラルネットワークに学習させ
    検出される現時点における前記車両環境状態を、学した前記ニューラルネットワークに入力することによって、前記車両の挙動を推定
    推定された挙動が有効か否かを判定し、有効と判定した場合に、前記推定された挙動を出力する、
    ことをコンピュータに実行させ、
    前記ニューラルネットワークの学習では、
    複数の運転者のそれぞれについて、検出した前記車両環境状態と、前記車両環境状態の後に行われた前記車両の挙動との関係を前記ニューラルネットワークに学習させることによって、汎用のニューラルネットワークを構築し、
    特定の運転者に対して検出した前記車両環境状態と、前記車両環境状態の後に行われた前記車両の挙動とを用いて、前記汎用のニューラルネットワークに再学習させる転移学習によって、前記特定の運転者に対する専用のニューラルネットワークを構築し、
    前記車両の挙動の推定では、
    前記汎用のニューラルネットワークに、前記特定の運転者に対して検出した前記車両環境状態を入力することによって、前記特定の運転者に対する前記車両の仮の挙動を推定し、
    前記専用のニューラルネットワークを用いて、前記特定の運転者に対する前記車両の挙動を推定し、
    前記プログラムは、さらに、
    前記仮の挙動の推定結果のヒストグラムを生成することを前記コンピュータに実行させ、
    前記専用のニューラルネットワークの構築では、
    生成された前記ヒストグラムを参照した前記転移学習によって、前記専用のニューラルネットワークを構築する、
    プログラム。
  6. 前記情報処理システムは、さらに、
    前記挙動推定部によって推定された挙動を、前記挙動が実施される前に、運転者に報知する報知部を備える
    請求項1〜の何れか1項に記載の情報処理システム。
JP2016544179A 2015-04-21 2016-04-21 情報処理システム、情報処理方法、およびプログラム Active JP6074553B1 (ja)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
JP2015087069 2015-04-21
JP2015087069 2015-04-21
JP2015099474 2015-05-14
JP2015099474 2015-05-14
JP2015119139 2015-06-12
JP2015119139 2015-06-12
JP2015215049 2015-10-30
JP2015215049 2015-10-30
JP2016038476 2016-02-29
JP2016038476 2016-02-29
PCT/JP2016/002125 WO2016170786A1 (ja) 2015-04-21 2016-04-21 情報処理システム、情報処理方法、およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016229586A Division JP2017154725A (ja) 2015-04-21 2016-11-25 情報処理システム、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP6074553B1 true JP6074553B1 (ja) 2017-02-01
JPWO2016170786A1 JPWO2016170786A1 (ja) 2017-04-27

Family

ID=57143793

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016544179A Active JP6074553B1 (ja) 2015-04-21 2016-04-21 情報処理システム、情報処理方法、およびプログラム
JP2016229586A Pending JP2017154725A (ja) 2015-04-21 2016-11-25 情報処理システム、情報処理方法、およびプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2016229586A Pending JP2017154725A (ja) 2015-04-21 2016-11-25 情報処理システム、情報処理方法、およびプログラム

Country Status (5)

Country Link
US (1) US10759446B2 (ja)
EP (1) EP3272611B1 (ja)
JP (2) JP6074553B1 (ja)
CN (1) CN107531244B (ja)
WO (1) WO2016170786A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102457914B1 (ko) * 2021-04-21 2022-10-24 숭실대학교산학협력단 심층강화학습기반 자율주행차량을 이용한 정체 현상 해결 방법, 이를 수행하기 위한 기록 매체 및 장치

Families Citing this family (119)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6598019B2 (ja) 2015-04-21 2019-10-30 パナソニックIpマネジメント株式会社 運転支援方法およびそれを利用した運転支援装置、運転制御装置、車両、運転支援プログラム
JP6239187B2 (ja) * 2015-07-24 2017-11-29 三菱電機株式会社 車両定速走行制御装置及び車両定速走行制御方法及び車両定速走行制御プログラム
JP6922739B2 (ja) 2015-09-30 2021-08-18 ソニーグループ株式会社 情報処理装置、および情報処理方法、並びにプログラム
JP6773040B2 (ja) * 2015-09-30 2020-10-21 ソニー株式会社 情報処理システム、および情報処理システムの情報処理方法、情報処理装置、並びにプログラム
JP6294905B2 (ja) * 2016-03-31 2018-03-14 株式会社Subaru 表示装置
JP6712906B2 (ja) * 2016-05-31 2020-06-24 株式会社小松製作所 作業機械の管理装置、作業機械、及び作業機械の管理システム
CN105946854A (zh) * 2016-06-17 2016-09-21 京东方科技集团股份有限公司 车载动力自动控制系统及其控制方法、汽车
US10322721B2 (en) * 2016-06-28 2019-06-18 Faraday & Future Inc. Adaptive cruise control system having center-console access
US11120353B2 (en) * 2016-08-16 2021-09-14 Toyota Jidosha Kabushiki Kaisha Efficient driver action prediction system based on temporal fusion of sensor data using deep (bidirectional) recurrent neural network
US10452068B2 (en) * 2016-10-17 2019-10-22 Uber Technologies, Inc. Neural network system for autonomous vehicle control
JP6731619B2 (ja) * 2016-10-26 2020-07-29 パナソニックIpマネジメント株式会社 情報処理システム、情報処理方法、およびプログラム
JP6750485B2 (ja) * 2016-12-01 2020-09-02 住友電気工業株式会社 検知装置、検知方法および検知プログラム
JP2018090223A (ja) * 2016-12-07 2018-06-14 トヨタ自動車株式会社 車両用表示装置
JP6895634B2 (ja) * 2016-12-16 2021-06-30 パナソニックIpマネジメント株式会社 情報処理システム、情報処理方法、およびプログラム
CN108269325A (zh) * 2016-12-30 2018-07-10 中国移动通信有限公司研究院 一种驾驶行为油耗经济性的分析方法及装置
JP6544594B2 (ja) * 2017-01-26 2019-07-17 パナソニックIpマネジメント株式会社 情報処理システム、情報処理方法、プログラムおよび車両
JP6846624B2 (ja) * 2017-02-23 2021-03-24 パナソニックIpマネジメント株式会社 画像表示システム、画像表示方法及びプログラム
JP6620775B2 (ja) * 2017-03-10 2019-12-18 オムロン株式会社 表示装置および表示方法
US20190367040A1 (en) * 2017-03-23 2019-12-05 Nec Corporation Information processing device, travel data processing method, vehicle, and program recording medium
JP6575934B2 (ja) * 2017-03-29 2019-09-18 マツダ株式会社 車両運転支援システム及び車両運転支援方法
WO2018217469A1 (en) * 2017-05-25 2018-11-29 Galactic Smarties, Llc Emergency alert
JP6638699B2 (ja) 2017-05-30 2020-01-29 トヨタ自動車株式会社 誤操作判定装置
EP3410414A1 (en) * 2017-05-31 2018-12-05 Panasonic Intellectual Property Corporation of America Information processing method, information processing apparatus, system, and storage medium
JP6838241B2 (ja) * 2017-06-01 2021-03-03 日立Astemo株式会社 移動体挙動予測装置
US10358129B2 (en) * 2017-06-06 2019-07-23 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for dynamic vehicle control according to traffic
US10683002B2 (en) * 2017-06-27 2020-06-16 Toyota Motor Engineering & Manufacturing North America, Inc. Efficient acceleration from surrounding vehicles
CN109213134B (zh) * 2017-07-03 2020-04-28 百度在线网络技术(北京)有限公司 生成自动驾驶策略的方法和装置
DE102017006434A1 (de) * 2017-07-07 2019-01-10 Wabco Gmbh Verfahren zum vorausschauenden Bewerten einer aktuellen Fahrsituation sowie Bewertungsmodul
US11127297B2 (en) * 2017-07-17 2021-09-21 Veoneer Us, Inc. Traffic environment adaptive thresholds
JP6974465B2 (ja) * 2017-07-18 2021-12-01 パイオニア株式会社 制御装置、制御方法、およびプログラム
US10217028B1 (en) * 2017-08-22 2019-02-26 Northrop Grumman Systems Corporation System and method for distributive training and weight distribution in a neural network
CN107628029B (zh) * 2017-08-22 2019-06-18 清华大学 一种网联汽车队列的节能型稳定性运动控制方法
WO2019038987A1 (ja) * 2017-08-25 2019-02-28 住友電気工業株式会社 コンピュータプログラム、走行車線特定装置および走行車線特定システム
US10589664B2 (en) * 2017-09-11 2020-03-17 Stanislav D. Kashchenko System and method for automatically activating turn indicators in a vehicle
JP6905433B2 (ja) * 2017-09-13 2021-07-21 株式会社デンソーアイティーラボラトリ 車両行動予測装置、車両行動予測方法および車両行動予測用のニューラルネットワークの学習方法
WO2019058460A1 (ja) * 2017-09-20 2019-03-28 日産自動車株式会社 走行支援方法及び走行支援装置
JP6881196B2 (ja) * 2017-09-29 2021-06-02 日産自動車株式会社 油圧伝達装置のライン圧制御方法及びライン圧制御装置
JP6881197B2 (ja) * 2017-09-29 2021-06-02 日産自動車株式会社 油圧伝達装置のライン圧制御方法及びライン圧制御装置
US10368333B2 (en) * 2017-11-20 2019-07-30 Google Llc Dynamically adapting provision of notification output to reduce user distraction and/or mitigate usage of computational resources
JP7108395B2 (ja) * 2017-11-27 2022-07-28 ホーチキ株式会社 行動監視システム
US11273836B2 (en) * 2017-12-18 2022-03-15 Plusai, Inc. Method and system for human-like driving lane planning in autonomous driving vehicles
US11130497B2 (en) * 2017-12-18 2021-09-28 Plusai Limited Method and system for ensemble vehicle control prediction in autonomous driving vehicles
US20190185012A1 (en) 2017-12-18 2019-06-20 PlusAI Corp Method and system for personalized motion planning in autonomous driving vehicles
JP6888538B2 (ja) 2017-12-18 2021-06-16 トヨタ自動車株式会社 車両制御装置
EP3502976A1 (en) * 2017-12-19 2019-06-26 Veoneer Sweden AB A state estimator
EP3502977A1 (en) * 2017-12-19 2019-06-26 Veoneer Sweden AB A state estimator
CN111527013B (zh) * 2017-12-27 2024-02-23 宝马股份公司 车辆变道预测
JP7020156B2 (ja) * 2018-02-06 2022-02-16 オムロン株式会社 評価装置、動作制御装置、評価方法、及び評価プログラム
US11119483B2 (en) * 2018-02-22 2021-09-14 Alan M. Kadin System and method for conscious machines
JP6978962B2 (ja) * 2018-02-22 2021-12-08 株式会社日立製作所 移動体の制御システムおよび制御方法
KR102468387B1 (ko) * 2018-02-27 2022-11-21 현대자동차주식회사 차량의 주행 조건 예측방법 및 예측시스템
US11727794B2 (en) * 2018-03-14 2023-08-15 Micron Technology, Inc. Systems and methods for evaluating and sharing human driving style information with proximate vehicles
JP7010087B2 (ja) * 2018-03-16 2022-01-26 トヨタ自動車株式会社 プログラム更新管理装置、プログラム更新管理方法、およびプログラム
JP6971187B2 (ja) * 2018-03-28 2021-11-24 京セラ株式会社 画像処理装置、撮像装置、および移動体
JP7000952B2 (ja) * 2018-03-28 2022-01-19 株式会社豊田中央研究所 車両の走行を制御する制御装置、制御方法、及び、制御プログラム
US10997429B2 (en) 2018-04-11 2021-05-04 Micron Technology, Inc. Determining autonomous vehicle status based on mapping of crowdsourced object data
JP2019185527A (ja) * 2018-04-13 2019-10-24 株式会社デンソーテン マイコン装置およびマイコン装置の制御方法
CN108764034A (zh) * 2018-04-18 2018-11-06 浙江零跑科技有限公司 一种基于驾驶室近红外相机的分神驾驶行为预警方法
US10990096B2 (en) * 2018-04-27 2021-04-27 Honda Motor Co., Ltd. Reinforcement learning on autonomous vehicles
DE102018206619A1 (de) * 2018-04-27 2019-10-31 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Fahrmanöverassistenz eines Fahrzeuges, Vorrichtung, Computerprogramm und Computerprogrammprodukt
US20190332109A1 (en) * 2018-04-27 2019-10-31 GM Global Technology Operations LLC Systems and methods for autonomous driving using neural network-based driver learning on tokenized sensor inputs
US11042156B2 (en) * 2018-05-14 2021-06-22 Honda Motor Co., Ltd. System and method for learning and executing naturalistic driving behavior
JP7110729B2 (ja) * 2018-05-25 2022-08-02 トヨタ自動車株式会社 自動運転システム及び自動運転システムの制御方法
US11161518B2 (en) 2018-06-15 2021-11-02 Micron Technology, Inc. Detecting road conditions based on braking event data received from vehicles
EP3820753B1 (en) * 2018-07-14 2023-08-02 Moove.AI Vehicle-data analytics
CN109242251B (zh) 2018-08-03 2020-03-06 百度在线网络技术(北京)有限公司 行车行为安全性检测方法、装置、设备及存储介质
CN109177978A (zh) * 2018-08-21 2019-01-11 武汉理工大学 一种驾驶人驾驶习惯学习装置
JP6978992B2 (ja) * 2018-08-27 2021-12-08 日立Astemo株式会社 更新システム、電子制御装置
CN110901638B (zh) * 2018-08-28 2021-05-28 大陆泰密克汽车系统(上海)有限公司 驾驶辅助方法及系统
JP2020032970A (ja) * 2018-08-31 2020-03-05 トヨタ自動車株式会社 車両制御装置
CN112639913B (zh) * 2018-09-06 2022-11-25 本田技研工业株式会社 车辆控制装置及其方法、自动驾驶车开发系统、存储介质
JP6986503B2 (ja) * 2018-09-10 2021-12-22 日立Astemo株式会社 電子制御装置、ニューラルネットワーク更新システム
KR102521657B1 (ko) * 2018-10-15 2023-04-14 삼성전자주식회사 차량을 제어하는 방법 및 장치
US10814881B2 (en) * 2018-10-16 2020-10-27 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicle velocity predictor using neural networks based on V2X data augmentation to enable predictive optimal control of connected and automated vehicles
JP7203563B2 (ja) * 2018-10-29 2023-01-13 日立Astemo株式会社 移動体挙動予測装置
US11577750B2 (en) 2018-11-08 2023-02-14 Bayerische Motoren Werke Aktiengesellschaft Method and apparatus for determining a vehicle comfort metric for a prediction of a driving maneuver of a target vehicle
CN109747659B (zh) * 2018-11-26 2021-07-02 北京汽车集团有限公司 车辆驾驶的控制方法和装置
US10997729B2 (en) * 2018-11-30 2021-05-04 Baidu Usa Llc Real time object behavior prediction
CN113165668A (zh) 2018-12-18 2021-07-23 动态Ad有限责任公司 利用机器学习使用运动规划来操作运载工具
US20200202167A1 (en) * 2018-12-20 2020-06-25 Here Global B.V. Dynamically loaded neural network models
US10962372B1 (en) * 2018-12-31 2021-03-30 Accelerate Labs, Llc Navigational routes for autonomous vehicles
US20200241542A1 (en) * 2019-01-25 2020-07-30 Bayerische Motoren Werke Aktiengesellschaft Vehicle Equipped with Accelerated Actor-Critic Reinforcement Learning and Method for Accelerating Actor-Critic Reinforcement Learning
US10832140B2 (en) * 2019-01-30 2020-11-10 StradVision, Inc. Method and device for providing information for evaluating driving habits of driver by detecting driving scenarios occurring during driving
US10919543B2 (en) * 2019-01-30 2021-02-16 StradVision, Inc. Learning method and learning device for determining whether to switch mode of vehicle from manual driving mode to autonomous driving mode by performing trajectory-based behavior analysis on recent driving route
US10796571B2 (en) * 2019-01-31 2020-10-06 StradVision, Inc. Method and device for detecting emergency vehicles in real time and planning driving routes to cope with situations to be expected to be occurred by the emergency vehicles
CN110069064B (zh) * 2019-03-19 2021-01-29 驭势科技(北京)有限公司 一种自动驾驶系统升级的方法、自动驾驶系统及车载设备
CN110058588B (zh) * 2019-03-19 2021-07-02 驭势科技(北京)有限公司 一种自动驾驶系统升级的方法、自动驾驶系统及车载设备
WO2020194589A1 (ja) * 2019-03-27 2020-10-01 三菱電機株式会社 車両制御用演算装置、車両制御装置、及び、車両制御用演算方法
CN113614652A (zh) * 2019-03-29 2021-11-05 三菱电机株式会社 模型预测控制装置、模型预测控制程序、模型预测控制系统及模型预测控制方法
JP6651189B1 (ja) 2019-03-29 2020-02-19 株式会社 情報システムエンジニアリング 機械学習用のデータ構造、学習方法及び情報提供システム
EP3726497A1 (en) * 2019-04-15 2020-10-21 Zenuity AB Autonomous decisions in traffic situations with planning control
EP3734569A1 (en) * 2019-04-30 2020-11-04 Argo AI GmbH Method, system, backend server and observation-unit for supporting at least one self-driving vehicle in coping with a characteristic behavior of local traffic in a respective specific area and corresponding self-driving vehicle operable according to the driving strategy
CN110497914B (zh) * 2019-08-26 2020-10-30 格物汽车科技(苏州)有限公司 自动驾驶的驾驶员行为模型开发方法、设备和存储介质
TWI709090B (zh) * 2019-08-30 2020-11-01 阿證科技股份有限公司 類神經人工智慧決策網路核心系統及其資訊處理方法
KR20210032617A (ko) * 2019-09-16 2021-03-25 현대자동차주식회사 자율주행차량의 거동 제어 장치 및 그 방법
US10889237B1 (en) * 2019-10-23 2021-01-12 Tusimple, Inc. Lighting control for autonomous vehicles
FR3103437A1 (fr) * 2019-11-21 2021-05-28 Psa Automobiles Sa Procédé et dispositif de détermination de consigne pour véhicule
CN112863244B (zh) * 2019-11-28 2023-03-14 大众汽车股份公司 用于促进车辆的安全行驶的方法和装置
WO2021147071A1 (en) * 2020-01-23 2021-07-29 Baidu.Com Times Technology (Beijing) Co., Ltd. Cross-platform control profiling for autonomous vehicle control
JP6846765B1 (ja) * 2020-03-26 2021-03-24 株式会社 情報システムエンジニアリング 情報処理プログラム
CN111369709A (zh) * 2020-04-03 2020-07-03 中信戴卡股份有限公司 行车场景确定方法、装置、计算机、存储介质及系统
KR102424867B1 (ko) * 2020-06-09 2022-07-26 주식회사 인포카 개인화된 안전운전 보조 방법 및 시스템
US11919423B2 (en) 2020-06-19 2024-03-05 Toyota Motor North America, Inc. Weight and pressure related validation
CN115996869A (zh) * 2020-07-03 2023-04-21 索尼集团公司 信息处理装置、信息处理方法、信息处理系统和程序
CN112528110A (zh) 2020-07-24 2021-03-19 支付宝(杭州)信息技术有限公司 确定实体业务属性的方法及装置
CN112109727B (zh) * 2020-09-08 2021-09-03 北京踏歌智行科技有限公司 一种面向露天矿区无人驾驶车辆的制动力标定方法
JP2022061873A (ja) * 2020-10-07 2022-04-19 トヨタ自動車株式会社 車両用エージェント装置、車両用エージェントシステム、及び車両用エージェントプログラム
KR102498328B1 (ko) * 2020-10-12 2023-02-09 충북대학교 산학협력단 차량 상태 기반 모델을 기초로 차량의 상태전이를 학습시키는 방법 및 장치
JP2022113220A (ja) * 2021-01-25 2022-08-04 トヨタ自動車株式会社 自動車
US20220245385A1 (en) * 2021-01-29 2022-08-04 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for determining operating criteria for performing vehicular tasks
CN112721952B (zh) * 2021-01-29 2022-07-05 重庆长安汽车股份有限公司 一种l3级自动驾驶汽车的复杂路段行驶控制方法、装置、汽车及计算机存储介质
DE102021203057A1 (de) * 2021-03-26 2022-09-29 Volkswagen Aktiengesellschaft Segmentbasierte Fahreranalyse und individualisierte Fahrerassistenz
US11872985B2 (en) * 2021-03-30 2024-01-16 Toyota Motor Engineering & Manufacturing North America, Inc. Determining a setting for a cruise control
CN113085873B (zh) * 2021-04-30 2022-11-29 东风小康汽车有限公司重庆分公司 驾驶策略的获取方法、装置、计算机设备和存储介质
CN113525400A (zh) * 2021-06-21 2021-10-22 上汽通用五菱汽车股份有限公司 变道提醒方法、装置、车辆及可读存储介质
US11886199B2 (en) 2021-10-13 2024-01-30 Toyota Motor Engineering & Manufacturing North America, Inc. Multi-scale driving environment prediction with hierarchical spatial temporal attention
US20230311928A1 (en) * 2022-03-29 2023-10-05 Nissan North America, Inc. Traffic State Determination
US11491987B1 (en) * 2022-06-22 2022-11-08 Embark Trucks Inc. Merge handling based on merge intentions over time
WO2024024448A1 (ja) * 2022-07-25 2024-02-01 株式会社村田製作所 プログラム、装置、学習モデル、及び方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07101271A (ja) * 1993-08-10 1995-04-18 Mitsubishi Motors Corp 車両運転操作状態の推定方法および車両運転特性制御方法
JP2006243856A (ja) * 2005-03-01 2006-09-14 Hitachi Ltd 運転診断方法およびその装置
JP2009110184A (ja) * 2007-10-29 2009-05-21 Toyota Motor Corp 走行支援装置
US20090174540A1 (en) * 2008-01-04 2009-07-09 Smith Alexander E Method and apparatus to determine vehicle intent
JP2009245149A (ja) * 2008-03-31 2009-10-22 Equos Research Co Ltd 運転支援装置及び運転支援方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3583873B2 (ja) 1996-09-12 2004-11-04 株式会社日立製作所 自動車の走行制御装置
JP2002140786A (ja) 2000-11-01 2002-05-17 Nec Corp 危険度評価装置
US6879969B2 (en) * 2001-01-21 2005-04-12 Volvo Technological Development Corporation System and method for real-time recognition of driving patterns
JP3794353B2 (ja) 2002-07-08 2006-07-05 日産自動車株式会社 追従制御対象表示装置
JP2005067483A (ja) 2003-08-26 2005-03-17 Fuji Heavy Ind Ltd 車両の走行制御装置
WO2007077867A1 (ja) 2005-12-28 2007-07-12 National University Corporation Nagoya University 運転行動推定装置、運転支援装置、車両評価システム、ドライバモデル作成装置、及び運転行動判定装置
JP4650283B2 (ja) 2006-01-25 2011-03-16 株式会社デンソー 運転者適応型運転行動推定装置
US9697556B2 (en) * 2007-09-06 2017-07-04 Mohammad A. Mazed System and method of machine learning based user applications
US8031062B2 (en) 2008-01-04 2011-10-04 Smith Alexander E Method and apparatus to improve vehicle situational awareness at intersections
US20090174572A1 (en) 2008-01-04 2009-07-09 Smith Alexander E Method and apparatus for an adaptive target vehicle notification system
JP2009205646A (ja) 2008-02-29 2009-09-10 Equos Research Co Ltd 運転支援装置
JP2009234442A (ja) 2008-03-27 2009-10-15 Equos Research Co Ltd 運転操作支援装置
US8260515B2 (en) * 2008-07-24 2012-09-04 GM Global Technology Operations LLC Adaptive vehicle control system with driving style recognition
JP5577609B2 (ja) 2009-03-09 2014-08-27 日産自動車株式会社 運転支援装置
EP2316705B1 (en) * 2009-10-28 2012-06-20 Honda Research Institute Europe GmbH Behavior-based learning of visual characteristics from real-world traffic scenes for driver assistance systems
JP5375805B2 (ja) 2010-11-26 2013-12-25 トヨタ自動車株式会社 運転支援システム及び運転支援管理センター
US20120268260A1 (en) * 2011-04-21 2012-10-25 Ford Global Technologies, Llc Method and apparatus for dynamically providing space management alerts for a vehicle
GB2495265A (en) * 2011-07-07 2013-04-10 Toyota Motor Europe Nv Sa Artificial memory system for predicting behaviours in order to assist in the control of a system, e.g. stability control in a vehicle
JP2013117809A (ja) 2011-12-02 2013-06-13 Mazda Motor Corp 安全運転支援情報配信システムおよび情報収集用車両
DE102011121948A1 (de) 2011-12-22 2013-06-27 Gm Global Technology Operations, Llc Vorausschau auf Aktionen eines autonomen Fahrsystems
EP2669109B1 (de) 2012-05-30 2015-03-04 Technische Universität Darmstadt Manöverassistenzsystem
JP2015022499A (ja) 2013-07-18 2015-02-02 株式会社オートネットワーク技術研究所 運転特徴判定システム
DE102013110852A1 (de) 2013-10-01 2015-04-16 Volkswagen Aktiengesellschaft Verfahren für ein Fahrerassistenzsystem eines Fahrzeugs
JP2014081947A (ja) 2013-12-04 2014-05-08 Denso Corp 情報配信装置
US20190185010A1 (en) * 2017-12-18 2019-06-20 PlusAI Corp Method and system for self capability aware route planning in autonomous driving vehicles

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07101271A (ja) * 1993-08-10 1995-04-18 Mitsubishi Motors Corp 車両運転操作状態の推定方法および車両運転特性制御方法
JP2006243856A (ja) * 2005-03-01 2006-09-14 Hitachi Ltd 運転診断方法およびその装置
JP2009110184A (ja) * 2007-10-29 2009-05-21 Toyota Motor Corp 走行支援装置
US20090174540A1 (en) * 2008-01-04 2009-07-09 Smith Alexander E Method and apparatus to determine vehicle intent
JP2009245149A (ja) * 2008-03-31 2009-10-22 Equos Research Co Ltd 運転支援装置及び運転支援方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102457914B1 (ko) * 2021-04-21 2022-10-24 숭실대학교산학협력단 심층강화학습기반 자율주행차량을 이용한 정체 현상 해결 방법, 이를 수행하기 위한 기록 매체 및 장치

Also Published As

Publication number Publication date
US10759446B2 (en) 2020-09-01
WO2016170786A1 (ja) 2016-10-27
EP3272611A4 (en) 2018-06-20
EP3272611B1 (en) 2019-07-24
JP2017154725A (ja) 2017-09-07
CN107531244B (zh) 2020-04-21
JPWO2016170786A1 (ja) 2017-04-27
EP3272611A1 (en) 2018-01-24
CN107531244A (zh) 2018-01-02
US20180105186A1 (en) 2018-04-19

Similar Documents

Publication Publication Date Title
JP6074553B1 (ja) 情報処理システム、情報処理方法、およびプログラム
JP6447929B2 (ja) 情報処理システム、情報処理方法、およびプログラム
JP6731619B2 (ja) 情報処理システム、情報処理方法、およびプログラム
US10793165B2 (en) Driving assistance method, and driving assistance device, driving control device, vehicle, driving assistance program, and recording medium using said method
JP2018097804A (ja) 情報処理システム、情報処理方法、およびプログラム
WO2016170763A1 (ja) 運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、車両、運転支援プログラム
WO2016170773A1 (ja) 運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、車両、運転支援プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170106

R151 Written notification of patent or utility model registration

Ref document number: 6074553

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

SZ03 Written request for cancellation of trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z03