WO2016170786A1 - 情報処理システム、情報処理方法、およびプログラム - Google Patents

情報処理システム、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2016170786A1
WO2016170786A1 PCT/JP2016/002125 JP2016002125W WO2016170786A1 WO 2016170786 A1 WO2016170786 A1 WO 2016170786A1 JP 2016002125 W JP2016002125 W JP 2016002125W WO 2016170786 A1 WO2016170786 A1 WO 2016170786A1
Authority
WO
WIPO (PCT)
Prior art keywords
behavior
vehicle
unit
driver
information
Prior art date
Application number
PCT/JP2016/002125
Other languages
English (en)
French (fr)
Inventor
本村 秀人
モハメド サヒム コルコス
好秀 澤田
森 俊也
勝長 辻
Original Assignee
パナソニックIpマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックIpマネジメント株式会社 filed Critical パナソニックIpマネジメント株式会社
Priority to US15/567,268 priority Critical patent/US10759446B2/en
Priority to JP2016544179A priority patent/JP6074553B1/ja
Priority to EP16782808.6A priority patent/EP3272611B1/en
Priority to CN201680022379.3A priority patent/CN107531244B/zh
Publication of WO2016170786A1 publication Critical patent/WO2016170786A1/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09Driving style or behaviour
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097Predicting future conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/082Selecting or switching between different modes of propelling
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/085Changing the parameters of the control units, e.g. changing limit values, working points by control input
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133Distances to prototypes
    • G06F18/24143Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125Traffic data processing
    • G08G1/0129Traffic data processing for creating historical data or processing based on historical data
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0141Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09626Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages where the origin of the information is within the own vehicle, e.g. a local storage device, digital map
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096716Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information does not generate an automatic action on the vehicle control
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096733Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
    • G08G1/096741Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where the source of the transmitted information selects which information to transmit to each vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096775Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a central station
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0002Automatic control, details of type of controller or control system architecture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062Adapting control system settings
    • B60W2050/0075Automatic parameter input, automatic initialising or calibrating means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408Radar; Laser, e.g. lidar
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/10Longitudinal speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/10Accelerator pedal position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/12Brake pedal position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/20Direction indicator values
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/30Driving style
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/10Number of lanes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4041Position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • B60W2554/802Longitudinal distance
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • B60W2554/804Relative longitudinal speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/10Historical data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • B60W2556/50External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data

Definitions

  • the present invention relates to an information processing system, an information processing method, and a program for processing information related to a vehicle.
  • Patent Document 1 discloses a travel control device that allows a driver to visually recognize the operating state of automatic steering control or automatic acceleration / deceleration control when the host vehicle performs automatic steering control or automatic acceleration / deceleration control. Yes.
  • the traveling control device that is, the information processing system
  • Patent Document 1 has a problem in that it cannot properly estimate the driving operation of the vehicle. Driving operation is also referred to as driving behavior or behavior.
  • the present invention provides an information processing system that can appropriately estimate the driving behavior of a vehicle.
  • An information processing system includes a detection unit that detects a vehicle environment state that is at least one of a situation around a vehicle or a running state of the vehicle, and the detection unit detects the vehicle environment state
  • the behavior learning unit that causes a neural network to learn the relationship between the vehicle environmental state and the behavior of the vehicle performed after the vehicle environmental state, and the vehicle environmental state at the present time detected by the detection unit is learned.
  • a behavior estimation unit configured to estimate the behavior of the vehicle by inputting to a neural network.
  • the behavior of the vehicle is estimated using the neural network, the behavior of the vehicle (that is, driving behavior) can be estimated appropriately.
  • the behavior learning unit causes a neural network to learn a relationship between the vehicle environmental state detected by the detection unit and the behavior of the vehicle performed after the vehicle environmental state for each of a plurality of drivers.
  • the general-purpose behavior learning unit uses the general-purpose behavior learning unit to learn a relationship between the vehicle environmental state detected by the detection unit and the behavior of the vehicle performed after the vehicle environmental state for each of a plurality of drivers.
  • the learned neural network is reproduced.
  • a dedicated behavior learning unit that constructs a dedicated neural network for the specific driver by transfer learning to be learned, and the behavior estimation unit uses the dedicated neural network and the vehicle for the specific driver. May be estimated.
  • the behavior estimation unit inputs the vehicle environmental state detected by the detection unit to the specific driver to the neural network learned by the general-purpose behavior learning unit, thereby specifying the specific A general-purpose behavior estimation unit that estimates the temporary behavior of the vehicle with respect to the driver of the vehicle, and a dedicated behavior estimation unit that estimates the behavior of the vehicle with respect to the specific driver using the dedicated neural network
  • the information processing system further includes a histogram generation unit that generates a histogram of a temporary behavior estimation result by the general-purpose behavior estimation unit, and the dedicated behavior learning unit performs the transfer learning with reference to the generated histogram
  • the dedicated neural network may be constructed.
  • the information processing system may further include an evaluation unit that determines whether or not the behavior estimated by the behavior estimation unit is valid, and outputs the estimated behavior when the behavior is determined to be valid. .
  • the information processing system further includes an input unit that receives the behavior of the vehicle input by a specific driver, and the behavior of the vehicle estimated by the behavior estimation unit is received by the input unit.
  • An evaluation unit that evaluates based on the behavior of the vehicle, and when the evaluation unit evaluates that there is an error in the behavior of the vehicle estimated by the behavior estimation unit, the input unit receives the
  • the behavior learning unit may cause the behavior learning unit to perform relearning of the neural network using the behavior of the vehicle and the situation around the vehicle detected by the detection unit when the behavior of the vehicle is estimated.
  • the dedicated behavior learning unit constructs the dedicated neural network for the specific driver corresponding to the scene for each scene in which the vehicle travels, and among the dedicated neural networks, The dedicated neural network is selected according to the current scene in which the vehicle is traveling, and the dedicated behavior estimation unit estimates the behavior of the vehicle with respect to the specific driver using the selected dedicated neural network. May be.
  • an appropriate neural network can be selected for each scene, and the accuracy of estimating the behavior of the vehicle in each scene, that is, the accuracy of predicting driving behavior can be improved.
  • the information processing system may further include a notification unit that notifies the driver of the behavior estimated by the behavior estimation unit before the behavior is performed.
  • the driver can easily know in advance what kind of behavior will be performed, and the driver's anxiety can be resolved.
  • the present invention also provides an information notification device, an information notification method, an information notification program, and an information processing system capable of solving at least one of the above problems during fully automatic driving or partial automatic driving. To do.
  • an information notification apparatus is based on a detection unit that detects a situation around a vehicle and a running state of the vehicle, and a vehicle based on the situation around the vehicle and the running state of the vehicle detected by the detection unit
  • An information notification method is executed in a vehicle that detects a situation around the vehicle and a running state of the vehicle, and determines a behavior of the vehicle based on the detected situation around the vehicle and the running state of the vehicle. And an information acquisition step for acquiring information on the behavior to be implemented when it is determined that there is a possibility of updating the behavior of the vehicle during automatic driving. An informing step for informing before the behavior is updated.
  • An information notification program is a computer in a vehicle that detects a situation around the vehicle and a running state of the vehicle, and determines the behavior of the vehicle based on the detected situation around the vehicle and the running state of the vehicle.
  • an information notification device in fully automatic driving or partial automatic driving, the vehicle and the driver are not likely to oppose each other, so that a comfortable automatic driving can be appropriately performed. Information can be transmitted.
  • the driving behavior of the vehicle can be estimated appropriately.
  • FIG. 1 is a block diagram showing a main configuration of a vehicle including an information notification device according to Embodiment 1 of the present invention.
  • FIG. 2 is a diagram illustrating a first example of a traveling environment, display of a notification unit corresponding thereto, and operation of an operation unit.
  • FIG. 3 is a diagram illustrating another example of display in the notification unit.
  • FIG. 4 is a flowchart showing a processing procedure of information notification processing in the present embodiment.
  • FIG. 5 is a diagram illustrating a first example of a traveling environment and display control for the first example.
  • FIG. 6 is a diagram illustrating a first example of a traveling environment and another display control for the first example.
  • FIG. 7 is a diagram illustrating a second example of a traveling environment and display control for the second example.
  • FIG. 8 is a diagram illustrating a third example of the traveling environment and display control for the third example.
  • FIG. 9 is a diagram illustrating a fourth example of the traveling environment and display control for the fourth example.
  • FIG. 10 is a diagram illustrating a fifth example of a traveling environment and display control for the fifth example.
  • FIG. 11 is a diagram showing another display control for the first example of the traveling environment shown in FIG.
  • FIG. 12 is a diagram illustrating another display control for the second example of the traveling environment illustrated in FIG. 7.
  • FIG. 13 is a block diagram showing a main configuration of a vehicle including an information notification device according to Embodiment 2 of the present invention.
  • FIG. 14 is a diagram illustrating display on the touch panel in the second embodiment.
  • FIG. 14 is a diagram illustrating display on the touch panel in the second embodiment.
  • FIG. 15 is a diagram for explaining the display of the notification unit according to the third embodiment of the present invention.
  • FIG. 16 is a block diagram illustrating an example of a functional configuration relating to behavior estimation of the vehicle control unit in the fourth embodiment.
  • FIG. 17 is a diagram for explaining learning by the behavior learning unit according to the fourth embodiment.
  • FIG. 18A is a diagram illustrating learning of the neural network according to the fourth embodiment.
  • FIG. 18B is a diagram illustrating behavior estimation using the behavior estimation NN in the fourth embodiment.
  • FIG. 19 is a block diagram illustrating another example of the functional configuration related to the estimation of the behavior of the vehicle control unit in the fourth embodiment.
  • FIG. 20 is a diagram for explaining learning by the general-purpose behavior learning unit in the fourth embodiment.
  • FIG. 21A is a diagram illustrating learning of a neural network in the general-purpose behavior learning unit in the fourth embodiment.
  • FIG. 21B is a diagram showing behavior estimation using the general-purpose behavior estimation NN in the fourth embodiment.
  • FIG. 22 is a diagram illustrating a method for constructing the dedicated behavior estimation NN in the fourth embodiment.
  • FIG. 23 is a diagram illustrating behavior estimation using the dedicated behavior estimation NN in the fourth embodiment.
  • FIG. 24 is a block diagram illustrating an example of a functional configuration related to behavior estimation of the vehicle control unit in the first modification of the fourth embodiment.
  • FIG. 25 is a diagram for explaining learning by the behavior learning unit in the first modification of the fourth embodiment.
  • FIG. 26A is a diagram illustrating learning of the neural network in the first modification of the fourth embodiment.
  • FIG. 26B is a diagram illustrating behavior estimation using the behavior estimation NN in the first modification of the fourth embodiment.
  • FIG. 27 is a block diagram illustrating another example of the functional configuration related to the estimation of the behavior of the vehicle control unit in the first modification of the fourth embodiment.
  • FIG. 28 is a diagram for explaining learning by the general-purpose behavior learning unit in the first modification of the fourth embodiment.
  • FIG. 29A is a diagram illustrating learning of the neural network in the general-purpose behavior learning unit in the first modification of the fourth embodiment.
  • FIG. 29B is a diagram illustrating behavior estimation using the general-purpose behavior estimation NN in the first modification of the fourth embodiment.
  • FIG. 30 is a diagram illustrating a method for constructing the dedicated behavior estimation NN in the first modification of the fourth embodiment.
  • FIG. 31 is a diagram illustrating behavior estimation using the dedicated behavior estimation NN in the first modification of the fourth embodiment.
  • FIG. 32 is a block diagram illustrating an example of a functional configuration related to behavior estimation of the vehicle control unit in the second modification of the fourth embodiment.
  • FIG. 33 is a block diagram illustrating another example of the functional configuration related to the estimation of the behavior of the vehicle control unit in the second modification of the fourth embodiment.
  • FIG. 34 is a diagram showing the design concept of the information processing system in the fifth embodiment.
  • FIG. 35 is a diagram for explaining errors in learning data and learning engine estimation results in the fifth embodiment.
  • FIG. 36 is a diagram showing a system configuration in the vehicle in the fifth embodiment.
  • FIG. 37 is a block diagram illustrating a functional configuration of the automatic driving control system according to the fifth embodiment.
  • FIG. 38 is a diagram illustrating an example of behavior displayed and input by the touch panel in the fifth embodiment.
  • FIG. 39 is a diagram for explaining fine tuning in the fifth embodiment.
  • FIG. 40 is a diagram showing a detailed system configuration in the vehicle in the fifth embodiment.
  • FIG. 41 is a diagram showing a method for constructing the dedicated behavior estimation NN in the fifth embodiment.
  • FIG. 42 is a diagram illustrating relearning based on the input behavior of the dedicated behavior estimation NN in the fifth embodiment.
  • FIG. 43 is a diagram illustrating a plurality of knowledge (NN) in the sixth embodiment.
  • FIG. 44 is a diagram showing a system configuration in the vehicle in the sixth embodiment.
  • FIG. 45 is a block diagram illustrating a functional configuration of the automatic driving control system according to the sixth embodiment.
  • FIG. 46 is a diagram for explaining learning by the dedicated behavior learning unit in the sixth embodiment.
  • FIG. 47 is a diagram for describing selection of the dedicated behavior estimation NN by the dedicated behavior learning unit in the sixth embodiment.
  • FIG. 48A illustrates a configuration of an information processing system according to one embodiment of the present invention.
  • FIG. 48B is a flowchart of an information processing method according to an aspect of the present invention.
  • FIG. 49 is a diagram illustrating an example of a travel history.
  • FIG. 50 is a diagram illustrating a clustering type driver model construction method.
  • FIG. 51 is a diagram illustrating an example of a built clustering driver model.
  • FIG. 52 is a diagram illustrating another example of the constructed clustering type driver model.
  • FIG. 53 is a diagram illustrating a method of constructing an individual adaptive driver model.
  • FIG. 54 is a diagram illustrating an example of a constructed individual adaptive driver model.
  • FIG. 55 is a diagram illustrating an example of the driving characteristic model.
  • FIG. 56 is a diagram for explaining the display of the notification unit according to the seventh embodiment of the present invention.
  • FIG. 57 is a diagram for explaining the display of the notification unit in the seventh embodiment of the present invention.
  • FIG. 58 is a diagram for explaining the display of the notification unit according to the seventh embodiment of the present invention.
  • FIG. 59 is a diagram for explaining the display of the notification unit in the seventh embodiment of the present invention.
  • FIG. 60 is a diagram illustrating an example of a travel history.
  • FIG. 61 is a diagram showing a method of using a driver model in this modification.
  • FIG. 62 is a block diagram showing an example of cache arrangement in the present modification.
  • FIG. 63 is a diagram showing an example of a cache creation method in the present modification.
  • FIG. 64 is a diagram showing an example of a cache creation
  • an information notification device an information notification method, or an information notification program capable of appropriately transmitting information so that a comfortable automatic driving can be performed in which the operations of the vehicle and the driver are less likely to conflict with each other will be described.
  • an information processing system, an information processing method, and a program according to one embodiment of the present invention that can appropriately estimate the driving behavior of a vehicle will be described.
  • an information processing system and the like that estimate driving behavior in a manner different from the fourth to sixth embodiments will be described.
  • FIG. 1 is a block diagram showing a main configuration of a vehicle 1 including an information notification device according to Embodiment 1 of the present invention.
  • the vehicle 1 is a vehicle that can automatically perform all or part of the driving control without requiring the operation of the driver.
  • the vehicle 1 includes a brake pedal 2, an accelerator pedal 3, a winker lever 4, a handle 5, a detection unit 6, a vehicle control unit 7, a storage unit 8, and an information notification device 9.
  • the brake pedal 2 receives a brake operation by the driver and decelerates the vehicle 1.
  • the brake pedal 2 may receive a control result from the vehicle control unit 7 and change in an amount corresponding to the degree of deceleration of the vehicle 1.
  • the accelerator pedal 3 accepts an accelerator operation by the driver and accelerates the vehicle 1. Further, the accelerator pedal 3 may receive a control result by the vehicle control unit 7 and may change by an amount corresponding to the degree of acceleration of the vehicle 1.
  • the winker lever 4 receives a lever operation by the driver, and turns on a direction indicator (not shown) of the vehicle 1. Further, the winker lever 4 may receive a control result by the vehicle control unit 7, change the winker lever 4 to a state corresponding to the direction indicating direction of the vehicle 1, and turn on a direction indicator (not shown) of the vehicle 1.
  • the handle 5 receives the steering operation by the driver and changes the traveling direction of the vehicle 1.
  • the handle 5 may receive a control result from the vehicle control unit 7 and may change in an amount corresponding to a change in the traveling direction of the vehicle 1.
  • the handle 5 has an operation unit 51.
  • the operation unit 51 is provided on the front surface (the surface facing the driver) of the handle 5, and receives an input operation from the driver.
  • the operation unit 51 is a device such as a button, a touch panel, or a grip sensor, for example.
  • the operation unit 51 outputs information on the input operation received from the driver to the vehicle control unit 7.
  • the detection unit 6 detects the traveling state of the vehicle 1 and the situation around the vehicle 1. Then, the detection unit 6 outputs information on the detected traveling state and surrounding conditions to the vehicle control unit 7.
  • the detection unit 6 includes a position information acquisition unit 61, a sensor 62, a speed information acquisition unit 63, and a map information acquisition unit 64.
  • the position information acquisition unit 61 acquires the position information of the vehicle 1 as travel state information by GPS (Global Positioning System) positioning or the like.
  • GPS Global Positioning System
  • the sensor 62 determines the collision prediction time (TTC: Time) from the position of the other vehicle existing around the vehicle 1 and the lane position information, from the type of the other vehicle and whether it is a preceding vehicle, the speed of the other vehicle, and the speed of the own vehicle. To Collision), the situation around the vehicle 1 such as an obstacle around the vehicle 1 is detected.
  • TTC Time
  • the speed information acquisition unit 63 acquires information such as the speed and traveling direction of the vehicle 1 from a speed sensor (not shown) as traveling state information.
  • the map information acquisition unit 64 obtains map information around the vehicle 1 such as the road on which the vehicle 1 travels, a merging point with other vehicles on the road, the currently traveling lane, the position of the intersection, and the like. Obtain as information.
  • the sensor 62 is composed of a millimeter wave radar, a laser radar, a camera, etc., or a combination thereof.
  • the storage unit 8 is a storage device such as a ROM (Read Only Memory), a RAM (Random Access Memory), a hard disk device or an SSD (Solid State Drive), and the current running environment and the next (first predetermined time elapse). Memorize the correspondence between possible behavior candidates (later).
  • the current traveling environment is an environment determined by the position of the vehicle 1, the road on which the vehicle 1 is traveling, the position and speed of other vehicles existing around the vehicle 1, and the like.
  • the other vehicle may be interrupted during acceleration, deceleration, or collision after 1 second due to the position or speed of the other vehicle You may judge to sex.
  • the candidate for behavior is a candidate for behavior that the vehicle 1 can take next (after the first predetermined time) with respect to the current traveling environment.
  • the storage unit 8 has a merge path ahead of the lane in which the vehicle 1 travels, there is a vehicle that merges from the left side of the lane, and the lane can be changed to the right side of the lane in which the vehicle 1 travels.
  • three behavior candidates of acceleration of the vehicle 1, deceleration of the vehicle 1, and lane change to the right of the vehicle 1 are stored in advance.
  • the storage unit 8 allows a vehicle traveling in front of the same lane as the vehicle 1 (hereinafter referred to as “preceding vehicle”) to travel at a slower speed than the vehicle 1 and can change the lane to an adjacent lane.
  • preceding vehicle a vehicle traveling in front of the same lane as the vehicle 1
  • three behavior candidates are stored in advance: driving that overtakes the preceding vehicle, driving that changes the lane to the adjacent lane, and driving that decelerates the vehicle 1 and follows the preceding vehicle.
  • the storage unit 8 may store priorities for the respective behavior candidates. For example, the storage unit 8 may store the number of behaviors actually adopted in the same driving environment in the past, and may store the priority set higher for the behaviors that are adopted more frequently.
  • the vehicle control unit 7 can be realized as a part of an LSI circuit or an electronic control unit (ECU) that controls the vehicle, for example.
  • the vehicle control unit 7 controls the vehicle based on the traveling state information and the surrounding situation information acquired from the detection unit 6, and the brake pedal 2, the accelerator pedal 3, the blinker lever 4, and information notification corresponding to the vehicle control result.
  • the device 9 is controlled.
  • the object which the vehicle control part 7 controls is not limited to these.
  • the vehicle control unit 7 determines the current driving environment based on information on the driving state and surrounding conditions. For this determination, various conventionally proposed methods can be used.
  • the vehicle control unit 7 determines that the current driving environment is based on the information on the driving state and the surrounding situation: “There is a merge path in front of the lane in which the vehicle 1 travels, and a vehicle that merges from the left side of the lane. It is determined that the travel environment is present and can be changed to the right of the lane in which the vehicle 1 travels.
  • the vehicle control unit 7 determines that the time series of the travel environment is “a vehicle traveling in front of the same lane as the vehicle 1 travels at a slower speed than the vehicle 1 based on information on the travel state and the surrounding conditions. In addition, it is determined that the travel environment allows a lane change to the adjacent lane.
  • the vehicle control unit 7 causes the notification unit 92 of the information notification device 9 to notify information related to the traveling environment indicating the traveling state and the surrounding situation. Further, the vehicle control unit 7 reads, from the storage unit 8, behavior candidates that the vehicle 1 can take next (after the first predetermined time has elapsed) with respect to the determined traveling environment.
  • the vehicle control unit 7 determines which behavior is most suitable for the current traveling environment from the read behavior candidates, and sets the behavior most suitable for the current traveling environment as the first behavior.
  • the first behavior may be the same behavior as that currently implemented in the vehicle, that is, continuing the behavior currently being implemented.
  • the vehicle control part 7 sets the candidate of the behavior which a driver
  • the vehicle control unit 7 may set the most suitable behavior as the first behavior using a conventional technique that determines the most suitable behavior based on information on the running state and the surrounding situation.
  • the vehicle control unit 7 may set a preset behavior among the plurality of behavior candidates as the most suitable behavior, or store information on the behavior selected last time in the storage unit 8.
  • the behavior may be determined as the most suitable behavior, or the number of times each behavior has been selected in the past is stored in the storage unit 8, and the behavior with the largest number of times may be determined as the most suitable behavior. Good.
  • the vehicle control part 7 makes the alerting
  • vehicle control unit 7 may cause the notification unit 92 to simultaneously notify the information on the first behavior and the second behavior, and information on the running state and the surrounding situation.
  • the vehicle control unit 7 acquires information on the operation received by the operation unit 51 from the driver. After notifying the first behavior and the second behavior, the vehicle control unit 7 determines whether or not the operation unit 51 has accepted the operation within the second predetermined time. This operation is, for example, an operation for selecting one behavior from behaviors included in the second behavior.
  • the vehicle control unit 7 controls the vehicle so as to execute the first behavior when the operation unit 51 does not accept the operation within the second predetermined time, and the brake pedal 2 and the accelerator according to the vehicle control result.
  • the pedal 3 and the winker lever 4 are controlled.
  • the vehicle control unit 7 performs control corresponding to the accepted operation when the operation unit 51 accepts the operation within the second predetermined time.
  • the information notification device 9 acquires various information related to the traveling of the vehicle 1 from the vehicle control unit 7 and notifies the acquired information.
  • the information notification device 9 includes an information acquisition unit 91 and a notification unit 92.
  • the information acquisition unit 91 acquires various information related to the traveling of the vehicle 1 from the vehicle control unit 7. For example, the information acquisition unit 91 acquires the first behavior information and the second behavior information from the vehicle control unit 7 when the vehicle control unit 7 determines that there is a possibility of updating the behavior of the vehicle 1. To do.
  • the information acquisition part 91 memorize
  • the notification unit 92 notifies the driver of information related to the traveling of the vehicle 1.
  • the notification unit 92 is a display unit that displays information such as a car navigation system installed in the vehicle, a head-up display, a center display, and a light emitter such as an LED installed in the handle 5 or the pillar. Alternatively, it may be a speaker that converts information into sound and notifies the driver, or a vibration body provided at a position that can be sensed by the driver (for example, the driver's seat, the handle 5). It may be.
  • the notification unit 92 may be a combination of these.
  • the notification unit 92 is a display device.
  • the notification unit 92 includes, for example, a head-up display (HUD), an LCD (Liquid Crystal Display), an HMD (Head-Mounted Display or Helmet-Mounted Display), a glasses-type display (Smart Glasses), Other dedicated displays.
  • the HUD may be, for example, a windshield of the vehicle 1, or may be a separately provided glass surface, plastic surface (for example, a combiner), or the like.
  • the windshield may be, for example, a windshield, a side glass or a rear glass of the vehicle 1.
  • the HUD may be a transmissive display provided on the surface or inside of the windshield.
  • the transmissive display is, for example, a transmissive organic EL display or a transparent display using glass that emits light when irradiated with light of a specific wavelength.
  • the driver can view the display on the transmissive display at the same time as viewing the background.
  • the notification unit 92 may be a display medium that transmits light. In either case, an image is displayed on the notification unit 92.
  • the notification unit 92 notifies the driver of information related to travel acquired from the vehicle control unit 7 via the information acquisition unit 91.
  • the notification unit 92 notifies the driver of information on the first behavior and the second behavior acquired from the vehicle control unit 7.
  • FIG. 2 is a diagram for explaining a first example of the traveling environment, the display of the notification unit 92 and the operation of the operation unit 51 corresponding thereto.
  • FIG. 2 is an overhead view showing a traveling environment of the vehicle 1. Specifically, (a) of FIG. 2 is a right-hand side of the lane in which the vehicle 1 travels, and there is a merge channel in front of the lane in which the vehicle 1 travels. This indicates that the driving environment is capable of changing lanes.
  • the vehicle control unit 7 determines that the traveling environment is a traveling environment as shown in FIG. 2A based on information on the traveling state and the surrounding situation. Note that the vehicle control unit 7 generates the overhead view shown in FIG. 2A and causes the notification unit 92 to notify the generated overhead view in addition to the information on the first behavior and the second behavior. May be.
  • FIG. 2 shows an example of the display of the notification unit 92 for the traveling environment shown in (a) in FIG.
  • the display range of the notification unit 92 options on the behavior of the vehicle 1 are displayed on the right side, and information for switching to manual driving is displayed on the left side.
  • the first behavior is “lane change” shown in the highlighted display area 29b among the display areas 29a to 29c, 29g.
  • the second behavior is “acceleration” and “deceleration” shown in the display areas 29a and 29c, respectively.
  • the display area 29g displays “automatic operation end” indicating switching to manual operation.
  • FIG. 2 shows an example of the operation unit 51 provided in the handle 5.
  • the operation unit 51 includes operation buttons 51 a to 51 d provided on the right side of the handle 5 and operation buttons 51 e to 51 h provided on the left side of the handle 5.
  • steering-wheel 5 are not limited to these.
  • the display areas 29a to 29c and the operation buttons 51a to 51c shown in FIG. 2B correspond to each other, and the display area 29g and the operation buttons 51g correspond to each other.
  • the driver presses an operation button corresponding to each display area when selecting any of the contents displayed in each display area. For example, when the driver selects the behavior “acceleration” displayed in the display area 29a, the driver presses the operation button 51a.
  • FIG. 2B only character information is displayed in each display area. However, as described below, symbols and icons relating to driving of the vehicle may be displayed. As a result, the driver can grasp the display contents at a glance.
  • FIG. 3 is a diagram showing another example of display in the notification unit 92. As shown in FIG. 3, both character information and symbols indicating the information are displayed in the display areas 39a to 39c and 39g. Only symbols may be displayed.
  • FIG. 4 is a flowchart showing a processing procedure of information notification processing in the present embodiment.
  • FIG. 5 is a diagram illustrating a first example of a traveling environment and display control for the first example.
  • the detection unit 6 detects the traveling state of the vehicle (step S11). Next, the detection unit 6 detects the situation around the vehicle (step S12). Information on the detected traveling state of the vehicle and the situation around the vehicle is output by the detection unit 6 to the vehicle control unit 7.
  • the vehicle control unit 7 determines the current traveling environment based on the information on the traveling state and the surrounding situation (step S13).
  • the vehicle control unit 7 indicates that the current travel environment is “there is a merge path in front of the lane in which the vehicle 1 travels, and a vehicle that merges from the left side of the lane, And it determines with it being the driving
  • the vehicle control unit 7 causes the notification unit 92 of the information notification device 9 to notify the determined traveling environment information (step S14).
  • the vehicle control unit 7 outputs information on the determined traveling environment to the information acquisition unit 91.
  • the notification unit 92 acquires travel environment information from the information acquisition unit 91 and displays it as character information 59.
  • the vehicle control unit 7 may notify the driver of the information on the driving environment as sound through a speaker or the like instead of displaying the information on the driving environment on the notification unit 92. Thereby, even when the driver is not looking at or overlooking the display or monitor, information can be reliably transmitted to the driver.
  • the vehicle control unit 7 determines whether or not the determined traveling environment has a possibility of updating the behavior. If it is determined that there is a possibility of updating, the vehicle control unit 7 further includes the first behavior, And determination of a 2nd behavior is performed (step S15). The determination as to whether or not the driving environment is likely to be updated is made based on whether or not the driving environment has changed.
  • the behavior to be implemented after the update is, for example, the vehicle that decelerates when there is a possibility of a collision with another vehicle, etc., the speed changes when the preceding vehicle disappears in ACC (Adaptive Cruise Control), It is conceivable to change lanes when free. Whether to update or not is determined using conventional technology.
  • the vehicle control unit 7 reads, from the storage unit 8, candidate behaviors that the vehicle 1 can take next (after the first predetermined time has elapsed) with respect to the determined traveling environment. Then, the vehicle control unit 7 determines which behavior is most suitable for the current traveling environment from the behavior candidates, and sets the behavior most suitable for the current traveling environment as the first behavior. Then, the vehicle control unit 7 sets behavior candidates excluding the first behavior to the second behavior.
  • the vehicle control unit 7 selects from the storage unit 8 candidates for three behaviors of acceleration of the vehicle 1, deceleration of the vehicle 1, and lane change to the right of the vehicle 1. read out. Then, the vehicle control unit 7 determines that the rightward lane change of the vehicle 1 is the most suitable behavior based on the speed of the vehicle joining from the left side and the situation of the right lane of the vehicle 1. The behavior is set to the first behavior. Then, the vehicle control unit 7 sets behavior candidates excluding the first behavior to the second behavior.
  • the vehicle control unit 7 causes the notification unit 92 of the information notification device 9 to notify the first behavior and the second behavior (step S16).
  • the notification unit 92 highlights and displays the character information “lane change”, which is the first behavior information, in the display area 59b, and is the second behavior information. “Acceleration” and “Deceleration” are displayed in the display areas 59a and 59c, respectively.
  • the vehicle control unit 7 determines whether or not the operation unit 51 has received an operation from the driver within the second predetermined time (step S17).
  • the vehicle control unit 7 sets the time from when it is determined that the current travel environment is the travel environment illustrated in FIG. 5A to the arrival at the junction point as the first predetermined time. And the vehicle control part 7 sets 2nd predetermined time shorter than 1st predetermined time as time when reception of operation with respect to the next behavior performed by a merge point is possible.
  • the vehicle control unit 7 determines whether the received operation is an operation for terminating automatic driving or a behavior selection operation (so-called operation). Update) is determined (step S18).
  • each display area of the notification unit 92 and each operation button of the operation unit 51 correspond to each other.
  • the driver selects the end of the automatic driving in FIG. 5B, the driver presses the operation button 51g shown in FIG. Further, when selecting the behavior, the driver presses one of the operation buttons 51a to 51c shown in FIG.
  • the vehicle control unit 7 terminates the automatic driving when the operation received by the operating unit 51 is an operation for terminating the automatic driving (that is, when it is detected that the operation button 51g is pressed) (step S19).
  • the operation received by the operation unit 51 is a behavior selection operation (that is, when any of the operation buttons 51a to 51c is pressed)
  • the vehicle control unit 7 executes the behavior corresponding to the pressed operation button.
  • the vehicle 1 is controlled (step S20).
  • the vehicle control unit 7 controls the vehicle 1 to execute the first behavior when the operation unit 51 does not accept the operation from the driver within the second predetermined time (NO in step S17). (Step S21).
  • FIG. 6 is a diagram showing a first example of the driving environment and another display control for it. 6 (a) is the same as FIG. 5 (a), but the display control of FIG. 6 (b) is different from the display control of FIG. 5 (b).
  • the vehicle control unit 7 accelerates the vehicle 1 from the storage unit 8 with respect to the traveling environment illustrated in (a) of FIG. Three candidate motions for deceleration and lane change to the right of the vehicle 1 are read out. At that time, it is assumed that the storage unit 8 stores a behavior in which the lane change to the right side of the vehicle 1 has the highest priority.
  • the vehicle control unit 7 causes the notification unit 92 to notify the traveling environment information and the first behavior information.
  • the vehicle control unit 7 generates character information 69 indicating information on the driving environment and information on the first behavior, and causes the notification unit 92 to display the character information 69.
  • the vehicle control unit 7 causes the display areas 69a and 69c to display a display prompting the driver to adopt or reject the first behavior.
  • the vehicle control unit 7 displays a display “automatic driving end” indicating that switching to manual driving is possible in the display area 69g.
  • the vehicle control unit 7 highlights and displays “YES” corresponding to adopting the first behavior. Which of “YES” and “NO” is emphasized and displayed may be determined in advance, the option selected last time may be highlighted and displayed, or the number of times selected in the past May be stored in the storage unit 8, and the notification unit 92 may highlight and display the one with the larger number of times.
  • the vehicle control unit 7 can appropriately notify the driver of information. Moreover, the display made to alert
  • FIG. 7 is a diagram showing a second example of the driving environment and display control for the second example.
  • FIG. 7A is an overhead view showing the traveling environment.
  • the traveling environment shown in FIG. 7A is the same as FIG. 5A and FIG. 6A in that there is a joint path ahead, but the traveling vehicle exists on the right side of the vehicle 1. 5 (a) and FIG. 6 (a) are different. In such a case, the vehicle control unit 7 determines that the lane change cannot be performed.
  • the vehicle control unit 7 determines that the traveling environment of the vehicle 1 is as shown in FIG. 7A, the vehicle control unit 7 notifies the information on the determined traveling environment as shown in FIG. 7B. Is displayed as character information 79.
  • the vehicle control unit 7 selects the right side of the vehicle 1 among the three behavior candidates of acceleration of the vehicle 1 read from the storage unit 8, deceleration of the vehicle 1, and lane change to the right side of the vehicle 1. Since the lane cannot be changed, only the acceleration of the vehicle 1 and the deceleration of the vehicle 1 are selected.
  • the vehicle control unit 7 predicts that the vehicle 1 is too close to the joining vehicle when proceeding at this speed, and determines that the deceleration of the vehicle 1 is the most suitable behavior, that is, the first behavior.
  • the most suitable behavior is determined using a conventional technique that determines the most suitable behavior based on information on the driving state and the surrounding situation. Further, which behavior is most suitable may be determined in advance, or information on the behavior selected last time may be stored in the storage unit 8, and the behavior may be determined as the most suitable behavior. Then, the number of times each behavior has been selected in the past may be stored in the storage unit 8, and the behavior with the largest number of times may be determined as the most suitable behavior.
  • the vehicle control unit 7 displays “Deceleration” as the first behavior in the display area 79c, and displays “Acceleration” as the second behavior in the display area 79a. Further, the vehicle control unit 7 causes the display area 79g to display “automatic driving end” indicating switching to manual driving.
  • the vehicle control unit 7 can notify the driver of the behavior most suitable for the traveling environment as the first behavior according to the traveling environment.
  • the information on the first behavior may be arranged on the upper side, the information on the second behavior may be arranged on the lower side, and a selection function may be assigned to each of the operation buttons 51a and 51c.
  • the display size of the first behavior information may be increased and the display size of the second behavior information may be decreased.
  • the behavior information display corresponding to the behavior of the front / rear / left / right of the vehicle the driver can recognize and operate intuitively.
  • FIG. 8 is a diagram showing a third example of the driving environment and display control for it.
  • FIG. 8A is an overhead view showing the traveling environment of the vehicle 1. Specifically, FIG. 8A shows a travel environment in which the preceding vehicle travels at a slower speed than the vehicle 1 and the lane can be changed to the adjacent lane.
  • the vehicle control unit 7 determines that the traveling environment is a traveling environment as shown in FIG. 8A based on information on the traveling state and the surrounding situation. In this case, the vehicle control unit 7 causes the notification unit 92 to display the determined traveling environment information as character information 89.
  • the vehicle control unit 7 can select three behaviors as a candidate for the behavior corresponding to the determined traveling environment: traveling that overtakes the preceding vehicle, traveling that changes the lane to the adjacent lane, and traveling that decelerates the vehicle 1 and follows the preceding vehicle.
  • the candidate for the street behavior is read from the storage unit 8.
  • the vehicle control unit 7 allows the speed after the deceleration of the preceding vehicle to be higher than a predetermined value, so that the behavior in which the vehicle 1 decelerates and follows the preceding vehicle is most suitable, that is, the first behavior. It is determined that
  • the most suitable behavior is determined using a conventional technique that determines the most suitable behavior based on information on the driving state and the surrounding situation. Further, which behavior is most suitable may be determined in advance, or information on the behavior selected last time may be stored in the storage unit 8, and the behavior may be determined as the most suitable behavior. Then, the number of times each behavior has been selected in the past may be stored in the storage unit 8, and the behavior with the largest number of times may be determined as the most suitable behavior.
  • the vehicle control unit 7 highlights and displays the character information “follow” indicating the first behavior in the display area 89c, and displays the “overtaking” indicating the second behavior. "And” change lane “are displayed in the display areas 89a and 89b, respectively. Further, the vehicle control unit 7 causes the display area 89g to display “automatic driving end” indicating switching to manual driving.
  • the information on the first behavior may be arranged on the upper side, the information on the second behavior may be arranged on the lower side, and a selection function may be assigned to the operation buttons 51a and 51c, respectively.
  • the display size of the first behavior information may be increased and the display size of the second behavior information may be decreased.
  • FIG. 9 is a diagram showing a fourth example of the driving environment and display control for it.
  • FIG. 9A is an overhead view showing the traveling environment of the vehicle 1. Specifically, FIG. 9A illustrates that the traveling environment is a traveling environment in which the lanes decrease in front of the same lane as the vehicle 1.
  • the vehicle control unit 7 determines that the traveling environment is a traveling environment as shown in FIG. 9A based on information on the traveling state and the surrounding situation. In this case, the vehicle control unit 7 causes the notification unit 92 to display the determined traveling environment information as the character information 99.
  • the vehicle control unit 7 reads out from the storage unit 8 two candidate behaviors, that is, a behavior for changing the lane to the adjacent lane and a driving for maintaining the current lane as the behavior candidates corresponding to the determined travel environment. .
  • the vehicle control unit 7 determines that the travel to change the lane to the adjacent lane is the most suitable behavior, that is, the first behavior because the TTC to the lane decrease point is shorter than a predetermined value. To do.
  • which of the two behavior candidates is the most suitable behavior is determined using a conventional technique for determining the most suitable behavior based on information on the driving state and the surrounding situation. Further, which behavior is most suitable may be determined in advance, or information on the behavior selected last time may be stored in the storage unit 8, and the behavior may be determined as the most suitable behavior. Then, the number of times each behavior has been selected in the past may be stored in the storage unit 8, and the behavior with the largest number of times may be determined as the most suitable behavior.
  • the vehicle control unit 7 highlights and displays the character information “lane change” indicating the first behavior in the display area 99 b and indicates the second behavior “ Character information “as is” is displayed in the display area 99c. Further, the vehicle control unit 7 causes the display area 99g to display “automatic driving end” indicating switching to manual driving.
  • the first behavior information may be arranged above, the second behavior information may be arranged below, and a selection function may be assigned to each of the operation buttons 51a and 51c.
  • the change behavior information is arranged on the right side, the left lane change behavior information is arranged on the left side, and a selection function may be assigned to each of the operation buttons 51c, 51b, 51d.
  • You may display whether it is action priority arrangement
  • the display size of the first behavior information may be increased and the display size of the second behavior information may be decreased.
  • different functions are assigned to the display areas according to different traveling environments, so that information notification and operation can be performed in a small area.
  • the vehicle control unit 7 causes the notification unit 92 to notify the behavior in accordance with the information on the traveling environment and the surrounding situation, but the present invention is not limited to this.
  • the notification unit 92 may be notified of the behavior.
  • FIG. 10 is a diagram showing a fifth example of the driving environment and display control for it.
  • FIG. 10A is an overhead view showing the traveling environment of the vehicle 1. Specifically, FIG. 10A shows a traveling environment indicating that the vehicle 1 is a traveling environment in which lanes can be changed to the left and right.
  • the driving environment shown in (a) of FIG. 10 is different from the cases of (a) to (a) of FIG. 5 and is a driving environment in which normal driving without changing lanes or accelerating or decelerating the vehicle is possible. is there.
  • the vehicle control unit 7 does not have to display the information on the driving environment on the notification unit 92 as character information.
  • the vehicle control unit 7 stores the behavior candidate in the normal travel as the storage unit 8. Read from.
  • the acceleration of the vehicle 1, the deceleration of the vehicle 1, and the lane change to the right side of the vehicle 1 are associated with the traveling environment of the normal traveling as shown in FIG. , Four behavior candidates for changing the lane to the left of the vehicle 1 are stored.
  • the vehicle control unit 7 reads out these and displays them on the display areas 109a to 109d of the notification unit 92, respectively.
  • the vehicle control unit 7 displays a display of “automatic driving end” indicating switching to manual driving in the display area 99g, and displays a display of “cancel” indicating canceling behavior update in the display area 109e. Highlight and display.
  • the display in the notification unit 92 has been described as character information, but the present invention is not limited to this. For example, it may be displayed visually to the driver using a symbol indicating behavior. In the following, the display using symbols visually displayed to the driver will be described by taking the display for FIGS. 5 and 7 as an example.
  • FIG. 11 is a diagram showing another display control for the first example of the traveling environment shown in FIG.
  • the first behavior described above is a lane change to the right of the vehicle 1
  • the second behavior is acceleration of the vehicle 1 and deceleration of the vehicle 1.
  • a symbol 111 indicating “lane change” as the first behavior is displayed large in the center
  • deceleration of the vehicle 1 is displayed small to the right.
  • a symbol 114 indicating the end of automatic driving is displayed small on the left.
  • the lane change is performed.
  • FIG. 12 is a diagram showing another display control for the second example of the traveling environment shown in FIG.
  • the lane cannot be changed. Therefore, for example, “deceleration of the vehicle 1” is set to the first behavior, and “acceleration of the vehicle 1” is set to the second behavior.
  • the symbol 121 indicating “deceleration of the vehicle 1” that is the first behavior is displayed large in the center, and “acceleration of the vehicle 1” that is the second behavior.
  • the symbol 122 indicating "" is displayed small to the right.
  • a symbol 123 indicating the end of automatic driving is displayed small on the left.
  • the operation unit 51 receives an operation for selecting “acceleration of the vehicle 1” from the driver.
  • the symbol 122 ′ indicating “acceleration of the vehicle 1” as the first behavior is displayed large in the center, and “deceleration of the vehicle 1” as the second behavior.
  • the symbol 121 ′ indicating “” is displayed small to the right.
  • the driver can grasp the behavior performed by the vehicle and other behaviors that can be selected, and can continue the automatic driving with a sense of security. Alternatively, the driver can give instructions to the car smoothly.
  • the option to be notified to the notification unit, that is, the second behavior can be made variable according to the traveling environment.
  • FIG. 13 is a block diagram showing a main configuration of the vehicle 1 including the information notification device according to Embodiment 2 of the present invention.
  • the same components as those in FIG. 1 are denoted by the same reference numerals as those in FIG.
  • a vehicle 1 shown in FIG. 13 is provided with a touch panel 10 instead of the operation unit 51 of the handle 5.
  • the touch panel 10 is a device composed of a liquid crystal panel or the like capable of displaying information and receiving input, and is connected to the vehicle control unit 7.
  • the touch panel 10 includes a display unit 101 that displays information based on control by the vehicle control unit 7 and an input unit 102 that receives an operation from a driver or the like and outputs the received operation to the vehicle control unit 7.
  • display control of the touch panel 10 will be described.
  • display control when the vehicle 1 is traveling in the center of three lanes and the lane can be changed to either the right lane or the left lane will be described.
  • FIG. 14 is a diagram for explaining a display on the touch panel 10 according to the second embodiment.
  • FIG. 14A shows an initial display of the display unit 101 of the touch panel 10.
  • the vehicle control unit 7 determines that the lane can be changed to either the right lane or the left lane
  • the vehicle control unit 7 displays on the display unit 101 of the touch panel 10 as shown in FIG. Is executed.
  • the display “Touch” in the display area 121 indicates that the touch panel 10 is in a mode in which a touch operation by the driver can be received.
  • the input unit 102 accepts this operation and provides information indicating that this operation has been performed to the vehicle. Output to the control unit 7.
  • the vehicle control unit 7 causes the display unit 101 to display the display shown in FIG. 14B and causes the notification unit 92 to display the display shown in FIG.
  • FIG. 14B shows a display area 121a on which “Move” indicating an operation for instructing the vehicle 1 to move is displayed. Further, FIG. 14B shows display areas 121b to 121d indicating that the vehicle 1 can travel in each of the three lanes. The display areas 121b to 121d correspond to traveling in the lane indicated by arrows X, Y, and Z in FIG. 14C, respectively.
  • each display area in FIG. 14B and each arrow in FIG. 14C have the same mode (for example, color and arrangement). As a result, the display is easier to understand for the driver.
  • the behavior performed by the vehicle determined by the vehicle control may be displayed so that the behavior selectable by the driver can be distinguished.
  • the driver selects the behavior of the vehicle 1 by touching the display area corresponding to the lane to be traveled among the display areas 121b to 121d.
  • the input unit 102 accepts a driver's behavior selection operation and outputs information on the selected behavior to the vehicle control unit 7.
  • the vehicle control unit 7 controls the vehicle 1 to execute the selected behavior.
  • the vehicle 1 travels in the lane that the driver wants to travel.
  • the driver may perform a swipe operation on the touch panel 10 instead of the touch operation.
  • the driver when the driver wants to change to the lane indicated by the arrow X in FIG. 14C, the driver performs a right swipe operation on the touch panel 10.
  • the input unit 102 receives the swipe operation and outputs information indicating the content of the swipe operation to the vehicle control unit 7. And the vehicle control part 7 controls the vehicle 1 to perform the lane change to the lane shown by the arrow X which is the selected behavior.
  • the user may speak “behavior selection” or the like by voice. Thereby, it becomes possible to operate only by displaying the HUD without looking at the touch panel at hand.
  • the display mode of the lane corresponding to the display area of the selected touch panel may be changed so that it can be confirmed before selecting which lane is being selected. For example, at the moment when the display area b is touched, the thickness of the lane X increases, and if the hand is released immediately, the lane X is not selected and the thickness of the lane X returns to the original size, and the display area 121c is touched. If the thickness of the lane Y increases and the state is maintained for a while, the lane Y may be selected and the fact that the lane Y has blinked may be notified. Thereby, selection and determination operations can be performed without looking at the hand.
  • vehicle control functions such as acceleration, deceleration, overtaking, and the like may be assigned to the display area according to the driving environment.
  • the driver can perform an intuitive operation.
  • the touch panel can freely change the number, shape, color, and the like of display areas that accept operations, the degree of freedom of the user interface is improved.
  • the configuration according to the present embodiment is a configuration in which, in the configuration of FIG. 1 described in the first embodiment, the operation unit 51 further includes a grip sensor that detects whether or not the driver has gripped the handle 5.
  • FIG. 15 is a diagram illustrating the display of the notification unit 92 according to Embodiment 3 of the present invention.
  • a vehicle traveling in front of the same lane as the vehicle 1 travels at a slower speed than the vehicle 1, and the lane is changed to the adjacent lane.
  • the example of the display in the driving environment which can do is shown.
  • the vehicle control unit 7 determines that the traveling environment is the traveling environment illustrated in FIG. 8A, the vehicle control unit 7 first causes the notification unit 92 to execute the display illustrated in FIG.
  • the symbol 131 indicating “overtaking” which is the first behavior is displayed in the first mode (for example, the first Color).
  • the vehicle control unit 7 changes the symbol 131 from the first mode to the first mode. It is displayed on the notification unit 92 in a different second mode (for example, a second color different from the first color).
  • the second predetermined time is the same as the second predetermined time described in the first embodiment.
  • the driver can select the second behavior, but when the symbol 131 is changed to the second mode, the driver Selection of the behavior of 2 becomes impossible.
  • 15A shows a handle-shaped symbol 132 indicating that the second behavior can be selected.
  • the symbol 132 is displayed, the second behavior is displayed when the driver grasps the steering wheel 5.
  • the symbol 132 is a display indicating that the second behavior can be selected.
  • the driver can select the second behavior. It may be shown. In this case, the symbol 132 may not be displayed.
  • the symbol 133 is an auxiliary display that indicates to the driver that the vehicle is traveling in automatic driving, but the symbol 133 may not be displayed.
  • the grip sensor detects it and outputs information on the detection result to the vehicle control unit 7.
  • the vehicle control unit 7 causes the notification unit 92 to execute the display shown in FIG.
  • FIG. 15B as in FIG. 15A, the symbol 131 indicating the “passing” which is the first behavior is shown in the first mode (for example, the first color). . Further, a symbol 134 indicating “lane change” as the second behavior and a symbol 135 indicating “deceleration” as the second behavior are shown.
  • the driver changes the first behavior to the second behavior by operating the operation unit 51 of the handle 5. For example, the driver depresses the operation button 51a of the operation unit 51 or the operation button 51c (see (c) of FIG. 2), thereby “lane change” (symbol 134) or “deceleration” (symbol). 135) is updated.
  • FIG. 15B also shows a symbol 136 indicating that the vehicle control unit 7 is learning the behavior of the vehicle 1.
  • the symbol 136 When the symbol 136 is displayed, the vehicle control unit 7 learns the behavior selected by the driver.
  • the symbol 136 may not be displayed. In addition, learning may always be performed.
  • the vehicle control unit 7 stores the behavior selected by the driver in the storage unit 8, and when the same driving environment is subsequently set, the stored behavior is displayed on the notification unit 92 as the first behavior.
  • the vehicle control part 7 may memorize
  • FIG. 15 (b) a symbol 137 indicating that automatic operation is not being performed is shown.
  • the vehicle control unit 7 waits until a behavior selected after the first predetermined time has elapsed is selected by the driver.
  • the vehicle control unit 7 receives information on the selection operation, The notification unit 92 is caused to execute the display shown in FIG.
  • a symbol 134 'indicating “lane change” is shown in the first mode.
  • the vehicle control unit 7 determines that the selected behavior is the next behavior to be performed, and sets the symbol 134 ′ indicating “lane change” to the first. Is displayed on the notification unit 92.
  • the symbol 131 ′ in FIG. 15C is a symbol 131 ′ displayed as the first behavior in FIG. 15B and replaced with the symbol 134.
  • the vehicle control unit 7 receives information on an operation of pressing one of the operation buttons twice in succession, and changes from the display shown in FIG. 15C to the display shown in FIG. 15B. Is executed by the notification unit 92.
  • the vehicle control unit 7 causes the notification unit 92 to execute the display shown in FIG. 15A until the second predetermined time elapses, based on the driver's operation ( b)
  • the display of the notification unit 92 is changed to (c) in FIG.
  • the vehicle control unit 7 causes the notification unit 92 to display the display illustrated in FIG. 15D after the second predetermined time has elapsed since the notification unit 92 has executed the display illustrated in FIG. Display.
  • the vehicle control unit 7 displays the display shown in FIG. 15D before the second predetermined time elapses when information indicating that the driver has released his hand from the handle 5 is acquired from the grip sensor. You may display on the alerting
  • FIG. 15D shows the display shown in FIG. 15D before the second predetermined time elapses when information indicating that the driver has released his hand from the handle 5 is acquired from the grip sensor. You may display on the alerting
  • the vehicle control unit 7 changes the display on the notification unit 92 so that other behavior candidates can be confirmed only when the driver wants to update the next behavior. To do.
  • the display visually recognized by the driver can be reduced, and the driver's troublesomeness can be reduced.
  • a neural network (NN) constructed by learning in advance is used as a method of determining which is the most suitable behavior among a plurality of behavior candidates that the vehicle 1 can execute.
  • the determination of the above behavior is hereinafter referred to as estimating the behavior.
  • FIG. 16 is a block diagram illustrating an example of a functional configuration related to behavior estimation of the vehicle control unit 7 in the present embodiment.
  • the vehicle control unit 7 includes a behavior learning unit 401, a behavior estimation unit 402, and a behavior estimation result reception unit 403.
  • the behavior learning unit 401 constructs a neural network of the driver x from the driving history of a specific driver (for example, the driver x). Then, the behavior learning unit 401 outputs the constructed neural network to the behavior estimation unit 402 as a behavior estimation NN.
  • the driving history indicates a plurality of feature amounts corresponding to the behavior (hereinafter referred to as feature amount set) for each behavior performed by the vehicle 1 in the past.
  • feature amount set a plurality of feature amounts corresponding to the behavior
  • Each of the plurality of feature amounts corresponding to the behavior is, for example, an amount indicating the traveling state of the vehicle 1 at the time point before the first predetermined time described above from the time when the behavior is performed by the vehicle 1.
  • the feature amount is the number of passengers, the speed of the vehicle 1, the movement of the steering wheel, the degree of braking, or the degree of acceleration.
  • this driving history may be a driving characteristic model shown in FIG. 55 of the seventh embodiment.
  • the feature amount is, for example, a feature amount related to speed, a feature amount related to steering, a feature amount related to operation timing, a feature amount related to outside-vehicle sensing, or a feature amount related to in-vehicle sensing.
  • These feature amounts are the running state of the vehicle 1 detected by the detection unit 6 described above.
  • the behavior estimation unit 402 outputs the behavior corresponding to the feature quantity set as a behavior estimation result by inputting the feature quantity set obtained at the present time as test data to the behavior estimation NN constructed by the behavior learning unit 401. To do. That is, the behavior estimation unit 402 estimates the behavior after the first predetermined time described above, for example.
  • the behavior estimation result reception unit 403 receives the behavior estimation result output from the behavior estimation unit 402.
  • the behavior estimation result reception unit 403 outputs the behavior estimation result received in this way to the information acquisition unit 91 described above. Thereby, the behavior estimation result is acquired by the information acquisition unit 91.
  • FIG. 17 is a diagram for explaining learning by the behavior learning unit 401.
  • the behavior learning unit 401 acquires a feature value set included in the driving history of a specific driver (for example, driver x) as an input parameter. Furthermore, the behavior learning unit 401 acquires the behavior associated with the feature amount set included in the driving history as supervised data. Then, the behavior learning unit 401 adjusts the neural network based on the input parameters and supervised data. That is, the behavior learning unit 401 adjusts the weight of the neural network so that supervised data is obtained as an output by inputting input parameters to the neural network. By such adjustment, the behavior learning unit 401 causes the neural network to learn the relationship between the input parameter and the supervised data, and the behavior estimation NN is constructed.
  • FIG. 18A is a diagram showing learning of a neural network.
  • the behavior learning unit 401 inputs a plurality of input parameters included in the driving history of the driver x, each including the number of passengers and speed, to the neural network. Then, the behavior learning unit 401 optimizes the weight of the neural network so that the output from the neural network matches the supervised data associated with the input parameter. Thereby, the behavior estimation NN is constructed.
  • FIG. 18B is a diagram showing behavior estimation using the behavior estimation NN.
  • the behavior estimation unit 402 acquires the current feature amount set of the driver x as test data, and inputs the test data to the behavior estimation NN.
  • Each feature amount included in the test data is the number of passengers, the speed, and the like, and corresponds to each feature amount used as an input parameter. Thereby, the behavior estimation unit 402 acquires a behavior estimation result indicating, for example, a lane change as the output of the behavior estimation NN.
  • the information notification system 9, the behavior learning unit 401, and the behavior estimation unit 402 of any of the first to third embodiments constitute an information processing system. That is, the information processing system in the present embodiment includes the information notification device 9 in any of the first to third embodiments, the behavior learning unit 401, and the behavior estimation unit 402.
  • the behavior learning unit 401 causes the neural network to learn the relationship between the traveling state of the vehicle 1 detected by the detecting unit 6 and the behavior of the vehicle 1 performed after the traveling state of the vehicle 1 using the driving history.
  • the behavior estimation unit 402 estimates the behavior of the vehicle 1 by inputting the current traveling state of the vehicle 1 detected by the detection unit 6 to the learned neural network.
  • the neural network is constructed only from the driving history of a specific driver, but the driving history of other drivers is also used, that is, the neural network is constructed from the driving history of a plurality of drivers. Also good.
  • FIG. 19 is a block diagram showing another example of a functional configuration relating to behavior estimation of the vehicle control unit 7 in the present embodiment.
  • the vehicle control unit 7 constructs a neural network using the driving histories of a plurality of drivers.
  • the vehicle control unit 7 includes a general-purpose behavior learning unit 411, a general-purpose behavior estimation unit 412, a histogram generation unit 413, a dedicated behavior learning unit 414, a dedicated behavior estimation unit 415, and a behavior estimation result reception unit 416.
  • a general-purpose neural network is constructed as a general-purpose behavior estimation NN using driving histories of a plurality of drivers.
  • the vehicle control unit 7 uses the driving history of a specific driver (for example, the driver x) to construct the dedicated behavior estimation NN by transfer learning that causes the general-purpose behavior estimation NN to relearn.
  • the vehicle control unit 7 estimates the behavior of the vehicle 1 using the dedicated behavior estimation NN.
  • the general-purpose behavior learning unit 411 constructs a general-purpose neural network as a general-purpose behavior estimation NN from driving histories of a plurality of drivers. Then, the general-purpose behavior learning unit 411 outputs the constructed general-purpose behavior estimation NN to the general-purpose behavior estimation unit 412.
  • the general-purpose behavior estimation unit 412 acquires behavior included in the driving history of a specific driver (for example, driver x) as supervised data. Furthermore, the general-purpose behavior estimation unit 412 acquires a feature value set associated with the behavior included in the driving history as an input parameter. The general-purpose behavior estimation unit 412 inputs input parameters to the general-purpose behavior estimation NN, and outputs the output from the general-purpose behavior estimation NN to the histogram generation unit 413 as a temporary behavior estimation result. The general-purpose behavior estimation unit 412 also outputs the supervised data to the histogram generation unit 413.
  • a specific driver for example, driver x
  • the general-purpose behavior estimation unit 412 acquires a feature value set associated with the behavior included in the driving history as an input parameter.
  • the general-purpose behavior estimation unit 412 inputs input parameters to the general-purpose behavior estimation NN, and outputs the output from the general-purpose behavior estimation NN to the histogram generation unit 413 as a temporary behavior estimation result.
  • the histogram generation unit 413 acquires the behavior of the supervised data and the temporary behavior estimation result corresponding to the behavior, and generates a temporary behavior histogram indicating the cumulative value of the temporary behavior estimation result for the behavior of the supervised data.
  • the dedicated behavior learning unit 414 re-learns the weight of the general behavior estimation NN to increase the degree of coincidence between the output of the general behavior estimation NN and the supervised data, and sets the dedicated behavior estimation NN. To construct.
  • the dedicated behavior estimation unit 415 inputs, as test data, a feature amount set obtained at the current time of a specific driver (for example, driver x) to the dedicated behavior estimation NN constructed by the dedicated behavior learning unit 414. As a result, the dedicated behavior estimation unit 415 acquires the behavior for the feature amount set output from the dedicated behavior estimation NN, and outputs the behavior as a behavior estimation result. That is, the dedicated behavior estimation unit 415 estimates the behavior after the first predetermined time described above, for example.
  • a specific driver for example, driver x
  • the behavior estimation result reception unit 416 receives the behavior estimation result output from the dedicated behavior estimation unit 415.
  • the behavior estimation result reception unit 416 outputs the behavior estimation result received in this way to the information acquisition unit 91 described above. Thereby, the behavior estimation result is acquired by the information acquisition unit 91.
  • FIG. 20 is a diagram for explaining learning by the general-purpose behavior learning unit 411.
  • the general-purpose behavior learning unit 411 acquires feature quantity sets included in the driving histories of a plurality of drivers as input parameters. Furthermore, the general-purpose behavior learning unit 411 acquires the behavior associated with the feature amount set included in the driving history as supervised data. Then, the general-purpose behavior learning unit 411 adjusts the neural network based on the input parameters and supervised data. That is, the general-purpose behavior learning unit 411 adjusts the weight of the neural network so that supervised data can be obtained as an output by inputting input parameters to the neural network. By such adjustment, the general-purpose behavior learning unit 411 causes the neural network to learn the relationship between the input parameter and the supervised data.
  • FIG. 21A is a diagram showing learning of a neural network in the general-purpose behavior learning unit 411.
  • General-purpose behavior learning unit 411 inputs a plurality of input parameters included in the driving history of an arbitrary driver, each including the number of passengers and speed, to the neural network. Then, the general-purpose behavior learning unit 411 optimizes the weight of the neural network so that the output from the neural network matches the supervised data associated with the input parameter. Such optimization is performed based not only on the driving history of one driver but also on the driving history of a plurality of drivers. Thereby, the general-purpose behavior estimation NN is constructed.
  • FIG. 21B is a diagram showing behavior estimation using the general-purpose behavior estimation NN.
  • the general-purpose behavior estimation unit 412 estimates the temporary behavior using the general-purpose behavior estimation NN constructed by the general-purpose behavior learning unit 411. That is, the general-purpose behavior estimation unit 412 acquires a specific behavior (for example, lane change) included in the driving history of a specific driver (for example, driver x) as supervised data, and is associated with the behavior. A feature set is acquired as an input parameter. If there are a plurality of feature value sets associated with the specific behavior in the driving history, the general-purpose behavior estimation unit 412 acquires each of the plurality of feature value sets as an input parameter.
  • a specific behavior for example, lane change
  • driver for example, driver x
  • the general-purpose behavior estimation unit 412 inputs those input parameters in order to the general-purpose behavior estimation NN.
  • the general-purpose behavior estimation unit 412 acquires, as temporary behavior estimation results, different estimation results including not only lane changes but also overtaking, for supervised data (for example, lane changes) that are specific behaviors.
  • the histogram generator 413 generates a temporary behavior estimation result histogram (temporary behavior histogram) for supervised data (for example, lane change) that is a specific behavior.
  • This temporary behavior histogram shows the cumulative value of the temporary behavior estimation result obtained as the output of the general-purpose behavior estimation NN.
  • FIG. 22 is a diagram illustrating a method for constructing the dedicated behavior estimation NN.
  • the dedicated behavior learning unit 414 uses a general-purpose so as to increase the degree of coincidence between the output of the general-purpose behavior estimation NN and the supervised data (lane change in this example).
  • the weight of the behavior estimation NN is relearned.
  • the dedicated behavior learning unit 414 constructs a dedicated behavior estimation NN in which only the behavior of the supervised data (for example, lane change) is output as the estimation result, as shown in FIG.
  • Such relearning is performed not only on one piece of supervised data but also on each of a plurality of other supervised data. That is, the dedicated behavior learning unit 414 builds a dedicated neural network for a specific driver by transfer learning.
  • FIG. 23 is a diagram illustrating behavior estimation using the dedicated behavior estimation NN.
  • the dedicated behavior estimation unit 415 acquires the feature amount set of the driver x at the current time as test data, and inputs the test data to the dedicated behavior estimation NN.
  • Each feature amount included in the test data is the number of passengers, the speed, and the like, and corresponds to each feature amount used as an input parameter.
  • the dedicated behavior estimation unit 415 acquires a behavior estimation result indicating, for example, lane change as the output of the dedicated behavior estimation NN.
  • the information processing system includes the general-purpose behavior learning unit 411, the dedicated behavior learning unit 414, the general-purpose behavior estimation unit 412, the dedicated behavior estimation unit 415, and the histogram generation unit 413.
  • the general-purpose behavior learning unit 411 uses a neural network to indicate the relationship between the traveling state of the vehicle 1 detected by the detecting unit 6 and the behavior of the vehicle 1 performed after the traveling state of the vehicle 1. Let them learn.
  • the general-purpose behavior estimation unit 412 inputs the running state of the vehicle 1 detected by the detection unit 6 to the specific driver into the neural network learned by the general-purpose behavior learning unit 411, so that the vehicle for the specific driver The temporary behavior of 1 is estimated.
  • the histogram generation unit 413 generates a histogram of the temporary behavior estimation result by the general-purpose behavior estimation unit 412.
  • the dedicated behavior learning unit 414 uses the travel state of the vehicle 1 detected by the detection unit 6 for a specific driver and the learned neural network using the behavior of the vehicle 1 performed after the travel state of the vehicle 1.
  • a special neural network for a specific driver is constructed by transfer learning that causes the network to relearn.
  • the dedicated behavior learning unit 414 constructs a dedicated neural network by transfer learning with reference to the generated histogram.
  • the dedicated behavior estimation unit 415 estimates the behavior of the vehicle 1 with respect to a specific driver using the dedicated neural network.
  • the driving history of a plurality of drivers is used, so that the behavior of the vehicle 1 with respect to the specific driver is appropriately set. Can be estimated.
  • a neural network is constructed using the driving history.
  • a neural network is constructed using the travel history shown in FIG. 60 or 61 of the seventh embodiment.
  • FIG. 24 is a block diagram illustrating an example of a functional configuration related to behavior estimation of the vehicle control unit 7 in the present modification.
  • the vehicle control unit 7 includes a behavior learning unit 421, a behavior estimation unit 422, and a behavior estimation result reception unit 423.
  • the behavior learning unit 421 constructs a neural network of the driver x from the traveling history of a specific driver (for example, the driver x). Then, the behavior learning unit 421 outputs the constructed neural network to the behavior estimation unit 422 as the behavior estimation NN.
  • the travel history indicates a plurality of environmental parameters (hereinafter referred to as environmental parameter sets) corresponding to the behavior for each behavior performed by the vehicle 1 in the past.
  • Each of the plurality of environmental parameters corresponding to the behavior is, for example, a parameter indicating the environment (ambient situation) of the vehicle 1 at the time point before the first predetermined time described above from when the behavior is performed by the vehicle 1.
  • the environmental parameters include the speed Va of the host vehicle, the relative speed Vba of the preceding vehicle with respect to the host vehicle, and the inter-vehicle distance DRba between the preceding vehicle and the host vehicle.
  • these environmental parameters are the conditions around the vehicle 1 detected by the detection unit 6 described above.
  • the behavior estimation unit 422 inputs the environmental parameter set obtained at the present time as test data to the behavior estimation NN constructed by the behavior learning unit 421, and outputs the behavior corresponding to the environmental parameter set as the behavior estimation result. To do. That is, the behavior estimation unit 422 estimates the behavior after the first predetermined time described above, for example.
  • the behavior estimation result reception unit 423 receives the behavior estimation result output from the behavior estimation unit 422.
  • the behavior estimation result reception unit 423 outputs the behavior estimation result received in this way to the information acquisition unit 91 described above. Thereby, the behavior estimation result is acquired by the information acquisition unit 91.
  • FIG. 25 is a diagram for explaining learning by the behavior learning unit 421.
  • the behavior learning unit 421 acquires an environmental parameter set included in the travel history of a specific driver (for example, driver x) as an input parameter. Furthermore, the behavior learning unit 421 acquires the behavior associated with the environmental parameter set included in the travel history as supervised data. Then, the behavior learning unit 421 adjusts the neural network based on the input parameters and supervised data. That is, the behavior learning unit 421 adjusts the weight of the neural network so that supervised data can be obtained as an output by inputting input parameters to the neural network. By such adjustment, the behavior learning unit 421 causes the neural network to learn the relationship between the input parameter and the supervised data, and the behavior estimation NN is constructed.
  • a specific driver for example, driver x
  • FIG. 26A is a diagram showing learning of a neural network.
  • the behavior learning unit 421 inputs a plurality of input parameters included in the driving history of the driver x, each including a speed Va of the own vehicle and a relative speed Vba of the preceding vehicle, to the neural network. Then, the behavior learning unit 421 optimizes the weight of the neural network so that the output from the neural network matches the supervised data associated with the input parameter. Thereby, the behavior estimation NN is constructed.
  • FIG. 26B is a diagram showing behavior estimation using the behavior estimation NN.
  • the behavior estimation unit 422 acquires the current environmental parameter set of the driver x as test data, and inputs the test data to the behavior estimation NN.
  • the environmental parameters included in the test data are the speed Va of the own vehicle and the relative speed Vba of the preceding vehicle, and correspond to the environmental parameters used as input parameters. Thereby, the behavior estimation unit 422 acquires a behavior estimation result indicating deceleration, for example, as an output of the behavior estimation NN.
  • an information processing system is configured by the information notification device 9 of any of the first to third embodiments, the behavior learning unit 421, and the behavior estimation unit 422. That is, the information processing system in the present embodiment includes the information notification device 9 in any of the first to third embodiments, the behavior learning unit 421, and the behavior estimation unit 422.
  • the behavior learning unit 421 learns the relationship between the situation around the vehicle 1 detected by the detection unit 6 and the behavior of the vehicle 1 performed after the situation around the vehicle 1 using a travel history in a neural network. Let The behavior estimation unit 422 estimates the behavior of the vehicle 1 by inputting the current traveling state of the vehicle 1 detected by the detection unit 6 to the learned neural network.
  • the neural network is constructed only from the traveling history of a specific driver.
  • the traveling history of other drivers is also used, that is, the neural network is constructed from the traveling histories of a plurality of drivers. Also good.
  • FIG. 27 is a block diagram illustrating another example of a functional configuration related to behavior estimation of the vehicle control unit 7 in the present embodiment.
  • the vehicle control unit 7 constructs a neural network using the driving histories of a plurality of drivers.
  • the vehicle control unit 7 includes a general-purpose behavior learning unit 431, a general-purpose behavior estimation unit 432, a histogram generation unit 433, a dedicated behavior learning unit 434, a dedicated behavior estimation unit 435, and a behavior estimation result reception unit 436.
  • a general-purpose neural network is constructed as a general-purpose behavior estimation NN using a plurality of driver travel histories.
  • the vehicle control unit 7 uses the travel history of a specific driver (for example, driver x) to construct a dedicated behavior estimation NN by transfer learning that causes the general-purpose behavior estimation NN to relearn.
  • the vehicle control unit 7 estimates the behavior of the vehicle 1 using the dedicated behavior estimation NN.
  • the general-purpose behavior learning unit 431 constructs a general-purpose neural network as a general-purpose behavior estimation NN from the driving histories of a plurality of drivers. Then, the general-purpose behavior learning unit 431 outputs the constructed general-purpose behavior estimation NN to the general-purpose behavior estimation unit 432.
  • the general-purpose behavior estimation unit 432 acquires behavior included in the travel history of a specific driver (for example, driver x) as supervised data. Furthermore, the general-purpose behavior estimation unit 432 acquires an environmental parameter set associated with the behavior included in the travel history as an input parameter.
  • the general-purpose behavior estimation unit 432 inputs input parameters to the general-purpose behavior estimation NN, and outputs an output from the general-purpose behavior estimation NN to the histogram generation unit 433 as a temporary behavior estimation result.
  • the general-purpose behavior estimation unit 432 also outputs the supervised data to the histogram generation unit 433.
  • the histogram generation unit 433 acquires the behavior of the supervised data and the temporary behavior estimation result corresponding to the behavior, and generates a temporary behavior histogram indicating the cumulative value of the temporary behavior estimation result for the behavior of the supervised data.
  • the dedicated behavior learning unit 434 re-learns the weight of the general behavior estimation NN so as to increase the degree of coincidence between the output of the general behavior estimation NN and the supervised data, and sets the dedicated behavior estimation NN. To construct.
  • the dedicated behavior estimation unit 435 inputs the environmental parameter set obtained at the current time of a specific driver (for example, the driver x) as test data to the dedicated behavior estimation NN constructed by the dedicated behavior learning unit 434. As a result, the dedicated behavior estimation unit 435 acquires the behavior for the environmental parameter set output from the dedicated behavior estimation NN, and outputs the behavior as a behavior estimation result. That is, the dedicated behavior estimation unit 435 estimates the behavior after the first predetermined time described above, for example.
  • a specific driver for example, the driver x
  • the behavior estimation result reception unit 436 receives the behavior estimation result output from the dedicated behavior estimation unit 435.
  • the behavior estimation result reception unit 436 outputs the behavior estimation result received in this way to the information acquisition unit 91 described above. Thereby, the behavior estimation result is acquired by the information acquisition unit 91.
  • FIG. 28 is a diagram for explaining learning by the general-purpose behavior learning unit 431.
  • the general-purpose behavior learning unit 431 acquires an environmental parameter set included in the driving histories of a plurality of drivers as input parameters. Furthermore, the general-purpose behavior learning unit 431 acquires the behavior associated with the environmental parameter set included in the travel history as supervised data. Then, the general-purpose behavior learning unit 431 adjusts the neural network based on the input parameters and supervised data. That is, the general-purpose behavior learning unit 431 adjusts the weight of the neural network so that supervised data is obtained as an output by inputting input parameters to the neural network. By such adjustment, the general-purpose behavior learning unit 431 causes the neural network to learn the relationship between the input parameter and the supervised data.
  • FIG. 29A is a diagram showing learning of a neural network in the general-purpose behavior learning unit 431.
  • the general-purpose behavior learning unit 431 inputs a plurality of input parameters included in the travel history of an arbitrary driver, including the speed Va of the own vehicle and the relative speed Vba of the preceding vehicle, to the neural network. Then, the general-purpose behavior learning unit 431 optimizes the weight of the neural network so that the output from the neural network matches the supervised data associated with the input parameter. Such optimization is performed based not only on the driving history of one driver but also on the driving history of a plurality of drivers. Thereby, the general-purpose behavior estimation NN is constructed.
  • FIG. 29B is a diagram illustrating behavior estimation using the general-purpose behavior estimation NN.
  • the general-purpose behavior estimation unit 432 estimates the temporary behavior using the general-purpose behavior estimation NN constructed by the general-purpose behavior learning unit 431. That is, the general-purpose behavior estimation unit 432 acquires, as supervised data, a specific behavior (for example, deceleration) included in the travel history of a specific driver (for example, the driver x), and the environment associated with the behavior. Get a parameter set as an input parameter. If there are a plurality of environment parameter sets associated with the specific behavior in the travel history, the general-purpose behavior estimation unit 412 acquires each of the plurality of environment parameter sets as an input parameter.
  • a specific behavior for example, deceleration
  • the general-purpose behavior estimation unit 412 acquires each of the plurality of environment parameter sets as an input parameter.
  • the general-purpose behavior estimation unit 432 sequentially inputs these input parameters to the general-purpose behavior estimation NN.
  • the general-purpose behavior estimation unit 432 acquires, as temporary behavior estimation results, different estimation results including not only deceleration but also lane changes, for supervised data (for example, deceleration) that is a specific behavior.
  • the histogram generating unit 433 generates a temporary behavior estimation result histogram (temporary behavior histogram) for supervised data (for example, deceleration) that is a specific behavior.
  • This temporary behavior histogram shows the cumulative value of the temporary behavior estimation result obtained as the output of the general-purpose behavior estimation NN.
  • FIG. 30 is a diagram showing a construction method of the dedicated behavior estimation NN.
  • the dedicated behavior learning unit 434 increases the degree of coincidence between the output of the general behavior estimation NN and the supervised data (deceleration in this example). Relearn the weight of the estimated NN. As a result, the dedicated behavior learning unit 434 constructs a dedicated behavior estimation NN that outputs only the behavior (for example, deceleration) of the supervised data as an estimation result, as shown in FIG. Such relearning is performed not only on one piece of supervised data but also on each of a plurality of other supervised data. That is, the dedicated behavior learning unit 434 constructs a dedicated neural network for a specific driver by transfer learning.
  • FIG. 31 is a diagram showing behavior estimation using the dedicated behavior estimation NN.
  • the dedicated behavior estimation unit 435 acquires the current environmental parameter set of the driver x as test data, and inputs the test data to the dedicated behavior estimation NN.
  • the environmental parameters included in the test data are the speed Va of the own vehicle and the relative speed Vba of the preceding vehicle, and correspond to the environmental parameters used as input parameters.
  • the dedicated behavior estimation unit 435 acquires a behavior estimation result indicating deceleration, for example, as the output of the dedicated behavior estimation NN.
  • the information processing system in the present embodiment includes the general-purpose behavior learning unit 431, the dedicated behavior learning unit 434, the general-purpose behavior estimation unit 432, the dedicated behavior estimation unit 435, and the histogram generation unit 433.
  • the general-purpose behavior learning unit 431 performs a neural operation on the relationship between the situation around the vehicle 1 detected by the detection unit 6 and the behavior of the vehicle 1 performed after the situation around the vehicle 1. Let the network learn.
  • the general-purpose behavior estimation unit 432 inputs the situation around the vehicle 1 detected by the detection unit 6 to the specific driver into the neural network learned by the general-purpose behavior learning unit 431, so that the specific driver The temporary behavior of the vehicle 1 is estimated.
  • the histogram generation unit 433 generates a histogram of the temporary behavior estimation result by the general-purpose behavior estimation unit 432.
  • the dedicated behavior learning unit 434 learns using a situation around the vehicle 1 detected by the detection unit 6 for a specific driver and a behavior of the vehicle 1 performed after the situation around the vehicle 1.
  • a special neural network for a specific driver is constructed by transfer learning in which the neural network is re-learned.
  • the dedicated behavior learning unit 434 constructs a dedicated neural network by transfer learning with reference to the generated histogram.
  • the dedicated behavior estimation unit 435 estimates the behavior of the vehicle 1 with respect to a specific driver using the dedicated neural network.
  • Modification 2 In this modified example, the estimated behavior is evaluated, the evaluation result is used for relearning, and whether or not the estimated behavior is output to the information acquisition unit 91 is switched based on the evaluation result.
  • FIG. 32 is a block diagram illustrating an example of a functional configuration relating to behavior estimation of the vehicle control unit 7 in the present modification.
  • the vehicle control unit 7 includes a behavior learning unit 401, a behavior estimation unit 402, an evaluation unit 441, and a switch 442. Although not shown in FIG. 32, the vehicle control unit 7 includes a behavior estimation result receiving unit 403 as in the fourth embodiment.
  • the behavior estimation unit 402 outputs the behavior estimation result of the vehicle 1 as in the fourth embodiment.
  • Evaluation unit 441 calculates the amount of change between the current behavior of vehicle 1 and the behavior estimation result output from behavior estimation unit 402. Further, the evaluation unit 441 compares the amount of change with a threshold value, and if the amount of change exceeds the threshold value, that is, if the behavior of the vehicle 1 changes abruptly, invalidates the behavior estimation result. To do. Conversely, when the amount of change is equal to or less than the threshold, that is, when the behavior of the vehicle 1 changes gradually, the evaluation unit 441 validates the behavior estimation result. Then, the evaluation unit 441 outputs a control signal indicating whether or not the behavior estimation result is valid to the switch 442 and the behavior learning unit 401.
  • the switch 442 outputs the behavior estimation result output from the behavior estimation unit 402 to the behavior estimation result reception unit 403 when the control signal indicates validity. Conversely, when the control signal indicates invalidity, the switch 442 prohibits outputting the behavior estimation result to the behavior estimation result receiving unit 403.
  • the behavior learning unit 401 re-learns the behavior estimation NN so that the behavior estimation result is not output from the test data corresponding to the behavior estimation result.
  • FIG. 33 is a block diagram showing another example of a functional configuration related to behavior estimation of the vehicle control unit 7 in the present modification.
  • the vehicle control unit 7 includes a driver model behavior estimation unit 443, a behavior estimation unit 402, an evaluation unit 441, a switch 442a, and a switch 442b. Although not shown in FIG. 33, the vehicle control unit 7 includes a behavior learning unit 401 and a behavior estimation result reception unit 403 as in the fourth embodiment.
  • the switch 442a acquires data used for behavior estimation, such as a driving environment, a feature amount indicating the driving characteristics of the driver, or an environmental parameter, and sends the data to the driver model behavior estimation unit 443 or the behavior estimation unit 402. Sort and output.
  • data used for behavior estimation such as a driving environment, a feature amount indicating the driving characteristics of the driver, or an environmental parameter
  • Driver model behavior estimation unit 443 receives data such as a driving environment via switch 442a, and estimates the behavior of vehicle 1 using the data and the clustering type or individual adaptive type driver model in the seventh embodiment. To do. This behavior estimation method is as shown in the seventh embodiment.
  • the behavior estimation unit 402 receives data such as a feature amount via the switch 442a, and estimates the behavior of the vehicle 1 using the data and the behavior estimation NN. This behavior estimation method is as shown in the fourth embodiment.
  • the evaluation unit 441 determines whether or not the behavior estimation result output from the behavior estimation unit 402 is valid, and outputs a control signal indicating the determination result to the switches 442a and 442b.
  • the switch 442b In response to the control signal from the evaluation unit 441, the switch 442b outputs the behavior estimation result output to the behavior estimation result reception unit 403, the behavior estimation result by the driver model behavior estimation unit 443, and the behavior estimation result by the behavior estimation unit 402. Switch to. That is, when the control signal indicates that the behavior estimation result of the behavior estimation unit 402 is valid, the switch 442b outputs the behavior estimation result of the behavior estimation unit 402 to the behavior estimation result reception unit 403. On the other hand, when the control signal indicates that the behavior estimation result of the behavior estimation unit 402 is invalid, the switch 442b outputs the behavior estimation result of the driver model behavior estimation unit 443 to the behavior estimation result reception unit 403. .
  • the information processing system further determines whether or not the behavior estimated by the behavior estimation unit 402 is valid, and when it is determined to be valid, the information acquisition unit displays the estimated behavior.
  • 91 includes an evaluation unit 441 to be acquired. That is, the evaluation unit 441 outputs the estimated behavior when it is determined to be valid.
  • the evaluation unit 441 determines the validity of the behavior estimation result of the behavior estimation unit 402 based on the amount of change between the current behavior of the vehicle 1 and the behavior estimation result output from the behavior estimation unit 402. The effectiveness may be determined based on other criteria. For example, when a lane change is estimated in a situation where the lane cannot be changed, the evaluation unit 441 invalidates the behavior estimation result of the lane change.
  • the evaluation unit 441 evaluates the behavior estimation result of the behavior estimation unit 402, but evaluates the behavior estimation result of the behavior estimation unit 422, the dedicated behavior estimation unit 415, or the dedicated behavior estimation unit 435. Also good.
  • the evaluation unit 441 may evaluate the behavior estimation result of the driver model behavior estimation unit 443.
  • the evaluation unit 441 may evaluate each of the behavior estimation result of the driver model behavior estimation unit 443 and the behavior estimation result of the behavior estimation unit 402. In this case, the evaluation unit 441 outputs a control signal indicating a valid behavior estimation result to the switch 442b. As a result, the valid behavior estimation result is output to the information acquisition unit 91 via the switch 442b and the behavior estimation result reception unit 403.
  • the switch 442b may distribute data input to the driver model behavior estimation unit 443 and the behavior estimation unit 402 according to the control signal. In this case, the switch 442b distributes the data so that the data is not input to the behavior estimation unit that outputs the invalid behavior estimation result indicated by the control signal.
  • the vehicle in the present embodiment estimates the behavior of the vehicle using a neural network (NN), and evaluates the estimated behavior based on the driver's input. It is characterized in that the evaluation result is reflected in relearning.
  • NN neural network
  • FIG. 34 is a diagram showing a design concept of the information processing system in the present embodiment.
  • the learning data includes noise, and the learning engine generates an error due to the noise. In other words, it is not realistic to construct 100% perfect machine learning.
  • the automatic operation control system in the present embodiment provides an evaluation function according to the purpose of the application (that is, automatic operation), and corrects the learning data or the learning engine method so as to maximize the evaluation function. I do.
  • the automatic driving control system is a constituent element such as the behavior learning unit 401 and the behavior estimation unit 402 according to the fourth embodiment.
  • the behavior learning is performed, and the behavior is determined based on the learning result. It is a system that includes each component to be estimated.
  • the information processing system in this Embodiment contains such an automatic driving
  • FIG. 35 is a diagram for explaining an error in the learning data and the estimation result of the learning engine.
  • the environmental parameter or the environmental parameter set shown in FIGS. 24 and 25 is shown as an example of learning data.
  • this environmental parameter is the situation around the vehicle 1 detected by the detection unit 6 described above.
  • the behavior learning unit 6 when the behavior learning unit processes too much data, it is very difficult to verify the validity of the data one by one. That is, the data generated by the detection unit 6 may include an error. Specifically, even if the detection unit 6 detects the inter-vehicle distance DRba between the preceding vehicle and the host vehicle as “5”, the inter-vehicle distance DRba is erroneous and may be “4” correctly. In addition, there is a problem in the learning method of the learning engine that is the behavior learning unit, and the accuracy of behavior estimation may decrease.
  • the automatic operation control system in the present embodiment reduces the accuracy of behavior estimation even if there is an error or error in the data generated by the detection unit 6 or there is a problem in the learning method. Can be suppressed.
  • the configuration and processing operation of such an automatic operation control system will be described in detail below.
  • FIG. 36 is a diagram showing a system configuration in the vehicle in the present embodiment.
  • the vehicle 1A is the same as the vehicle 1 shown in FIG. 13 of the second embodiment.
  • the vehicle 1A includes a learning unit 501, a driving behavior prediction unit 502, and an automatic driving evaluation unit 503.
  • the automatic driving control system in the present embodiment includes a learning unit 501, a driving behavior prediction unit 502, and an automatic driving evaluation unit 503, and may include other components included in the vehicle 1A. Note that in this embodiment, the description of the points in common with the other embodiments is omitted or simplified, and different points will be described in detail.
  • the vehicle control unit 7 determines the traveling environment based on the traveling state of the vehicle 1A and surrounding conditions. Specifically, the vehicle control unit 7 acquires the traveling state from the brake pedal 2, the accelerator pedal 3, the winker lever 4, and the handle 5. In addition, the vehicle control unit 7 acquires the surrounding situation (environment parameters, etc.) from the detection unit 6. Furthermore, the vehicle control unit 7 stores the acquired traveling state and surrounding conditions in the storage unit 8 as a traveling history.
  • the Learning unit 501 learns the behavior of the vehicle 1A.
  • the driving behavior prediction unit 502 estimates the behavior of the vehicle 1A according to the surrounding situation using the learning result.
  • the vehicle control unit 7 displays the estimated behavior on the display unit 101 of the touch panel 10 as the estimated behavior. At this time, the vehicle control unit 7 displays at least one behavior different from the estimated behavior on the display unit 101 as a behavior candidate.
  • the input unit 102 of the touch panel 10 receives the behavior of the vehicle 1A input by the driver. That is, when any of at least one behavior candidate displayed by the display unit 101 is selected by the driver, the input unit 102 receives the behavior candidate selected by the driver as an input behavior.
  • the input behavior received by the input unit 102 of the touch panel 10 is a driver's evaluation result with respect to the estimated behavior (driving behavior) displayed on the display unit 101.
  • the input unit 102 does not accept the input behavior.
  • the input unit 102 accepts the behavior (behavior candidate) as an input behavior.
  • the acceptance of this input behavior means that the behavior estimation result (prediction result) by the driving behavior prediction unit 502 is incorrect.
  • the automatic driving evaluation unit 503 in the present embodiment corrects the labeling of the behavior with respect to the environmental parameter used to estimate the behavior, and causes the learning unit 501 to perform relearning.
  • the automatic driving evaluation unit 503 changes the prediction method of the driving behavior prediction unit 502.
  • FIG. 37 is a block diagram showing a functional configuration of the automatic driving control system in the present embodiment.
  • the automatic driving evaluation unit 503 is omitted.
  • the automatic driving control system includes a general-purpose behavior learning unit 431, a general-purpose behavior estimation unit 432, a histogram generation unit 433, a dedicated behavior learning unit 434, a dedicated behavior estimation unit 435, and behavior estimation.
  • a result reception unit 436 is provided.
  • 36 includes a general-purpose behavior learning unit 431, a histogram generation unit 433, and a dedicated behavior learning unit 434
  • the driving behavior prediction unit 502 includes a general-purpose behavior estimation unit 432 and a dedicated behavior estimation unit 435.
  • the dedicated behavior learning unit 434 estimates “speed maintenance” as a behavior estimation result (estimated behavior).
  • FIG. 38 is a diagram illustrating an example of behavior displayed and input by the touch panel 10.
  • the display unit 101 of the touch panel 10 displays the speed maintenance as the estimated behavior (behavior estimation result) and at least one behavior different from the estimated behavior. Display candidates.
  • the driver does not want the displayed estimated behavior to be performed by the vehicle 1 ⁇ / b> A, and operates one of the at least one behavior candidates displayed together with the estimated behavior by operating the input unit 102.
  • One behavior candidate “deceleration” is selected as the input behavior.
  • the input unit 102 receives “deceleration” as an input behavior.
  • the input behavior “deceleration” is different from the estimated behavior “speed maintenance”. That is, accepting this input behavior “deceleration” means that the behavior estimation result “speed maintenance” by the driving behavior prediction unit 502 is wrong.
  • the input behavior “deceleration” is fined by the dedicated behavior estimation NN by the dedicated behavior learning unit 434. Use as a constraint for tuning.
  • FIG. 39 is a diagram for explaining fine tuning in the present embodiment.
  • the input behavior “deceleration” is associated as a correct answer label with the environmental parameter which is the test data used for the estimation of the estimated behavior “speed maintenance” described above.
  • the dedicated behavior learning unit 434 uses the environmental parameters used for the estimation of the estimated behavior “speed maintenance” as input parameters, and uses the input behavior “deceleration” as supervised data corresponding to the input parameters. Relearn the weight of the estimated NN. By this relearning, the dedicated behavior estimation NN is constructed and the dedicated behavior estimation NN is fine-tuned.
  • the weight of the general-purpose behavior estimation NN is re-learned based on the temporary behavior histogram so as to increase the degree of coincidence between the output of the general-purpose behavior estimation NN and the supervised data, as in the fourth embodiment. Is done.
  • the input behavior “deceleration” is applied to fine tuning by the dedicated behavior learning unit 434 as a correct answer label.
  • FIG. 40 is a diagram showing a detailed system configuration in the vehicle 1A in the present embodiment.
  • the automatic driving evaluation unit 503 includes a comparison unit 503a.
  • the comparison unit 503a compares the behavior estimated by the dedicated behavior estimation unit 435 in the driving behavior prediction unit 502 (that is, the estimated behavior described above) with the input behavior received by the input unit 102. For example, the comparison unit 503a compares the estimated behavior “speed maintenance” with the input behavior “deceleration”. The input behavior is notified from the input unit 102 to the comparison unit 503a of the automatic driving evaluation unit 503 via the vehicle control unit 7.
  • the comparison unit 503a determines that the estimated behavior and the input behavior are different as a result of the comparison, the comparison unit 503a inputs the input behavior (for example, “deceleration”) as a correct answer label to the dedicated behavior learning unit 434 of the learning unit 501. With this input, fine tuning of the dedicated behavior estimation NN by the dedicated behavior learning unit 434 is performed.
  • the input behavior for example, “deceleration”
  • FIG. 41 is a diagram showing a method for constructing the dedicated behavior estimation NN.
  • the dedicated behavior learning unit 434 when the temporary behavior histogram shown in FIG. 41A is generated, the dedicated behavior learning unit 434 outputs the general-purpose behavior estimation NN and supervised data (in this example, speed maintenance) The weights of the general-purpose behavior estimation NN are relearned so as to increase the degree of coincidence.
  • the dedicated behavior learning unit 434 constructs a dedicated behavior estimation NN that outputs only the behavior of supervised data (for example, speed maintenance) as an estimation result, as shown in FIG. 41 (b).
  • Such relearning is performed not only on one piece of supervised data but also on each of a plurality of other supervised data. That is, the dedicated behavior learning unit 434 constructs a dedicated neural network for a specific driver by transfer learning.
  • FIG. 42 is a diagram showing relearning based on the input behavior of the dedicated behavior estimation NN.
  • the dedicated behavior learning unit 434 constructs a dedicated behavior estimation NN that is a neural network dedicated to a specific driver by transfer learning, as shown in FIG.
  • the estimation result using the dedicated behavior estimation NN constructed as described above is the estimated behavior “speed maintenance”, which is different from the input behavior “deceleration” received by the input unit 102. In other words, the estimated behavior “speed maintenance” is wrong.
  • the dedicated behavior learning unit 434 associates the correct label “deceleration” input from the comparison unit 503a with the environmental parameter set that is test data used for estimation of the estimated behavior “speed maintenance” in the travel history. to add. Then, the dedicated behavior learning unit 434 re-learns the weight of the general-purpose behavior estimation NN using a plurality of environment parameter sets associated with the behavior “deceleration” that is the correct answer label in the travel history in which the addition was performed. Let That is, the dedicated behavior learning unit 434 re-learns the weights of the general-purpose behavior estimation NN so that the correct label frequency (cumulative value) exceeds the frequency (cumulative value) of other labels (behavior). As a result, the dedicated behavior estimation NN is updated, and the dedicated behavior estimation NN with improved estimation accuracy is constructed.
  • the information processing system includes the input unit 102 that receives the behavior of the vehicle 1A input by a specific driver, and the behavior of the vehicle 1A estimated by the driving behavior prediction unit 502. And an automatic driving evaluation unit 503 that evaluates based on the behavior of the vehicle 1A received by the vehicle.
  • the automatic driving evaluation unit 503 evaluates that there is an error in the behavior of the vehicle 1A estimated by the driving behavior prediction unit 502
  • the automatic driving evaluation unit 503 estimates the behavior of the vehicle 1A received by the input unit 102 and the behavior of the vehicle 1A.
  • the learning unit 501 that is a behavior learning unit executes relearning of the neural network using the environmental parameters that are the surrounding conditions of the vehicle 1A detected by the detection unit 6.
  • the prediction accuracy of the driving action that is, the estimation accuracy of the behavior of the vehicle 1A can be improved.
  • the vehicle in the present embodiment estimates the behavior of the vehicle using the dedicated behavior estimation NN, but switches the dedicated behavior estimation NN depending on the scene in which the vehicle is traveling. There is a feature.
  • transfer destination knowledge is derived from a large amount of transfer source knowledge using transfer learning. Therefore, for each small amount of learning data group given to each transfer destination, a plurality of knowledge of the transfer destination is generated. For example, it is possible to generate knowledge in an urban area (a place where a large amount of pedestrians such as intersections in Shibuya exist) and knowledge in a rural deserted area (a place where there are almost no pedestrians). Alternatively, knowledge in fine weather and knowledge in rainy weather can be generated. Alternatively, it is possible to generate knowledge during a traffic jam and knowledge during a normal time when there is no traffic jam. This knowledge corresponds to the above-described dedicated behavior estimation NN.
  • the scene in which the vehicle is running that is, the environment, weather, traffic congestion, and the like is used as a knowledge selection switch.
  • the description of the points in common with the other embodiments is omitted or simplified, and different points will be described in detail.
  • FIG. 43 is a diagram showing a plurality of knowledges (NN) in the present embodiment.
  • the automatic driving control system in the present embodiment uses the transfer source knowledge (general-purpose behavior estimation NN) from the transfer source knowledge (general behavior estimation NN) by transfer learning using the travel history (data group) when the vehicle travels in the city area. Construct a dedicated behavior estimation NN). Similarly, the automatic operation control system builds transfer destination knowledge (dedicated behavior estimation NN) for rural deserted areas through transfer learning using travel history (data group) when the vehicle travels in rural deserted areas. To do. In addition, the automatic driving control system constructs the transfer destination knowledge (dedicated behavior estimation NN) for the traffic jam by the transfer learning using the travel history (data group) when the vehicle is congested.
  • FIG. 44 is a diagram showing a system configuration in the vehicle in the present embodiment.
  • the vehicle 1B is similar to the vehicle 1A shown in FIG. 36 of the fifth embodiment.
  • the vehicle 1B includes an external environment information acquisition unit 504, and includes a learning unit 501a and a driving behavior prediction unit 502a instead of the learning unit 501 and the driving behavior prediction unit 502.
  • the automatic driving control system in the present embodiment includes a learning unit 501a, a driving behavior prediction unit 502a, and an automatic driving evaluation unit 503, and may include other components included in the vehicle 1B.
  • the information processing system in the present embodiment includes such an automatic driving control system and the information notification device 9.
  • the external environment information acquisition unit 504 acquires traffic jam information by, for example, VICS (registered trademark) (Vehicle Information and Communication System), and acquires weather information by communication through the Internet, for example.
  • VICS registered trademark
  • weather information by communication through the Internet, for example.
  • the traffic jam information and the weather information are collectively referred to as external environment information.
  • the learning unit 501a has the same function as the learning unit 501 of the fourth embodiment, and specifies the dedicated behavior estimation NN corresponding to the scene in which the vehicle 1B is traveling as dedicated knowledge. Specifically, the learning unit 501a includes the position information acquired by the position information acquisition unit 61, the map information acquired by the map information acquisition unit 64, and the traffic jam information acquired by the external environment information acquisition unit 504. Based on the scene. Then, the learning unit 501a selects a dedicated behavior estimation NN that is dedicated knowledge associated with the identified scene from a plurality of dedicated knowledge, and the selected dedicated behavior estimation NN is selected as the driving behavior prediction unit. Output to 502a.
  • the learning unit 501a switches position information, map information, and external environment information from the position information acquisition unit 61, the map information acquisition unit 64, and the external environment information acquisition unit 504 to switch dedicated knowledge. As a control signal.
  • the driving behavior prediction unit 502a has the same function as the driving behavior prediction unit 502 of the fourth embodiment, and acquires the dedicated behavior estimation NN output from the learning unit 501a. Then, the driving behavior prediction unit 502a performs behavior estimation (that is, prediction of driving behavior) using the acquired dedicated behavior estimation NN.
  • FIG. 45 is a block diagram showing a functional configuration of the automatic driving control system in the present embodiment.
  • the automatic driving evaluation unit 503 is omitted.
  • the automatic operation control system in the present embodiment includes a general-purpose behavior learning unit 431, a general-purpose behavior estimation unit 432, a histogram generation unit 433, and a behavior estimation result reception unit 436, as in the fifth embodiment.
  • the automatic driving control system in the present embodiment includes a dedicated behavior learning unit 434a and a dedicated behavior estimation unit 435a instead of the dedicated behavior learning unit 434 and the dedicated behavior estimation unit 435 of the fifth embodiment.
  • 45 includes a general-purpose behavior learning unit 431, a histogram generation unit 433, and a dedicated behavior learning unit 434a
  • the driving behavior prediction unit 502a includes a general-purpose behavior estimation unit 432 and a dedicated behavior estimation unit 435a.
  • the dedicated behavior learning unit 434a constructs a dedicated behavior estimation NN corresponding to the scene using the environmental parameter set and the behavior obtained in the scene for each scene in the driving history of the specific driver. To do.
  • the dedicated behavior learning unit 434a receives the control signal described above, specifies a scene corresponding to the control signal, and selects a dedicated behavior estimation NN corresponding to the scene.
  • the dedicated behavior learning unit 434a outputs the selected dedicated behavior estimation NN to the dedicated behavior estimation unit 435a.
  • the dedicated behavior estimation unit 435a Upon acquiring the selected dedicated behavior estimation NN from the dedicated behavior learning unit 434a, the dedicated behavior estimation unit 435a estimates the behavior of the vehicle 1B corresponding to the test data using the selected dedicated behavior estimation NN.
  • FIG. 46 is a diagram for explaining learning by the dedicated behavior learning unit 434a in the present embodiment.
  • the general-purpose behavior learning unit 431 typically transfers the traveling history accumulated in the storage unit 8 during traveling to the server after traveling (for example, after returning home), and the other driver's traveling transmitted from the server.
  • the history is acquired, and the general-purpose behavior estimation NN is updated.
  • the dedicated behavior learning unit 434a acquires the updated general behavior estimation NN and constructs the dedicated behavior estimation NN from the general behavior estimation NN. By this construction, the dedicated behavior estimation NN already constructed is updated, or a new dedicated behavior estimation NN is added.
  • the dedicated behavior learning unit 434a updates or generates the dedicated behavior estimation NN corresponding to the scene for each scene.
  • the scene is indicated by external environment information, map information, and position information acquired in the past.
  • the scene is “fine weather, daytime, traffic jam, 4 lanes, and urban area 01” indicated by the above-mentioned information acquired on January 1.
  • the weather is clear at the position where the vehicle 1B is traveling, the time zone is daytime, the traffic state is traffic jam, the number of lanes on the road is 4, and the region type is City area 01.
  • the dedicated behavior learning unit 434a updates or generates the dedicated behavior estimation NN “NN0001” for such a scene.
  • the dedicated behavior learning unit 434a updates or generates the dedicated behavior estimation NN “NN0001” corresponding to the scene by using only the travel history corresponding to the scene. Furthermore, the dedicated behavior learning unit 434a similarly constructs or generates a dedicated behavior estimation NN (for example, “NN0002”) corresponding to another scene.
  • FIG. 47 is a diagram for explaining selection of the dedicated behavior estimation NN by the dedicated behavior learning unit 434a in the present embodiment.
  • the dedicated behavior learning unit 434a includes a dedicated behavior estimation NN selection unit 505.
  • the dedicated behavior estimation NN selection unit 505 receives position information, map information, and external environment information from the position information acquisition unit 61, the map information acquisition unit 64, and the external environment information acquisition unit 504, respectively, when the vehicle 1B is traveling. Received as a control signal. Then, the dedicated behavior estimation NN selection unit 505 identifies the scene indicated by the received control signal. The dedicated behavior estimation NN selection unit 505 selects a dedicated behavior estimation NN corresponding to the specified scene.
  • the dedicated behavior estimation NN selection unit 505 selects a dedicated behavior corresponding to the scene from the plurality of dedicated behavior estimation NNs.
  • the behavior estimation NN “NN0002” is selected.
  • the dedicated behavior learning unit 434a outputs the selected dedicated behavior estimation NN “NN0002” to the dedicated behavior estimation unit 435a. Accordingly, the dedicated behavior estimation unit 435a estimates the behavior of the vehicle 1B, that is, predicts the driving behavior, using the dedicated behavior estimation NN “NN0002”.
  • the dedicated behavior learning unit 434a constructs a dedicated neural network for a specific driver corresponding to the scene for each scene where the vehicle 1B travels. Further, the dedicated behavior learning unit 434a selects a dedicated neural network corresponding to the current scene in which the vehicle 1B travels from among a plurality of dedicated neural networks, and uses the selected dedicated neural network to specify a specific neural network. The behavior of the vehicle 1B with respect to the driver is estimated.
  • an appropriate neural network can be selected for each scene, and the estimation accuracy of the behavior of the vehicle 1B in each scene, that is, the prediction accuracy of driving behavior can be improved.
  • FIG. 48A illustrates a configuration of an information processing system according to one embodiment of the present invention.
  • the information processing system 1000 includes a detection unit 1001, a behavior learning unit 1002, and a behavior estimation unit 1003.
  • the detection unit 1001 is, for example, the detection unit 6 in the first to third embodiments, and detects a vehicle environment state that is at least one of a situation around the vehicle 1 and a running state of the vehicle 1.
  • the behavior learning unit 1002 is the behavior learning unit 401 or 421 in the fourth to sixth embodiments.
  • the behavior learning unit 1002 causes the neural network to learn the relationship between the vehicle environment state detected by the detection unit 1001 and the behavior of the vehicle 1 performed after the vehicle environment state.
  • the behavior estimation unit 1003 is the behavior estimation unit 402 or 422 in the fourth to sixth embodiments.
  • the behavior estimation unit 1003 estimates the behavior of the vehicle 1 by inputting the current vehicle environment state detected by the detection unit 1001 to the learned neural network.
  • the information processing system 1000 may further include a notification unit that notifies the driver of the behavior estimated by the behavior estimation unit 1003 before the behavior is performed.
  • This notification unit is, for example, the notification unit 92 in the first to third embodiments.
  • the driver can easily know in advance what kind of behavior will be performed, and the driver's anxiety can be resolved.
  • all or part of the detection unit 1001, the behavior learning unit 1002, and the behavior estimation unit 1003 may be provided in the vehicle, or may be provided outside the vehicle.
  • these components included in the information processing system 1000 when some components are provided in the vehicle and the remaining some components are provided outside the vehicle, the components that are inside and outside the vehicle. Performs the above-described processes by performing communication via a network, for example.
  • FIG. 48B is a flowchart of an information processing method according to an aspect of the present invention.
  • This information processing method includes steps S1001, S1002, and S1003.
  • step S1001 a vehicle environmental state that is at least one of a situation around the vehicle 1 and a traveling state of the vehicle 1 is detected.
  • the neural network is caused to learn the relationship between the detected vehicle environmental state and the behavior of the vehicle 1 performed after the vehicle environmental state.
  • step S1003 the behavior of the vehicle 1 is estimated by inputting the detected vehicle environment state at the present time into the learned neural network.
  • the behavior of the vehicle 1 is estimated using a neural network, the behavior (that is, driving behavior) of the vehicle 1 can be appropriately estimated.
  • the driver model is obtained by modeling the tendency of the operation by the driver for each driving environment based on information on the frequency of each operation.
  • the driver model aggregates the traveling histories of a plurality of drivers and is constructed from the aggregated traveling histories.
  • the driving history of the driver is, for example, a history in which the behavior frequency actually selected by the driver among the behavior candidates corresponding to each driving environment is aggregated for each behavior candidate.
  • FIG. 49 is a diagram showing an example of a travel history.
  • candidate behaviors “deceleration”, “acceleration”, and “lane change” are selected three times, once, and five times, respectively. It has been shown. Further, FIG. 49 shows candidates for behaviors “follow”, “passing”, and “change lane” twice, twice, 1 It is shown that you have selected once. The same applies to the driver y.
  • the driving history of the driver may aggregate behaviors selected during automatic driving or may aggregate behaviors actually performed by the driver during manual driving. This makes it possible to collect travel histories according to driving conditions such as automatic driving and manual driving.
  • the driver model includes a clustering type constructed by clustering the driving histories of a plurality of drivers, and a driver model of the driver x from a plurality of driving histories similar to a driving history of a specific driver (for example, driver x).
  • a specific driver for example, driver x
  • the clustering type driver model construction method collects the driving histories of a plurality of drivers as shown in FIG. Then, a driver model is constructed by grouping a plurality of drivers having a high degree of similarity between the traveling histories, that is, a plurality of drivers having similar driving operation tendencies.
  • FIG. 50 is a diagram illustrating a clustering type driver model construction method.
  • FIG. 50 shows the travel histories of the drivers a to f in a table format. From the driving histories of the drivers a to f, it is shown that the model A is constructed from the traveling histories of the drivers a to c, and the model B is constructed from the traveling histories of the drivers d to f.
  • the similarity of the travel histories is, for example, treating each frequency (each numerical value) in the travel histories of the driver a and the driver b as a frequency distribution, calculating a correlation value between the frequency distributions, and using the calculated correlation value as the similarity It is good.
  • each frequency each numerical value
  • the driving history of the driver a and the driver b is set as one group.
  • the calculation of similarity is not limited to this.
  • the degree of similarity may be calculated based on the number of the most frequently matched behaviors in the driving histories of the driver a and the driver b.
  • the clustering type driver model is constructed by, for example, calculating the average of each frequency in the driving history of drivers in each group.
  • FIG. 51 is a diagram illustrating an example of a built clustering driver model.
  • the average frequency of each group is derived by calculating the average of the respective frequencies.
  • the clustering type driver model is constructed with an average frequency for the behavior determined for each driving environment.
  • FIG. 52 is a diagram illustrating another example of the constructed clustering type driver model. As shown in FIG. 52, the most frequent behavior is selected for each traveling environment, and a driver model is constructed from the selected behavior.
  • the driver model as shown in FIG. 51 is stored in advance in the storage unit 8 of the vehicle 1. Further, the vehicle control unit 7 stores a travel history when the driver y has driven in the past in the storage unit 8. The driver y is detected by a camera or the like (not shown) installed in the vehicle.
  • the vehicle control unit 7 calculates the similarity between the driving history of the driver y and the driving history of each model of the driver model, and determines which model is most suitable for the driver y. For example, in the case of the driving history of the driver y shown in FIG. 49 and the driver model shown in FIG. 51, the vehicle control unit 7 determines that the model B is most suitable for the driver y.
  • the vehicle control unit 7 determines that the behavior with the highest frequency is the behavior most suitable for the driver y, that is, the first behavior in each traveling environment of the model B during actual automatic traveling.
  • the behavior frequency is zero, that is, in the driving environment in which the driver has a low-speed car in front.
  • the vehicle control unit 7 is based on the model B shown in FIG. “Follow-up” can be determined as the first behavior.
  • the individual adaptive type driver model construction method aggregates the driving histories of a plurality of drivers as shown in FIG.
  • the difference from the clustering type is that a driver model is constructed for each driver.
  • operator y is demonstrated.
  • the driving histories of a plurality of drivers having high similarity to the driving history of the driver y are extracted from the driving histories of the plurality of drivers collected. Then, a driver model of the driver y is constructed from the extracted driving histories of the plurality of drivers.
  • FIG. 53 is a diagram showing a method for constructing an individual adaptive driver model.
  • the travel histories of the drivers a to f are shown in a table format.
  • FIG. 53 shows that the driver model of the driver y is constructed from the driving history of the driver y shown in FIG. 49 and the driving histories of the drivers c to e having high similarity.
  • the individual adaptive driver model is constructed by calculating the average of each frequency in the extracted driving history of each driver.
  • FIG. 54 is a diagram illustrating an example of a constructed individual adaptive driver model.
  • the average frequency of each behavior is derived for each travel environment.
  • the individually adaptive driver model for the driver y is constructed with an average frequency of behavior corresponding to each traveling environment.
  • the driver model of the driver y as shown in FIG. 54 is stored in the storage unit 8 of the vehicle 1 in advance. Further, the vehicle control unit 7 stores a travel history when the driver y has driven in the past in the storage unit 8. The driver y is detected by a camera or the like (not shown) installed in the vehicle.
  • the vehicle control unit 7 determines that the behavior with the highest frequency is the most suitable behavior for the driver y, that is, the first behavior in each driving environment of the driver model of the driver y in actual automatic driving. Judge that there is.
  • the behavior frequency is zero, that is, in the driving environment in which the driver has a low-speed car in front.
  • the vehicle control unit 7 is based on the driver model shown in FIG. “Changing lane” can be determined as the first behavior.
  • the actual operation for example, the magnitude of acceleration or deceleration, or the amount of operation of the steering wheel
  • one behavior for example, lane change
  • the vehicle control unit 7 extracts a feature amount indicating the driving characteristics of the driver from the operation content of each part of the vehicle 1 of the driver, and stores it in the storage unit 8.
  • the feature amount includes, for example, a feature amount related to speed, a feature amount related to steering, a feature amount related to operation timing, a feature amount related to outside-vehicle sensing, a feature amount related to in-vehicle sensing, and the like.
  • the feature quantity related to speed includes, for example, the speed, acceleration, and deceleration of the vehicle, and these feature quantities are acquired from a speed sensor or the like that the vehicle has.
  • the feature amount related to the steering includes, for example, the steering angle, angular velocity, and each acceleration of the steering, and these feature amounts are acquired from the steering wheel 5.
  • the feature amounts related to the operation timing include, for example, the operation timing of the brake, the accelerator, the winker lever, and the handle. These feature amounts are acquired from the brake pedal 2, the accelerator pedal 3, the winker lever 4, and the handle 5, respectively. .
  • the feature amount related to outside-vehicle sensing includes, for example, a distance between vehicles in front, side, and rear, and these feature amounts are acquired from the sensor 62.
  • the feature amount related to in-vehicle sensing is, for example, personal recognition information indicating who the driver is and who is the passenger, and these feature amounts are acquired from a camera or the like installed in the vehicle.
  • the vehicle control unit 7 detects that the driver has manually changed the lane.
  • the detection method is performed by analyzing operation time series data acquired from CAN information or the like by rule-forming operation time series patterns for changing lanes in advance. In that case, the vehicle control part 7 acquires the feature-value mentioned above.
  • the vehicle control unit 7 stores the feature amount in the storage unit 8 for each driver, and constructs a driving characteristic model.
  • the vehicle control unit 7 may construct the above-described driver model based on the feature amount for each driver. That is, the vehicle control unit 7 extracts a feature value related to speed, a feature value related to steering, a feature value related to operation timing, a feature value related to outside-vehicle sensing, and a feature value related to in-vehicle sensing, and stores them in the storage unit 8. And based on the feature-value memorize
  • FIG. 55 is a diagram showing an example of the driving characteristic model.
  • FIG. 55 shows the feature values in tabular form for each driver.
  • FIG. 55 shows the number of times each behavior has been selected in the past for each driver. Although only a part of the feature amount is described, any or all of the above may be described.
  • the numerical value of speed is a numerical value indicating the actual speed in stages.
  • the numerical values of the steering wheel, the brake, and the accelerator are numerical values that indicate the operation amount step by step. These numerical values are obtained, for example, by calculating an average value of the operation amounts of the speed, steering wheel, brake, and accelerator within a predetermined period in the past, and expressing the average value stepwise.
  • the speed level is 8, and the steering wheel, brake, and accelerator operation amounts are 4, 6, and 8, respectively.
  • the vehicle control unit 7 performs driving corresponding to the driver, the behavior, and the passenger according to who the driver is, what kind of behavior is executed, and who the passenger is.
  • the characteristic model is selected from the driving characteristic models shown in FIG.
  • the vehicle control unit 7 causes the vehicle 1 to travel at a speed corresponding to the selected driving characteristic model, and controls the vehicle 1 by a combination of steering wheel, brake, accelerator operation amounts and timing. Thereby, the automatic driving
  • FIG. 56 is a diagram illustrating the display of the notification unit 92 according to the seventh embodiment of the present invention.
  • FIG. 56 is a display for the first example of the traveling environment shown in FIG.
  • FIG. 56 is a display of the notification unit 92 in a state where the vehicle is performing normal travel that does not require lane change, vehicle acceleration, or deceleration.
  • FIG. 56A shows a symbol 231 indicating that the driving characteristic of the driver is “a lot of deceleration” and a symbol 232 indicating that the driver is currently in automatic driving.
  • the vehicle control unit 7 determines the driving characteristics of the driver based on, for example, the number of times each behavior included in the driving characteristics model shown in FIG. 55 has been selected in the past. In this case, for example, the vehicle control unit 7 displays a display including a symbol 231 as shown in FIG. 56 for the driver who frequently decelerates from the driving characteristics (the number of times of selecting the behavior of so-called “deceleration” is large). The information is displayed on the notification unit 92.
  • the vehicle control unit 7 determines that the driving environment is the driving environment of the first example illustrated in FIG. 5, the vehicle control unit 7 determines that the driving characteristic of the driver is “high deceleration” driving characteristic. Based on the fact, the first behavior is determined to be “deceleration”, and the notification unit 92 is caused to execute the display of FIG.
  • a symbol 233 indicating “deceleration” which is the first behavior is shown in a first mode (for example, a first color). Further, a symbol 234 indicating “acceleration” as the second behavior and a symbol 235 indicating “lane change” as the second behavior are shown.
  • the vehicle control unit 7 causes the notification unit 92 to execute the display of (c) of FIG. 56. .
  • a symbol 234 'indicating "acceleration" which is the selected behavior is shown in the first mode.
  • the symbol 233 ′ is a symbol 233 displayed as the first behavior in FIG. 56B and replaced with the symbol 234.
  • the vehicle control unit 7 causes the notification unit 92 to display the display illustrated in FIG. 56D after the second predetermined time has elapsed since the notification unit 92 has executed the display illustrated in FIG. Display.
  • a symbol 234 'indicating "acceleration" selected by the driver is displayed in the second mode as the next behavior.
  • the vehicle control unit 7 When it is determined that the next behavior to be taken is “acceleration”, the vehicle control unit 7 reads out feature amounts corresponding to the “acceleration” behavior included in the driving characteristic model, and performs “acceleration” reflecting those feature amounts. The vehicle 1 is controlled to do so.
  • FIG. 57 is a diagram illustrating the display of the notification unit 92 according to the seventh embodiment of the present invention.
  • FIG. 57 is a display for the second example of the travel environment shown in FIG.
  • components common to those in FIG. 56 are denoted by the same reference numerals as those in FIG. 56, and detailed description thereof is omitted.
  • FIG. 57 is a diagram in which the symbol 235 indicating “lane change” is deleted from FIG. 56.
  • FIG. 7 As described above, in the second example (FIG. 7), unlike the first example (FIG. 5), another vehicle is traveling to the right of the vehicle 1, and therefore the lane cannot be changed. Therefore, in FIG. 57B and FIG. 57C, “lane change” is not displayed. In the example of FIG. 57 (c), “acceleration” is selected as in the case of FIG. 56 (c). Therefore, the vehicle control unit 7 is included in the driving characteristic model as in FIG. The vehicle 1 is controlled to read out feature amounts corresponding to the behavior of “acceleration” and perform “acceleration” reflecting those feature amounts.
  • FIG. 58 is a diagram for explaining the display of the notification unit 92 according to the seventh embodiment of the present invention.
  • FIG. 58 is a display for the third example of the traveling environment shown in FIG.
  • (A) in FIG. 58 is the same as (a) in FIG.
  • the vehicle control unit 7 determines that the driving environment of the third example illustrated in FIG. 8 is satisfied, the vehicle control unit 7 determines that the driving characteristic of the driver is the “high deceleration” driving characteristic.
  • the first behavior is determined to be “deceleration” and the notification unit 92 is caused to execute the display of FIG.
  • a symbol 251 indicating “deceleration” which is the first behavior is shown in a first mode (for example, a first color). Further, a symbol 252 indicating “passing” that is the second behavior and a symbol 253 indicating “lane change” that is the second behavior are shown.
  • the vehicle control unit 7 causes the notification unit 92 to execute the display of (c) of FIG. 58. .
  • a symbol 252 'indicating "passing" which is the selected behavior is shown in the first mode.
  • the symbol 251 ′ is displayed by replacing the symbol 251 displayed as the first behavior in FIG. 58B with the symbol 252.
  • the vehicle control unit 7 causes the notification unit 92 to display the display illustrated in FIG. 58D after the second predetermined time has elapsed since the notification unit 92 has executed the display illustrated in FIG. Display.
  • a symbol 252 'indicating "passing" selected by the driver is displayed in the second mode.
  • the vehicle control unit 7 reads out feature amounts corresponding to the “passing” behavior included in the driving characteristic model, and performs “acceleration” reflecting those feature amounts. The vehicle 1 is controlled to do so.
  • FIG. 59 is a diagram for explaining the display of the notification unit 92 according to the seventh embodiment of the present invention.
  • FIG. 59 is a display for the first example of the travel environment shown in FIG.
  • FIG. 59A shows an example in which the driving characteristic of the driver is “high acceleration” driving characteristic
  • FIG. 59B shows the driving characteristic of the driver “many lane changes”. ”Shows an example in the case of driving characteristics.
  • FIG. 59 (a) shows a symbol 261 indicating that the driving characteristic of the driver is the “high acceleration” driving characteristic. Further, a symbol 262 indicating “acceleration” which is the first behavior is shown in the first mode (for example, the first color). Further, a symbol 263 indicating “lane change” as the second behavior and a symbol 264 indicating “deceleration” as the second behavior are shown.
  • the vehicle control unit 7 gives a symbol such as (a) in FIG. 59 to a driver who has a lot of “acceleration” in the past based on driving characteristics (a large number of times the behavior of “acceleration” is selected in the past).
  • the notification unit 92 is caused to execute display including H.261.
  • the vehicle control unit 7 determines that the first behavior is “acceleration” based on the driving characteristics of the driver being “high acceleration” driving characteristics, and notifies the display of FIG. 59A.
  • the unit 92 is caused to execute.
  • FIG. 59 (b) shows a symbol 265 indicating that the driving characteristic of the driver is a driving characteristic with “many lane changes”. Further, a symbol 266 indicating “lane change” as the first behavior is shown in the first mode (for example, the first color). Further, a symbol 267 indicating “lane change” as the second behavior and a symbol 268 indicating “deceleration” as the second behavior are shown.
  • the vehicle control unit 7 gives a lot of “lane change” in the past based on driving characteristics (so-called “lane change” has been selected many times in the past) to the driver as shown in FIG. 59 (b).
  • the notification unit 92 is caused to perform display including a simple symbol 265.
  • the vehicle control unit 7 determines that the first behavior is “lane change” based on the driving characteristics of the driver having “many lane changes”, and notifies the display of FIG. 59B.
  • the unit 92 is caused to execute.
  • symbol 231 indicates the type of driver model selected from the driver's operation history. May be indicated.
  • a display including the symbol 231 as shown in FIG. Is determined as "deceleration”.
  • the display including the symbol 261 as shown in FIG. 59A is executed by the notification unit 92, and the first behavior is determined as “acceleration”.
  • the display including the symbol 261 as shown in FIG. 59A is executed by the notification unit 92, and the first behavior is determined as “lane change”.
  • the driver's past driving history can be learned, and the result can be reflected in the determination of the future behavior.
  • the vehicle control unit controls the vehicle, the driving characteristics (driving preference) of the driver can be learned and reflected in the control of the vehicle.
  • automatic driving can be controlled at the timing and amount of operation that the driver or occupant prefers the vehicle, and unnecessary operation intervention by the driver during automatic driving without departing from the sense of actual driving by the actual driver. Can be suppressed.
  • a server device such as a cloud server may execute a function similar to the function executed by the vehicle control unit 7.
  • storage part 8 may exist not in the vehicle 1 but in server apparatuses, such as a cloud server.
  • the storage unit 8 may store an already constructed driver model, and the vehicle control unit 7 may determine the behavior with reference to the driver model stored in the storage unit 8.
  • the vehicle control unit 7 acquires feature amount information indicating the driving characteristics of the driver, the storage unit 8 stores the feature amount information, and the vehicle control unit 7 stores the feature amount information. Based on the feature amount information stored in the unit 8, a driver model indicating the tendency of the behavior of the vehicle selected by the driver with the frequency of each selected behavior is constructed for each traveling environment of the vehicle.
  • the vehicle control unit 7 determines a group of drivers who select a similar behavior among a plurality of drivers, and constructs a driver model for each group and for each driving environment of the vehicle.
  • the vehicle control unit 7 calculates the average value of the behavior frequency selected by each driver for each group of drivers who perform similar operations, and calculates the behavior tendency of the vehicle selected by the driver.
  • the driver model indicated by the value was constructed for each driving environment of the vehicle.
  • the vehicle control unit 7 determines the vehicle selected by the specific driver based on the behavior of the vehicle selected by another driver that tends to be similar to the behavior tendency of the vehicle selected by the specific driver.
  • a driver model indicating the tendency of behavior with the frequency of each selected behavior is constructed for each traveling environment of the vehicle.
  • the vehicle control unit 7 can construct a driver model more suitable for the driving tendency of the driver, and can perform more appropriate automatic driving for the driver based on the constructed driver model.
  • driver model (Modified example of driver model)
  • driver model demonstrated above modeled the tendency of operation (behavior) by the driver for every driving environment based on the information of the frequency of each operation, etc.
  • present invention is not limited to this. .
  • the driver model is constructed based on a travel history in which environmental parameters indicating travel environments (that is, situations) that have traveled in the past and operations (behaviors) actually selected by the driver in the travel environment are associated with each other. May be.
  • environmental parameters indicating travel environments (that is, situations) that have traveled in the past and operations (behaviors) actually selected by the driver in the travel environment are associated with each other. May be.
  • options can be determined without going through the procedure of separately detecting and classifying the driving environment and inputting (storing) the classification result into the driver model.
  • the difference in travel environment as shown in FIG. 56 and FIG. 57 is acquired as an environment parameter and directly input (stored) in the driver model, so that “acceleration”, “deceleration”, “lane” in FIG. “Change” is an option, and in FIG. 57, “acceleration” and “deceleration” are options.
  • the driver model described below may be referred to as a situation database.
  • FIG. 60 is a diagram illustrating an example of a travel history.
  • FIG. 60 shows a travel history in which an environment parameter indicating a travel environment in which the vehicle driven by the driver x has traveled in the past corresponds to an operation (behavior) actually selected by the driver in the travel environment. Has been.
  • the environmental parameters (a) to (c) of the travel history shown in FIG. 60 are respectively operated as shown in FIGS. 8 (b), 5 (b), and 7 (b), for example. It shows the driving environment when the behavior of the vehicle is presented to the person.
  • the environmental parameter of the travel history is obtained from sensing information and infrastructure information.
  • Sensing information is information detected by a sensor, radar, or the like included in the vehicle.
  • the infrastructure information includes GPS information, map information, information acquired through road-to-vehicle communication, and the like.
  • the environmental parameters of the travel history shown in FIG. 60 are “own vehicle information”, “previous vehicle information” indicating information of a vehicle traveling ahead of the lane on which the own vehicle a travels, and the lane on which the own vehicle travels.
  • “Side lane information” indicating the side lane information of the vehicle, and if there is a merging lane at the position where the host vehicle is traveling, the "Merge lane information” indicating the information of the merging lane, It includes “location information” indicating surrounding information.
  • “information on own vehicle” includes information on the speed Va of the own vehicle.
  • the “preceding vehicle information” includes information on the relative speed Vba of the preceding vehicle b with respect to the host vehicle, the inter-vehicle distance DRba between the preceding vehicle and the host vehicle, and the rate of change RSb of the preceding vehicle.
  • the speed Va of the host vehicle is detected by a speed sensor of the host vehicle.
  • the relative speed Vba and the inter-vehicle distance DRba are detected by a sensor, a radar, or the like.
  • “Information on the side lane” includes information on the side rear vehicle c traveling behind the host vehicle in the side lane, information on the side front vehicle d traveling ahead of the host vehicle in the side lane, Information of the remaining side lane length DRda.
  • the information on the side rear vehicle includes information on the relative speed Vca of the side rear vehicle with respect to the own vehicle, the inter-head distance Dca between the side rear vehicle and the own vehicle, and the change rate Rca of the inter-head distance.
  • the inter-head distance Dca between the side rear vehicle and the host vehicle is determined by measuring the front end portion (vehicle head) of the host vehicle and the front end portion of the side rear vehicle (in the direction along the traveling direction of the host vehicle (and the side rear vehicle)). This is the distance between The inter-vehicle distance may be calculated from the inter-vehicle distance and the vehicle length. The inter-vehicle distance may be substituted for the inter-vehicle distance.
  • the relative speed Vca and the inter-head distance Dca are detected by a sensor, a radar, or the like.
  • the information on the side front vehicle includes information on the relative speed Vda of the side front vehicle with respect to the host vehicle, the distance Dda between the head of the side front vehicle and the host vehicle, and the change rate Rda of the head distance.
  • the head-to-head distance Dda between the side front vehicle and the host vehicle is measured along the traveling direction of the host vehicle (and the side front vehicle) and the tip end portion (vehicle head) of the host vehicle and the tip portion (vehicle head) of the side front vehicle. Is the distance between.
  • the remaining side lane length DRda of the host vehicle is a parameter indicating a high possibility of lane change to the side lane. Specifically, the remaining side lane length DRda of the host vehicle is measured in the direction along the traveling direction of the host vehicle (and the side front vehicle) and the rear end portion of the side front vehicle. Is longer than the inter-vehicle distance DRba between the preceding vehicle and the host vehicle, the distance between the front end portion (vehicle head) of the host vehicle and the rear end portion of the side forward vehicle, and the front end portion of the host vehicle ( When the distance between the vehicle head) and the rear end portion of the side front vehicle is shorter than DRba, DRba is set.
  • the remaining side lane length DRda of the host vehicle is detected by a sensor, a radar, or the like.
  • the information on the merging lane includes information on the relative speed Vma of the merging vehicle with respect to the own vehicle, the distance Dma between the merging vehicle and the own vehicle, and the rate of change Rma of the inter-vehicle distance.
  • the inter-head distance Dma between the joining vehicle and the host vehicle is measured in the direction along the traveling direction of the host vehicle (and the joining vehicle) and the leading end portion (head of the host vehicle) and the leading end portion (head of the joining vehicle) ).
  • the relative speed Vma and the inter-head distance Dma are detected by a sensor, a radar, or the like.
  • the numerical values of the speed, the distance, and the change rate described above are classified into a plurality of levels, and numerical values indicating the classified levels are stored. Note that the numerical values of the speed, the distance, and the change rate may be stored as they are without being classified into levels.
  • the location information is "location information of own vehicle”, “number of lanes”, “travel lane of own vehicle”, “distance to start / end points of merge section” "distance to start / end points of branch section” It includes information such as “distance to construction section start / end points”, “distance to lane decrease section start / end points”, and “distance to traffic accident occurrence point”.
  • FIG. 60 shows information of “travel lane of own vehicle” (travel lane of FIG. 60) and “distance to start / end points of merge section” as examples of position information.
  • the distance to the start / end point of the merge section is determined in advance when the start / end point of the merge section exists within a predetermined distance. It is classified into a plurality of levels, and the numerical values of the classified levels are stored. If there is no start / end point of the merging section within the predetermined distance, “0” is stored in the “distance to the start / end point of the merging section” column.
  • the distance to the start / end point of the branch section is determined in advance. It is classified into a plurality of levels, and the numerical values of the classified levels are stored. If there is no start / end point of the branch section within the predetermined distance, “0” is stored in the “distance to the start / end point of the branch section”. In the "Distance to construction section start / end point” column, if there is a construction section start / end point within a predetermined distance, the distance to the construction section start / end point is determined in multiple levels. And the numerical value of the classified level is stored. When there is no construction section start / end point within a predetermined distance, “0” is stored in the column “Distance to construction section start / end point”.
  • the distance to the start / end point of lane decrease section is determined in advance when there is a start / end point of lane reduction section within the predetermined distance. It is classified into a plurality of levels, and the numerical values of the classified levels are stored. When there is no lane decrease section start / end point within a predetermined distance, “0” is stored in the “distance to lane decrease section start / end point” column.
  • the distance to the traffic accident occurrence point is classified into a plurality of predetermined levels. The numerical value of the selected level is stored. If there is no traffic accident occurrence point within a predetermined distance, “0” is stored in the “distance to the traffic accident occurrence point” column.
  • the position information may include information on which lanes of the road on which the vehicle is traveling are merge lanes, branch lanes, construction lanes, reduced lanes, and accident lanes.
  • the travel history shown in FIG. 60 is merely an example, and the present invention is not limited to this.
  • the travel history may further include “information on the left side lane” on the opposite side.
  • Left lane information includes information on the left rear vehicle traveling behind the host vehicle in the left lane, information on the left front vehicle traveling ahead of the host vehicle in the left lane, and the remaining left side of the host vehicle. Information on the direction lane length DRda.
  • the information on the left rear vehicle includes information on the relative speed Vfa of the left rear vehicle with respect to the host vehicle, the head distance Dfa between the left rear vehicle and the host vehicle, and the change rate Rfa of the head head distance.
  • the head-to-head distance Dfa between the left rear vehicle and the host vehicle is a front end portion (vehicle head) of the host vehicle measured in a direction along the traveling direction of the host vehicle (and the left rear vehicle) and a front end portion of the left rear vehicle ( This is the distance between
  • the information on the left front vehicle includes information on the relative speed Vga of the left front vehicle with respect to the own vehicle, the distance Dga between the left front vehicle and the own vehicle, and the rate of change Rga of the head distance.
  • the head-to-head distance Dga between the left front vehicle and the host vehicle is measured along the traveling direction of the host vehicle (and the left front vehicle) and the tip portion (vehicle head) of the host vehicle and the tip portion (vehicle head) of the left front vehicle. Is the distance between.
  • the travel history shown in FIG. 60 may include “rear vehicle information” indicating information on a rear vehicle traveling behind the host vehicle in the travel lane.
  • the information on the rear vehicle includes information on the relative speed Vea of the rear vehicle with respect to the host vehicle, the distance Dea between the rear vehicle and the host vehicle, and the rate of change Rea of the head distance.
  • the head-to-head distance Dea between the rear vehicle and the host vehicle is determined by the front end portion (vehicle head) of the host vehicle and the front end portion (vehicle head) of the rear vehicle measured in the direction along the traveling direction of the host vehicle (and the rear vehicle). Is the distance between.
  • the relative speed Vea and the inter-head distance Dea are detected by a sensor, a radar, or the like.
  • an alternative value of the vehicle head distance may be used, such as a vehicle distance that can be measured, or an approximate value obtained by adding a predetermined vehicle length to the vehicle distance. You may calculate by adding the vehicle length for every vehicle type recognized to the distance between vehicles. Regardless of whether the head-to-head distance can be measured or not, as an alternative to the head-to-head distance, an inter-vehicle distance that can be measured or an approximate value obtained by adding a predetermined vehicle length to the head-to-head distance may be used. It may be calculated by adding the length of each recognized vehicle type.
  • the traveling history may include various other information related to the traveling environment of the vehicle.
  • the travel history may include information on the size and type of the preceding vehicle, the side vehicle, the joining vehicle, and the relative position with respect to the host vehicle.
  • the type of a vehicle approaching from behind may be recognized by a camera sensor, and information indicating that the vehicle is an emergency vehicle may be included when the vehicle is an emergency vehicle. Thereby, it can inform that it is information reporting for correspondence to an emergency vehicle.
  • the numerical value which showed the steering wheel, the brake, the accelerator operation amount in steps, the passenger information, etc. as described in FIG. 55 may be included in the travel history.
  • the behaviors selected during the automatic driving may be aggregated, or the behaviors actually performed by the driver during the manual driving may be aggregated. This makes it possible to collect travel histories according to driving conditions such as automatic driving and manual driving.
  • the environmental parameter included in the travel history indicates the travel environment when the behavior of the vehicle is presented to the driver.
  • the travel environment when the driver selects the behavior May be shown.
  • both the environmental parameter indicating the driving environment when the behavior of the vehicle is presented to the driver and the environmental parameter indicating the driving environment when the driver selects the behavior may be included in the driving history. .
  • the vehicle control unit 7 performs the following operations: (a) in FIG. 2, (a) in FIG. 5, (a) in FIG. 6, (a) in FIG. 7, (a) in FIG. 8, (a) in FIG.
  • the first behavior and the second behavior are factors that are selected.
  • Information of high environmental parameters and information related to the environmental parameters are generated as notification information, and the notification information is notified by, for example, showing the generated notification information on an overhead view. 92 may be informed.
  • the vehicle control unit 7 increases the brightness between the preceding vehicle and the host vehicle in the overhead view.
  • An area where the color is raised or the color is changed may be displayed to notify the notification unit 92 of the notification information.
  • the vehicle control unit 7 may display an icon indicating that the contribution degree of the inter-vehicle distance DRba and the change rate RSb is high in the area between the preceding vehicle and the host vehicle as the notification information. Further, the vehicle control unit 7 causes the notification unit 92 to draw a line segment connecting the preceding vehicle and the host vehicle as notification information on the overhead view, or to notify line segments connecting all the surrounding vehicles and the host vehicle. The line segment connecting the preceding vehicle and the host vehicle may be emphasized on the overhead view.
  • the vehicle control unit 7 raises the luminance between the preceding vehicle and the host vehicle in the viewpoint image seen from the driver, not the overhead view, and between the preceding vehicle and the host vehicle.
  • AR Augmented Reality
  • display may be realized by displaying different colored areas as notification information.
  • the vehicle control unit 7 may cause the notification unit 92 to display an AR indicating an environmental parameter having a high contribution degree in the region between the preceding vehicle and the host vehicle as notification information in the viewpoint image.
  • the vehicle control unit 7 displays the line segment connecting the preceding vehicle and the host vehicle in the viewpoint image as AR information, or the line segment connecting all the surrounding vehicles and the host vehicle in the viewpoint image. May be displayed as the notification information and the line segment connecting the preceding vehicle and the host vehicle may be emphasized.
  • the vehicle control unit 7 may generate, as notification information, an image that highlights a preceding vehicle that is a target of an environmental parameter with a high contribution, and may display the image on the notification unit 92.
  • the vehicle control unit 7 generates information indicating the direction of the preceding vehicle or the like that is the target of the environmental parameter with a high contribution in the overhead view or the AR display as the notification information, and the information is the own vehicle or the vicinity of the own vehicle. May be displayed.
  • the vehicle control unit 7 reduces the display brightness of a preceding vehicle or the like that is the target of the environmental parameter with a low contribution instead of notifying the information about the environmental parameter with a high contribution or information related to the environmental parameter.
  • information on an environmental parameter having a high degree of contribution that is made inconspicuous by making it inconspicuous or information related to the environmental parameter may be generated as notification information and displayed on the notification unit 92.
  • the driver model includes a clustering type constructed by clustering the driving histories of a plurality of drivers, and a driver model of the driver x from a plurality of driving histories similar to a driving history of a specific driver (for example, driver x).
  • a specific driver for example, driver x
  • the clustering type driver model construction method aggregates the driving history of the driver as shown in FIG. 60 in advance for each driver. Then, a driver model is constructed by grouping a plurality of drivers having a high degree of similarity between the traveling histories, that is, a plurality of drivers having similar driving operation tendencies.
  • the similarity between the driving histories is a correlation between vectors having environmental parameter values and behavior values as elements. Can be determined from the value.
  • the correlation value calculated from the driving history of the driver a and the driver b is higher than a predetermined value, the driving history of the driver a and the driver b is set as one group. The calculation of the similarity is not limited to this.
  • the method for constructing the individual adaptive type driver model aggregates the driving histories of a plurality of drivers as shown in FIG. 60 in advance.
  • the difference from the clustering type is that a driver model is constructed for each driver.
  • the driving history of the driver y is compared with the driving histories of other drivers, and the driving histories of a plurality of drivers with high similarity are extracted. .
  • an individually adaptive driver model for the driver y is constructed from the extracted driving histories of the plurality of drivers.
  • driver model (situation database) based on the travel history shown in FIG. 60 is not limited to the clustering type or the individual adaptive type, and may be configured to include the travel history of all drivers, for example.
  • driver model in which the driving histories of four drivers a to d are aggregated is used for the driver x.
  • the driver model is constructed by the vehicle control unit 7.
  • FIG. 61 shows how to use the driver model in this modification.
  • (A) of FIG. 61 is an environmental parameter which shows the driving environment in the present time of the vehicle which the driver
  • FIG. 61B is an example of a driver model for the driver x.
  • the behavior (operation) with respect to the environmental parameter indicating the current driving environment is blank.
  • the vehicle control unit 7 acquires environmental parameters at a predetermined interval, and uses any one of the environmental parameters as a trigger to determine the next behavior from the driver model shown in FIG.
  • a trigger for example, when the distance to the start point of the merging section is a predetermined distance or less, or when the relative speed with the preceding vehicle is a predetermined value or less, it is necessary to change the operation of the vehicle.
  • An environmental parameter indicating the case may be used as a trigger.
  • the vehicle control unit 7 compares the environmental parameter shown in FIG. 61A with the environmental parameter of each driving history of the driver model shown in FIG. 61B, and is associated with the most similar environmental parameter.
  • the determined behavior is determined to be the first behavior.
  • some behaviors associated with other similar environmental parameters are determined as second behaviors.
  • Whether the environmental parameters are similar can be determined from the correlation value of the vectors whose elements are the numerical values of the environmental parameters. For example, the correlation value calculated from the vector whose element is the numerical value of the environmental parameter shown in FIG. 61A and the vector whose element is the numerical value of the environmental parameter shown in FIG. 61B is higher than a predetermined value. The environmental parameters are determined to be similar. Note that the method for determining whether the environmental parameters are similar is not limited to this.
  • the storage unit 8 stores information indicating a safe driving criterion, and the vehicle control unit 7 determines whether or not the driving history satisfies this criterion. Furthermore, the vehicle control unit 7 may register a travel history that satisfies this criterion in the database, and may not register a travel history that does not satisfy this criterion in the database.
  • the vehicle control unit 7 accurately determines the next behavior without determining the specific driving environment, that is, without labeling the driving environment. Can be determined.
  • the driver model may be constructed from a travel history in which a behavior selected by the driver during automatic driving and an environment parameter indicating a travel environment when the behavior is presented are associated with each other.
  • the driver model may be constructed from a travel history in which a behavior selected by the driver during automatic driving and an environmental parameter indicating a travel environment when the behavior is performed by the vehicle are associated with each other.
  • the environmental parameter indicating the future driving environment is predicted from the environmental parameter indicating the current driving environment, and the driver Of the environmental parameters indicating the driving environment when the vehicle performs the behavior selected by the above, the behavior associated with the environmental parameter most similar to the predicted environmental parameter is the first behavior, and other similar environments Some behaviors associated with the parameters may be determined to be the second behavior.
  • the above prediction is performed, for example, by extrapolating environmental parameters at a future time from environmental parameters indicating the driving environment at the current time and a time before the current time.
  • the driver model (situation database) includes a driving history that associates a behavior selected by the driver during automatic driving with an environmental parameter indicating a driving environment when the behavior is presented, and a driver during automatic driving. May be constructed from both the travel history in which the behavior selected by and the environmental parameters indicating the travel environment when the vehicle performs the behavior are associated with each other.
  • both travel histories are stored in a format as shown in FIG. 61 (b), and the vehicle control unit 7 determines the next behavior from them.
  • the vehicle control unit 7 gives priority between the two, for example, associating the behavior selected by the driver during the automatic driving with the environment parameter indicating the traveling environment when the vehicle performs the behavior.
  • the next behavior may be determined preferentially from the travel history.
  • a server device such as a cloud server may execute a function similar to the function executed by the vehicle control unit 7.
  • the storage unit 8 since the storage unit 8 has an enormous number of data as the driving history is accumulated, it may be in a server device such as a cloud server instead of the vehicle 1.
  • the storage unit 8 may store an already constructed driver model, and the vehicle control unit 7 may determine the behavior with reference to the driver model stored in the storage unit 8.
  • the storage unit 8 In the configuration in which the storage unit 8 is provided in the cloud server, it is desirable to provide a cache in case the storage unit 8 cannot be accessed due to a decrease in communication speed or communication disconnection.
  • FIG. 62 is a block diagram showing an example of cache arrangement.
  • the vehicle control unit 7 stores the travel history in the storage unit 8 through the communication unit 291 and holds a part of the driver model (situation database) stored in the storage unit 8 in the cache 292 through the communication unit 291.
  • the vehicle control unit 7 accesses the driver model of the cache 292.
  • a method for creating a cache at this time a method of limiting by the presence or absence of environmental parameters, a method of using position information, a method of processing data, and the like are conceivable. Each will be described below.
  • the vehicle control unit 7 extracts driving environments having only the same environmental parameters from the driving environments stored in the storage unit 8, sorts these, and holds them in the cache 292.
  • the vehicle control unit 7 updates the primary cache at the timing when the environmental parameter obtained from the detected situation is changed. By doing so, the vehicle control unit 7 can extract a similar surrounding situation even if the communication speed decreases.
  • the environmental parameters for determining whether or not there is a change may be all of the environmental parameters listed above, or some of the environmental parameters.
  • a primary cache and a secondary cache may be prepared in the cache 292.
  • the vehicle control unit 7 holds a traveling environment having the same environmental parameter in the primary cache. Further, the vehicle control unit 7 is reduced by one from the driving environment in which one environmental parameter is added to the driving environment held in the temporary cache and from the driving environment in which the environmental parameter is held in the temporary cache. At least one of the driving environments in the state is held in the secondary cache.
  • the vehicle control unit 7 can extract a similar situation using only the data in the cache 292 even if a temporary communication interruption occurs.
  • the vehicle control unit 7 determines that the traveling environment in which only the side front vehicle 302 exists (the same The driving environment in which only the environmental parameters exist is extracted from the storage unit 8 in which all the driving environments (situations) are stored, and stored in the primary cache 304.
  • the vehicle control unit 7 is configured such that the traveling environment in which only one vehicle other than the side front vehicle 302 is added (the traveling environment in which one environmental parameter is added to the same environmental parameter) or the side front vehicle 302 is used.
  • a driving environment without a vehicle is extracted from the storage unit 8 and stored in the secondary cache 305.
  • the vehicle control unit 7 copies the driving environment corresponding to the changed ambient condition 303 from the secondary cache 305 to the primary cache 304, and the changed ambient condition 303. 2 is extracted from the storage unit 8 and stored in the secondary cache 305 by extracting a driving environment in which one environmental parameter has been added and a driving environment in which one environmental parameter has been reduced. The next cache 305 is updated. As a result, the vehicle control unit 7 can smoothly extract a similar surrounding situation by comparing the surrounding situations smoothly.
  • the vehicle control unit 7 displays from the storage unit 8 a driving environment (situation) in which the position indicated by the position information is included within a certain range centered on the vehicle position. It can be extracted and stored in the cache 292.
  • the vehicle control unit 7 updates the cache 292 when the position indicated by the position information corresponding to the traveling environment is out of the certain range. By doing so, the vehicle control unit 7 can extract a similar ambient situation as long as the position is within a certain range even if communication is interrupted for a long time.
  • the storage unit 8 stores operation histories including environmental parameters.
  • the vehicle control unit 7 divides each environmental parameter into a certain range and creates a mesh in a multidimensional space. And the vehicle control part 7 creates the table which counted the behavior contained in each mesh for every classification.
  • the vehicle control unit 7 maps the environmental parameters included in the operation history in a planar shape as shown in FIG. 64A, and divides each of these axes within a certain range, thereby dividing the plane into a plurality of blocks. Divide. This is called a mesh.
  • the vehicle control unit 7 counts the number of behaviors included in each mesh for each type (for example, types such as acceleration, deceleration, lane change, and overtaking).
  • FIG. 64B shows a table in which the number of behaviors included in each mesh is counted for each type.
  • the vehicle control unit 7 holds this content in the cache 292. Then, the vehicle control unit 7 determines which mesh the detected environmental parameter is located in when extracting a similar surrounding situation by comparing the surrounding situations, and the behavior included in the determined mesh The behavior having the largest number is selected, and the behavior for notifying the selected behavior is determined.
  • the vehicle control section 7 when the vehicle control unit 7 determines that the detected environmental parameter is located at the third mesh position, the vehicle control section 7 indicates a behavior (here “acceleration”) indicating the maximum number of behaviors included in the third mesh. The behavior for notifying the operation is determined.
  • the update timing of the cache 292 may be anytime, and the capacity of the cache 292 can be made constant.
  • the vehicle control unit 7 acquires information on the characteristic amount indicating the driving characteristics of the driver including the past driving environment information, and the storage unit 8 When it is determined that the feature amount information is stored and the behavior of the vehicle needs to be changed, the vehicle control unit 7 selects the newly acquired travel environment from the feature amount information stored in the storage unit 8. Information similar to the feature amount indicating the driving characteristics of the driver including the information is determined, and the behavior corresponding to the determined information is notified.
  • the feature amount information indicating the driving characteristics of the driver including the past driving environment information is the feature amount information when the behavior of the vehicle is presented to the driver. And at least one piece of feature amount information when the driver selects the behavior.
  • the feature amount information indicating the driving characteristics of the driver including the past driving environment information is the feature amount information when the behavior of the vehicle is presented to the driver. And the feature information when the driver has selected the behavior, the driver's driving characteristics including information on the driving environment newly acquired from both feature information. The information similar to the feature amount indicating is determined, and the behavior corresponding to the determined information is notified.
  • the feature amount information indicating the driving characteristics of the driver including the past driving environment information is the feature amount information when the behavior of the vehicle is presented to the driver. And when it is both the information of the feature value when the driver has selected the behavior, it has been newly acquired preferentially from the information of the feature value when the driver has selected the behavior Information similar to the feature amount indicating the driving characteristics of the driver including information on the driving environment is determined, and the behavior corresponding to the determined information is notified.
  • the feature amount information indicating the driving characteristics of the driver including the information on the past driving environment is the driving information during the automatic driving and / or the manual driving.
  • the vehicle control unit 7 can construct a driver model more suitable for the driving tendency of the driver, and can perform more appropriate automatic driving for the driver based on the constructed driver model.
  • the parameter indicating the driving environment By associating the parameter indicating the driving environment with the behavior, it is possible to accurately determine the next behavior without requiring processing for determining a specific driving environment, that is, without labeling the driving environment.
  • a computer that realizes the above-described functions by a program is an input device such as a keyboard, mouse, or touch pad, an output device such as a display or a speaker, a processor or CPU (Central Processing Unit), ROM (Read Only Memory), RAM (Random Access) Memory, storage devices such as hard disk drives and SSDs (Solid State Drive), readers that read information from recording media such as DVD-ROM (Digital Versatile Disk Read Only Memory) and USB (Universal Serial Bus) memories, via a network
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • storage devices such as hard disk drives and SSDs (Solid State Drive) readers that read information from recording media such as DVD-ROM (Digital Versatile Disk Read Only Memory) and USB (Universal Serial Bus) memories, via a network
  • a network card for communication is provided, and each unit is connected by a bus.
  • the reading device reads the program from the recording medium on which the program is recorded, and stores the program in the storage device.
  • a network card communicates with the server apparatus connected to the network, and memorize
  • the processor or the CPU copies the program stored in the storage device to the RAM, and sequentially reads out and executes the instructions included in the program from the RAM, thereby realizing the functions of the respective devices.
  • the information processing system, the information processing method, and the program according to the present invention can be applied to an apparatus or a system that processes information related to vehicle driving.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Analytical Chemistry (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Combustion & Propulsion (AREA)
  • Databases & Information Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • Business, Economics & Management (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

運転行動を適切に推定する情報処理システム(1000)は、車両の周囲の状況またはその車両の走行状態のうちの少なくとも何れか1つである車両環境状態を検出する検出部(1001)と、検出部(1001)が検出したその車両環境状態と、その車両環境状態の後に行われたその車両の挙動との関係をニューラルネットワークに学習させる挙動学習部(1002)と、検出部(1001)によって検出される現時点におけるその車両環境状態を、学習したニューラルネットワークに入力することによって、その車両の挙動を推定する挙動推定部(1003)とを備える。

Description

情報処理システム、情報処理方法、およびプログラム
 本発明は、車両に関する情報を処理する情報処理システム、情報処理方法、およびプログラムに関する。
 近年、車両の周囲の状況や前記車両の走行状態(例えば、自車両の速度や操舵・アクセル・ブレーキ・方向指示器・アクチュエータの制御情報など)に基づいて、運転者が自ら運転操作を行う手動運転と一部若しくはすべての運転操作を自動で行う自動運転とによる走行が可能な車両や完全自動運転可能な車両に関する様々な技術が提案され、実用化されている。
 例えば、特許文献1には、自車両が自動操舵制御や自動加減速制御となる場合に、自動操舵制御や自動加減速制御の作動状態を視覚的にドライバに認識させる走行制御装置が開示されている。
特開2005-67483号公報
 しかしながら、上記特許文献1の走行制御装置(すなわち情報処理システム)では、車両の運転操作を適切に推定することができないという問題がある。なお、運転操作は、運転行動または挙動ともいう。
 そこで、本発明は、車両の運転行動を適切に推定することができる情報処理システムなどを提供する。
 本発明の一態様に係る情報処理システムは、車両の周囲の状況または前記車両の走行状態のうちの少なくとも何れか1つである車両環境状態を検出する検出部と、前記検出部が検出した前記車両環境状態と、前記車両環境状態の後に行われた前記車両の挙動との関係をニューラルネットワークに学習させる挙動学習部と、前記検出部によって検出される現時点における前記車両環境状態を、学習した前記ニューラルネットワークに入力することによって、前記車両の挙動を推定する挙動推定部と、を備える。
 これにより、ニューラルネットワークを用いて車両の挙動が推定されるため、その車両の挙動(すなわち運転行動)を適切に推定することができる。
 また、前記挙動学習部は、複数の運転者のそれぞれについて、前記検出部が検出した前記車両環境状態と、前記車両環境状態の後に行われた前記車両の挙動との関係をニューラルネットワークに学習させる汎用挙動学習部と、特定の運転者に対して前記検出部が検出した前記車両環境状態と、前記車両環境状態の後に行われた前記車両の挙動とを用いて、学習した前記ニューラルネットワークに再学習させる転移学習によって、前記特定の運転者に対する専用のニューラルネットワークを構築する専用挙動学習部とを備え、前記挙動推定部は、前記専用のニューラルネットワークを用いて、前記特定の運転者に対する前記車両の挙動を推定してもよい。具体的には、前記挙動推定部は、前記汎用挙動学習部によって学習した前記ニューラルネットワークに、前記特定の運転者に対して前記検出部が検出した前記車両環境状態を入力することによって、前記特定の運転者に対する前記車両の仮の挙動を推定する汎用挙動推定部と、前記専用のニューラルネットワークを用いて、前記特定の運転者に対する前記車両の挙動を推定する専用挙動推定部とを備え、前記情報処理システムは、さらに、前記汎用挙動推定部による仮の挙動の推定結果のヒストグラムを生成するヒストグラム生成部を備え、前記専用挙動学習部は、生成された前記ヒストグラムを参照した前記転移学習によって、前記専用のニューラルネットワークを構築してもよい。
 これにより、特定の運転者に対して検出された車両の周囲の状況または走行状態と、その後の挙動とを示す履歴が少なく、その履歴だけでは学習が不十分な場合であっても、複数の運転者の履歴が学習に用いられるため、特定の運転者に対する車両の挙動を適切に推定することができる。また、このような複数の運転者の履歴によって学習された汎用のニューラルネットワークは、特定の運転者の履歴を用いて専用のニューラルネットワークにファインチューニングされる。したがって、その挙動の推定の精度を高めることができる。
 また、前記情報処理システムは、さらに、前記挙動推定部によって推定された挙動が有効か否かを判定し、有効と判定した場合に、前記推定された挙動を出力する評価部を備えてもよい。
 これにより、不適切な挙動が報知されることを防ぐことができる。
 また、前記情報処理システムは、さらに、特定の運転者によって入力される前記車両の挙動を受け付ける入力部と、前記挙動推定部によって推定された前記車両の挙動を、前記入力部によって受け付けられた前記車両の挙動に基づいて評価する評価部とを備え、前記評価部は、前記挙動推定部によって推定された前記車両の挙動に誤りがあると評価した場合には、前記入力部によって受け付けられた前記車両の挙動と、前記車両の挙動の推定時に前記検出部によって検出された前記車両の周囲の状況とを用いた前記ニューラルネットワークの再学習を、前記挙動学習部に実行させてもよい。
 これにより、検出部によって検出された周辺の状況または走行状態に誤差が含まれていても、運転行動の予測精度、すなわち車両の挙動の推定精度を向上することができる。
 また、前記専用挙動学習部は、前記車両が走行するシーンごとに、当該シーンに応じた前記特定の運転者に対する前記専用のニューラルネットワークを構築するとともに、複数の前記専用のニューラルネットワークのうち、前記車両が走行する現在のシーンに応じた前記専用のニューラルネットワークを選択し、前記専用挙動推定部は、選択された前記専用のニューラルネットワークを用いて、前記特定の運転者に対する前記車両の挙動を推定してもよい。
 これにより、シーンごとに適切なニューラルネットワークを選択することができ、各シーンにおける車両の挙動の推定精度、すなわち運転行動の予測精度を向上することができる。
 また、前記情報処理システムは、さらに、前記挙動推定部によって推定された挙動を、前記挙動が実施される前に、運転者に報知する報知部を備えてもよい。
 これにより、推定された挙動が報知されるため、どのような挙動が行われるのかを事前に運転者に容易に把握させることができ、その運転者の不安を解消することができる。
 なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
 ところで、自動運転(完全自動運転及び一部自動運転の両方を含む)中、車に運転を任せるということで、車と運転者の間の信頼関係が極めて大事であり、車両と運転者(乗員)との間に適切な情報を伝達することが必要となる。特許文献1には、運転者に対して現在の作動状態のみを報知している。
 自動運転中、車両の現在の挙動(作動状態)を報知されるだけで、これから実施する挙動(例えば、特に合流前、交差点進入の前や緊急車両が近くにいた場合や周囲の他車が何らかの作動をした/しそうなときに、車両が実施しようとする車線変更、加速、減速といった挙動)について何も知らされていない状態だと、運転者が非常に不安感を抱えてしまうという第1の課題があった。
 また、完全自動運転中だと、運転者が運転監視以外の他の行動を取っている可能性が高く、いきなり現在の作動状態のみ表示されても、現在の車両の周囲状況や車両の走行状態も把握できないし、運転者の意思で運転を指示しようとしてもすぐに対応できなく、運転者がスムーズに車へ指示を与えることができないという第2の課題があった。
 また、運転者に現在の作動状態のみを報知しているだけで、運転者が車に対して直接手動運転を行おうとしても、すぐに切り替えられないという第3の課題があった。
 また、運転者若しくは乗員によって、車が同じ動作を取るとしても、動作のタイミングや操作量は人によって異なり、実際運転者が手動運転する場合の感覚と乖離する可能性が高く、最悪な場合、自動運転中に運転者による不要な操作介入を誘発してしまうことがあるという第4の課題があった。
 そこで、本発明は、完全自動運転または一部自動運転中において、上記課題のうち少なくとも1つの課題を解決することが可能な情報報知装置、情報報知方法、情報報知プログラムおよび情報処理システムについても提供する。
 すなわち、本発明の一態様に係る情報報知装置は、車両の周囲の状況及び車両の走行状態を検出する検出部と、検出部が検出した車両の周囲の状況及び車両の走行状態に基づいて車両の挙動を決定する車両制御部とを備える車両に搭載される情報報知装置であって、自動運転中に車両の挙動を更新する可能性があると判定された場合に、実施する挙動の情報を取得する情報取得部と、実施する挙動を前記車両の挙動が更新される前に報知する報知部と、を備える。
 本発明の一態様に係る情報報知方法は、車両の周囲の状況及び車両の走行状態を検出し、検出した車両の周囲の状況及び車両の走行状態に基づいて車両の挙動を決定する車両において実行される情報報知方法であって、自動運転中に車両の挙動を更新する可能性があると判定された場合に、実施する挙動の情報を取得する情報取得ステップと、実施する挙動を前記車両の挙動が更新される前に報知する報知ステップと、を含む。
 本発明の一態様に係る情報報知プログラムは、車両の周囲の状況及び車両の走行状態を検出し、検出した車両の周囲の状況及び車両の走行状態に基づいて車両の挙動を決定する車両においてコンピュータにより実行される情報報知プログラムであって、コンピュータを、自動運転中に車両の挙動を更新する可能性があると判定された場合に、実施する挙動の情報を取得する情報取得手段、前記実施する挙動を前記車両の挙動が更新される前に報知する報知手段、として機能させる。
 このような情報報知装置、情報報知方法または情報報知プログラムによれば、完全自動運転または一部自動運転において、車両と運転者の操作が対立しにくい、快適な自動運転ができるように、適切に情報を伝達することができる。
 本発明によれば、車両の運転行動を適切に推定することができる。
図1は、本発明の実施の形態1に係る情報報知装置を含む車両の要部構成を示すブロック図である。 図2は、走行環境の第1の例と、それに対する報知部の表示、及び、操作部の操作について説明する図である。 図3は、報知部における表示の別の例を示す図である。 図4は、本実施の形態における情報報知処理の処理手順を示すフローチャートである。 図5は、走行環境の第1の例と、それに対する表示制御を示す図である。 図6は、走行環境の第1の例と、それに対する別の表示制御を示す図である。 図7は、走行環境の第2の例と、それに対する表示制御を示す図である。 図8は、走行環境の第3の例と、それに対する表示制御を示す図である。 図9は、走行環境の第4の例と、それに対する表示制御を示す図である。 図10は、走行環境の第5の例と、それに対する表示制御を示す図である。 図11は、図5に示した走行環境の第1の例に対する別の表示制御を示す図である。 図12は、図7に示した走行環境の第2の例に対する別の表示制御を示す図である。 図13は、本発明の実施の形態2に係る情報報知装置を含む車両の要部構成を示すブロック図である。 図14は、実施の形態2におけるタッチパネルの表示を説明する図である。 図15は、本発明の実施の形態3における報知部の表示を説明する図である。 図16は、実施の形態4における車両制御部の挙動の推定に関する機能構成の一例を示すブロック図である。 図17は、実施の形態4における挙動学習部の学習を説明するための図である。 図18Aは、実施の形態4におけるニューラルネットワークの学習を示す図である。 図18Bは、実施の形態4における挙動推定NNを用いた挙動の推定を示す図である。 図19は、実施の形態4における車両制御部の挙動の推定に関する機能構成の他の例を示すブロック図である。 図20は、実施の形態4における汎用挙動学習部の学習を説明するための図である。 図21Aは、実施の形態4における汎用挙動学習部におけるニューラルネットワークの学習を示す図である。 図21Bは、実施の形態4における汎用挙動推定NNを用いた挙動の推定を示す図である。 図22は、実施の形態4における専用挙動推定NNの構築方法を示す図である。 図23は、実施の形態4における専用挙動推定NNを用いた挙動の推定を示す図である。 図24は、実施の形態4の変形例1における車両制御部の挙動の推定に関する機能構成の一例を示すブロック図である。 図25は、実施の形態4の変形例1における挙動学習部の学習を説明するための図である。 図26Aは、実施の形態4の変形例1におけるニューラルネットワークの学習を示す図である。 図26Bは、実施の形態4の変形例1における挙動推定NNを用いた挙動の推定を示す図である。 図27は、実施の形態4の変形例1における車両制御部の挙動の推定に関する機能構成の他の例を示すブロック図である。 図28は、実施の形態4の変形例1における汎用挙動学習部の学習を説明するための図である。 図29Aは、実施の形態4の変形例1における汎用挙動学習部におけるニューラルネットワークの学習を示す図である。 図29Bは、実施の形態4の変形例1における汎用挙動推定NNを用いた挙動の推定を示す図である。 図30は、実施の形態4の変形例1における専用挙動推定NNの構築方法を示す図である。 図31は、実施の形態4の変形例1における専用挙動推定NNを用いた挙動の推定を示す図である。 図32は、実施の形態4の変形例2における車両制御部の挙動の推定に関する機能構成の一例を示すブロック図である。 図33は、実施の形態4の変形例2における車両制御部の挙動の推定に関する機能構成の他の例を示すブロック図である。 図34は、実施の形態5における情報処理システムの設計思想を示す図である。 図35は、実施の形態5における学習用データおよび学習エンジンの推定結果における誤差を説明するための図である。 図36は、実施の形態5における車両内のシステム構成を示す図である。 図37は、実施の形態5における自動運転制御システムの機能構成を示すブロック図である。 図38は、実施の形態5におけるタッチパネルによって表示および入力される挙動の一例を示す図である。 図39は、実施の形態5におけるファインチューニングを説明するための図である。 図40は、実施の形態5における車両内の詳細なシステム構成を示す図である。 図41は、実施の形態5における専用挙動推定NNの構築方法を示す図である。 図42は、実施の形態5における専用挙動推定NNの入力挙動に基づく再学習を示す図である。 図43は、実施の形態6における複数の知識(NN)を示す図である。 図44は、実施の形態6における車両内のシステム構成を示す図である。 図45は、実施の形態6における自動運転制御システムの機能構成を示すブロック図である。 図46は、実施の形態6における専用挙動学習部による学習を説明するための図である。 図47は、実施の形態6における専用挙動学習部による専用挙動推定NNの選択を説明するための図である。 図48Aは、本発明の一態様に係る情報処理システムの構成を示す図である。 図48Bは、本発明の一態様に係る情報処理方法のフローチャートである。 図49は、走行履歴の一例を示す図である。 図50は、クラスタリング型のドライバモデルの構築方法を示す図である。 図51は、構築されたクラスタリング型のドライバモデルの一例を示す図である。 図52は、構築されたクラスタリング型のドライバモデルの別の一例を示す図である。 図53は、個別適応型のドライバモデルの構築方法を示す図である。 図54は、構築された個別適応型のドライバモデルの一例を示す図である。 図55は、運転特性モデルの一例を示す図である。 図56は、本発明の実施の形態7における報知部の表示を説明する図である。 図57は、本発明の実施の形態7における報知部の表示を説明する図である。 図58は、本発明の実施の形態7における報知部の表示を説明する図である。 図59は、本発明の実施の形態7における報知部の表示を説明する図である。 図60は、走行履歴の一例を示す図である。 図61は、本変形例におけるドライバモデルの使用方法を示す図である。 図62は、本変形例におけるキャッシュの配置の一例を示すブロック図である。 図63は、本変形例におけるキャッシュの作成方法の一例を示す図である。 図64は、本変形例におけるキャッシュの作成方法の一例を示す図である。
 以下、本発明の実施の形態について、図面を参照して詳細に説明する。実施の形態1~3では、車両と運転者の操作が対立しにくい、快適な自動運転ができるように、適切に情報を伝達することができる情報報知装置、情報報知方法または情報報知プログラムを説明する。実施の形態4~6では、車両の運転行動を適切に推定することができる本発明の一態様に係る情報処理システム、情報処理方法およびプログラムを説明する。さらに、実施の形態7では、実施の形態4~6とは異なる態様で運転行動を推定する情報処理システム等を説明する。
 なお、以下に説明する各実施の形態は一例であり、本発明はこれらの実施の形態により限定されるものではない。つまり、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
 また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。
 (実施の形態1)
 図1は、本発明の実施の形態1に係る情報報知装置を含む車両1の要部構成を示すブロック図である。車両1は、運転者の操作を必要とせずに、運転制御の全てまたは一部を自動で行うことができる車両である。
 車両1は、ブレーキペダル2と、アクセルペダル3と、ウィンカーレバー4と、ハンドル5と、検出部6と、車両制御部7と、記憶部8と、情報報知装置9とを有する。
 ブレーキペダル2は、運転者によるブレーキ操作を受けつけ、車両1を減速させる。またブレーキペダル2は、車両制御部7による制御結果を受けつけ、車両1の減速の度合いに対応した量変化してもよい。アクセルペダル3は、運転者によるアクセル操作を受けつけ、車両1を加速させる。またアクセルペダル3は、車両制御部7による制御結果を受けつけ、車両1の加速の度合いに対応した量変化してもよい。ウィンカーレバー4は、運転者によるレバー操作を受けつけ、車両1の図示しない方向指示器を点灯させる。またウィンカーレバー4は、車両制御部7による制御結果を受けつけ、車両1の方向指示方向に対応する状態にウィンカーレバー4を変化させ、車両1の図示しない方向指示器を点灯させてもよい。
 ハンドル5は、運転者によるステアリング操作を受けつけ、車両1の走行する方向を変更する。またハンドル5は、車両制御部7による制御結果を受けつけ、車両1の走行する方向の変更に対応した量変化してもよい。ハンドル5は、操作部51を有する。
 操作部51は、ハンドル5の前面(運転者と対向する面)に設けられ、運転者からの入力操作を受け付ける。操作部51は、例えば、ボタン、タッチパネル、グリップセンサ等の装置である。操作部51は、運転者から受けつけた入力操作の情報を車両制御部7へ出力する。
 検出部6は、車両1の走行状態、及び、車両1の周囲の状況を検出する。そして、検出部6は、検出した走行状態、及び、周囲の状況の情報を車両制御部7へ出力する。
 この検出部6は、位置情報取得部61と、センサ62と、速度情報取得部63と、地図情報取得部64とを有する。
 位置情報取得部61は、GPS(Global Positioning System)測位等により車両1の位置情報を走行状態の情報として取得する。
 センサ62は、車両1の周囲に存在する他車両の位置および車線位置情報から、他車両の位置および先行車両かどうかという種別、他車両の速度と自車両の速度から衝突予測時間(TTC:Time To Collision)、車両1の周囲に存在する障害物など、車両1の周囲の状況を検出する。
 速度情報取得部63は、走行状態の情報として、図示しない速度センサ等から車両1の速度や走行方向などの情報を取得する。
 地図情報取得部64は、車両1が走行する道路、道路における他車両との合流ポイント、現在走行中の車線、交差点の位置などの車両1の周辺の地図情報を、車両1の周囲の状況の情報として取得する。
 なお、センサ62は、ミリ波レーダ、レーザレーダやカメラなど、またそれらの組合せから構成される。
 記憶部8は、ROM(Read Only Memory)、RAM(Random Access Memory)、ハードディスク装置やSSD(Solid State Drive)などの記憶装置であり、現時点の走行環境と、次に(第1の所定時間経過後に)とり得る挙動の候補との間の対応関係を記憶する。
 現時点の走行環境とは、車両1の位置、車両1が走行している道路、車両1の周囲に存在する他車両の位置および速度等によって判定される環境である。なお、瞬間的なデータのみならず、その時点の前後のデータまでを基に、例えば、他車両の位置や速度により加速中、減速中、他車両が割込んできて1秒後には衝突する可能性まで判定してもよい。これにより、他車両の行動を予測することができ、走行環境をより詳細かつ正確に把握することが可能である。挙動の候補とは、現時点の走行環境に対して、車両1が次に(第1の所定時間経過後に)とり得る挙動の候補である。
 例えば、記憶部8は、車両1が走行する車線の前方に合流路があり、車線の左方から合流する車両が存在し、かつ、車両1が走行する車線の右方への車線変更が可能な走行環境に対応付けて、車両1の加速、車両1の減速、及び、車両1の右方への車線変更の3通りの挙動の候補を予め記憶する。
 また、記憶部8は、車両1と同一車線の前方を走行する車両(以下、「先行車両」と記載)が車両1よりも遅い速度で走行し、かつ、隣の車線への車線変更が可能な走行環境に対応付けて、先行車両を追い越す走行、隣の車線へ車線変更を行う走行、車両1を減速させて先行車両に追従する走行の3通りの挙動の候補を予め記憶する。
 さらに、記憶部8は、それぞれの挙動の候補に対する優先順位を記憶してもよい。例えば、記憶部8は、過去の同一の走行環境において実際に採用された挙動の回数を記憶し、採用された回数の多い挙動ほど高く設定された優先順位を記憶してもよい。
 車両制御部7は、例えば、LSI回路、または、車両を制御する電子制御ユニット(Electronic Control Unit:ECU)の一部として実現可能である。車両制御部7は、検出部6から取得する走行状態および周囲の状況の情報に基づいて、車両を制御し、車両制御結果に対応してブレーキペダル2、アクセルペダル3、ウィンカーレバー4、情報報知装置9を制御する。なお、車両制御部7が制御する対象は、これらに限定されない。
 まず、車両制御部7は、走行状態および周囲の状況の情報に基づいて、現時点の走行環境を判定する。この判定には、従来提案されている様々な方法が利用され得る。
 例えば、車両制御部7は、走行状態および周囲の状況の情報に基づいて、現時点の走行環境が、「車両1が走行する車線の前方に合流路があり、車線の左方から合流する車両が存在し、かつ、車両1が走行する車線の右方への車線変更が可能な走行環境」であると判定する。
 また、例えば、車両制御部7は、走行状態および周囲の状況の情報に基づいて、走行環境の時系列が、「車両1と同一車線の前方を走行する車両が車両1よりも遅い速度で走行し、かつ、隣の車線への車線変更が可能な走行環境」であると判定する。
 車両制御部7は、走行状態および周囲の状況を示す走行環境に関する情報を情報報知装置9の報知部92に報知させる。また、車両制御部7は、判定した走行環境に対して、車両1が次に(第1の所定時間経過後に)とり得る挙動の候補を記憶部8から読み出す。
 車両制御部7は、読み出した挙動の候補から、現在の走行環境に最も適した挙動がどれかを判定し、現在の走行環境に最も適した挙動を第1の挙動に設定する。なお、第1の挙動は車両現在実施している挙動と同じ挙動、即ち現在実施している挙動を継続することであってもよい。そして、車両制御部7は、現在の走行環境において第1の挙動を除く他に運転者が実施可能性な挙動の候補を第2の挙動(いわゆる実施する挙動とは異なる挙動)に設定する。
 例えば、車両制御部7は、走行状態および周囲の状況の情報に基づいて最も適した挙動を判定する従来技術を用いて、最も適した挙動を第1の挙動に設定することとしてもよい。
 または、車両制御部7は、複数の挙動の候補のうち、予め設定された挙動を最も適した挙動として設定してもよいし、前回選択された挙動の情報を記憶部8に記憶しておき、その挙動を最も適した挙動と判定してもよいし、過去に各挙動が選択された回数を記憶部8に記憶しておき、回数が最も多い挙動を最も適した挙動と判定してもよい。
 そして、車両制御部7は、第1の挙動と第2の挙動の情報を情報報知装置9の報知部92に報知させる。なお、車両制御部7は第2の挙動が無いと判定した場合、第1の挙動のみを報知部92に報知させる。
 なお、車両制御部7は、第1の挙動と第2の挙動の情報と、走行状態および周囲の状況の情報とを、同時に、報知部92に報知させてもよい。
 さらに、車両制御部7は、操作部51が運転者から受けつけた操作の情報を取得する。車両制御部7は、第1の挙動と第2の挙動を報知してから、第2の所定時間内に操作部51が操作を受けつけたか否かを判定する。この操作は、例えば、第2の挙動に含まれる挙動の中から1つの挙動を選択する操作である。
 車両制御部7は、第2の所定時間内に操作部51が操作を受けつけなかった場合、第1の挙動を実行するように車両を制御し、車両制御結果に対応してブレーキペダル2、アクセルペダル3、ウィンカーレバー4を制御する。
 車両制御部7は、第2の所定時間内に操作部51が操作を受けつけた場合、受けつけた操作に対応する制御を行う。
 情報報知装置9は、車両制御部7から車両1の走行に関する種々の情報を取得し、取得した情報を報知する。情報報知装置9は、情報取得部91と報知部92とを有する。
 情報取得部91は、車両制御部7から車両1の走行に関する種々の情報を取得する。例えば、情報取得部91は、車両制御部7が車両1の挙動を更新する可能性があると判定した場合に、車両制御部7から第1の挙動の情報と第2の挙動の情報を取得する。
 そして、情報取得部91は、取得した情報を図示しない記憶部に一時的に記憶し、必要に応じて記憶した情報を記憶部から読み出して報知部92へ出力する。
 報知部92は、車両1の走行に関する情報を運転者に報知する。報知部92は、例えば、車内に設置されているカーナビゲーションシステム、ヘッドアップディスプレイ、センターディスプレイ、ハンドル5やピラーに設置されているLEDなどの発光体などのような情報を表示する表示部であってもよいし、情報を音声に変換して運転者に報知するスピーカであってもよいし、あるいは、運転者が感知できる位置(例えば、運転者の座席、ハンドル5など)に設けられる振動体であってもよい。また、報知部92は、これらの組み合わせであってもよい。
 以下の説明では、報知部92が表示装置であるものとする。
 この場合、報知部92とは、例えば、ヘッドアップディスプレイ(Head Up Display:HUD)、LCD(Liquid Crystal Display)、HMD(Head-Mounted DisplayまたはHelmet-Mounted Display)、眼鏡型ディスプレイ(Smart Glasses)、その他の専用のディスプレイなどである。HUDは、例えば、車両1のウインドシールドであってもよいし、別途設けられるガラス面、プラスチック面(例えば、コンバイナ)などであってもよい。また、ウインドシールドは、例えば、フロントガラスであってもよいし、車両1のサイドガラスまたはリアガラスであってもよい。
 さらに、HUDは、ウインドシールドの表面または内側に備えられた透過型ディスプレイであってもよい。ここで、透過型ディスプレイとは、例えば、透過型の有機ELディスプレイ、または、特定の波長の光を照射した際に発光するガラスを用いた透明なディスプレイである。運転者は、背景を視認すると同時に、透過型ディスプレイ上の表示を視認することができる。このように報知部92は、光を透過する表示媒体であってもよい。いずれの場合も、画像が報知部92に表示される。
 報知部92は、車両制御部7から情報取得部91を介して取得した走行に関する情報を運転者に報知する。例えば、報知部92は、車両制御部7から取得した第1の挙動、及び、第2の挙動の情報を運転者に報知する。
 ここで、具体的な表示内容、及び、操作部51に対してなされる操作について説明する。
 図2は、走行環境の第1の例と、それに対する報知部92の表示、及び、操作部51の操作について説明する図である。
 図2の(a)は、車両1の走行環境を示す俯瞰図である。具体的には、図2の(a)は、車両1が走行する車線の前方に合流路があり、車線の左方から合流する車両が存在し、かつ、車両1が走行する車線の右方への車線変更が可能な走行環境であることを示している。
 車両制御部7は、走行状態および周囲の状況の情報に基づき、走行環境が、図2の(a)に示すような走行環境であると判定する。なお、車両制御部7は、図2の(a)に示す俯瞰図を生成し、第1の挙動、及び、第2の挙動の情報に加えて、生成した俯瞰図を報知部92に報知させてもよい。
 図2の(b)は、図2の(a)に示した走行環境に対する報知部92の表示の一例を示している。報知部92の表示範囲のうち、右側には、車両1の挙動に関わる選択肢が表示され、左側には、手動運転に切り替えるための情報が表示される。
 第1の挙動は、表示領域29a~29c、29gのうち、強調されている表示領域29bに示されている「車線変更」である。第2の挙動は、表示領域29a、29cにそれぞれ示されている「加速」、「減速」である。また、表示領域29gには、手動運転に切替えることを示す「自動運転終了」が表示されている。
 図2の(c)は、ハンドル5に設けられる操作部51の一例を示している。操作部51は、ハンドル5の右側に設けられる操作ボタン51a~51dと、ハンドル5の左側に設けられる操作ボタン51e~51hとを有する。なお、ハンドル5に設けられる操作部51の数や形状等はこれらに限定されない。
 本実施の形態では、図2の(b)に示す表示領域29a~29cと操作ボタン51a~51cがそれぞれ対応し、表示領域29gと操作ボタン51gとが対応する。
 この構成において、運転者は、各表示領域に表示される内容のいずれかを選択する際に、各表示領域に対応する操作ボタンを押下する。例えば、運転者が表示領域29aに表示される「加速」という挙動を選択する場合、運転者は、操作ボタン51aを押下する。
 なお、図2の(b)には、各表示領域に文字の情報のみが表示されているが、次に説明するように、車両の駆動に関する記号やアイコンを表示してもよい。これにより、運転者に表示内容を一目瞭然に把握できる。
 図3は、報知部92における表示の別の例を示す図である。図3に示すように、表示領域39a~39c、39gに文字の情報とその情報を示す記号の両方が表示される。なお、記号のみが表示されてもよい。
 次に、具体的な走行環境を例に挙げて、表示制御の流れについて説明する。
 図4は、本実施の形態における情報報知処理の処理手順を示すフローチャートである。図5は、走行環境の第1の例と、それに対する表示制御を示す図である。
 図4に示すように、検出部6は、車両の走行状態を検出する(ステップS11)。次に、検出部6は、車両の周囲の状況を検出する(ステップS12)。検出された車両の走行状態、及び、車両の周囲の状況の情報は、検出部6により車両制御部7へ出力される。
 つぎに、車両制御部7は、走行状態および周囲の状況の情報に基づいて、現時点の走行環境を判定する(ステップS13)。図5の(a)の例の場合、車両制御部7は、現時点の走行環境が、「車両1が走行する車線の前方に合流路があり、車線の左方から合流する車両が存在し、かつ、車両1が走行する車線の右方への車線変更が可能な走行環境」であると判定する。
 その後、車両制御部7は、判定した走行環境の情報を情報報知装置9の報知部92に報知させる(ステップS14)。図5の(b)の例の場合、車両制御部7は、判定した走行環境の情報を情報取得部91へ出力する。報知部92は、情報取得部91から走行環境の情報を取得し、文字情報59として表示させる。なお、車両制御部7は、走行環境の情報を報知部92に表示させる代わりに、スピーカ等で音声として走行環境の情報を運転者に報知してもよい。これにより、運転者がディスプレイやモニターを見ていない、もしくは見落としている場合でも、運転者に確実に情報を伝達できる。
 次に、車両制御部7は、判定した走行環境が挙動の更新の可能性があるとするか否かを判定し、更新する可能性があるとすると判定された場合、さらに第1の挙動、及び、第2の挙動の判定を行う(ステップS15)。走行環境が挙動の更新の可能性があるとするか否かの判定は、走行環境が変更したか否かによって判定される。更新後実施する挙動とは、例えば、他の車両等と衝突が発生する可能性がある場合に減速する、ACC(Adaptive Cruise Control)において先行車両が消えた場合に速度変更する、隣の車線が空いた場合に車線変更するなどが考えられる。更新するか否かを判定するときは従来技術を用いてなされる。
 この場合、車両制御部7は、判定した走行環境に対して、車両1が次に(第1の所定時間経過後に)とり得る挙動の候補を記憶部8から読み出す。そして、車両制御部7は、挙動の候補から、現在の走行環境に最も適した挙動がどれかを判定し、現在の走行環境に最も適した挙動を第1の挙動に設定する。そして、車両制御部7は、第1の挙動を除く挙動の候補を第2の挙動に設定する。
 図5の(b)の例の場合、車両制御部7は、記憶部8から、車両1の加速、車両1の減速、及び車両1の右方への車線変更の3通りの挙動の候補を読み出す。そして、車両制御部7は、左方から合流する車両の速度、及び、車両1の右方の車線の状況に基づき、車両1の右方への車線変更が最も適した挙動であると判定し、その挙動を第1の挙動に設定する。そして、車両制御部7は、第1の挙動を除く挙動の候補を第2の挙動に設定する。
 次に、車両制御部7は、第1の挙動、及び、第2の挙動を情報報知装置9の報知部92に報知させる(ステップS16)。図5の(b)の例の場合、報知部92は、第1の挙動の情報である「車線変更」という文字情報を表示領域59bに強調して表示し、第2の挙動の情報である「加速」、「減速」をそれぞれ表示領域59a、59cに表示させる。
 次に、車両制御部7は、第2の所定時間内に操作部51が運転者からの操作を受けつけたか否かを判定する(ステップS17)。
 例えば、車両制御部7は、現時点での走行環境が図5の(a)に示す走行環境であると判定してから、合流ポイントに到達するまでの時間を第1の所定時間と設定する。そして、車両制御部7は、第1の所定時間よりも短い第2の所定時間を、合流ポイントまでに実行される次の挙動に対する操作の受付が可能な時間として設定する。
 車両制御部7は、第2の所定時間内に操作部51が運転者からの操作を受けつけた場合(ステップS17においてYES)、受けつけた操作が自動運転終了の操作か、挙動の選択操作(いわゆる更新)かを判定する(ステップS18)。
 図2にて説明したように、報知部92の各表示領域と操作部51の各操作ボタンとは対応している。運転者は、図5の(b)における自動運転終了を選択する場合、図2の(c)に示した操作ボタン51gを押下する。また、運転者は、挙動の選択を行う場合、図2の(c)に示した操作ボタン51a~51cのいずれかを押下する。
 車両制御部7は、操作部51が受けつけた操作が自動運転終了の操作である場合(つまり、操作ボタン51gが押下されたことを検知した場合)、自動運転を終了させる(ステップS19)。車両制御部7は、操作部51が受けつけた操作が挙動の選択操作である場合(つまり、操作ボタン51a~51cのいずれかが押下された場合)、押下された操作ボタンに対応する挙動を実行するように、車両1の制御を行う(ステップS20)。
 車両制御部7は、第2の所定時間内に操作部51が運転者からの操作を受けつけなかった場合(ステップS17においてNO)、第1の挙動を実行するように、車両1の制御を行う(ステップS21)。
 図6は、走行環境の第1の例と、それに対する別の表示制御を示す図である。図6の(a)は、図5の(a)と同様であるが、図6の(b)の表示制御が図5の(b)の表示制御とは異なっている。
 図5の(b)を用いて説明した場合と同様に、車両制御部7は、図6の(a)に示した走行環境に対して、記憶部8から、車両1の加速、車両1の減速、及び車両1の右方への車線変更の3通りの挙動の候補を読み出す。その際、記憶部8には、車両1の右方への車線変更が最も優先される挙動として記憶されているものとする。
 この場合、車両制御部7は、走行環境の情報と、第1の挙動の情報とを報知部92に報知させる。図6の(b)の場合、車両制御部7は、走行環境の情報と、第1の挙動の情報を示す文字情報69を生成し、報知部92に文字情報69を表示させる。
 そして、車両制御部7は、運転者に第1の挙動の採否を促す表示を表示領域69a、69cに表示させる。また、車両制御部7は、手動運転に切り替え可能であることを示す「自動運転終了」という表示を表示領域69gに表示させる。
 ここで、車両制御部7は、第1の挙動を採用することに対応する「YES」を強調して表示する。「YES」、「NO」のどちらを強調して表示するかは、予め定められていてもよいし、前回選択された選択肢を強調して表示することとしてもよいし、過去に選択された回数を記憶部8に記憶しておき、回数が多い方を報知部92が強調して表示することとしてもよい。
 このように過去に選択された挙動を学習することにより、車両制御部7は、運転者に適切に情報を報知できる。また、図5の(b)の場合よりも報知部92に報知させる表示を減らすことができ、運転者の煩わしさを低減できる。
 図7は、走行環境の第2の例と、それに対する表示制御を示す図である。図7の(a)は、走行環境を示す俯瞰図である。図7の(a)に示す走行環境は、前方に合流路がある点で図5の(a)、図6の(a)と同様であるが、車両1の右側に走行車両が存在する点で図5の(a)、図6の(a)と異なる。このような場合、車両制御部7は、車線変更が行えないと判断する。
 そして、車両制御部7は、車両1の走行環境が図7の(a)のようなものと判定した場合、図7の(b)に示すように、判定した走行環境の情報を報知部92に文字情報79として表示させる。
 さらに、車両制御部7は、記憶部8から読み出した車両1の加速、車両1の減速、及び、車両1の右方への車線変更の3通りの挙動の候補のうち、車両1の右方への車線変更はできないため、車両1の加速、及び、車両1の減速のみを選択する。
 また、車両制御部7は、このままの速度で進むと合流車両と接近しすぎることを予測し、車両1の減速が最も適した挙動である、つまり、第1の挙動であると判定する。
 ここで、3通りの挙動の候補のうち、最も適した挙動がどれかは、走行状態および周囲の状況の情報に基づいて最も適した挙動を判定する従来技術を用いて判定される。また、最も適した挙動がどれかは、予め定められていてもよいし、前回選択された挙動の情報を記憶部8に記憶しておき、その挙動を最も適した挙動と判定してもよいし、過去に各挙動が選択された回数を記憶部8に記憶しておき、回数が最も多い挙動を最も適した挙動と判定してもよい。
 その後、車両制御部7は、「減速」を第1の挙動として表示領域79cに表示させ、「加速」を第2の挙動として表示領域79aに表示させる。また、車両制御部7は、手動運転に切替えることを示す「自動運転終了」という表示を表示領域79gに表示させる。
 このような表示制御により、車両制御部7は、走行環境に応じて、その走行環境に最も適した挙動を第1の挙動として運転者に報知できる。
 第1の挙動の情報を上方に、第2の挙動の情報を下方に配置し、それぞれ操作ボタン51a、51cに選択機能を割り当ててもよいし、加速挙動の情報を上方に、減速挙動の情報を下方に、右車線変更の挙動の情報を右方に、左車線変更の挙動の情報を左方へ配置し、それぞれ操作ボタン51a、51c、51b、51dに選択機能を割り当ててもよいし、それらを切り替えられるようにし、別途行動優先配置か、操作優先配置かを表示してもよい。さらに、第1の挙動の情報の表示サイズを大きく、第2の挙動の情報の表示サイズを小さくしてもよい。なお、車の前後・左右の挙動と対応して挙動情報の表示を配置することにより、運転者に直感的な認識と操作が可能である。
 次に、前方に合流路があるという走行環境以外の走行環境の例について説明する。
 図8は、走行環境の第3の例と、それに対する表示制御を示す図である。図8の(a)は、車両1の走行環境を示す俯瞰図である。具体的には、図8の(a)には、先行車両が車両1よりも遅い速度で走行し、かつ、隣の車線への車線変更が可能な走行環境が示されている。
 車両制御部7は、走行状態および周囲の状況の情報に基づき、走行環境が、図8の(a)に示すような走行環境であると判定する。この場合、車両制御部7は、判定した走行環境の情報を報知部92に文字情報89として表示させる。
 また、車両制御部7は、判定した走行環境に対応する挙動の候補として、先行車両を追い越す走行、隣の車線へ車線変更を行う走行、車両1を減速させて先行車両を追従する走行の3通りの挙動の候補を記憶部8から読み出す。
 そして、車両制御部7は、例えば、先行車両の減速後の速度が所定値より高く許容できることから、車両1を減速させて先行車両を追従する走行が最も適した挙動、つまり、第1の挙動であると判定する。
 ここで、3通りの挙動の候補のうち、最も適した挙動がどれかは、走行状態および周囲の状況の情報に基づいて最も適した挙動を判定する従来技術を用いて判定される。また、最も適した挙動がどれかは、予め定められていてもよいし、前回選択された挙動の情報を記憶部8に記憶しておき、その挙動を最も適した挙動と判定してもよいし、過去に各挙動が選択された回数を記憶部8に記憶しておき、回数が最も多い挙動を最も適した挙動と判定してもよい。
 さらに、車両制御部7は、図8の(b)に示すように、第1の挙動を示す「追従」という文字情報を表示領域89cに強調して表示し、第2の挙動を示す「追い越し」、「車線変更」という文字情報をそれぞれ表示領域89a、89bに表示させる。また、車両制御部7は、手動運転に切替えることを示す「自動運転終了」という表示を表示領域89gに表示させる。
 第1の挙動の情報を上方に、第2の挙動の情報を下方に配置し、それぞれ操作ボタン51a、51cに選択機能を割り当ててもよいし、追い越し挙動の情報を上方に、追従挙動の情報を下方に、右車線変更の挙動の情報を右方に、左車線変更の挙動の情報を左方へ配置し、それぞれ操作ボタン51a、51c、51b、51dに選択機能を割り当ててもよいし、それらを切り替えられるようにし、別途行動優先配置か、操作優先配置かを表示してもよい。さらに、第1の挙動の情報の表示サイズを大きく、第2の挙動の情報の表示サイズを小さくしてもよい。
 図9は、走行環境の第4の例と、それに対する表示制御を示す図である。図9の(a)は、車両1の走行環境を示す俯瞰図である。具体的には、図9の(a)は、走行環境が、車両1と同一車線の前方において、車線が減少する走行環境であることを示している。
 車両制御部7は、走行状態および周囲の状況の情報に基づき、走行環境が、図9の(a)に示すような走行環境であると判定する。この場合、車両制御部7は、判定した走行環境の情報を報知部92に文字情報99として表示させる。
 また、車両制御部7は、判定した走行環境に対応する挙動の候補として、隣の車線へ車線変更を行う走行、そのまま現車線を維持する走行の2通りの挙動の候補を記憶部8から読み出す。
 そして、車両制御部7は、例えば、車線減少箇所までのTTCが所定値より短いため、隣の車線へ車線変更を行う走行が最も適した挙動である、つまり、第1の挙動であると判定する。
 ここで、2通りの挙動の候補のうち、最も適した挙動がどれかは、走行状態および周囲の状況の情報に基づいて最も適した挙動を判定する従来技術を用いて判定される。また、最も適した挙動がどれかは、予め定められていてもよいし、前回選択された挙動の情報を記憶部8に記憶しておき、その挙動を最も適した挙動と判定してもよいし、過去に各挙動が選択された回数を記憶部8に記憶しておき、回数が最も多い挙動を最も適した挙動と判定してもよい。
 さらに、車両制御部7は、図9の(b)に示すように、第1の挙動を示す「車線変更」という文字情報を表示領域99bに強調して表示し、第2の挙動を示す「そのまま」という文字情報を表示領域99cに表示させる。また、車両制御部7は、手動運転に切替えることを示す「自動運転終了」という表示を表示領域99gに表示させる。
 第1の挙動の情報を上方に、第2の挙動の情報を下方に配置し、それぞれ操作ボタン51a、51cに選択機能を割り当ててもよいし、何もしない挙動の情報を下方に、右車線変更の挙動の情報を右方に、左車線変更の挙動の情報を左方へ配置し、それぞれ操作ボタン51c、51b、51dに選択機能を割り当ててもよいし、それらを切り替えられるようにし、別途行動優先配置か、操作優先配置かを表示してもよい。さらに、第1の挙動の情報の表示サイズを大きく、第2の挙動の情報の表示サイズを小さくしてもよい。なお、図7、図8、図9に示されているように、異なる走行環境によって、表示領域にはそれぞれ異なる機能が割り当てられることで、少ない領域で情報報知や操作することができる。
 上記の説明では、車両制御部7が、走行環境および周囲の状況の情報に応じて、報知部92に挙動を報知させる場合について説明したが、本発明はこれに限定されない。例えば、運転者による所定の操作があったときに、報知部92に挙動を報知させることとしてもよい。
 図10は、走行環境の第5の例と、それに対する表示制御を示す図である。図10の(a)は、車両1の走行環境を示す俯瞰図である。具体的には、図10の(a)には、車両1が左方と右方にそれぞれ車線変更可能な走行環境であることを示す走行環境が示されている。
 図10の(a)に示す走行環境は、図5の(a)~図9の(a)の場合と異なり、車線の変更や車両の加速、減速が不要な通常走行が可能な走行環境である。この場合、車両制御部7は、図10の(b)の表示109に示すように、走行環境の情報を報知部92に文字情報として表示させなくともよい。
 このように報知部92に文字情報が表示されていない状況において、運転者が操作部51のいずれかの操作ボタンを押下した場合、車両制御部7は、通常走行における挙動の候補を記憶部8から読み出す。
 具体的には、記憶部8には、図10の(a)に示すような通常走行の走行環境に対応付けて、車両1の加速、車両1の減速、車両1の右方への車線変更、車両1の左方への車線変更の4通りの挙動の候補が記憶されている。車両制御部7は、これらを読み出し、報知部92の表示領域109a~109dにそれぞれ表示させる。
 また、車両制御部7は、手動運転に切り替えることを示す「自動運転終了」という表示を表示領域99gに表示させるとともに、挙動の更新をキャンセルすることを示す「キャンセル」という表示を表示領域109eに強調して表示させる。
 以上説明した本実施の形態によれば、運転者に次に実施される挙動の候補を効果的に報知し、運転者により好ましい挙動を選択させることができる。
 なお、運転者が実施したい挙動を選択する代わりに、直接ハンドルなどの手動操作をしてもよい。これにより、運転者が自分の意思により素早く手動運転操作に切り替えられる。
 [変形例]
 以上説明した本実施の形態では、報知部92における表示は、文字情報であるとして説明したが、本発明はこれに限定されない。例えば、挙動を示す記号を用いて運転者に視覚的に表示させてもより。以下では、運転者に視覚的に表示させる記号を用いた表示を図5および図7に対する表示を例にとって説明する。
 図11は、図5に示した走行環境の第1の例に対する別の表示制御を示す図である。この例では、上述した第1の挙動が車両1の右方への車線変更であり、第2の挙動が車両1の加速、及び、車両1の減速である。
 この場合、第1の挙動である「車線変更」を示す記号111が中央に大きく表示され、第2の挙動である「車両1の加速」を示す記号112、及び、「車両1の減速」を示す記号113が右方に小さく表示される。また、自動運転終了を示す記号114が左方に小さく表示される。
 そして、このまま運転手により車両1の挙動の変更指示を受けつけなければ、車線変更が行われる。
 図12は、図7に示した走行環境の第2の例に対する別の表示制御を示す図である。この例では、上記第1の例と異なり、車両1の右方に別の車両が走行しているため、車線変更ができない。そのため、例えば、「車両1の減速」が第1の挙動に設定され、「車両1の加速」が第2の挙動に設定される。
 そして、この場合、図12の(a)に示すように、第1の挙動である「車両1の減速」を示す記号121が中央に大きく表示され、第2の挙動である「車両1の加速」を示す記号122が右方に小さく表示される。また、自動運転終了を示す記号123が左方に小さく表示される。
 ここで、操作部51が運転手から「車両1の加速」を選択する操作を受けつけたものとする。この場合、図12の(b)に示すように、第1の挙動である「車両1の加速」を示す記号122’が中央に大きく表示され、第2の挙動である「車両1の減速」を示す記号121’が右方に小さく表示されることになる。
 以上説明した本実施の形態によれば、運転者に次に実施される挙動の候補を効果的に報知し、運転者により好ましい挙動を選択させることができる。一方、運転者は、車両が実施する挙動や他に選択可能な挙動を把握でき、安心感を持って自動運転を継続することできる。または、運転者がスムーズに車へ指示を与えることができる。
 また、本実施の形態によれば、走行環境に応じて、報知部に報知させる選択肢、つまり、第2の挙動を可変にすることができる。
 (実施の形態2)
 実施の形態1では、ハンドル5に設けられた操作部51によって、報知部92の表示に応じた操作を行う構成について説明した。本実施の形態では、ハンドル5に設けられる操作部51の代わりに、タッチパネルが設けられる構成について説明する。
 図13は、本発明の実施の形態2に係る情報報知装置を含む車両1の要部構成を示すブロック図である。なお、図13において、図1と共通する構成には図1と同一の符号を付し、その詳しい説明を省略する。図13に示す車両1には、ハンドル5の操作部51の代わりにタッチパネル10が設けられている。
 タッチパネル10は、情報の表示と入力の受付が可能な液晶パネル等からなる装置であり、車両制御部7と接続される。タッチパネル10は、車両制御部7による制御に基づいて情報を表示する表示部101と、運転者等からの操作を受けつけ、受けつけた操作を車両制御部7へ出力する入力部102とを有する。
 次に、タッチパネル10の表示制御について説明する。ここでは、車両1が3車線の中央を走行中であり、右方の車線と左方の車線のいずれかに車線変更が可能である場合の表示制御について説明する。
 図14は、実施の形態2におけるタッチパネル10の表示を説明する図である。図14の(a)は、タッチパネル10の表示部101の初期表示である。車両制御部7は、車両1が右方の車線と左方の車線のいずれかに車線変更が可能であると判定した場合、タッチパネル10の表示部101に図14の(a)のような表示を実行させる。ここで、表示領域121における「Touch」という表示は、タッチパネル10が運転者によるタッチ操作を受けつけ可能なモードであることを示している。
 運転者は、図14の(a)に示す表示において、表示領域121をタッチするタッチ操作を行う場合、入力部102は、この操作を受けつけて、この操作が行われたことを示す情報を車両制御部7へ出力する。車両制御部7は、この情報を受けつけると、図14の(b)に示す表示を表示部101に表示させ、また、図14の(c)に示す表示を報知部92に表示させる。
 図14の(b)には、車両1へ移動を指示する操作であることを示す「Move」と表示された表示領域121aが示されている。また、図14の(b)には、車両1が3車線のそれぞれを走行可能であることを示す表示領域121b~121dが示されている。なお、表示領域121b~121dは、それぞれ、図14の(c)に矢印X、Y、Zで示される車線での走行と対応する。
 また、図14の(b)の各表示領域と、図14の(c)の各矢印とは、それぞれ、態様(例えば、色や配置など)を一致させる。これにより、運転者により理解しやすい表示となる。
 さらに、矢印X、Y、Zで示される車線の太さなどを変えて、車両制御が判定した車両が実施する挙動と他に運転者が選択可能な挙動が区別できるように表示してもよい。
 運転者は、表示領域121b~121dのうち、走行したい車線に対応する表示領域に触れることによって、車両1の挙動の選択を行う。この場合、入力部102は、運転者の挙動の選択操作を受けつけて、選択された挙動の情報を車両制御部7へ出力する。そして、車両制御部7は、選択された挙動を実行するよう車両1を制御する。これにより、運転者が走行したい車線を車両1が走行することになる。
 なお、運転者は、タッチパネル10に対して、タッチ操作の代わりに、スワイプ操作を行ってもよい。例えば、図14に示す例において、運転者が図14の(c)の矢印Xで示される車線への変更を行いたい場合、運転者は、タッチパネル10において右方へのスワイプ操作を行う。
 この場合、入力部102は、スワイプ操作を受けつけ、スワイプ操作の内容を示す情報を車両制御部7へ出力する。そして、車両制御部7は、選択された挙動である矢印Xで示される車線への車線変更を実行するよう車両1を制御する。
 さらに、車両1へ移動を指示する操作であることを示す「Move」と表示された表示領域121aが示されるときに、音声で「挙動選択」などと発話してもよい。これにより、手元のタッチパネルを見ることなく、HUDの表示のみで操作が可能となる。
 また、タッチ操作やスワイプ操作の際に、選択したタッチパネルの表示領域に対応する車線の表示態様を変更し、どの車線を選択しようとしているのか選択前に確認できるようにしてもよい。例えば、表示領域bをタッチした瞬間に、車線Xの太さが拡大し、すぐに手を離せば車線Xは選択されず車線Xの太さが元の大きさに戻り、表示領域121cにタッチを移動した瞬間に、車線Yの太さが拡大し、しばらくその状態を保持すると、車線Yが選択され、車線Yが点滅することで決定されたことを伝えても良い。これにより、手元を目視せずに選択や決定の操作ができる。
 なお、実施の形態1と同様に、加速、減速、追越し、そのままなどの車両制御機能を、走行環境に応じて、表示領域に割り当てても良い。
 以上説明した本実施の形態によれば、操作部の代わりにタッチパネルを設けることにより、運転者に直感的な操作を行わせることができる。また、タッチパネルは、操作を受けつける表示領域の数、形状、色などを自由に変更させることができるため、ユーザインターフェースの自由度が向上する。
 (実施の形態3)
 実施の形態1では、第1の挙動と第2の挙動が同時に表示される場合について説明した。本実施の形態では、まず、報知部92に第1の挙動が表示され、運転者の操作を受けつけた場合に、第2の挙動が表示される構成について説明する。
 本実施の形態に係る構成は、実施の形態1で説明した図1の構成において、操作部51に運転者がハンドル5を握ったか否かを検出するグリップセンサがさらに含まれた構成となる。
 図15は、本発明の実施の形態3における報知部92の表示を説明する図である。図15には、図8の(a)に示した場合と同様に、車両1と同一車線の前方を走行する車両が車両1よりも遅い速度で走行し、かつ、隣の車線への車線変更が可能な走行環境における表示の例が示されている。
 車両制御部7は、走行環境が、図8の(a)に示した走行環境であると判定すると、まず、報知部92に図15の(a)に示す表示を実行させる。
 図15の(a)には、第1の所定時間が経過した後に実施される挙動の候補うち、第1の挙動である「追い越し」を示す記号131が第1の態様(例えば、第1の色)で示されている。
 車両制御部7は、図15の(a)に示す表示を報知部92に実行させた後、第2の所定時間が経過した場合、記号131を第1の態様から、第1の態様とは異なる第2の態様(例えば、第1の色とは異なる第2の色)で報知部92に表示させる。ここで、第2の所定時間は、実施の形態1で説明した第2の所定時間と同様のものである。
 つまり、記号131が第1の態様で示されている間、運転者は、第2の挙動の選択が可能であるが、記号131が第2の態様に変更された場合、運転者は、第2の挙動の選択が不可能になる。
 また、図15の(a)には、第2の挙動が選択可能であることを示すハンドル形状の記号132が示されている。記号132が表示されている場合に運転者がハンドル5を握ることによって、第2の挙動が表示される。記号132は、第2の挙動が選択可能であることを示す表示であるが、記号131が第1の態様にて表示されることによって、運転者に第2の挙動が選択可能であることを示すこととしてもよい。この場合、記号132は、表示されなくてもよい。
 また、図15の(a)には、現在、自動運転中であることを示す記号133が示されている。記号133は、自動運転で走行中であることを運転者に示す補助的な表示であるが、記号133は表示されなくてもよい。
 図15の(a)の表示に対して運転者がハンドル5を握った場合、グリップセンサがそれを検出し、その検出結果の情報を車両制御部7へ出力する。この場合、車両制御部7は、図15の(b)に示す表示を報知部92に実行させる。
 図15の(b)には、図15の(a)と同様に、第1の挙動である「追い越し」を示す記号131が第1の態様(例えば、第1の色)で示されている。また、第2の挙動である「車線変更」を示す記号134と、第2の挙動である「減速」を示す記号135が示されている。
 運転者は、ハンドル5の操作部51を操作することによって、第1の挙動から第2の挙動への変更を行う。例えば、運転者は、操作部51の操作ボタン51a、または、操作ボタン51c(図2の(c)参照)を押下することによって、「車線変更」(記号134)、または、「減速」(記号135)への挙動の更新を行う。
 また、図15の(b)には、車両制御部7が、車両1の挙動を学習中であることを示す記号136が示されている。記号136が表示されている場合、車両制御部7は、運転者が選択した挙動を学習する。記号136は表示されなくても構わない。また、学習は常に行っていても構わない。
 つまり、車両制御部7は、運転者が選択した挙動を記憶部8に記憶し、次に同様の走行環境になった場合、記憶した挙動を第1の挙動として、報知部92に表示させる。または、車両制御部7は、過去に各挙動が選択された回数を記憶部8に記憶しておき、回数が最も多い挙動を第1の挙動として、報知部92に表示させてもよい。
 また、図15の(b)には、自動運転中ではないことを示す記号137が示されている。記号137が表示されている場合、車両制御部7は、第1の所定時間経過後に行う挙動が運転者によって選択されるまで待機する。
 図15の(b)に示す表示に対して、運転者が操作部51の操作ボタン51aを押下して「車線変更」を選択した場合、車両制御部7は、この選択操作の情報を受けつけ、図15の(c)に示す表示を報知部92に実行させる。
 図15の(c)には、「車線変更」を示す記号134’が、第1の態様で示されている。車両制御部7は、「車線変更」を選択する選択操作の情報を受けつけた場合、この選択された挙動が次に行う挙動であると判定し、「車線変更」を示す記号134’を第1の態様で報知部92に表示させる。
 また、図15の(c)の記号131’は、図15の(b)において第1の挙動として表示されていた記号131が記号134と入れ替わって表示されたものである。
 また、図15の(c)に示す表示に対して、運転者が操作ボタンのいずれかを2度連続して押下した場合、運転者が前に行った選択操作をキャンセルできるようにしてもよい。この場合、車両制御部7は、操作ボタンのいずれかを2度連続して押下する操作の情報を受けつけ、図15の(c)に示す表示から図15の(b)に示す表示への変更を報知部92に実行させる。
 車両制御部7は、図15の(a)に示す表示を報知部92に実行させてから、第2の所定時間が経過するまでの間に、運転者の操作に基づいて、図15の(b)、図15の(c)へと報知部92の表示を変化させる。その後、車両制御部7は、図15の(a)に示す表示を報知部92に実行させてから第2の所定時間が経過した後に、図15の(d)に示す表示を報知部92に表示させる。
 なお、車両制御部7は、運転者がハンドル5から手を離したこと示す情報をグリップセンサから取得した場合に、第2の所定時間が経過する前に図15の(d)に示す表示を報知部92に表示させてもよい。
 ここで、図15の(d)には、次の挙動として、運転者が選択した「車線変更」を示す記号134’が第2の態様で表示され、また、自動運転で走行中であることを示す記号133が、再び、表示された状態が示されている。
 以上説明した本実施の形態によれば、車両制御部7は、運転者が次にとる挙動の更新したい場合にのみ、他の挙動の候補を確認できるように、報知部92での表示を変更する。この構成により、運転者が視認する表示を減らすことができ、運転者の煩わしさを低減できる。
 (実施の形態4)
 本実施の形態では、車両1が実行しうる複数の挙動の候補のうち最も適した挙動がどれかを判定する方法として、予め学習により構築されたニューラルネットワーク(NN)を用いる場合について説明する。なお、上述の挙動を判定することを、以下、挙動を推定するという。
 図16は、本実施の形態における車両制御部7の挙動の推定に関する機能構成の一例を示すブロック図である。
 車両制御部7は、挙動学習部401と、挙動推定部402と、挙動推定結果受付部403とを備える。
 挙動学習部401は、特定の運転者(例えば、運転者x)の運転履歴から運転者xのニューラルネットワークを構築する。そして、挙動学習部401は、その構築されたニューラルネットワークを挙動推定NNとして挙動推定部402に出力する。
 運転履歴は、過去に車両1によって行われた挙動ごとに、その挙動に対応する複数の特徴量(以下、特徴量セットという)を示す。挙動に対応する複数の特徴量はそれぞれ、例えば、車両1によってその挙動が行われた時点から上述の第1の所定時間前の時点における車両1の走行状態を示す量である。例えば、特徴量は、同乗者数、車両1の速さ、ハンドルの動き、ブレーキの度合い、またはアクセルの度合いなどである。また、この運転履歴は、実施の形態7の図55に示す運転特性モデルであってもよい。つまり、特徴量は、例えば、速度に関する特徴量、ステアリングに関する特徴量、操作タイミングに関する特徴量、車外センシングに関する特徴量、または車内センシングに関する特徴量等である。また、これらの特徴量は、上述の検出部6によって検出された車両1の走行状態である。
 挙動推定部402は、挙動学習部401によって構築された挙動推定NNに、現時点において得られた特徴量セットをテストデータとして入力することによって、その特徴量セットに対応する挙動を挙動推定結果として出力する。つまり、挙動推定部402は、例えば上述の第1の所定時間後の挙動を推定する。
 挙動推定結果受付部403は、挙動推定部402から出力された挙動推定結果を受け付ける。挙動推定結果受付部403は、このように受け付けられた挙動推定結果を上述の情報取得部91に出力する。これにより、挙動推定結果が情報取得部91に取得される。
 図17は、挙動学習部401の学習を説明するための図である。
 挙動学習部401は、特定の運転者(例えば、運転者x)の運転履歴に含まれる特徴量セットを入力パラメータとして取得する。さらに、挙動学習部401は、運転履歴に含まれるその特徴量セットに対応付けられている挙動を教師付けデータとして取得する。そして、挙動学習部401は、その入力パラメータと教師付けデータとに基づいて、ニューラルネットワークを調整する。つまり、挙動学習部401は、入力パラメータをニューラルネットワークに入力することによって、教師付けデータが出力として得られるように、ニューラルネットワークの重みなどを調整する。このような調整によって、挙動学習部401は、入力パラメータと教師付けデータとの関係を、ニューラルネットワークに学習させ、挙動推定NNが構築される。
 図18Aは、ニューラルネットワークの学習を示す図である。
 挙動学習部401は、運転者xの運転履歴に含まれる、それぞれ同乗者数および速さなどを含む複数の入力パラメータをニューラルネットワークに入力する。そして、挙動学習部401は、ニューラルネットワークからの出力が、その入力パラメータに対応付けられた教師付けデータに一致するように、ニューラルネットワークの重みを最適化する。これにより、挙動推定NNが構築される。
 図18Bは、挙動推定NNを用いた挙動の推定を示す図である。
 挙動推定部402は、運転者xの現時点の特徴量セットをテストデータとして取得して、そのテストデータを挙動推定NNに入力する。なお、このテストデータに含まれる各特徴量は、同乗者数および速さなどであって、入力パラメータとして用いられた各特徴量と対応している。これにより、挙動推定部402は、挙動推定NNの出力として、例えば車線変更などを示す挙動推定結果を取得する。
 このように本実施の形態では、上記実施の形態1~3の何れかの情報報知装置9と、挙動学習部401と、挙動推定部402とから、情報処理システムが構成される。つまり、本実施の形態における情報処理システムは、上記実施の形態1~3の何れかの情報報知装置9と、挙動学習部401と、挙動推定部402とを備える。挙動学習部401は、検出部6が検出した車両1の走行状態と、その車両1の走行状態の後に行われた車両1の挙動との関係を、運転履歴を用いてニューラルネットワークに学習させる。挙動推定部402は、検出部6によって検出される現時点における車両1の走行状態を、学習したニューラルネットワークに入力することによって、車両1の挙動を推定する。
 これにより、クラスタリングまたは類似度などを用いることなく、車両1の挙動を適切に推定することができる。なお、本実施の形態における情報処理システムは情報報知装置9を備えるが、この情報報知装置9を備えていなくて、車両1の挙動を適切に推定することができる。
 ここで、上述の例では、特定の運転者の運転履歴のみからニューラルネットワークを構築したが、他の運転者の運転履歴も用いて、つまり複数の運転者の運転履歴からニューラルネットワークを構築してもよい。
 図19は、本実施の形態における車両制御部7の挙動の推定に関する機能構成の他の例を示すブロック図である。
 車両制御部7は、複数の運転者の運転履歴を用いてニューラルネットワークを構築する。この車両制御部7は、汎用挙動学習部411と、汎用挙動推定部412と、ヒストグラム生成部413と、専用挙動学習部414と、専用挙動推定部415と、挙動推定結果受付部416とを備える。このような車両制御部7では、まず、複数の運転者の運転履歴を用いて汎用的なニューラルネットワークを汎用挙動推定NNとして構築する。そして、車両制御部7は、特定の運転者(例えば、運転者x)の運転履歴を用いて、その汎用挙動推定NNに再学習させる転移学習によって、専用挙動推定NNを構築する。車両制御部7は、この専用挙動推定NNを用いて車両1の挙動を推定する。
 汎用挙動学習部411は、複数の運転者の運転履歴から汎用的なニューラルネットワークを汎用挙動推定NNとして構築する。そして、汎用挙動学習部411は、その構築された汎用挙動推定NNを汎用挙動推定部412に出力する。
 汎用挙動推定部412は、特定の運転者(例えば、運転者x)の運転履歴に含まれる挙動を教師付けデータとして取得する。さらに、汎用挙動推定部412は、運転履歴に含まれるその挙動に対応付けられている特徴量セットを入力パラメータとして取得する。汎用挙動推定部412は、汎用挙動推定NNに入力パラメータを入力し、その汎用挙動推定NNからの出力を仮挙動推定結果としてヒストグラム生成部413に出力する。また、汎用挙動推定部412は、その教師付けデータもヒストグラム生成部413に出力する。
 ヒストグラム生成部413は、教師付けデータの挙動と、その挙動に対応する仮挙動推定結果とを取得し、その教師付けデータの挙動に対する仮挙動推定結果の累積値を示す仮挙動ヒストグラムを生成する。
 専用挙動学習部414は、その仮挙動ヒストグラムに基づいて、汎用挙動推定NNの出力と教師付けデータとの一致度を高めるように汎用挙動推定NNの重みを再学習して、専用挙動推定NNを構築する。
 専用挙動推定部415は、専用挙動学習部414によって構築された専用挙動推定NNに、特定の運転者(例えば、運転者x)の現時点において得られた特徴量セットをテストデータとして入力する。その結果、専用挙動推定部415は、専用挙動推定NNから出力される、その特徴量セットに対する挙動を取得し、その挙動を挙動推定結果として出力する。つまり、専用挙動推定部415は、例えば上述の第1の所定時間後の挙動を推定する。
 挙動推定結果受付部416は、専用挙動推定部415から出力された挙動推定結果を受け付ける。挙動推定結果受付部416は、このように受け付けられた挙動推定結果を上述の情報取得部91に出力する。これにより、挙動推定結果が情報取得部91に取得される。
 図20は、汎用挙動学習部411の学習を説明するための図である。
 汎用挙動学習部411は、複数の運転者の運転履歴に含まれる特徴量セットを入力パラメータとして取得する。さらに、汎用挙動学習部411は、運転履歴に含まれるその特徴量セットに対応付けられている挙動を教師付けデータとして取得する。そして、汎用挙動学習部411は、その入力パラメータと教師付けデータとに基づいて、ニューラルネットワークを調整する。つまり、汎用挙動学習部411は、入力パラメータをニューラルネットワークに入力することによって、教師付けデータが出力として得られるように、ニューラルネットワークの重みなどを調整する。このような調整によって、汎用挙動学習部411は、入力パラメータと教師付けデータとの関係を、ニューラルネットワークに学習させる。
 図21Aは、汎用挙動学習部411におけるニューラルネットワークの学習を示す図である。
 汎用挙動学習部411は、任意の運転者の運転履歴に含まれる、それぞれ同乗者数および速さなどを含む複数の入力パラメータをニューラルネットワークに入力する。そして、汎用挙動学習部411は、ニューラルネットワークからの出力が、その入力パラメータに対応付けられた教師付けデータに一致するように、ニューラルネットワークの重みを最適化する。このような最適化は、1人の運転者の運転履歴だけでなく、複数の運転者の運転履歴にも基づいて行われる。これにより、汎用挙動推定NNが構築される。
 図21Bは、汎用挙動推定NNを用いた挙動の推定を示す図である。
 汎用挙動推定部412は、汎用挙動学習部411によって構築された汎用挙動推定NNを用いて仮の挙動を推定する。つまり、汎用挙動推定部412は、特定の運転者(例えば、運転者x)の運転履歴に含まれる特定の挙動(例えば車線変更)を教師付けデータとして取得し、その挙動に対応付けられている特徴量セットを入力パラメータとして取得する。運転履歴において、その特定の挙動に対応付けられている特徴量セットが複数あれば、汎用挙動推定部412は、それらの複数の特徴量セットのそれぞれを入力パラメータとして取得する。
 そして、汎用挙動推定部412は、それらの入力パラメータを汎用挙動推定NNに順に入力する。これにより、汎用挙動推定部412は、特定の挙動である教師付けデータ(例えば車線変更)に対して、車線変更だけでなく例えば追い越しも含む、互いに異なる推定結果を仮挙動推定結果として取得する。
 ヒストグラム生成部413は、特定の挙動である教師付けデータ(例えば車線変更)に対する仮挙動推定結果のヒストグラム(仮挙動ヒストグラム)を生成する。この仮挙動ヒストグラムは、汎用挙動推定NNの出力として得られる仮挙動推定結果の累積値を示す。
 図22は、専用挙動推定NNの構築方法を示す図である。
 専用挙動学習部414は、図22の(a)に示す仮挙動ヒストグラムが生成されると、汎用挙動推定NNの出力と教師付けデータ(この例では車線変更)との一致度を高めるように汎用挙動推定NNの重みを再学習させる。これにより、専用挙動学習部414は、図22の(b)に示すように、教師付けデータの挙動(例えば車線変更)のみが推定結果として出力される専用挙動推定NNを構築する。このような再学習は、1つの教師付けデータに対してだけでなく、他の複数の教師付けデータのそれぞれに対しても行われる。つまり、専用挙動学習部414は、転移学習によって、特定の運転者に対する専用のニューラルネットワークを構築する。
 図23は、専用挙動推定NNを用いた挙動の推定を示す図である。
 専用挙動推定部415は、運転者xの現時点における特徴量セットをテストデータとして取得して、そのテストデータを専用挙動推定NNに入力する。なお、このテストデータに含まれる各特徴量は、同乗者数および速さなどであって、入力パラメータとして用いられた各特徴量と対応している。これにより、専用挙動推定部415は、専用挙動推定NNの出力として、例えば車線変更などを示す挙動推定結果を取得する。
 このように、本実施の形態における情報処理システムは、汎用挙動学習部411と、専用挙動学習部414と、汎用挙動推定部412と、専用挙動推定部415と、ヒストグラム生成部413とを備える。汎用挙動学習部411は、複数の運転者のそれぞれについて、検出部6が検出した車両1の走行状態と、その車両1の走行状態の後に行われた車両1の挙動との関係をニューラルネットワークに学習させる。汎用挙動推定部412は、汎用挙動学習部411によって学習したニューラルネットワークに、特定の運転者に対して検出部6が検出した車両1の走行状態を入力することによって、その特定の運転者に対する車両1の仮の挙動を推定する。ヒストグラム生成部413は、汎用挙動推定部412による仮の挙動の推定結果のヒストグラムを生成する。専用挙動学習部414は、特定の運転者に対して検出部6が検出した車両1の走行状態と、その車両1の走行状態の後に行われた車両1の挙動とを用いて、学習したニューラルネットワークに再学習させる転移学習によって、特定の運転者に対する専用のニューラルネットワークを構築する。このとき、専用挙動学習部414は、生成されたヒストグラムを参照した転移学習によって、専用のニューラルネットワークを構築する。専用挙動推定部415は、その専用のニューラルネットワークを用いて、特定の運転者に対する車両1の挙動を推定する。
 これにより、特定の運転者の運転履歴に含まれる挙動と特徴量セットが少ない場合であっても、複数の運転者の運転履歴が用いられるため、特定の運転者に対する車両1の挙動を適切に推定することができる。
 [変形例1]
 ここで、上述の例では、運転履歴を用いてニューラルネットワークを構築した。本変形例では、実施の形態7の図60または図61に示す走行履歴を用いてニューラルネットワークを構築する。
 図24は、本変形例における車両制御部7の挙動の推定に関する機能構成の一例を示すブロック図である。
 車両制御部7は、挙動学習部421と、挙動推定部422と、挙動推定結果受付部423とを備える。
 挙動学習部421は、特定の運転者(例えば、運転者x)の走行履歴から運転者xのニューラルネットワークを構築する。そして、挙動学習部421は、その構築されたニューラルネットワークを挙動推定NNとして挙動推定部422に出力する。
 走行履歴は、過去に車両1によって行われた挙動ごとに、その挙動に対応する複数の環境パラメータ(以下、環境パラメータセットという)を示す。挙動に対応する複数の環境パラメータはそれぞれ、例えば、車両1によってその挙動が行われた時点から上述の第1の所定時間前の時点における車両1の環境(周囲の状況)を示すパラメータである。例えば、環境パラメータは、自車両の速度Va、自車両に対する先行車両の相対速度Vba、および先行車両と自車両との車間距離DRbaなどである。また、これらの環境パラメータは、上述の検出部6によって検出された車両1の周囲の状況である。
 挙動推定部422は、挙動学習部421によって構築された挙動推定NNに、現時点において得られた環境パラメータセットをテストデータとして入力することによって、その環境パラメータセットに対応する挙動を挙動推定結果として出力する。つまり、挙動推定部422は、例えば上述の第1の所定時間後の挙動を推定する。
 挙動推定結果受付部423は、挙動推定部422から出力された挙動推定結果を受け付ける。挙動推定結果受付部423は、このように受け付けられた挙動推定結果を上述の情報取得部91に出力する。これにより、挙動推定結果が情報取得部91に取得される。
 図25は、挙動学習部421の学習を説明するための図である。
 挙動学習部421は、特定の運転者(例えば、運転者x)の走行履歴に含まれる環境パラメータセットを入力パラメータとして取得する。さらに、挙動学習部421は、走行履歴に含まれるその環境パラメータセットに対応付けられている挙動を教師付けデータとして取得する。そして、挙動学習部421は、その入力パラメータと教師付けデータとに基づいて、ニューラルネットワークを調整する。つまり、挙動学習部421は、入力パラメータをニューラルネットワークに入力することによって、教師付けデータが出力として得られるように、ニューラルネットワークの重みなどを調整する。このような調整によって、挙動学習部421は、入力パラメータと教師付けデータとの関係を、ニューラルネットワークに学習させ、挙動推定NNが構築される。
 図26Aは、ニューラルネットワークの学習を示す図である。
 挙動学習部421は、運転者xの走行履歴に含まれる、それぞれ自車両の速度Vaおよび先行車両の相対速度Vbaなどを含む複数の入力パラメータをニューラルネットワークに入力する。そして、挙動学習部421は、ニューラルネットワークからの出力が、その入力パラメータに対応付けられた教師付けデータに一致するように、ニューラルネットワークの重みを最適化する。これにより、挙動推定NNが構築される。
 図26Bは、挙動推定NNを用いた挙動の推定を示す図である。
 挙動推定部422は、運転者xの現時点の環境パラメータセットをテストデータとして取得して、そのテストデータを挙動推定NNに入力する。なお、このテストデータに含まれる各環境パラメータは、自車両の速度Vaおよび先行車両の相対速度Vbaなどであって、入力パラメータとして用いられた各環境パラメータと対応している。これにより、挙動推定部422は、挙動推定NNの出力として、例えば減速などを示す挙動推定結果を取得する。
 このように本変形例では、上記実施の形態1~3の何れかの情報報知装置9と、挙動学習部421と、挙動推定部422とから、情報処理システムが構成される。つまり、本実施の形態における情報処理システムは、上記実施の形態1~3の何れかの情報報知装置9と、挙動学習部421と、挙動推定部422とを備える。挙動学習部421は、検出部6が検出した車両1の周囲の状況と、その車両1の周囲の状況の後に行われた車両1の挙動との関係を、走行履歴を用いてニューラルネットワークに学習させる。挙動推定部422は、検出部6によって検出される現時点における車両1の走行状態を、学習したニューラルネットワークに入力することによって、車両1の挙動を推定する。
 これにより、クラスタリングまたは類似度などを用いることなく、車両1の挙動を適切に推定することができる。なお、本変形例における情報処理システムは情報報知装置9を備えるが、この情報報知装置9を備えていなくて、車両1の挙動を適切に推定することができる。
 ここで、上述の例では、特定の運転者の走行履歴のみからニューラルネットワークを構築したが、他の運転者の走行履歴も用いて、つまり複数の運転者の走行履歴からニューラルネットワークを構築してもよい。
 図27は、本実施の形態における車両制御部7の挙動の推定に関する機能構成の他の例を示すブロック図である。
 車両制御部7は、複数の運転者の走行履歴を用いてニューラルネットワークを構築する。この車両制御部7は、汎用挙動学習部431と、汎用挙動推定部432と、ヒストグラム生成部433と、専用挙動学習部434と、専用挙動推定部435と、挙動推定結果受付部436とを備える。このような車両制御部7では、まず、複数の運転者の走行履歴を用いて汎用的なニューラルネットワークを汎用挙動推定NNとして構築する。そして、車両制御部7は、特定の運転者(例えば、運転者x)の走行履歴を用いて、その汎用挙動推定NNに再学習させる転移学習によって、専用挙動推定NNを構築する。車両制御部7は、この専用挙動推定NNを用いて車両1の挙動を推定する。
 汎用挙動学習部431は、複数の運転者の走行履歴から汎用的なニューラルネットワークを汎用挙動推定NNとして構築する。そして、汎用挙動学習部431は、その構築された汎用挙動推定NNを汎用挙動推定部432に出力する。
 汎用挙動推定部432は、特定の運転者(例えば、運転者x)の走行履歴に含まれる挙動を教師付けデータとして取得する。さらに、汎用挙動推定部432は、走行履歴に含まれるその挙動に対応付けられている環境パラメータセットを入力パラメータとして取得する。汎用挙動推定部432は、汎用挙動推定NNに入力パラメータを入力し、その汎用挙動推定NNからの出力を仮挙動推定結果としてヒストグラム生成部433に出力する。また、汎用挙動推定部432は、その教師付けデータもヒストグラム生成部433に出力する。
 ヒストグラム生成部433は、教師付けデータの挙動と、その挙動に対応する仮挙動推定結果とを取得し、その教師付けデータの挙動に対する仮挙動推定結果の累積値を示す仮挙動ヒストグラムを生成する。
 専用挙動学習部434は、その仮挙動ヒストグラムに基づいて、汎用挙動推定NNの出力と教師付けデータとの一致度を高めるように汎用挙動推定NNの重みを再学習して、専用挙動推定NNを構築する。
 専用挙動推定部435は、専用挙動学習部434によって構築された専用挙動推定NNに、特定の運転者(例えば、運転者x)の現時点において得られた環境パラメータセットをテストデータとして入力する。その結果、専用挙動推定部435は、専用挙動推定NNから出力される、その環境パラメータセットに対する挙動を取得し、その挙動を挙動推定結果として出力する。つまり、専用挙動推定部435は、例えば上述の第1の所定時間後の挙動を推定する。
 挙動推定結果受付部436は、専用挙動推定部435から出力された挙動推定結果を受け付ける。挙動推定結果受付部436は、このように受け付けられた挙動推定結果を上述の情報取得部91に出力する。これにより、挙動推定結果が情報取得部91に取得される。
 図28は、汎用挙動学習部431の学習を説明するための図である。
 汎用挙動学習部431は、複数の運転者の走行履歴に含まれる環境パラメータセットを入力パラメータとして取得する。さらに、汎用挙動学習部431は、走行履歴に含まれるその環境パラメータセットに対応付けられている挙動を教師付けデータとして取得する。そして、汎用挙動学習部431は、その入力パラメータと教師付けデータとに基づいて、ニューラルネットワークを調整する。つまり、汎用挙動学習部431は、入力パラメータをニューラルネットワークに入力することによって、教師付けデータが出力として得られるように、ニューラルネットワークの重みなどを調整する。このような調整によって、汎用挙動学習部431は、入力パラメータと教師付けデータとの関係を、ニューラルネットワークに学習させる。
 図29Aは、汎用挙動学習部431におけるニューラルネットワークの学習を示す図である。
 汎用挙動学習部431は、任意の運転者の走行履歴に含まれる、それぞれ自車両の速度Vaおよび先行車両の相対速度Vbaなどを含む複数の入力パラメータをニューラルネットワークに入力する。そして、汎用挙動学習部431は、ニューラルネットワークからの出力が、その入力パラメータに対応付けられた教師付けデータに一致するように、ニューラルネットワークの重みを最適化する。このような最適化は、1人の運転者の走行履歴だけでなく、複数の運転者の走行履歴にも基づいて行われる。これにより、汎用挙動推定NNが構築される。
 図29Bは、汎用挙動推定NNを用いた挙動の推定を示す図である。
 汎用挙動推定部432は、汎用挙動学習部431によって構築された汎用挙動推定NNを用いて仮の挙動を推定する。つまり、汎用挙動推定部432は、特定の運転者(例えば、運転者x)の走行履歴に含まれる特定の挙動(例えば減速)を教師付けデータとして取得し、その挙動に対応付けられている環境パラメータセットを入力パラメータとして取得する。走行履歴において、その特定の挙動に対応付けられている環境パラメータセットが複数あれば、汎用挙動推定部412は、それらの複数の環境パラメータセットのそれぞれを入力パラメータとして取得する。
 そして、汎用挙動推定部432は、それらの入力パラメータを汎用挙動推定NNに順に入力する。これにより、汎用挙動推定部432は、特定の挙動である教師付けデータ(例えば減速)に対して、減速だけでなく例えば車線変更も含む、互いに異なる推定結果を仮挙動推定結果として取得する。
 ヒストグラム生成部433は、特定の挙動である教師付けデータ(例えば減速)に対する仮挙動推定結果のヒストグラム(仮挙動ヒストグラム)を生成する。この仮挙動ヒストグラムは、汎用挙動推定NNの出力として得られる仮挙動推定結果の累積値を示す。
 図30は、専用挙動推定NNの構築方法を示す図である。
 専用挙動学習部434は、図30の(a)に示す仮挙動ヒストグラムが生成されると、汎用挙動推定NNの出力と教師付けデータ(この例では減速)との一致度を高めるように汎用挙動推定NNの重みを再学習させる。これにより、専用挙動学習部434は、図30の(b)に示すように、教師付けデータの挙動(例えば減速)のみが推定結果として出力される専用挙動推定NNを構築する。このような再学習は、1つの教師付けデータに対してだけでなく、他の複数の教師付けデータのそれぞれに対しても行われる。つまり、専用挙動学習部434は、転移学習によって、特定の運転者に対する専用のニューラルネットワークを構築する。
 図31は、専用挙動推定NNを用いた挙動の推定を示す図である。
 専用挙動推定部435は、運転者xの現時点における環境パラメータセットをテストデータとして取得して、そのテストデータを専用挙動推定NNに入力する。なお、このテストデータに含まれる各環境パラメータは、自車両の速度Vaおよび先行車両の相対速度Vbaなどであって、入力パラメータとして用いられた各環境パラメータと対応している。これにより、専用挙動推定部435は、専用挙動推定NNの出力として、例えば減速などを示す挙動推定結果を取得する。
 このように、本実施の形態における情報処理システムは、汎用挙動学習部431と、専用挙動学習部434と、汎用挙動推定部432と、専用挙動推定部435と、ヒストグラム生成部433とを備える。汎用挙動学習部431は、複数の運転者のそれぞれについて、検出部6が検出した車両1の周囲の状況と、その車両1の周囲の状況の後に行われた車両1の挙動との関係をニューラルネットワークに学習させる。汎用挙動推定部432は、汎用挙動学習部431によって学習したニューラルネットワークに、特定の運転者に対して検出部6が検出した車両1の周囲の状況を入力することによって、その特定の運転者に対する車両1の仮の挙動を推定する。ヒストグラム生成部433は、汎用挙動推定部432による仮の挙動の推定結果のヒストグラムを生成する。専用挙動学習部434は、特定の運転者に対して検出部6が検出した車両1の周囲の状況と、その車両1の周囲の状況の後に行われた車両1の挙動とを用いて、学習したニューラルネットワークに再学習させる転移学習によって、特定の運転者に対する専用のニューラルネットワークを構築する。このとき、専用挙動学習部434は、生成されたヒストグラムを参照した転移学習によって、専用のニューラルネットワークを構築する。専用挙動推定部435は、その専用のニューラルネットワークを用いて、特定の運転者に対する車両1の挙動を推定する。
 これにより、特定の運転者の走行履歴に含まれる挙動と特徴量セットが少ない場合であっても、複数の運転者の走行履歴が用いられるため、特定の運転者に対する車両1の挙動を適切に推定することができる。
 [変形例2]
 本変形例では、推定された挙動を評価し、評価結果を再学習に用いるとともに、評価結果に基づいて、その推定された挙動を上述の情報取得部91に出力するか否かを切り替える。
 図32は、本変形例における車両制御部7の挙動の推定に関する機能構成の一例を示すブロック図である。
 車両制御部7は、挙動学習部401と、挙動推定部402と、評価部441と、スイッチ442とを備える。なお、図32には図示されていないが、車両制御部7は、実施の形態4と同様に、挙動推定結果受付部403を備える。
 挙動推定部402は、上記実施の形態4のように、車両1の挙動推定結果を出力する。
 評価部441は、車両1の現在の挙動と、その挙動推定部402から出力された挙動推定結果との変化量を算出する。さらに、評価部441は、その変化量と閾値とを比較し、変化量が閾値を超えている場合には、つまり車両1の挙動が急激に変化する場合には、その挙動推定結果を無効にする。逆に、評価部441は、変化量が閾値以下の場合には、つまり車両1の挙動が緩やかに変化する場合には、その挙動推定結果を有効にする。そして、評価部441は、挙動推定結果が有効であるか否かを示す制御信号をスイッチ442および挙動学習部401に出力する。
 スイッチ442は、制御信号が有効を示している場合には、挙動推定部402から出力された挙動推定結果を、挙動推定結果受付部403に出力する。逆に、スイッチ442は、制御信号が無効を示している場合には、その挙動推定結果を挙動推定結果受付部403に出力することを禁止する。
 挙動学習部401は、制御信号が無効を示している場合には、その挙動推定結果に対応するテストデータからその挙動推定結果が出力されないように挙動推定NNを再学習させる。
 図33は、本変形例における車両制御部7の挙動の推定に関する機能構成の他の例を示すブロック図である。
 車両制御部7は、ドライバモデル挙動推定部443と、挙動推定部402と、評価部441と、スイッチ442aと、スイッチ442bとを備える。なお、図33には図示されていないが、車両制御部7は、実施の形態4と同様に、挙動学習部401と挙動推定結果受付部403とを備える。
 スイッチ442aは、走行環境、運転者の運転特性を示す特徴量、または環境パラメータなどの、挙動の推定に用いられるデータを取得して、そのデータをドライバモデル挙動推定部443または挙動推定部402に振り分けて出力する。
 ドライバモデル挙動推定部443は、スイッチ442aを介して走行環境などのデータを受け付けて、そのデータと、実施の形態7におけるクラスタリング型または個別適応型のドライバモデルとを用いて車両1の挙動を推定する。この挙動の推定方法は、実施の形態7に示すとおりである。
 挙動推定部402は、スイッチ442aを介して特徴量などのデータを受け付けて、そのデータと挙動推定NNとを用いて車両1の挙動を推定する。この挙動の推定方法は、実施の形態4に示すとおりである。
 評価部441は、上述のように、挙動推定部402から出力された挙動推定結果が有効か否かを判定し、その判定結果を示す制御信号をスイッチ442a、442bに出力する。
 スイッチ442bは、評価部441からの制御信号に応じて、挙動推定結果受付部403に出力される挙動推定結果を、ドライバモデル挙動推定部443による挙動推定結果と、挙動推定部402による挙動推定結果とに切り替える。つまり、挙動推定部402の挙動推定結果が有効であることがその制御信号に示されている場合、スイッチ442bは、挙動推定部402の挙動推定結果を挙動推定結果受付部403に出力する。一方、挙動推定部402の挙動推定結果が無効であることがその制御信号に示されている場合、スイッチ442bは、ドライバモデル挙動推定部443の挙動推定結果を挙動推定結果受付部403に出力する。
 このように、本変形例に係る情報処理システムは、さらに、挙動推定部402によって推定された挙動が有効か否かを判定し、有効と判定した場合に、その推定された挙動を情報取得部91に取得させる評価部441を備える。つまり、評価部441は、有効と判定した場合に、その推定された挙動を出力する。
 これにより、不適切な挙動が報知部92によって報知されることを防ぐことができる。
 なお、評価部441は、車両1の現在の挙動と、その挙動推定部402から出力された挙動推定結果との変化量に基づいて、挙動推定部402の挙動推定結果の有効性を判定したが、他の基準に基づいてその有効性を判定してもよい。例えば、車線変更ができない状況において車線変更が推定された場合には、評価部441は、その車線変更の挙動推定結果を無効とする。
 また、上述の例では、評価部441は、挙動推定部402の挙動推定結果を評価したが、挙動推定部422、専用挙動推定部415、または専用挙動推定部435の挙動推定結果を評価してもよい。あるいは、評価部441は、ドライバモデル挙動推定部443の挙動推定結果を評価してもよい。または、評価部441は、ドライバモデル挙動推定部443の挙動推定結果および挙動推定部402の挙動推定結果のそれぞれを評価してもよい。この場合には、評価部441は、有効とされる挙動推定結果を示す制御信号をスイッチ442bに出力する。これにより、有効とされる挙動推定結果がスイッチ442bおよび挙動推定結果受付部403を介して情報取得部91に出力される。
 また、スイッチ442bは、制御信号を受け付けた場合には、その制御信号に応じて、ドライバモデル挙動推定部443および挙動推定部402に入力されるデータを振り分けてもよい。この場合、スイッチ442bは、その制御信号によって示される無効とされた挙動推定結果を出力した挙動推定部にはデータが入力されないように、そのデータの振り分けを行う。
 (実施の形態5)
 本実施の形態における車両は、実施の形態4と同様に、ニューラルネットワーク(NN)を用いてその車両の挙動を推定するが、運転者の入力に基づいてその推定された挙動を評価し、その評価結果を再学習に反映させる点に特徴がある。
 図34は、本実施の形態における情報処理システムの設計思想を示す図である。
 機械学習において、学習用データを誤算なく100%正しい状態で取得することは現時的には非常に困難である。また、100%正しいデータを数万または数十万のオーダーで大量に集めることも非常に困難である。
 したがって、学習用データはノイズを含むものであり、このノイズによって学習エンジンは誤差を発生する。すなわち、100%完璧な機械学習を構築することは現実的ではない。
 そこで、本実施の形態における自動運転制御システムは、アプリケーションの目的(つまり自動運転)に応じた評価関数を設け、その評価関数を最大化するように学習データの修正、あるいは学習エンジンの方式の修正を行う。
 なお、本実施の形態における自動運転制御システムは、実施の形態4における挙動学習部401および挙動推定部402などの各構成要素であって、挙動の学習を行い、その学習結果に基づいて挙動を推定する各構成要素を含むシステムである。また、本実施の形態における情報処理システムは、このような自動運転制御システムと、図13に示す情報報知装置9およびタッチパネル10とを含む。
 図35は、上述の学習用データおよび学習エンジンの推定結果における誤差を説明するための図である。なお、図35では、その誤差を説明するために、図24および図25などに示す環境パラメータまたは環境パラメータセットを学習用データの一例として示す。また、この環境パラメータは、上述の検出部6によって検出された車両1の周囲の状況である。
 例えば、図35に示すように、挙動学習部があまりにも大量のデータを処理する場合は、ひとつひとつ、そのデータの妥当性を検証することは非常に困難である。つまり、検出部6によって生成されるデータには誤差が含まれる可能性がある。具体的には、検出部6は、先行車両と自車両との車間距離DRbaを「5」として検出しても、その車間距離DRbaは、誤りであり、正しくは「4」かもしれない。また、挙動学習部である学習エンジンの学習方式に問題があって、挙動の推定の精度が低下してしまう場合もある。
 本実施の形態における自動運転制御システムは、このような検出部6によって生成されるデータに誤りまたは誤差があっても、あるいは、学習方式に問題があっても、挙動の推定の精度の低下を抑えることができる。このような自動運転制御システムの構成および処理動作について、以下、詳細に説明する。
 図36は、本実施の形態における車両内のシステム構成を示す図である。
 車両1Aは、実施の形態2の図13に示す車両1と同様に、ブレーキペダル2、アクセルペダル3、ウィンカーレバー4、ハンドル5、検出部6、車両制御部7、記憶部8、情報報知装置9、およびタッチパネル10を備える。さらに、車両1Aは、学習部501、運転行動予測部502および自動運転評価部503を備える。本実施の形態における自動運転制御システムは、学習部501、運転行動予測部502および自動運転評価部503からなり、車両1Aに含まれる他の構成要素も備えていてもよい。なお、本実施の形態では、他の実施の形態と共通している点については説明を省略または簡略化し、異なる点について詳細に説明する。
 車両制御部7は、車両1Aの走行状態と周辺の状況に基づいて走行環境を判定する。具体的には、車両制御部7は、ブレーキペダル2、アクセルペダル3、ウィンカーレバー4、およびハンドル5から、走行状態を取得する。また、車両制御部7は、周辺の状況(環境パラメータなど)を検出部6から取得する。さらに、車両制御部7は、その取得された走行状態および周辺の状況を走行履歴として記憶部8に格納する。
 学習部501は、車両1Aの挙動を学習する。運転行動予測部502は、その学習結果を用いて周囲の状況に応じた車両1Aの挙動を推定する。車両制御部7は、その推定された挙動をタッチパネル10の表示部101に推定挙動として表示する。このとき、車両制御部7は、その推定挙動とは異なる少なくとも1つの挙動を挙動候補として表示部101に表示する。
 タッチパネル10の入力部102は、運転者によって入力される車両1Aの挙動を受け付ける。つまり、入力部102は、表示部101によって表示される少なくとも1つの挙動候補のうちの何れかが運転者によって選択されたときには、運転者によって選択された挙動候補を入力挙動として受け付ける。
 ここで、タッチパネル10の入力部102によって受け付けられた入力挙動は、表示部101に表示された推定挙動(運転行動)に対する運転者の評価結果である。推定挙動が車両1Aによって行われることを運転者が受け入れる場合には、入力部102は入力挙動を受け付けない。一方、推定挙動ではなく、その推定挙動とは異なる挙動が車両1Aによって行われることを運転者が望む場合には、入力部102はその挙動(挙動候補)を入力挙動として受け付ける。この入力挙動の受け付けは、運転行動予測部502による挙動の推定結果(予測結果)が間違っていたことを意味する。
 そこで、本実施の形態における自動運転評価部503は、その挙動の推定に用いられた環境パラメータに対する挙動のラベル付けを訂正し、学習部501に再学習を実施させる。あるいは、自動運転評価部503は、運転行動予測部502の予測方式を変更させる。
 図37は、本実施の形態における自動運転制御システムの機能構成を示すブロック図である。なお、図37では、自動運転評価部503を省略している。
 本実施の形態における自動運転制御システムは、実施の形態4と同様に、汎用挙動学習部431、汎用挙動推定部432、ヒストグラム生成部433、専用挙動学習部434、専用挙動推定部435および挙動推定結果受付部436を備える。なお、図36に示す学習部501は、汎用挙動学習部431、ヒストグラム生成部433および専用挙動学習部434を含み、運転行動予測部502は、汎用挙動推定部432および専用挙動推定部435を含む。
 ここで、例えば、専用挙動学習部434は、挙動推定結果(推定挙動)として「速度維持」を推定する。
 図38は、タッチパネル10によって表示および入力される挙動の一例を示す図である。
 図37に示すように、速度維持が挙動推定結果として推定されると、タッチパネル10の表示部101は、速度維持を推定挙動(挙動推定結果)として表示するとともに、推定挙動と異なる少なくとも1つの挙動候補を表示する。ここで、運転者は、例えば、表示された推定挙動が車両1Aによって行われることを望まず、入力部102を操作することにより、推定挙動と共に表示されている少なくとも1つの挙動候補のうちの1つの挙動候補「減速」を入力挙動として選択する。これにより、入力部102は「減速」を入力挙動として受け付ける。
 このように、入力挙動「減速」は、推定挙動「速度維持」と異なる。つまり、この入力挙動「減速」の受け付けは、運転行動予測部502による挙動の推定結果「速度維持」が間違っていたことを意味する。
 本実施の形態における自動運転制御システムは、運転者が入力挙動として推定挙動と異なる「減速」を指示した場合には、その入力挙動「減速」を専用挙動学習部434による専用挙動推定NNのファインチューニングの拘束条件とする。
 図39は、本実施の形態におけるファインチューニングを説明するための図である。
 ファインチューニングでは、入力挙動「減速」が、上述の推定挙動「速度維持」の推定に用いられたテストデータである環境パラメータに対して正解ラベルとして対応付けられる。つまり、専用挙動学習部434は、推定挙動「速度維持」の推定に用いられた環境パラメータを入力パラメータとして用い、入力挙動「減速」をその入力パラメータに対応する教師付けデータとして用いて、汎用挙動推定NNの重みを再学習する。この再学習によって、専用挙動推定NNが構築されるとともに、専用挙動推定NNがファインチューニングされる。なお、この再学習においても、実施の形態4と同様に、仮挙動ヒストグラムに基づいて、汎用挙動推定NNの出力と教師付けデータとの一致度を高めるように汎用挙動推定NNの重みが再学習される。
 このように、入力挙動「減速」は、正解ラベルとして専用挙動学習部434によるファインチューニングに適用される。
 図40は、本実施の形態における車両1A内の詳細なシステム構成を示す図である。
 自動運転評価部503は、比較部503aを備える。比較部503aは、運転行動予測部502における専用挙動推定部435によって推定された挙動(すなわち上述の推定挙動)と、入力部102によって受け付けられた入力挙動とを比較する。例えば、比較部503aは、推定挙動「速度維持」と入力挙動「減速」とを比較する。なお、入力挙動は、入力部102から車両制御部7を介して自動運転評価部503の比較部503aに通知される。
 比較部503aは、その比較の結果、推定挙動と入力挙動とが異なると判断すると、入力挙動(例えば「減速」)を正解ラベルとして学習部501の専用挙動学習部434に入力する。この入力によって、専用挙動学習部434による専用挙動推定NNのファインチューニングが行われる。
 図41は、専用挙動推定NNの構築方法を示す図である。
 専用挙動学習部434は、実施の形態4と同様に、図41の(a)に示す仮挙動ヒストグラムが生成されると、汎用挙動推定NNの出力と教師付けデータ(この例では速度維持)との一致度を高めるように汎用挙動推定NNの重みを再学習させる。これにより、専用挙動学習部434は、図41の(b)に示すように、教師付けデータの挙動(例えば速度維持)のみが推定結果として出力される専用挙動推定NNを構築する。このような再学習は、1つの教師付けデータに対してだけでなく、他の複数の教師付けデータのそれぞれに対しても行われる。つまり、専用挙動学習部434は、転移学習によって、特定の運転者に対する専用のニューラルネットワークを構築する。
 図42は、専用挙動推定NNの入力挙動に基づく再学習を示す図である。
 専用挙動学習部434は、図42の(a)に示すように、転移学習によって、特定の運転者に対する専用のニューラルネットワークである専用挙動推定NNを構築する。このように構築された専用挙動推定NNを用いた推定結果が推定挙動「速度維持」であって、入力部102に受け付けられた入力挙動「減速」と異なっている。つまり、推定挙動「速度維持」は間違っていたことになる。
 そこで、専用挙動学習部434は、比較部503aから入力される正解ラベル「減速」と、推定挙動「速度維持」の推定に用いられたテストデータである環境パラメータセットとを対応付けて走行履歴に追加する。そして、専用挙動学習部434は、その追加が行われた走行履歴において、正解ラベルである挙動「減速」に対応付けられた複数の環境パラメータセットを用いて、汎用挙動推定NNの重みを再学習させる。つまり、専用挙動学習部434は、正解ラベルの頻度(累積値)が他のラベル(挙動)の頻度(累積値)を超えるように、汎用挙動推定NNの重みを再学習させる。その結果、専用挙動推定NNが更新されて、推定精度を向上させた専用挙動推定NNが構築される。
 このように本実施の形態における情報処理システムは、特定の運転者によって入力される車両1Aの挙動を受け付ける入力部102と、運転行動予測部502によって推定された車両1Aの挙動を、入力部102によって受け付けられた車両1Aの挙動に基づいて評価する自動運転評価部503とを備える。自動運転評価部503は、運転行動予測部502によって推定された車両1Aの挙動に誤りがあると評価した場合には、入力部102によって受け付けられた車両1Aの挙動と、車両1Aの挙動の推定時に検出部6によって検出された車両1Aの周囲の状況である環境パラメータとを用いたニューラルネットワークの再学習を、挙動学習部である学習部501に実行させる。
 これにより、検出部6によって検出された周辺の状況に誤差が含まれていても、運転行動の予測精度、すなわち車両1Aの挙動の推定精度を向上することができる。
 (実施の形態6)
 本実施の形態における車両は、実施の形態4と同様に、専用挙動推定NNを用いてその車両の挙動を推定するが、車両が走行しているシーンに応じて、専用挙動推定NNを切り換える点に特徴がある。
 本実施の形態では、学習用データが少量しか収集できない場合、転移学習を用いて大量の転移元の知識から転移先の知識を導き出す。したがって、転移先のそれぞれで与えられる少量の学習用データ群ごとに、転移先の知識が複数生まれる。例えば、市街地(渋谷の交差点などの大量の歩行者が存在する場所)における知識と、地方の閑散地(歩行者がほとんどいない場所)における知識とを生成することができる。または、晴天時における知識と、雨天時における知識とを生成することができる。あるいは、渋滞時における知識と、渋滞になっていない通常時における知識とを生成することができる。なお、この知識は、上述の専用挙動推定NNに相当する。
 しかし、生成された転移先の知識が複数ある場合、これらの知識のうち挙動の推定に使用される知識を選択する必要がある。
 そこで、本実施の形態における自動運転制御システムでは、車両が走行しているシーン、つまり環境、天候、渋滞状況などを知識選択のスイッチとして利用する。なお、本実施の形態では、他の実施の形態と共通している点については説明を省略または簡略化し、異なる点について詳細に説明する。
 図43は、本実施の形態における複数の知識(NN)を示す図である。
 本実施の形態における自動運転制御システムは、車両が市街地を走行したときの走行履歴(データ群)を用いた転移学習によって、移転元知識(汎用挙動推定NN)から、市街地用の転移先知識(専用挙動推定NN)を構築する。同様に、自動運転制御システムは、車両が地方の閑散地を走行したときの走行履歴(データ群を)用いた転移学習によって、地方の閑散地用の転移先知識(専用挙動推定NN)を構築する。また、自動運転制御システムは、車両の周囲が渋滞しているときの走行履歴(データ群を)用いた転移学習によって、渋滞用の転移先知識(専用挙動推定NN)を構築する。
 図44は、本実施の形態における車両内のシステム構成を示す図である。
 車両1Bは、実施の形態5の図36に示す車両1Aと同様に、ブレーキペダル2、アクセルペダル3、ウィンカーレバー4、ハンドル5、検出部6、車両制御部7、記憶部8、情報報知装置9、タッチパネル10、および自動運転評価部503を備える。さらに、車両1Bは、外部環境情報取得部504を備えるとともに、学習部501および運転行動予測部502の代わりに、学習部501aおよび運転行動予測部502aを備える。本実施の形態における自動運転制御システムは、学習部501a、運転行動予測部502aおよび自動運転評価部503からなり、車両1Bに含まれる他の構成要素も備えていてもよい。また、本実施の形態における情報処理システムは、このような自動運転制御システムと情報報知装置9とを含む。
 外部環境情報取得部504は、例えばVICS(登録商標)(Vehicle Information and Communication System)によって渋滞情報を取得し、さらに、例えばインターネットを介した通信によって天候情報を取得する。なお、渋滞情報および天候情報を、以下、外部環境情報と総称する。
 学習部501aは、実施の形態4の学習部501と同様の機能を備えるとともに、車両1Bが走行しているシーンに対応する専用挙動推定NNを専用知識として特定する。具体的には、学習部501aは、位置情報取得部61によって取得された位置情報と、地図情報取得部64によって取得された地図情報と、外部環境情報取得部504によって取得された渋滞情報とに基づいてシーンを特定する。そして、学習部501aは、その特定されたシーンに対応付けられた専用知識である専用挙動推定NNを、複数の専用知識の中から選択し、その選択された専用挙動推定NNを運転行動予測部502aに出力する。
 このように、本実施の形態における学習部501aは、位置情報取得部61、地図情報取得部64および外部環境情報取得部504から、位置情報、地図情報および外部環境情報を、専用知識を切り換えるための制御信号として取得する。
 運転行動予測部502aは、実施の形態4の運転行動予測部502と同様の機能を備えるとともに、学習部501aから出力された専用挙動推定NNを取得する。そして、運転行動予測部502aは、その取得した専用挙動推定NNを用いた挙動の推定(つまり、運転行動の予測)を実施する。
 図45は、本実施の形態における自動運転制御システムの機能構成を示すブロック図である。なお、図45では、自動運転評価部503を省略している。
 本実施の形態における自動運転制御システムは、実施の形態5と同様に、汎用挙動学習部431、汎用挙動推定部432、ヒストグラム生成部433、および挙動推定結果受付部436を備える。また、本実施の形態における自動運転制御システムは、実施の形態5の専用挙動学習部434および専用挙動推定部435の代わりに、専用挙動学習部434aおよび専用挙動推定部435aを備える。なお、図45に示す学習部501aは、汎用挙動学習部431、ヒストグラム生成部433および専用挙動学習部434aを含み、運転行動予測部502aは、汎用挙動推定部432および専用挙動推定部435aを含む。
 専用挙動学習部434aは、学習時には、特定の運転者の走行履歴のうち、シーンごとに、そのシーンにおいて得られた環境パラメータセットおよび挙動を用いて、そのシーンに対応する専用挙動推定NNを構築する。そして、挙動の推定時には、専用挙動学習部434aは、上述の制御信号を受信すると、その制御信号に応じたシーンを特定し、そのシーンに対応する専用挙動推定NNを選択する。専用挙動学習部434aは、その選択した専用挙動推定NNを専用挙動推定部435aに出力する。
 専用挙動推定部435aは、選択された専用挙動推定NNを専用挙動学習部434aから取得すると、その選択された専用挙動推定NNを用いて、テストデータに対応する車両1Bの挙動を推定する。
 図46は、本実施の形態における専用挙動学習部434aによる学習を説明するための図である。
 機械学習には大量のデータを用いるため、通常、NN(ニューラルネットワーク)の更新にはかなりの時間がかかる。また、機械学習にはコンピュータの計算能力も必要になる。
 そこで、汎用挙動学習部431は、典型的には、走行時に記憶部8に蓄積した走行履歴を走行終了後(たとえば帰宅後)にサーバへ転送し、サーバから送信される他の運転者の走行履歴を取得して、汎用挙動推定NNを更新する。一方、専用挙動学習部434aは、その更新された汎用挙動推定NNを取得して、その汎用挙動推定NNから専用挙動推定NNを構築する。この構築によって、既に構築されている専用挙動推定NNが更新されたり、あるいは新規に専用挙動推定NNが追加される。
 また、その構築では、専用挙動学習部434aは、シーンごとに、そのシーンに対応する専用挙動推定NNを更新または生成する。ここで、シーンは、過去に取得された外部環境情報、地図情報および位置情報によって示される。例えば、シーンは、1月1日に取得された上記各情報によって示される「晴天、昼間、渋滞、4車線および市街地01」である。つまり、そのシーンでは、車両1Bが走行している位置において、天気は晴天であり、時間帯は昼間であり、交通状態は渋滞であり、道路の車線数は4であり、且つ、地域種別は市街地01である。専用挙動学習部434aは、このようなシーンに対して専用挙動推定NN「NN0001」を更新または生成する。つまり、専用挙動学習部434aは、そのシーンに対応する走行履歴のみを用いることによって、そのシーンに対応する専用挙動推定NN「NN0001」を更新または生成する。さらに、専用挙動学習部434aは、他のシーンに対しても同様に、そのシーンに対応する専用挙動推定NN(例えば「NN0002」)を構築または生成する。
 図47は、本実施の形態における専用挙動学習部434aによる専用挙動推定NNの選択を説明するための図である。
 専用挙動学習部434aは、専用挙動推定NN選択部505を備える。この専用挙動推定NN選択部505は、車両1Bが走行しているときに、位置情報取得部61、地図情報取得部64および外部環境情報取得部504から位置情報、地図情報および外部環境情報をそれぞれ制御信号として受信する。そして、専用挙動推定NN選択部505は、その受信された制御信号によって示されるシーンを特定する。専用挙動推定NN選択部505は、その特定されたシーンに対応する専用挙動推定NNを選択する。例えば、その特定されたシーンが「晴天、夜間、通常、2車線、市街地23」であれば、専用挙動推定NN選択部505は、複数の専用挙動推定NNの中から、そのシーンに対応する専用挙動推定NN「NN0002」を選択する。そして、専用挙動学習部434aは、その選択された専用挙動推定NN「NN0002」を専用挙動推定部435aに出力する。これにより、専用挙動推定部435aは、その専用挙動推定NN「NN0002」を用いて、車両1Bの挙動を推定、すなわち運転行動を予測する。
 このように本実施の形態では、専用挙動学習部434aは、車両1Bが走行するシーンごとに、当該シーンに応じた特定の運転者に対する専用のニューラルネットワークを構築する。さらに、専用挙動学習部434aは、複数の専用のニューラルネットワークのうち、車両1Bが走行する現在のシーンに応じた専用のニューラルネットワークを選択し、選択された専用のニューラルネットワークを用いて、特定の運転者に対する車両1Bの挙動を推定する。
 これにより、シーンごとに適切なニューラルネットワークを選択することができ、各シーンにおける車両1Bの挙動の推定精度、すなわち運転行動の予測精度を向上することができる。
 [実施の形態4~6のまとめ]
 図48Aは、本発明の一態様に係る情報処理システムの構成を示す図である。
 この情報処理システム1000は、検出部1001と、挙動学習部1002と、挙動推定部1003とを備える。
 検出部1001は、例えば実施の形態1~3における検出部6であって、車両1の周囲の状況または車両1の走行状態のうちの少なくとも何れか1つである車両環境状態を検出する。挙動学習部1002は、実施の形態4~6における挙動学習部401または421である。この挙動学習部1002は、検出部1001が検出した車両環境状態と、その車両環境状態の後に行われた車両1の挙動との関係をニューラルネットワークに学習させる。
 挙動推定部1003は、実施の形態4~6における挙動推定部402または422である。この挙動推定部1003は、検出部1001によって検出される現時点における車両環境状態を、学習したニューラルネットワークに入力することによって、車両1の挙動を推定する。
 また、情報処理システム1000は、さらに、挙動推定部1003によって推定された挙動を、その挙動が実施される前に、運転者に報知する報知部を備えてもよい。この報知部は、例えば実施の形態1~3における報知部92である。
 これにより、推定された挙動が報知されるため、どのような挙動が行われるのかを事前に運転者に容易に把握させることができ、その運転者の不安を解消することができる。
 なお、検出部1001、挙動学習部1002および挙動推定部1003の全てまたは一部は、車両に備えられていてもよく、その車両の外部に備えられていてもよい。情報処理システム1000に含まれるこれらの構成要素のうち、一部の構成要素が車両に備えられ、残りの一部の構成要素が車両の外部に備えられる場合には、車両の内外にある構成要素は、例えばネットワークを介した通信を行うことによって、上述の各処理を実行する。
 図48Bは、本発明の一態様に係る情報処理方法のフローチャートである。
 この情報処理方法は、ステップS1001、S1002およびS1003を含む。
 ステップS1001では、車両1の周囲の状況または車両1の走行状態のうちの少なくとも何れか1つである車両環境状態を検出する。ステップS1002では、検出した車両環境状態と、その車両環境状態の後に行われた車両1の挙動との関係をニューラルネットワークに学習させる。ステップS1003では、検出される現時点における車両環境状態を、学習したニューラルネットワークに入力することによって、車両1の挙動を推定する。
 これにより、ニューラルネットワークを用いて車両1の挙動が推定されるため、その車両1の挙動(すなわち運転行動)を適切に推定することができる。
 (実施の形態7)
 上述した実施の形態1~3において、車両1が実行しうる複数の挙動の候補のうち最も適した挙動がどれかを判定する方法についていくつか説明した。また、実施の形態4~6では、最も適した挙動を判定する方法として、ニューラルネットワークを用いる場合について説明した。本実施の形態では、最も適した挙動を判定する方法として、予め学習により構築されたドライバモデルを用いる場合について説明する。
 ここで、ドライバモデルの構築方法について説明する。ドライバモデルは、走行環境毎の運転者による操作の傾向を各操作の頻度の情報などに基づいてモデル化したものである。ドライバモデルは、複数の運転者の走行履歴を集約し、集約した走行履歴から構築される。
 運転者の走行履歴は、例えば、各走行環境に対応する挙動の候補のうち、運転者が実際に選択した挙動の頻度が、挙動の候補毎に集約された履歴である。
 図49は、走行履歴の一例を示す図である。図49には、運転者xが「合流路が近づく」という走行環境において、「減速」、「加速」、「車線変更」という挙動の候補を、それぞれ、3回、1回、5回選択したことが示されている。また、図49には、運転者Xが「前方に低速車あり」という走行環境において、「追従」、「追い越し」、「車線変更」という挙動の候補を、それぞれ、2回、2回、1回選択したことが示されている。運転者yについても同様である。
 運転者の走行履歴は、自動運転中に選択した挙動を集約してもよいし、運転者が手動運転中に実際に行った挙動を集約してもよい。これにより、自動運転や手動運転といった運転状態に応じた走行履歴の収集ができる。
 ドライバモデルには、複数のドライバの走行履歴をクラスタリングして構築するクラスタリング型と、特定の運転者(例えば、運転者x)の走行履歴と類似する複数の走行履歴から運転者xのドライバモデルを構築する個別適応型とがある。
 まず、クラスタリング型について説明する。クラスタリング型のドライバモデルの構築方法は、図49に示したような複数の運転者の走行履歴を予め集約する。そして、互いの走行履歴の類似度が高い複数の運転者、つまり、類似した運転操作傾向を有する複数の運転者をグループ化してドライバモデルを構築する。
 図50は、クラスタリング型のドライバモデルの構築方法を示す図である。図50には、運転者a~fの走行履歴が表形式で示されている。そして、運転者a~fの走行履歴から、モデルAが運転者a~cの走行履歴から構築され、モデルBが運転者d~fの走行履歴から構築されることが示されている。
 走行履歴の類似度は、例えば、運転者aと運転者bの走行履歴における各頻度(各数値)を頻度分布として扱い、互いの頻度分布の相関値を算出し、算出した相関値を類似度としてもよい。この場合、例えば、運転者aと運転者bの走行履歴から算出した相関値が所定値よりも高い場合に、運転者aと運転者bの走行履歴を1つのグループとする。
 なお、類似度の算出については、これに限定されない。例えば、運転者aと運転者bの各走行履歴において、最も頻度の高い挙動が一致する数に基づいて、類似度を算出してもよい。
 そして、クラスタリング型のドライバモデルは、例えば、各グループ内の運転者の走行履歴において、それぞれの頻度の平均を算出することによって構築される。
 図51は、構築されたクラスタリング型のドライバモデルの一例を示す図である。図50で示した各グループ内の運転者の走行履歴において、それぞれの頻度の平均を算出することによって、各グループの走行履歴の平均頻度を導出する。このように、クラスタリング型のドライバモデルは、走行環境毎に定められた挙動に対する平均頻度で構築される。
 なお、ドライバモデルは、算出した平均頻度から最も頻度の高いもののみで構築してもよい。図52は、構築されたクラスタリング型のドライバモデルの別の一例を示す図である。図52に示すように、走行環境毎に最頻の挙動が選択され、選択された挙動からドライバモデルが構築される。
 ここで、構築したクラスタリング型のドライバモデルの使用方法について、例を挙げて説明する。
 図51に示したようなドライバモデルは、予め車両1の記憶部8に記憶される。また、車両制御部7は、運転者yが過去に運転した際の走行履歴を記憶部8に記憶しておく。なお、運転者yの検知は、車内に設置されるカメラ等(図示しない)で実行される。
 そして、車両制御部7は、運転者yの走行履歴とドライバモデルの各モデルの走行履歴との類似度を算出し、どのモデルが運転者yに最も適しているかを判定する。例えば、図49に示した運転者yの走行履歴と図51に示したドライバモデルの場合、車両制御部7は、モデルBが運転者yに最も適していると判定する。
 車両制御部7は、実際の自動走行の際に、モデルBの各走行環境において、最も頻度が高い挙動が運転者yに最も適した挙動、つまり、第1の挙動であると判定する。
 このように、予め複数の運転者の走行履歴からドライバモデルを構築することにより、運転者により適した挙動を報知できる。
 例えば、図49の示すように、運転者yの走行履歴に「前方に低速車あり」という走行環境に対する挙動の頻度が0、つまり、運転者が「前方に低速車あり」という走行環境において「追従」、「追い越し」、「車線変更」という挙動を選択したことが無い場合においても、車両制御部7は、図51に示すモデルBに基づき、「前方に低速車あり」という走行環境において、「追従」を第1の挙動として判定できる。
 次に、個別適応型について説明する。個別適応型のドライバモデルの構築方法は、クラスタリング型の場合と同様に、図49に示したような複数の運転者の走行履歴を予め集約する。ここで、クラスタリング型の場合と異なる点は、運転者毎にドライバモデルを構築する点である。以下では、運転者yに対してドライバモデルを構築する例について説明する。
 まず、集約した複数の運転者の走行履歴の中から、運転者yの走行履歴と類似度が高い複数の運転者の走行履歴を抽出する。そして、抽出した複数の運転者の走行履歴から運転者yのドライバモデルを構築する。
 図53は、個別適応型のドライバモデルの構築方法を示す図である。図53には、図50と同様に、運転者a~fの走行履歴が表形式で示されている。また、図53には、図49に示した運転者yの走行履歴と類似度が高い運転者c~eの走行履歴とから運転者yのドライバモデルが構築されることが示されている。
 個別適応型のドライバモデルは、抽出した各運転者の走行履歴において、それぞれの頻度の平均を算出することによって構築される。
 図54は、構築された個別適応型のドライバモデルの一例を示す図である。図49に示した運転者yの走行履歴、及び、図53に示した運転者c~eの走行履歴において、走行環境毎に、各挙動の平均頻度を導出する。このように、運転者yに対する個別適応型のドライバモデルは、各走行環境に対応する挙動の平均頻度で構築される。
 ここで、構築した個別適応型のドライバモデルの使用方法について、例を挙げて説明する。
 図54に示したような運転者yのドライバモデルは、予め車両1の記憶部8に記憶される。また、車両制御部7は、運転者yが過去に運転した際の走行履歴を記憶部8に記憶しておく。なお、運転者yの検知は、車内に設置されるカメラ等(図示しない)で実行される。
 そして、車両制御部7は、実際の自動走行の際に、運転者yのドライバモデルの各走行環境において、最も頻度が高い挙動が運転者yに最も適した挙動、つまり、第1の挙動であると判定する。
 このように、予め複数の運転者の走行履歴から運転者個人のドライバモデルを構築することにより、運転者により適した挙動を報知できる。
 例えば、図49の示すように、運転者yの走行履歴に「前方に低速車あり」という走行環境に対する挙動の頻度が0、つまり、運転者が「前方に低速車あり」という走行環境において「追従」、「追い越し」、「車線変更」という挙動を選択したことが無い場合においても、車両制御部7は、図54に示すドライバモデルに基づき、「前方に低速車あり」という走行環境において、「車線変更」を第1の挙動として判定できる。
 次に、運転者の運転特性(運転の癖)を取得し、運転者の嗜好に応じた自動運転を行う場合について説明する。一般に、1つの挙動(例えば、車線変更)に対する実際の動作(例えば、加速、減速の大きさ、あるいは、ハンドルの操作量)は、運転者毎に異なる。そのため、運転者の嗜好に応じた自動運転を行うことにより、運転者にとってより快適な走行が可能となる。
 なお、以下の説明では、手動運転中に運転者の運転特性を取得し、取得した運転特性を自動運転の際に反映させる場合について説明するが、本発明はこれに限定されない。
 車両制御部7は、運転者の車両1の各部の操作内容から、運転者の運転特性を示す特徴量を抽出し、記憶部8に記憶する。ここで、特徴量とは、例えば、速度に関する特徴量、ステアリングに関する特徴量、操作タイミングに関する特徴量、車外センシングに関する特徴量、車内センシングに関する特徴量等がある。
 速度に関する特徴量は、例えば、車両の速度、加速度、減速度などがあり、これらの特徴量は、車両が有する速度センサ等から取得される。
 ステアリングに関する特徴量は、例えば、ステアリングの舵角、角速度、各加速度などがあり、これらの特徴量は、ハンドル5から取得される。
 操作タイミングに関する特徴量は、例えば、ブレーキ、アクセル、ウィンカーレバー、ハンドルの操作タイミングなどがあり、これらの特徴量は、それぞれ、ブレーキペダル2、アクセルペダル3、ウィンカーレバー4、ハンドル5から取得される。
 車外センシングに関する特徴量は、例えば、前方、側方、後方に存在する車両との車間距離などがあり、これらの特徴量は、センサ62から取得される。
 車内センシングに関する特徴量は、例えば、運転者が誰であるか、及び、同乗者が誰であるかを示す個人認識情報であり、これらの特徴量は、車内に設置されるカメラ等から取得される。
 例えば、運転者が手動で車線変更を行う場合、車両制御部7は、運転者が手動で車線変更を行ったことを検知する。検知方法は、予め車線変更の操作時系列パターンをルール化しておくことにより、CAN情報などから取得した操作時系列データを解析することで検知する。その際、車両制御部7は、上述した特徴量を取得する。車両制御部7は、運転者毎に、特徴量を記憶部8に記憶し、運転特性モデルを構築する。
 なお、車両制御部7は、運転者毎の特徴量に基づき、上述したドライバモデルを構築してもよい。つまり、車両制御部7は、速度に関する特徴量、ステアリングに関する特徴量、操作タイミングに関する特徴量、車外センシングに関する特徴量、車内センシングに関する特徴量を抽出し、記憶部8に記憶する。そして、記憶部8に記憶した特徴量に基づいて、走行環境毎の運転者による操作の傾向と各操作の頻度の情報を対応づけたドライバモデルを構築してもよい。
 図55は、運転特性モデルの一例を示す図である。図55は、運転者毎に、特徴量が表形式で示されている。また、図55には、運転者毎に、各挙動を過去に選択した回数が示されている。特徴量についても一部のみが記載されているが、上記に挙げたいずれか、またはその全てを記載してもよい。
 図55に記載の特徴量について詳細を説明する。速度の数値は、実際の速度を段階的に示している数値である。ハンドル、ブレーキ、アクセルの数値は、操作量を段階的に示している数値である。これらの数値は、例えば、過去の所定の期間内の速度、ハンドル、ブレーキ、アクセルの操作量の平均値を算出し、その平均値を段階的に表すことによって得られる。
 例えば、図55において、運転者xが同乗者がいない状態で車線変更を行う場合、速さのレベルは8であり、ハンドル、ブレーキ、アクセルの操作量のレベルはそれぞれ4、6、8である。
 自動運転の際は、車両制御部7は、運転者が誰か、どのような挙動が実行されるか、及び、同乗者が誰かに応じて、運転者、挙動、及び、同乗者に対応する運転特性モデルが図55に示す運転特性モデルの中から選択する。
 そして、車両制御部7は、選択した運転特性モデルに対応する速度で車両1を走行させ、また、ハンドル、ブレーキ、アクセルの操作量およびそのタイミングの組み合わせで車両1を制御する。これにより、運転者の嗜好に応じた自動運転を行うことができる。なお、図55に示すような運転特性モデルの情報は、報知部92に報知させることができる。
 図56は、本発明の実施の形態7における報知部92の表示を説明する図である。図56は、図5に示した走行環境の第1の例に対する表示である。
 図56の(a)は、車線の変更や車両の加速、減速が不要な通常走行を行っている状態の報知部92の表示である。図56の(a)には、運転者の運転特性が「減速が多い」運転特性であることを示す記号231と、現在、自動運転中であることを示す記号232が示されている。
 車両制御部7は、例えば、図55に示した運転特性モデルに含まれる各挙動を過去に選択した回数に基づいて、運転者の運転特性を判定する。この場合、車両制御部7は、例えば、運転特性から「減速」が多い(いわゆる「減速」という挙動を選択した回数が多い)運転者に対して、図56のような記号231を含む表示を報知部92に表示させる。
 そして、車両制御部7が、走行環境が図5に示した第1の例の走行環境であると判定した場合、車両制御部7は、運転者の運転特性が「減速が多い」運転特性であることに基づいて、第1の挙動を「減速」と判定し、図56の(b)の表示を報知部92に実行させる。
 図56の(b)には、第1の挙動である「減速」を示す記号233が第1の態様(例えば、第1の色)で示されている。また、第2の挙動である「加速」を示す記号234と、第2の挙動である「車線変更」を示す記号235が示されている。
 運転者は、実施の形態1で説明したような操作により、「加速」への挙動の変更を行った場合、車両制御部7は、図56の(c)の表示を報知部92に実行させる。
 図56の(c)には、選択された挙動である「加速」を示す記号234’が、第1の態様で示されている。また、記号233’は、図56の(b)において第1の挙動として表示されていた記号233が記号234と入れ替わって表示されたものである。
 その後、車両制御部7は、図56の(a)に示す表示を報知部92に実行させてから第2の所定時間が経過した後に、図56の(d)に示す表示を報知部92に表示させる。ここで、図55の(d)には、次の挙動として、運転者が選択した「加速」を示す記号234’が第2の態様で表示される。
 車両制御部7は、次にとる挙動が「加速」と決定した場合、運転特性モデルに含まれる「加速」の挙動に対応する特徴量を読み出し、それらの特徴量を反映させた「加速」を行うように、車両1を制御する。
 図57は、本発明の実施の形態7における報知部92の表示を説明する図である。図57は、図7に示した走行環境の第2の例に対する表示である。なお、図57において、図56と共通する構成には図56と同一の符号を付し、その詳しい説明を省略する。図57は、図56から、「車線変更」を示す記号235が削除された図である。
 前述の通り、第2の例(図7)では、第1の例(図5)と異なり、車両1の右方に別の車両が走行しているため、車線変更ができない。そのため、図57の(b)、(c)では、「車線変更」が表示されていない。また、図57の(c)の例では、図56の(c)の場合と同様に、「加速」が選択されたため、車両制御部7は、図56と同様に、運転特性モデルに含まれる「加速」の挙動に対応する特徴量を読み出し、それらの特徴量を反映させた「加速」を行うように、車両1を制御する。
 図58は、本発明の実施の形態7における報知部92の表示を説明する図である。図58は、図8に示した走行環境の第3の例に対する表示である。
 図58の(a)は、図56の(a)と同様である。車両制御部7が図8に示した第3の例の走行環境であることを判定した場合、車両制御部7は、運転者の運転特性が「減速が多い」運転特性であることに基づいて、第1の挙動を「減速」と判定し、図58の(b)の表示を報知部92に実行させる。
 図58の(b)には、第1の挙動である「減速」を示す記号251が第1の態様(例えば、第1の色)で示されている。また、第2の挙動である「追い越し」を示す記号252と、第2の挙動である「車線変更」を示す記号253が示されている。
 運転者は、実施の形態1で説明したような操作により、「追い越し」への挙動の変更を行った場合、車両制御部7は、図58の(c)の表示を報知部92に実行させる。
 図58の(c)には、選択された挙動である「追い越し」を示す記号252’が、第1の態様で示されている。また、記号251’は、図58の(b)において第1の挙動として表示されていた記号251が記号252と入れ替わって表示されたものである。
 その後、車両制御部7は、図58の(a)に示す表示を報知部92に実行させてから第2の所定時間が経過した後に、図58の(d)に示す表示を報知部92に表示させる。ここで、図55の(d)には、次の挙動として、運転者が選択した「追い越し」を示す記号252’が第2の態様で表示される。
 車両制御部7は、次にとる挙動が「追い越し」と決定した場合、運転特性モデルに含まれる「追い越し」の挙動に対応する特徴量を読み出し、それらの特徴量を反映させた「加速」を行うように、車両1を制御する。
 次に、運転者の運転特性が「減速が多い」運転特性ではない場合の表示の例を説明する。
 図59は、本発明の実施の形態7における報知部92の表示を説明する図である。図59は、図5に示した走行環境の第1の例に対する表示である。なお、図59の(a)は、運転者の運転特性が「加速が多い」運転特性である場合の例を示し、図59の(b)は、運転者の運転特性が「車線変更が多い」運転特性である場合の例を示している。
 図59の(a)には、運転者の運転特性が「加速が多い」運転特性であることを示す記号261が示されている。また、第1の挙動である「加速」を示す記号262が第1の態様(例えば、第1の色)で示されている。また、第2の挙動である「車線変更」を示す記号263と、第2の挙動である「減速」を示す記号264が示されている。
 車両制御部7は、例えば、運転特性から過去に「加速」が多い(いわゆる過去に「加速」という挙動を選択した回数が多い)運転者に対して、図59の(a)のような記号261を含む表示を報知部92に実行させる。また、車両制御部7は、運転者の運転特性が「加速が多い」運転特性であることに基づいて、第1の挙動を「加速」と判定し、図59の(a)の表示を報知部92に実行させる。
 図59(b)には、運転者の運転特性が「車線変更が多い」運転特性であることを示す記号265が示されている。また、第1の挙動である「車線変更」を示す記号266が第1の態様(例えば、第1の色)で示されている。また、第2の挙動である「車線変更」を示す記号267と、第2の挙動である「減速」を示す記号268が示されている。
 車両制御部7は、例えば、運転特性から過去に「車線変更」が多い(いわゆる過去に「車線変更」という挙動を選択した回数が多い)運転者に対して、図59の(b)のような記号265を含む表示を報知部92に実行させる。車両制御部7は、運転者の運転特性が「車線変更が多い」運転特性であることに基づいて、第1の挙動を「車線変更」と判定し、図59の(b)の表示を報知部92に実行させる。
 上記は、運転特性モデルのみを使用して説明したが、ドライバモデルを加味してもよく、図56、図58、図59において、記号231は運転者の操作履歴から選択されたドライバモデルの種類を示してもよい。例えば、図5に示した走行環境の第1の例について、「減速」をよく選ぶドライバに適用するドライバモデルには図56のような記号231を含む表示を報知部92に実行させ、第1の挙動を「減速」と判定する。「加速」をよく選ぶドライバに適用するドライバモデルには図59の(a)のような記号261を含む表示を報知部92に実行させ、第1の挙動を「加速」と判定する。「車線変更」をよく選ぶドライバに適用するドライバモデルには図59の(a)のような記号261を含む表示を報知部92に実行させ、第1の挙動を「車線変更」と判定する。
 以上説明した本実施の形態によれば、車の将来の挙動を決定する際に、運転者の過去の走行履歴を学習し、その結果を将来の挙動の決定に反映させることができる。また、車両制御部が車を制御する際に、運転者の運転特性(運転嗜好)を学習し、車の制御に反映させることができる。
 これにより、車両が運転者若しくは乗員が嗜好するタイミングや操作量で自動運転を制御でき、実際運転者が手動運転する場合の感覚と乖離することなく、自動運転中に運転者による不要な操作介入を抑制することができる。
 なお、本発明では、車両制御部7が実行する機能と同様の機能をクラウドサーバなどのサーバ装置に実行させてもよい。また、記憶部8は、車両1ではなく、クラウドサーバなどのサーバ装置にあってもよい。あるいは、記憶部8は、既に構築されたドライバモデルを記憶し、車両制御部7は、記憶部8に記憶されたドライバモデルを参照して、挙動を判定することとしてもよい。
 このように、実施の形態7では、車両制御部7が、運転者の運転特性を示す特徴量の情報を取得し、記憶部8がその特徴量の情報を記憶し、車両制御部7が記憶部8に記憶された特徴量の情報に基づいて、運転者が選択した車両の挙動の傾向を、選択された各挙動の頻度で示すドライバモデルを車両の走行環境毎に構築することとした。
 また、車両制御部7は、複数の運転者のうち、類似した挙動の選択を行う運転者のグループを決定し、グループ毎、車両の走行環境毎にドライバモデルを構築することとした。
 また、車両制御部7は、類似した操作を行う運転者のグループ毎に各運転者が選択した挙動の頻度の平均値を算出し、運転者が選択した車両の挙動の傾向を、算出した平均値で示すドライバモデルを車両の走行環境毎に構築することとした。
 また、車両制御部7は、特定の運転者が選択した車両の挙動の傾向と類似する傾向がある他の運転者が選択した車両の挙動に基づいて、上記特定の運転者が選択した車両の挙動の傾向を、選択された各挙動の頻度で示すドライバモデルを車両の走行環境毎に構築することとした。
 以上により、車両制御部7は、運転者の運転傾向により適したドライバモデルを構築でき、構築したドライバモデルに基づいて、運転者に対してより適切な自動運転を行うことができる。
 (ドライバモデルの変形例)
 なお、上記で説明したドライバモデルは、走行環境毎の運転者による操作(挙動)の傾向を各操作の頻度の情報などに基づいてモデル化したものであったが、本発明はこれに限定されない。
 例えば、ドライバモデルは、過去に走行した走行環境(つまり、シチュエーション)を示す環境パラメータと、その走行環境において運転者が実際に選択した操作(挙動)とを対応させた走行履歴に基づいて構築されてもよい。環境パラメータをドライバモデルに組み込むことにより、走行環境の検出・分類を別途行い、その分類結果をドライバモデルに入力(記憶)するという手続きを踏むことなく、選択肢を決めることが出来る。具体的には、図56、図57のような走行環境の違いを、環境パラメータとして取得し、ドライバモデルに直接入力(記憶)することにより、図56では「加速」、「減速」、「車線変更」が選択肢となり、図57では、「加速」、「減速」が選択肢となる。以下では、このようなドライバモデルを構築する場合について説明する。なお、以下に説明するドライバモデルは、シチュエーションデータベースと言い換えても良い。
 ここで、本変形例におけるドライバモデルを構築するための走行履歴について説明する。図60は、走行履歴の一例を示す図である。図60には、運転者xが運転する車両が、過去に走行した走行環境を示す環境パラメータと、その走行環境において運転者が実際に選択した操作(挙動)とを対応させた走行履歴が示されている。
 図60に示す走行履歴の(a)~(c)の環境パラメータは、それぞれ、例えば、図8の(b)、図5の(b)、図7の(b)に示したようにして運転者に車両の挙動を提示した際の走行環境を示すものである。この走行履歴の環境パラメータは、センシング情報およびインフラ情報から得られる。
 センシング情報は、車両が有するセンサやレーダ等が検知した情報である。インフラ情報は、GPSの情報、地図情報、路車間通信で取得される情報などである。
 例えば、図60に示す走行履歴の環境パラメータは、「自車両の情報」、自車両aが走行する車線の前方を走行する車両の情報を示す「先行車両の情報」、自車両が走行する車線の側方車線の情報を示す「側方車線の情報」、自車両が走行する位置に合流車線がある場合に、その合流車線の情報を示す「合流車線の情報」、自車両の位置とその周囲の情報を示す「位置情報」などを含む。また、後方車両の情報を含めてもよい。その場合、後方車両と自車両との相対速度、車頭間距離、車頭間距離の変化率などを用いても良い。また、車両の存在の情報を含めてもよい。
 例えば、「自車両の情報」は、自車両の速度Vaの情報を含む。「先行車両の情報」は、自車両に対する先行車両bの相対速度Vba、先行車両と自車両との車間距離DRba、先行車両のサイズの変化率RSbの情報を含む。
 ここで、自車両の速度Vaは、自車両が有する速度センサによって検知される。相対速度Vba、車間距離DRbaは、センサやレーダ等によって検知される。サイズの変化率RSbは、RSb=-Vba/DRbaという関係式によって算出される。
 「側方車線の情報」は、側方車線において自車両より後方を走行する側後方車両cの情報と、側方車線において自車両より前方を走行する側前方車両dの情報と、自車両の残存側方車線長DRdaの情報とを含む。
 側後方車両の情報は、自車両に対する側後方車両の相対速度Vca、側後方車両と自車両との車頭間距離Dca、車頭間距離の変化率Rcaの情報を含む。側後方車両と自車両との車頭間距離Dcaとは、自車両(および側後方車両)の進行方向に沿った方向において測定される自車両の先端部(車頭)と側後方車両の先端部(車頭)との間の距離である。なお、車頭間距離は、車間距離及び車長から算出してもよい。また、車頭間距離は、車間距離に代替させてもよい。
 ここで、相対速度Vca、車頭間距離Dcaは、センサやレーダ等によって検知される。車頭間距離の変化率Rcaは、Rca=Vca/Dcaという関係式によって算出される。
 また、側前方車両の情報は、自車両に対する側前方車両の相対速度Vda、側前方車両と自車両との車頭間距離Dda、車頭間距離の変化率Rdaの情報を含む。側前方車両と自車両との車頭間距離Ddaは、自車両(および側前方車両)の進行方向に沿って測定される自車両の先端部(車頭)と側前方車両の先端部(車頭)との間の距離である。
 相対速度Vda、車頭間距離Ddaは、センサやレーダ等によって検知される。また、車頭間距離の変化率Rdaは、Rda=Vda/Ddaという関係式によって算出される。
 自車両の残存側方車線長DRdaは、側方車線への車線変更の可能性の高さを示すパラメータである。具体的には、自車両の残存側方車線長DRdaは、自車両(および側前方車両)進行方向に沿った方向において測定される自車両の先端部(車頭)と側前方車両の後端部との間の距離が、先行車両と自車両との車間距離DRbaより長い場合、自車両の先端部(車頭)と側前方車両の後端部との間の距離となり、自車両の先端部(車頭)と側前方車両の後端部との間の距離が、DRbaより短い場合、DRbaとなる。自車両の残存側方車線長DRdaは、センサやレーダ等によって検知される。
 「合流車線の情報」は、自車両に対する合流車両の相対速度Vma、合流車両と自車両との車頭間距離Dma、車頭間距離の変化率Rmaの情報を含む。ここで、合流車両と自車両との車頭間距離Dmaは、自車両(および合流車両)の進行方向に沿った方向において測定される自車両の先端部(車頭)と合流車両の先端部(車頭)との間の距離である。
 相対速度Vma、車頭間距離Dmaは、センサやレーダ等によって検知される。車頭間距離の変化率Rmaは、Rma=Vma/Dmaという関係式によって算出される。
 図60に示す走行履歴の例では、上記で説明した速度、距離、及び変化率の数値が複数のレベルに分類され、分類されたレベルを示す数値が記憶されている。なお、速度、距離、及び変化率の数値は、レベルに分類されることなくそのまま記憶されてもよい。
 位置情報は、「自車両の位置情報」、「走行車線数」、「自車両の走行車線」、「合流区間の開始・終了地点までの距離」「分岐区間の開始・終了地点までの距離」「工事区間開始・終了地点までの距離」「車線減少区間開始・終了地点までの距離」「交通事故発生地点までの距離」などの情報を含む。図60には、位置情報の例として「自車両の走行車線」(図60の走行車線)、及び「合流区間の開始・終了地点までの距離」の情報が示されている。
 例えば、「自車両の位置情報」の欄には、GPSより得られた緯度・経度を示す数値情報が記憶される。「走行車線数」の欄には、走行している道の車線の数が記憶される。「自車両の走行車線」の欄には、走行している車線の位置を示す数値情報が記憶される。「合流区間の開始・終了地点までの距離」の欄には、所定の距離内に合流区間の開始・終了地点が存在する場合に、合流区間の開始・終了地点までの距離が予め決められた複数のレベルに分類され、分類されたレベルの数値が記憶される。なお、所定の距離内に合流区間の開始・終了地点が存在しない場合、「合流区間の開始・終了地点までの距離」の欄には「0」が記憶される。
 「分岐区間の開始・終了地点までの距離」の欄には、所定の距離内に分岐区間の開始・終了地点が存在する場合に、分岐区間の開始・終了地点までの距離が予め決められた複数のレベルに分類され、分類されたレベルの数値が記憶される。なお、所定の距離内に分岐区間の開始・終了地点が存在しない場合、「分岐区間の開始・終了地点までの距離」の欄には「0」が記憶される。「工事区間開始・終了地点までの距離」の欄には、所定の距離内に工事区間開始・終了地点が存在する場合に、工事区間開始・終了地点までの距離が予め決められた複数のレベルに分類され、分類されたレベルの数値が記憶される。なお、所定の距離内に工事区間開始・終了地点が存在しない場合、「工事区間開始・終了地点までの距離」の欄には「0」が記憶される。
 「車線減少区間開始・終了地点までの距離」の欄には、所定の距離内に車線減少区間開始・終了地点が存在する場合に、車線減少区間開始・終了地点までの距離が予め決められた複数のレベルに分類され、分類されたレベルの数値が記憶される。なお、所定の距離内に車線減少区間開始・終了地点が存在しない場合、「車線減少区間開始・終了地点までの距離」の欄には「0」が記憶される。
 「交通事故発生地点までの距離」の欄には、所定の距離内に交通事故発生地点が存在する場合に、交通事故発生地点までの距離が予め決められた複数のレベルに分類され、分類されたレベルの数値が記憶される。なお、所定の距離内に交通事故発生地点が存在しない場合、「交通事故発生地点までの距離」の欄には「0」が記憶される。
 さらに、位置情報は、自車両が走行している道の全車線のうちどの車線が合流車線、分岐車線、工事車線、減少車線、事故発生車線かの情報を含んでも良い。
 なお、図60に示した走行履歴はあくまで一例であり、本発明はこれに限定されない。例えば、上記側方車線の情報が右側方車線の情報である場合、走行履歴に、その反対側である「左側方車線の情報」がさらに含まれても良い。
 「左側方車線の情報」は、左側方車線において自車両より後方を走行する左側後方車両の情報と、左側方車線において自車両より前方を走行する左側前方車両の情報と、自車両の残存左側方車線長DRdaの情報とを含む。
 左側後方車両の情報は、自車両に対する左側後方車両の相対速度Vfa、左側後方車両と自車両との車頭間距離Dfa、車頭間距離の変化率Rfaの情報を含む。左側後方車両と自車両との車頭間距離Dfaとは、自車両(および左側後方車両)の進行方向に沿った方向において測定される自車両の先端部(車頭)と左側後方車両の先端部(車頭)との間の距離である。
 ここで、相対速度Vfa、車頭間距離Dfaは、センサやレーダ等によって検知される。また、車頭間距離の変化率Rfaは、Rfa=Vfa/Dfaという関係式によって算出される。
 また、左側前方車両の情報は、自車両に対する左側前方車両の相対速度Vga、左側前方車両と自車両との車頭間距離Dga、車頭間距離の変化率Rgaの情報を含む。左側前方車両と自車両との車頭間距離Dgaは、自車両(および左側前方車両)の進行方向に沿って測定される自車両の先端部(車頭)と左側前方車両の先端部(車頭)との間の距離である。
 ここで、相対速度Vga、車頭間距離Dgaは、センサやレーダ等によって検知される。また、車頭間距離の変化率Rgaは、Rga=Vga/Dgaという関係式によって算出される。
 なお、ここでは、車両の通行が左側通行である場合について説明したが、左右を逆転させることにより右側通行の場合にも同様の処理が可能である。
 また、図60に示す走行履歴は、走行車線において自車両より後方を走行する後方車両の情報を示す「後方車両の情報」を含んでもよい。
 後方車両の情報は、自車両に対する後方車両の相対速度Vea、後方車両と自車両との車頭間距離Dea、車頭間距離の変化率Reaの情報を含む。後方車両と自車両との車頭間距離Deaとは、自車両(および後方車両)の進行方向に沿った方向において測定される自車両の先端部(車頭)と後方車両の先端部(車頭)との間の距離である。
 ここで、相対速度Vea、車頭間距離Deaは、センサやレーダ等によって検知される。車頭間距離の変化率Reaは、Rea=Vea/Deaという関係式によって算出される。
 なお、移動体に隠れて車頭間距離が計測できない場合などは、車頭間距離の代替として、計測できる車間距離や、車間距離に所定の車長を加えた近似値を使用しても良いし、車間距離に認識した車種ごとの車長を加えて算出してもよい。また、車頭間距離が計測できるかできないかに拘わらず、車頭間距離の代替として、計測できる車間距離や、車間距離に所定の車長を加えた近似値を使用しても良いし、車間距離に認識した車種ごとの車長を加えて算出してもよい。
 走行履歴には、車両の走行環境に関する他の様々な情報が含まれていてもよい。例えば、走行履歴には、先行車両や側方車両、合流車両の大きさや種別、および自車両との相対位置の情報が含まれていてもよい。例えば、後方から接近する車両の種別をカメラセンサで認識し、車両が緊急車両である場合に車両が救急車両であることを示す情報を含めても良い。これにより、緊急車両への対応のための情報報知であることを情報報知できる。あるいは、図55で説明したような、ハンドル、ブレーキ、アクセル操作量を段階的に示した数値や、同乗者の情報などが走行履歴に含まれていてもよい。
 また、運転者の走行履歴として、自動運転中に選択した挙動が集約されてもよいし、運転者が手動運転中に実際に行った挙動が集約されてもよい。これにより、自動運転や手動運転といった運転状態に応じた走行履歴の収集ができる。
 また、図60の例では、走行履歴に含まれる環境パラメータが、運転者に車両の挙動を提示した際の走行環境を示すものとしたが、運転者が挙動の選択を行った際の走行環境を示すものであってもよい。あるいは、運転者に車両の挙動を提示した際の走行環境を示す環境パラメータと、運転者が挙動の選択を行った際の走行環境を示す環境パラメータとが両方とも走行履歴に含まれてもよい。
 さらに、車両制御部7が、図2の(a)、図5の(a)、図6の(a)、図7の(a)、図8の(a)、図9の(a)、図10の(a)に示す俯瞰図、または図14の(c)に示す表示を生成するに伴い、第1の挙動、及び、第2の挙動が選択される要因となった、寄与度の高い環境パラメータの情報、および、その環境パラメータに関連する情報(例えば、アイコンなど)の少なくとも一つを報知情報として生成し、生成した報知情報を俯瞰図上に示すなどして報知情報を報知部92に報知させてもよい。
 この場合、例えば、車両制御部7は、先行車両と自車両との車間距離DRbaや先行車両のサイズの変化率RSbの寄与度が高ければ、俯瞰図における先行車両と自車両との間に輝度を上げたり色を変えたりした領域を表示させ、報知情報を報知部92に報知させてもよい。
 また、車両制御部7が、先行車両と自車両との間の領域に車間距離DRbaや変化率RSbの寄与度が高いことを示すアイコンを報知情報として表示させてもよい。さらに、車両制御部7が、報知部92に、俯瞰図上で先行車両と自車両とを結ぶ線分を報知情報として描画させるか、全ての周辺車両と自車両とを結ぶ線分を報知情報として描画させ、俯瞰図上で先行車両と自車両とを結ぶ線分を強調させてもよい。
 また、車両制御部7は、俯瞰図ではなく、運転者から見える視点画像の中で、報知部92に先行車両と自車両との間に周囲の領域よりも輝度を上げたり、周囲の領域と異なる色にした領域を報知情報として表示させたりしてAR(Augmented Reality)表示を実現させてもよい。また、車両制御部7が視点画像の中で、先行車両と自車との間の領域に高い寄与度の環境パラメータを示すアイコンを報知情報として報知部92にAR表示させてもよい。
 さらに、車両制御部7が視点画像の中で、先行車両と自車とを結ぶ線分を報知情報としてAR表示させるか、視点画像の中で、全ての周辺車両と自車両とを結ぶ線分を報知情報としてAR表示させ、先行車両と自車両とを結ぶ線分を強調させてもよい。
 なお、寄与度の高い環境パラメータあるいはその環境パラメータに関連する情報を報知する方法は、上記に限定されない。例えば、車両制御部7は、寄与度の高い環境パラメータの対象となる先行車両を強調表示した画像を報知情報として生成し、報知部92に表示させてもよい。
 また、車両制御部7が、俯瞰図またはAR表示において、寄与度の高い環境パラメータの対象となる先行車両等の方向を示す情報を報知情報として生成し、その情報を自車両または自車両の周辺に表示させてもよい。
 また、例えば、車両制御部7は、寄与度が高い環境パラメータの情報あるいはその環境パラメータに関連する情報を報知する代わりに、寄与度が低い環境パラメータの対象となる先行車両等の表示輝度を低くするなどして目立たなくし、相対的に目立つようにした寄与度が高い環境パラメータの情報あるいはその環境パラメータに関連する情報を報知情報として生成し、報知部92に表示させてもよい。
 次に、運転者の走行履歴に基づくドライバモデルの構築について説明する。ドライバモデルには、複数のドライバの走行履歴をクラスタリングして構築するクラスタリング型と、特定の運転者(例えば、運転者x)の走行履歴と類似する複数の走行履歴から運転者xのドライバモデルを構築する個別適応型とがある。
 まず、クラスタリング型について説明する。クラスタリング型のドライバモデルの構築方法は、図60に示したような運転者の走行履歴を運転者毎に予め集約する。そして、互いの走行履歴の類似度が高い複数の運転者、つまり、類似した運転操作傾向を有する複数の運転者をグループ化してドライバモデルを構築する。
 走行履歴の類似度は、例えば、運転者aと運転者bの走行履歴における挙動を所定のルールに基づいて数値化した場合に、環境パラメータの数値と挙動の数値とを要素とするベクトルの相関値から決定できる。この場合、例えば、運転者aと運転者bの走行履歴から算出した相関値が所定値よりも高い場合に、運転者aと運転者bの走行履歴を1つのグループとする。なお、類似度の算出については、これに限定されない。
 次に、個別適応型について説明する。個別適応型のドライバモデルの構築方法は、クラスタリング型の場合と同様に、図60に示したような複数の運転者の走行履歴を予め集約する。ここで、クラスタリング型の場合と異なる点は、運転者毎にドライバモデルを構築する点である。例えば、運転者yに対してドライバモデルを構築する場合、運転者yの走行履歴と他の複数の運転者の走行履歴とを比較し、類似度が高い複数の運転者の走行履歴を抽出する。そして、抽出した複数の運転者の走行履歴から運転者yの個別適応型のドライバモデルを構築する。
 なお、図60に示す走行履歴に基づくドライバモデル(シチュエーションデータベース)は、クラスタリング型、または、個別適応型に限定されず、例えば、全ての運転者の走行履歴を含むように構成されてもよい。
 ここで、構築したドライバモデルの使用方法について、例を挙げて説明する。以下の例では、運転者xに対し、4人の運転者a~dの走行履歴を集約したドライバモデルが用いられる場合について説明する。なお、ドライバモデルは、車両制御部7によって構築される。
 図61は、本変形例におけるドライバモデルの使用方法を示す図である。図61の(a)は、運転者xが運転する車両の現時点における走行環境を示す環境パラメータである。図61の(b)は、運転者xに対するドライバモデルの一例である。
 図61の(a)に示すように、現時点における走行環境を示す環境パラメータに対する挙動(操作)はブランクになる。車両制御部7は、環境パラメータを所定の間隔で取得し、環境パラメータのいずれかをトリガとして、図61の(b)に示すドライバモデルから次の挙動を判定する。
 トリガとしては、例えば、合流区間の開始地点までの距離が所定の距離以下になった場合、あるいは、先行車両との相対速度が所定値以下になった場合など、車両の操作の変更が必要となる場合を示す環境パラメータをトリガとしてもよい。
 車両制御部7は、図61の(a)に示す環境パラメータと、図61の(b)に示すドライバモデルのそれぞれの走行履歴の環境パラメータとを比較し、最も類似する環境パラメータに対応づけられた挙動を第1の挙動であると判定する。また、それ以外の類似する環境パラメータに対応づけられたいくつかの挙動については、第2の挙動と判定する。
 環境パラメータが類似するか否かは、環境パラメータの数値を要素とするベクトルの相関値から決定できる。例えば、図61の(a)に示す環境パラメータの数値を要素とするベクトルと、図61の(b)に示す環境パラメータの数値を要素とするベクトルとから算出した相関値が所定値よりも高い場合に、これらの環境パラメータが類似すると判定される。なお、環境パラメータが類似するか否かの判定方法については、これに限定されない。
 例えば、ここでは環境パラメータの類似度に基づいて挙動を決定することとしたが、まず環境パラメータの類似度の高いグループを作成し、そのグループにおける環境パラメータの統計をとり、その統計データから挙動を決定してもよい。
 このように、予め複数の運転者の走行履歴から運転者個人のドライバモデルを構築することにより、運転者により適した挙動を報知できる。なお、より安全な走行履歴をデータベースに登録するため、安全な走行の基準を示す情報を記憶部8が記憶しておき、走行履歴がこの基準を満たすか否かを車両制御部7が判定し、さらに車両制御部7が、この基準を満たす走行履歴をデータベースに登録し、この基準を満たさない走行履歴をデータベースに登録しないこととしてもよい。
 さらに、走行環境を示すパラメータと挙動とが対応づけられることにより、車両制御部7が、具体的な走行環境を判定することなく、つまり、走行環境のラベリングを行う事無く、精度よく次の挙動を判定できる。
 なお、ドライバモデル(シチュエーションデータベース)は、自動運転中に運転者が選択した挙動とその挙動を提示した際の走行環境を示す環境パラメータとを対応づけた走行履歴から構築されてもよい。あるいは、ドライバモデル(シチュエーションデータベース)は、自動運転中に運転者が選択した挙動とその挙動を車両が行った際の走行環境を示す環境パラメータとを対応付けた走行履歴から構築されてもよい。
 環境パラメータが、運転者により選択された挙動を車両が行った際の走行環境を示すものである場合、現時点における走行環境を示す環境パラメータから将来の走行環境を示す環境パラメータを予測し、運転者により選択された挙動を車両が行った際の走行環境を示す環境パラメータのうち、予測された環境パラメータに最も類似する環境パラメータに対応付けられた挙動を第1の挙動、それ以外の類似する環境パラメータに対応付けられたいくつかの挙動を第2の挙動であると判定してもよい。
 上記予測は、例えば、現時点と現時点よりも前の時点の走行環境を示す環境パラメータから将来の時点の環境パラメータを外挿することにより行う。
 あるいは、ドライバモデル(シチュエーションデータベース)は、自動運転中に運転者が選択した挙動とその挙動を提示した際の走行環境を示す環境パラメータとを対応づけた走行履歴、および、自動運転中に運転者が選択した挙動とその挙動を車両が行った際の走行環境を示す環境パラメータとを対応付けた走行履歴の両方から構築されてもよい。
 この場合、例えば、両者の走行履歴が図61の(b)に示したような形式で記憶され、車両制御部7は、それらから次の挙動を判定する。ここで、車両制御部7は、両者の間で優先度を設け、例えば、自動運転中に運転者が選択した挙動とその挙動を車両が行った際の走行環境を示す環境パラメータとを対応付けた走行履歴から優先的に次の挙動を判定してもよい。
 なお、本発明では、車両制御部7が実行する機能と同様の機能をクラウドサーバなどのサーバ装置に実行させてもよい。特に、記憶部8は走行履歴の蓄積に伴い膨大なデータ数となるため、車両1ではなくクラウドサーバなどのサーバ装置にあってもよい。あるいは、記憶部8は、既に構築されたドライバモデルを記憶し、車両制御部7は、記憶部8に記憶されたドライバモデルを参照して、挙動を判定することとしてもよい。
 なお、記憶部8がクラウドサーバに設けられる構成では、通信速度の低下・通信断などの原因により記憶部8にアクセスできない場合に備えキャッシュが設けられることが望ましい。
 図62は、キャッシュの配置の一例を示すブロック図である。車両制御部7は、通信部291を通じて記憶部8に走行履歴を保存させ、通信部291を通じてキャッシュ292に記憶部8に記憶されたドライバモデル(シチュエーションデータベース)の一部を保持させる。
 車両制御部7は、キャッシュ292のドライバモデルにアクセスする。このときのキャッシュの作成方法については、環境パラメータの有無で限定する方法、位置情報を用いる方法、データを加工する方法などが考えられる。以下、それぞれについて説明する。
 まず、環境パラメータの有無で限定する方法について説明する。周囲の状況の比較により似た状況を抽出するには、同じ環境パラメータのみが存在する走行環境(シチュエーション)が十分にあれば可能である。従って、車両制御部7は、記憶部8に記憶された走行環境の中から同じ環境パラメータのみを持つ走行環境を抽出して、これらをソートし、キャッシュ292に保持する。
 ここで、車両制御部7は、検出された状況から得られる環境パラメータが変更されたタイミングで、一次キャッシュの更新を行う。こうすることで、車両制御部7は、通信速度の低下が発生しても似た周囲の状況を抽出することが可能になる。なお、変更の有無を判断する環境パラメータは、先に挙げた全ての環境パラメータでもよいし、一部の環境パラメータでもよい。
 さらに、この環境パラメータは刻一刻と変化するため、キャッシュ292内に一次キャッシュおよび二次キャッシュを用意しても良い。例えば、車両制御部7は、同じ環境パラメータを持つ走行環境を一次キャッシュに保持する。さらに、車両制御部7は、環境パラメータが一時キャッシュに保持された走行環境に一つ追加された状態にある走行環境、および、環境パラメータが一時キャッシュに保持された走行環境から一つ削減された状態にある走行環境の少なくとも一方を二次キャッシュに保持する。
 このようにすることで、車両制御部7は、一時的な通信断が発生しても、キャッシュ292のデータのみで、似た状況を抽出することが可能になる。
 図63を使って、この場合についてさらに具体的に説明する。センサ62により、自車両301の周囲に側前方車両302のみが存在している周囲状況303が検出されたとき、車両制御部7は、側前方車両302のみが存在している走行環境(同一の環境パラメータのみ存在する走行環境)を、全ての走行環境(シチュエーション)が記憶された記憶部8から抽出し、一次キャッシュ304に格納させる。
 さらに、車両制御部7は、側前方車両302以外の車が1台だけ追加された走行環境(同一の環境パラメータに1つの環境パラメータが追加された状態にある走行環境)もしくは、側前方車両302のいない走行環境(同一の環境パラメータから1つの環境パラメータが削減された状態にある走行環境)を記憶部8から抽出し、二次キャッシュ305に格納させる。
 そして、センサ62により検出された周囲状況303が変わったとき、車両制御部7は、変わった周囲状況303に対応する走行環境を二次キャッシュ305から一次キャッシュ304にコピーし、変わった周囲状況303に対応する走行環境に対し、環境パラメータが一つ追加された走行環境、及び、環境パラメータが一つ削減された走行環境を記憶部8から抽出し、二次キャッシュ305に格納することで、二次キャッシュ305を更新する。これにより、車両制御部7は、周囲状況のスムーズに比較により似た周囲状況をスムーズに抽出することが可能になる。
 次に、位置情報を用いる方法について説明する。環境パラメータに位置情報が含まれている場合、車両制御部7は、その位置情報により示される位置が自車位置を中心とする一定の範囲内に含まれる走行環境(シチュエーション)を記憶部8から抽出し、キャッシュ292に格納させることが可能となる。
 この場合、車両制御部7は、走行環境に対応する位置情報により示される位置が上記一定の範囲から外れたときに、キャッシュ292の更新を行う。このようにすることで、車両制御部7は、長期間の通信断が発生しても位置が一定の範囲内であれば似た周囲状況を抽出することが可能になる。
 さらに、データを加工する方法について説明する。記憶部8には環境パラメータを含む操作履歴が蓄積されている。車両制御部7は、各々の環境パラメータを一定の範囲毎に分割し、多次元空間上でメッシュを作成する。そして、車両制御部7は、各々のメッシュに含まれる挙動をその種別ごとにカウントしたテーブルを作成する。
 例えば、使用する環境パラメータを二つに限定して説明する。車両制御部7は、操作履歴に含まれる環境パラメータを図64の(a)のように平面状にマッピングし、これらの各々の軸を一定の範囲で分割することで、平面を複数のブロックに分ける。これをメッシュと呼ぶ。
 車両制御部7は、各々のメッシュの中に含まれる挙動の個数をその種別(例えば、加速、減速、車線変更、追い越しなどの種別)ごとにカウントする。図64の(b)に各メッシュの中に含まれる挙動の個数をその種別ごとにカウントしたテーブルを示す。
 車両制御部7は、この内容をキャッシュ292に保持する。そして、車両制御部7は、周囲状況の比較により似た周囲状況の抽出を行う際に、検出された環境パラメータがどのメッシュに位置するかを判別し、判別したメッシュの中に含まれる挙動のうち個数が最大である挙動を選択し、選択された挙動を報知する挙動に決定する。
 例えば、車両制御部7は、検出された環境パラメータがメッシュの3番に位置すると判別したとき、3番のメッシュの中に含まれる挙動のうち最大個数を示す挙動(ここでは「加速」)の操作を報知する挙動に決定する。この方法であれば、キャッシュ292の更新タイミングはいつでもよく、キャッシュ292の容量も一定とすることができる。
 これらの方法を一つもしくは複数を組み合わせることでキャッシュを作成する。ただし、上に挙げた方法は一例であり、キャッシュの作成方法はこの限りではない。
 このように、実施の形態7のドライバモデル拡張の例では、車両制御部7が、過去の走行環境の情報を含む運転者の運転特性を示す特徴量の情報を取得し、記憶部8がその特徴量の情報を記憶し、車両の挙動を変更する必要があると判定された場合、車両制御部7が記憶部8に記憶された特徴量の情報の中から、新たに取得した走行環境の情報を含む運転者の運転特性を示す特徴量に類似する情報を決定し、決定された情報に対応する挙動を報知することとした。
 また、実施の形態7のドライバモデル拡張の例では、過去の走行環境の情報を含む運転者の運転特性を示す特徴量の情報は、運転者に車両の挙動を提示した際の特徴量の情報、および、運転者が挙動の選択を行った際の特徴量の情報の少なくとも1つであることとした。
 また、実施の形態7のドライバモデル拡張の例では、過去の走行環境の情報を含む運転者の運転特性を示す特徴量の情報が、運転者に車両の挙動を提示した際の特徴量の情報、および、運転者が挙動の選択を行った際の特徴量の情報の両方である場合、それら両方の特徴量の情報の中から、新たに取得した走行環境の情報を含む運転者の運転特性を示す特徴量に類似する情報を決定し、決定された情報に対応する挙動を報知することとした。
 また、実施の形態7のドライバモデル拡張の例では、過去の走行環境の情報を含む運転者の運転特性を示す特徴量の情報が、運転者に車両の挙動を提示した際の特徴量の情報、および、運転者が挙動の選択を行った際の特徴量の情報の両方である場合、運転者が挙動の選択を行った際の特徴量の情報の中から優先的に、新たに取得した走行環境の情報を含む運転者の運転特性を示す特徴量に類似する情報を決定し、決定された情報に対応する挙動を報知することとした。
 また、実施の形態7のドライバモデル拡張の例では、過去の走行環境の情報を含む運転者の運転特性を示す特徴量の情報が、車両の自動運転時、および/または、手動運転時の運転者の運転特性を示す特徴量の情報であることとした。
 以上により、車両制御部7は、運転者の運転傾向により適したドライバモデルを構築でき、構築したドライバモデルに基づいて、運転者に対してより適切な自動運転を行うことができる。走行環境を示すパラメータと挙動とが対応づけられることにより、具体的な走行環境を判定する処理を要することなく、つまり、走行環境のラベリングを行うことなく、精度よく次の挙動を判定できる。
 以上、本発明に係る実施形態について図面を参照して詳述してきたが、上述した装置や各処理部の機能は、コンピュータプログラムにより実現され得る。
 上述した機能をプログラムにより実現するコンピュータは、キーボードやマウス、タッチパッドなどの入力装置、ディスプレイやスピーカなどの出力装置、プロセッサまたはCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、ハードディスク装置やSSD(Solid State Drive)などの記憶装置、DVD-ROM(Digital Versatile Disk Read Only Memory)やUSB(Universal Serial Bus)メモリなどの記録媒体から情報を読み取る読取装置、ネットワークを介して通信を行うネットワークカードなどを備え、各部はバスにより接続される。
 そして、読取装置は、上記プログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置に記憶させる。あるいは、ネットワークカードが、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各装置の機能を実現するためのプログラムを記憶装置に記憶させる。
 そして、プロセッサまたはCPUが、記憶装置に記憶されたプログラムをRAMにコピーし、そのプログラムに含まれる命令をRAMから順次読み出して実行することにより、上記各装置の機能が実現される。
 本発明に係る情報処理システム、情報処理方法およびプログラムは、車両の運転に関する情報を処理する装置またはシステムに適用することができる。
 1 車両
 2 ブレーキペダル
 3 アクセルペダル
 4 ウィンカーレバー
 5 ハンドル
 6、1001 検出部
 7 車両制御部
 8 記憶部
 9 情報報知装置
 10 タッチパネル
 29a~29c、29g、39a~39c、39g、59a~59c、59g、69a、69c、69g、79a、79c、79g、89a~89c、89g、99b、99c、99g、109a~109d、109e、109g、121、121a~121d 表示領域
 51 操作部
 51a~51h 操作ボタン
 59、69、79、89、99 文字情報
 91 情報取得部
 92 報知部
 101 表示部
 102 入力部
 109 表示
 111、112、113、114、121、121’、122、122’、123、131、131’、132、133、134、134’、135~137、231、232、233、233’、234、234’、235、251、251’、252、252’、253、261、262、263、264、265、266、267、268 記号
 291 通信部
 292 キャッシュ
 301 自車両
 302 側前方車両
 303 検出された周囲状況
 304 一次キャッシュ
 305 二次キャッシュ
 401、421、1002 挙動学習部
 402、422、1003 挙動推定部
 403、416、423、436 挙動推定結果受付部
 411、431 汎用挙動学習部
 412、432 汎用挙動推定部
 413、433 ヒストグラム生成部
 414、434 専用挙動学習部
 415、435 専用挙動推定部
 441 評価部
 442、442a、442b スイッチ
 443 ドライバモデル挙動推定部
 1000 情報処理システム

Claims (9)

  1.  車両の周囲の状況または前記車両の走行状態のうちの少なくとも何れか1つである車両環境状態を検出する検出部と、
     前記検出部が検出した前記車両環境状態と、前記車両環境状態の後に行われた前記車両の挙動との関係をニューラルネットワークに学習させる挙動学習部と、
     前記検出部によって検出される現時点における前記車両環境状態を、学習した前記ニューラルネットワークに入力することによって、前記車両の挙動を推定する挙動推定部と、
     を備える情報処理システム。
  2.  前記挙動学習部は、
     複数の運転者のそれぞれについて、前記検出部が検出した前記車両環境状態と、前記車両環境状態の後に行われた前記車両の挙動との関係をニューラルネットワークに学習させる汎用挙動学習部と、
     特定の運転者に対して前記検出部が検出した前記車両環境状態と、前記車両環境状態の後に行われた前記車両の挙動とを用いて、学習した前記ニューラルネットワークに再学習させる転移学習によって、前記特定の運転者に対する専用のニューラルネットワークを構築する専用挙動学習部とを備え、
     前記挙動推定部は、
     前記専用のニューラルネットワークを用いて、前記特定の運転者に対する前記車両の挙動を推定する
     請求項1に記載の情報処理システム。
  3.  前記挙動推定部は、
     前記汎用挙動学習部によって学習した前記ニューラルネットワークに、前記特定の運転者に対して前記検出部が検出した前記車両環境状態を入力することによって、前記特定の運転者に対する前記車両の仮の挙動を推定する汎用挙動推定部と、
     前記専用のニューラルネットワークを用いて、前記特定の運転者に対する前記車両の挙動を推定する専用挙動推定部とを備え、
     前記情報処理システムは、さらに、
     前記汎用挙動推定部による仮の挙動の推定結果のヒストグラムを生成するヒストグラム生成部を備え、
     前記専用挙動学習部は、生成された前記ヒストグラムを参照した前記転移学習によって、前記専用のニューラルネットワークを構築する
     請求項2に記載の情報処理システム。
  4.  前記情報処理システムは、さらに、
     前記挙動推定部によって推定された挙動が有効か否かを判定し、有効と判定した場合に、前記推定された挙動を出力する評価部を備える
     請求項1~3の何れか1項に記載の情報処理システム。
  5.  前記情報処理システムは、さらに、
     特定の運転者によって入力される前記車両の挙動を受け付ける入力部と、
     前記挙動推定部によって推定された前記車両の挙動を、前記入力部によって受け付けられた前記車両の挙動に基づいて評価する評価部とを備え、
     前記評価部は、
     前記挙動推定部によって推定された前記車両の挙動に誤りがあると評価した場合には、
     前記入力部によって受け付けられた前記車両の挙動と、前記車両の挙動の推定時に前記検出部によって検出された前記車両の周囲の状況とを用いた前記ニューラルネットワークの再学習を、前記挙動学習部に実行させる
     請求項1~3の何れか1項に記載の情報処理システム。
  6.  前記専用挙動学習部は、
     前記車両が走行するシーンごとに、当該シーンに応じた前記特定の運転者に対する前記専用のニューラルネットワークを構築するとともに、複数の前記専用のニューラルネットワークのうち、前記車両が走行する現在のシーンに応じた前記専用のニューラルネットワークを選択し、
     前記専用挙動推定部は、
     選択された前記専用のニューラルネットワークを用いて、前記特定の運転者に対する前記車両の挙動を推定する
     請求項3に記載の情報処理システム。
  7.  車両の周囲の状況または前記車両の走行状態のうちの少なくとも何れか1つである車両環境状態を検出し、
     検出した前記車両環境状態と、前記車両環境状態の後に行われた前記車両の挙動との関係をニューラルネットワークに学習させ、
     検出される現時点における前記車両環境状態を、学習した前記ニューラルネットワークに入力することによって、前記車両の挙動を推定する、
     情報処理方法。
  8.  車両の周囲の状況または前記車両の走行状態のうちの少なくとも何れか1つである車両環境状態を検出し、
     検出した前記車両環境状態と、前記車両環境状態の後に行われた前記車両の挙動との関係をニューラルネットワークに学習させ、
     検出される現時点における前記車両環境状態を、学習した前記ニューラルネットワークに入力することによって、前記車両の挙動を推定する、
     ことをコンピュータに実行させるプログラム。
  9.  前記情報処理システムは、さらに、
     前記挙動推定部によって推定された挙動を、前記挙動が実施される前に、運転者に報知する報知部を備える
     請求項1~6の何れか1項に記載の情報処理システム。
PCT/JP2016/002125 2015-04-21 2016-04-21 情報処理システム、情報処理方法、およびプログラム WO2016170786A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US15/567,268 US10759446B2 (en) 2015-04-21 2016-04-21 Information processing system, information processing method, and program
JP2016544179A JP6074553B1 (ja) 2015-04-21 2016-04-21 情報処理システム、情報処理方法、およびプログラム
EP16782808.6A EP3272611B1 (en) 2015-04-21 2016-04-21 Information processing system, information processing method, and program
CN201680022379.3A CN107531244B (zh) 2015-04-21 2016-04-21 信息处理系统、信息处理方法、以及记录介质

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
JP2015-087069 2015-04-21
JP2015087069 2015-04-21
JP2015-099474 2015-05-14
JP2015099474 2015-05-14
JP2015-119139 2015-06-12
JP2015119139 2015-06-12
JP2015-215049 2015-10-30
JP2015215049 2015-10-30
JP2016038476 2016-02-29
JP2016-038476 2016-02-29

Publications (1)

Publication Number Publication Date
WO2016170786A1 true WO2016170786A1 (ja) 2016-10-27

Family

ID=57143793

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/002125 WO2016170786A1 (ja) 2015-04-21 2016-04-21 情報処理システム、情報処理方法、およびプログラム

Country Status (5)

Country Link
US (1) US10759446B2 (ja)
EP (1) EP3272611B1 (ja)
JP (2) JP6074553B1 (ja)
CN (1) CN107531244B (ja)
WO (1) WO2016170786A1 (ja)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018028906A (ja) * 2016-08-16 2018-02-22 トヨタ自動車株式会社 ディープ(双方向)再帰型ニューラルネットワークを用いたセンサデータの時間融合に基づく効率的な運転者行動予測システム
WO2018100783A1 (ja) * 2016-12-01 2018-06-07 住友電気工業株式会社 検知装置、検知方法および検知プログラム
JP2018097804A (ja) * 2016-12-16 2018-06-21 パナソニックIpマネジメント株式会社 情報処理システム、情報処理方法、およびプログラム
JP2018118672A (ja) * 2017-01-26 2018-08-02 パナソニックIpマネジメント株式会社 情報処理システム、情報処理方法、プログラムおよび車両
JP2018135075A (ja) * 2017-02-23 2018-08-30 パナソニックIpマネジメント株式会社 画像表示システム、画像表示方法及びプログラム
WO2018163534A1 (ja) * 2017-03-10 2018-09-13 オムロン株式会社 表示装置および表示方法
WO2018173933A1 (ja) * 2017-03-23 2018-09-27 日本電気株式会社 情報処理装置、走行データ処理方法、車両およびプログラム記録媒体
CN108688677A (zh) * 2017-03-29 2018-10-23 马自达汽车株式会社 车辆驾驶支援系统以及车辆驾驶支援方法
CN108764034A (zh) * 2018-04-18 2018-11-06 浙江零跑科技有限公司 一种基于驾驶室近红外相机的分神驾驶行为预警方法
EP3410414A1 (en) * 2017-05-31 2018-12-05 Panasonic Intellectual Property Corporation of America Information processing method, information processing apparatus, system, and storage medium
DE102018112303A1 (de) 2017-05-30 2018-12-06 Toyota Jidosha Kabushiki Kaisha Vorrichtung zur Bestimmung einer falschen Bedienung
WO2018221159A1 (ja) * 2017-06-01 2018-12-06 日立オートモティブシステムズ株式会社 移動体挙動予測装置
JP2018203250A (ja) * 2017-06-06 2018-12-27 トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ,インコーポレイティド 交通に応じた動的車両制御のためのシステムおよび方法
WO2019018257A1 (en) * 2017-07-17 2019-01-24 Veoneer Us, Inc. ADAPTIVE TRAFFIC ENVIRONMENTAL THRESHOLDS
WO2019017253A1 (ja) * 2017-07-18 2019-01-24 パイオニア株式会社 制御装置、制御方法、およびプログラム
JP2019185527A (ja) * 2018-04-13 2019-10-24 株式会社デンソーテン マイコン装置およびマイコン装置の制御方法
CN110599788A (zh) * 2018-05-25 2019-12-20 丰田自动车株式会社 自动驾驶系统以及自动驾驶系统的控制方法
CN110809545A (zh) * 2017-07-07 2020-02-18 威伯科有限公司 用于预见性评估当前行驶情况的方法以及评估模型
JPWO2019038987A1 (ja) * 2017-08-25 2020-08-06 住友電気工業株式会社 コンピュータプログラム、走行車線特定装置および走行車線特定システム
CN111527013A (zh) * 2017-12-27 2020-08-11 宝马股份公司 车辆变道预测
WO2020194589A1 (ja) * 2019-03-27 2020-10-01 三菱電機株式会社 車両制御用演算装置、車両制御装置、及び、車両制御用演算方法
US10793165B2 (en) 2015-04-21 2020-10-06 Panasonic Intellectual Property Management Co., Ltd. Driving assistance method, and driving assistance device, driving control device, vehicle, driving assistance program, and recording medium using said method
US10976739B2 (en) 2017-12-18 2021-04-13 Toyota Jidosha Kabushiki Kaisha Vehicle control device
JPWO2020202316A1 (ja) * 2019-03-29 2021-09-13 三菱電機株式会社 モデル予測制御装置、モデル予測制御プログラム、モデル予測制御システムおよびモデル予測制御方法
JP2021163476A (ja) * 2020-04-03 2021-10-11 中信戴▲か▼股▲ふん▼有限公司CITIC Dicastal Co., Ltd 走行シーン決定方法、装置、コンピュータ、記憶媒体及びシステム

Families Citing this family (95)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107848532B (zh) * 2015-07-24 2019-02-19 三菱电机株式会社 车辆定速行驶控制装置、方法和计算机能读取的记录介质
EP3357780B1 (en) * 2015-09-30 2022-10-26 Sony Group Corporation Driving control device, driving control method, and program
US10782687B2 (en) 2015-09-30 2020-09-22 Sony Corporation Driving control apparatus, driving control method, and program
JP6294905B2 (ja) * 2016-03-31 2018-03-14 株式会社Subaru 表示装置
JP6712906B2 (ja) * 2016-05-31 2020-06-24 株式会社小松製作所 作業機械の管理装置、作業機械、及び作業機械の管理システム
CN105946854A (zh) * 2016-06-17 2016-09-21 京东方科技集团股份有限公司 车载动力自动控制系统及其控制方法、汽车
US10322721B2 (en) * 2016-06-28 2019-06-18 Faraday & Future Inc. Adaptive cruise control system having center-console access
US10452068B2 (en) * 2016-10-17 2019-10-22 Uber Technologies, Inc. Neural network system for autonomous vehicle control
JP6731619B2 (ja) * 2016-10-26 2020-07-29 パナソニックIpマネジメント株式会社 情報処理システム、情報処理方法、およびプログラム
JP2018090223A (ja) * 2016-12-07 2018-06-14 トヨタ自動車株式会社 車両用表示装置
CN108269325A (zh) * 2016-12-30 2018-07-10 中国移动通信有限公司研究院 一种驾驶行为油耗经济性的分析方法及装置
US10854053B2 (en) * 2017-05-25 2020-12-01 Galactic Smarties, Llc Emergency alert
US10683002B2 (en) * 2017-06-27 2020-06-16 Toyota Motor Engineering & Manufacturing North America, Inc. Efficient acceleration from surrounding vehicles
CN109213134B (zh) * 2017-07-03 2020-04-28 百度在线网络技术(北京)有限公司 生成自动驾驶策略的方法和装置
CN107628029B (zh) * 2017-08-22 2019-06-18 清华大学 一种网联汽车队列的节能型稳定性运动控制方法
US10217028B1 (en) * 2017-08-22 2019-02-26 Northrop Grumman Systems Corporation System and method for distributive training and weight distribution in a neural network
US10589664B2 (en) * 2017-09-11 2020-03-17 Stanislav D. Kashchenko System and method for automatically activating turn indicators in a vehicle
JP6905433B2 (ja) * 2017-09-13 2021-07-21 株式会社デンソーアイティーラボラトリ 車両行動予測装置、車両行動予測方法および車両行動予測用のニューラルネットワークの学習方法
BR112020005415A2 (pt) * 2017-09-20 2020-09-29 Nissan Motor Co., Ltd. método de assistência de deslocamento e dispositivo de assistência de deslocamento
JP6881196B2 (ja) * 2017-09-29 2021-06-02 日産自動車株式会社 油圧伝達装置のライン圧制御方法及びライン圧制御装置
JP6881197B2 (ja) * 2017-09-29 2021-06-02 日産自動車株式会社 油圧伝達装置のライン圧制御方法及びライン圧制御装置
US10368333B2 (en) * 2017-11-20 2019-07-30 Google Llc Dynamically adapting provision of notification output to reduce user distraction and/or mitigate usage of computational resources
JP7108395B2 (ja) * 2017-11-27 2022-07-28 ホーチキ株式会社 行動監視システム
US11130497B2 (en) 2017-12-18 2021-09-28 Plusai Limited Method and system for ensemble vehicle control prediction in autonomous driving vehicles
US11273836B2 (en) * 2017-12-18 2022-03-15 Plusai, Inc. Method and system for human-like driving lane planning in autonomous driving vehicles
US20190185012A1 (en) 2017-12-18 2019-06-20 PlusAI Corp Method and system for personalized motion planning in autonomous driving vehicles
EP3502976A1 (en) 2017-12-19 2019-06-26 Veoneer Sweden AB A state estimator
EP3502977A1 (en) * 2017-12-19 2019-06-26 Veoneer Sweden AB A state estimator
JP7020156B2 (ja) * 2018-02-06 2022-02-16 オムロン株式会社 評価装置、動作制御装置、評価方法、及び評価プログラム
US11119483B2 (en) * 2018-02-22 2021-09-14 Alan M. Kadin System and method for conscious machines
JP6978962B2 (ja) 2018-02-22 2021-12-08 株式会社日立製作所 移動体の制御システムおよび制御方法
KR102468387B1 (ko) * 2018-02-27 2022-11-21 현대자동차주식회사 차량의 주행 조건 예측방법 및 예측시스템
US11727794B2 (en) * 2018-03-14 2023-08-15 Micron Technology, Inc. Systems and methods for evaluating and sharing human driving style information with proximate vehicles
JP7010087B2 (ja) * 2018-03-16 2022-01-26 トヨタ自動車株式会社 プログラム更新管理装置、プログラム更新管理方法、およびプログラム
JP7000952B2 (ja) * 2018-03-28 2022-01-19 株式会社豊田中央研究所 車両の走行を制御する制御装置、制御方法、及び、制御プログラム
JP6971187B2 (ja) * 2018-03-28 2021-11-24 京セラ株式会社 画像処理装置、撮像装置、および移動体
US10997429B2 (en) 2018-04-11 2021-05-04 Micron Technology, Inc. Determining autonomous vehicle status based on mapping of crowdsourced object data
US10990096B2 (en) * 2018-04-27 2021-04-27 Honda Motor Co., Ltd. Reinforcement learning on autonomous vehicles
DE102018206619A1 (de) * 2018-04-27 2019-10-31 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Fahrmanöverassistenz eines Fahrzeuges, Vorrichtung, Computerprogramm und Computerprogrammprodukt
US20190332109A1 (en) * 2018-04-27 2019-10-31 GM Global Technology Operations LLC Systems and methods for autonomous driving using neural network-based driver learning on tokenized sensor inputs
US11042156B2 (en) * 2018-05-14 2021-06-22 Honda Motor Co., Ltd. System and method for learning and executing naturalistic driving behavior
US11161518B2 (en) 2018-06-15 2021-11-02 Micron Technology, Inc. Detecting road conditions based on braking event data received from vehicles
US11254325B2 (en) * 2018-07-14 2022-02-22 Moove.Ai Vehicle-data analytics
CN109242251B (zh) 2018-08-03 2020-03-06 百度在线网络技术(北京)有限公司 行车行为安全性检测方法、装置、设备及存储介质
CN109177978A (zh) * 2018-08-21 2019-01-11 武汉理工大学 一种驾驶人驾驶习惯学习装置
JP6978992B2 (ja) * 2018-08-27 2021-12-08 日立Astemo株式会社 更新システム、電子制御装置
CN110901638B (zh) * 2018-08-28 2021-05-28 大陆泰密克汽车系统(上海)有限公司 驾驶辅助方法及系统
JP2020032970A (ja) * 2018-08-31 2020-03-05 トヨタ自動車株式会社 車両制御装置
WO2020049685A1 (ja) * 2018-09-06 2020-03-12 本田技研工業株式会社 車両制御装置、自動運転車開発システム、車両制御方法、およびプログラム
JP6986503B2 (ja) * 2018-09-10 2021-12-22 日立Astemo株式会社 電子制御装置、ニューラルネットワーク更新システム
KR102521657B1 (ko) * 2018-10-15 2023-04-14 삼성전자주식회사 차량을 제어하는 방법 및 장치
US10814881B2 (en) * 2018-10-16 2020-10-27 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicle velocity predictor using neural networks based on V2X data augmentation to enable predictive optimal control of connected and automated vehicles
JP7203563B2 (ja) * 2018-10-29 2023-01-13 日立Astemo株式会社 移動体挙動予測装置
US11577750B2 (en) 2018-11-08 2023-02-14 Bayerische Motoren Werke Aktiengesellschaft Method and apparatus for determining a vehicle comfort metric for a prediction of a driving maneuver of a target vehicle
CN109747659B (zh) * 2018-11-26 2021-07-02 北京汽车集团有限公司 车辆驾驶的控制方法和装置
US10997729B2 (en) * 2018-11-30 2021-05-04 Baidu Usa Llc Real time object behavior prediction
KR102569134B1 (ko) * 2018-12-18 2023-08-22 모셔널 에이디 엘엘씨 머신 러닝을 이용한 모션 계획을 사용한 차량의 동작
US20200202167A1 (en) * 2018-12-20 2020-06-25 Here Global B.V. Dynamically loaded neural network models
US10962372B1 (en) * 2018-12-31 2021-03-30 Accelerate Labs, Llc Navigational routes for autonomous vehicles
US20200241542A1 (en) * 2019-01-25 2020-07-30 Bayerische Motoren Werke Aktiengesellschaft Vehicle Equipped with Accelerated Actor-Critic Reinforcement Learning and Method for Accelerating Actor-Critic Reinforcement Learning
US10832140B2 (en) * 2019-01-30 2020-11-10 StradVision, Inc. Method and device for providing information for evaluating driving habits of driver by detecting driving scenarios occurring during driving
US10919543B2 (en) * 2019-01-30 2021-02-16 StradVision, Inc. Learning method and learning device for determining whether to switch mode of vehicle from manual driving mode to autonomous driving mode by performing trajectory-based behavior analysis on recent driving route
US10796571B2 (en) * 2019-01-31 2020-10-06 StradVision, Inc. Method and device for detecting emergency vehicles in real time and planning driving routes to cope with situations to be expected to be occurred by the emergency vehicles
CN110058588B (zh) * 2019-03-19 2021-07-02 驭势科技(北京)有限公司 一种自动驾驶系统升级的方法、自动驾驶系统及车载设备
CN110069064B (zh) * 2019-03-19 2021-01-29 驭势科技(北京)有限公司 一种自动驾驶系统升级的方法、自动驾驶系统及车载设备
JP6651189B1 (ja) 2019-03-29 2020-02-19 株式会社 情報システムエンジニアリング 機械学習用のデータ構造、学習方法及び情報提供システム
EP3726497A1 (en) * 2019-04-15 2020-10-21 Zenuity AB Autonomous decisions in traffic situations with planning control
EP3734569A1 (en) * 2019-04-30 2020-11-04 Argo AI GmbH Method, system, backend server and observation-unit for supporting at least one self-driving vehicle in coping with a characteristic behavior of local traffic in a respective specific area and corresponding self-driving vehicle operable according to the driving strategy
CN110497914B (zh) * 2019-08-26 2020-10-30 格物汽车科技(苏州)有限公司 自动驾驶的驾驶员行为模型开发方法、设备和存储介质
TWI709090B (zh) * 2019-08-30 2020-11-01 阿證科技股份有限公司 類神經人工智慧決策網路核心系統及其資訊處理方法
KR20210032617A (ko) * 2019-09-16 2021-03-25 현대자동차주식회사 자율주행차량의 거동 제어 장치 및 그 방법
US10889237B1 (en) * 2019-10-23 2021-01-12 Tusimple, Inc. Lighting control for autonomous vehicles
FR3103437A1 (fr) * 2019-11-21 2021-05-28 Psa Automobiles Sa Procédé et dispositif de détermination de consigne pour véhicule
CN112863244B (zh) * 2019-11-28 2023-03-14 大众汽车股份公司 用于促进车辆的安全行驶的方法和装置
US11511760B2 (en) * 2020-01-23 2022-11-29 Baidu Usa Llc Cross-platform control profiling tool for autonomous vehicle control
JP6846765B1 (ja) * 2020-03-26 2021-03-24 株式会社 情報システムエンジニアリング 情報処理プログラム
KR102424867B1 (ko) * 2020-06-09 2022-07-26 주식회사 인포카 개인화된 안전운전 보조 방법 및 시스템
US11919423B2 (en) 2020-06-19 2024-03-05 Toyota Motor North America, Inc. Weight and pressure related validation
EP4177732A4 (en) * 2020-07-03 2023-11-15 Sony Group Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, INFORMATION PROCESSING SYSTEM AND PROGRAM
CN111737546B (zh) 2020-07-24 2020-12-01 支付宝(杭州)信息技术有限公司 确定实体业务属性的方法及装置
CN112109727B (zh) * 2020-09-08 2021-09-03 北京踏歌智行科技有限公司 一种面向露天矿区无人驾驶车辆的制动力标定方法
JP2022061873A (ja) * 2020-10-07 2022-04-19 トヨタ自動車株式会社 車両用エージェント装置、車両用エージェントシステム、及び車両用エージェントプログラム
KR102498328B1 (ko) * 2020-10-12 2023-02-09 충북대학교 산학협력단 차량 상태 기반 모델을 기초로 차량의 상태전이를 학습시키는 방법 및 장치
JP2022113220A (ja) * 2021-01-25 2022-08-04 トヨタ自動車株式会社 自動車
US20220245385A1 (en) * 2021-01-29 2022-08-04 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for determining operating criteria for performing vehicular tasks
CN112721952B (zh) * 2021-01-29 2022-07-05 重庆长安汽车股份有限公司 一种l3级自动驾驶汽车的复杂路段行驶控制方法、装置、汽车及计算机存储介质
DE102021203057A1 (de) * 2021-03-26 2022-09-29 Volkswagen Aktiengesellschaft Segmentbasierte Fahreranalyse und individualisierte Fahrerassistenz
US11872985B2 (en) * 2021-03-30 2024-01-16 Toyota Motor Engineering & Manufacturing North America, Inc. Determining a setting for a cruise control
KR102457914B1 (ko) * 2021-04-21 2022-10-24 숭실대학교산학협력단 심층강화학습기반 자율주행차량을 이용한 정체 현상 해결 방법, 이를 수행하기 위한 기록 매체 및 장치
CN113085873B (zh) * 2021-04-30 2022-11-29 东风小康汽车有限公司重庆分公司 驾驶策略的获取方法、装置、计算机设备和存储介质
CN113525400A (zh) * 2021-06-21 2021-10-22 上汽通用五菱汽车股份有限公司 变道提醒方法、装置、车辆及可读存储介质
US11886199B2 (en) 2021-10-13 2024-01-30 Toyota Motor Engineering & Manufacturing North America, Inc. Multi-scale driving environment prediction with hierarchical spatial temporal attention
US20230311928A1 (en) * 2022-03-29 2023-10-05 Nissan North America, Inc. Traffic State Determination
US11491987B1 (en) * 2022-06-22 2022-11-08 Embark Trucks Inc. Merge handling based on merge intentions over time
WO2024024448A1 (ja) * 2022-07-25 2024-02-01 株式会社村田製作所 プログラム、装置、学習モデル、及び方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07101271A (ja) * 1993-08-10 1995-04-18 Mitsubishi Motors Corp 車両運転操作状態の推定方法および車両運転特性制御方法
JP2006243856A (ja) * 2005-03-01 2006-09-14 Hitachi Ltd 運転診断方法およびその装置
JP2009110184A (ja) * 2007-10-29 2009-05-21 Toyota Motor Corp 走行支援装置
US20090174540A1 (en) * 2008-01-04 2009-07-09 Smith Alexander E Method and apparatus to determine vehicle intent
JP2009245149A (ja) * 2008-03-31 2009-10-22 Equos Research Co Ltd 運転支援装置及び運転支援方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3583873B2 (ja) 1996-09-12 2004-11-04 株式会社日立製作所 自動車の走行制御装置
JP2002140786A (ja) 2000-11-01 2002-05-17 Nec Corp 危険度評価装置
US6879969B2 (en) * 2001-01-21 2005-04-12 Volvo Technological Development Corporation System and method for real-time recognition of driving patterns
JP3794353B2 (ja) 2002-07-08 2006-07-05 日産自動車株式会社 追従制御対象表示装置
JP2005067483A (ja) 2003-08-26 2005-03-17 Fuji Heavy Ind Ltd 車両の走行制御装置
US8140241B2 (en) 2005-12-28 2012-03-20 National University Corporation Nagoya University Driving action estimating device, driving support device, vehicle evaluating system, driver model creating device, and driving action determining device
JP4650283B2 (ja) 2006-01-25 2011-03-16 株式会社デンソー 運転者適応型運転行動推定装置
US9697556B2 (en) * 2007-09-06 2017-07-04 Mohammad A. Mazed System and method of machine learning based user applications
US8031062B2 (en) 2008-01-04 2011-10-04 Smith Alexander E Method and apparatus to improve vehicle situational awareness at intersections
US20090174572A1 (en) 2008-01-04 2009-07-09 Smith Alexander E Method and apparatus for an adaptive target vehicle notification system
JP2009205646A (ja) 2008-02-29 2009-09-10 Equos Research Co Ltd 運転支援装置
JP2009234442A (ja) 2008-03-27 2009-10-15 Equos Research Co Ltd 運転操作支援装置
US8260515B2 (en) * 2008-07-24 2012-09-04 GM Global Technology Operations LLC Adaptive vehicle control system with driving style recognition
JP5577609B2 (ja) 2009-03-09 2014-08-27 日産自動車株式会社 運転支援装置
EP2316705B1 (en) * 2009-10-28 2012-06-20 Honda Research Institute Europe GmbH Behavior-based learning of visual characteristics from real-world traffic scenes for driver assistance systems
JP5375805B2 (ja) 2010-11-26 2013-12-25 トヨタ自動車株式会社 運転支援システム及び運転支援管理センター
US20120268260A1 (en) * 2011-04-21 2012-10-25 Ford Global Technologies, Llc Method and apparatus for dynamically providing space management alerts for a vehicle
GB2495265A (en) * 2011-07-07 2013-04-10 Toyota Motor Europe Nv Sa Artificial memory system for predicting behaviours in order to assist in the control of a system, e.g. stability control in a vehicle
JP2013117809A (ja) 2011-12-02 2013-06-13 Mazda Motor Corp 安全運転支援情報配信システムおよび情報収集用車両
DE102011121948A1 (de) 2011-12-22 2013-06-27 Gm Global Technology Operations, Llc Vorausschau auf Aktionen eines autonomen Fahrsystems
EP2669109B1 (de) 2012-05-30 2015-03-04 Technische Universität Darmstadt Manöverassistenzsystem
JP2015022499A (ja) 2013-07-18 2015-02-02 株式会社オートネットワーク技術研究所 運転特徴判定システム
DE102013110852A1 (de) 2013-10-01 2015-04-16 Volkswagen Aktiengesellschaft Verfahren für ein Fahrerassistenzsystem eines Fahrzeugs
JP2014081947A (ja) 2013-12-04 2014-05-08 Denso Corp 情報配信装置
US20190185010A1 (en) * 2017-12-18 2019-06-20 PlusAI Corp Method and system for self capability aware route planning in autonomous driving vehicles

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07101271A (ja) * 1993-08-10 1995-04-18 Mitsubishi Motors Corp 車両運転操作状態の推定方法および車両運転特性制御方法
JP2006243856A (ja) * 2005-03-01 2006-09-14 Hitachi Ltd 運転診断方法およびその装置
JP2009110184A (ja) * 2007-10-29 2009-05-21 Toyota Motor Corp 走行支援装置
US20090174540A1 (en) * 2008-01-04 2009-07-09 Smith Alexander E Method and apparatus to determine vehicle intent
JP2009245149A (ja) * 2008-03-31 2009-10-22 Equos Research Co Ltd 運転支援装置及び運転支援方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3272611A4 *

Cited By (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11072343B2 (en) 2015-04-21 2021-07-27 Panasonic Intellectual Property Management Co., Ltd. Driving assistance method, and driving assistance device, driving control device, vehicle, driving assistance program, and recording medium using said method
US10793165B2 (en) 2015-04-21 2020-10-06 Panasonic Intellectual Property Management Co., Ltd. Driving assistance method, and driving assistance device, driving control device, vehicle, driving assistance program, and recording medium using said method
JP2018028906A (ja) * 2016-08-16 2018-02-22 トヨタ自動車株式会社 ディープ(双方向)再帰型ニューラルネットワークを用いたセンサデータの時間融合に基づく効率的な運転者行動予測システム
WO2018100783A1 (ja) * 2016-12-01 2018-06-07 住友電気工業株式会社 検知装置、検知方法および検知プログラム
JP2018097804A (ja) * 2016-12-16 2018-06-21 パナソニックIpマネジメント株式会社 情報処理システム、情報処理方法、およびプログラム
JP2018118672A (ja) * 2017-01-26 2018-08-02 パナソニックIpマネジメント株式会社 情報処理システム、情報処理方法、プログラムおよび車両
US10796507B2 (en) 2017-02-23 2020-10-06 Panasonic Intellectual Property Management Co., Ltd. Image display system, image display method, and recording medium
JP2018135075A (ja) * 2017-02-23 2018-08-30 パナソニックIpマネジメント株式会社 画像表示システム、画像表示方法及びプログラム
CN110312633A (zh) * 2017-02-23 2019-10-08 松下知识产权经营株式会社 图像显示系统、图像显示方法以及程序
DE112018000968B4 (de) 2017-02-23 2023-10-05 Panasonic Intellectual Property Management Co., Ltd. Bildanzeigesystem, Bildanzeigeverfahren und Aufzeichnungsmedium
WO2018163534A1 (ja) * 2017-03-10 2018-09-13 オムロン株式会社 表示装置および表示方法
CN110167781A (zh) * 2017-03-10 2019-08-23 欧姆龙株式会社 显示装置以及显示方法
JP2018149874A (ja) * 2017-03-10 2018-09-27 オムロン株式会社 表示装置および表示方法
CN110167781B (zh) * 2017-03-10 2022-05-17 欧姆龙株式会社 显示装置以及显示方法
WO2018173933A1 (ja) * 2017-03-23 2018-09-27 日本電気株式会社 情報処理装置、走行データ処理方法、車両およびプログラム記録媒体
CN108688677A (zh) * 2017-03-29 2018-10-23 马自达汽车株式会社 车辆驾驶支援系统以及车辆驾驶支援方法
CN108688677B (zh) * 2017-03-29 2021-06-25 马自达汽车株式会社 车辆驾驶支援系统以及车辆驾驶支援方法
DE102018112303A1 (de) 2017-05-30 2018-12-06 Toyota Jidosha Kabushiki Kaisha Vorrichtung zur Bestimmung einer falschen Bedienung
US11084499B2 (en) 2017-05-30 2021-08-10 Toyota Jidosha Kabushiki Kaisha Erroneous operation determination device
EP3410414A1 (en) * 2017-05-31 2018-12-05 Panasonic Intellectual Property Corporation of America Information processing method, information processing apparatus, system, and storage medium
US11409281B2 (en) 2017-05-31 2022-08-09 Panasonic Intellectual Property Corporation Of America Information processing method for determining difficult area in which travel of vehicle by automatic driving is difficult, information processing apparatus, system, and storage medium
JP2018205940A (ja) * 2017-06-01 2018-12-27 日立オートモティブシステムズ株式会社 移動体挙動予測装置
US11400941B2 (en) 2017-06-01 2022-08-02 Hitachi Astemo, Ltd. Moving body behavior prediction device
WO2018221159A1 (ja) * 2017-06-01 2018-12-06 日立オートモティブシステムズ株式会社 移動体挙動予測装置
JP2018203250A (ja) * 2017-06-06 2018-12-27 トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ,インコーポレイティド 交通に応じた動的車両制御のためのシステムおよび方法
CN110809545A (zh) * 2017-07-07 2020-02-18 威伯科有限公司 用于预见性评估当前行驶情况的方法以及评估模型
US11127297B2 (en) 2017-07-17 2021-09-21 Veoneer Us, Inc. Traffic environment adaptive thresholds
WO2019018257A1 (en) * 2017-07-17 2019-01-24 Veoneer Us, Inc. ADAPTIVE TRAFFIC ENVIRONMENTAL THRESHOLDS
JPWO2019017253A1 (ja) * 2017-07-18 2020-07-16 パイオニア株式会社 制御装置、制御方法、およびプログラム
WO2019017253A1 (ja) * 2017-07-18 2019-01-24 パイオニア株式会社 制御装置、制御方法、およびプログラム
JP2023107847A (ja) * 2017-07-18 2023-08-03 パイオニア株式会社 制御装置
JP2022009988A (ja) * 2017-07-18 2022-01-14 パイオニア株式会社 制御装置
JPWO2019038987A1 (ja) * 2017-08-25 2020-08-06 住友電気工業株式会社 コンピュータプログラム、走行車線特定装置および走行車線特定システム
JP7120239B2 (ja) 2017-08-25 2022-08-17 住友電気工業株式会社 コンピュータプログラム、走行車線特定装置および走行車線特定システム
US10976739B2 (en) 2017-12-18 2021-04-13 Toyota Jidosha Kabushiki Kaisha Vehicle control device
CN111527013A (zh) * 2017-12-27 2020-08-11 宝马股份公司 车辆变道预测
EP3732085A4 (en) * 2017-12-27 2021-08-11 Bayerische Motoren Werke Aktiengesellschaft VEHICLE LINE CHANGE PREDICTION
CN111527013B (zh) * 2017-12-27 2024-02-23 宝马股份公司 车辆变道预测
JP2019185527A (ja) * 2018-04-13 2019-10-24 株式会社デンソーテン マイコン装置およびマイコン装置の制御方法
CN108764034A (zh) * 2018-04-18 2018-11-06 浙江零跑科技有限公司 一种基于驾驶室近红外相机的分神驾驶行为预警方法
CN110599788A (zh) * 2018-05-25 2019-12-20 丰田自动车株式会社 自动驾驶系统以及自动驾驶系统的控制方法
JP7003325B2 (ja) 2019-03-27 2022-01-20 三菱電機株式会社 車両制御用演算装置、車両制御装置、及び、車両制御用演算方法
JPWO2020194589A1 (ja) * 2019-03-27 2021-09-13 三菱電機株式会社 車両制御用演算装置、車両制御装置、及び、車両制御用演算方法
WO2020194589A1 (ja) * 2019-03-27 2020-10-01 三菱電機株式会社 車両制御用演算装置、車両制御装置、及び、車両制御用演算方法
JPWO2020202316A1 (ja) * 2019-03-29 2021-09-13 三菱電機株式会社 モデル予測制御装置、モデル予測制御プログラム、モデル予測制御システムおよびモデル予測制御方法
JP2021163476A (ja) * 2020-04-03 2021-10-11 中信戴▲か▼股▲ふん▼有限公司CITIC Dicastal Co., Ltd 走行シーン決定方法、装置、コンピュータ、記憶媒体及びシステム
US11691625B2 (en) 2020-04-03 2023-07-04 Citic Dicastal Co., Ltd. Driving scene determining method and apparatus, computer, storage medium, and system

Also Published As

Publication number Publication date
JPWO2016170786A1 (ja) 2017-04-27
EP3272611A1 (en) 2018-01-24
JP2017154725A (ja) 2017-09-07
US20180105186A1 (en) 2018-04-19
JP6074553B1 (ja) 2017-02-01
EP3272611B1 (en) 2019-07-24
EP3272611A4 (en) 2018-06-20
US10759446B2 (en) 2020-09-01
CN107531244B (zh) 2020-04-21
CN107531244A (zh) 2018-01-02

Similar Documents

Publication Publication Date Title
JP6074553B1 (ja) 情報処理システム、情報処理方法、およびプログラム
JP6447929B2 (ja) 情報処理システム、情報処理方法、およびプログラム
WO2018079392A1 (ja) 情報処理システム、情報処理方法、およびプログラム
US10793165B2 (en) Driving assistance method, and driving assistance device, driving control device, vehicle, driving assistance program, and recording medium using said method
JP2018097804A (ja) 情報処理システム、情報処理方法、およびプログラム
WO2016170763A1 (ja) 運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、車両、運転支援プログラム
WO2016170773A1 (ja) 運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、車両、運転支援プログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2016544179

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16782808

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15567268

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2016782808

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE