WO2020184290A1 - 自動車用演算システム - Google Patents

自動車用演算システム Download PDF

Info

Publication number
WO2020184290A1
WO2020184290A1 PCT/JP2020/008898 JP2020008898W WO2020184290A1 WO 2020184290 A1 WO2020184290 A1 WO 2020184290A1 JP 2020008898 W JP2020008898 W JP 2020008898W WO 2020184290 A1 WO2020184290 A1 WO 2020184290A1
Authority
WO
WIPO (PCT)
Prior art keywords
route
vehicle
unit
safety
automobile
Prior art date
Application number
PCT/JP2020/008898
Other languages
English (en)
French (fr)
Inventor
大介 堀籠
真介 坂下
真人 石橋
永一 寳神
明弘 三谷
浄之 土山
Original Assignee
マツダ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マツダ株式会社 filed Critical マツダ株式会社
Priority to EP20769654.3A priority Critical patent/EP3919353A4/en
Priority to CN202080018122.7A priority patent/CN113557189B/zh
Publication of WO2020184290A1 publication Critical patent/WO2020184290A1/ja
Priority to US17/468,693 priority patent/US11970186B2/en

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/025Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation
    • B62D15/0265Automatic obstacle avoidance by steering
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09Taking automatic action to avoid collision, e.g. braking and steering
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0956Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0011Planning or execution of driving tasks involving control alternatives for a single driving scenario, e.g. planning several paths to avoid obstacles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/025Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/025Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation
    • B62D15/0255Automatic changing of lane, e.g. for passing another vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/088Non-supervised learning, e.g. competitive learning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0019Control system elements or transfer functions
    • B60W2050/0028Mathematical models, e.g. for simulation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Definitions

  • the technology disclosed here relates to, for example, an automobile arithmetic system used for automatic driving of an automobile.
  • Patent Document 1 is an estimation device that estimates the state of an occupant with respect to vehicle equipment, and inputs a storage unit that stores a model constructed by deep learning using a neural network and an image including the equipment.
  • An estimation device including a processing unit that estimates the state of the occupant using a model and outputs first information indicating the skeletal position of a specific part of the occupant and second information indicating the state of the occupant with respect to the equipment. Is disclosed.
  • the vehicle outside environment information is acquired by a camera or the like, and the route on which the vehicle should travel is calculated based on the acquired vehicle outside environment information.
  • the certification of the external environment is important, and the use of deep learning is being considered in the certification of the external environment.
  • ASIL Automotive Safety Integrity Level
  • the technology disclosed here has been made in view of these points, and the purpose thereof is to improve the functional safety level in an automobile arithmetic system having a function of utilizing deep learning. ..
  • the technology disclosed here is used for deep learning based on the output from an external information acquisition device that acquires information on the external environment for an automobile arithmetic system mounted on an automobile.
  • the main calculation unit that generates the traveling route of the vehicle and the output from the vehicle exterior information acquisition device are used.
  • a sub-calculation unit that estimates the existence of roads and obstacles according to preset rules without using deep learning, and generates a rule-based driving route in a free space on the road where the obstacles do not exist.
  • a safety route generator that generates a safety route, which is a travel route until the vehicle stops at a safe stop position that meets a preset standard, without using deep learning, based on the output from the external information acquisition device.
  • the travel route by the main calculation unit, the rule-based travel route by the sub-calculation unit, and the safety route by the safety route generation unit are prioritized over the others, and the route is set to the one route.
  • the configuration is provided with an override processing unit that determines the target motion of the vehicle when traveling along the vehicle.
  • a sub-calculation unit that does not use deep learning and a safety route generation unit are provided, and the override processing unit is configured to prioritize one of the routes over the others. ing. That is, it is possible to select a traveling route that guarantees safety according to the condition of the vehicle and the like. As a result, the functional safety level can be improved in an automobile arithmetic system having a function of utilizing deep learning.
  • a safety route is generated based on the output of the external information acquisition device, and when determining the target movement for traveling on the safe route, the target is determined according to the information of the in-vehicle environment. Since the exercise is decided, the target exercise suitable for the in-vehicle environment can be set.
  • the information on the environment inside the vehicle is a concept including information indicating the state of the vehicle and information indicating the state of the driver.
  • the information indicating the state of the vehicle includes, for example, information acquired from various sensors attached to the vehicle, information on operations performed by the driver on the vehicle, and the like.
  • the information indicating the driver's condition includes, for example, a camera for photographing the inside of the vehicle, various sensors for acquiring the biological information of the driver installed in the vehicle, and the driving environment in the vehicle such as temperature and humidity in the vehicle. It includes information acquired from sensors for measurement and information on operations (steering wheel operations) performed on the vehicle by the roll.
  • the override processing unit determines one priority route based on the output from the in-vehicle information acquisition device that acquires information on the in-vehicle environment including the vehicle state and the driver state. decide.
  • the override processing unit may be one route that gives priority to the safety route.
  • the override processing unit may be one route that gives priority to the safety route.
  • the override processing unit when the override processing unit sets the safety route to the priority route, is at least one of a lighting device, a sounding device, and a wireless communication device mounted on the automobile. It may be operated in a mode different from the predetermined normal running time.
  • the safety level can be improved in relation to surrounding vehicles, etc. in the event of a vehicle breakdown or a decrease in the driving ability of the driver. Further, for example, when the wireless communication device is operated, it is possible to notify the outside of the state of the vehicle failure or the driver's driving ability deterioration.
  • FIG. 1 shows the configuration of an automobile calculation system SY (hereinafter, also simply referred to as a calculation system SY) according to the first embodiment.
  • the arithmetic system SY is, for example, an arithmetic system mounted on a four-wheeled automobile 1.
  • the automobile 1 is an automobile capable of manual driving in which the driver operates according to the operation of the accelerator or the like, assisted driving in which the driver assists the driver's operation, and automatic driving in which the vehicle travels without the driver's operation. is there.
  • the vehicle 1 equipped with the arithmetic system SY may be referred to as the own vehicle 1 in order to distinguish it from other vehicles.
  • the calculation system SY determines the target motion of the automobile 1 based on the outputs from a plurality of sensors and the like, and controls the operation of the device.
  • the vehicle exterior information acquisition device M1 composed of a sensor or the like that outputs information on the vehicle exterior environment of the vehicle 1 to the arithmetic system SY is, for example, (1) a plurality of cameras 50 provided on the body or the like of the vehicle 1 and photographing the vehicle exterior environment. , (2) a plurality of radars 51 provided on the body of the automobile 1 and detecting an object outside the vehicle, (3) a vehicle speed sensor 52 for detecting the absolute speed of the automobile 1, and (4) the automobile 1.
  • the accelerator opening sensor 53 that detects the amount of depression of the accelerator pedal, (5) the steering angle sensor 54 that detects the rotation angle (steering angle) of the steering wheel of the automobile 1, and (6) the amount of depression of the brake pedal of the automobile 1. It includes a brake sensor 55 for detecting the above, and a position sensor 56 for detecting the position (vehicle position information) of the automobile 1 by using (7) Global Positioning System (GPS).
  • GPS Global Positioning System
  • Each camera 50 is arranged so that, for example, the periphery of the automobile 1 can be photographed 360 ° in the horizontal direction.
  • Each camera 50 captures an optical image showing the environment outside the vehicle and generates image data.
  • Each camera 50 outputs the generated image data to the main arithmetic unit 100.
  • the camera 50 is an example of an outside vehicle information acquisition device that acquires information on the outside vehicle environment.
  • each radar 51 is arranged so that the detection range extends 360 ° horizontally around the automobile 1.
  • the type of radar 51 is not particularly limited, and for example, a millimeter wave radar or an infrared radar can be adopted.
  • the radar 51 is an example of an outside vehicle information acquisition device that acquires information on the outside vehicle environment.
  • the in-vehicle information acquisition device M2 composed of sensors and the like that output information on the in-vehicle environment of the automobile 1 to the arithmetic system SY is (1) provided on the in-vehicle mirror, dashboard, etc. of the automobile 1 and the driver's facial expression and posture. It includes an in-vehicle camera 58 that captures the in-house environment and the like, and (2) an in-vehicle sensor 59 that acquires the driver's biological information (body temperature, heart rate, breathing, etc.). Further, the vehicle interior information acquisition device M2 may be attached to each component of the vehicle and include various sensors (not shown) for measuring the state of the vehicle. Further, as the in-vehicle information acquisition device M2, a sensor common to a part of the in-vehicle information acquisition device M1 may be used.
  • the objects controlled by the calculation system SY include, for example, the engine 10, the brake 20, the steering 30, and the transmission 40.
  • the objects (including the engine 10, the brake 20, the steering 30, and the transmission 40) controlled by the calculation system SY are collectively referred to as actuators AC.
  • the engine 10 is a power drive source and includes an internal combustion engine (gasoline engine, diesel engine).
  • the calculation system SY outputs an engine output change signal to the engine 10 when it is necessary to accelerate or decelerate the automobile 1.
  • the engine 10 is controlled by the amount of operation of the accelerator pedal of the driver during manual driving, but during assisted driving or automatic driving, a target motion signal indicating a target motion output from the calculation system SY (hereinafter, simply target motion). It is controlled based on (called a signal).
  • a generator that generates electricity from the output of the engine 10 is connected to the rotating shaft of the engine 10.
  • the brake 20 is an electric brake here.
  • the calculation system SY outputs a brake request signal to the brake 20 when it is necessary to decelerate the automobile 1.
  • the brake 20 operates a brake actuator (not shown) based on the brake request signal to decelerate the automobile 1.
  • the brake 20 is controlled by the amount of operation of the driver's brake pedal during manual driving, but is controlled based on the target motion signal output from the calculation system SY during assisted driving or automatic driving.
  • the steering 30 is EPS (Electric Power Steering) here.
  • the calculation system SY outputs a steering direction change signal to the steering 30 when it is necessary to change the traveling direction of the automobile 1.
  • the steering wheel 30 is controlled by the amount of operation of the driver's steering wheel (so-called steering wheel) during manual driving, but is controlled based on the target motion signal output from the calculation system SY during assisted driving or automatic driving. ..
  • Transmission 40 is a stepped transmission.
  • the main arithmetic unit 100 outputs a gear stage change signal to the transmission 40 according to the driving force to be output.
  • the transmission 40 is controlled by the operation of the shift lever of the driver and the operation amount of the accelerator pedal of the driver during manual operation, but is based on the target motion calculated by the main arithmetic unit 100 during assist operation and automatic operation. Is controlled.
  • the calculation system SY outputs a control signal based on the output of the accelerator opening sensor 53 or the like to the engine 10 or the like during manual operation.
  • the calculation system SY sets a traveling route of the automobile 1 during assisted driving or automatic driving, and outputs a control signal to the engine 10 or the like so that the automobile 1 travels on the traveling route.
  • the arithmetic system SY includes a main arithmetic unit 100, a backup arithmetic unit 300, a monitoring unit 400, an abnormality detection unit 450, and a selection circuit 500.
  • the main arithmetic unit 100 determines the target motion of the automobile 1 based on the output from the vehicle exterior information acquisition device M1 in the case of assist driving or automatic driving, and operates the actuators AC along the target motion. Outputs the control signal of.
  • the backup arithmetic unit 300 generates a safety route based on the output from the outside information acquisition device M1 and determines a backup target exercise which is a target exercise for traveling on the safety route. Further, the backup arithmetic unit 300 outputs a backup control signal, which is a control signal for operating the actuators AC along the backup target motion.
  • the safety route refers to a traveling route until the traveling vehicle stops at the safe stop position TP that satisfies a preset standard.
  • the safe stop position TP is not particularly limited as long as the vehicle 1 can safely stop, but for example, a non-vehicle area which is an area where the vehicle 1 does not pass on the road and a road shoulder 8 (see FIG. 3). ) Etc.
  • the backup target exercise for example, when an abnormality is detected by the abnormality detection unit 450 described later, (1) the vehicle speed is immediately reduced to the slow speed level, and the vehicle runs slowly while sounding a hazard crush to the safe stop position TP. , (2) Includes a target exercise for driving the own vehicle 1 to the safe stop position TP while running so as not to interfere with the surrounding traffic as much as possible.
  • Each of the main arithmetic unit 100 and the backup arithmetic unit 300 is a microprocessor composed of one or a plurality of chips, and has a CPU, a memory, and the like. By doing so, the risk of failure of both can be reduced. It should be noted that FIG. 1 shows a configuration for exerting the function (route generation function described later) according to the present embodiment, and shows all the functions of the main arithmetic unit 100 and the backup arithmetic unit 300. is not.
  • the monitoring unit 400 monitors the driver's condition based on the output from the in-vehicle information acquisition device M2, and outputs the result to the abnormality detection unit 450.
  • the abnormality detection unit 450 is configured to detect a failure of the main arithmetic unit 100.
  • the failure detection method of the main arithmetic unit 100 is not particularly limited, but for example, conventionally known hardware redundancy circuits (for example, dual-core lockstep), monitoring of calculation results in the chip, and in-chip. It is possible to apply monitoring of a flag register indicating an abnormal state of the above, a test circuit in the chip (LBIST (Logic build-in self-test) circuit), mutual monitoring between chips, and the like. Further, the abnormality detection unit 450 is configured to be able to detect an abnormality of the driver based on the driver's information received from the in-vehicle information acquisition device M2.
  • the selection circuit 500 is realized by, for example, a selector circuit, and is either a control signal output from the main arithmetic unit 100 or a backup control signal output from the backup arithmetic unit 300 based on the detection result of the abnormality detection unit 450. Is selected and output to the actuators AC of the automobile 1. Specifically, the selection circuit 500 selects the control signal output from the main arithmetic unit 100 during normal operation, while the backup calculation is performed when an abnormality is detected in either the main arithmetic unit 100 or the driver. The backup control signal output from the device 300 is selected and output.
  • the main arithmetic unit 100 includes a first arithmetic unit 110, a second arithmetic unit 120, a target motion determination unit 130, and an energy management unit 140.
  • the first calculation unit 110 has a function of estimating the outside vehicle environment using deep learning and generating a first route which is a route based on the estimated outside environment. That is, the first calculation unit 110 includes a function as a route generation unit. Specifically, the first calculation unit 110 includes an external environment estimation unit 111, a first safety area setting unit 112, and a first route calculation unit 113.
  • the "first path" will be described by showing a specific example in "2. Operation of the arithmetic system" described later.
  • the vehicle exterior environment estimation unit 111 estimates the vehicle exterior environment by image recognition processing using deep learning based on the outputs from the camera 50 and the radar 51. Specifically, the vehicle exterior environment estimation unit 111 constructs object identification information by deep learning based on the image data from the camera 50, and integrates the positioning information by radar into the object identification information to represent the vehicle exterior environment in 3D. Create a map. In addition, an environmental model is generated by integrating the behavior prediction of each object based on deep learning with the 3D map. In deep learning, for example, a multi-layer neural network (DNN: Deep Neural Network) is used. As a multi-layer neural network, for example, there is a CNN (Convolutional Neural Network).
  • DNN Deep Neural Network
  • the first safety area setting unit 112 sets the first safety area SA1 (see FIG. 3) for the vehicle outside environment (for example, 3D map) estimated by the vehicle outside environment estimation unit 111.
  • the first safety region SA1 is set as an region through which the own vehicle can pass by using a model constructed by utilizing deep learning.
  • the model is constructed by, for example, reconstructing a model previously constructed for each vehicle type of the automobile 1 based on the driver's past driving history and the like.
  • the first safety area SA1 refers to a so-called free space, for example, on a road, dynamic obstacles such as other vehicles and pedestrians, and static obstacles such as a median strip and a center pole. An area where there are no objects.
  • the first safety area SA1 may include a shoulder space where emergency parking is possible.
  • the first route calculation unit 113 uses reinforcement learning to calculate a first route candidate that passes through the first safety area SA1 set by the first safety area setting unit 112. Reinforcement learning sets an evaluation function for the results of a series of simulations (path candidates in this case), giving a good evaluation to simulations that suit a certain purpose, and giving a low evaluation to results that do not. , It is a function to learn a route candidate suitable for a purpose. The actual calculation method will be described later.
  • the second calculation unit 120 recognizes and recognizes an object outside the vehicle according to a predetermined rule based on the output from the outside information acquisition device M1 (for example, the camera 50 and the radar 51) without using deep learning. It has a function to identify a safe area based on an object outside the vehicle. In addition, the second calculation unit 120 has a function of generating a second path through the specified safety area. That is, the second calculation unit 120 includes a function as a route generation unit. Specifically, the second calculation unit 120 includes an object recognition unit 121 (corresponding to an object recognition unit), a second safety area setting unit 122 (corresponding to a safety area identification unit), and a second path calculation unit 123. Including.
  • the object certification unit 121 certifies the object based on the object certification rule (corresponding to a predetermined rule).
  • the object is, for example, a traveling vehicle, a parked vehicle, a pedestrian, or the like existing on the road.
  • the object certification unit 121 also certifies the relative distance and relative speed between the own vehicle and the object.
  • the object certification unit 121 also certifies the traveling path (including the lane markings) based on the outputs from the camera 50 and the radar 51.
  • the second safety area setting unit 122 sets the second safety area SA2 as an area in which a collision with an object certified by the object certification unit 121 can be avoided.
  • the second safety region SA2 is set based on a predetermined rule such as, for example, considering a few meters around the object as an unavoidable range.
  • the second safety area setting unit 122 is configured to be able to set the second safety area SA2 in consideration of the speed of the traveling vehicle and the speed of the pedestrian.
  • the "object certification rule" and "predetermined rule” are rule-based versions of the certification method for objects, etc. that have been used in automobiles, etc., and the avoidance method thereof, and are equivalent to ASIL-D. Functional safety level.
  • the second safety area SA2 refers to a so-called free space, for example, on a road, a dynamic obstacle such as another vehicle or a pedestrian, and a median strip. An area where there are no static obstacles such as a center pole or a center pole.
  • the second safety zone SA2 may include a shoulder space where emergency parking is possible.
  • the second route calculation unit 123 calculates a second route (corresponding to a rule-based travel route) that passes through the second safety area SA2 set by the second safety area setting unit 122.
  • the actual calculation method will be described later.
  • the target motion determination unit 130 determines the target motion of the automobile 1 by receiving outputs from the first and second calculation units 110 and 120.
  • the target movement determination unit 130 determines the target movement of the automobile 1 in particular by receiving the information of the first and second safety areas SA1 and SA2, and the information of the first route candidate and the second route candidate.
  • the target motion determination unit 130 sets a route on which the vehicle 1 should travel, and the actuators AC (mainly the engine 10, the brake 20, the steering 30, and the transmission) so that the vehicle 1 travels on the route. 40)
  • the required operating amount (for example, engine torque, operating amount of the brake actuator, etc.) is determined.
  • the energy management unit 140 calculates the control amount of the actuators AC so as to have the highest energy efficiency in achieving the target motion determined by the target motion determination unit 130. Specifically, for example, the energy management unit 140 determines the opening / closing timing of the intake / exhaust valve (not shown) so as to improve the fuel efficiency most in achieving the engine torque determined by the target motion determination unit 130. Calculate the fuel injection timing of the injector (not shown). A more specific operation example of the energy management unit 140 will be described later.
  • the target motion data determined by the target motion determination unit 130 and the control amount data calculated by the energy management unit 140 are output to the selection circuit 500 as control signals for controlling the actuators AC.
  • the backup arithmetic unit 300 includes a backup arithmetic unit 310, a target motion determination unit 330, and an energy management unit 340.
  • the backup calculation unit 310 has a function of generating a safety route, which is a route to the safe stop position TP, based on the output from the vehicle outside information acquisition device M1. That is, the backup calculation unit 310 includes a function as a safety route generation unit. Specifically, the backup calculation unit 310 includes an external environment estimation unit 311, a third safety area setting unit 312, and a safety route calculation unit 313. The "safety route" will be described by showing a specific example in "2. Operation of the arithmetic system" described later.
  • the vehicle exterior environment estimation unit 311 estimates the vehicle exterior environment by using the data of the object certified by the object certification unit 121 of the second calculation unit 120. Further, based on the output from the object certification unit 121, the travel path (including the lane markings and the like) and the safe stop position TP, which is the position where the automobile 1 can safely stop, are also certified.
  • the safe stop position TP is not particularly limited as long as the vehicle 1 can safely stop, but for example, the road shoulder 8 (see FIG. 3) or a no-vehicle area on the road where the vehicle 1 does not pass. Regions, etc. are exemplified.
  • the current position of the own vehicle 1 or a little ahead may be the safe stop position TP.
  • the automobile 1 is stopped while operating a notification device such as a hazard.
  • the third safety area setting unit 312 sets the third safety area SA3 as an area that can avoid a collision with an object certified by the vehicle exterior environment estimation unit 311.
  • the third safety region SA3 is set based on a predetermined rule such as, for example, considering a few meters around the object as an unavoidable range.
  • the third safety area setting unit 312 and the second safety area setting unit 122 may have the same configuration. In that case, the third safety area SA3 and the second safety area SA2 may be designated as the same area. Further, the second safety area setting unit 122 and the third safety area setting unit 312 may be realized by a common circuit. However, from the viewpoint of increasing the resistance to failure, it is preferable to separately provide the second safety area setting unit 122 and the third safety area setting unit 312.
  • the "predetermined rule” here is the same as the above-mentioned "predetermined rule”, and is a functional safety level equivalent to ASIL-D.
  • the safety route calculation unit 313 calculates the safety route RS which passes through the third safety area SA3 set by the third safety area setting unit 312 and is a traveling route to the safe stop position TP. The actual calculation method will be described later.
  • the target movement determination unit 330 determines the target movement of the automobile 1 by receiving the output from the backup calculation unit 310.
  • the target movement determination unit 330 determines the target movement of the vehicle 1 in particular by receiving information on the third safety region SA3 and the safe stop position TP. Specifically, the target motion determination unit 330 sets a safety route for the vehicle 1 to travel to the safe stop position TP, and the actuators AC (mainly the engine 10, the engine 10) so that the vehicle 1 travels on the safety route.
  • the required operating amount (for example, engine torque, operating amount of the brake actuator, etc.) for the brake 20 and the steering 30) is determined.
  • the energy management unit 340 is designed to be the safest and most energy efficient in achieving the target motion determined by the target motion determination unit 330 while taking into consideration the presence or absence of an abnormal state of the own vehicle 1 and the driver.
  • the control amount of the actuators AC (engine 10 and the like described later) is calculated. Specifically, for example, the energy management unit 140 determines the opening / closing timing of the intake / exhaust valve (not shown) so as to improve the fuel efficiency most in achieving the engine torque determined by the target motion determination unit 130. Calculate the fuel injection timing of the injector (not shown). Further, for example, when the driver has an abnormality, the energy management unit 140 calculates a control method of the actuators AC so as to reduce the burden on the driver as much as possible.
  • the target motion data determined by the target motion determination unit 130 and the control amount data calculated by the energy management unit 140 are output to the selection circuit 500 as control signals for controlling the actuators AC.
  • the calculated first route is a route passing through the first safety region SA1.
  • the calculation of the first route is performed when the driving mode of the automobile 1 is assisted driving or automatic driving, and the calculation of the first route is not executed when the driving mode is manual driving.
  • the first route calculation unit 121 executes the grid point setting process based on the travel path information.
  • the grid area RW extends from the periphery of the own vehicle 1 to the front of the own vehicle 1 by a predetermined distance along the travel path 5.
  • This distance (length in the vertical direction) L is calculated based on the current vehicle speed of the own vehicle 1.
  • the distance L may be a predetermined fixed distance (for example, 100 m) or may be a function of vehicle speed (and acceleration).
  • the width W of the grid area RW is set to the width of the traveling path 5.
  • the grid area RW is divided into a large number of rectangular grid sections by a plurality of grid lines extending along the extending direction X and the width direction (horizontal direction) Y of the traveling path 5.
  • the intersection of the grid lines in the X and Y directions is the grid point Gn.
  • the intervals in the X direction and the intervals in the Y direction of the grid points Gn are set to fixed values, respectively.
  • the grid spacing in the X direction is 10 m
  • the grid spacing in the Y direction is 0.875 m.
  • the grid spacing may be a variable value according to the vehicle speed or the like. Further, in FIG. 2, since the traveling path 5 is a straight section, the grid area RW and the grid section are set in a rectangular shape. When the traveling path includes a curved section, the grid area and the grid section may or may not be set in a rectangular shape.
  • the first route calculation unit 113 sets a predetermined grid point GT in the grid area RW as the target arrival position PE in response to the external signal, and sets the target arrival position PE ( Set the target speed in GT).
  • the external signal is, for example, a guidance instruction signal to a destination (parking area or the like) transmitted from a navigation system (not shown) mounted on the own vehicle 1.
  • the first route calculation unit 113 executes arithmetic processing for route setting.
  • the first route calculation unit 113 creates route candidates from the current position PS (start point) of the own vehicle 1 to each grid point Gn (end point) in the grid area RW. Further, the first route calculation unit 113 sets the speed information at the end point.
  • the start point and end point are connected via one or more grid points Gn or not via grid points Gn.
  • the first route calculation unit 113 calculates the position information of each first route candidate R1m by fitting the grid points with the route curve pattern, and calculates the speed change profile so as to match the speed change pattern.
  • the speed change pattern is sudden acceleration (for example, 0.3G), slow acceleration (for example, 0.1G), vehicle speed maintenance, slow deceleration (for example, -0.1G), and sudden acceleration (for example, -0.3G). It is generated in combination and is set over a predetermined length (for example, 50 m to 100 m) of the first route candidate R1 m, not for each grid.
  • each first route candidate R1m is a route from the start point to the arrival position after a fixed time (for example, 3 seconds).
  • the first route calculation unit 113 calculates the route cost of the obtained first route candidate R1m.
  • the first route calculation unit 113 for example, with respect to each sampling point SP, the inertial force Fi due to the movement of the vehicle 1 and the obstacle (here, the other vehicle 3).
  • the collision probability Pc and the impact force Fc (or the reaction force against the collision) received by the occupant due to this collision are calculated, and the external force FC applied to the occupant is calculated based on these values, and all on the first route candidate R1m.
  • the total value of the external force FC (absolute value) at the sampling point SP can be calculated as the route cost (candidate route cost) EPm of the first route candidate R1m.
  • the first route calculation unit 113 outputs all the first route candidate R1m to the target movement determination unit 130 together with the respective route cost information.
  • the first route is set as described above.
  • the second route is basically calculated in the same way as the first route described above. However, as the second route, the route having the lowest route cost is selected and output to the target motion determination unit 130.
  • the target motion determination unit 130 as the routes output to the target motion determination unit 130, there are a first route calculated by the first calculation unit 110 and a second route calculated by the second calculation unit 120.
  • the target movement determination unit 130 basically adopts the first route. This is because the first route set by using deep learning and reinforcement learning reflects the driver's intention, that is, the driver feels redundancy such as being too careful in avoiding obstacles. This is because it tends to be a route that does not allow it.
  • the certification of the external environment using deep learning is still in the process of development. That is, the environmental model constructed by using deep learning can calculate accurate information for a range similar to the information on which the environmental model is based, but the actual environment outside the vehicle is the environmental model. If it is significantly different from, the outside environment may be estimated to be different from the actual outside environment.
  • FIG. 3 shows a first safety area SA1 set by the first safety area setting unit 112 and a second safety area SA2 set by the second safety area setting unit 122.
  • the first safety region SA1 is the hatched portion in FIG. 3
  • the second safety region SA2 is the portion of the hatched portion in FIG. 3 excluding the inside of the frame shown by the dotted line (see FIG. 4). ..
  • FIG. 3 shows in the first safety area SA1, even a part of the other vehicle 3 is set in the safety area. This may occur when the vehicle width of the other vehicle 3 cannot be accurately estimated in the image recognition by deep learning.
  • the functional safety level proposed in the automobile functional safety standard (ISO 26262) (ISO 26262) In ASIL)
  • the function using deep learning is considered to correspond to ASIL-B. Therefore, it is necessary to devise ways to improve the functional safety level.
  • the target motion determination unit 130 of the arithmetic unit 100 is a route on which the vehicle 1 (own vehicle 1) should travel on the first route when the first route is in the second safety region SA2.
  • the target motion of the vehicle 1 is determined so that the vehicle 1 passes through the first route, while the first route deviates from the second safety region SA2, the vehicle 1 takes the first route. I try not to select it as the route to travel.
  • the second route candidate is selected as the route to be traveled by the vehicle 1.
  • the first route candidates R11, R12, and R13 are set by the first route calculation unit 113.
  • the target motion determination unit 130 does not select the routes R11 and R12 that deviate from the second safety region SA2 as the routes that the vehicle 1 should travel, but selects the route R13 as the route that the vehicle 1 should travel. ..
  • the object certification unit 121 certifies the object based on a predetermined rule that has existed conventionally, the size of the object and the like can be accurately certified. Further, since the second safety area setting unit 122 sets the second safety area SA2 based on a predetermined rule such as considering a few meters around the object as an unavoidable range, the second route candidate is the other vehicle 3. Even when avoiding the above, the route can secure a sufficient distance from the other vehicle 3. That is, the function of the second calculation unit 120 can be equivalent to ASIL-D.
  • the target motion determination unit 130 calculates the first route candidate, when all of the plurality of first route candidates R1n set as the route candidates deviate from the second safety region SA2, the second By selecting the route candidate as the route on which the vehicle 1 should travel, the vehicle 1 can travel on a highly safe route. As a result, the functional safety level can be improved in the arithmetic unit 100 having a function of utilizing deep learning.
  • the safe stop position TP which is the position where the automobile 1 can safely stop
  • the traveling route passing through the third safety area SA3 to the safe stop position TP is safe. It is set as the route RS (see FIG. 4). Therefore, as a general rule, the safety route RS selects the route with the lowest route cost from the route candidates heading to the safe stop position TP through the third safety region SA3, and outputs the route to the target motion determination unit 330. ..
  • the backup arithmetic unit 300 may set the safe stop position TP and / or the safe route RS in consideration of the abnormality information.
  • the hazard lamp may be turned on to warn the surroundings of an abnormal condition, then the vehicle may decelerate and stop in the same lane.
  • the safety route calculation unit 313 may set the safety route RS while taking into consideration the abnormal state of the own vehicle 1 and the state of the driver.
  • step S100 the processing by the main arithmetic unit 100
  • step S200 the processing by the backup arithmetic unit 300
  • the main arithmetic unit 100 (first arithmetic unit 110, second arithmetic unit 120) performs the calculation of the first route candidate and the calculation of the second route candidate in parallel.
  • step S102 the first calculation unit 110 estimates the environment outside the vehicle by using deep learning.
  • the first calculation unit 110 sets the first safety area SA1.
  • step S107 the second calculation unit 120 calculates the second route candidate based on a predetermined rule and outputs it to the target motion determination unit 130.
  • step S109 the target motion determination unit 130 selects the first route candidate as the route on which the vehicle 1 should travel.
  • step S110 the target motion determination unit 130 selects the second route candidate as the route on which the vehicle 1 should travel.
  • the target movement determination unit 130 calculates the target movement of the automobile 1 based on the selection result in step S109.
  • the energy management unit 140 controls the vehicle speed and the steering angle so that the rolling resistance applied to the vehicle 1 at the time of cornering is minimized. Specifically, the generation of braking force and the steering timing are adjusted so that rolling and pitching in which the front portion of the automobile 1 sinks are generated in synchronization to generate a diagonal roll posture. When the diagonal roll posture is generated, the load applied to the turning outer ring on the front side is increased, the turning can be performed with a small steering angle, and the rolling resistance applied to the automobile 1 can be reduced.
  • step S113 the arithmetic unit 100 performs operation control of each actuator AC so that the control amount of the actuator AC becomes the target control amount calculated in step S112.
  • step S113 the flow proceeds to step S300 of FIG.
  • the target movement determination unit 330 calculates the target movement in order to drive the vehicle 1 on the route selected in step S308.
  • the abnormality detection unit 450 determines whether or not an abnormality has been detected in the driver and / or the own vehicle 1.
  • step S300 If no abnormality is detected by the abnormality detection unit 450 in step S300 (NO determination), the flow proceeds to the "normal operation mode" of step S400.
  • the selection circuit 500 selects and outputs a control signal for realizing the target motion output from the main arithmetic unit.
  • the functional safety level can be improved in the arithmetic unit 100 having a function of using deep learning.
  • FIG. 10 shows the configuration of the automobile arithmetic system SY (hereinafter, also simply referred to as the arithmetic system SY) according to the second embodiment.
  • the same components as those in FIG. 1 are designated by the same reference numerals, and detailed description thereof may be omitted.
  • the backup arithmetic unit 300 (corresponding to the safety route generator) is based on the output from the external information acquisition device M1 until the vehicle stops at a safe stop position that meets a preset standard without using deep learning. It has a function to generate a safety route which is a traveling route of.
  • the specific configuration and operation of the backup arithmetic unit 300 are the same as those in the first embodiment, and detailed description thereof will be omitted here.
  • the safety route RS generated by the safety route calculation unit 313 of the backup arithmetic unit 300 is output to the override processing unit 410.
  • the override unit 420 receives an output from the in-vehicle information acquisition device M2, for example, and determines one priority route based on the output. More specifically, the override unit 420 is generated by the safety route calculation unit 313 when a vehicle failure is determined based on the vehicle condition (for example, the measurement result by the in-vehicle sensor) received from the in-vehicle information acquisition device M2.
  • the safe route RS may be set as one priority route. Further, the override unit 420 may set the safety route RS as one route having priority when the driver's driving ability deterioration is determined based on the vehicle condition received from the in-vehicle information acquisition device M2. A specific operation example of the override unit 420 will be described later with reference to FIGS. 12A and 12B.
  • the energy management unit 140 calculates the control amount of the actuators AC so as to have the highest energy efficiency in achieving the target motion determined by the target motion determination unit 130.
  • a more specific operation example of the energy management unit 140 is illustrated in "Example of introduction to an actual system" described later.
  • the override processing unit 410 at least one of the lighting device 41, the sounding device 42, and the wireless communication device 43 mounted on the automobile. For each of these, the operation may be performed in a mode different from that of the predetermined normal running. For example, when the override unit 420 outputs the safety route RS as one route that gives priority, the vehicle speed is immediately reduced to the slow speed level, the lighting device 41 is blinked, and the horn as the sounding device 42 is sounded slowly. You may try to run. In addition, an event occurring in the vehicle (vehicle failure state, driver state), etc. is transmitted to the emergency facility, management server, etc. via the wireless communication device 43 configured to enable communication with the outside. You may contact us.
  • FIGS. 12A and 12B will be collectively referred to as FIG. Further, the operations corresponding to those in FIGS. 6 to 8 are designated by the same reference numerals, and detailed description thereof may be omitted.
  • the information of the object certified by the object certification unit 121 of the second calculation unit 120 in step S105 is output to the backup calculation unit 310.
  • the calculation system SY determines whether or not an abnormality has been detected in the driver and / or the own vehicle 1, and in the subsequent step S108, the first route candidate received from the first calculation unit 110 is the first. 2 It is determined whether or not the vehicle is within the safety area SA2. Based on the results of these two determination processes, the override unit 420 has (1) a first route candidate generated by the first route calculation unit 113, and (2) a second route generated by the second route calculation unit 123. From the candidates, (3) the safety route RS generated by the safety route calculation unit 313, one priority route is determined and output.
  • step S300 when at least one of a vehicle failure or a decrease in the driving ability of the driver is detected from the output of the in-vehicle information acquisition device M2 (YES determination), the override unit 420 and the override unit 420 are safe.
  • the safety route RS (described as the third route candidate in FIG. 12B) generated by the route calculation unit 313 is selected (step S310).
  • step S108 if no abnormality is detected in the output of the in-vehicle information acquisition device M2 (NO determination), the flow proceeds to step S108.
  • step S108 when there is a route included in the second safety region SA2 over the entire traveling route among the first route candidates received from the first calculation unit 110 (YES determination), the override unit 420 uses the first route. One route is selected from the first route candidates generated by the calculation unit 113 and output (step S109). On the other hand, in step S108, when at least a part of the first route candidates received from the first calculation unit 110 deviates from the second safety region SA2 (NO determination), the override unit 420 determines. One route is selected from the second route candidates generated by the second route calculation unit 123 and output (step S110).
  • the energy management unit 140 sets the target control amount so as to achieve the target motion calculated in step S111 and maximize the energy efficiency, as in the case of the first embodiment.
  • the functional safety level can be improved in the arithmetic unit 100 having a function of utilizing deep learning.
  • the main arithmetic unit 100 and the backup arithmetic unit 300 are each composed of different chips, but the present invention is not limited to this.
  • the main arithmetic unit and the backup arithmetic unit may be stored in the same housing or package while having a physically separated configuration.
  • the abnormality detection unit 450 may be configured to be able to detect that there is an abnormality in the output itself of the vehicle exterior information acquisition device M1 or the output itself from the vehicle interior information acquisition device M2. For example, when a state occurs in which the main arithmetic unit 100 interferes with the route generation, such as when the camera 50 breaks down or the signal input from the camera 50 is interrupted, the state can be detected. It may be configured in. Then, when an abnormality is detected in the output of the vehicle exterior information acquisition device M1 such as the camera 50 in the abnormality detection unit 450, the selection circuit 500 selects and outputs the backup control signal output from the backup calculation device 300. It may be configured as follows.
  • the selection circuit 500 is provided, but the present invention is not limited to this.
  • the detection result of the abnormality detection unit 450 may be given to both the main arithmetic unit 100 and the backup arithmetic unit 300. Then, during normal operation, the output of the backup arithmetic unit 300 is stopped, and the control signal of the main arithmetic unit 100 is output to the actuators AC. On the other hand, when a failure of the main arithmetic unit is detected, the output of the main arithmetic unit 100 is stopped, and the backup control signal output from the backup arithmetic unit 300 is output to the actuators AC. May be good.
  • the first path generation unit 705 of the first calculation unit 110 may be provided with the information of the safety area set by the second safety area setting unit 122 of the second calculation unit 120. Then, in the first route calculation unit 113 of the first calculation unit 110, the first route may be set in consideration of the safety area set by the second safety area setting unit 122.
  • FIGS. 9A and 9B An example of introduction to an actual system will be described with reference to FIGS. 9A and 9B. In the following description, FIGS. 9A and 9B will be collectively referred to as FIG.
  • the automobile arithmetic system SY (hereinafter, simply referred to as the arithmetic system SY) according to the present disclosure is functionally configured to (1) recognize the external environment and the internal environment (including the driver's condition) (1).
  • a configuration for determining various states / situations based on the cognitive result in the cognitive block B1 and (2) the cognitive block B1 and determining the operation of the automobile 1 (hereinafter, the judgment block).
  • B2 a configuration for generating signals, data, etc. specifically transmitted to actuators based on the determination in the judgment system block B2
  • an operation system block B3 also referred to as an operation system block B3
  • the technique of the present disclosure is characterized in that the cognitive system block B1, the judgment system block B2, and the operation system block B3 are integrated into one unit and realized.
  • the cognitive system block B1 and the judgment system block B2 of the main calculation unit 700 execute processing using various models constructed by deep learning using a neural network.
  • the cognitive system block B1 and the judgment system block B2 of the main calculation unit 700 execute processing using various models constructed by deep learning using a neural network.
  • By performing processing using such a model it is possible to control driving based on a comprehensive judgment of the vehicle condition, the environment outside the vehicle, the condition of the driver, that is, to coordinate and control a large amount of input information in real time. become able to.
  • the certification of the external environment and the calculation of the route using deep learning are still in the developing state, and it is said that they are limited to ASIL-B.
  • the ASIL information of each block is described as reference information, but the present invention is not limited to this, and each block may have a functional safety level different from that of FIG. ..
  • the safety function unit 800 (1) Recognize an object outside the vehicle (referred to as an object in the present disclosure) based on a method for certifying a target, etc., which has been conventionally used for automobiles, etc. (2) A safety area that a vehicle can safely pass through is set by a method conventionally used for automobiles, and a route that passes through the safety area is set as a traveling route that the vehicle should pass. It is configured as follows. By performing such so-called rule-based determination and processing, a functional safety level equivalent to ASIL-D can be realized.
  • the main calculation unit 700 and the safety function unit 800 are the same based on the same input information (including the information acquired by the outside information acquisition device M1 and the in-vehicle information acquisition device M2). It is characterized in that the target processing (for example, route generation) is performed in parallel. As a result, it is possible to monitor that the deviation processing is derived from the main calculation unit 700, and if necessary, the judgment and processing by the safety function unit 800 can be adopted, or the main calculation unit 700 can be recalculated. It is possible to make it.
  • the target processing for example, route generation
  • the main calculation unit 700 and the safety function unit 800 may combine both functions (hereinafter, the combination of both functions is also referred to as a vehicle control function) and may be configured by one or a plurality of chips. However, the main calculation unit 700 and the safety function unit 800 may each be composed of independent chips.
  • the safety function unit 800 generates the case where the main calculation unit 700 sets a route deviating from the safety area set by the safety function unit 800.
  • An example of replacing with a rule-based route is shown.
  • the calculation system SY is provided with the data acquired by each of the vehicle exterior information acquisition device M1 for acquiring the vehicle exterior environment information and the vehicle interior information acquisition device M2 for acquiring the vehicle interior environment information as input signals. Further, as an input signal to the arithmetic system SY, information from a system or service connected to an external network (for example, the Internet) may be input as in cloud computing (in FIG. 9, " "External input”).
  • Examples of the vehicle exterior information acquisition device M1 include (1) a plurality of cameras 50, (2) a plurality of radars 51, (3) mechanical sensors 520 such as a vehicle speed sensor 52, (4) an accelerator opening sensor 53, and a steering angle sensor 54. , Driver input unit 530 such as brake sensor 55, (5) position sensor 56 including a positioning system such as GPS, and the like are exemplified.
  • Main calculation unit- Here, a configuration example of the main calculation unit 700 and a route generation using deep learning by the main calculation unit 700 will be described.
  • the map generated by the map generation unit 702 is used in the vehicle exterior environment estimation unit 703 (corresponding to the vehicle exterior environment estimation unit 111) for estimating the vehicle exterior environment by image recognition processing using deep learning.
  • the vehicle exterior environment estimation unit 703 creates a 3D map representing the vehicle exterior environment by image recognition processing based on the environment model 704 constructed by using deep learning.
  • a multi-layer neural network (DNN: Deep Neural Network) is used.
  • DNN Deep Neural Network
  • a multi-layer neural network for example, there is a CNN (Convolutional Neural Network). More specifically, in the vehicle exterior environment estimation unit 703, (1) the maps for each area are combined to generate an integrated map showing the surroundings of the own vehicle 1, and (2) for moving objects in the integrated map.
  • the vehicle exterior environment estimation unit 703 uses (4) a combination of high-precision map information captured from inside or outside the vehicle, position information, vehicle speed information, and 6-axis information acquired by GPS or the like to display the own vehicle 1 on the integrated map. The position is estimated, (5) the above-mentioned route cost is calculated, and (6) the result is incorporated into the vehicle exterior environment model 704 together with the motion information of the own vehicle 1 acquired by various sensors.
  • the vehicle exterior environment estimation unit 703 updates the vehicle exterior environment model 704 at any time, and the route generation unit 705 uses it for route generation.
  • the safety function unit 800 has an object recognition unit 801 that recognizes an object (object) outside the vehicle based on the input of the camera 50 and / or the radar 51, which is the same as the main calculation unit 700.
  • the safety function unit 800 recognizes an object outside the vehicle by the same method as that of the main calculation unit 700, and then determines what the object is recognized by the conventionally known rule-based method without using deep learning. I try to distinguish. For example, it discriminates what the recognized object is through a conventionally known discriminator that achieves a functional safety level equivalent to ASIL-D.
  • the results recognized by the object recognition unit 801 are classified into moving objects and stationary objects.
  • FIG. 9 it is executed in the circuit block described as "moving object / stationary object classification" with the reference numeral 802.
  • (1) the surroundings of the own vehicle are divided into a plurality of areas (for example, forward, left-right direction, rear), and (2) the object information recognized by the camera 50 and the radar in each area.
  • the object information recognized in 51 is integrated, and (3) classification information of conductors and stationary objects for each region is generated.
  • the classification results for each area are integrated, and (5) the classification information of the conductors and stationary objects around the own vehicle is managed on, for example, a grid map as shown in FIG. ..
  • the setting of the safety area is the same as that of the second safety area SA2 by the safety area setting unit 122 in the above embodiment. Further, the route generation is the same as the route generation by the second route calculation unit 123, and detailed description thereof will be omitted here.
  • the functions up to this point are an example of rule-based route generation, and are route generation that realizes a functional safety level equivalent to ASIL-D.
  • the backup safety function unit 900 is provided with a configuration necessary for enabling the movement operation to the minimum safe stop position and the stop operation based on the rule.
  • the general configuration can realize the safety function unit 800 with the same function.
  • the backup safety function unit 900 classifies moving objects and stationary objects based on the result recognized by the object recognition unit 801. In FIG. 9, it is executed in the circuit block described as "moving object / stationary object classification" with the reference numeral 903.
  • the object recognition unit 801 may be the same as the safety function unit 800, or may be individually provided in the backup safety function unit 900.
  • the backup safety function unit 900 includes a vehicle state measurement unit 901 that measures the vehicle state and a driver operation recognition unit 902 that grasps the driver's operation state.
  • the vehicle state measurement unit 901 acquires the vehicle state based on the vehicle speed information and the 6-axis information in order to use it for route generation as the attached information of the own vehicle 1.
  • the driver operation recognition unit 902 is a function corresponding to the monitoring unit 400. Although the other functions are provided independently of the main calculation unit 700 and the safety function unit 800, the actual functions are the same as those described so far, and detailed explanations thereof will be given here. Omit.

Abstract

自動車用演算システム(SY)は、車外情報取得装置(M1)からの出力を基にして、深層学習を利用して走行経路を生成する主演算部(110)と、深層学習を利用せずにフリースペースにルールベース走行経路を生成する副演算部(120)と、深層学習を利用せずに、安全停車位置に停車するまでの安全経路を生成する安全経路生成部(300)と、主演算部(110)による走行経路と、副演算部(120)によるルールベース走行経路と、安全経路生成部(300)による安全経路のうちのいずれかの一の経路を他より優先し、当該一の経路に沿って走行する際の目標運動を決定するオーバーライド処理部(410)とを備える。

Description

自動車用演算システム
 ここに開示する技術は、例えば自動車の自動運転のために用いられる自動車用演算システムに関する。
 昨今、ニューラルネットワークを用いた深層学習を利用して、車内外の環境認識を行う技術が自動車に対しても利用されるようになっている。
 例えば、特許文献1には、車両の装備に対する乗員の状態を推定する推定装置であって、ニューラルネットワークを利用した深層学習により構築されたモデルを記憶する記憶部と、装備を含む画像を入力し、モデルを用いて乗員の状態を推定し、乗員の特定部位の骨格位置を示す第1の情報と、装備に対する乗員の状態を示す第2の情報と、を出力する処理部とを備える推定装置が開示されている。
特開2018-132996号公報
 ところで、昨今では、国家的に自動運転システムの開発が推進されている。自動運転システムでは、一般に、カメラ等により車外環境情報が取得され、取得された車外環境情報に基づいて自動車が走行すべき経路が算出される。この経路の算出においては、車外環境の認定が重要であり、この車外環境の認定において、深層学習を利用することが検討されている。
 ここで、自動運転を担う演算装置における機能安全のソフトウェア設計のコンセプトとして、プログラムを構成する複数のモジュールの機能安全の適用に関し、例えば、自動車用機能安全規格(ISO 26262)では、ハザードを評価する指標としてASIL(Automotive Safety Integrity Level)が提案されている。ASILでは、ASIL-AからASIL-Dまでの各機能安全レベルに見合った設計レベルでの開発が要求されている。
 これに対し、深層学習を利用した車外環境の認定及び経路の算出は、未だ発展途上の状態であり、ASIL-B程度に留まるとされている。このため、自動運転機能を有する自動車においてASIL-D程度の機能安全レベルを満たすためには、演算装置を、深層学習を利用する機能のみで構成するのでは不十分である。
 ここに開示された技術は、斯かる点に鑑みてなされたものであり、その目的とするところは、深層学習を利用する機能を有する自動車用演算システムにおいて、機能安全レベルを向上させることにある。
 前記課題を解決するために、ここに開示された技術では、自動車に搭載される自動車用演算システムを対象として、車外環境の情報を取得する車外情報取得装置からの出力を基にして、深層学習を利用して道路と障害物を含む車外環境を推定し、推定された車外環境を基にして前記自動車の走行経路を生成する主演算部と、前記車外情報取得装置から出力を基にして、深層学習を利用せずに、予め設定されたルールにより道路と障害物の存在を推定し、道路上であって当該障害物の存在しないフリースペースにルールベース走行経路を生成する副演算部と、前記車外情報取得装置からの出力を基にして、深層学習を利用せずに、自動車が予め設定した基準を満たす安全停車位置に停車するまでの走行経路である安全経路を生成する安全経路生成部と、前記主演算部による走行経路と、前記副演算部によるルールベース走行経路と、前記安全経路生成部による安全経路のうちのいずれかの一の経路を他より優先し、当該一の経路に沿って走行する際の自動車の目標運動を決定するオーバーライド処理部とを備える、構成とした。
 この構成によると、深層学習を利用する主演算部とともに、深層学習を利用しない副演算部及び安全経路生成部を設け、オーバーライド処理部によりいずれかの一の経路を他より優先するように構成されている。すなわち、車両の状態等に応じて、安全が担保された走行経路を選択することができるようになっている。これにより、深層学習を利用する機能を有する自動車用演算システムにおいて、機能安全レベルを向上させることができる。
 また、安全経路生成部の目標運動の決定に際して、車外情報取得装置の出力を基に安全経路を生成し、その安全経路を走行するための目標運動の決定に際して、車内環境の情報に応じて目標運動を決定するようにしているので、車内環境に適した目標運動にすることができる。
 ここで、車内環境の情報とは、車両の状態を示す情報と、運転者の状態を示す情報とが含まれる概念である。車両の状態を示す情報には、例えば、車両に取り付けられた各種センサ等から取得された情報や運転者が車両に対して実施した操作の情報等が含まれる。また、運転者の状態を示す情報には、例えば、車内を撮影するカメラ、車内に設置された運転者の生体情報を取得するための各種センサ、車内の温度・湿度等の車内の運転環境を測定するためのセンサ等から取得した情報や、転者が車両に対して実施した操作(ハンドル操作)の情報等が含まれる。
 前記自動車用演算システムの一実施形態では、前記オーバーライド処理部は、車両状態および運転者状態を含む車内環境の情報を取得する車内情報取得装置からの出力を基にして、優先する一の経路を決定する。
 この構成によると、車内環境に適した目標運動にすることができる。具体的に、例えば、前記車内情報取得装置から受けた前記車両状態に基づいて車両の故障が判定されたとき、前記オーバーライド処理部は、前記安全経路を優先する一の経路としてもよい。また、例えば、前記車内情報取得装置から受けた前記車両状態に基づいて運転者の運転能力低下が判定されたとき、前記オーバーライド処理部は、前記安全経路を優先する一の経路としてもよい。
 さらに、前記オーバーライド処理部が前記安全経路を前記優先する一の経路に設定した場合に、前記オーバーライド処理部は、前記自動車に搭載された灯火装置、吹鳴装置及び無線通信装置の少なくともいずれか1つについて、予め定められた通常走行時とは異なる態様で動作させるようにしてもよい。
 この構成によると、車両の故障や運転者の運転能力低下が発生した場合に、周囲の車両等との関係において、安全レベルを向上させることができる。また、例えば、無線通信装置を動作させた場合には、外部に車両の故障や運転者の運転能力低下の状態を知らせることができる。
 以上説明したように、ここに開示された技術によると、深層学習を利用する機能を有する演算装置において、安全レベルを向上させるとともに、走行中の車両や搭乗者に応じた安全行動ができる。
実施形態1に係る自動車用演算システムの機能構成を示すブロック図である。 演算システムにより設定される走行経路の一例を示す図である。 第1演算部により設定される安全領域と第2演算部により設定される安全領域とを比較する図である。 深層学習により推定された車外環境に基づいて算出された経路候補と安全領域との関係の一例を示す図である。 深層学習により推定された車外環境に基づいて算出された経路候補と安全領域との関係を示す別の図である。 演算システムの動作処理を示すフローチャートである。 自動車の運転経路を決定する際のフローチャートである。 自動車の運転経路を決定する際のフローチャートである。 実システムへの導入例の機能構成を示すブロック図である。 実システムへの導入例の機能構成を示すブロック図である。 実施形態2に係る自動車用演算システムの機能構成を示すブロック図である。 実施形態2に係る演算システムが搭載された自動車の構成例を示す図である。 実施形態2に係る演算システムの動作処理を示すフローチャートである。 実施形態2に係る演算システムの動作処理を示すフローチャートである。
 以下、例示的な実施形態について、図面を参照しながら詳細に説明する。
 (実施形態1)
 図1は、本実施形態1に係る自動車用演算システムSY(以下、単に演算システムSYともいう)の構成を示す。演算システムSYは、例えば、四輪の自動車1に搭載される演算システムである。自動車1は、運転者によるアクセル等の操作に応じて走行するマニュアル運転と、運転者の操作をアシストして走行するアシスト運転と、運転者の操作なしに走行する自動運転とが可能な自動車である。尚、以下の説明では、演算システムSYが搭載された自動車1を他の車両と区別するために、自車両1ということがある。
 演算システムSYは、複数のセンサ等からの出力に基づいて、自動車1の目標運動を決定して、デバイスの作動制御を行う。
 演算システムSYに自動車1の車外環境の情報を出力するセンサ等で構成される車外情報取得装置M1は、例えば、(1)自動車1のボディ等に設けられかつ車外環境を撮影する複数のカメラ50と、(2)自動車1のボディ等に設けられかつ車外の物標等を検知する複数のレーダ51と、(3)自動車1の絶対速度を検出する車速センサ52と、(4)自動車1のアクセルペダルの踏み込み量を検出するアクセル開度センサ53と、(5)自動車1のステアリングホイールの回転角度(操舵角)を検出する操舵角センサ54と、(6)自動車1のブレーキペダルの踏み込み量を検出するブレーキセンサ55と、(7)全地球測位システム(Global Positioning System:GPS)を利用して、自動車1の位置(車両位置情報)を検出する位置センサ56と、を含んでいる。
 各カメラ50は、例えば、自動車1の周囲を水平方向に360°撮影できるようにそれぞれ配置されている。各カメラ50は、車外環境を示す光学画像を撮像して画像データを生成する。各カメラ50は、生成した画像データを主演算装置100に出力する。カメラ50は、車外環境の情報を取得する車外情報取得装置の一例である。
 各レーダ51は、カメラ50と同様に、検出範囲が自動車1の周囲を水平方向に360°広がるようにそれぞれ配置されている。レーダ51の種類が特に限定されず、例えば、ミリ波レーダや赤外線レーダを採用することができる。レーダ51は、車外環境の情報を取得する車外情報取得装置の一例である。
 演算システムSYに自動車1の車内環境の情報を出力するセンサ等で構成される車内情報取得装置M2は、(1)自動車1の車内ミラーやダッシュボード等に設けられかつ運転者の表情や姿勢、社内環境等を撮影する車内カメラ58と、(2)運転者の生体情報(体温、心拍数、呼吸等)を取得する車内センサ59と、を含んでいる。また、車内情報取得装置M2は、自動車の各構成要素に付設され、車両の状態を測定する各種センサ(図示省略)を含んでいてもよい。また、車内情報取得装置M2として、車外情報取得装置M1の一部と共通のセンサを用いるようにしてもよい。
 演算システムSYが制御する対象は、例えば、エンジン10と、ブレーキ20と、ステアリング30と、トランスミッション40とを含んでいる。以下の説明では、説明の便宜上、演算システムSYが制御する対象(エンジン10、ブレーキ20、ステアリング30及びトランスミッション40を含む)を総称して、アクチュエータ類ACと呼ぶものとする。
 エンジン10は、動力駆動源であり、内燃機関(ガソリンエンジン、ディーゼルエンジン)を含む。演算システムSYは、自動車1を加速又は減速させる必要がある場合に、エンジン10に対してエンジン出力変更信号を出力する。エンジン10は、マニュアル運転時には、運転者のアクセルペダルの操作量等により制御されるが、アシスト運転や自動運転時には、演算システムSYから出力された目標運動を示す目標運動信号(以下、単に目標運動信号という)に基づいて制御される。尚、図示は省略しているが、エンジン10の回転軸には、エンジン10の出力により発電する発電機が連結されている。 
 ブレーキ20は、ここでは電動ブレーキである。演算システムSYは、自動車1を減速させる必要がある場合に、ブレーキ20に対してブレーキ要求信号を出力する。ブレーキ要求信号を受けたブレーキ20は、該ブレーキ要求信号に基づいてブレーキアクチュエータ(図示省略)を作動させて、自動車1を減速させる。ブレーキ20は、マニュアル運転時には、運転者のブレーキペダルの操作量等により制御されるが、アシスト運転や自動運転時には、演算システムSYから出力された目標運動信号に基づいて制御される。
 ステアリング30は、ここではEPS(Electric Power Steering)である。演算システムSYは、自動車1の進行方向を変更する必要がある場合に、ステアリング30に対して操舵方向変更信号を出力する。ステアリング30は、マニュアル運転時には、運転者のステアリングホイール(所謂ハンドル)の操作量等により制御されるが、アシスト運転や自動運転時には、演算システムSYから出力された目標運動信号に基づいて制御される。
 トランスミッション40は、有段式のトランスミッションである。主演算装置100は、出力すべき駆動力に応じて、トランスミッション40に対してギヤ段変更信号を出力する。トランスミッション40は、マニュアル運転時には、運転者のシフトレバーの操作や運転者のアクセルペダルの操作量等により制御されるが、アシスト運転や自動運転時には、主演算装置100により算出された目標運動に基づいて制御される。
 演算システムSYは、マニュアル運転時には、アクセル開度センサ53等の出力に基づく制御信号をエンジン10等に出力する。一方で、演算システムSYは、アシスト運転時や自動運転時には、自動車1の走行経路を設定して、自動車1が該走行経路を走行するように、エンジン10等に制御信号を出力する。
 <1.演算システムの構成>
 図1に示すように、演算システムSYは、主演算装置100と、バックアップ演算装置300と、モニタリング部400と、異常検出部450と、選択回路500とを備える。
 主演算装置100は、アシスト運転や自動運転をする場合に、車外情報取得装置M1からの出力に基づいて、自動車1の目標運動を決定し、アクチュエータ類ACをその目標運動に沿って動作させるための制御信号を出力する。
 バックアップ演算装置300は、車外情報取得装置M1からの出力に基づいて安全経路を生成し、その安全経路を走行させるための目標運動であるバックアップ目標運動を決定する。さらに、バックアップ演算装置300は、アクチュエータ類ACをそのバックアップ目標運動に沿って動作させるための制御信号であるバックアップ制御信号を出力する。ここで、安全経路とは、走行中の自動車が予め設定した基準を満たす安全停車位置TPに停車するまでの走行経路を指すものとする。安全停車位置TPは、例えば、自動車1が安全に停車できる位置であれば特に限定されないが、例えば、道路上において自動車1が通過していない領域である無車両領域や、路肩8(図3参照)等が例示される。バックアップ目標運動には、例えば、後述する異常検出部450で異常が検出された場合に、(1)直ちに車速を徐行速度レベルに落として、安全停車位置TPまでハザード・クラクションを吹鳴しながらゆっくり走る、(2)周囲の交通量にあわせてなるべく周囲に差し障りがないように走りつつ、安全停車位置TPまで自車両1を走行させる、ための目標運動が含まれる。
 主演算装置100及びバックアップ演算装置300は、それぞれが、1つ又は複数のチップで構成されたマイクロプロセッサであって、CPUやメモリ等を有している。そうすることで、両方ともに故障するリスクを低減できる。尚、図1においては、本実施形態に係る機能(後述する経路生成機能)を発揮するための構成を示しており、主演算装置100及びバックアップ演算装置300が有する全ての機能を示しているわけではない。
 モニタリング部400は、車内情報取得装置M2からの出力を基にして、運転者の状態をモニタリングし、その結果を異常検出部450に出力する。
 異常検出部450は、主演算装置100の故障の検出ができるように構成されている。主演算装置100の故障検出方法は、特に限定されないが、例えば、従来から知られている、ハードウェア冗長性回路(例えば、デュアルコア型ロックステップ等)、チップ内の演算結果の監視、チップ内の異常状態を示すフラグレジスタの監視、チップ内のテスト回路(LBIST(Logic build-in self-test)回路)、チップ間の相互監視等を適用することができる。また、異常検出部450は、車内情報取得装置M2から受けた運転者の情報をもとに、運転者の異常を検出することができるように構成されている。
 選択回路500は、例えば、セレクター回路で実現され、異常検出部450の検出結果を基に、主演算装置100から出力された制御信号、または、バックアップ演算装置300から出力されたバックアップ制御信号のいずれかを選択して、自動車1のアクチュエータ類ACに出力する。具体的に、選択回路500は、通常運転時は、主演算装置100から出力された制御信号を選択する一方で、主演算装置100または運転者のいずれかに異常が検出された場合、バックアップ演算装置300から出力されたバックアップ制御信号を選択して出力する。
 以下、演算システムSYの各構成要素について、より具体的に説明する。
 -1-1.主演算装置の構成-
 主演算装置100は、第1演算部110と、第2演算部120と、目標運動決定部130と、エネルギーマネジメント部140とを備える。
 第1演算部110は、深層学習を利用して車外環境を推定し、推定した車外環境を基にした経路である第1経路を生成する機能を有する。すなわち、第1演算部110は、経路生成部としての機能を包含している。具体的に、第1演算部110は、車外環境推定部111と、第1安全領域設定部112と、第1経路算出部113とを含む。なお、「第1経路」については、後述する「2.演算システムの動作」において具体例を示して説明する。
 車外環境推定部111は、カメラ50及びレーダ51からの出力を基にして、深層学習を用いた画像認識処理により車外環境を推定する。具体的には、車外環境推定部111は、カメラ50からの画像データを基に深層学習により物体識別情報を構築するとともに、該物体識別情報にレーダによる測位情報を統合して車外環境を表す3Dマップを作成する。また、該3Dマップに対して、深層学習に基づく各物体の挙動予測等を統合して環境モデルを生成する。 深層学習では、例えば、多層ニューラルネットワーク(DNN:Deep Neural Network)が用いられる。多層ニューラルネットワークとして、例えば、CNN(Convolutional Neural Network)がある。
 第1安全領域設定部112は、車外環境推定部111で推定された車外環境(例えば、3Dマップ)に対して、第1安全領域SA1(図3参照)を設定する。この第1安全領域SA1は、深層学習を利用して構築されたモデルを用いて、自車両が通過可能な領域として設定される。モデルは、例えば、自動車1の車種毎に予め構築されたモデルを、運転者の過去の運転履歴等を基に再構築することで構築される。尚、第1安全領域SA1は、いわゆるフリースペースを指し、例えば、道路上であって、他の車両や歩行者等の動的な障害物、及び中央分離体やセンターポールなどの静的な障害物が存在しない領域をいう。第1安全領域SA1は、緊急駐車が可能な路肩のスペースを含んでいてもよい。 
 第1経路算出部113は、強化学習を利用して、第1安全領域設定部112で設定された第1安全領域SA1内を通るような第1経路候補を算出する。強化学習は、一連のシミュレーションの結果(ここでは経路候補)に対して評価関数を設定し、ある目的に適ったシミュレーションには良い評価を与え、そうでない結果に対しては低い評価を与えることで、目的に適った経路候補を学習する機能である。実際の算出方法については後述する。
 第2演算部120は、車外情報取得装置M1(例えば、カメラ50及びレーダ51)からの出力を基にして、深層学習を利用せずに、所定のルールにより車外の物体を認識し、認識された車外の物体を基にして安全領域を特定する機能を有する。加えて、第2演算部120は、その特定された安全領域を通る第2経路を生成する機能を有する。すなわち、第2演算部120は、経路生成部としての機能を包含する。具体的に、第2演算部120は、対象物認定部121(物体認識部に相当)と、第2安全領域設定部122(安全領域特定部に相当)と、第2経路算出部123とを含む。
 対象物認定部121は、対象物認定ルール(所定のルールに相当)に基づいて対象物を認定する。対象物は、例えば、道路上に存在する、走行車両、駐車車両、歩行者等である。対象物認定部121は、自車両と対象物との間の相対距離や相対速度についても認定する。また、対象物認定部121は、カメラ50及びレーダ51からの出力を基にして、走行路(区画線等を含む)についても認定する。
 第2安全領域設定部122は、対象物認定部121が認定した対象物との衝突を回避可能な領域として、第2安全領域SA2を設定する。この第2安全領域SA2は、例えば、対象物の周囲数mを回避不能範囲とみなす等の所定のルールに基づいて設定される。第2安全領域設定部122は、走行車両の速度や歩行者の速度を考慮して第2安全領域SA2を設定可能に構成されている。なお、「対象物認定ルール」及び「所定のルール」は、従来より自動車等に採用されている物標等の認定方法及びその回避方法をルールベースに落とし込んだものであって、ASIL-D相当の機能安全レベルである。また、第2安全領域SA2は、第1安全領域SA1と同様に、いわゆるフリースペースを指し、例えば、道路上であって、他の車両や歩行者等の動的な障害物、及び中央分離体やセンターポールなどの静的な障害物が存在しない領域をいう。第2安全領域SA2は、緊急駐車が可能な路肩のスペースを含んでいてもよい。 
 第2経路算出部123は、第2安全領域設定部122で設定された第2安全領域SA2内を通るような第2経路(ルールベース走行経路に相当)を算出する。実際の算出方法については後述する。
 目標運動決定部130は、第1及び第2演算部110,120からの出力を受けて自動車1の目標運動を決定する。目標運動決定部130は、特に、第1及び第2安全領域SA1,SA2の情報、並びに第1経路候補及び第2経路候補の情報を受けて自動車1の目標運動を決定する。具体的に、目標運動決定部130は、自動車1が走行すべき経路を設定して、該経路を自動車1が走行するように、アクチュエータ類AC(主にエンジン10、ブレーキ20、ステアリング30、トランスミッション40)への要求作動量(例えば、エンジントルクやブレーキアクチュエータの作動量等)を決定する。
 エネルギーマネジメント部140は、目標運動決定部130で決定された目標運動を達成する上で、最もエネルギー効率がよくなるようにアクチュエータ類ACの制御量を算出する。具体的に例示すると、例えば、エネルギーマネジメント部140は、目標運動決定部130で決定されたエンジントルクを達成する上で、最も燃費が向上するような、吸排気バルブ(図示省略)の開閉タイミングやインジェクタ(図示省略)の燃料噴射タイミング等を算出する。なお、より具体的なエネルギーマネジメント部140の動作例は、後述する。
 目標運動決定部130で決定された目標運動のデータ、及び、エネルギーマネジメント部140で算出された制御量のデータは、アクチュエータ類ACを制御するための制御信号として選択回路500に出力される。
 -1-2.バックアップ演算装置の構成-
 バックアップ演算装置300は、バックアップ演算部310と、目標運動決定部330と、エネルギーマネジメント部340とを備える。
 バックアップ演算部310は、車外情報取得装置M1からの出力を基にして、安全停車位置TPまで経路である安全経路を生成する機能を有する。すなわち、バックアップ演算部310は、安全経路生成部としての機能を包含している。具体的に、バックアップ演算部310は、車外環境推定部311と、第3安全領域設定部312と、安全経路算出部313とを含む。なお、「安全経路」については、後述する「2.演算システムの動作」において具体例を示して説明する。
 車外環境推定部311は、第2演算部120の対象物認定部121で認定された対象物のデータを利用して、車外環境を推定する。また、対象物認定部121からの出力を基にして、走行路(区画線等を含む)や、自動車1が安全に停車できる位置である安全停車位置TPについても認定する。安全停車位置TPは、例えば、自動車1が安全に停車できる位置であれば特に限定されないが、例えば、路肩8(図3参照)や、道路上において自動車1が通過していない領域である無車両領域、等が例示される。尚、例えば、自車両1の周囲数mに他の車両がいないことが確認された場合、自車両1の現在位置または少し進んだ先が、安全停車位置TPとなり得る場合もある。そのような場所に停車させる場合は、例えば、ハザード等の報知装置を作動させながら自動車1を停車させる。
 第3安全領域設定部312は、車外環境推定部311が認定した対象物との衝突を回避可能な領域として、第3安全領域SA3を設定する。この第3安全領域SA3は、例えば、対象物の周囲数mを回避不能範囲とみなす等の所定のルールに基づいて設定される。尚、第3安全領域設定部312と、第2安全領域設定部122とが、同じような構成となってもよい。その場合、第3安全領域SA3と第2安全領域SA2とが同じ領域として指定される場合がある。また、第2安全領域設定部122と、第3安全領域設定部312とを共通の回路で実現してもよい。ただし、故障への耐性を高める観点からは、第2安全領域設定部122と第3安全領域設定部312とを別々に分けて設けるのが好ましい。ここでの「所定のルール」についても、前述の「所定のルール」と同様であり、ASIL-D相当の機能安全レベルである。
 安全経路算出部313は、第3安全領域設定部312で設定された第3安全領域SA3内を通り、かつ、安全停車位置TPまでの走行経路である安全経路RSを算出する。実際の算出方法については後述する。
 目標運動決定部330は、バックアップ演算部310からの出力を受けて自動車1の目標運動を決定する。目標運動決定部330は、特に、第3安全領域SA3及び安全停車位置TPの情報を受けて自動車1の目標運動を決定する。具体的に、目標運動決定部330は、自動車1が安全停車位置TPまで走行すべき安全経路を設定して、該安全経路を自動車1が走行するように、アクチュエータ類AC(主にエンジン10、ブレーキ20、ステアリング30)への要求作動量(例えば、エンジントルクやブレーキアクチュエータの作動量等)を決定する。
 エネルギーマネジメント部340は、自車両1や運転者の異常状態の有無等を加味しつつ、目標運動決定部330で決定された目標運動を達成する上で、最も安全でかつエネルギー効率がよくなるようにアクチュエータ類AC(後述のエンジン10等)の制御量を算出する。具体的に例示すると、例えば、エネルギーマネジメント部140は、目標運動決定部130で決定されたエンジントルクを達成する上で、最も燃費が向上するような、吸排気バルブ(図示省略)の開閉タイミングやインジェクタ(図示省略)の燃料噴射タイミング等を算出する。また、例えば、運転者に異常がある場合には、エネルギーマネジメント部140は、運転者に対する負担ができるだけ小さくなるようなアクチュエータ類ACの制御方法を算出する。
 目標運動決定部130で決定された目標運動のデータ、及び、エネルギーマネジメント部140で算出された制御量のデータは、アクチュエータ類ACを制御するための制御信号として選択回路500に出力される。
 <2.演算システムの動作>
 次に、図面を参照しつつ、演算システムの動作について説明する。
 -2-1.第1経路、第2経路の算出-
 ここでは、図2を参照しながら、第1経路及び第2経路の算出方法について説明する。前述のとおり、第1経路及び第2経路は、ともに、主演算装置100で算出される。
 図2の例では、第1安全領域SA1については図示を省略しているが、算出される第1経路は第1安全領域SA1内を通る経路である。尚、第1経路の算出が行われるのは、自動車1の運転モードがアシスト運転か自動運転のときであり、マニュアル運転のときには第1経路の算出は実行されない。
 まず、第1経路算出部121は、図2に示すように、走行路情報に基づいて、グリッド点設定処理を実行する。グリッド点設定処理において、主演算装置100は、先ず走行路5の形状(即ち、走行路5の延びる方向,走行路幅等)を特定し、走行路5上にグリッド点Gn(n=1,2,・・・N)を含むグリッド領域RWを設定する。
 グリッド領域RWは、走行路5に沿って自車両1の周囲から自車両1の所定距離前方まで延びる。この距離(縦方向長さ)Lは、自車両1の現在の車速に基づいて計算される。本実施形態では、距離Lは、現在の車速(V)で所定の固定時間t(例えば、3秒)に走行すると予想される距離である(L=V×t)。しかしながら、距離Lは、所定の固定距離(例えば、100m)であってもよいし、車速(及び加速度)の関数であってもよい。また、グリッド領域RWの幅Wは、走行路5の幅に設定される。
 グリッド領域RWは、走行路5の延伸方向Xと幅方向(横方向)Yとに沿ってそれぞれ延びる複数のグリッド線によって多数の矩形のグリッド区画に分割される。X方向とY方向のグリッド線の交点がグリッド点Gnである。グリッド点GnのX方向の間隔、及びY方向の間隔は、それぞれ固定値に設定される。本実施形態では、例えば、X方向のグリッド間隔は10m、Y方向のグリッド間隔は0.875mである。
 尚、グリッド間隔を、車速等に応じて可変値としてもよい。また、図2では、走行路5が直線区間であるため、グリッド領域RW及びグリッド区画が矩形状に設定されている。走行路が曲線区間を含む場合には、グリッド領域及びグリッド区画は、矩形状に設定されてもよいし、矩形状にならなくてもよい。
 次に、第1経路算出部113は、第1経路候補の計算において、外部信号に応じて、グリッド領域RW内の所定のグリッド点GTを目標到達位置PEに設定すると共に、目標到達位置PE(GT)での目標速度を設定する。外部信号は、例えば、自車両1に搭載されたナビゲーションシステム(図示省略)から送信される目的地(パーキングエリア等)への誘導指示信号である。
 次に、第1経路算出部113は、経路設定のための演算処理を実行する。この演算処理において、第1経路算出部113は、まず複数の第1経路候補R1m(m=1,2,3・・・)を計算する経路候補計算処理を実行する。この処理は、従前のステートラティス法を用いた経路候補の計算と同様である。
 経路候補の計算の概略を説明する。第1経路算出部113は、自車両1の現在位置PS(始点)からグリッド領域RW内の各グリッド点Gn(終点)までの経路候補を作成する。また、第1経路算出部113は、終点における速度情報を設定する。
 始点と終点は、1又は複数のグリッド点Gnを介して、又はグリッド点Gnを介さないで、連結される。第1経路算出部113は、各第1経路候補R1mについて、グリッド点間を経路曲線パターンでフィッティングすることにより位置情報を計算し、速度変化パターンに適合するように速度変化プロファイルを計算する。速度変化パターンは、急加速(例えば、0.3G)、緩加速(例えば、0.1G)、車速維持、緩減速(例えば、-0.1G)、急加速(例えば、-0.3G)の組み合わせで生成され、グリッド毎ではなく当該第1経路候補R1mの所定長さ(例えば、50m~100m)にわたって設定される。
 さらに、第1経路算出部113は、各経路候補について、サンプリング点SPを設定し、各サンプリング点SPでの速度情報を計算する。図2には、多数の経路候補のうち、3つの第1経路候補R11,R12,R13のみが示されている。なお、本実施形態では、各第1経路候補R1mは、始点から固定時間(例えば、3秒)後の到達位置までの経路である。
 次に、第1経路算出部113は、得られた第1経路候補R1mの経路コストを計算する。各第1経路候補R1mの経路コストの計算において、第1経路算出部113は、例えば、各サンプリング点SPについて、車両1の運動による慣性力Fi,障害物(ここでは、他車両3)との衝突確率Pc,及びこの衝突により乗員が受ける衝撃力Fc(又は衝突に対する反作用力)を計算し、これらの値に基づいて乗員に掛かる外力FCを計算して、第1経路候補R1m上のすべてのサンプリング点SPでの外力FC(絶対値)の合計値を、第1経路候補R1mの経路コスト(候補経路コスト)EPmとして算出することができる。
 そして、第1経路算出部113は、すべての第1経路候補R1mをそれぞれの経路コスト情報とともに、目標運動決定部130に出力する。
 以上のようにして、第1経路が設定される。
 第2経路も基本的には前述の第1経路と同様に算出される。ただし、第2経路は、経路コストが最も小さい経路が選択されて、目標運動決定部130に出力される。
 ここで、本実施形態1では、目標運動決定部130に出力される経路として、第1演算部110で算出される第1経路と第2演算部120で算出される第2経路とがあるが、目標運動決定部130は、基本的には、第1経路を採用するようにしている。これは、深層学習や強化学習を利用して設定される第1経路の方が、運転者の意思を反映した経路、すなわち、障害物を回避するに当たって慎重過ぎるなどの冗長さを運転者に感じさせない経路 となりやすいためである。
 しかしながら、深層学習を利用した車外環境の認定は、未だ発展途上の状態である。すなわち、深層学習を利用して構築された環境モデルは、環境モデルの基となった情報と類似するような範囲については正確な情報を算出することができるが、実際の車外環境等が環境モデルと大きく異なると、実際の車外環境と乖離した車外環境を推定することがある。
 例えば、図3には、第1安全領域設定部112で設定される第1安全領域SA1と、第2安全領域設定部122で設定される第2安全領域SA2とを示す。第1安全領域SA1は、図3におけるハッチングをした部分であり、第2安全領域SA2は、図3におけるハッチングをした部分から点線で示す枠よりも内側を除いた部分である(図4参照)。図3に示すように、第1安全領域SA1では他車両3の一部まで安全領域に設定されている。これは、深層学習による画像認定において他車両3の車幅を正確に推定できなかった場合等に起こり得る。
 このように、深層学習を利用した車外環境の認定では、実際の車外環境と乖離した車外環境を推定することがあるため、自動車用機能安全規格(ISO 26262)で提案されている機能安全レベル(ASIL)においては、深層学習を利用した機能はASIL-Bに相当するものとされている。このため、機能安全レベルを向上させる工夫が必要である。
 そこで、本実施形態1では、演算装置100の目標運動決定部130は、第1経路が第2安全領域SA2内にあるときには、該第1経路を自動車1(自車両1)が走行すべき経路として選択して、自動車1が第1経路を通るように該自動車1の目標運動を決定する一方、第1経路が第2安全領域SA2を逸脱しているときには、該第1経路を自動車1が走行すべき経路としては選択しないようにしている。より具体的には、目標運動決定部130は、第1経路を算出する際に、経路候補として設定される複数の第1経路候補R1n(n=1,2,3・・・)の全てが第2安全領域SA2から逸脱しているときには、第2経路候補を自動車1が走行すべき経路として選択する。
 例えば、図4に示すように、第1経路算出部113により、第1経路候補R11,R12,R13が設定されたとする。この3つの第1経路候補R11~R13のうち経路R11と経路R12については、経路の一部が第2安全領域SA2を逸脱しているが、経路R13については、第2安全領域SA2内を通っている。このときには、目標運動決定部130は、第2安全領域SA2を逸脱した経路R11,R12は、自動車1が走行すべき経路としては選択せず、経路R13を自動車1が走行すべき経路として選択する。
 一方で、図5に示すように、第1経路算出部113により、第1経路候補R14,R15,R16が設定されたとする。この3つの第1経路候補R14~R16は、全て経路の一部が第2安全領域SA2を逸脱している。このときには、目標運動決定部130は、第2演算部120で算出される複数の第2経路候補のうち最も経路コストが小さい第2経路候補R2を自動車1が走行すべき経路として選択する。
 対象物認定部121は、従来より存在する所定のルールに基づいて対象物の認定を行うため、対象物の大きさ等を精度良く認定できる。また、第2安全領域設定部122は、対象物の周囲数mを回避不能範囲とみなす等の所定のルールに基づいて第2安全領域SA2を設定するため、第2経路候補は、他車両3を回避する場合でも、他車両3との間に十分な距離を確保することができる経路となる。すなわち、第2演算部120の機能はASIL-D相当にすることができる。このため、目標運動決定部130が、第1経路候補を算出する際に、経路候補として設定される複数の第1経路候補R1nの全てが第2安全領域SA2から逸脱しているときには、第2経路候補を自動車1が走行すべき経路として選択することで、自動車1が安全性の高い経路を走行できるようになる。これにより、深層学習を利用する機能を有する演算装置100において、機能安全レベルを向上させることができる。
 -2-2.安全経路の算出-
 ここでは、安全経路の算出方法について説明する。前述のとおり、安全経路は、バックアップ演算装置300で算出される。
 安全経路は、基本的には前述の第2経路と同様に算出されるので、ここでは、相違点を中心に説明するものとし、共通する構成や動作について、説明を省略する場合がある。
 まず、走行路5上にグリッド点Gn(n=1,2,・・・N)を含むグリッド領域RWを設定し、複数の経路候補を計算する経路候補計算処理を実行する点は共通の技術を適用することができる。
 そして、安全経路算出部313が、第3安全領域設定部312で特定された第3安全領域SA3内にある経路候補の中から、自動車1(自車両1)が走行すべき安全経路を算出する。
 ここで、前述のとおり、バックアップ演算装置300では、自動車1が安全に停車できる位置である安全停車位置TPが設定され、第3安全領域SA3内を通って安全停車位置TPまで向かう走行経路が安全経路RS(図4参照)として設定される。したがって、原則として、安全経路RSは、第3安全領域SA3内を通って安全停車位置TPまで向かう経路候補のうち、経路コストが最も小さい経路が選択されて、目標運動決定部330に出力される。
 尚、バックアップ演算装置300が出力する安全経路RSを使用するシーンとして想定されるのは、主演算装置100に故障等の不具合が発生したり、運転者が運転を継続することが困難になった場合のように、異常事態が発生している場合である。そこで、バックアップ演算装置300が、異常情報を加味して、安全停車位置TP及び/または安全経路RSを設定するようにしてもよい。
 例えば、主演算装置100での故障が検出され、運転の継続に支障をきたす可能性がある場合には、十分に速度を落とし、できるだけ早く車を停めることができる場所に移動させた方がよいと判断できる場合がある。そのような場合に、バックアップ演算装置300が、例えば、図4に示すように、最も近くで車両が安全に停車できる路肩8を安全停車位置TPに設定し、その路肩8までの最短ルートを安全経路RSに設定するとよい。
 また、退避可能な路肩がない場合、ハザードランプを点灯し、周囲に異常状態を警告した後に同一車線内で減速し、停車してもよい。
 また、例えば、自車両1は故障していないが、運転者が急な病気等により運転不能になっていることが確認された場合に、例えば、ナビゲーションシステムやGPS測定結果等と連携して、病院や最寄りの公共施設を安全停車位置TPに設定し、各自車両1の位置において特定される第3安全領域SA3を通りつつ、設定された安全停車位置TPまで車両を自動走行させるようにしてもよい。このように、安全経路算出部313は、自車両1の異常状態や、運転者の状態も加味しつつ安全経路RSを設定するようにしてもよい。
 -2-3.演算システムの処理動作-
 次に、自動車1の運転経路を決定する際の演算システムSYの処理動作について図6~図8のフローチャートを参照しながら説明する。尚、自動車1の運転モードは、アシスト運転又は自動運転であるものとする。
 図6に示すように、演算システムSYにおいて、アシスト運転又は自動運転の動作が開始されると、主演算装置100による処理(ステップS100)と、バックアップ演算装置300による処理(ステップS200)とが並行して実行される。
 (A)主演算装置による処理
 ここでは、図7を参照しながら、ステップS100の主演算装置100による処理について説明する。
 まず、ステップS101において、主演算装置100は、車外情報取得装置M1(各カメラ50、各レーダ51、及び各センサ52~56)からの情報を読み込む。
 次に、主演算装置100(第1演算部110、第2演算部120)は、第1経路候補の算出と第2経路候補の算出とを並行して行う。
 ステップS102では、第1演算部110は、深層学習を利用して車外環境を推定する。
 次のステップS103では、第1演算部110は、第1安全領域SA1を設定する。
 次のステップS104では、第1演算部110は、強化学習を使用して第1経路候補を算出し、目標運動決定部130に出力する。
 一方で、ステップS105では、第2演算部120は、所定のルールに基づいて対象物の認定をする。
 ステップS106では、第2演算部120は、第2安全領域SA2を設定する。
 ステップS107では、第2演算部120は、所定のルールに基づいて第2経路候補を算出し、目標運動決定部130に出力する。
 続く、ステップS108において、目標運動部130では、第1演算部110から受けた第1経路候補が、第2安全領域SA2内にあるか否かを判定する。このステップS108において、第1演算部110から受けた第1経路候補の中に、その全走行経路にわたって第2安全領域SA2に含まれる経路がある場合(YES判定)、フローはステップS109に進む。一方で、ステップS108において、第1演算部110から受けた第1経路候補の全てにおいて、その経路内の少なくとも一部が第2安全領域SA2から逸脱する場合(NO判定)、フローはステップS110に進む。
 ステップS109では、目標運動決定部130は、第1経路候補を自動車1が走るべき経路として選択する。一方、ステップS110では、目標運動決定部130は、第2経路候補を自動車1が走るべき経路として選択する。
 次のステップS111では、目標運動決定部130は、ステップS109での選択結果に基づく自動車1の目標運動を算出する。
 続くステップS112では、エネルギーマネジメント部140は、ステップS111で算出された目標運動を達成しかつエネルギー効率が最大となるように、目標制御量を設定する。具体的に、エネルギーマネジメント部140は、例えば、目標運動決定部130で決定された要求駆動力を出力するにあたり、エンジン10の燃料消費量が最も少なくなるように、トランスミッション40の段数と、吸排気バルブ(図示省略)の開閉タイミングやインジェクタ(図示省略)の燃料噴射タイミング等を算出する。また、エネルギーマネジメント部140は、目標の制動力を出力するにあたり、エンジンブレーキが最小となるように、エンジン10に接続された前記発電機の回生発電量や冷房用コンプレッサの駆動負荷を強めることにより前記制動力を生成する。また、エネルギーマネジメント部140は、コーナリング時に自動車1にかかる転がり抵抗が最も小さくなるように、車速と舵角とを制御する。具体的には、ローリングと自動車1の前部が沈み込むピッチングとを同期して発生させてダイアゴナルロール姿勢が生じるように、制動力の発生と操舵タイミングとを調整する。ダイアゴナルロール姿勢が生じることにより、前側の旋回外輪にかかる荷重が増大して、小さな舵角で旋回でき、自動車1にかかる転がり抵抗を小さくすることができる。 
 次のステップS113では、演算装置100は、アクチュエータ類ACの制御量がステップS112で算出した目標制御量となるように、各アクチュエータ類ACの運転制御をおこなう。ステップS113の後、フローは図6のステップS300に進む。
 (B)バックアップ演算装置による処理
 ここでは、図8を参照しながら、ステップS200のバックアップ演算装置300による処理について説明する。
 まず、ステップS301において、バックアップ演算装置300は、車外情報取得装置M1を基にして認定された対象物の情報を取得する(図1ではSEで信号の流れを示している)。例えば、バックアップ演算装置300は、第2演算部120の対象物認定部121で認定された対象物の情報を取得する。尚、バックアップ演算装置30が、第2演算部120の対象物認定部121と同様の機能を有して、自装置内で、車外情報取得装置M1を基にして認定された対象物の情報を取得するようにしてもよい。
 次に、ステップS304において、バックアップ演算部310では、車を安全に停車させることができるフリースペースを探索し、そのフリースペースの中から安全停車位置TPを設定する。または、バックアップ演算部310は、GPSやカーナビゲーション等と連携し、運転者に異常がある場合に安全停車位置TPとして設定する最寄りの施設情報を取得する。
 ステップS305では、バックアップ演算部310は、第3安全領域SA3を設定する。
 続く、ステップS308において、目標運動部130では、バックアップ演算部310から受けた安全経路の中から、第3安全領域SA3内にある経路を選択し、その選択された安全経路を自動車1が走るべき経路として設定する。
 次のステップS311では、目標運動決定部330は、ステップS308で選択された経路を自動車1に走行させるため目標運動を算出する。
 続くステップS312では、エネルギーマネジメント部340は、ステップS311で算出された目標運動を達成しかつエネルギー効率が最大となるように、目標制御量を設定し、フローは図6のステップS300に進む。
 図6に戻り、ステップS300において、演算システムSYでは、異常検出部450において、運転者及び/または自車両1に異常が検出されたか否かが判断される。
 ステップS300において、異常検出部450で異常が検出されていない場合(NO判定)、フローは、ステップS400の「通常運転モード」に進む。ステップS400の「通常運転モード」では、選択回路500は、主演算装置から出力された目標運動を実現するための制御信号を選択して出力する。
 一方で、ステップS300において、異常検出部450で異常が検出された場合(YES判定)、フローは、ステップS500の安全運転モードに進む。ステップS400の「通常」運転モードでは、選択回路500は、主演算装置から出力された目標運動を実現するための制御信号を選択して出力する。
 以上をまとめると、自動車1に搭載される自動車用演算システムSYは、主演算装置100と、バックアップ演算装置300と、選択回路500とを備えている。主演算装置100は、車外環境の情報を取得する車外情報取得装置M1からの出力を基にして、深層学習を利用して車外環境を推定し、推定した車外環境を基にして第1経路を生成する第1経路算出部113(経路生成部に相当)を有し、第1経路算出部113の出力を用いて目標運動を決定し、該目標運動を実現するための制御信号を出力する。バックアップ演算装置300は、車外情報取得装置M1からの出力を基にして、車両が安全に停車できる安全停車位置TPに停車するまでの走行経路である安全経路を生成する安全経路算出部313(安全経路生成部に相当)を有し、該安全経路を走行させるためのバックアップ目標運動を決定し、該バックアップ目標運動を実現するためのバックアップ制御信号を出力する。選択回路500は、主演算装置100から出力された制御信号及びバックアップ演算装置300から出力されたバックアップ制御信号を受け、通常運転時は、主演算装置100から出力された制御信号を選択して出力する一方で、主演算装置100の故障が検出された場合に、バックアップ演算装置300から出力されたバックアップ制御信号を選択して出力する。
 この構成によると、深層学習を利用する機能を有する演算装置100において、機能安全レベルを向上させることができる。
 (実施形態2)
 図10は、本実施形態2に係る自動車用演算システムSY(以下、単に演算システムSYともいう)の構成を示す。図10において、図1と共通の構成要素には、同じ符号を付しており、その詳細説明を省略する場合がある。
 図10に示すように、演算システムSYは、主演算装置100と、バックアップ演算装置300と、オーバーライド処理部410とを備える。図11の構成例では、演算システムSYは、プロセッサSY2とメモリSY4とを備える。メモリSY4は、プロセッサSY2によって実行可能なソフトウェアであるモジュールを格納している。図10に示す演算システムSYの各部の機能は、プロセッサSY2が、メモリSY4に格納された各モジュールを実行することによって、実現される。また、メモリSY4は、演算システムSYで使用されるモデルのデータを格納している。なお、プロセッサSY2およびメモリSY4は、それぞれ、複数個あってもかまわない。
 主演算装置100は、第1演算部110と、第2演算部120とを備える。
 第1演算部110(主演算部に相当)は、深層学習を利用して道路と障害物を含む車外環境を推定し、推定された車外環境を基にした自動車の走行経路である第1経路を生成する機能を有する。尚、第1演算部110の具体的構成及び動作は、実施形態1と同様であり、ここではその詳細説明を省略する。第1演算部110の第1経路算出部113で生成された第1経路候補(自動車の走行経路に相当)は、オーバーライド処理部410に出力される。
 第2演算部120(副演算部に相当)は、車外情報取得装置M1(例えば、カメラ50及びレーダ51)からの出力を基にして、深層学習を利用せずに、予め設定された所定のルールにより道路と障害物の存在を推定し、道路上であって当該障害物の存在しないフリースペースにルールベース走行経路を生成する機能を有する。尚、第2演算部120の具体的構成及び動作は、実施形態1と同様であり、ここではその詳細説明を省略する。第2演算部120の第2経路算出部123で生成された第2経路候補は、オーバーライド処理部410に出力される。
 バックアップ演算装置300(安全経路生成部に相当)は、車外情報取得装置M1からの出力を基にして、深層学習を利用せずに、自動車が予め設定した基準を満たす安全停車位置に停車するまでの走行経路である安全経路を生成する機能を有する。尚、バックアップ演算装置300の具体的構成及び動作は、実施形態1と同様であり、ここではその詳細説明を省略する。バックアップ演算装置300の安全経路算出部313で生成された安全経路RSは、オーバーライド処理部410に出力される。
 オーバーライド処理部410は、オーバーライド部420と、目標運動決定部130と、エネルギーマネジメント部140とを備える。
 オーバーライド部420は、第1経路算出部113で生成された第1経路候補と、第2経路算出部123で生成された第2経路候補と、安全経路算出部313で生成された安全経路RSとを受けて、その中から優先する一の経路を決定して出力する。
 オーバーライド部420は、例えば、車内情報取得装置M2からの出力を受け、その出力を基にして、優先する一の経路を決定する。より具体的に、オーバーライド部420は、車内情報取得装置M2から受けた車両状態(例えば、車内センサでの測定結果)に基づいて車両の故障が判定されたとき、安全経路算出部313で生成された安全経路RSを優先する一の経路とするようにしてもよい。また、オーバーライド部420は、車内情報取得装置M2から受けた車両状態に基づいて運転者の運転能力低下が判定されたとき、安全経路RSを優先する一の経路とするようにしてもよい。なお、オーバーライド部420の具体的な動作例については、後ほど図12A,12Bを用いて説明する。
 目標運動決定部130は、オーバーライド部420からの出力を受けて自動車1の目標運動を決定する。目標運動決定部130は、第1実施形態と同様に、自動車1が走行すべき経路を設定して、該経路を自動車1が走行するように、アクチュエータ類ACへの要求作動量を決定する。
 エネルギーマネジメント部140は、目標運動決定部130で決定された目標運動を達成する上で、最もエネルギー効率がよくなるようにアクチュエータ類ACの制御量を算出する。なお、より具体的なエネルギーマネジメント部140の動作例は、後述する「実システムへの導入例」に例示している。
 目標運動決定部130で決定された目標運動のデータ、及び、エネルギーマネジメント部140で算出された制御量のデータは、アクチュエータ類ACを制御するための制御信号としてアクチュエータ類ACに出力される。
 また、オーバーライド処理部410は、オーバーライド部420が、安全経路RSを優先する一の経路として出力した場合に、自動車に搭載された灯火装置41、吹鳴装置42及び無線通信装置43の少なくともいずれか1つについて、予め定められた通常走行時とは異なる態様で動作させるようにしてもよい。例えば、オーバーライド部420が、安全経路RSを優先する一の経路として出力した場合に、直ちに車速を徐行速度レベルに落としつつ、灯火装置41を点滅させ、吹鳴装置42としてのクラクションを吹鳴しながらゆっくり走るようにしてもよい。また、外部との通信が可能に構成された無線通信装置43を介して、救急施設や管理サーバー等に対して、車両で発生している事象(車両の故障状態や運転者の状態)等を連絡するようにしてもよい。
 次に、自動車1の運転経路を決定する際の演算システムSYの処理動作について図12A,12Bのフローチャートを参照しながら説明する。尚、自動車1の運転モードは、アシスト運転又は自動運転であるものとする。また、以下の説明では、図12A及び図12Bをまとめて、単に図12と呼ぶものとする。また、図6~図8と対応する動作については、同じ符号を付しており、その詳細説明を省略する場合がある。
 図12に示すように、ステップS101において、主演算装置100は、車外情報取得装置M1(各カメラ50、各レーダ51、及び各センサ52~56)からの情報を読み込む。
 ステップS102~S104は、第1演算部110で行われる処理であり、図7と同様の処理が行われる。また、S105~S107は、第2演算部120で行われる処理であり、図7と同様の処理が行われる。
 ステップS105において第2演算部120の対象物認定部121で認定された対象物の情報は、バックアップ演算部310に出力される。
 バックアップ演算部310では、対象物認定部121から受けた対象物の情報を基に、ステップS304,S305,S308として、図7と同様の処理が行われる。
 次のステップS300では、演算システムSYにおいて、運転者及び/または自車両1に異常が検出されたか否かが判定され、続くステップS108では、第1演算部110から受けた第1経路候補が第2安全領域SA2内にあるか否かが判定される。オーバーライド部420は、この2つの判定処理の結果に基づいて、(1)第1経路算出部113で生成された第1経路候補、(2)第2経路算出部123で生成された第2経路候補、(3)安全経路算出部313で生成された安全経路RS、の中から優先する一の経路を決定して出力する。
 具体的に、ステップS300において、車内情報取得装置M2の出力から車両の故障または運転者の運転能力低下の少なくとも一方が検出された場合(YES判定)、オーバーライド部420は、オーバーライド部420は、安全経路算出部313で生成された安全経路RS(図12Bでは第3経路候補と記載)を選択する(ステップS310)。
 一方で、車内情報取得装置M2の出力に異常が検出されなかった場合(NO判定)、フローは、ステップS108に進む。
 ステップS108において、第1演算部110から受けた第1経路候補の中に、その全走行経路にわたって第2安全領域SA2に含まれる経路がある場合(YES判定)、オーバーライド部420は、第1経路算出部113で生成された第1経路候補の中から一の経路を選択して出力する(ステップS109)。一方で、ステップS108において、第1演算部110から受けた第1経路候補の全てにおいて、その経路内の少なくとも一部が第2安全領域SA2から逸脱する場合(NO判定)、オーバーライド部420は、第2経路算出部123で生成された第2経路候補の中から一の経路を選択して出力する(ステップS110)。
 次のステップS111では、目標運動決定部130は、自動車1の目標運動を算出する。
 続くステップS112では、エネルギーマネジメント部140は、実施形態1の場合と同様に、ステップS111で算出された目標運動を達成しかつエネルギー効率が最大となるように、目標制御量を設定する。
 次のステップS113では、演算装置100は、アクチュエータ類ACの制御量がステップS112で算出した目標制御量となるように、各アクチュエータ類ACの運転制御をおこなう。
 以上のように、本実施形態によると、深層学習を利用する機能を有する演算装置100において、機能安全レベルを向上させることができる。
 (その他の実施形態)
 上述の実施形態は単なる例示に過ぎず、本開示の範囲を限定的に解釈してはならない。本開示の範囲は請求の範囲によって定義され、請求の範囲の均等範囲に属する変形や変更は、全て本開示の範囲内のものである。すなわち、ここに開示された技術は、上記実施形態に限られるものではなく、請求の範囲の主旨を逸脱しない範囲で代用が可能である。
 例えば、前述の実施形態1及び2では、目標運動決定部130で目標運動を決定したあと、エネルギーマネジメント部140により目標運動を達成しかつエネルギー効率が最大となるように目標制御量を設定していた。これに限らず、エネルギーマネジメント部140は省略してもよい。すなわち、目標運動決定部130が目標運動を達成する目標制御量を設定してもよい。
 例えば、上記実施形態では、主演算装置100と、バックアップ演算装置300とが、それぞれ、異なるチップで構成されているものとしたが、これに限定されない。例えば、主演算装置とバックアップ演算装置とが、物理的には分離された構成をとりつつ、同一の筐体またはパッケージに格納されていてもよい。
 また、異常検出部450は、車外情報取得装置M1の出力自体や、車内情報取得装置M2からの出力自体に異常があることを検出することができるように構成されていてもよい。例えば、カメラ50が故障したり、カメラ50からの信号入力が途絶えた場合のように、主演算装置100での経路生成に支障が出るような状態が発生したときに、その状態を検出できるように構成されていてもよい。そして、異常検出部450において、カメラ50等の車外情報取得装置M1の出力に異常が検出された場合に、選択回路500が、バックアップ演算装置300から出力されたバックアップ制御信号を選択して出力するように構成されていてもよい。
 また、上記実施形態では、選択回路500が設けられているものとしたが、これに限定されない。例えば、異常検出部450の検出結果が、主演算装置100と、バックアップ演算装置300との両方に与えるようにしてよい。そして、通常運転時は、バックアップ演算装置300の出力を停止させ、主演算装置100の制御信号をアクチュエータ類ACに出力させる。一方で、主演算装置の故障が検出された場合には、主演算装置100の出力を停止させ、バックアップ演算装置300から出力されたバックアップ制御信号をアクチュエータ類ACに出力させるように構成されていてもよい。
 また、第1演算部110の第1経路生成部705に、第2演算部120の第2安全領域設定部122で設定された安全領域の情報を与えるようにしてもよい。そして、第1演算部110の第1経路算出部113において、第2安全領域設定部122で設定された安全領域も加味して、第1経路が設定されるようにしてもよい。
 (実システムへの導入例)
 図9A及び図9Bを参照しながら、実システムへの導入例について説明する。なお、以下の説明では、図9A及び図9Bをまとめて、単に図9と呼ぶものとする。
 -1.概要-
 まず、本開示に係る自動車用演算システムSY(以下、単に演算システムSYという)は、機能的には、(1)車外環境、車内環境(運転者の状態を含む)を認知するための構成(以下、認知系ブロックB1ともいう)と、(2)認知系ブロックB1での認知結果に基づいて各種状態・状況等を判断し、自動車1の動作を決定するための構成(以下、判断系ブロックB2ともいう)と、(3)判断系ブロックB2での決定を基に、具体的にアクチュエータ類に伝達する信号・データ等を生成するための構成(以下、操作系ブロックB3ともいう)、とに分かれている。本開示の技術は、認知系ブロックB1、判断系ブロックB2及び操作系ブロックB3が、1つのユニットに集約されて、実現されている点に特徴を有する。
 また、本演算システムSYは、(1)通常運転時における自動運転を実現するための認知系ブロックB1、判断系ブロックB2及び操作系ブロックB3とで構成された主演算部700と、(2)主に主演算部700の認知系ブロックB1及び判断系ブロックB2を補完する機能を有するセーフティ機能部800と、(3)主演算部700やセーフティ機能部800の機能が失陥した場合等の異常事態が発生した際に、自動車1を安全な位置まで移動させるバックアップセーフティ機能部900とを備えている。
 本演算システムSYにおいて、主演算部700の認知系ブロックB1および判断系ブロックB2では、ニューラルネットワークを利用した深層学習により構築された各種モデルを利用して処理を実行する。このようなモデルを使用した処理を行うことで、車両状態、車外環境、運転者の状態等の総合的な判断に基づく運転制御、すなわち、大量の入力情報をリアルタイムで協調させて制御することができるようになる。一方で、前述のとおり、深層学習を利用した車外環境の認定及び経路の算出は、未だ発展途上の状態であり、ASIL-B程度に留まるとされている。なお、図9では、参考情報として、各ブロックのASIL情報を記載しているが、本記載に限定されるものではなく、各ブロックが図9とは異なる機能安全レベルを有していてもよい。
 そこで、本演算システムSYでは、主演算部700で実行される深層学習により、ある特定の許容範囲を逸脱するような判断や処理(以下、単に逸脱処理という)が導き出される可能性を想定し、そのような逸脱処理を監視するとともに、逸脱処理を検出した場合には、ASIL-D相当の機能安全レベルを実現するセーフティ機能部800による判断や処理に置き換えるまたは補完するものである。
 具体的に、例えば、セーフティ機能部800は、
(1)従来より自動車等に採用されている物標等の認定方法に基づいて、車外にある物体(本開示では、対象物と呼んでいる)を認識する、
(2)従来より自動車等に採用されている方法で、車両が安全に通過できる安全領域を設定し、その安全領域を通過するような経路を自動車が通過すべき走行経路として設定する、
ように構成されている。このような、いわゆるルールベースの判断や処理を行うことにより、ASIL-D相当の機能安全レベルを実現することができる。
 そして、本演算システムSYは、主演算部700とセーフティ機能部800とが、同一の入力情報(車外情報取得装置M1や車内情報取得装置M2で取得された情報を含む)に基づいて、同一の目的の処理(例えば、経路生成)を、並列に進めるようにしている点に特徴がある。これにより、主演算部700から逸脱処理が導き出されることを監視することができるとともに、必要に応じて、セーフティ機能部800による判断や処理の方を採用したり、主演算部700に再演算をさせたりすることができるようになっている。
 主演算部700とセーフティ機能部800とは、両機能をあわせて(以下、両機能をあわせたものを車両制御機能ともいう)、それを1つ又は複数のチップで構成するようにしてもよいし、主演算部700とセーフティ機能部800のそれぞれを独立したチップで構成するようにしてもよい。
 前述の実施形態では、主演算部700による逸脱処理の対応例として、主演算部700によりセーフティ機能部800が設定した安全領域を逸脱する経路が設定された場合について、セーフティ機能部800で生成されたルールベースの経路に置き換える例を示している。
 さらに、本演算システムSYでは、主演算部700及びセーフティ機能部800の両方が故障するような事態にも対処できるように、バックアップセーフティ機能部900(バックアップ演算装置30に相当)を設けている。バックアップセーフティ機能部900は、車外情報に基づいてルールベースで経路を生成し、安全な位置に停車させるまでの車両制御を実行する機能を、主演算部700及びセセーフティ機能部800とは別構成として用意したものである。したがって、主演算部700及びセーフティ機能部800とは、別々の装置(チップ)で構成されるのが好ましい。
 これにより、例えば、主演算部700とセーフティ機能部800とを共通のチップで構成した場合に、そのチップ自体に故障が発生しても、車両を安全な場所に停車させることができる。換言すると、このようなバックアップセーフティ機能部900を設けることで、車両制御機能またはバックアップ機能の故障を、他方の機能によって補完し、故障時の安全動作を確保することができる。
 -2.構成-
 以下において、図9を参照しつつ、本演算システムSYの具体的構成について、実施形態との対比を交えつつ説明する。なお、実施形態と共通の構成については、共通の符号を使用して説明する場合がある。また、共通の構成についての詳細説明を省略する場合がある。
 演算システムSYには、自動車の車外環境の情報を取得する車外情報取得装置M1、及び、車内環境の情報を取得する車内情報取得装置M2のそれぞれで取得されたデータが入力信号として与えられる。また、演算システムSYへの入力信号として、クラウドコンピューティングのように、車外ネットワーク(例えば、インターネット等)に接続されたシステムやサービスからの情報が入力されるようにしてもよい(図9では「外部入力」と記載)。
 車外情報取得装置M1として、例えば、(1)複数のカメラ50、(2)複数のレーダ51、(3)車速センサ52等のメカセンサー520、(4)アクセル開度センサ53、操舵角センサ54、ブレーキセンサ55等のドライバ入力部530、(5)GPS等の測位システムを含む位置センサ56等が例示される。
 車内情報取得装置M2として、例えば、車内カメラ58、車内センサ59等が例示される。車内センサ59には、例えば、アクセルペダル、ブレーキペダル、ステアリング、各種スイッチ等の各種操作対象物への運転者の操作を検出するセンサを含む。なお、図9では、車内情報取得装置M2の図示を省略している。
 -2-1.主演算部-
 ここでは、主演算部700の構成例及び主演算部700による深層学習を用いた経路生成について説明する。
 図9に示すように、主演算部700は、カメラ50及び/またはレーダ51の入力に基づいて、車外の物体(対象物)を認識する物体認識部701を有する。物体認識部701は、カメラ50で撮像された社外の画像(映像を含む)や、レーダ51を用いた反射波のピークリストにより、車外の物体を認識する機能を有する。また、主演算部700は、実施形態に示したとおり、深層学習を利用して、認識された物体が何かを判別する機能を有する。物体認識部701には、従来から知られている画像や電波に基づく物体認識技術を適用することができる。
 物体認識部701で認識された結果は、マップ生成部702に送られる。マップ生成部702では、自車両の周囲を複数の領域(例えば、前方、左右方向、後方)に分け、各領域ごとにマップ作成処理を行う。マップ作成処理では、それぞれの領域に対して、カメラ50で認識された物体情報と、レーダ51で認識された物体情報とを統合し、マップに反映させる。
 マップ生成部702で生成されたマップは、車外環境推定部703(車外環境推定部111に相当)において、深層学習を用いた画像認識処理により車外環境の推定に使用される。具体的に、車外環境推定部703では、深層学習を利用して構築された環境モデル704に基づく画像認識処理により車外環境を表す3Dマップを作成する。深層学習では、多層ニューラルネットワーク(DNN:Deep Neural Network)が用いられる。多層ニューラルネットワークとして、例えば、CNN(Convolutional Neural Network)がある。より具体的に、車外環境推定部703では、(1)各領域ごとのマップが結合され、自車両1の周囲を表した統合マップが生成され、(2)その統合マップ内の動体物に対し、自車両1との距離、方向、相対速度の変位が予測され、(3)その結果が、車外環境モデル704に組み込まれる。さらに、車外環境推定部703では、(4)車内または車外から取り込んだ高精度地図情報、GPS等で取得された位置情報・車速情報・6軸情報の組み合わせによって統合マップ上での自車両1の位置を推定するとともに、(5)前述の経路コストの計算を行い、(6)その結果が、各種センサで取得された自車両1の運動情報とともに車外環境モデル704に組み込まれる。これらの処理により、車外環境推定部703では、随時、車外環境モデル704が更新され、経路生成部705による経路生成に使用される。
 GPS等の測位システムの信号、車外ネットワークから送信される例えばカーナビゲーション用のデータは、経路探索部706に送られる。経路探索部706は、GPS等の測位システムの信号、車外ネットワークから送信される例えばナビゲーション用のデータを用いて、車両の広域経路を探索する。
 経路生成部705では、車外環境モデル704と、経路探索部706の出力とを基にして、車両の走行経路を生成する。主演算部700による具体的な経路探索方法については、実施形態の「2-1.第1経路、第2経路の算出」において、第1経路の算出方法として例示している。ここまでの機能が、深層学習による経路生成の一例であり、ASIL-B相当の機能安全レベルを実現する経路生成である。
 -2-2.セーフティ機能部-
 ここでは、セーフティ機能部800の構成及びセーフティ機能部800によるルールベースの経路生成について説明する。
 図9に示すように、セーフティ機能部800は、主演算部700と同じ、カメラ50及び/またはレーダ51の入力に基づいて、車外の物体(対象物)を認識する物体認識部801を有する。セーフティ機能部800では、主演算部700と同様の手法により車外の物体を認識した後に、深層学習を利用せずに、従来から知られているルールベースの手法により認識された物体が何かを判別するようにしている。例えば、従来から知られており、ASIL-D相当の機能安全レベルを実現している識別機を通して、認識された物体が何かを判別する。
 物体認識部801で認識された結果は、動体と静止物とに分類される。図9では、802の符号を付して「動体・静止物分類」と記載した回路ブロックで実行される。具体的に、ここでは、(1)自車両の周囲が複数の領域(例えば、前方、左右方向、後方)に分けられ、(2)各領域で、カメラ50で認識された物体情報と、レーダ51で認識された物体情報とが統合され、(3)各領域に対する導体及び静止物との分類情報が生成される。そして、(4)各領域ごとの分類結果が統合され、(5)自車両周辺の導体及び静止物との分類情報として、例えば、例えば、図2に示されるようなグリッドマップ上で管理される。また、動体物に対しては、(6)自車両との距離、方向、相対速度が予測され、その結果が動体物の付属情報として組み込まれるとともに、(7)車内または車外から取り込んだ高精度地図情報、GPS等で取得された位置情報・車速情報・6軸情報の組み合わせによって、動体・静止物に対する自車両の位置が推定される。また、セーフティ機能部800では、車速情報・6軸情報に基づく車両状態を検出し、自車両1の付属情報として経路生成に使用する。セーフティ機能部800では、ここで推定された動体・静止物に対する自車両の位置と、安全領域の探索結果に基づいて、経路が生成される。なお、ここでの安全領域は、実施形態における第2安全領域SA2が相当する。安全領域の設定は、上記実施形態における安全領域設定部122による第2安全領域SA2と同様である。また、経路生成についても、第2経路算出部123による経路生成と同様であり、ここではその詳細説明を省略する。ここまでの機能が、ルールベースによる経路生成の一例であり、ASIL-D相当の機能安全レベルを実現する経路生成である。
 主演算部700及びセーフティ機能部800で生成された経路は、目標運動決定部710に送られ、両経路の比較結果等に応じて最適な目標運動が決定される。例えば、前述の実施形態に記載しているように、主演算部700で生成した経路が、セーフティ機能部800で探索された安全領域から外れる時には、セーフティ機能部800で生成された経路が採用される。目標運動決定部730、車両運動エネルギー操作部740、エネルギーマネジメント部750は、前述の実施形態の目標運動決定部130、エネルギーマネジメント部140に相当するものであり、ここではその詳細説明を省略する。
 -2-3.バックアップセーフティ機能部-
 ここでは、バックアップセーフティ機能部900の構成及びバックアップセーフティ機能部900によるルールベースの経路生成について説明する。バックアップセーフティ機能部900は、ルールベースで最低限の安全停車位置への移動動作、停車動作ができるようにするために必要な構成を備えたものとなっている。大枠の構成は、セーフティ機能部800を同じような機能で実現することができる。
 図9に示すように、バックアップセーフティ機能部900では、物体認識部801で認識された結果を基に、動体と静止物とが分類される。図9では、903の符号を付して「動体・静止物分類」と記載した回路ブロックで実行される。物体認識部801は、図9に示すように、セーフティ機能部800と共通のものを使用してもよいし、個別に、バックアップセーフティ機能部900に設けられていてもよい。さらに、バックアップセーフティ機能部900は、車両状態を計測する車両状態計測部901と、運転者の操作状態を把握するドライバ操作認知部902とを備えている。車両状態計測部901は、自車両1の付属情報として経路生成に使用するために、車速情報・6軸情報に基づく車両状態を取得する。ドライバ操作認知部902は、モニタリング部400に相当する機能である。それ以外の機能については、主演算部700及びセーフティ機能部800とは独立して設けられているものの、実質的な機能は、これまで説明してきた構成と同様であり、ここではその詳細説明を省略する。
 ここに開示された技術は、自動車に搭載される自動車用演算システムとして有用である。
SY 自動車用演算システム
41 灯火装置
42 吹鳴装置
43 無線通信装置
110 第1演算部(主演算部)
120 第2演算部(副演算部)
300 バックアップ演算装置(安全経路生成部)
410 オーバーライド処理部
M1 車外情報取得装置
M2 車内情報取得装置

Claims (5)

  1.  自動車に搭載される自動車用演算システムであって、
     車外環境の情報を取得する車外情報取得装置からの出力を基にして、深層学習を利用して道路と障害物を含む車外環境を推定し、推定された車外環境を基にして前記自動車の走行経路を生成する主演算部と、
     前記車外情報取得装置から出力を基にして、深層学習を利用せずに、予め設定されたルールにより道路と障害物の存在を推定し、道路上であって当該障害物の存在しないフリースペースにルールベース走行経路を生成する副演算部と、
     前記車外情報取得装置からの出力を基にして、深層学習を利用せずに、自動車が予め設定した基準を満たす安全停車位置に停車するまでの走行経路である安全経路を生成する安全経路生成部と、
     前記主演算部による走行経路と、前記副演算部によるルールベース走行経路と、前記安全経路生成部による安全経路のうちのいずれかの一の経路を他より優先し、当該一の経路に沿って走行する際の自動車の目標運動を決定するオーバーライド処理部とを備える
    ことを特徴とする自動車用演算システム。
  2.  請求項1に記載の自動車用演算システムにおいて、
     前記オーバーライド処理部は、車両状態および運転者状態を含む車内環境の情報を取得する車内情報取得装置からの出力を基にして、優先する一の経路を決定する
    ことを特徴とする自動車用演算システム。
  3.  請求項2に記載の自動車用演算システムにおいて、
     前記車内情報取得装置から受けた前記車両状態に基づいて車両の故障が判定されたとき、前記オーバーライド処理部は、前記安全経路を優先する一の経路とする
    ことを特徴とする自動車用演算システム。
  4.  請求項2に記載の自動車用演算システムにおいて、
     前記車内情報取得装置から受けた前記車両状態に基づいて運転者の運転能力低下が判定されたとき、前記オーバーライド処理部は、前記安全経路を優先する一の経路とする
    ことを特徴とする自動車用演算システム。
  5.  請求項3または4に記載の自動車用演算システムにおいて、
     前記オーバーライド処理部は、前記安全経路を前記優先する一の経路に設定した場合に、前記自動車に搭載された灯火装置、吹鳴装置及び無線通信装置の少なくともいずれか1つについて、予め定められた通常走行時とは異なる態様で動作させる
    ことを特徴とする自動車用演算システム。
PCT/JP2020/008898 2019-03-08 2020-03-03 自動車用演算システム WO2020184290A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP20769654.3A EP3919353A4 (en) 2019-03-08 2020-03-03 ARITHMETIC OPERATING SYSTEM FOR VEHICLE
CN202080018122.7A CN113557189B (zh) 2019-03-08 2020-03-03 汽车用运算系统
US17/468,693 US11970186B2 (en) 2019-03-08 2021-09-08 Arithmetic operation system for vehicles

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019043108A JP7131441B2 (ja) 2019-03-08 2019-03-08 自動車用演算システム
JP2019-043108 2019-03-08

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/468,693 Continuation US11970186B2 (en) 2019-03-08 2021-09-08 Arithmetic operation system for vehicles

Publications (1)

Publication Number Publication Date
WO2020184290A1 true WO2020184290A1 (ja) 2020-09-17

Family

ID=72353091

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/008898 WO2020184290A1 (ja) 2019-03-08 2020-03-03 自動車用演算システム

Country Status (5)

Country Link
US (1) US11970186B2 (ja)
EP (1) EP3919353A4 (ja)
JP (1) JP7131441B2 (ja)
CN (1) CN113557189B (ja)
WO (1) WO2020184290A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7223629B2 (ja) * 2019-05-13 2023-02-16 日立Astemo株式会社 車載システム、外界認識センサ、電子制御装置
JP7265423B2 (ja) * 2019-06-12 2023-04-26 株式会社日立製作所 経路計画装置、経路計画方法及び経路計画システム
WO2021141142A1 (ko) * 2020-01-06 2021-07-15 엘지전자 주식회사 경로 제공 장치 및 그것의 경로 제공 방법
JP7296899B2 (ja) 2020-02-05 2023-06-23 マツダ株式会社 車両用制御装置
JP7204818B2 (ja) * 2021-05-10 2023-01-16 三菱電機株式会社 車両制御システムおよび車両制御方法
DE102022113743A1 (de) * 2022-05-31 2023-11-30 ASFINAG Maut Service GmbH Verfahren zum Finden einer Notfallabstellposition für ein Kraftfahrzeug

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015203972A (ja) * 2014-04-14 2015-11-16 株式会社日本自動車部品総合研究所 走行経路生成装置
JP2017204145A (ja) * 2016-05-11 2017-11-16 株式会社豊田中央研究所 走行経路生成装置、モデル学習装置、及びプログラム
JP2018132996A (ja) 2017-02-16 2018-08-23 パナソニックIpマネジメント株式会社 推定装置、学習装置、推定方法、及び推定プログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2014250320B2 (en) * 2013-04-01 2017-02-02 Su-Min Park Automatic driving system for vehicle
JP5962598B2 (ja) * 2013-06-20 2016-08-03 トヨタ自動車株式会社 駐車支援装置及び駐車支援方法
DE102013213169A1 (de) * 2013-07-04 2015-01-08 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines Kraftfahrzeugs in einem automatisierten Fahrbetrieb
US20150260531A1 (en) * 2014-03-12 2015-09-17 Logawi Data Analytics, LLC Route planning system and methodology which account for safety factors
JP5898746B1 (ja) * 2014-09-29 2016-04-06 富士重工業株式会社 車両の走行制御装置
JP6376059B2 (ja) * 2015-07-06 2018-08-22 トヨタ自動車株式会社 自動運転車両の制御装置
US9610476B1 (en) * 2016-05-02 2017-04-04 Bao Tran Smart sport device
US10074274B2 (en) * 2016-02-29 2018-09-11 Faraday & Future Inc. Emergency signal detection and response
JP6558393B2 (ja) * 2017-04-06 2019-08-14 トヨタ自動車株式会社 進路設定装置及び進路設定方法
CN115855022A (zh) * 2017-04-07 2023-03-28 辉达公司 使用深度神经网络执行自主路径导航
US10705525B2 (en) * 2017-04-07 2020-07-07 Nvidia Corporation Performing autonomous path navigation using deep neural networks
JP6525402B2 (ja) * 2017-08-30 2019-06-05 マツダ株式会社 車両制御装置
US11466997B1 (en) * 2019-02-15 2022-10-11 State Fram Mutual Automobile Insurance Company Systems and methods for dynamically generating optimal routes for vehicle operation management

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015203972A (ja) * 2014-04-14 2015-11-16 株式会社日本自動車部品総合研究所 走行経路生成装置
JP2017204145A (ja) * 2016-05-11 2017-11-16 株式会社豊田中央研究所 走行経路生成装置、モデル学習装置、及びプログラム
JP2018132996A (ja) 2017-02-16 2018-08-23 パナソニックIpマネジメント株式会社 推定装置、学習装置、推定方法、及び推定プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3919353A4

Also Published As

Publication number Publication date
CN113557189A (zh) 2021-10-26
CN113557189B (zh) 2023-07-18
US11970186B2 (en) 2024-04-30
US20210403038A1 (en) 2021-12-30
EP3919353A4 (en) 2022-03-16
JP2020142770A (ja) 2020-09-10
JP7131441B2 (ja) 2022-09-06
EP3919353A1 (en) 2021-12-08

Similar Documents

Publication Publication Date Title
WO2020184297A1 (ja) 自動車用演算システム
WO2020184290A1 (ja) 自動車用演算システム
JP6817410B2 (ja) 車両用制御システムおよび制御方法
JP7048353B2 (ja) 走行制御装置、走行制御方法およびプログラム
WO2020184281A1 (ja) 自動車用演算装置
JP6919056B2 (ja) 走行制御装置、走行制御方法およびプログラム
US11755022B2 (en) Vehicle control device
US10967859B2 (en) Vehicle control apparatus and vehicle control method
JP6936350B2 (ja) 車両制御装置および車両制御方法
JP6632581B2 (ja) 走行制御装置、走行制御方法およびプログラム
CN113212444A (zh) 车辆用控制装置
EP3932768B1 (en) Arithmetic operation device for automobiles
JP7131440B2 (ja) 自動車用演算装置
US20210241001A1 (en) Vehicle control system
JP7215247B2 (ja) 自動車用演算装置
CN113212331B (zh) 车辆用控制装置
CN113291303B (zh) 车辆用控制装置
US20220342417A1 (en) Remote function selection device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20769654

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020769654

Country of ref document: EP

Effective date: 20210901