WO2022202256A1 - 車両制御装置、車両制御方法 - Google Patents
車両制御装置、車両制御方法 Download PDFInfo
- Publication number
- WO2022202256A1 WO2022202256A1 PCT/JP2022/009795 JP2022009795W WO2022202256A1 WO 2022202256 A1 WO2022202256 A1 WO 2022202256A1 JP 2022009795 W JP2022009795 W JP 2022009795W WO 2022202256 A1 WO2022202256 A1 WO 2022202256A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- vehicle
- detection capability
- control device
- temporary
- required level
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 35
- 238000001514 detection method Methods 0.000 claims abstract description 130
- 238000012544 monitoring process Methods 0.000 claims description 58
- 238000004891 communication Methods 0.000 claims description 39
- 230000004044 response Effects 0.000 claims description 28
- 230000008859 change Effects 0.000 claims description 16
- 239000000428 dust Substances 0.000 claims description 5
- 238000002360 preparation method Methods 0.000 claims description 4
- 238000005286 illumination Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 38
- 230000006870 function Effects 0.000 description 28
- 238000011156 evaluation Methods 0.000 description 23
- 230000008569 process Effects 0.000 description 15
- 230000006866 deterioration Effects 0.000 description 13
- 230000002093 peripheral effect Effects 0.000 description 13
- 230000001133 acceleration Effects 0.000 description 12
- 238000003860 storage Methods 0.000 description 10
- 230000009471 action Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000004807 localization Effects 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000001965 increasing effect Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 239000004576 sand Substances 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000007774 longterm Effects 0.000 description 3
- 230000033228 biological regulation Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000000744 eyelid Anatomy 0.000 description 2
- 239000000446 fuel Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000004904 shortening Methods 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000029305 taxis Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
- B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
- B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
- B60Q1/14—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
- B60Q1/1415—Dimming circuits
- B60Q1/1423—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic
- B60Q1/143—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic combined with another condition, e.g. using vehicle recognition from camera images or activation of wipers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0015—Planning or execution of driving tasks specially adapted for safety
- B60W60/0018—Planning or execution of driving tasks specially adapted for safety by employing degraded modes, e.g. reducing speed, in response to suboptimal conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
- B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
- B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
- B60Q1/06—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle
- B60Q1/08—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle automatically
- B60Q1/085—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle automatically due to special conditions, e.g. adverse weather, type of road, badly illuminated road signs or potential dangers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/14—Adaptive cruise control
- B60W30/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/18—Propelling the vehicle
- B60W30/18009—Propelling the vehicle related to particular drive situations
- B60W30/18163—Lane change; Overtaking manoeuvres
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0015—Planning or execution of driving tasks specially adapted for safety
- B60W60/0018—Planning or execution of driving tasks specially adapted for safety by employing degraded modes, e.g. reducing speed, in response to suboptimal conditions
- B60W60/00186—Planning or execution of driving tasks specially adapted for safety by employing degraded modes, e.g. reducing speed, in response to suboptimal conditions related to the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/005—Handover processes
- B60W60/0053—Handover processes from vehicle to occupant
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
- B60Q2300/30—Indexing codes relating to the vehicle environment
- B60Q2300/31—Atmospheric conditions
- B60Q2300/312—Adverse weather
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
- B60Q2300/30—Indexing codes relating to the vehicle environment
- B60Q2300/31—Atmospheric conditions
- B60Q2300/314—Ambient light
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q2800/00—Features related to particular types of vehicles not otherwise provided for
- B60Q2800/10—Autonomous vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
- B60W50/0205—Diagnosing or detecting failures; Failure detection models
- B60W2050/0215—Sensor drifts or sensor failures
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/225—Direction of gaze
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/406—Traffic density
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
- B60W2555/20—Ambient conditions, e.g. wind or rain
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/10—Historical data
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/40—High definition maps
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
- B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2754/00—Output or target parameters relating to objects
- B60W2754/10—Spatial relation or speed relative to objects
- B60W2754/30—Longitudinal distance
Definitions
- the present disclosure relates to a vehicle control device and a vehicle control method for automatic driving.
- Patent Document 1 discloses a vehicle control device that starts automatic driving when traffic congestion occurs and the length of the traffic congestion section is equal to or greater than a predetermined value.
- Patent Literature 2 discloses a technique of identifying an area where the detection capability of a peripheral monitoring sensor such as a camera is degraded based on reports from a plurality of vehicles, and distributing information on the area. Patent Literature 2 also mentions a configuration that terminates automatic driving based on the fact that the current position of the vehicle is within the detection capability reduction area.
- JP 2018-27726 A Japanese Patent No. 6424761
- Autonomous driving in the present disclosure refers to so-called level 3 or higher, which is a level at which the system performs all driving tasks and the user does not need to monitor the surroundings of the vehicle (mainly in front).
- level 3 or higher is a level at which the system performs all driving tasks and the user does not need to monitor the surroundings of the vehicle (mainly in front).
- automation levels 2 and below correspond to levels at which the user is obliged to monitor the surroundings of the vehicle.
- the system here refers to an in-vehicle system mainly composed of a vehicle control device that provides an automatic driving function.
- the user here refers to the passenger sitting in the driver's seat.
- automatic driving which is a state in which automatic driving is being performed, the user does not need to look ahead of the vehicle, and may be allowed to perform a predetermined action as a second task, such as operating a smartphone.
- autonomous driving recognizes the outside world based on sensing information from surrounding sensors such as cameras, and creates a control plan. Therefore, when the detection performance of the surroundings monitoring sensor falls below a predetermined required level for continuing automatic operation due to, for example, dense fog or yellow sand, automatic operation may be interrupted. In addition, even if the recognition rate of lane markings that define lanes is reduced due to blurred lines or puddles, automatic driving may be interrupted because the accuracy of estimating the position of the vehicle is reduced.
- the present disclosure has been made based on the above points of focus, and one of its purposes is to provide a vehicle control device and a vehicle control method that can reduce the risk of interruption of automatic driving.
- a vehicle control device disclosed herein is a vehicle control configured to be able to perform automatic driving, which is control for autonomously driving a vehicle based on an output signal from a surroundings monitoring sensor that detects objects existing around the vehicle.
- a device based on at least one of the history of the output signal of a perimeter monitoring sensor within the most recent predetermined time period, and the dynamic map data of the road section that the vehicle is scheduled to pass from now, which is obtained by wireless communication from an external device.
- a detection capability prediction unit that determines whether the detection capability of the perimeter monitoring sensor will not satisfy the required level, which is the performance quality required to continue automatic driving, within a predetermined prediction time from the current time; a temporary response unit that starts predetermined temporary control based on the detection capability prediction unit determining that the detection capability will not satisfy the required level within the prediction time during execution of automatic driving.
- the vehicle control method disclosed herein includes at least one processor applied to a vehicle configured to be capable of performing automatic driving based on the output signal of a surroundings monitoring sensor that detects objects existing around the vehicle.
- a vehicle control method implemented using a dynamic map data on a road section through which the vehicle is scheduled to pass, obtained by wireless communication from an external device and a history of output signals of surrounding monitoring sensors within the most recent predetermined time period. Based on at least one of the above, it is determined whether the detection capability of the surrounding monitoring sensor will not satisfy the required level, which is the performance quality required to continue automatic driving, within a predetermined predicted time from the current time. and starting predetermined temporary control based on determination that the detection capability will not satisfy the required level within the predicted time during automatic operation.
- FIG. 1 is a block diagram showing an example of the overall configuration of an automatic driving system 1;
- FIG. 2 is a block diagram for explaining the configuration of a front camera 11;
- FIG. 2 is a block diagram showing an example of an information presentation device 18;
- FIG. 3 is a functional block diagram of an automatic driving ECU 30;
- FIG. 4 is a flowchart for explaining the operation of an automatic driving ECU 30;
- FIG. 1 is a diagram showing an example of a schematic configuration of an automatic driving system 1 according to the present disclosure.
- the automatic driving system 1 can be mounted on a vehicle that can travel on roads.
- a vehicle to which the automatic driving system 1 is applied may be a four-wheeled vehicle, a two-wheeled vehicle, a three-wheeled vehicle, or the like.
- a vehicle to which the automatic driving system 1 is applied may be an owner car owned by an individual, a shared car, a rental car, or a transportation service car.
- Transportation service vehicles include taxis, fixed-route buses, shared buses, and the like.
- a shared car is a vehicle provided for a car sharing service
- a rental car is a vehicle provided for a vehicle rental service.
- the vehicle equipped with the automatic driving system 1 is also referred to as the own vehicle.
- the own vehicle is an electric vehicle, but it is not limited to this.
- the own vehicle may be an engine vehicle or a hybrid vehicle.
- An electric vehicle refers to a vehicle having only a motor as a drive source.
- a gasoline vehicle is a vehicle that has only an engine as a drive source, and corresponds to a vehicle that runs on fuel such as gasoline or light oil.
- a hybrid vehicle refers to a vehicle equipped with an engine and a motor as power sources.
- the host vehicle may be a fuel cell vehicle (FCV).
- FCV fuel cell vehicle
- the operation of each device will be explained assuming that the automatic driving system 1 is used in a left-hand traffic area.
- the leftmost lane among the lanes traveling in the same direction is referred to as the first lane.
- the configuration of the present disclosure can be implemented by reversing the above left and right.
- the first lane refers to the rightmost lane among lanes traveling in the same direction.
- the automatic driving system 1 described below can be modified and implemented so as to conform to the traffic laws and customs of the region where it is used.
- a user in this disclosure refers to a person who should receive driving operation authority from the automated driving system during automated driving.
- a user mainly refers to a person sitting in the driver's seat, that is, an occupant in the driver's seat. References to user can be replaced by driver.
- the self-vehicle may be a remotely operated vehicle that is remotely operated by an operator present outside the vehicle.
- the operator here refers to a person who has the authority to remotely control the vehicle from the outside of the vehicle, such as a predetermined center. Operators can also be included in the concept of users. An operator may be presented with various information by the HCU 20, which will be described later.
- the automated driving system 1 provides a so-called automated driving function that allows the vehicle to run autonomously.
- automation level degree of automation of the driving operation
- SAE International Society of Automotive Engineers of America
- the automation level is divided into 6 stages from level 0 to 5 as follows.
- Level 0 is the level at which the user as the driver's seat occupant performs all driving tasks without system intervention. Driving tasks include, for example, steering and acceleration/deceleration. The driving task also includes monitoring the surroundings of the vehicle, for example in front of the vehicle. Level 0 corresponds to the so-called fully manual driving level. Level 1 is a level at which the system supports either steering or acceleration/deceleration. Level 2 refers to a level at which the system supports a plurality of steering operations and acceleration/deceleration operations. Levels 1 and 2 correspond to so-called driving assistance levels.
- Level 3 refers to the level at which the system executes all driving tasks within the Operational Design Domain (ODD), while the system transfers operational authority to the user in an emergency.
- ODD defines conditions under which automatic driving can be executed, such as the driving position being within a highway.
- Level 3 requires the user to be able to quickly respond to a request from the system to change driving. An operator existing outside the vehicle may take over the driving operation instead of the user riding in the vehicle.
- Level 3 corresponds to so-called conditional automatic driving.
- Level 4 is a level at which the system performs all driving tasks, except under specific circumstances such as unsupportable predetermined roads and extreme environments. Level 4 corresponds to the level at which the system performs all driving tasks within the ODD. Level 4 corresponds to so-called highly automated driving. Level 5 is the level at which the system can perform all driving tasks under all circumstances. Level 5 corresponds to so-called fully automated driving. Levels 3 to 5 correspond to automated driving. Levels 3 to 5 can also be called autonomous driving levels in which all control related to vehicle driving is automatically executed.
- the level indicated by “automatic driving” in the present disclosure is a level at which the user does not need to monitor the front, and indicates level 3 or higher.
- automatic driving system 1 is configured to be able to perform automatic driving at automation level 3 or higher will be described as an example.
- the automatic driving system 1 has various configurations shown in FIG. 1 as an example. That is, the automatic driving system 1 includes a front camera 11, a millimeter wave radar 12, a vehicle state sensor 13, a locator 14, a body ECU 15, a lighting device 151, a V2X vehicle-mounted device 16, and a DSM 17.
- the automatic driving system 1 also includes an information presentation device 18 , an input device 19 , an HCU 20 and an automatic driving ECU 30 .
- a configuration including the information presentation device 18 , the input device 19 and the HCU 20 is configured as an HMI system 2 .
- the HMI system 2 is a system that provides an input interface function for accepting user operations and an output interface function for presenting information to the user.
- ECU in the member name is an abbreviation for Electronic Control Unit, meaning an electronic control unit.
- DSM Driver Status Monitor.
- HMI is an abbreviation for Human Machine Interface.
- HCU is an abbreviation for HMI Control Unit.
- V2X is an abbreviation for Vehicle to X (everything/something), and refers to communication technology that connects cars to various things.
- the front camera 11 is a camera that captures an image of the front of the vehicle with a predetermined angle of view.
- the front camera 11 is arranged, for example, at the upper end of the windshield on the interior side of the vehicle, the front grille, the roof top, or the like.
- the front camera 11 includes a camera main body 111 that generates an image frame and an ECU (hereinafter referred to as a camera ECU 112) that detects a predetermined detection target by performing recognition processing on the image frame. And prepare.
- the camera main body 111 is configured to include at least an image sensor and a lens.
- the camera body 111 generates and outputs captured image data at a predetermined frame rate (eg, 60 fps).
- the camera ECU 112 is mainly composed of an image processing chip including a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit), and includes a classifier 113 as a functional block.
- the discriminator 113 is configured to discriminate the type of an object based on the feature amount vector of the image generated by the camera body section 111 .
- a CNN Convolutional Neural Network
- DNN Deep Neural Network
- Objects to be detected by the front camera 11 include, for example, pedestrians and moving objects such as other vehicles. Other vehicles include bicycles, motorized bicycles and motorcycles. Further, the front camera 11 is configured to be able to detect a predetermined feature.
- Features to be detected by the front camera 11 include road edges, road markings, and structures installed along the road.
- Road markings refer to paint drawn on the road surface for traffic control and traffic regulation. For example, road markings include lane markings indicating lane boundaries, pedestrian crossings, stop lines, driving lanes, safety zones, and control arrows. The lane markings are also called lane marks or lane markers. Lane markings also include those realized by road studs such as Chatterbars and Bots Dots.
- the term "division line" refers to a boundary line between lanes.
- the demarcation line includes a roadway outer line, a center line (so-called center line), and the like.
- Structures installed along the road include, for example, guardrails, curbs, trees, utility poles, road signs, and traffic lights.
- An image processor constituting the camera ECU 112 separates and extracts the background and the object to be detected from the captured image based on image information including color, brightness, contrast related to color and brightness, and the like.
- the front camera 11 is configured to be able to detect features that can be used as landmarks in the localization process.
- the camera ECU 112 of this embodiment also outputs data indicating the reliability of the image recognition result.
- the reliability of the recognition result is calculated based on, for example, the amount of rainfall, the presence or absence of backlight, the brightness of the outside world, and the like.
- the reliability of the recognition result may be a score indicating the matching degree of the feature amount.
- the reliability may be, for example, a probability value indicating the likelihood of the recognition result output as the identification result by the identifier 113 .
- the probability value can correspond to the matching degree of the feature quantity described above.
- the millimeter wave radar 12 transmits search waves such as millimeter waves or quasi-millimeter waves toward the front of the vehicle, and analyzes received data of the reflected waves that are reflected by the object and returned to the vehicle. It is a device that detects the relative position and relative velocity of an object with respect to the object.
- the millimeter wave radar 12 is installed, for example, on the front grille or the front bumper.
- the millimeter wave radar 12 incorporates a radar ECU that identifies the type of detected object based on the size, moving speed, and reception intensity of the detected object.
- the radar ECU outputs data indicating the type of the detected object, the relative position (direction and distance), and the reception intensity to the automatic driving ECU 30 and the like as detection results.
- Objects to be detected by the millimeter wave radar 12 may include other vehicles, pedestrians, manholes (steel plates), and three-dimensional structures such as landmarks.
- Object recognition processing based on observation data may be executed by an ECU outside the sensor, such as the automatic driving ECU 30.
- the forward camera 11 and the millimeter wave radar output observation data to the automatic driving ECU 30 as detection result data.
- Observed data for the front camera 11 refers to image frames.
- the observation data of the millimeter wave radar refers to data indicating the reception intensity and relative velocity for each detection direction and distance, or data indicating the relative position and reception intensity of the detected object.
- the front camera 11 and the millimeter wave radar 12 correspond to peripheral monitoring sensors that monitor the surroundings of the vehicle.
- LiDAR Light Detection and Ranging/Laser Imaging Detection and Ranging
- sonar etc.
- the automatic driving system 1 may be provided with a sensor whose detection range is mainly in front of the vehicle as a peripheral monitoring sensor, as well as a sensor whose detection range is in the rear or side of the vehicle.
- it can be equipped with a rear camera, a side camera, a rear millimeter-wave radar, and the like.
- the vehicle state sensor 13 is a group of sensors that detect information regarding the state of the own vehicle.
- the vehicle state sensor 13 includes a vehicle speed sensor, a steering angle sensor, an acceleration sensor, a yaw rate sensor, and the like.
- a vehicle speed sensor detects the vehicle speed of the own vehicle.
- a steering angle sensor detects a steering angle.
- the acceleration sensor detects acceleration such as longitudinal acceleration and lateral acceleration of the vehicle.
- a yaw rate sensor detects the angular velocity of the own vehicle.
- the vehicle state sensor 13 outputs data indicating the current value of the physical state quantity to be detected (that is, the detection result) to the in-vehicle network IvN.
- the type of sensor used by the automatic driving system 1 as the vehicle state sensor 13 may be appropriately designed, and it is not necessary to include all the sensors described above.
- the automatic driving system 1 can also include an illumination sensor, a rain sensor, a wiper speed sensor, etc. as the vehicle state sensor 13 .
- the illuminance sensor is a sensor that detects the brightness outside the vehicle.
- a rain sensor is a sensor that detects rainfall.
- a wiper speed sensor is a sensor that detects the operating speed of the wiper. The wiper operating speed includes the operating interval.
- the locator 14 is a device that generates high-precision positional information, etc. of the own vehicle by composite positioning that combines a plurality of pieces of information.
- the vehicle position is represented by three-dimensional coordinates of latitude, longitude, and altitude, for example.
- the vehicle position information calculated by the locator 14 is output to the in-vehicle network IvN and used by the automatic driving ECU 30 and the like.
- Locator 14 is configured using, for example, a GNSS receiver.
- a GNSS receiver is a device that sequentially detects the current position of the GNSS receiver by receiving navigation signals (hereinafter referred to as positioning signals) transmitted from positioning satellites that make up the GNSS (Global Navigation Satellite System).
- the GNSS receiver can receive positioning signals from four or more positioning satellites, it outputs positioning results every 100 milliseconds.
- GPS GPS, GLONASS, Galileo, IRNSS, QZSS, Beidou, etc. can be adopted.
- the locator 14 may sequentially calculate the position of the own vehicle by combining the positioning result of the GNSS receiver and the output of the inertial sensor.
- the locator 14 may be configured to be able to perform localization processing (so-called localization).
- the localization process identifies the detailed position of the vehicle by matching the coordinates of landmarks identified based on the image captured by the front camera 11 with the coordinates of landmarks registered in the map data.
- point to Landmarks are, for example, guide signs such as direction signs, traffic lights, poles, and stop lines.
- the localization process may be performed by collating the three-dimensional detected point cloud data output by the LiDAR and the three-dimensional map data.
- Map data containing information about various features may be stored in a non-volatile storage device (not shown), or may be downloaded from an external server as needed and stored in a predetermined volatile memory.
- a part or all of the functions provided by the locator 14 may be provided by the automatic driving ECU 30 or may be provided by the HCU 20 . The functional arrangement can be changed as appropriate.
- the body ECU 15 is an ECU that comprehensively controls body-based in-vehicle equipment mounted in the vehicle.
- the vehicle-mounted device of the body system indicates, for example, the lighting device 151, a window motor, a door lock actuator, a seat motor, a side mirror motor, a wiper motor, and the like.
- the body ECU 15 controls the operation of the lighting device 151 based on the operation of the light switch by the user, the detection value of the illuminance sensor, time information, or an instruction signal from the automatic driving ECU 30 .
- the body ECU 15 turns on the headlights based on the fact that the external illuminance provided from the illuminance sensor is less than the automatic lighting threshold, which is the threshold for automatically turning on the headlights.
- External illuminance refers to brightness outside the vehicle.
- the body ECU 15 corresponds to a lighting control device.
- An ECU as a lighting control device may be separately provided between the body ECU 15 and the lighting device 151 .
- the lighting device 151 controls the lighting state of light sources such as headlamps, fog lamps, and notification lamps arranged at the left and right front corners.
- Headlights are also called headlights.
- the headlights here include low beams and high beams with different light irradiation ranges.
- the high beam illuminates a longer distance than the low beam by emitting light substantially horizontally.
- the high beam is configured to illuminate 100m ahead.
- High beams are also called running headlights.
- Low beams cast light downwards more than high beams.
- the low beam illuminates an area closer to the vehicle than the high beam area.
- the low beam is configured to illuminate up to 40m ahead.
- a low beam is also called a headlight for passing.
- Fog lamps are lighting equipment installed to improve the visibility of a vehicle in bad weather such as fog.
- Fog lights are also called front fog lights.
- Notification lights refer to, for example, clearance lamps (hereinafter CLL: Clearance Lamps), turn signals, daytime running lights (hereinafter DRL: Daytime Running Lights), hazard lamps, and the like.
- the lighting device 151 is configured as, for example, a four-lamp headlight. That is, it has a light source for high beam and a light source for low beam.
- the light source various elements such as a light emitting diode (hereinafter referred to as LED: Light Emission Diode) and an organic light emitting transistor can be employed.
- a light source may be formed using a plurality of light source elements. Part or all of the low beam light source may also be used as a high beam light source.
- the lighting device 151 is set such that the amount of light of the high beam is larger than that of the low beam. For example, more high beam LEDs are set than high beam LEDs. Further, the lighting device 151 may be configured to be able to dynamically change the irradiation range by individually controlling the lighting states of a plurality of LEDs for high beam. For the sake of convenience, the technique of dynamically changing the irradiation range of the high beam according to the scene by individually controlling a plurality of high beam LEDs will be referred to as adaptive high beam control. Note that when the light source is an LED, the lighting device 151 can adjust the amount of light emission by PWM (Pulse Width Modulation) controlling the current flowing through the LED.
- PWM Pulse Width Modulation
- Such a dimming method is also called PWM dimming.
- a difference in the amount of light between the high beam and the low beam may be realized by adjusting the duty ratio in PWM control.
- the light source of the headlight may be a halogen lamp or the like.
- the lighting device 151 may be configured so that the irradiation direction of light as a high beam can be dynamically changed within a predetermined angular range in the vertical direction.
- the lighting device 151 has a basic state in which light is emitted in a horizontal direction or downward by a predetermined amount (for example, 3 degrees) from the horizontal direction so as to illuminate up to 100 m ahead, and a basic state in which light is emitted downward by a predetermined angle from the basic state. It may be configured to be switchable between the downward state of irradiating the .
- the downward state can be, for example, a mode in which light equivalent to a high beam is emitted downward by about 1 to 5 degrees from the basic state.
- Dynamic adjustment of the irradiation direction can be realized by changing the angle of the light source with respect to the vehicle body using a motor or the like.
- the downward facing state may be achieved by application of adaptive high beam control.
- the basic state in other words, the high beam that illuminates downward more than usual is called a semi-high beam.
- the semi-high beam corresponds to a beam with an increased irradiation range (irradiation distance) and higher brightness than the low beam.
- a semi-high beam can be a beam that illuminates the road surface up to 60 to 70 m ahead more brightly than a low beam, for example.
- a semi-high beam corresponds in one aspect to an enhanced version of a low beam, so it can also be called a middle beam or an enhanced draw beam.
- the lighting device 151 of the present embodiment is configured to be capable of emitting a semi-high beam using a high beam light source, but the present invention is not limited to this.
- a semi-high beam light source may be provided separately from the high beam light source. Further, a semi-high beam may be realized by using part of the LED for high beam.
- the V2X vehicle-mounted device 16 is a device for the own vehicle to carry out wireless communication with other devices.
- the V2X vehicle-mounted device 16 includes a wide area communication unit and a narrow area communication unit as communication modules.
- the wide area communication unit is a communication module for performing wireless communication conforming to a predetermined wide area wireless communication standard.
- Various standards such as LTE (Long Term Evolution), 4G, and 5G can be adopted as the wide-area wireless communication standard here.
- LTE Long Term Evolution
- 4G Long Term Evolution
- 5G can be adopted as the wide-area wireless communication standard here.
- the wide area communication unit performs wireless communication directly with other devices by a method conforming to the wide area wireless communication standard, in other words, without going through the base station. It may be configured to be possible. That is, the wide area communication unit may be configured to be able to implement cellular V2X.
- the short-range communication unit provided in the V2X vehicle-mounted device 16 communicates directly with other mobile objects and roadside units that exist around the vehicle according to a communication standard that limits the communication distance to within several hundred meters (hereinafter referred to as the short-range communication standard).
- communication module for wireless communication A roadside unit refers to a communication facility installed along a road.
- any standard such as the WAVE (Wireless Access in Vehicular Environment) standard disclosed in IEEE 1609 or the DSRC (Dedicated Short Range Communications) standard can be adopted.
- the V2X vehicle-mounted device 16 transmits information indicating the actual (effective) level of the detection ability of each surrounding monitoring sensor evaluated by the automatic driving ECU 30 to other vehicles as a detection ability report.
- Detection capability can be rephrased as detection performance or detection accuracy.
- the detectability report includes location information and time information at the time the detectability was evaluated. Also, the detectability report includes source information for identifying the source.
- the V2X vehicle-mounted device 16 can receive detection capability reports transmitted from other vehicles at any time.
- the mode of transmission and reception of detection capability reports may be broadcast or geocast.
- Broadcast refers to a method of transmitting data to an unspecified number of people (all destinations).
- Geocasting is a flooding communication mode in which a destination is specified by location information. In geocasting, vehicles in the range specified as the geocasting area receive the data. According to Geocast, it is possible to transmit the identification information of vehicles existing in the area targeted for information distribution without specifying the identification information.
- the V2X vehicle-mounted device 16 may transmit a communication packet equivalent to a detection capability report to a map server, which is an external server that generates a dynamic map, under the control of the autonomous driving ECU 30, for example.
- a map server which is an external server that generates a dynamic map
- the DSM 17 is a sensor that sequentially detects the user's state based on the user's face image. Specifically, the DSM 17 takes an image of the user's face using a near-infrared camera, and performs image recognition processing on the captured image to determine the direction of the user's face, the direction of the line of sight, and the degree of opening of the eyelids. etc. are detected sequentially.
- the DSM 17 can capture the face of the passenger sitting in the driver's seat, for example, with the near-infrared camera facing the headrest of the driver's seat, and the upper surface of the steering column cover and the instrument panel. It is located on the top surface, rearview mirror, etc.
- the DSM 17 sequentially outputs, as occupant state data, information indicating the direction of the user's face, the direction of the line of sight, the degree of opening of the eyelids, etc. specified from the captured image to the in-vehicle network IvN. Note that the DSM 17 corresponds to an example of an in-vehicle camera.
- the information presentation device 18 is a group of devices for presenting the operating state of the automatic driving system 1 to the user.
- the information presentation device 18 includes a HUD 18A, a meter display 18B, and a sound device 18C, as shown in FIG. 3, for example.
- HUD stands for Head-Up Display.
- the HUD 18A is a device that displays a virtual image that can be perceived by the user by projecting image light onto a predetermined area of the windshield based on the control signal and video data input from the HCU 20.
- HUD 18A is configured using a projector, a screen, and a concave mirror.
- a windshield (front glass) can function as a screen.
- the meter display 18B is a display arranged in the area located in front of the driver's seat on the instrument panel.
- the meter display 18B can display various colors, and can be realized using a liquid crystal display, an OLED (Organic Light Emitting Diode) display, a plasma display, or the like.
- the HUD 18A and the meter display 18B correspond to display devices.
- the acoustic device 18C is a device that outputs sound from at least one speaker based on a control signal input from the HCU 20.
- the expression "sound" in the present disclosure also includes voice and music.
- the automatic driving system 1 does not need to be equipped with all the devices described above as the information presentation device 18. Further, as the information presentation device 18, a center display provided in the central portion of the instrument panel in the vehicle width direction may be provided. The meter display 18B described below can be implemented by replacing it with the center display.
- the input device 19 is a device for accepting a user's instruction operation to the automatic driving system 1.
- a steering switch provided on the spoke portion of the steering wheel, an operation lever provided on the steering column portion, a touch panel laminated on the center display, or the like can be employed.
- a plurality of types of devices described above may be provided as the input device 19 .
- a user's operation can be read as a user's action or instruction input.
- the input device 19 outputs to the in-vehicle network IvN as a user operation signal an electric signal corresponding to the operation performed by the user on the device.
- the user operation signal includes information indicating the details of the user's operation.
- the HMI system 2 of this embodiment includes a mode changeover switch 19A as an input device 19, for example.
- the mode changeover switch 19A is arranged on the spoke portion as one of the steering switches, for example.
- the mode changeover switch 19A is a switch for the user to change the operation mode.
- the mode changeover switch 19A includes an AD (Autonomous Driving) permission switch for instructing or permitting the start of the automatic driving mode, and an AD release switch for canceling (in other words, ending) the automatic driving mode.
- the AD permission switch and the AD cancellation switch may be provided separately, or may be the same switch.
- Such a mode changeover switch 19A corresponds to a switch for activating or stopping the automatic driving function provided by the automatic driving ECU 30.
- the operation mode switching instruction may be implemented by voice input.
- the concept of the input device 19 may also include a voice input device including a microphone and a processor that performs voice recognition processing on voice signals collected by the microphone.
- the speech recognition process itself may be configured to be performed by an external server.
- the HCU 20 is configured to comprehensively control the presentation of information to the user.
- the HCU 20 controls the display of the HUD 18A based on control signals input from the automatic driving ECU 30 and user operation signals input from the input device 19 .
- the HCU 20 displays, on the HUD 18A and the meter display 18B, an image indicating the operating state of the automatic driving function, an image requesting driving change, and the like, based on information provided from the automatic driving ECU 30 .
- the HCU 20 causes the audio device 18C to output a notification sound or a predetermined voice message.
- Such an HCU 20 is mainly composed of a computer including a processing unit 21, a RAM 22, a storage 23, a communication interface 24, and a bus connecting them.
- the processing unit 21 is hardware for arithmetic processing coupled with the RAM 22 .
- the processing unit 21 includes at least one arithmetic core such as a CPU, in other words, at least one processor.
- the processing unit 21 accesses the RAM 22 to execute various processes for realizing the functions of each functional unit, which will be described later.
- the storage 23 is configured to include a non-volatile storage medium such as flash memory.
- the storage 23 stores an information presentation control program, which is a program executed by the processing section 21 .
- the communication interface 24 is a circuit for communicating with other devices via the in-vehicle network IvN.
- the communication interface 24 may be realized using an analog circuit element, an IC, or the like.
- the automatic driving ECU 30 is an ECU that executes part or all of the driving operation on behalf of the user by controlling the driving actuator based on the detection results of the front camera 11 and the millimeter wave radar 12.
- the automatic driving ECU 30 is also called an automatic operation device.
- the travel actuators include, for example, a brake actuator as a braking device, an electronic throttle, a steering actuator, and the like.
- the steering actuator includes an EPS (Electric Power Steering) motor. Note that other ECUs such as a steering ECU that performs steering control, a power unit control ECU that performs acceleration/deceleration control, and a brake ECU may be interposed between the automatic driving ECU 30 and the travel actuator.
- the automatic driving ECU 30 has multiple driving modes with different levels of automation.
- the automatic driving ECU 30 is configured to be switchable between a complete manual mode, a driving support mode, and an automatic driving mode.
- Each driving mode differs in the range of driving tasks that the user takes charge of, in other words, the range of driving tasks in which the system intervenes.
- the system here refers to the automatic driving system 1, which is actually the automatic driving ECU 30.
- Full manual mode is a driving mode in which the user performs all driving tasks. Fully manual mode corresponds to automation level 0. Therefore, fully manual mode can also be referred to as level 0 mode.
- the driving support mode is a driving mode in which the system executes or supports acceleration/deceleration control and also supports the steering operation. It is the user who executes the steering operation in the driving assistance mode.
- the driving assistance mode corresponds to, for example, a driving mode in which at least one of the ACC (Adaptive Cruise Control) function and the LTA (Lane Tracing Assist) function is operating.
- ACC is a function that causes the own vehicle to run at a constant speed at a target vehicle speed, or causes the own vehicle to follow the preceding vehicle while maintaining the inter-vehicle distance.
- ACC corresponds to preceding vehicle follow-up control.
- a control target value for the running speed in ACC is set by the user within a preset speed range.
- a target value for the distance to the preceding vehicle in ACC can also be set by the user within a predetermined range.
- LTA is a function that keeps the vehicle running within the lane based on the lane information.
- Driving assistance mode corresponds to automation level 2.0. The driving assistance mode can also be called level 2 mode.
- the fully manual mode and driving support mode correspond to driving modes that require the user's hands-on and eyes-on.
- Hands-on refers to the user gripping the handle
- hands-off refers to the user releasing the handle.
- Eyes-on refers to the user's monitoring of surrounding traffic conditions such as in front of the vehicle. Eyes off refers to the user not monitoring the surroundings, that is, looking away from the front of the vehicle.
- the user In the fully manual mode and driving support mode, the user is in charge of at least part of the driving tasks.
- the fully manual mode and the driver assistance mode are sometimes collectively referred to as the passenger involvement mode.
- the passenger involvement mode can also be called a manual driving mode as an antonym of the automatic driving mode.
- Manual driving in the present disclosure can also include a state in which driving assistance is being performed by the system.
- Automatic driving mode is a driving mode in which the system performs all driving tasks.
- the automatic driving mode is a driving mode corresponding to automation level 3.
- the automatic driving mode may be one that implements level 4 or level 5 automatic driving.
- the automatic driving mode corresponds to a driving mode in which the eyes can be turned off, in other words, a driving mode in which the user can perform the second task.
- a second task is an action other than driving that the user is permitted to perform, and is a predefined action.
- a second task may be called a secondary activity or other activity, or the like.
- actions such as watching content such as videos, operating smartphones, reading electronic books, and eating with one hand are assumed as second tasks.
- the user In the automatic driving mode equivalent to level 3, the user needs to be able to immediately respond to a request to take over the driving operation from the automatic driving system. Therefore, in an automatic driving mode equivalent to level 3, as a second task, for example, sleep, work that cannot immediately release both hands, and actions that involve leaving the driver's seat may be prohibited. Actions that can be executed as the second task and actions that are prohibited can be set based on the regulations of the region where the vehicle is used.
- the automatic driving ECU 30 automatically steers, accelerates, decelerates (in other words, brakes) the vehicle so that the vehicle travels along the road to the destination set by the user. do. Note that switching of the operation mode is automatically executed due to a system limit, ODD exit, or the like, in addition to user operation.
- ODD includes, for example, (a) the road is a highway or a motorway with two or more lanes on each side with a median strip and guardrails, and (b) the traffic is congested.
- the travel road refers to the road on which the host vehicle is traveling.
- the traffic jam situation here can be, for example, a state in which another vehicle exists at a predetermined distance in front of or behind the own vehicle and the traveling speed is 60 km/h or less.
- (c) rainfall amount is equal to or less than a predetermined threshold value
- (d) perimeter monitoring sensors including the front camera 11 are operating normally, and the like.
- ODD optical detection range
- Conditions for determining whether automatic operation is possible/impossible in other words, detailed conditions defining ODD can be changed as appropriate.
- automatic driving in a traffic jam state will be referred to as congestion-time automatic driving
- automatic driving in a specific road section will be referred to as area-limited automatic driving.
- the automatic driving system 1 does not need to be equipped with all of the above driving modes.
- the combination of operation modes provided in the automatic operation system 1 may be only the fully manual mode and the automatic operation mode.
- the driving assistance mode may include an advanced assistance mode in which eyes-on is required but hands-off is possible by operating an LTC (Lane Trace Control) function.
- LTC is a function for causing the own vehicle to travel within the own vehicle travel lane along the own vehicle travel lane, and generates a planned travel line along the own vehicle travel lane and controls EPS and the like. The difference between LTC and LTA is whether the subject of steering is the user or the system.
- High assistance mode corresponds to so-called automation levels 2.1 to 2.9.
- Altitude assistance mode may also be referred to as hands-off level 2 mode.
- the above-described automatic driving ECU 30 is mainly composed of a computer including a processing unit 31, a RAM 32, a storage 33, a communication interface 34, and a bus connecting them.
- the storage 33 stores a vehicle control program, which is a program executed by the processing unit 31 . Execution of the vehicle control program by the processing unit 31 corresponds to execution of a vehicle control method corresponding to the vehicle control program.
- the vehicle control program includes application software corresponding to the above-described ACC, LTA, LTC, and the like. Note that the processor that executes the processing related to driving assistance may be provided separately from the processor that executes the processing related to automatic driving.
- the automatic driving ECU 30 includes functional units shown in FIG. 4 realized by executing an automatic driving program. That is, the automatic driving ECU 30 includes a sensor information acquisition unit G1, a map acquisition unit G2, another vehicle report acquisition unit G3, an environment recognition unit G4, an ability evaluation unit G5, a planning unit G6, a control instruction unit G7, an information presentation processing unit G8, and It has a report processing unit G9.
- the sensor information acquisition unit G1 is configured to acquire various information for implementing driving support or automatic driving.
- the sensor information acquisition unit G1 acquires detection results (that is, sensing information) from various peripheral monitoring sensors including the front camera 11 .
- the sensing information includes the positions, moving speeds, types, and the like of other moving bodies, features, and obstacles existing around the vehicle.
- the sensor information acquisition unit G1 acquires the traveling speed, acceleration, yaw rate, external illuminance, etc. of the own vehicle from the vehicle state sensor 13 .
- the sensor information acquisition unit G1 acquires vehicle position information from the locator 14 .
- the sensor information acquisition unit G1 acquires the user's line-of-sight direction from the DSM 17 .
- the map acquisition unit G2 acquires dynamic map data corresponding to the current position of the vehicle.
- the acquisition source of the dynamic map data may be a map server existing outside the vehicle, a roadside device, or a peripheral vehicle. Map servers, roadside units, other vehicles, etc. correspond to external devices.
- the map data corresponding to the current position is map data for a road section that the vehicle is scheduled to pass within, for example, a predetermined time.
- the map data corresponding to the current position may be map data of an area within a predetermined distance from the current position, or map data of a mesh to which the current position belongs.
- Dynamic map data here refers to local weather information such as the presence or absence and density of fog, rainfall, snowfall, and the presence or absence of sandstorms (wind dust).
- the dynamic map can also include point-by-point road conditions associated with dust and local weather conditions such as snow cover.
- the road surface condition also includes whether or not the road is covered with snow, sand, or the like.
- the map acquisition unit G2 may acquire the angle (altitude) of the sun with respect to the horizon, the direction in which the sun exists with respect to the road extension direction, the brightness of each point, and the like as the dynamic map data.
- the map acquisition unit G2 acquires, as dynamic map data, for example, sections with traffic restrictions, congested sections, and the positions of fallen objects on the road.
- the congested section information can include the beginning position and the end position of the congested section.
- the map acquisition unit G2 may acquire, as dynamic map data, an average trajectory for each lane, which is obtained by integrating the travel trajectories of a plurality of vehicles, from an external server.
- the average trajectory for each lane can be used for setting a target trajectory during automatic driving.
- the dynamic map shows dynamic, quasi-dynamic, and quasi-static traffic information that serves as a reference for vehicle travel control.
- the map acquisition unit G2 may acquire static map data indicating the connection relationship and road structure of roads within a predetermined distance from the current position.
- the source of the static map data may be an external server or a map database installed in the vehicle.
- the static map data may be navigation map data, which is map data for navigation, or high-precision map data that can be used for automatic driving.
- the navigation map data is map data including an error of about several meters to 5 meters, and the high-precision map data corresponds to map data with a positioning error of 10 cm or less, which is higher than the navigation map data.
- the high-precision map data includes, for example, three-dimensional shape information of roads, position information of lane markings and road edges, and position information of landmarks such as traffic lights.
- the other vehicle report acquisition unit G3 acquires from the V2X vehicle-mounted device 16 the detection capability report transmitted from the other vehicle.
- the automatic driving ECU 30 can acquire the current state of the detection capability of the periphery monitoring sensor of the vehicle traveling in front of the own vehicle (that is, the preceding vehicle).
- a detection capability report from the preceding vehicle can be used as material for predicting changes in the detection capability of the perimeter monitoring sensor of the own vehicle.
- Various types of information sequentially acquired by the sensor information acquisition section G1, the map acquisition section G2, and the other vehicle report acquisition section G3 are stored in a memory such as the RAM 32, for example, and used by the environment recognition section G4 and the like.
- various types of information can be classified by type and stored in the memory.
- various types of information can be sorted and saved so that the latest data is at the top, for example. Data that has passed a certain period of time after being acquired can be discarded.
- the environment recognition unit G4 recognizes the driving environment of the vehicle based on the vehicle position information, the surrounding object information, and map data acquired by the sensor information acquisition unit G1. For example, the environment recognition unit G4 recognizes the driving environment of the own vehicle by sensor fusion processing in which the detection results of a plurality of peripheral monitoring sensors such as the front camera 11 and the millimeter wave radar 12 are integrated with a predetermined weight.
- the driving environment includes the position, type, and speed of objects around the vehicle, as well as the curvature of the road, the number of lanes, ego lane numbers, weather, road surface conditions, and whether or not the vehicle is in a congested section.
- the ego lane number indicates what lane the vehicle is traveling in from the left or right edge of the road. Identification of the ego lane number may be performed at the locator 14 .
- the weather and road conditions can be specified by combining the recognition result of the front camera 11 and the weather information acquired by the map acquisition unit G2.
- the road structure may be specified using static map data as well as the recognition result of the front camera 11 .
- the recognition result of the driving environment by the environment recognition section G4 is provided to the ability evaluation section G5 and the planning section G6.
- the ability evaluation unit G5 is configured to evaluate and predict the object detection ability of the peripheral monitoring sensor such as the front camera 11.
- the ability evaluation section G5 corresponds to the detection ability prediction section.
- the ability evaluation unit G5 has a prediction unit G51, a factor identification unit G52, and a current evaluation unit G53 as more detailed functions.
- the prediction unit G51 is configured to predict the detection capability of the perimeter monitoring sensor after a predetermined prediction time from the current time.
- the estimated time can be a value of 5 minutes or less, such as 20 seconds, 30 seconds, or 1 minute.
- the factor identifying unit G52 is configured to identify the factor when the predicting unit G51 determines whether or not the detection capability of the perimeter monitoring sensor falls below a predetermined required level within the predicting time. The required level here corresponds to the performance quality required to continue automated driving.
- the current evaluation unit G53 determines the detection capability of the perimeter monitoring sensor at the present time.
- the current status evaluation unit G53 is configured to determine, for example, whether the peripheral monitoring sensor is functioning normally, or whether its performance is temporarily reduced for some reason.
- the prediction unit G51 determines whether or not the detection capability of the perimeter monitoring sensor falls below a predetermined required level within the prediction time.
- the peripheral monitoring sensor refers to the front camera 11, millimeter wave radar 12, LiDAR, and the like.
- the prediction unit G51 corresponds to a configuration that determines whether or not the detection capability of the surroundings monitoring sensor will not satisfy the required level, which is the performance quality required to continue automatic driving, within the prediction time from the current time.
- the required level can be specifically set for each perimeter monitoring sensor.
- the evaluation of the detection ability by the ability evaluation unit G5 can be performed for each perimeter monitoring sensor.
- the prediction unit G51 predicts whether or not the detection capability of the front camera 11 will fall below the required level based on weather information and road surface conditions for road sections that the vehicle is scheduled to pass within a predetermined period of time, for example.
- a state in which the detection capability of the front camera 11 is below the required level corresponds to a state in which the recognizable distance, which is the distance at which an object having a predetermined size or a specified object can be detected, is less than a predetermined reference value.
- a reference value for the recognizable distance can be, for example, 50 m, 100 m, 150 m, or the like.
- the reference value for the recognizable distance can be set to a larger value as the object is larger. Also, the reference value for the recognizable distance may differ depending on the type of object.
- the prediction unit G51 determines whether or not there is a dense fog area ahead of the vehicle based on weather information. Then, when there is a dense fog area in front of the vehicle, it is determined that the detection capability of the front camera 11 falls below the required level. In this case, the factor identifying unit G52 determines that the deterioration factor that causes the deterioration of the detection capability is fog.
- the front of the vehicle refers to the range that the vehicle will pass within the predicted time.
- a dense fog area conceptually refers to fog with a density that makes the visibility less than 100 m.
- a dense fog area can be a point where multiple vehicles have passed with their fog lights turned on. Setting of the dense fog area can be performed by a map server or the like based on the behavior of a plurality of vehicles.
- the prediction unit G51 may determine that a dense fog area exists in front of the own vehicle when it acquires through inter-vehicle communication from a plurality of vehicles traveling in front of the own vehicle that the fog lamps have been turned on.
- the prediction unit G51 determines that the detection capability of the front camera 11 falls below the required level when the afternoon sun condition is satisfied within the prediction time.
- the factor identifying unit G52 determines that the decrease factor is late afternoon sun.
- the afternoon sun here refers to light from the sun whose angle with respect to the horizon is, for example, 25 degrees or less.
- the afternoon sun condition is set in advance.
- the afternoon sun condition can be specified using at least one of the time zone, heading angle, and altitude of the sun.
- the current time belongs to the time zone from 3:00 p.m.
- Information such as the position of the sun may be acquired from an external server as a dynamic map, or may be acquired from another vehicle through inter-vehicle communication.
- the processing unit 31 may perform internal calculation based on time information and season information.
- the fact that the late afternoon sun condition is satisfied does not necessarily mean that the detection capability of the front camera 11 falls below the required level.
- the required level may be satisfied even if the afternoon sun condition is satisfied.
- the required level can be dynamically changed according to the front camera 11 model and software version.
- the prediction unit G51 determines whether or not there is a heavy rain area in front of the vehicle based on the weather information. Then, when there is a heavy rain area in front of the vehicle, it is determined that the detection capability of the front camera 11 is below the required level. In this case, the factor identifying unit G52 determines that the decrease factor is heavy rain.
- heavy rain here can be defined as rain that falls with such force that the amount of rainfall per hour exceeds a predetermined threshold (for example, 50 mm). Heavy rain also includes localized heavy rain that lasts for less than an hour (for example, several tens of minutes) at a point. Substantially, a section in which a plurality of vehicles operate wipers at a predetermined speed can be a heavy rain area. The setting of the heavy rain area can be performed by a map server or the like based on the rain cloud radar information and behavior information of a plurality of vehicles.
- the prediction unit G51 acquires through inter-vehicle communication from a plurality of vehicles traveling in front of the own vehicle that the wipers are being driven at a speed equal to or higher than a predetermined threshold, the heavy rain area exists in front of the own vehicle. Then you can judge.
- the prediction unit G51 may determine whether or not there is an unclear lane marking area in front of the vehicle. Then, it is determined that the detection capability of the front camera 11 is lower than the required level when there is an unclear lane marking area in front of the vehicle.
- the ambiguous lane marking area refers to an area where the lane marking is thin due to deterioration such as fading.
- the ambiguous lane marking area can include a section where the lane marking has completely disappeared.
- the unclear lane line area can include a snow-covered area where the road surface is covered with snow and a sand-covered area where the road is covered with sand.
- the sand-covered area refers to an area on a paved road with lane markings where the lane markings are temporarily covered with sand due to a sandstorm or the like.
- Areas with unclear lane markings refer to areas where it is difficult to detect lane markings by image recognition.
- the setting of the unclear lane line area can be performed by a map server or the like and delivered to the vehicle.
- the prediction unit G51 obtains a report from a plurality of vehicles traveling ahead of the vehicle through inter-vehicle communication, indicating that the recognition rate of the lane marking is declining. It may be detected that an ambiguous area exists.
- the factor identification unit G52 can determine that the deterioration factor is blurring (deterioration), snow, or dust. However, since there are various conceivable reasons why the lane markings become unclear, the factor identification unit G52 may determine that the cause of the decrease is unknown.
- the current status evaluation unit G53 calculates a distance range (hereinafter, effective recognition distance) in which the front camera 11 can actually recognize landmarks.
- the effective recognition distance is a parameter that varies due to external factors such as fog, rainfall, and afternoon sun, unlike the design recognition limit distance. Even if the designed recognition limit distance is about 200 m, it can be reduced to less than 50 m depending on the amount of rainfall.
- the current evaluation unit G53 calculates the effective recognition distance based on the average value of the distances at which the front camera 11 can detect the landmark from the farthest point (hereinafter referred to as the farthest recognition distance), for example, within a predetermined period of time.
- the effective recognition distance can be calculated as 45m.
- the farthest recognition distance for a certain landmark corresponds to the detection distance when the landmark can be detected for the first time.
- the effective recognition distance of landmarks can also be reduced by factors other than weather, such as occlusion by preceding vehicles. Therefore, when the preceding vehicle exists within the predetermined distance, the calculation of the effective recognition distance may be omitted.
- the effective recognition distance can also decrease when the road ahead of the vehicle is not straight, that is, when it is a curved road. Therefore, when the road ahead is curved, the calculation of the effective recognition distance may be omitted.
- a curved road is assumed to have a curvature of a predetermined threshold value or more.
- the current status evaluation unit G53 may calculate the effective recognition distance to the lane marking instead of/in parallel with the landmark.
- the effective recognition distance of lane markings corresponds to information indicating how far the road surface can be recognized.
- the lane markings used for calculating the effective recognition distance are preferably the lane markings on the left/right side or both sides of the ego lane in which the vehicle is running. This is because there is a possibility that the outside lane marking of the adjacent lane will be blocked by other vehicles.
- the effective recognition distance of the marking line can be, for example, the average value of the recognition distances within the most recent predetermined time period.
- the effective recognition distance of such a demarcation line corresponds to, for example, a moving average value of recognition distances. According to the configuration using the moving average value as the effective recognition distance of the lane marking, it is possible to suppress instantaneous fluctuations in the recognition distance caused by another vehicle blocking the lane marking.
- the current evaluation unit G53 may separately calculate the effective recognition distance to the right side marking line and the effective recognition distance to the left side marking line of the ego lane.
- the larger one of the effective recognition distance of the right side marking line and the effective recognition distance of the left side marking line can be adopted as the effective recognition distance of the marking line.
- the average value of the effective recognition distance of the right side marking line and the effective recognition distance of the left side marking line may be adopted as the effective recognition distance of the marking line.
- the prediction unit G51 identifies the transition trend of the detection ability based on the history of the effective recognition distance and the recognition rate for the lane markings or landmarks of the front camera 11, and determines whether or not the detection ability falls below the required level within the prediction time. may For example, in a configuration in which the effective recognition distances to landmarks are sequentially calculated, the prediction unit G51 determines whether the effective recognition distances to landmarks tend to decrease based on the time-series data of the effective recognition distances to landmarks. do. When the effective recognition distance of the landmark tends to decrease, the prediction unit G51 calculates the decreasing speed.
- a reference value for the effective recognition distance of a landmark can be, for example, 50 m or 100 m.
- the prediction unit G51 determines whether the effective recognition distance to the lane marking tends to decrease based on the time-series data of the effective recognition distance to the lane marking. When the effective recognition distance of the lane marking tends to decrease, the prediction unit G51 calculates the rate of decrease. Then, based on the current value and the rate of decrease, it is determined whether or not the effective recognition distance to the lane marking will fall below the reference value corresponding to the required level within the predicted time from the current time.
- the reference value for the effective recognition distance of the lane marking can be set to 50 m or 100 m, for example.
- the ability evaluation unit G5 can acquire from the front camera 11 a probability value indicating the likelihood of the recognition result for each detected object.
- the prediction unit G51 may determine whether or not the probability values tend to decrease, based on the time-series data of the probability values of the identification results for an object located a predetermined distance ahead, such as 100 m. Also, when the probability value is on a decreasing trend, the prediction unit G51 calculates the rate of decrease. Then, based on the current probability value and the rate of decrease, it may be determined whether or not the recognition rate at a predetermined distance ahead will fall below a predetermined reference value within a predicted time from the current time.
- the current situation evaluation unit G53 compares the recognition result of the front camera 11 with the recognition result of map data or other peripheral monitoring sensors such as LiDAR, and detects an object located a predetermined distance ahead with the front camera 11. You may calculate the correctness rate (accuracy rate) of the recognition result of .
- the prediction unit G51 may determine whether the accuracy rate of the recognition result tends to decrease and the accuracy rate falls below a predetermined reference value corresponding to the required level within the prediction time.
- the ability evaluation unit G5 determines whether or not the front camera 11 will be detected within the predicted time based on at least one of the dynamic map data, reports from the preceding vehicle, history of actual recognition results from the front camera 11, and the like. 11 is below the required level.
- a specific example of a method for predicting that the detection capability of the front camera 11 falls below the required level has been described above. It can be determined whether or not there is a possibility of falling below.
- the planning section G6 is configured to plan the control contents to be executed as driving assistance or automatic driving.
- the planner G6 in the automatic driving mode, the planner G6 generates a travel plan for autonomous travel, in other words, a control plan, based on the recognition result of the travel environment by the environment recognizer G4.
- the control plan includes the travel position, target speed, steering angle, etc. for each time. That is, the travel plan can include acceleration/deceleration schedule information for speed adjustment on the calculated route and steering amount schedule information.
- the planning section G6 performs route search processing as a medium- to long-term driving plan, and generates a recommended route for heading from the vehicle's position to the destination.
- the planning section G6 includes, as short-term control plans for driving in accordance with the medium- to long-term driving plans, a driving plan for changing lanes, a driving plan for driving in the center of the lane, a driving plan for following the preceding vehicle, and an obstacle control plan.
- a travel plan for object avoidance, etc., is generated.
- the planning unit G6 generates, as a travel plan, a route that travels in the center of the recognized ego lane, or creates a travel plan that follows the recognized behavior of the preceding vehicle or the travel trajectory.
- the planning unit G6 can generate a plan candidate for changing lanes for overtaking when the road on which the vehicle is traveling corresponds to a road with multiple lanes on one side. If the presence of an obstacle ahead of the vehicle is recognized based on the perimeter monitoring sensor or the dynamic map data, the planning section G6 may generate a travel plan for passing the side of the obstacle. .
- the planning section G6 may be configured to generate a travel plan determined to be optimal by machine learning, artificial intelligence technology, or the like. It should be noted that the optimal travel plan corresponds to a control plan that conforms to the user's instructions as long as safety is ensured.
- the control plan created by the planning section G6 is input to the control instruction section G7.
- the automatic driving ECU 30 executes processing corresponding to each of ACC, LTA, and LTC as sub-functions for providing the automatic driving function.
- Functional units corresponding to ACC, LTA, and LTC can be understood as subsystems for implementing automatic driving.
- the planning department G6 creates a plan corresponding to each application.
- the ACC unit G61 shown in FIG. 4 is a functional module that generates a plan for realizing running that follows the preceding vehicle.
- the ACC section G61 corresponds to the preceding vehicle follow-up control section.
- the ACC unit G61 creates and updates the travel speed control plan as needed so as to maintain the target inter-vehicle distance specified by the user/automatically determined according to the travel environment.
- the traveling speed is adjusted so as to follow the preceding vehicle within a predetermined range based on a target value designated by the user/automatically determined according to the traveling environment.
- the planning department G6 has a temporary response department G62.
- the temporary response unit G62 creates a plan for executing predetermined temporary control that is executed only when the capability evaluation unit G5 determines that the detection capability of the perimeter monitoring sensor falls below the required level. Details of the temporary control will be described separately later.
- the control instruction unit G7 generates control commands based on the control plan drawn up by the planning unit G6, and sequentially outputs them to the travel actuators.
- the control instruction unit G7 also controls turning on/off of direction indicators, headlights, hazard lamps, etc. according to the travel plan and the external environment, based on the plan of the planning unit G6 and the external environment.
- the information presentation processing unit G8 notifies/proposes to the user via the information presentation device 18 based on the control plan formulated by the planning unit G6. For example, the information presentation processing unit G8 displays an image showing the operating state of the automatic driving system 1 on the HUD 18A.
- the operating state of the automatic driving system 1 includes whether the peripheral monitoring sensor including the front camera 11 is operating normally, the driving mode, the driving speed, the remaining time until the lane change, and the like.
- the information presentation processing unit G8 can also give an advance notice of handover when the remaining time until the driver change due to exiting the expressway or the like is within a predetermined time.
- the information presentation processing section G8 displays an image indicating that the temporary control is being performed on the HUD 18A when the temporary control is started under the plan of the planning section G6.
- the report processing section G9 Based on the evaluation result of the ability evaluation section G5, the report processing section G9 generates a data set corresponding to the detection ability report and transmits it to other vehicles and the map server.
- the detection capability report can be a data set indicating the actual measurement value (effective value) of the detection capability of the perimeter monitoring sensor calculated by the current evaluation unit G53.
- the detection ability deterioration response process which is a series of processes related to the deterioration of the detection ability of the surroundings monitoring sensor, performed by the automatic driving ECU 30 will be described with reference to the flowchart shown in FIG. 5 .
- the flowchart shown in FIG. 5 may be started at a predetermined cycle such as, for example, every second, every ten seconds, or every minute.
- the detection capability deterioration response process includes steps S101 to S108. It should be noted that the number and order of the processing steps constituting the detection capability deterioration response processing can be changed as appropriate.
- a pattern for processing the front camera 11 among the surrounding monitoring sensors will be described as an example, but other sensors such as the millimeter wave radar 12 can be similarly implemented.
- step S101 the setting data for the current mode, which is the current operation mode, is read from the RAM 22 or the like, and the process proceeds to step S102.
- step S102 the sensor information acquisition section G1, the map acquisition section G2, the other vehicle report acquisition section G3, etc. acquire various information used in subsequent processing, and the process proceeds to step S103. For example, it acquires detection results from the front camera 11, dynamic map data, reports from other vehicles, and the like.
- step S103 internal arithmetic processing in the automatic driving ECU 30, such as calculation of the effective recognition distance by the current evaluation unit G53, can also be performed in step S102.
- step S103 it is determined whether or not the current mode is the automatic operation mode. If the current mode is the automatic operation mode, an affirmative decision is made in step S103 and the process proceeds to step S104. On the other hand, if the current mode is not the automatic operation mode, a negative determination is made in step S103, and this flow ends.
- step S104 the prediction unit G51 uses one or more of the various methods described above to determine whether the object detection capability of the front camera 11 will fall below the required level within the prediction time from the current time.
- the prediction unit G51 determines that the detection capability of the front camera 11 will fall below the required level within the prediction time from the current time
- an affirmative determination is made in step S105 and the process proceeds to step S106.
- a negative determination is made in step S105 and this flow ends.
- step S106 the factor identifying unit G52 identifies the cause of the drop in detection capability based on the reason that the prediction unit G51 determined that the detection capability is below the required level, and proceeds to step S107. If the decrease factor falls under the unknown type, the factor identification unit G52 can determine that the decrease factor is unknown.
- the configuration for specifying the decrease factor, such as step S106, is an optional element and may be omitted.
- step S107 the temporary response unit G62 creates a plan for executing predetermined temporary control.
- the automatic driving ECU 30 performs control based on the plan created by the planning department G6 including the temporary response department G62. Therefore, the temporary response section G62 can be understood as a configuration for executing temporary control.
- (A) Light control is control for turning on headlights or fog lamps.
- the light control as the temporary control is performed even if the illuminance provided from the illuminance sensor is equal to or higher than the automatic lighting threshold.
- the temporary response unit G62 turns on the headlamps or fog lamps as temporary control even if the external illuminance detected by the illuminance sensor is equal to or higher than the automatic lighting threshold.
- the lighting device 151 to be turned on may be a headlamp or a fog lamp.
- the headlights when the headlights are not lit, the headlights are turned on as temporary control.
- the lighting mode at that time may be any of low beam, high beam, and semi-high beam, and lighting can be performed in a mode set in advance/according to the environment.
- the fog lamps are additionally turned on.
- the fog lamps may be turned on as temporary control based on preset rules.
- the temporary response unit G62 may switch the lighting device 151 to be lit according to the decrease factor identified by the factor identification unit G52. For example, when the factor identification unit G52 determines that fog is the cause of the decrease in the object detection capability, the temporary response unit G62 turns on the fog lamps as temporary control. As a result, the fog lamps can be turned on before the vehicle actually enters the dense fog area, in other words, before the object detection capability falls below the required level. As a result, it is possible to suppress the deterioration of the object detection capability of the front camera 11 due to fog, and reduce the possibility that the automatic driving mode will be interrupted. Also, if the cause is unknown, a semi-high beam may be emitted as light control. As a result, the road surface in the vicinity of the vehicle is illuminated more brightly than with a normal low beam, so that it is possible to suppress the deterioration of the detection capability and improve the continuity of the automatic driving mode.
- Changing the set value of the inter-vehicle distance is, for example, control to make the target value of the inter-vehicle distance longer than the original value manually set by the user or automatically set by the system according to the target speed.
- a change in the target value of the inter-vehicle distance is realized in cooperation with the ACC section G61.
- the increase width of the target value with respect to the original value can be, for example, 25m or 50m.
- the increase range of the target value may be determined, for example, based on the concept of inter-vehicle time so that the higher the target value of the running speed, the greater the increase.
- the length of the inter-vehicle distance can be set in four stages.
- Increasing the set value of the inter-vehicle distance can correspond to increasing the inter-vehicle distance setting by one step.
- the original value is a value applied when the driving environment is good, in other words, when the detection capability satisfies the required level, and can also be called a basic value or a normal value.
- (B) changing the set value of the inter-vehicle distance is, for example, a control that makes the target value of the inter-vehicle distance shorter than the original value specified by the user or automatically set by the system according to the target speed by a predetermined amount.
- the reduction width of the target value can be, for example, 25m or 50m.
- the shortening width of the target value may be dynamically determined so as to decrease as the target value of the running speed increases.
- Starting side-by-side driving refers to, for example, starting control to adjust the speed so that the vehicle runs side-by-side with another vehicle running in the adjacent lane.
- parallel driving it is easier to determine the traveling position in the width direction of the road with reference to other vehicles, and it becomes easier to maintain the ego lane. In other words, it is possible to reduce the risk of running out of the lane.
- the vehicle on the right side of the host vehicle be the other vehicle to be run in parallel. This is because in areas where traffic is left-handed, the lane on the right side is likely to be an overtaking lane, and running alongside a vehicle on the left side may hinder the flow of traffic.
- the automatic driving ECU 30 cancels the parallel running control when it detects through image recognition or inter-vehicle communication that another vehicle targeted for the parallel running control has activated its direction indicator.
- the state of running alongside another vehicle is not limited to the state of running right beside it, but also includes the mode of running about 5m to 20m behind the right side. If the vehicle is completely sideways, it may cause discomfort to passengers of other vehicles. In addition, the vicinity of the position where the vehicle is completely beside the vehicle is likely to be a blind spot of the side mirrors, and it cannot be said that the visibility for users of other vehicles is good. In view of such circumstances, it is preferable to run in a position that is a predetermined distance behind the other vehicle in the side-by-side driving.
- Adjusting the running position in the lateral direction means adjusting the running position in the road width direction, and specifically means changing lanes so that the vehicle runs in the first lane.
- the edge of the road may be included in the detection range of the perimeter monitoring sensor.
- Road edges may be defined by steps, guardrails, sidewalls, and the like.
- roadsides have a three-dimensional structure, so they are easily detected by various sensors such as millimeter-wave radar. Therefore, it is relatively easy to recognize the position of the road edge even in a situation where it is difficult to recognize the lane markings. If the position of the road edge can be recognized, it becomes easier to specify the shape of the road and the traveling position of the own vehicle in the road width direction. As a result, it is possible to reduce the risk of the vehicle running out of the lane. As a result, the fear of interrupting automatic driving can be reduced.
- the temporary response unit G62 does not need to implement all of the controls (A) to (D), and can selectively plan and implement only some of them. For example, (C) starting parallel driving or (D) adjusting the running position in the lateral direction may be applied only when there is no preceding vehicle and running following the preceding vehicle cannot be performed. If there is a preceding vehicle, it is preferable to preferentially execute (B) over (C). Which one of the plurality of temporary control examples is to be performed can be selectively performed according to the driving environment and deterioration factors.
- the automatic driving ECU 30 executes step S108 as a process subsequent to step S107.
- the information presentation processing unit G8 notifies the user by image display or the like that the temporary control has started. In other words, the fact that the temporary control has started is reported to the user after the fact. Note that the execution report of the temporary control may be omitted. This is because the user is performing the second task, and excessive information presentation may annoy the user.
- the process of notifying that the temporary control has started may be limited to displaying an image and not outputting a voice message or notification sound.
- the temporary control report image which is an image for notifying that the temporary control has started, preferably includes information showing an outline of the temporary control being executed. While the temporary control is being executed, the HCU 20 may display an icon image to that effect on the HUD 18A or the like based on an instruction from the automatic driving ECU 30 .
- the temporary control is started when even one of the plurality of perimeter monitoring sensors has a detection capability lower than the required level, but the present invention is not limited to this.
- the temporary control may be executed only when the detection capability of a specific perimeter monitoring sensor among the plurality of perimeter monitoring sensors falls below the required level.
- the content of the temporary control may be changed according to the sensor whose detection capability has deteriorated. For example, different temporary controls may be executed when the detection capability of the front camera 11 is lowered and when the detection capability of the millimeter wave radar 12 is lowered. Specifically, when the detection capability of the front camera 11 is degraded, the setting value of the inter-vehicle distance, etc. is changed without changing the target value of the traveling speed in ACC. On the other hand, when the detection capability of the millimeter wave radar 12 is lowered, the target value of the traveling speed is reduced by a predetermined amount. As long as the millimeter wave radar 12 is operating normally, the distance and relative speed to the preceding vehicle can be detected with high accuracy. According to the configuration that suppresses the speed by a predetermined amount, it is possible to increase the time allowance for coping with an unexpected event such as a preceding vehicle, thereby enhancing safety.
- the specific content of changing the inter-vehicle distance setting may be changed according to whether the driving environment is in a congested section. If the driving environment is in a congested section, control is performed to shorten the set value of the inter-vehicle distance by a predetermined amount as (B). On the other hand, if the driving environment is not in a congested section, control is performed to lengthen the set value of the inter-vehicle distance by a predetermined amount as (B).
- the vehicle-to-vehicle distance is set longer than the originally set value, thereby making it easier to safely respond to the sudden braking of the preceding vehicle.
- the temporary response unit G62 restores the setting of the inter-vehicle distance to the original value when the detection ability recovers to the required level or higher.
- the contents of the temporary control are not limited to the above examples.
- the temporary response unit G62 performs (E) control (in other words, setting change) to lower the set value of the target speed during automatic driving by a predetermined amount from the original value set by the user/system. Also good.
- the temporary handling unit G62 may perform (F) handover request as temporary control.
- the handover request corresponds to requesting the driver's seat occupant or operator to take over the driving operation in conjunction with the HMI system 2 .
- a handover request corresponds to notification processing for requesting a change of driving.
- the temporary response unit G62 may perform (G) a standby request requesting to start preparations for driving change as temporary control.
- the standby request corresponds to preparation for driving change, specifically, processing for requesting to start monitoring the front and the like.
- a standby request can be understood as a less urgent request than a handover request.
- the user can prepare for driving change at the timing when the second task is finished. Since it is possible to reduce the possibility of resuming the driving operation when the second task is incomplete, compared to the case where the handover request is made suddenly, the possibility of impairing the user's convenience can be reduced.
- the standby request may be a process of displaying a message image requesting to start preparation of the operating frame on the HUD 18A or the like together with a predetermined notification sound. Since the standby request is relatively less urgent, the output of the voice message may be omitted.
- the automatic driving ECU 30 may sequentially perform a plurality of temporary controls in parallel. For example, after performing any one or more of (A) to (E), (G) and (F) may be performed in order. By performing any one of (A) to (E) as temporary control before prompting the driver to switch driving, it is possible to extend the time during which the automatic driving mode can be continued. This reduces the possibility that the second task will be interrupted. In addition, since it is possible to give the user a grace period until driving change, convenience can be improved.
- the automatic driving ECU 30 may be configured to perform only one of the plurality of temporary controls exemplified above. For example, when the automatic driving ECU 30 predicts that the detection capability is lower than the required level in the automatic driving mode, it does not execute any of (A) to (E), and executes (F) or (G). may be configured.
- the temporary response unit G62 performs the following control regarding light control when the user's line of sight is not directed forward in a situation where the external illuminance is less than the automatic lighting threshold. good.
- the detection capability of the perimeter monitoring sensor satisfies the required level, low beams will be emitted instead of high beams even if there are no vehicles in front of the oncoming or preceding vehicle. do. If the user does not monitor the surroundings and the detection accuracy of the surroundings monitoring sensor is good, there is little need to irradiate the high beams, which can result in wasted power. In addition, high beams can dazzle surrounding pedestrians and the like.
- Whether or not the user's line of sight is directed forward can be identified from the output signal of the DSM 17 .
- Whether or not the detection capability of the peripheral monitoring sensor satisfies the required level even when the headlights are set to low beam mode can be determined, for example, by evaluating the detection capability once the low beam is set for several seconds. .
- a mode has been disclosed in which temporary control is started when the capability evaluation unit G5 determines that the detection capability of a predetermined perimeter monitoring sensor will deviate from the required level after a predicted time from the current time, but the present invention is not limited to this.
- a time lag may be provided between when it is determined that the detection capability of the periphery monitoring sensor deviates from the required level and when the temporary control is started.
- Temporary control may be started before the scheduled departure time, which is the time at which the detection capability is predicted to deviate from the required level. For example, while the predicted time is set to 1 minute, the temporary control may be started 15 seconds before the scheduled departure time. The timing at which the temporary control is actually started may be changed according to the content of the temporary control.
- changing the setting value for the inter-vehicle distance, controlling the running speed, and turning on the headlights will start when it is determined that the detection capability will deviate from the required level after the predicted time, while turning on the fog lights will start at the time when the deviation is scheduled to occur. You can start minutes earlier.
- traffic rules may not permit the lighting of fog lamps in scenes other than bad environments such as dense fog. The range within 1 minute from the dense fog area is generally a bad environment, and it can be expected that the behavior will be suitable for traffic rules.
- the devices, systems, and techniques described in the present disclosure are implemented by a dedicated computer comprising a processor programmed to perform one or more functions embodied by a computer program. may be implemented.
- the apparatus and techniques described in this disclosure may also be implemented using dedicated hardware logic. Additionally, the apparatus and techniques described in this disclosure may be implemented by one or more special purpose computers configured in combination with a processor executing a computer program and one or more hardware logic circuits.
- the computer program may also be stored as computer-executable instructions on a computer-readable non-transitional tangible storage medium. For example, part or all of the functions provided by the automatic driving ECU 30 may be implemented as hardware.
- a mode of implementing a certain function as hardware includes a mode of implementing it using one or a plurality of ICs.
- the automatic driving ECU 30 may be implemented using an MPU, a GPU, or a DFP (Data Flow Processor) instead of the CPU.
- the automatic driving ECU 30 may be implemented by combining multiple types of arithmetic processing units such as a CPU, an MPU, and a GPU.
- the automatic driving ECU 30 may be implemented as a system-on-chip (SoC).
- SoC system-on-chip
- the automatic driving ECU 30 may be implemented using an FPGA (Field-Programmable Gate Array) or an ASIC (Application Specific Integrated Circuit).
- Various programs may be stored in a non-transitory tangible storage medium.
- Various storage media such as HDD (Hard-disk Drive), SSD (Solid State Drive), flash memory, and SD (Secure Digital) card can be used as the program storage medium.
- a plurality of functions possessed by one component in the above embodiment may be realized by a plurality of components, and a function possessed by one component may be realized by a plurality of components. Moreover, a plurality of functions possessed by a plurality of components may be realized by one component, and one function realized by a plurality of components may be realized by one component. In addition, part of the configuration of the above embodiment may be omitted.
- a program for causing a computer to function as the automatic driving ECU 30, a form of a non-transitional substantive recording medium such as a semiconductor memory recording the program, and the like are also included in the scope of the present disclosure.
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
自動運転ECUは、地図サーバから取得する動的地図データ、及び、前方カメラの検出結果の時系列データに基づき、前方カメラの検出能力が所定の予測時間以内に、自動運転を継続するために必要な要求レベルを下回るか否かを判定する。自動運転ECUは、検出能力が要求レベルを下回ると判定した場合には、実際に検出能力が要求レベルを下回る前から、通常時には実施しない所定の臨時制御を開始する。臨時制御とは、例えば、速度の自動調整制御における車間距離設定値の拡大や、車速の抑制などである。
Description
この出願は、2021年3月22日に日本に出願された特許出願第2021-047522号を基礎としており、基礎の出願の内容を、全体的に、参照により援用している。
本開示は、自動運転を行うための車両制御装置、車両制御方法に関する。
特許文献1には、渋滞が発生しており、且つ渋滞の発生している区間の長さが所定値以上である場合に、自動運転を開始させる車両制御装置が開示されている。特許文献2には、複数の車両からの報告に基づき、カメラなどの周辺監視センサの検出能力が低下するエリアを特定し、当該エリアの情報を配信する技術が開示されている。特許文献2には、自車両の現在位置が検出能力低下エリア内であることに基づいて自動運転を終了する構成についても言及されている。
なお、先行技術文献の記載内容は、本開示における技術的要素の説明として、参照により援用することができる。
運転操作の自動化レベルとしては、例えば米国自動車技術会(SAE International)が定義しているように、複数のレベルが存在し得る。本開示における自動運転とは、すべての運転タスクをシステムが行い、ユーザが車両周辺(主として前方)を監視する必要がないレベルであって、いわゆるレベル3以上を指す。なお、自動化のレベル2以下は、ユーザに車両周辺を監視する義務が発生するレベルに対応する。ここでのシステムとは、自動運転機能を提供する車両制御装置を主体とする車載システムを指す。また、ここでのユーザは、運転席に着座している乗員を指す。自動運転が行われている状態である自動運転を実行中には、ユーザは車両前方を見る必要はなく、例えばスマートフォンの操作など、セカンドタスクとして予め定められた行為の実行が許容されうる。
ところで、自動運転はカメラなどの周辺監視センサのセンシング情報に基づいて外界を認識し、制御計画を作成する。そのため、例えば濃霧や黄砂などによって周辺監視センサの検出性能が、自動運転を継続するための所定の要求レベルを下回った場合には、自動運転が中断されうる。また、線のかすれや水たまりなどによってレーンを規定する車線区画線の認識率が低下した場合にも、自車両の走行位置の推定精度が低下するため自動運転が中断されうる。
自動運転が頻繁に中断されると、セカンドタスクとしてユーザが行いたいことが度々中断されることとなり、利便性が低下する。
本開示は、上記の着眼点に基づいて成されたものであり、その目的の1つは、自動運転が中断される恐れを低減可能な車両制御装置、車両制御方法を提供することにある。
ここに開示される車両制御装置は、車両の周辺に存在する物体を検出する周辺監視センサの出力信号に基づいて車両を自律的に走行させる制御である自動運転を実施可能に構成された車両制御装置であって、直近所定時間以内における周辺監視センサの出力信号の履歴、及び、外部装置より無線通信で取得する車両がこれから通過予定の道路区間についての動的地図データの少なくとも何れか一方に基づいて、周辺監視センサの検出能力が、現時点から所定の予測時間以内に、自動運転を継続するために必要な性能品質である要求レベルを充足しなくなるか否かを判断する検出能力予測部と、自動運転を実行中、予測時間以内に検出能力が要求レベルを充足しなくなると検出能力予測部が判定したことに基づいて、所定の臨時制御を開始する臨時対応部と、を備える。
また、ここに開示される車両制御方法は、車両の周辺に存在する物体を検出する周辺監視センサの出力信号に基づく自動運転を実施可能に構成された車両に適用される、少なくとも1つのプロセッサを用いて実施される車両制御方法であって、直近所定時間以内における周辺監視センサの出力信号の履歴、及び、外部装置より無線通信で取得する車両がこれから通過予定の道路区間についての動的地図データの少なくとも何れか一方に基づいて、周辺監視センサの検出能力が、現時点から所定の予測時間以内に、自動運転を継続するために必要な性能品質である要求レベルを充足しなくなるか否かを判断することと、自動運転を実行中、予測時間以内に検出能力が要求レベルを充足しなくなると判定されたことに基づいて、所定の臨時制御を開始することと、を含む。
上記装置/方法によれば、周辺監視センサの検出能力が自動運転を継続するための要求レベルを下回る見込みがある場合には、事前に臨時制御が開始される。これにより、周辺監視センサの検出能力が実際に要求レベルを下回ることを回避したり、検出能力が要求レベル未満となるまでの残余時間を伸ばしたりする効果が期待できる。その結果、自動運転が中断される恐れを低減できる。
なお、請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。
図面を参照しながら、本開示の実施形態の一例を説明する。本開示は、以下の車両制御装置が適用される地域の法規及び慣習に適合するように適宜変更して実施可能である。
<前置き>
図1は、本開示に係る自動運転システム1の概略的な構成の一例を示す図である。自動運転システム1は、道路上を走行可能な車両に搭載可能である。自動運転システム1が適用される車両としては、四輪自動車のほか、二輪自動車、三輪自動車等であってもよい。自動運転システム1が適用される車両は、個人によって所有されるオーナーカーであってもよいし、シェアカーや、レンタカー、運送サービスカーであってもよい。運送サービスカーには、タクシーや路線バス、乗り合いバスなどが含まれる。シェアカーは、カーシェアリングサービスに供される車両であり、レンタカーは車両貸し出しサービスに供される車両である。以降では自動運転システム1が搭載されている車両を自車両とも記載する。
図1は、本開示に係る自動運転システム1の概略的な構成の一例を示す図である。自動運転システム1は、道路上を走行可能な車両に搭載可能である。自動運転システム1が適用される車両としては、四輪自動車のほか、二輪自動車、三輪自動車等であってもよい。自動運転システム1が適用される車両は、個人によって所有されるオーナーカーであってもよいし、シェアカーや、レンタカー、運送サービスカーであってもよい。運送サービスカーには、タクシーや路線バス、乗り合いバスなどが含まれる。シェアカーは、カーシェアリングサービスに供される車両であり、レンタカーは車両貸し出しサービスに供される車両である。以降では自動運転システム1が搭載されている車両を自車両とも記載する。
ここでは一例として自車両は電気自動車とするがこれに限らない。自車両は、エンジン車であってもよいし、ハイブリッド車であってもよい。電気自動車は、モータのみを駆動源として備える車両を指す。ガソリン車は、駆動源としてエンジンのみを備える車両であって、ガソリンや軽油などの燃料によって走行する車両に相当する。ハイブリッド車は動力源としてエンジンとモータを備える車両を指す。その他、自車両は燃料電池車(FCV:Fuel Cell Vehicle)であってもよい。
ここでは一例として自動運転システム1が左側通行の地域で使用される場合を想定して各装置の作動を説明する。それに伴い、進行方向を同一とするレーンの中で左端のレーンを第1レーンと称する。右側通行の地域で使用される場合には上記の左右を逆にすることにより本開示の構成を実施可能である。例えば右側通行の地域においては第1レーンとは進行方向を同一とするレーンの中で右端のレーンを指す。以下で述べる自動運転システム1は、使用される地域の交通法規や慣習に適合するように変更して実施可能である。
本開示におけるユーザとは、自動運転中においては自動運転システムから運転操作の権限を受け取るべき人物を指す。ユーザとは、主として運転席に着座している人物、つまり運転席乗員を指す。ユーザとの記載はドライバと置き換えることができる。自車両は、車両外部に存在するオペレータによって遠隔操作される遠隔操作車両であってもよい。ここでのオペレータとは、所定のセンタなど、車両の外部から遠隔操作によって車両を制御する権限を有する人物を指す。オペレータもまた、ユーザの概念に含めることができる。後述するHCU20による種々の情報の提示対象はオペレータであってもよい。
自動運転システム1は、自車両を自律的に走行させる、いわゆる自動運転機能を提供する。運転操作の自動化の度合い(以下、自動化レベル)としては、例えば米国自動車技術会(SAE International)が定義しているように、複数のレベルが存在し得る。自動化レベルは、例えばSAEの定義では、以下のようにレベル0~5の6段階に区分される。
レベル0は、システムが介入せずに運転席乗員としてのユーザが全ての運転タスクを実施するレベルである。運転タスクには、例えば操舵及び加減速が含まれる。また、運転タスクには、例えば車両前方など、車両の周辺を監視することも含まれる。レベル0は、いわゆる完全手動運転レベルに相当する。レベル1は、操舵と加減速との何れかをシステムがサポートするレベルである。レベル2は、操舵操作と加減速操作のうちの複数をシステムがサポートするレベルを指す。レベル1~2は、いわゆる運転支援レベルに相当する。
レベル3は、運行設計領域(ODD:Operational Design Domain)内においてシステムが全ての運転タスクを実行する一方、緊急時にはシステムからユーザに操作権限が移譲されるレベルを指す。ODDは、例えば走行位置が高速道路内であること等の、自動運転を実行可能な条件を規定するものである。レベル3では、システムから運転交代の要求があった場合に、ユーザが迅速に対応可能であることが求められる。なお、車両に乗車しているユーザの代わりに、車両外部に存在するオペレータが運転操作を引き継いでもよい。レベル3は、いわゆる条件付き自動運転に相当する。
レベル4は、対応不可能な所定の道路、極限環境等の特定状況下を除き、システムが全ての運転タスクを実施するレベルである。レベル4は、ODD内にてシステムが全ての運転タスクを実施するレベルに相当する。レベル4は、いわゆる高度自動運転に相当する。レベル5は、あらゆる環境下でシステムが全ての運転タスクを実施可能なレベルである。レベル5は、いわゆる完全自動運転に相当する。レベル3~5が自動運転に相当する。レベル3~5は、車両の走行に係る制御のすべてを自動で実行する、自律走行レベルと呼ぶこともできる。本開示の「自動運転」が指すレベルは、ユーザが前方を監視する必要がないレベルであって、レベル3以上を指す。以降では、自動運転システム1は自動化レベル3以上の自動運転を実施可能に構成されている場合を例に挙げて説明を行う。
<自動運転システム1の全体構成について>
自動運転システム1は一例として図1に示す種々の構成を備える。すなわち、自動運転システム1は、前方カメラ11、ミリ波レーダ12、車両状態センサ13、ロケータ14、ボディECU15、灯火装置151、V2X車載器16、及びDSM17を備える。また、自動運転システム1は、情報提示装置18、入力装置19、HCU20、及び自動運転ECU30を備える。情報提示装置18、入力装置19、及びHCU20を含む構成はHMIシステム2として構成されている。HMIシステム2は、ユーザ操作を受け付ける入力インターフェース機能と、ユーザへ向けて情報を提示する出力インターフェース機能とを提供するシステムである。なお、部材名称中のECUは、Electronic Control Unitの略であり、電子制御装置を意味する。DSMは、ドライバステータスモニタ(Driver Status Monitor)の略である。HMIは、Human Machine Interfaceの略である。HCUは、HMI Control Unitの略である。V2XはVehicle to X(everything/something)の略で、車を様々なものをつなぐ通信技術を指す。
自動運転システム1は一例として図1に示す種々の構成を備える。すなわち、自動運転システム1は、前方カメラ11、ミリ波レーダ12、車両状態センサ13、ロケータ14、ボディECU15、灯火装置151、V2X車載器16、及びDSM17を備える。また、自動運転システム1は、情報提示装置18、入力装置19、HCU20、及び自動運転ECU30を備える。情報提示装置18、入力装置19、及びHCU20を含む構成はHMIシステム2として構成されている。HMIシステム2は、ユーザ操作を受け付ける入力インターフェース機能と、ユーザへ向けて情報を提示する出力インターフェース機能とを提供するシステムである。なお、部材名称中のECUは、Electronic Control Unitの略であり、電子制御装置を意味する。DSMは、ドライバステータスモニタ(Driver Status Monitor)の略である。HMIは、Human Machine Interfaceの略である。HCUは、HMI Control Unitの略である。V2XはVehicle to X(everything/something)の略で、車を様々なものをつなぐ通信技術を指す。
前方カメラ11は、車両前方を所定の画角で撮像するカメラである。前方カメラ11は、例えばフロントガラスの車室内側の上端部や、フロントグリル、ルーフトップ等に配置されている。前方カメラ11は、図2に示すように、画像フレームを生成するカメラ本体部111と、画像フレームに対して認識処理を施す事により、所定の検出対象物を検出するECU(以降、カメラECU112)と、を備える。カメラ本体部111は少なくともイメージセンサとレンズとを含む構成である。カメラ本体部111は、所定のフレームレート(例えば60fps)で撮像画像データを生成及び出力する。カメラECU112は、CPU(Central Processing Unit)や、GPU(Graphics Processing Unit)などを含む画像処理チップを主体として構成されており、機能ブロックとして識別器113を含む。識別器113は、カメラ本体部111で生成された画像の特徴量ベクトルに基づき、物体の種別を識別する構成である。識別器113には、例えばディープラーニングを適用したCNN(Convolutional Neural Network)やDNN(Deep Neural Network)などを利用可能である。
前方カメラ11の検出対象物には、例えば、歩行者や、他車両などの移動体が含まれる。他車両には自転車や原動機付き自転車、オートバイも含まれる。また、前方カメラ11は、所定の地物も検出可能に構成されている。前方カメラ11が検出対象とする地物には、道路端や、路面標示、道路沿いに設置される構造物が含まれる。路面標示とは、交通制御、交通規制のための路面に描かれたペイントを指す。例えば、レーンの境界を示す車線区画線や、横断歩道、停止線、導流帯、安全地帯、規制矢印などが路面標示に含まれる。車線区画線は、レーンマークあるいはレーンマーカーとも称される。車線区画線には、チャッターバーやボッツドッツなどの道路鋲によって実現されるものも含まれる。以降における区画線とは、レーンの境界線をさす。区画線には、車道外側線や、中央線(いわゆるセンターライン)なども含まれる。
道路沿いに設置される構造物とは、例えば、ガードレール、縁石、樹木、電柱、道路標識、信号機などである。カメラECU112を構成する画像プロセッサは、色、輝度、色や輝度に関するコントラスト等を含む画像情報に基づいて、撮像画像から背景と検出対象物とを分離して抽出する。なお、前方カメラ11はローカライズ処理においてランドマークとして使用されうる地物を検出可能に構成されていることが好ましい。
本実施形態のカメラECU112は、より好ましい態様として、画像認識結果の信頼度を示すデータも出力する。認識結果の信頼度は、例えば、降雨量や、逆光の有無、外界の明るさなどをもとに算出される。なお、認識結果の信頼度は、その他、特徴量の一致度合いを示すスコアであってもよい。信頼度は、例えば、識別器113による識別結果として出力される、認識結果の確からしさを示す確率値であってもよい。当該確率値は前述の特徴量の一致度合いに相当しうる。
ミリ波レーダ12は、車両前方に向けてミリ波又は準ミリ波といった探査波を送信するとともに、当該送信波が物体で反射されて返ってきた反射波の受信データを解析することにより、自車両に対する物体の相対位置や相対速度を検出するデバイスである。ミリ波レーダ12は、例えば、フロントグリルや、フロントバンパに設置されている。ミリ波レーダ12には、検出物体の大きさや移動速度、受信強度に基づいて、検出物の種別を識別するレーダECUが内蔵されている。レーダECUは、検出結果として、検出物の種別や、相対位置(方向と距離)、受信強度を示すデータを自動運転ECU30等に出力する。ミリ波レーダ12の検出対象物には、他車両や、歩行者などの他、マンホール(鉄板)やランドマークとしての立体構造物が含まれていてもよい。
観測データに基づく物体認識処理は、自動運転ECU30など、センサ外のECUが実行しても良い。その場合、前方カメラ11やミリ波レーダは、観測データを検出結果データとして自動運転ECU30に出力する。前方カメラ11にとっての観測データとは、画像フレームを指す。ミリ波レーダの観測データとは、検出方向及び距離毎の受信強度及び相対速度を示すデータ、または、検出物の相対位置及び受信強度を示すデータを指す。
前方カメラ11及びミリ波レーダ12は、自車の周辺を監視する周辺監視センサに相当する。周辺監視センサとしては、前方カメラ11及びミリ波レーダ12の他、LiDAR(Light Detection and Ranging/Laser Imaging Detection and Ranging)、ソナー等を採用することができる。また、自動運転システム1は、周辺監視センサとして前方を主たる検出範囲とするセンサの他に、車両後方や、側方などを検出範囲とするセンサを備えていても良い。例えばリアカメラやサイドカメラ、後方ミリ波レーダなどを備えうる。
車両状態センサ13は、自車両の状態に関する情報を検出するセンサ群である。車両状態センサ13には、車速センサ、操舵角センサ、加速度センサ、ヨーレートセンサ等が含まれる。車速センサは、自車の車速を検出する。操舵角センサは、操舵角を検出する。加速度センサは、自車の前後加速度、横加速度等の加速度を検出する。ヨーレートセンサは、自車の角速度を検出する。車両状態センサ13は、検出対象とする物理状態量の現在の値(つまり検出結果)を示すデータを車両内ネットワークIvNに出力する。
なお、車両状態センサ13として自動運転システム1が使用するセンサの種類は適宜設計されればよく、上述した全てのセンサを備えている必要はない。また、自動運転システム1は車両状態センサ13として照度センサや、レインセンサ、ワイパー速度センサなども含めることができる。照度センサは、車両外部の明るさを検出するセンサである。レインセンサは、降雨を検出するセンサである。ワイパー速度センサは、ワイパーの動作速度を検出するセンサである。ワイパーの動作速度には、動作間隔が含まれる。
ロケータ14は、複数の情報を組み合わせる複合測位により、自車両の高精度な位置情報等を生成する装置である。車両位置は、例えば緯度、経度、及び高度の3次元座標で表される。ロケータ14が算出した車両位置情報は車両内ネットワークIvNに出力され、自動運転ECU30等で利用される。ロケータ14は、例えば、GNSS受信機を用いて構成されている。GNSS受信機は、GNSS(Global Navigation Satellite System)を構成する測位衛星から送信される航法信号(以降、測位信号)を受信することで、当該GNSS受信機の現在位置を逐次検出するデバイスである。例えばGNSS受信機は4機以上の測位衛星からの測位信号を受信できている場合には、100ミリ秒ごとに測位結果を出力する。GNSSとしては、GPS、GLONASS、Galileo、IRNSS、QZSS、Beidou等を採用可能である。ロケータ14は、GNSS受信機の測位結果と、慣性センサの出力とを組み合わせることにより、自車両の位置を逐次算出しても良い。
なお、ロケータ14は、ローカライズ処理(いわゆるLocalization)を実施可能に構成されていても良い。ローカライズ処理は、前方カメラ11で撮像された画像に基づいて特定されたランドマークの座標と、地図データに登録されているランドマークの座標とを照合することによって自車両の詳細位置を特定する処理を指す。ランドマークとは、例えば、方面看板などの案内標識や、信号機、ポール、一時停止線などである。ローカライズ処理は、LiDARが出力する3次元の検出点群データと、3次元地図データとの照合により実施されても良い。
種々の地物についての情報を含む地図データは、図示しない不揮発性の記憶装置に保存されていてもよいし、外部サーバから随時ダウンロードして所定の揮発性メモリに保存されていてもよい。ロケータ14が備える一部又は全部の機能は、自動運転ECU30が備えていてもよいし、HCU20が備えていても良い。機能配置は適宜変更可能である。
ボディECU15は、車両に搭載されたボディ系の車載機器を統合的に制御するECUである。ここでのボディ系の車載機器とは、例えば、灯火装置151や、ウインドウモータ、ドアロックアクチュエータ、シートモータ、サイドミラーモータ、ワイパーモータなどを指す。ボディECU15は、ユーザによるライトスイッチの操作や、照度センサの検出値、時刻情報、又は自動運転ECU30からの指示信号に基づき、灯火装置151の動作を制御する。例えばボディECU15は、照度センサから提供される外部照度が前照灯を自動点灯させるための閾値である自動点灯閾値未満であることに基づいて前照灯を点灯させる。外部照度とは車室外の明るさを指す。ボディECU15が灯火制御装置に相当する。なお、ボディECU15と灯火装置151との間に、灯火制御装置としてのECUが別途設けられていても良い。
灯火装置151は、左右のフロントコーナーに配されている前照灯やフォグランプ、通知灯などの光源の点灯状態を制御する。前照灯はヘッドライトとも称される。ここでの前照灯には、光の照射範囲が異なるロービームとハイビームとが含まれる。ハイビームは、略水平に光を照射することにより、ロービームよりも遠くを照らす。例えばハイビームは、前方100mを照らすように構成されている。ハイビームは、走行用前照灯とも呼ばれる。ロービームは、ハイビームよりも下向きに光を照射する。ロービームはハイビームの照射範囲よりも車両に近い範囲を照らす。例えばロービームは前方40mまでを照らすように構成されている。ロービームは、すれ違い用前照灯とも呼ばれる。フォグランプは霧などの悪天候時に自車の視認性を高めるために設置されている灯火設備である。フォグランプは、前部霧灯とも呼ばれる。通知灯とは、例えば、クリアランスランプ(以降、CLL:Clearance Lamp)や、ウインカー、昼間走行灯(以降、DRL:Daytime Running Light)、ハザードランプなどを指す。
灯火装置151は、例えば4灯式のヘッドライトとして構成されている。すなわち、ハイビーム用の光源とロービーム用の光源を有する。光源としては、発光ダイオード(以降、LED:Light Emission Diode)や、有機発光トランジスタなど多様な素子を採用可能である。複数の光源素子を用いて光源が形成されうる。ロービーム用の光源の一部又は全部はハイビーム用の光源として兼用されていても良い。
灯火装置151は、ハイビームの光量は、ロービームの光量よりも大きく設定されている。例えば、ハイビーム用のLEDは、ハイビーム用のLEDよりも多く設定されている。また、灯火装置151はハイビーム用の複数のLEDの点灯状態を個別に制御することで、照射範囲を動的に変更可能に構成されていても良い。便宜上、ハイビーム用の複数のLEDを個別に制御することでハイビームの照射範囲をシーンに応じて動的に変更する技術をアダプティブハイビーム制御と称する。なお、光源がLEDである場合、灯火装置151は、当該LEDに流れる電流をPWM(Pulse Width Modulation)制御することで、発光量を調整可能である。このような調光方式はPWM調光とも称される。ハイビームとロービームの光量の違いはPWM制御におけるデューティー比を調整することで実現されてもよい。もちろん、前照灯の光源はハロゲンランプなどであっても良い。
灯火装置151は、ハイビームとしての光の照射方向を上下方向の所定角度範囲内で動的に変更可能に構成されていてもよい。例えば灯火装置151は、前方100m先までを照らすように水平方向又は水平方向よりも所定量(例えば3度)下向きに光を照射する基本状態と、当該基本状態よりも所定の角度、下向きに光を照射する下向き状態とを切替可能に構成されていてもよい。下向き状態は、例えば基本状態よりも1度~5度程度下向きにハイビーム相当の光を照射するモードとすることができる。照射方向の動的調整は、モータ等を用いて車体に対する光源の角度を変更することで実現されうる。下向き状態は、アダプティブハイビーム制御の応用によって実現されても良い。
便宜上、基本状態、換言すれば通常時よりも下向きに照射するハイビームをセミハイビームと称する。セミハイビームは、ロービームよりも照射範囲(照射距離)を増大させるとともに明るさも高めたビームに相当する。セミハイビームは、例えば前方60~70mまでの路面を、ロービームよりも明るく照らすビームとすることができる。セミハイビームは、1つの側面においてロービームの強化版に相当するため、ミドルビーム又はエンハンスドロービームと呼ぶこともできる。なお、本実施形態の灯火装置151は一例としてハイビーム用の光源を用いてセミハイビームを照射可能に構成されているものとするがこれに限らない。ハイビーム用の光源とは別にセミハイビーム用の光源が設けられていても良い。また、ハイビーム用のLEDの一部を用いてセミハイビームが実現されても良い。
V2X車載器16は、自車両が他の装置と無線通信を実施するための装置である。V2X車載器16は、通信モジュールとして広域通信部と狭域通信部を備える。広域通信部は、所定の広域無線通信規格に準拠した無線通信を実施するための通信モジュールである。ここでの広域無線通信規格としては例えばLTE(Long Term Evolution)や4G、5Gなど多様なものを採用可能である。自車両は、V2X車載器16の搭載により、インターネットに接続可能なコネクテッドカーとなる。例えば自動運転ECU30は、V2X車載器16との協働により、地図サーバから最新の高精度地図データをダウンロード可能となる。なお、広域通信部は、無線基地局を介した通信のほか、広域無線通信規格に準拠した方式によって、他の装置との直接的に、換言すれば基地局を介さずに、無線通信を実施可能に構成されていても良い。つまり、広域通信部はセルラーV2Xを実施可能に構成されていても良い。
V2X車載器16が備える狭域通信部は、通信距離が数百m以内に限定される通信規格(以降、狭域通信規格)によって、自車両周辺に存在する他の移動体や路側機と直接的に無線通信を実施するための通信モジュールである。路側機とは道路沿いに設置されている通信設備を指す。狭域通信規格としては、IEEE1609にて開示されているWAVE(Wireless Access in Vehicular Environment)規格や、DSRC(Dedicated Short Range Communications)規格など、任意のものを採用可能である。
V2X車載器16は、例えば自動運転ECU30による制御のもと、自動運転ECU30が評価した周辺監視センサごとの検出能力の実際の(実効的な)レベルを示す情報を検出能力報告として他車両に送信する。検出能力は検出性能、あるいは検出精度と言い換えることができる。検出能力報告は、検出能力を評価した時点での位置情報および時刻情報を含む。また、検出能力報告は、送信元を特定するための送信元情報を含む。V2X車載器16は他車両から送信された検出能力報告を随時受信しうる。
検出能力報告の送受信の態様は、ブロードキャストであっても良いし、ジオキャストであってもよい。ブロードキャストは、不特定多数(全宛先)に対してデータを送信する方式を指す。ジオキャストは、位置情報で宛先を指定する、フラッディング方式の通信態様である。ジオキャストでは、ジオキャストエリアとして指定される範囲に存在する車両が、当該データを受信する。ジオキャストによれば、情報の配信対象とするエリアに存在する車両の識別情報を特定せずに送信可能となる。
その他、V2X車載器16は、例えば自動運転ECU30による制御のもと、検出能力報告相当の通信パケットを、動的地図を生成する外部サーバである地図サーバに送信しても良い。
DSM17は、ユーザの顔画像に基づいてユーザの状態を逐次検出するセンサである。具体的には、DSM17は、近赤外カメラを用いてユーザの顔部を撮影し、その撮像画像に対して画像認識処理を施すことで、ユーザの顔の向きや視線方向、瞼の開き度合い等を逐次検出する。DSM17は、運転席に着座している乗員の顔を撮影可能なように、例えば運転席のヘッドレスト部に近赤外カメラを向けた姿勢にて、ステアリングコラムカバーの上面や、インストゥルメントパネルの上面、ルームミラー等に配置されている。DSM17は、撮影画像から特定したユーザの顔の向きや、視線方向、瞼の開き度合い等を示す情報を乗員状態データとして車両内ネットワークIvNへ逐次出力する。なお、DSM17は車室内カメラの一例に相当する。
情報提示装置18は、ユーザに自動運転システム1の作動状態等を提示するためのデバイス群である。情報提示装置18には、例えば図3に示すように、HUD18A、メータディスプレイ18B、及び音響装置18Cが含まれる。HUDは、ヘッドアップディスプレイ(Head-Up Display)の略である。
HUD18Aは、HCU20から入力される制御信号及び映像データに基づき、フロントガラスの所定領域に画像光を投影することにより、ユーザによって知覚されうる虚像を映し出す装置である。HUD18Aは、プロジェクタ、スクリーン、及び凹面鏡を用いて構成されている。なお、ウインドシールド(フロントガラス)がスクリーンとして機能しうる。
メータディスプレイ18Bはインストゥルメントパネルにおいて運転席の正面に位置する領域に配置されたディスプレイである。メータディスプレイ18Bは、多様な色を表示が可能なものであり、液晶ディスプレイ、OLED(Organic Light Emitting Diode)ディスプレイ、プラズマディスプレイ等を用いて実現できる。HUD18A、メータディスプレイ18Bが表示装置に相当する。音響装置18Cは、HCU20から入力される制御信号に基づいて、少なくとも1つのスピーカから音を出力する装置である。本開示における「音」との表現には、音声や音楽も含まれる。
なお、自動運転システム1は情報提示装置18として上述したすべてのデバイスを備えている必要はない。また、情報提示装置18として、インストゥルメントパネルの車幅方向中央部に設けられたセンターディスプレイを備えていても良い。以降におけるメータディスプレイ18Bは、センターディスプレイに置き換えて実施可能である。
入力装置19は、自動運転システム1に対するユーザの指示操作を受け付けるための装置である。入力装置19としては、ステアリングホイールのスポーク部に設けられたステアリングスイッチ、ステアリングコラム部に設けられた操作レバー、センターディスプレイに積層されたタッチパネルなどを採用可能である。上述した複数種類のデバイスを入力装置19として備えていても良い。ユーザの操作は、ユーザの行為又は指示入力と読み替える事ができる。入力装置19は、当該装置に対してユーザが行った操作に対応する電気信号をユーザ操作信号として車両内ネットワークIvNに出力する。ユーザ操作信号は、ユーザの操作内容を示す情報を含む。
本実施形態のHMIシステム2は、例えば入力装置19として、モード切替スイッチ19Aを備える。モード切替スイッチ19Aは例えばステアリングスイッチの1つとしてスポーク部に配置されている。モード切替スイッチ19Aは、ユーザが運転モードを切り替えるためのスイッチである。モード切替スイッチ19Aには、自動運転モードの開始を指示又は許可するためのAD(Autonomous Driving)許可スイッチと、自動運転モードを解除(換言すれば終了)させるためのAD解除スイッチとが含まれる。AD許可スイッチとAD解除スイッチとは別々に設けられていても良いし、同一のスイッチであっても良い。ここでは一例としてAD許可スイッチとAD解除スイッチは同一のスイッチで実現されているものとする。すなわち、同一のスイッチが、自動運転モードではない場合にはAD許可スイッチとして機能し、自動運転モードにおいてはAD解除スイッチとして機能するように構成されている。このようなモード切替スイッチ19Aは、自動運転ECU30が提供する自動運転機能を作動させたり停止させたりするためのスイッチに相当する。
なお、運転モードの切替指示は音声入力によって実施可能に構成されていても良い。マイク及びマイクが集音した音声信号に対して音声認識処理を行うプロセッサを含む音声入力装置も、入力装置19の概念に含まれうる。音声認識処理自体は外部サーバが実施するように構成されていても良い。
HCU20は、ユーザへの情報提示を統合的に制御する構成である。HCU20は、自動運転ECU30から入力される制御信号や、入力装置19から入力されるユーザ操作信号に基づき、HUD18Aの表示を制御する。例えばHCU20は、自動運転ECU30から提供される情報に基づき、自動運転機能の動作状態を示す画像や、運転交代を要求する画像などをHUD18A及びメータディスプレイ18Bに表示する。また、HCU20は音響装置18Cから通知音や所定の音声メッセージを出力させる。
このようなHCU20は、処理部21、RAM22、ストレージ23、通信インターフェース24、及びこれらを接続するバス等を備えたコンピュータを主体として構成されている。処理部21は、RAM22と結合された演算処理のためのハードウェアである。処理部21は、CPU等の演算コア、換言すればプロセッサを少なくとも一つ含む構成である。処理部21は、RAM22へのアクセスにより、後述する各機能部の機能を実現するための種々の処理を実行する。ストレージ23は、フラッシュメモリ等の不揮発性の記憶媒体を含む構成である。ストレージ23には、処理部21によって実行されるプログラムである情報提示制御プログラムが格納されている。通信インターフェース24は、車両内ネットワークIvNを介して他の装置と通信するための回路である。通信インターフェース24は、アナログ回路素子やICなどを用いて実現されればよい。
自動運転ECU30は、前方カメラ11やミリ波レーダ12の検出結果などをもとに走行アクチュエータを制御することにより、運転操作の一部又は全部をユーザの代わりに実行するECUである。自動運転ECU30は自動運行装置とも称される。走行アクチュエータには例えば制動装置としてのブレーキアクチュエータや、電子スロットル、操舵アクチュエータなどが含まれる。操舵アクチュエータには、EPS(Electric Power Steering)モータが含まれる。なお、自動運転ECU30と走行アクチュエータとの間には、操舵制御を行う操舵ECUや、加減速制御を行うパワーユニット制御ECU、及びブレーキECU等、他のECUが介在していてもよい。
自動運転ECU30は、自動化レベルが異なる複数の運転モードを備える。ここでは一例として自動運転ECU30は、完全手動モード、運転支援モード、及び自動運転モードを切替可能に構成されている。各運転モードは、ユーザが担当する運転タスクの範囲、換言すればシステムが介入する運転タスクの範囲が異なる。ここでのシステムとは、自動運転システム1、実態的には自動運転ECU30を指す。
完全手動モードは、ユーザがすべての運転タスクを実行する運転モードである。完全手動モードは自動化レベル0に相当する。故に、完全手動モードは、レベル0モードと呼ぶこともできる。
運転支援モードは、システムが加減速の制御を実行又は支援するとともに、操舵操作についてもシステムが支援する運転モードである。運転支援モードの操舵操作の実行主体はユーザである。運転支援モードは、例えば、ACC(Adaptive Cruise Control)機能とLTA(Lane Tracing Assist)機能の少なくとも何れか一方が動作している運転モードに相当する。ACCは、目標車速で自車両を定速走行させるか、又は先行車との車間距離を維持しつつ自車両を追従走行させる機能である。ACCが先行車追従制御に相当する。ACCにおける走行速度に係る制御上の目標値は、予め設定された速度範囲内でユーザによって設定される。ACCにおける先行車との車間距離の目標値もまた、予め規定された範囲内でユーザによって設定されうる。LTAは、車線情報に基づいて車両の車線内走行を維持する機能である。運転支援モードは自動化レベル2.0に相当する。運転支援モードは、レベル2モードと呼ぶこともできる。
完全手動モード及び運転支援モードは、ユーザのハンズオン及びアイズオンが必要な運転モードに相当する。ハンズオンはユーザがハンドルを把持することを指し、ハンズオフはユーザがハンドルから手を離すことを指す。アイズオンはユーザが車両前方などの周囲の交通状況を監視することを指す。アイズオフは、ユーザが周辺状況の監視しないこと、すなわち、車両前方から目を離すことを指す。
完全手動モード及び運転支援モードは、運転タスクのうちの少なくともの一部はユーザが担当する。換言すれば、ユーザが少なくとも一部の運転タスクに関与している運転モードである。そのため本開示では、完全手動モード及び運転支援モードをまとめて乗員関与モードと呼ぶことがある。乗員関与モードは、自動運転モードの対義語としての手動運転モードと呼ぶこともできる。本開示における手動運転には、システムによる運転支援が実行されている状態も含めることができる。
自動運転モードは、システムがすべての運転タスクを実行する運転モードである。ここでは一例として自動運転モードは、自動化レベル3に相当する運転モードとする。なお、自動運転モードは、レベル4やレベル5の自動運転を実施するものであっても良い。自動運転モードは、アイズオフ可能な運転モード、換言すればユーザがセカンドタスクを実施可能な運転モードに相当する。
セカンドタスクは、ユーザの実施が許容される運転以外の行為であって、予め規定された行為である。セカンドタスクは、セカンダリアクティビティ又はアザーアクティビティ等と呼ばれうる。例えば動画等のコンテンツの視聴、スマートフォン等の操作、電子書籍の閲覧、および片手での食事等の行為が、セカンドタスクとして想定される。レベル3相当の自動運転モードにおいては、ユーザは自動運転システムからの運転操作の引き継ぎ要求に対して直ちに対応可能である必要がある。そのため、レベル3相当の自動運転モードでは、セカンドタスクとして、例えば睡眠や両手をすぐに解放できない作業、運転席からの離脱を伴う行為などは禁止されうる。なお、セカンドタスクとして実行可能な行為および禁止行為は車両が使用される地域の法規に基づいて設定可能である。
自動運転モードにおいては、自動運転ECU30は、ユーザによって設定された目的地まで、道路に沿って自車両が走行するように、車両の操舵、加速、減速(換言すれば制動)等を自動で実施する。なお、動作モードの切り替えは、ユーザ操作の他、システム限界や、ODDの退出等に起因して自動的に実行される。
ODDとしては、例えば、(a)走行路が高速道路又は中央分離帯とガードレール等が整った片側2車線以上の自動車専用道路であること、(b)渋滞状況であること、等が挙げられる。走行路は、自車両が走行している道路を指す。なお、ここでの渋滞状況は、例えば、自車両の前後の所定距離に他車両が存在し、かつ、走行速度が60km/h以下となっている状態とすることができる。その他、ODDとしては、(c)降雨量が所定の閾値以下であること、(d)前方カメラ11を含む周辺監視センサが正常に動作していることなどが挙げられる。さらに、(e)自車両の所定距離以内に落下物や路上駐車車両が存在しないこと、(f)周辺監視センサの検知範囲に交通信号及び歩行者が存在しないこと、などもODDに含めることができる。自動運転可能/不可と判定する条件、換言すればODDを定義する詳細条件は、適宜変更可能である。
ここでは一例として、渋滞状況である場合と、特定の道路区間を走行している場合のそれぞれの場合に自動運転可能であると判定するものとする。便宜上、渋滞状況である場合の自動運転を渋滞時自動運転と称するとともに、特定の道路区間を奏している場合の自動運転をエリア限定自動運転と称する。なお、前述の通り、ODDの設定内容によっては、特定の道路区間を走行中であって、かつ、渋滞中のみ自動運転が可能となる自動運転ECU30のモデルも存在しうる。
なお、自動運転システム1は上記の全ての運転モードを備えている必要はない。例えば自動運転システム1が備える運転モードの組み合わせは、完全手動モードと自動運転モードのみであってもよい。また、運転支援モードは、LTC(Lane Trace Control)機能が動作することで、アイズオンは必要なものの、ハンズオフが可能な高度支援モードを含んでいても良い。LTCは、自車走行レーンに沿って自車走行レーン内で自車両を走行させる機能であって、自車走行レーンに沿った予定走行ラインを生成し、EPS等を制御する。LTCとLTAの違いは、操舵の主体がユーザかシステムかである。つまりLTAでは操舵の主体はユーザであるのに対し、LTCはシステムが操舵を実行する点で相違する。ただし、広義においてはLTCもLTAに含まれうる。高度支援モードは、いわゆる自動化レベル2.1~2.9に相当する。高度支援モードは、ハンズオフレベル2モードと呼ぶこともできる。
上記の自動運転ECU30は、処理部31、RAM32、ストレージ33、通信インターフェース34、及びこれらを接続するバス等を備えたコンピュータを主体として構成されている。ストレージ33には、処理部31によって実行されるプログラムである車両制御プログラムが格納されている。処理部31が車両制御プログラムを実行することは、車両制御プログラムに対応する車両制御方法が実行されることに相当する。車両制御プログラムには、上述したACCや、LTA、LTCなどに対応するアプリケーションソフトウェアが含まれる。なお、運転支援にかかる処理を実行するプロセッサは、自動運転にかかる処理を実行するプロセッサとは別に設けられていても良い。
<自動運転ECU30の構成について>
自動運転ECU30は自動運転プログラムを実行することによって実現される、図4に示す機能部を備える。すなわち自動運転ECU30は、センサ情報取得部G1、地図取得部G2、他車報告取得部G3、環境認識部G4、能力評価部G5、計画部G6、制御指示部G7、情報提示処理部G8、及び報告処理部G9を有する。
自動運転ECU30は自動運転プログラムを実行することによって実現される、図4に示す機能部を備える。すなわち自動運転ECU30は、センサ情報取得部G1、地図取得部G2、他車報告取得部G3、環境認識部G4、能力評価部G5、計画部G6、制御指示部G7、情報提示処理部G8、及び報告処理部G9を有する。
センサ情報取得部G1は、運転支援又は自動運転を実施するための多様な情報を取得する構成である。例えばセンサ情報取得部G1は、前方カメラ11を含む種々の周辺監視センサから検出結果(つまり、センシング情報)を取得する。センシング情報には、自車両周辺に存在する他の移動体や、地物、障害物などの位置や、移動速度、種別などが含まれる。また、センサ情報取得部G1は、車両状態センサ13から、自車両の走行速度や加速度、ヨーレート、外部照度などを取得する。さらに、センサ情報取得部G1は、ロケータ14から自車位置情報を取得する。その他、センサ情報取得部G1はDSM17からユーザの視線方向を取得する。
地図取得部G2は、自車両の現在位置に対応する動的地図データを取得する。動的地図データの取得元は車両外部に存在する地図サーバであってもよいし、路側機であっても良いし、周辺車両であってもよい。地図サーバや路側機、他車両などが外部装置に相当する。現在位置に対応する地図データとは、自車両が例えば所定時間以内に通過予定の道路区間について地図データである。現在位置に対応する地図データは、現在位置から所定距離以内となるエリアの地図データや、現在位置が属するメッシュの地図データとすることもできる。
ここでの動的地図データは、例えば、霧の有無や濃さ、降雨量、降雪量、砂嵐(風塵)の有無など局所的な気象情報などを指す。また動的地図には、積雪など、砂塵局所的な気象状態に伴う地点ごとの路面状態を含めることができる。路面状態には、雪や砂等が道路に覆いかぶさっているか否かも含まれる。また、地図取得部G2は、動的地図データとして地平線に対する太陽の角度(高度)、道路延伸方向に対して太陽が存在する方向や、地点ごとの明るさなどを取得しても良い。
その他、地図取得部G2は、動的地図データとして、例えば通行規制がなされている区間や、渋滞区間、路上落下物の位置などを取得する。渋滞区間情報には渋滞区間の先頭位置と末尾位置を含みうる。地図取得部G2は、動的地図データとして、複数の車両の走行軌跡を統合してなる、車線毎の平均軌跡などを外部サーバから取得しても良い。車線毎の平均軌跡は、自動運転時における目標軌道の設定などに使用されうる。動的地図は、車両の走行制御の参考となる動的、準動的、及び準静的な交通情報を示す。
さらに、地図取得部G2は、現在位置から所定距離以内についての道路の接続関係や道路構造を示す静的地図データを取得してもよい。静的地図データの取得元は、外部サーバであってもよいし、車両に搭載された地図データベースであってもよい。静的地図データは、ナビゲーション用の地図データであるナビ地図データであってもよいし、自動運転に利用可能な高精度地図データであってもよい。ナビ地図データは、数m~5m程度の誤差を含む地図データであり、高精度地図データは、測位誤差が10cm以下など、ナビ地図データよりも高精度な地図データに相当する。高精度地図データは、例えば道路の3次元形状情報や、区画線および道路端の位置情報、信号機などのランドマークの位置情報を含む。
他車報告取得部G3は、他車両から送信されてきた検出能力報告をV2X車載器16より取得する。これにより、自動運転ECU30は、自車両の前方を走行する車両(つまり先行車)における周辺監視センサの検出能力の現状を取得することができる。先行車からの検出能力報告は、自車両の周辺監視センサの検出能力の推移を予測するための材料となりうる。
センサ情報取得部G1、地図取得部G2、及び他車報告取得部G3が逐次取得する種々の情報は、例えばRAM32等のメモリに保存され、環境認識部G4などによって利用される。なお、各種情報は、種別ごとに区分されてメモリに保存されうる。また、各種情報は、例えば最新のデータが先頭となるようにソートされて保存されうる。取得から一定時間が経過したデータは破棄されうる。
環境認識部G4は、センサ情報取得部G1が取得した自車位置情報や周辺物体情報、及び地図データに基づいて、自車両の走行環境を認識する。例えば環境認識部G4は、前方カメラ11とミリ波レーダ12など、複数の周辺監視センサの検出結果を、所定の重みで統合するセンサフュージョン処理により、自車両の走行環境を認識する。
走行環境には、車両周辺に存在する物体の位置や、種別、移動速度などのほか、道路の曲率や、車線数、エゴレーン番号、天候、路面状態、渋滞区間に該当するか否かなどが含まれる。エゴレーン番号は、左又は右の道路端から何番目のレーンを走行しているかを示す。エゴレーン番号の特定は、ロケータ14にて実施されてもよい。天候や路面状態は、前方カメラ11の認識結果と、地図取得部G2が取得した天候情報とを組み合わせることにより特定可能である。道路構造に関しては前方カメラ11の認識結果の他、静的地図データを用いて特定されても良い。環境認識部G4による走行環境の認識結果は、能力評価部G5および計画部G6に提供される。
能力評価部G5は、前方カメラ11などの周辺監視センサの物体検出能力を評価及び予測する構成である。能力評価部G5が検出能力予測部に相当する。能力評価部G5はより細かい機能として予測部G51、要因特定部G52、及び現状評価部G53を備える。
予測部G51は、現時点から所定の予測時間後における周辺監視センサの検出能力を予測する構成である。予測時間は例えば20秒や、30秒、1分など、5分以下の値とすることができる。要因特定部G52は、予測部G51が周辺監視センサの検出能力が予測時間以内に所定の要求レベル以下となるか否かを判定した場合に、その要因を特定する構成である。ここでの要求レベルとは、自動運転を継続するために必要な性能品質に相当する。現状評価部G53は、現時点における周辺監視センサの検出能力を判定する。現状評価部G53は、例えば周辺監視センサが通常通りの機能を発揮しているか、何らかの事情で一時的に能力が低下しているかを判定する構成である。
例えば予測部G51は、地図取得部G2が取得した動的地図データに基づき、周辺監視センサの検出能力が予測時間以内に所定の要求レベル以下となるか否かを判定する。周辺監視センサとは前述の通り、前方カメラ11やミリ波レーダ12、LiDARなどを指す。予測部G51は、周辺監視センサの検出能力が、現時点から予測時間以内に、自動走行を継続するために必要な性能品質である要求レベルを充足しなくなるか否かを判断する構成に相当する。要求レベルは、周辺監視センサごとに具体的に設定されうる。能力評価部G5による検出能力の評価は、周辺監視センサごとに行われうる。
予測部G51は、例えば所定時間以内に自車両が通過予定の道路区間についての天候情報や、路面状態などに基づいて、前方カメラ11の検出能力が要求レベルを下回るか否かを予測する。前方カメラ11の検出能力が要求レベルを下回った状態とは、所定の寸法を有する物体、又は規定の物体を検出可能な距離である認識可能距離が、所定の基準値未満となる状態に相当する。認識可能距離に対する基準値は、例えば50mや、100m、150mなどとすることができる。認識可能距離に対する基準値は、対象物が大きいほど、大きい値に設定されうる。また、認識可能距離に対する基準値は、対象物の種類に応じて異なりうる。
方カメラ11の検出能力が要求レベルを下回るか否かの判断は、多様な方式を採用可能である。例えば予測部G51は、天候情報に基づき自車両前方に濃霧エリアが存在するか否かを判定する。そして、自車両前方に濃霧エリアが存在する場合に前方カメラ11の検出能力が要求レベルを下回ると判定する。この場合、要因特定部G52は、検出能力低下の原因である低下要因は霧と判定する。
ここでの自車両前方は、予測時間以内に自車両が通過する範囲を指す。濃霧エリアとは、概念的には視程が100m未満となる濃度の霧を指す。複数の車両がフォグランプが点灯した状態で通過した地点などが濃霧エリアとなりうる。濃霧エリアの設定は、複数の車両の挙動に基づき地図サーバなどで実施されうる。なお、予測部G51は、自車両よりも前方を走行する複数の車両から車々間通信により、フォグランプを点灯させたことを取得した場合に自車両前方に濃霧エリアが存在すると判定しても良い。
また予測部G51は、予測時間以内に西日条件が充足される場合に、前方カメラ11の検出能力が要求レベルを下回ると判定する。この場合、要因特定部G52は、低下要因は西日と判定する。ここでの西日とは、地平線に対する角度が、例えば25度以下となっている太陽から光を指す。西日条件は予め設定されている。例えば西日条件は、時間帯、進行方位角、太陽の高度の少なくとも何れかの項目を用いて規定する事ができる。例えば、(ア)現在時刻が午後3時から20時までの時間帯に属すること、(イ)進行方向が日没方向から30度以内であること、などを西日条件とすることができる。太陽の位置などの情報は動的地図として外部サーバから取得しても良いし、車々間通信で他車両から取得しても良い。また、時刻情報と季節情報に基づき、処理部31が内部演算しても良い。
なお、西日条件が充足されたからと言って必ずしも前方カメラ11の検出能力が要求レベルを下回るとは限らない。前方カメラ11のダイナミックレンジの幅など、カメラの性能によっては、西日条件が充足されても要求レベルを充足する場合がある。要求レベルは前方カメラ11のモデルやソフトウェアバージョンに応じて動的に変更されうる。
さらに、予測部G51は、天候情報に基づき、自車両前方に豪雨エリアが存在するか否かを判定する。そして、自車両前方に豪雨エリアが存在する場合に前方カメラ11の検出能力が要求レベルを下回ると判定する。この場合、要因特定部G52は、低下要因は豪雨と判定する。
ここでの豪雨とは、概念的には、1時間あたりの降雨量が所定の閾値(例えば50mm)を超える勢いで降る雨とすることができる。豪雨には、ある地点における降雨時間が1時間未満(例えば数10分程度の)となる局所的豪雨も含まれる。実体的には、複数の車両がワイパーを所定の速度で動作させている区間が豪雨エリアとなりうる。豪雨エリアの設定は、雨雲レーダの情報や、複数の車両の挙動情報に基づき、地図サーバなどで実施されうる。なお、予測部G51は、自車両よりも前方を走行する複数の車両から車々間通信により、ワイパーを所定の閾値以上の速度で駆動させていることを取得した場合に自車両前方に豪雨エリアが存在すると判定しても良い。
また、予測部G51は、自車両前方に区画線不明瞭エリアが存在するか否かを判定しても良い。そして、自車両前方に区画線不明瞭エリアが存在する場合に前方カメラ11の検出能力が要求レベルを下回ると判定する。ここでの区画線不明瞭エリアとは、かすれ等の劣化により、区画線が薄くなっているエリアを指す。区画線不明瞭エリアには、区画線が完全に消えている区間を含めることができる。また、区画線不明瞭エリアには、路面が雪で覆われている積雪エリアや、道路が砂で覆われている覆砂エリアも含めることができる。なお、覆砂エリアは、区画線が付与された舗装道路において、砂嵐などによって一時的に区画線が砂で覆われているエリアを指す。
区画線不明瞭エリアは、画像認識による区画線検出が困難なエリアを指す。区画線不明瞭エリアの設定は、地図サーバなどで実施され、車両に配信されうる。なお、予測部G51は、自車両よりも前方を走行する複数の車両から車々間通信により、区画線の認識率が低下していることを示す報告を取得したことに基づいて自車両前方に区画線不明瞭エリアが存在することを検知しても良い。要因特定部G52は、動的地図データや前方カメラ11の画像を解析することにより、低下要因はかすれ(劣化)、雪、又は砂塵と判定することができる。ただし、車線区画線が不明瞭となる理由としては種々考えられるため、要因特定部G52は、低下要因は不明と判定してもよい。
現状評価部G53は、前方カメラ11がランドマークを実際に認識できる距離範囲(以降、実効認識距離)を算出する。実効認識距離は、設計上の認識限界距離とは異なり、霧や降雨、西日等の外的要因で変動するパラメータである。仮に設計上の認識限界距離が200mほどある構成においても、降雨量によっては50m未満まで縮退しうる。現状評価部G53は、例えば所定時間以内において、前方カメラ11がランドマークを最も遠くから検出できた距離(以降、最遠認識距離)の平均値に基づいて実効認識距離を算出する。例えば、直近所定時間以内に観測された4つのランドマークの最遠認識距離が50m、60m、30m、40mである場合、実効認識距離は45mと算出されうる。或るランドマークについての最遠認識距離は、当該ランドマークの最初に検出できた時点での検出距離に相当する。
なお、ランドマークの実効認識距離は、先行車によるオクルージョンなど、天候等以外の要因によっても低下しうる。故に、所定距離に以内に先行車が存在する場合には、実効認識距離の算出は省略されても良い。また、自車両前方が直線路ではない場合、つまりカーブ路である場合にも実効認識距離は低下しうる。故に、前方道路がカーブである場合には、実効認識距離の算出は省略されても良い。なお、カーブ路は曲率が所定の閾値以上の道路とする。
また、現状評価部G53は、ランドマークの代わり/並列的に、区画線に対する実効認識距離を算出してもよい。車線区画線の実効認識距離は、路面をどれくらい遠くまで認識できているかを示す情報に相当する。実効認識距離の算出に用いる区画線は自車両が走行している車線であるエゴレーンの左/右側或いは両側の区画線とすることが好ましい。隣接車線の外側区画線は、他車両に遮られる可能性が有るためである。区画線の実効認識距離は、例えば直近所定時間以内における認識距離の平均値とすることができる。このような区画線の実効認識距離は例えば認識距離の移動平均値に相当する。区画線の実効認識距離として移動平均値を用いる構成によれば、他車両が区画線を遮ることによって生じる、瞬間的な認識距離の変動を抑制することができる。
なお、現状評価部G53は、エゴレーンの右側区画線に対する実効認識距離と、左側区画線に対する実効認識距離を別々に算出してもよい。その場合、右側区画線の実効認識距離と左側区画線の実効認識距離のうちの大きい方を区画線の実効認識距離として採用可能である。そのような構成によれば、仮に左側又は右側の区画線の何れか一方が、カーブや先行車等によって見えない状況においても、前方カメラ11がどこまで遠くまで区画線を認識可能な状態であるかを精度良く評価可能となる。もちろん、右側区画線の実効認識距離と左側区画線の実効認識距離のうちの平均値を区画線の実効認識距離として採用してもよい。
予測部G51は、前方カメラ11の区画線またはランドマークに対する実効認識距離や認識率の履歴に基づいて、検出能力の推移傾向を特定し、予測時間以内に要求レベルを下回るか否かを判断してもよい。例えば、ランドマークに対する実効認識距離を逐次算出する構成においては、予測部G51は、ランドマークに対する実効認識距離の時系列データに基づき、ランドマークの実効認識距離が減少傾向にあるか否かを判定する。ランドマークの実効認識距離が減少傾向にある場合、予測部G51は、その減少速度を算出する。そして、現在の値と減少速度とに基づき、現時点から予測時間以内に実効認識距離が要求レベルに対応する所定の基準値を下回るか否かを判定する。ランドマークの実効認識距離に対する基準値は例えば50mや100mなどとすることができる。
区画線に対する実効認識距離を逐次算出する構成においては、予測部G51は、区画線に対する実効認識距離の時系列データに基づき、区画線の実効認識距離が減少傾向にあるか否かを判定する。区画線の実効認識距離が減少傾向にある場合、予測部G51は、その減少速度を算出する。そして、現在の値と減少速度とに基づき、現時点から予測時間以内に区画線に対する実効認識距離が要求レベル相当の基準値を下回るか否かを判定する。区画線の実効認識距離に対する基準値は例えば50mや100mなどとすることができる。
その他、能力評価部G5は前方カメラ11から検出物ごとの認識結果の確からしさを示す確率値を取得しうる。予測部G51は、例えば100mなど、所定距離前方に位置する物体に対する識別結果の確率値の時系列データに基づき、当該確率値が減少傾向にあるか否かを判定してもよい。また、確率値が減少傾向にある場合、予測部G51は、その減少速度を算出する。そして、現在の確率値と減少速度とに基づき、現時点から予測時間以内に、所定距離前方での認識率が所定の基準値を下回るか否かを判定してもよい。
さらに、現状評価部G53は、前方カメラ11での認識結果と、地図データあるいはLiDARなどのその他の周辺監視センサでの認識結果とを比較して、所定距離前方に位置する物体に対する前方カメラ11での認識結果の正当率(正解率)を算出しても良い。予測部G51は、当該認識結果の正当率が減少傾向にあって、且つ、予測時間以内に当該正答率が要求レベルに対応する所定の基準値を下回るか否かを判定してもよい。
以上で述べたように能力評価部G5は、動的地図データや、先行車両からの報告、実際の前方カメラ11での認識結果の履歴などの少なくとも何れかに基づいて、予測時間以内に前方カメラ11の検出能力が要求レベルを下回るか否かを判定する。以上では前方カメラ11の検出能力が要求レベルを下回ると予測する方法の具体例について述べたが、ミリ波レーダやLiDARなどについてもセンサの特性に応じた指標を用いて、検出能力が要求レベルを下回る見込みがあるか否かを判定することができる。
計画部G6は、運転支援又は自動運転として実行する制御内容を計画する構成である。例えば計画部G6は自動運転モード時、環境認識部G4による走行環境の認識結果に基づき、自律的に走行させるための走行計画、換言すれば制御計画を生成する。制御計画には、時刻ごとの走行位置や目標速度、操舵角などが含まれる。すなわち、走行計画には、算出した経路における速度調整のための加減速のスケジュール情報や、操舵量のスケジュール情報を含みうる。
例えば計画部G6は、中長期の走行計画として、経路探索処理を行い、自車位置から目的地へ向かわせるための推奨経路を生成する。また、計画部G6は、中長期の走行計画に沿った走行を行うための短期の制御計画として、車線変更の走行計画、レーン中心を走行する走行計画、先行車に追従する走行計画、及び障害物回避の走行計画等が生成する。例えば計画部G6は、短期の制御計画として、例えば、認識しているエゴレーンの中央を走行する経路を走行計画として生成したり、認識している先行車の挙動又は走行軌跡に沿う経路を走行計画として生成したりする。
計画部G6は、自車の走行路が片側複数車線の道路に該当する場合には、追い越しのための車線変更を行うプラン候補を生成しうる。計画部G6は、周辺監視センサ又は動的地図データに基づき自車両前方に障害物が存在することが認識されている場合には、障害物の側方を通過する走行計画を生成してもよい。計画部G6は、機械学習又は人工知能技術等によって最適と判定される走行計画を生成するように構成されていてもよい。なお、最適な走行計画とは安全性が担保される範囲においてユーザの指示に沿った制御計画に相当する。計画部G6が作成した制御計画は制御指示部G7に入力される。
自動運転ECU30は、自動運転機能を提供するためのサブ機能として、ACC、LTA、及びLTCのそれぞれに対応する処理を実行する。ACC、LTA、及びLTCのそれぞれに対応する機能部は、自動運転を実施するためのサブシステムと解することができる。計画部G6は各アプリケーションに対応する計画を作成する。
図4に示すACC部G61は、先行車に追従した走行を実現するための計画を生成する機能モジュールである。ACC部G61が先行車追従制御部に相当する。例えばACC部G61は、ユーザに指定された/走行環境に応じて自動的に定まる目標車間距離を維持するように走行速度の制御計画を随時作成及び更新する。なお、走行速度は、ユーザに指定された/走行環境に応じて自動的に定まる目標値を基準とする所定の範囲内で先行車に追従するように調整される。
さらに、計画部G6は、臨時対応部G62を備える。臨時対応部G62が、能力評価部G5にて周辺監視センサの検出能力が要求レベルを下回ると判定された場合にのみ実行される、所定の臨時制御を行う計画を作成する。臨時制御についての詳細は別途後述する。
制御指示部G7は、計画部G6で策定された制御計画に基づく制御指令を生成し、走行アクチュエータへ向けて逐次出力する。また、制御指示部G7は、計画部G6の計画や外部環境に基づき、方向指示器やヘッドライト、ハザードランプ等の点灯/消灯なども、走行計画や外部環境に応じて制御する。
情報提示処理部G8は、計画部G6で策定された制御計画に基づき、情報提示装置18を介してユーザへの通知/提案を行う。例えば情報提示処理部G8は、自動運転システム1の動作状態を示す画像をHUD18Aに表示する。自動運転システム1の動作状態には、前方カメラ11を含む周辺監視センサが正常に動作しているか、運転モード、走行速度、車線変更までの残り時間等を含む。また、情報提示処理部G8は、高速道路の退出などに伴う運転交代までの残り時間が所定時間以内となった場合には、ハンドオーバーの予告なども実施しうる。さらに、情報提示処理部G8は、計画部G6の計画のもと、臨時制御を開始した場合には、臨時制御を行っていることを示す画像をHUD18Aに表示する。
報告処理部G9は、能力評価部G5が評価結果に基づき、検出能力報告に相当するデータセットを生成して、他車両や地図サーバに送信する。例えば検出能力報告は、現状評価部G53が算出した周辺監視センサの検出能力の実測値(実効値)を示すデータセットとすることができる。
<自動運転ECU30の作動について>
次に自動運転ECU30が実施する、周辺監視センサの検出能力の低下に係る一連の処理である検出能力低下応答処理について図5に示すフローチャートを用いて説明する。図5に示すフローチャートは、例えば1秒ごとや10秒ごと、1分ごとなど、所定の周期で開始されれば良い。ここでは一例として検出能力低下応答処理は、ステップS101~S108を備える。なお、検出能力低下応答処理を構成する処理ステップの数や順番は適宜変更可能である。ここでは一例として周辺監視センサのうち、前方カメラ11を処理の対象とするパターンを例にとって説明するが、ミリ波レーダ12など他のセンサについても同様に実施できる。
次に自動運転ECU30が実施する、周辺監視センサの検出能力の低下に係る一連の処理である検出能力低下応答処理について図5に示すフローチャートを用いて説明する。図5に示すフローチャートは、例えば1秒ごとや10秒ごと、1分ごとなど、所定の周期で開始されれば良い。ここでは一例として検出能力低下応答処理は、ステップS101~S108を備える。なお、検出能力低下応答処理を構成する処理ステップの数や順番は適宜変更可能である。ここでは一例として周辺監視センサのうち、前方カメラ11を処理の対象とするパターンを例にとって説明するが、ミリ波レーダ12など他のセンサについても同様に実施できる。
まずステップS101では現在の運転モードである現行モードの設定データをRAM22等から読み出してステップS102に移る。ステップS102ではセンサ情報取得部G1や地図取得部G2、他車報告取得部G3などが以降の処理で使用する種々の情報を取得してステップS103に移る。例えば前方カメラ11での検出結果や、動的地図データ、他車両からの報告などを取得する。また、現状評価部G53による実効認識距離の算出などといった自動運転ECU30での内部演算処理もステップS102で行われうる。
ステップS103では現行モードが自動運転モードであるか否かを判定する。現行モードが自動運転モードである場合にはステップS103を肯定判定してステップS104に移る。一方、現行モードが自動運転モードではない場合にはステップS103を否定判定して本フローを終了する。
ステップS104では予測部G51が上述した種々の方法の1つ又は複数を用いて現時点から予測時間以内に前方カメラ11の物体検出能力が要求レベルを下回るか否かを判定する。予測部G51が現時点から予測時間以内に前方カメラ11の検出能力が要求レベルを下回ると判定した場合には、ステップS105が肯定判定されてステップS106に移る。一方、予測部G51が予測時間以内に検出能力が要求レベルを下回ると判定していない場合にはステップS105が否定判定されて本フローを終了する。
ステップS106では要因特定部G52が、検出能力が要求レベルを下回ると予測部G51が判定した理由に基づき、検出能力の低下要因を特定してステップS107に移る。低下要因が不明な類型に該当する場合、要因特定部G52は、低下要因は不明と判断することができる。ステップS106など、低下要因を特定する構成は任意の要素であって省略されても良い。
ステップS107では臨時対応部G62が所定の臨時制御を実行する計画を作成する。なお、自動運転ECU30は臨時対応部G62を含む計画部G6が作成した計画に基づき制御を行う。故に、臨時対応部G62は臨時制御を実行する構成と解する事ができる。
臨時制御としては(A)ライト制御、(B)車間距離の設定値変更、(C)並走運転の開始、及び(D)横方向における走行位置の調整、の一部又は全部を採用可能である。(A)ライト制御は、前照灯又はフォグランプを点灯させる制御である。当該臨時制御としてのライト制御は、照度センサから提供される照度が自動点灯閾値以上であっても実施される。例えば臨時対応部G62は、照度センサが検出する外部照度が自動点灯閾値以上であっても、臨時制御として、前照灯又はフォグランプを点灯させる。点灯させる灯火装置151は、前照灯であってもよいし、フォグランプであっても良い。例えば前照灯が点灯していない場合には、臨時制御として前照灯を点灯させる。その際の点灯モードはロービーム、ハイビーム、セミハイビームの何れであっても良く、予め設定された/環境に応じたモードで点灯させることができる。また、前照灯を点灯済みの場合にはフォグランプを追加的に点灯させる。もちろん、前照灯を点灯していなくとも、予め設定されたルールに基づき、臨時制御としてフォグランプを点灯させてもよい。
さらに、臨時対応部G62は、要因特定部G52が特定している低下要因に応じて点灯させる灯火装置151を切り替えてもよい。例えば臨時対応部G62は要因特定部G52によって物体検出能力の低下要因が霧であると判定されている場合には、臨時制御として、フォグランプを点灯させる。これにより、実際に濃霧エリアに進入する前から、換言すれば物体検出能力が要求レベルを下回る前からフォグランプを点灯させることができる。その結果、霧による前方カメラ11での物体検出能力の低下度合いを抑制し、自動運転モードが中断される恐れを低減できる。また、原因が不明である場合にはライト制御として、セミハイビームを照射させてもよい。これにより、自車両近傍の路面が通常のロービームよりも明るく照射されるため、検出能力が低下することを抑制でき、自動運転モードの継続性を高めることができる。
(B)車間距離の設定値の変更は、例えば車間距離の目標値を、ユーザが手動設定した、又は、目標速度に応じてシステムが自動設定する本来値よりも所定量長くする制御である。車間距離の目標値の変更はACC部G61との協働により実現される。本来値に対する目標値の増大幅は、例えば25mや50mなどとすることができる。目標値の増大幅は走行速度の目標値が高い程大きくなるように、例えば車間時間の概念で決定されても良い。車間距離の長さは4段階などで設定されうる。車間距離の設定値を長くすることは、車間距離の設定を1段階上げることに対応しうる。車間距離の目標値を長くすることで、先行車両の事故等の緊急時にも退避制御までの時間を確保することができる。その結果、安全性を高めることができる。本来値は、走行環境が良好である場合、換言すれば、検出能力が要求レベルを充足している場合に適用される値であって、基本値又は通常値と呼ぶこともできる。
なお、(B)車間距離の設定値の変更は、例えば車間距離の目標値を、ユーザが指定した、又は、目標速度に応じてシステムが自動設定する本来値よりも所定量短くする制御であってもよい。目標値の短縮幅は、例えば25mや50mなどとすることができる。目標値の短縮幅は、走行速度の目標値が大きい程小さくなるように動的に決定されても良い。車間距離の目標値を短くすることで、先行車を認識しやすくなる。換言すれば先行車を見失いにくくなる。よって、追従走行状態を維持しやすくできる。なお、(B)車間距離の設定値変更は、先行車を捕捉できていることを条件に実行されても良い。
(C)並走運転の開始は、例えば隣接車線を走行する他車両と並走するように速度調整を行う制御を開始することを指す。並走運転によれば、他車両を基準として道路の幅方向における走行位置が決まりやすく、エゴレーンを維持しやすくなる。換言すれば、レーンからはみ出して走行する恐れを低減できる。並走対象とする他車両は、自車両右側の車両とすることが好ましい。左側通行の地域においては相対的に右側のレーンは追い越し用レーンである可能性が高く、左側の車両と並走すると、交通の流れを妨げることに繋がりかねないためである。なお、自動運転ECU30は、並走制御の対象とする他車両が方向指示器を作動させたことを画像認識又は車々間通信で検知した場合には、並走制御を解除するものとする。
なお、他車両と並走している状態には、真横を走行している状態に限らず、真横よりも5m~20m程度後方を走行する態様も含まれる。完全に真横だと、他車両の乗員に不快感を与えうる。また、完全に真横となる位置近傍は、サイドミラーの死角となりやすく、他車両のユーザによる視認性が良好とは言えない。そのような事情から、並走運転としては、他車両の真横よりも所定量後方となる位置を走行することが好ましい。
(D)横方向における走行位置の調整は、道路幅方向における走行位置を調整することであって、具体的には第1レーンを走行するように、車線変更を行うことを指す。第1レーンを走行している場合には、道路端が周辺監視センサの検出範囲に含まれうる。道路端は、段差や、ガードレール、側壁などによって規定されうる。道路端は、車線区画線と異なり立体的な構造を有するため、ミリ波レーダなど多様なセンサで検出されやすい。よって、区画線が認識しづらい状況下でも、相対的に道路端の位置は認識しやすい。道路端の位置が認識できると、道路の形状や、道路幅方向における自車両の走行位置を特定しやすくなる。その結果、自車両がレーンからはみ出して走行する恐れを低減できる。ひいては自動運転を中断する恐れを低減できる。
なお、臨時対応部G62は(A)~(D)として全ての制御を実施する必要はなく、一部のみを選択的に計画及び実施することができる。例えば(C)並走運転の開始又は(D)横方向における走行位置の調整は、先行車が存在せずに先行車追従走行を実施できない場合にのみ適用されても良い。先行車が存在する場合には(C)よりも(B)を優先的に実施することが好ましい。複数の臨時制御例のうち、何れを行うかは、走行環境や低下要因に応じて選択的に実施されうる。
自動運転ECU30はステップS107の次の処理としてステップS108を実行する。ステップS108では情報提示処理部G8が、臨時制御を開始したことを画像表示等にてユーザに通知する。すなわち、臨時制御を開始したことをユーザに事後報告する。なお、臨時制御の実行報告は省略されても良い。ユーザはセカンドタスクを実施中であり、過度な情報提示はユーザに煩わしさを与える恐れがあるためである。同様の観点から、臨時制御を開始したことの通知処理は、画像表示にとどめ、音声メッセージや通知音は出力しなくとも良い。臨時制御を開始したことを通知するための画像である、臨時制御報告画像は、実行している臨時制御の概要を示す情報を含んでいることが好ましい。臨時制御を実行中、HCU20は自動運転ECU30からの指示に基づき、その旨を示すアイコン画像をHUD18A等に表示しても良い。
なお、ここでは一例として複数の周辺監視センサのうちの1つでも、検出能力が要求レベルを下回るものがあった場合に臨時制御を開始するものとするが、これに限らない。複数の周辺監視センサのうち、特定の周辺監視センサの検出能力が要求レベルを下回った場合にのみ、臨時制御を実行するように構成されていても良い。
また、臨時制御の内容は、検出能力が低下したセンサに応じて変更されても良い。例えば、前方カメラ11の検出能力が低下した場合と、ミリ波レーダ12の検出能力が低下した場合とで実行する臨時制御を異ならせても良い。具体的には前方カメラ11の検出能力が低下した場合には、ACCにおける走行速度の目標値を変更せずに、車間距離の設定値等を変更する。一方、ミリ波レーダ12の検出能力が低下した場合には走行速度の目標値を所定量低減する。ミリ波レーダ12が正常に動作している限りは先行車両との距離や相対速度を精度良く検出できる一方、ミリ波レーダが不調となるときめ細やかな速度調整が実施しにくくなる。速度を所定量抑制する構成によれば、先行車両等の予期せぬ事象に対応するための時間的猶予を増大させることができ、安全性を高めることができる。
その他、(B)車間距離の設定変更の具体的な内容は、走行環境が渋滞区間であるか否かに応じて変更されても良い。走行環境が渋滞区間である場合には、(B)として車間距離の設定値を所定量短くする制御を実施する。一方、走行環境が渋滞区間ではない場合には、(B)として車間距離の設定値を所定量長くする制御を実施する。渋滞中は車間距離の設定値を小さめにすることにより、先行車の動きを精度良く検出可能となる。また、渋滞中ではない場合、すなわち一定値以上の速度で走行中は車間距離を本来の設定値よりも長めにすることにより、先行車の急ブレーキ等に対しより安全に応答しやすくなる。なお、臨時対応部G62は、検出能力の低下に伴って車間距離を本来値から変更している場合において、検出能力が要求レベル以上まで回復した場合には車間距離の設定を本来値に復元するものとする。
<上記構成の効果>
以上の構成では、周辺監視センサの検出能力が自動運転を継続するための要求レベルを下回る見込みがある場合には、事前に安全性/物体認識性を高めるための臨時制御を開始する。当該構成によれば、周辺監視センサの検出能力が実際に要求レベルを下回ることを回避したり、検出能力が要求レベル未満となるまでの残余時間を伸ばしたりする効果が期待できる。その結果、自動運転モードを頻繁に中断すること、ひいてはユーザの利便性を損なう恐れを低減できる。
以上の構成では、周辺監視センサの検出能力が自動運転を継続するための要求レベルを下回る見込みがある場合には、事前に安全性/物体認識性を高めるための臨時制御を開始する。当該構成によれば、周辺監視センサの検出能力が実際に要求レベルを下回ることを回避したり、検出能力が要求レベル未満となるまでの残余時間を伸ばしたりする効果が期待できる。その結果、自動運転モードを頻繁に中断すること、ひいてはユーザの利便性を損なう恐れを低減できる。
以上、本開示の実施形態を説明したが、本開示は上述の実施形態に限定されるものではなく、以降で述べる種々の変形例も本開示の技術的範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施することができる。例えば下記の種々の補足や変形例などは、技術的な矛盾が生じない範囲において適宜組み合わせて実施することができる。なお、以上で述べた部材と同一の機能を有する部材については、同一の符号を付し、その説明を省略することがある。また、構成の一部のみに言及している場合、他の部分については上記説明を適用することができる。
臨時制御の内容は上述した例に限定されない。例えば臨時対応部G62は、臨時制御として、(E)自動走行時の目標速度の設定値をユーザ/システムが設定した本来の値よりも所定量下げる制御(換言すれば設定変更)を実施しても良い。
また、臨時対応部G62は、臨時制御として、(F)ハンドオーバーリクエストを実施しても良い。ハンドオーバーリクエストは、HMIシステム2と連動して、運転席乗員またはオペレータに対して運転操作の引き継ぎ要求を実施することに相当する。ハンドオーバーリクエストは、運転交代を要求する報知処理に相当する。
また、臨時対応部G62は、臨時制御として、(G)運転交代の準備を開始することを要求するスタンバイリクエストを実施しても良い。スタンバイリクエストは、運転交代の準備、具体的には前方等の監視を始めることを要求する処理に相当する。スタンバイリクエストは、ハンドオーバーリクエストよりも緊急性が低い要求と解することができる。スタンバイリクエストを行う態様によれば、ユーザはセカンドタスクが一区切りしたタイミングで運転交代の準備を行うことができる。急にハンドオーバーリクエストを行う場合よりも、セカンドタスクが中途半端な状態で運転操作を再開することを低減できるため、ユーザの利便性を損なう恐れを低減できる。
なお、自動運転モードである場合にはユーザがディスプレイへの表示に気が付かない可能性が蓋然的に高い。そのため、ハンドオーバーリクエストでは、運転交代を要求するメッセージ画像をHUD18A等に表示するだけでなく、同様の内容の音声メッセージを出力することが好ましい。一方、スタンバイリクエストは、所定の通知音とともに運転躯体の準備を開始することを要求するメッセージ画像をHUD18A等に表示する処理としてもよい。スタンバイリクエストは相対的に緊急性が低いため、音声メッセージの出力は省略されても良い。
自動運転ECU30は、複数の臨時制御を並列的に順番に実施しても良い。例えば前述の(A)~(E)の何れか1つ又は複数を実施した後に、(G)及び(F)を順番に実施しても良い。運転交代を促す前に、臨時制御としての(A)~(E)の何れかを実施することで、自動運転モードを継続可能な時間を延長することができる。これにより、セカンドタスクが中断されるおそれを低減できる。また、ユーザに対して運転交代までの猶予を与えることが可能となるため、利便性を向上させることができる。
また、自動運転ECU30は、以上で例示した複数の臨時制御のうちの何れか1つだけを実施するように構成されていても良い。例えば自動運転ECU30は自動運転モード時、検出能力が要求レベルを下回ると予想された場合、(A)~(E)の何れも実施せずに、(F)又は(G)を実施するように構成されていても良い。
また、臨時対応部G62は、自動運転モード時、外部照度が自動点灯閾値未満である状況において、ユーザの視線が前方に向いていない場合には、ライト制御に関し、次の制御を実施しても良い。すなわち、前照灯をロービームモードにしても周辺監視センサの検出能力が要求レベルを充足する場合には、対向車または先行車が前方に車両が存在していなかったとしてもハイビームではなくロービームを照射する。ユーザが周辺監視をしておらず、周辺監視センサの検出精度も良好である場合には、ハイビームを照射する必要性が薄く、電力の無駄となりうる。また、ハイビームは周辺の歩行者等に眩しさを与えうる。上記の構成によれば、節電効果や周辺交通との協調性を高めるといった効果が期待できる。なお、ユーザの視線が前方に向いているか否かはDSM17の出力信号から特定可能である。また、前照灯をロービームモードにしても周辺監視センサの検出能力が要求レベルを充足するか否かは、例えばいったん数秒程度ロービームに設定した状態で検出能力を評価することで判定されれば良い。
以上では能力評価部G5が現時点から予測時間後には所定の周辺監視センサの検出能力が要求レベルを逸脱すると判定した時点で、臨時制御を開始する態様を開示したが、これに限らない。周辺監視センサの検出能力が要求レベルを逸脱すると判定してから臨時制御を開始するまでの間には時間差が設けられていても良い。臨時制御は、検出能力が要求レベルを逸脱すると予測されている時刻である逸脱予定時刻よりも前に開始されれば良い。例えば予測時間は1分とする一方、臨時制御の開始は、逸脱予定時刻の15秒前から開始されていても良い。実際に臨時制御を開始するタイミングは、臨時制御の内容に応じて変更されても良い。例えば車間距離の設定値の変更や、走行速度の抑制、前照灯の点灯は、予測時間後に検出能力が要求レベルを逸脱すると判定された時点から開始する一方、フォグランプの点灯は逸脱予定の1分前から開始してもよい。地域によっては、濃霧エリア等の悪環境下ではないシーンでのフォグランプの点灯は交通ルールとして許可されてないことがありうる。濃霧エリアから1分以内となる範囲は概ね悪環境であり、交通ルールに適した振る舞いとなることが期待できる。
<付言>
自動運転ECU30などの本開示に記載の装置、システム、並びにそれらの手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。また、本開示に記載の装置及びその手法は、専用ハードウェア論理回路を用いて実現されてもよい。さらに、本開示に記載の装置及びその手法は、コンピュータプログラムを実行するプロセッサと一つ以上のハードウェア論理回路との組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。例えば自動運転ECU30が備える機能の一部又は全部はハードウェアとして実現されても良い。或る機能をハードウェアとして実現する態様には、1つ又は複数のICなどを用いて実現する態様が含まれる。自動運転ECU30は、CPUの代わりに、MPUやGPU、DFP(Data Flow Processor)を用いて実現されていてもよい。自動運転ECU30は、CPUや、MPU、GPUなど、複数種類の演算処理装置を組み合わせて実現されていてもよい。自動運転ECU30は、システムオンチップ(SoC:System-on-Chip)として実現されていても良い。自動運転ECU30は、FPGA(Field-Programmable Gate Array)や、ASIC(Application Specific Integrated Circuit)を用いて実現されていても良い。各種プログラムは、非遷移的実体的記録媒体(non- transitory tangible storage medium)に格納されていればよい。プログラムの保存媒体としては、HDD(Hard-disk Drive)やSSD(Solid State Drive)、フラッシュメモリ、SD(Secure Digital)カード等、多様な記憶媒体を採用可能である。
自動運転ECU30などの本開示に記載の装置、システム、並びにそれらの手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。また、本開示に記載の装置及びその手法は、専用ハードウェア論理回路を用いて実現されてもよい。さらに、本開示に記載の装置及びその手法は、コンピュータプログラムを実行するプロセッサと一つ以上のハードウェア論理回路との組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。例えば自動運転ECU30が備える機能の一部又は全部はハードウェアとして実現されても良い。或る機能をハードウェアとして実現する態様には、1つ又は複数のICなどを用いて実現する態様が含まれる。自動運転ECU30は、CPUの代わりに、MPUやGPU、DFP(Data Flow Processor)を用いて実現されていてもよい。自動運転ECU30は、CPUや、MPU、GPUなど、複数種類の演算処理装置を組み合わせて実現されていてもよい。自動運転ECU30は、システムオンチップ(SoC:System-on-Chip)として実現されていても良い。自動運転ECU30は、FPGA(Field-Programmable Gate Array)や、ASIC(Application Specific Integrated Circuit)を用いて実現されていても良い。各種プログラムは、非遷移的実体的記録媒体(non- transitory tangible storage medium)に格納されていればよい。プログラムの保存媒体としては、HDD(Hard-disk Drive)やSSD(Solid State Drive)、フラッシュメモリ、SD(Secure Digital)カード等、多様な記憶媒体を採用可能である。
上記実施形態における1つの構成要素が有する複数の機能は、複数の構成要素によって実現されてもよいし、1つの構成要素が有する1つの機能が、複数の構成要素によって実現されてもよい。また、複数の構成要素が有する複数の機能を、1つの構成要素によって実現されてもよいし、複数の構成要素によって実現される1つの機能を、1つの構成要素によって実現されてもよい。加えて、上記実施形態の構成の一部を省略してもよい。コンピュータを自動運転ECU30として機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体等の形態も本開示の範囲に含まれる。
Claims (14)
- 車両の周辺に存在する物体を検出する周辺監視センサ(11、12)の出力信号に基づいて前記車両を自律的に走行させる制御である自動運転を実施可能に構成された車両制御装置であって、
直近所定時間以内における前記周辺監視センサの出力信号の履歴、及び、外部装置より無線通信で取得する前記車両がこれから通過予定の道路区間についての動的地図データの少なくとも何れか一方に基づいて、前記周辺監視センサの検出能力が、現時点から所定の予測時間以内に、前記自動運転を継続するために必要な性能品質である要求レベルを充足しなくなるか否かを判断する検出能力予測部(G5)と、
前記自動運転を実行中、前記予測時間以内に前記検出能力が前記要求レベルを充足しなくなると前記検出能力予測部が判定したことに基づいて、所定の臨時制御を開始する臨時対応部(G62)と、を備える車両制御装置。 - 前記車両に搭載された照度センサが検出する外部照度が前照灯を自動点灯させるための所定の点灯閾値未満となったことに基づいて前記前照灯を自動点灯させる灯火制御装置(15)と接続されて使用される、請求項1に記載の車両制御装置であって、
前記臨時対応部は、前記自動運転を実行中、前記予測時間以内に前記検出能力が前記要求レベルを充足しなくなると前記検出能力予測部が判定したことに基づき、前記臨時制御として、前記照度センサから提供される前記外部照度が前記点灯閾値以上であっても前記前照灯を点灯させる車両制御装置。 - 請求項1又は2に記載の車両制御装置であって、
前記検出能力予測部が、前記予測時間以内に前記検出能力が前記要求レベルを充足しなくなると判定した場合に、その原因である低下要因を特定する要因特定部(G52)を備え、
前記臨時対応部は、前記自動運転を実行中、前記予測時間以内に前記検出能力が前記要求レベルを充足しなくなると前記検出能力予測部が判定したことに基づき、前記要因特定部が特定した前記低下要因に応じた前記臨時制御を開始する車両制御装置。 - 請求項3に記載の車両制御装置であって、
前記臨時対応部は、前記低下要因が霧又は砂塵である場合には、前記臨時制御として、霧又は砂塵の発生が通知されているエリアに前記車両が進入する前からフォグランプを点灯させる車両制御装置。 - 前記車両に搭載された照度センサが検出する外部照度が前照灯を自動点灯させるための所定の点灯閾値未満である場合に、前記前照灯としてのロービーム又はハイビームを自動点灯させる灯火制御装置と接続されて使用される、請求項1から4の何れか1項に記載の車両制御装置であって、
車室内に設置されたカメラの画像を解析することによって定まる運転席に着座しているユーザの視線方向を示す情報を取得し、
夜間において前記自動運転を実行中、前記ロービームであっても前記検出能力が前記要求レベルを充足し、且つ、前記ユーザの視線方向が前記車両の前方に向いていない場合には、対向車の有無に関わらず、前記灯火制御装置に対して前記ハイビームではなく前記ロービームを点灯させるための指示信号を出力する車両制御装置。 - ロービーム及びハイビームを含む前照灯の点灯状態を制御する灯火制御装置と接続されて使用される、請求項1から5の何れか1項に記載の車両制御装置であって、
前記前照灯は、光の照射距離が前記ロービームよりも長く、且つ、前記ハイビームよりも短いセミハイビームを照射可能に構成されており、
前記臨時対応部は、前記自動運転を実行中、前記予測時間以内に前記検出能力が前記要求レベルを充足しなくなると前記検出能力予測部が判定したことに基づき、前記臨時制御として、前記セミハイビームを照射させるための指示信号を前記灯火制御装置に出力するように構成されている車両制御装置。 - 請求項1から6の何れか1項に記載の車両制御装置であって、
前記自動運転のためのサブシステムとして、所定の車間距離をおいて自車両を先行車に追従するように走行させる先行車追従制御を実施する先行車追従制御部(G61)を備え、
前記臨時対応部は、前記自動運転を実行中、前記検出能力が前記要求レベルを充足しなくなると判定されている場合には、前記臨時制御として、前記検出能力が前記要求レベルを充足しなくなると判定されていない場合よりも、前記先行車追従制御における前記車間距離の設定値を本来値よりも小さくする車両制御装置。 - 請求項1から6の何れか1項に記載の車両制御装置であって、
前記自動運転のためのサブシステムとして、所定の車間距離をおいて自車両を先行車に追従するように走行させる先行車追従制御を実施する先行車追従制御部(G61)を備え、
前記臨時対応部は、前記自動運転を実行中、前記検出能力が前記要求レベルを充足しなくなると判定されている場合には、前記臨時制御として、前記検出能力が前記要求レベルを充足しなくなると判定されていない場合よりも、前記先行車追従制御における前記車間距離の設定値を本来値よりも大きくする車両制御装置。 - 請求項1から6の何れか1項に記載の車両制御装置であって、
前記自動運転のためのサブシステムとして、所定の車間距離をおいて自車両を先行車に追従するように走行させる先行車追従制御を実施する先行車追従制御部(G61)を備え、
前記臨時対応部は、前記自動運転を実行中、前記検出能力が前記要求レベルを充足しなくなると判定され且つ走行環境が渋滞区間である場合には、前記臨時制御として、前記車間距離の設定値を、手動設定又は走行速度の設定値に応じて自動的に設定される本来値よりも所定量小さくする一方、
前記検出能力が前記要求レベルを充足しなくなると判定され且つ走行環境が渋滞区間ではない場合には、前記臨時制御として、前記車間距離の設定値を前記本来値よりも所定量大きくする車両制御装置。 - 請求項7から9の何れか1項に記載の車両制御装置であって、
前記検出能力が前記要求レベルを充足しなくなると判定されたことに基づいて前記車間距離の設定値を前記本来値から変更した場合には、前記検出能力が前記要求レベルを充足するようになったことに基づいて前記車間距離の設定値を前記本来値に戻すように構成されている車両制御装置。 - 請求項1から10の何れか1項に記載の車両制御装置であって、
前記臨時対応部は、前記自動運転を実行中、前記検出能力が前記要求レベルを充足しなくなると判定された場合には、前記臨時制御として、隣接車線を走行している他車両と並走する制御、又は、走行レーンとして道路端に隣接するレーンを優先的に採用する制御を実施する車両制御装置。 - 請求項1から11の何れか1項に記載の車両制御装置であって、
前記臨時対応部は、前記自動運転を実行中、前記予測時間以内に前記検出能力が前記要求レベルを充足しなくなると前記検出能力予測部が判定したことに基づき、前記臨時制御として、運転席に着座しているユーザに対して運転交代を促す報知又は運転交代の準備を開始することを促す報知を実施する車両制御装置。 - 請求項12に記載の車両制御装置であって、
前記臨時対応部は、前記自動運転を実行中、前記検出能力予測部によって前記予測時間以内に前記検出能力が前記要求レベルを充足しなくなると判定されたことに基づき、前記臨時対応部が前記臨時制御を実施した後に、前記ユーザに対して運転交代を促す報知を実施する車両制御装置。 - 車両の周辺に存在する物体を検出する周辺監視センサ(11、12)の出力信号に基づく自動運転を実施可能に構成された前記車両に適用される、少なくとも1つのプロセッサを用いて実施される車両制御方法であって、
直近所定時間以内における前記周辺監視センサの出力信号の履歴、及び、外部装置より無線通信で取得する前記車両がこれから通過予定の道路区間についての動的地図データの少なくとも何れか一方に基づいて、前記周辺監視センサの検出能力が、現時点から所定の予測時間以内に、前記自動運転を継続するために必要な性能品質である要求レベルを充足しなくなるか否かを判断すること(S104)と、
前記自動運転を実行中、前記予測時間以内に前記検出能力が前記要求レベルを充足しなくなると判定されたことに基づいて、所定の臨時制御を開始すること(S107)と、を含む車両制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US18/363,603 US20230373530A1 (en) | 2021-03-22 | 2023-08-01 | Vehicle control device and vehicle control method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021047522A JP7415994B2 (ja) | 2021-03-22 | 2021-03-22 | 車両制御装置、車両制御方法 |
JP2021-047522 | 2021-03-22 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US18/363,603 Continuation US20230373530A1 (en) | 2021-03-22 | 2023-08-01 | Vehicle control device and vehicle control method |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2022202256A1 true WO2022202256A1 (ja) | 2022-09-29 |
Family
ID=83397070
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2022/009795 WO2022202256A1 (ja) | 2021-03-22 | 2022-03-07 | 車両制御装置、車両制御方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230373530A1 (ja) |
JP (1) | JP7415994B2 (ja) |
WO (1) | WO2022202256A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116091250A (zh) * | 2023-02-09 | 2023-05-09 | 中国人民健康保险股份有限公司深圳分公司 | 一种保险风控管理方法与系统 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230082106A1 (en) * | 2021-09-13 | 2023-03-16 | Aptiv Technologies Limited | Vehicle Localization to Map Data |
DE102021004646B3 (de) * | 2021-09-14 | 2023-03-23 | Mercedes-Benz Group AG | Verfahren zum Betreiben eines Fahrzeugs in einem automatisierten Fahrbetrieb |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003123186A (ja) * | 2001-10-16 | 2003-04-25 | Toshiba Corp | 路車間通信を利用した配光制御システム |
WO2016139748A1 (ja) * | 2015-03-03 | 2016-09-09 | パイオニア株式会社 | 経路探索装置、制御方法、プログラム及び記憶媒体 |
JP2020001618A (ja) * | 2018-06-29 | 2020-01-09 | 株式会社デンソーテン | 制御装置および制御方法 |
-
2021
- 2021-03-22 JP JP2021047522A patent/JP7415994B2/ja active Active
-
2022
- 2022-03-07 WO PCT/JP2022/009795 patent/WO2022202256A1/ja active Application Filing
-
2023
- 2023-08-01 US US18/363,603 patent/US20230373530A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003123186A (ja) * | 2001-10-16 | 2003-04-25 | Toshiba Corp | 路車間通信を利用した配光制御システム |
WO2016139748A1 (ja) * | 2015-03-03 | 2016-09-09 | パイオニア株式会社 | 経路探索装置、制御方法、プログラム及び記憶媒体 |
JP2020001618A (ja) * | 2018-06-29 | 2020-01-09 | 株式会社デンソーテン | 制御装置および制御方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116091250A (zh) * | 2023-02-09 | 2023-05-09 | 中国人民健康保险股份有限公司深圳分公司 | 一种保险风控管理方法与系统 |
CN116091250B (zh) * | 2023-02-09 | 2023-12-15 | 中国人民健康保险股份有限公司深圳分公司 | 一种保险风控管理方法与系统 |
Also Published As
Publication number | Publication date |
---|---|
JP7415994B2 (ja) | 2024-01-17 |
JP2022146522A (ja) | 2022-10-05 |
US20230373530A1 (en) | 2023-11-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3428028B1 (en) | Vehicle control device mounted on vehicle and method for controlling the vehicle | |
US11932251B2 (en) | Vehicle control device, vehicle control method, and program | |
CN110356402B (zh) | 车辆控制装置、车辆控制方法及存储介质 | |
JP7466396B2 (ja) | 車両制御装置 | |
WO2022202256A1 (ja) | 車両制御装置、車両制御方法 | |
JP7030573B2 (ja) | 車両制御装置、車両制御方法、およびプログラム | |
US20230147535A1 (en) | Vehicle position estimation device and traveling control device | |
KR20190007287A (ko) | 차량 주행 시스템 및 차량 | |
US20230115708A1 (en) | Automatic driving device and vehicle control method | |
JP6641583B2 (ja) | 車両制御装置、車両制御方法、およびプログラム | |
JP7409257B2 (ja) | 信号機認識装置、信号機認識方法、車両制御装置 | |
JP2019119266A (ja) | 車両制御システム、車両制御方法、およびプログラム | |
US20190276029A1 (en) | Vehicle control device, vehicle control method, and storage medium | |
JP7511471B2 (ja) | 情報処理装置及び情報処理方法、コンピュータプログラム、並びに移動体装置 | |
JP7452650B2 (ja) | 駐停車地点管理装置、駐停車地点管理方法、車両用装置 | |
JP7315101B2 (ja) | 障害物情報管理装置、障害物情報管理方法、車両用装置 | |
JP7081444B2 (ja) | 車両制御システム | |
US11409297B2 (en) | Method for operating an automated vehicle | |
WO2023037893A1 (ja) | 車両用データ生成サーバ、車両制御装置 | |
US20220203985A1 (en) | Vehicle control device, vehicle control method, and storage medium | |
CN112712718A (zh) | 通过v2x的车辆、车队管理和交通信号灯交互体系结构设计 | |
JP2022044236A (ja) | 車両制御装置、車両制御方法、およびプログラム | |
WO2023068162A1 (ja) | 自動運行装置、合流車応答制御方法 | |
WO2024122302A1 (ja) | 通知制御装置、通知制御方法 | |
WO2023090203A1 (ja) | 自動運行装置、車両制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22775050 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 22775050 Country of ref document: EP Kind code of ref document: A1 |