WO2022219884A1 - 運転支援装置 - Google Patents

運転支援装置 Download PDF

Info

Publication number
WO2022219884A1
WO2022219884A1 PCT/JP2022/003850 JP2022003850W WO2022219884A1 WO 2022219884 A1 WO2022219884 A1 WO 2022219884A1 JP 2022003850 W JP2022003850 W JP 2022003850W WO 2022219884 A1 WO2022219884 A1 WO 2022219884A1
Authority
WO
WIPO (PCT)
Prior art keywords
assistance
map
driving
vehicle
support
Prior art date
Application number
PCT/JP2022/003850
Other languages
English (en)
French (fr)
Inventor
健人 緒方
秀行 粂
盛彦 坂野
佑一 小森谷
英弘 豊田
Original Assignee
日立Astemo株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立Astemo株式会社 filed Critical 日立Astemo株式会社
Priority to DE112022001081.9T priority Critical patent/DE112022001081T5/de
Publication of WO2022219884A1 publication Critical patent/WO2022219884A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection

Definitions

  • the present invention relates to a driving assistance device.
  • Patent Document 1 discloses a system that detects near misses of the driver, records the detected positions on a map, and assists driving.
  • the driving assistance device of the present invention comprises: a first surrounding sensor map indicating a map of the surroundings of a vehicle; Acquiring sensor information indicating information about objects around the vehicle sensed by a sensor, acquiring a second surrounding sensor map based on the sensor information, and a processor for providing driving assistance with the assistance content corresponding to the first ambient sensor map when the ambient sensor map is similar to the first ambient sensor map.
  • driving assistance can be provided when the vehicle travels in a location similar to a location requiring driving assistance.
  • FIG. 1 is a functional block diagram of a driving support device according to Embodiment 1;
  • FIG. It is a schematic diagram which shows the sensing range of five sensors mounted in the own vehicle. It is a schematic diagram which shows the sensing range of seven sensors mounted in the own vehicle. It is a figure which shows an example of the environment around the own vehicle. It is a figure which shows the sensing result of the sensor mounted in the own vehicle of FIG. 3A. It is a figure which shows the surroundings sensor map acquired by the surroundings sensor map acquisition part.
  • 4 is a flowchart for explaining an operation procedure of a map similarity searching unit; It is a flowchart explaining the operation
  • FIG. 10 is a diagram showing a supported operation list;
  • FIG. 10 is a diagram showing a supported operation list;
  • FIG. 9 is a flowchart for explaining the operation procedure of a support pattern updating unit; 9 is a flow chart showing an update method of a support pattern update unit; FIG. 11 is a flow chart showing another update method of the support pattern update unit; FIG. It is a figure which shows the example which a pedestrian jumped out suddenly and stepped on a sudden brake.
  • FIG. 8B illustrates an ambient sensor map for the example of FIG. 8A;
  • FIG. 10 is a diagram showing an example of a sudden decrease in speed while traveling on a narrow road;
  • FIG. 8C shows an ambient sensor map for the example of FIG. 8C;
  • FIG. 10 is a diagram showing an example of running just off a wall when turning at a narrow intersection;
  • FIG. 8E shows an ambient sensor map for the example of FIG. 8E;
  • FIG. 8B illustrates an ambient sensor map for the example of FIG. 8A
  • FIG. 10 is a diagram showing an example of a sudden decrease in speed while traveling on a narrow road
  • FIG. 8C
  • FIG. 7 is a functional block diagram of a driving support device according to Embodiment 2; It is a figure which shows an example of the environment around the own vehicle. It is a figure which shows the sensing range of the camera mounted in the own vehicle of FIG. 10A. It is a figure which shows the pattern recognition of the camera mounted in the own vehicle of FIG. 10A. It is a figure which shows the target recognized by a target recognition part.
  • FIG. 10 is a diagram showing an example in which a pedestrian suddenly approaches the road while the vehicle is traveling on a narrow road and the driver steps on the brakes suddenly;
  • 11B is a diagram showing the positional relationship between the surrounding sensor map and the target in the example of FIG. 11A;
  • FIG. 10 is a diagram showing an example in which the terrain is similar but there is no target in front;
  • FIG. 11 is a functional block diagram of a driving support device according to Embodiment 3;
  • FIG. 4 is a conceptual diagram showing an example of contents stored in a table of a pre-pattern storage unit;
  • FIG. 11 is a conceptual diagram showing an example of contents stored in another table of the pre-pattern storage unit;
  • FIG. 11 is a flowchart for explaining another operation procedure of the support pattern updating unit;
  • FIG. FIG. 11 is a functional block diagram of a driving support device according to Embodiment 4; It is a figure which shows the example in which a two-wheeled vehicle and a vehicle exist around self-vehicle.
  • FIG. 4 is a conceptual diagram showing an example of contents stored in a table of a pre-pattern storage unit
  • FIG. 11 is a conceptual diagram showing an example of contents stored in another table of the pre-pattern storage unit
  • FIG. 11 is a flow
  • FIG. 10 is a diagram showing an example in which a sensing range is limited by a target;
  • FIG. 10 is a diagram showing surrounding terrain information acquired by a surrounding sensor map acquisition unit; It is a figure which shows the bad intersection of visibility.
  • FIG. 17B is a diagram showing a surrounding sensor map in an example in which the driver steps on the brake suddenly when the vehicle is about to turn left at the intersection of FIG. 17A;
  • FIG. 10 is a diagram showing an example of running at a speed sufficiently lower than the speed limit when going straight on a narrow road;
  • FIG. 17C shows an ambient sensor map for the example of FIG. 17C;
  • FIG. 10 is a diagram showing an example in which the vehicle has passed the very edge of a wall when turning on a narrow road, or in which it is determined that the vehicle cannot turn as it is and the vehicle is switched to the reverse gear.
  • FIG. 18B shows a surrounding sensor map for the example of FIG. 18A; When turning right at an intersection, when there is an oncoming vehicle and the visibility of the oncoming lane is poor, a two-wheeled vehicle or the like jumps out from behind the oncoming vehicle and suddenly brakes.
  • FIG. 18B is a diagram showing the positional relationship between the surrounding sensor map and targets in the example of FIG. 18C;
  • FIG. 11 is a functional block diagram of a driving support device according to Embodiment 5;
  • FIG. 1 is a block diagram of a driving assistance device 100 according to Embodiment 1. As shown in FIG.
  • the driving support device 100 is incorporated in an integrated controller or the like mounted on a vehicle ( FIG. 2A , host vehicle 10 ), and is for supporting driving.
  • a camera mounted around the vehicle It is set to assist driving based on the sensing results.
  • the driving support device 100 is configured by a computer having a CPU (Central Processing Unit), a memory, an I/O (Input/Output: input/output device), etc., and is programmed with predetermined processing, and is performed at a predetermined cycle. Perform the iterative process on T.
  • the CPU, memory, etc. cooperate to realize the following functions.
  • the driving support device 100 includes a sensor information acquisition unit 101, a surrounding sensor map acquisition unit 102, a map similarity search unit 103, a support instruction unit 104, an operation information acquisition unit 105, a support It has a determination unit 106 , a support pattern update unit 107 , and a support pattern storage unit 108 .
  • the sensor information acquisition unit 101 acquires the distance to objects around the vehicle. For example, as shown in FIGS. 2A and 2B, the sensor information acquisition unit 101 acquires information about the surroundings of the vehicle from sensors such as a camera, radar, LiDAR, and sonar attached at positions where objects around the vehicle 10 can be detected. Get the distance and point cloud to the object. In this embodiment, the distance from the camera attached to the surroundings of the vehicle and the point cloud to the surrounding obstacles are acquired.
  • FIG. 2A is an example in which the vehicle 10 is equipped with five cameras
  • FIG. 2B is an example in which the vehicle 10 is equipped with seven cameras.
  • Distances and point clouds are obtained by computing parallax in the case of a stereo camera. In the case of a monocular camera, it is possible to obtain the distance and point cloud based on the principle of motion stereo as the vehicle moves.
  • c is the ID of the camera
  • p is the ID of the point group
  • X, Y, and Z are the coordinate values in the relative coordinate system from the sensor obtained as a result of the measurement.
  • the surrounding sensor map acquisition unit 102 integrates the point cloud PT[c][p] obtained from the sensors and generates a map MP[x][y] representing the surrounding topography.
  • the map MP[x][y] is two-dimensional data.
  • the distance point group PT[c][p] acquired from each sensor is converted into relative coordinates from the center of the vehicle based on the mounting information (external parameters) of each sensor to the vehicle. It is assumed that the mounting information to the own vehicle has been measured in advance.
  • FIG. 3A if the own vehicle 10 has the sensor configuration shown in FIG. 2A, the sensing result shown in FIG. 3B is obtained. A plot of all point clouds from these sensors is shown in FIG. 3C. Furthermore, a map in which time-series information is accumulated, such as an occupation probability map, may be used.
  • the support pattern storage unit 108 shown in FIG. 1 is a RAM (Random Access Memory) area in which the support pattern PTN[n] is stored.
  • n is an ID for appropriately managing when a plurality of support patterns PTN are stored.
  • the support pattern PTN[n] includes, as a data structure, a validity flag V, a map MP[x][y], a support function ASS, a validity criterion CND, and a priority PR.
  • the map similarity search unit 103 compares the degree of similarity between the map MP[x][y] and the map MP[x][y] in the support pattern PTN[n]. If the map MP has a high degree of similarity with the map MP in any of the support patterns PTN[n], the support instruction unit 104 is notified to implement the corresponding support content. Details of the processing will be described later.
  • the assistance instruction unit 104 instructs another controller in the vehicle to perform driving assistance corresponding to the assistance function ASS in the assistance pattern PTN[n] determined to have a high degree of similarity by the map similarity search unit 103. and actuators.
  • the operation information acquisition unit 105 acquires information on the driver's steering, accelerator, and brake operations. These pieces of information may be obtained by directly inputting sensor signals to the driving assistance device 100 or by performing communication using a LAN (Local Area Network).
  • LAN Local Area Network
  • the assistance determination unit 106 determines whether or not driving assistance is required based on the driving operation acquired from the operation information acquisition unit 105 . Whether or not driving assistance is required is determined in advance by pre-holding a list of what kind of assistance is required for what kind of operation, for example, if an emergency braking operation requires warning assistance. , to judge accordingly. When it is determined that driving assistance is necessary, the surrounding sensor map acquiring unit 102 acquires the map MP generated and notifies the assistance pattern updating unit together with the corresponding assistance contents. Details of the processing will be described later.
  • the support pattern update unit 107 registers the map and the content of support in the support pattern storage unit when notified by the support determination unit 106 . In addition, the effectiveness of the support content is determined, and for the support determined to be less effective, the support pattern in the support pattern storage unit is invalidated. Details of the processing will be described later.
  • FIG. 4 is a flow chart showing the flow of processing by the map similarity searching unit 103. As shown in FIG.
  • step S401 the orientation of the map MP is corrected.
  • this processing is performed when the map MP is generated in a coordinate system in which the direction of the vehicle is fixed. are unified in a predetermined direction so that the degree of similarity between maps can be calculated even if they are in different directions.
  • correction is performed so that the vehicle faces upward on the map MP.
  • the support pattern PTN[n] is acquired from the support pattern storage unit .
  • the support pattern PTN[n] has the validity flag V, the map MP, the support function ASS, the validity criterion CND, and the priority PR as data.
  • step S403 the validity flag V of the support pattern PTN[n] is used to determine whether it is valid.
  • the valid flag V is set by the support pattern updating unit 107, which will be described later. If the support pattern is valid, the process moves to step S404. If the support pattern is invalid, the next support pattern is read in step S404. Return to S402.
  • the similarity SML[n] between the map MP in the support pattern PTN[n] and the surrounding sensor map MP is calculated in step S404. Since the map MP and the surrounding sensor map MP in the support pattern PTN[n] are two-dimensional image patterns, the similarity calculation is performed using a simple image similarity calculation method such as SAD or SSD. .
  • the similarity SML[n] obtained as a result of the calculation is calculated to be closer to 1 as the patterns are more similar and closer to 0 as the patterns are dissimilar. It should be noted that the similarity calculation may be performed using a method such as SIFT, which detects feature points and calculates the similarity between the feature points, in order to deal with minute differences in shape.
  • step S405 it is determined whether or not the similarity SML[n] is equal to or greater than the threshold TH_SML. If the similarity SML[n] is greater than or equal to the threshold value, the process moves to step S406, and the table TBL for notifying the support determination unit 106 to perform the support function ASS in the support pattern PTN[n]. Register content.
  • step S407 the contents registered in the table TBL for notification to the support determination unit 106 are confirmed.
  • the support determination unit 106 is notified to implement the contents with the highest priority.
  • the priority PR is set according to the content of the assistance, and the assistance that intervenes in vehicle control, such as deceleration, has a high priority, and the assistance that only provides a notification, such as an alarm, has a low priority.
  • FIG. 5A is a flow chart showing the flow of processing by the support determination unit 106.
  • FIG. 5B is a flow chart showing the flow of processing by the support determination unit 106.
  • a support target operation list LST for support determination is obtained.
  • the support target operation list LST includes operation criteria TRG (operation information), support function ASS (support content), validity criteria CND, and priority PR.
  • operation criteria TRG operation information
  • support function ASS support content
  • validity criteria CND validity criteria
  • priority PR priority PR
  • step S502 it is determined whether or not an operation matching the operation standard TRG of the support target operation list LST has been detected. If detected, the process proceeds to step S503. If not detected, wait until the next processing cycle.
  • step S503 the peripheral sensor map MP generated by the peripheral sensor map acquisition unit 102 is acquired.
  • step S504 the shape of the surrounding sensor map MP is determined. Shape determination determines complexity within the map MP. For example, if there are no or very few objects in the map, the information in the map MP is reduced, and the map similarity search unit 103 is likely to make false detections.
  • the map MP is quantified based on the ratio of pixels in which objects exist, the degree of complexity used for texture analysis, and the like.
  • the support pattern updating unit 107 is notified as a support pattern PTN in which the MP, the support content ASS described in the support target operation list LST, and the validity determination criterion CND are set.
  • FIG. 6 is a flowchart showing the flow of processing by the support pattern updating unit 107.
  • FIG. 7A and 7B are flowcharts showing the flow of processing relating to the update method of the support pattern update unit 107.
  • FIG. 7A and 7B are flowcharts showing the flow of processing relating to the update method of the support pattern update unit 107.
  • step S601 the presence or absence of notification from step S506 of the support determination unit 106 is checked, and if there is notification, the process moves to step S602. If there is no notification, the process moves to step S604.
  • step S602 the map MP is acquired and direction correction is performed. This is the same as the processing of step S401 described above.
  • time-series information such as an occupancy probability map
  • the direction of the vehicle can be set in a predetermined direction. This is a process for making it possible to calculate the degree of similarity between maps even if they are in different orientations by unifying them.
  • correction is performed so that the vehicle faces upward on the map MP.
  • step S603 the map MP, the assistance content ASS, and the effectiveness criterion CND are registered in the additional table TBL_A added to the assistance pattern storage unit 108 as the assistance pattern PTN[a].
  • Step S604 and subsequent steps are invalidation processing of the registered support pattern.
  • driver operation information is acquired from the operation information acquisition unit 105 .
  • step S605 a surrounding sensor map MP is obtained.
  • step S606 it is determined whether or not the support instruction unit 104 has issued a support instruction. If so, the process moves to step S607. If not, it waits until the next processing cycle.
  • step S607 from the support pattern storage unit 108, the implemented support content ASS and effectiveness criteria CND are acquired. Then, in step S608, the validity of the support instruction is determined based on the validity determination criteria CND.
  • the effectiveness of the support instruction varies depending on the content of the support, but if the warning is given, the support instruction is effective if the brake is stepped on after the timing of the warning, and the brake is stepped on before the timing of the warning. If so, it can be determined that the support instruction is invalid. This may be a binary value of valid/invalid, or may be a continuous value between 0.0 and 1.0, where the closer to 1.0 is, the more effective it is.
  • step S609 the effectiveness of the support instruction is used, and if it is determined that the effectiveness is low, the process moves to step S610. Otherwise, it waits until the next processing cycle.
  • step S610 the map MP of the corresponding support pattern in the support pattern storage unit 108, the support content ASS, and the validity criterion CND are registered in the invalidation table TBL_I as the support pattern PTN[b] to be invalidated.
  • FIGS. 7A and 7B After executing the above processing, it is reflected in the support pattern storage unit 108 according to the method shown in FIGS. 7A and 7B.
  • Figures 7A and B describe different reflection methods.
  • step S701 it is determined whether or not the number of registrations in the addition table TBL_A and the invalidation table TBL_I is equal to or greater than a certain number. Otherwise, it waits until the next processing cycle.
  • step S702 the content of the additional table TBL_A is registered in the support pattern storage unit 108 as a new support pattern. Also, the contents of the invalidation table TBL_I are extracted from the support pattern storage unit 108 and an invalidation flag is added.
  • step S703 it is determined whether or not the number of registrations in the addition table TBL_A and the invalidation table TBL_I is equal to or greater than a certain number. Otherwise, it waits until the next processing cycle.
  • step S704 the content of the additional table TBL_A is registered in the support pattern storage unit 108 as a new support pattern.
  • step S705 the contents of the invalidation table TBL_I are stored in the invalidation pattern storage unit 109.
  • FIG. The invalidation pattern storage unit 109 is a storage area separate from the support pattern storage unit 108 .
  • step S706 clustering using the shape of the map MP is performed in the support pattern storage unit 108 and the invalidation pattern storage unit 109.
  • a group PTG[j] of similar patterns in the support pattern storage unit 108 is generated.
  • a group PTIG[k] of similar patterns in the invalidation pattern storage unit 109 is generated.
  • the similarity between group PTG[j] in support pattern storage unit 108 and group PTIG[k] in invalidation pattern storage unit 109 is also calculated.
  • step S707 it is first determined whether the number of patterns in the group PTG[j] in the support pattern storage unit 108 is equal to or greater than a certain number. If the number is equal to or greater than the fixed number, the process moves to step S708. If the number is less than the fixed number, the process moves to step S710.
  • step S708 the group PTIG[k] in the disabling pattern storage unit 109 that is highly similar to the group PTG[j] in the support pattern storage unit 108 calculated in step S706 is referred to, and the number of patterns is fixed. Determine if it is greater than or equal to the number. If the degree of similarity with the group PTG[j] in the support pattern storage unit 108 is less than a certain level, the number of patterns is assumed to be zero. As a result, if the number is equal to or greater than the fixed number, the process moves to step S710. If the number is less than the fixed number, the process moves to step S709.
  • the number of patterns in the group PTG[j] in the support pattern storage unit 108 is a certain number or more, and the number of patterns in the corresponding group PTIG[k] in the invalidation pattern storage unit 109 is less than a certain number. implemented in some cases.
  • the valid flag V of the support pattern PTN[n] belonging to the group PTG[j] in the support pattern storage unit 108 is set to "valid".
  • step S710 the number of patterns in group PTG[j] in support pattern storage unit 108 is less than a certain number, or the number of patterns in corresponding group PTIG[k] in invalidation pattern storage unit 109 is a certain number or more. implemented in some cases.
  • the valid flag V of the support pattern PTN[n] belonging to the group PTG[j] in the support pattern storage unit 108 is set to "invalid".
  • FIG. 8A is an example of a pedestrian 20 suddenly running out and stepping on the brakes when the own vehicle 10 comes out of an intersection with poor visibility.
  • the map MP at the timing of sudden braking is stored as a support pattern PTN[n] as shown in FIG. 8B. Then, when approaching a similar intersection, a warning can be issued as the support function ASS, so that the driver can be alerted.
  • FIG. 8C is an example of a sudden drop in speed when the driver is traveling on a narrow road.
  • the traveling road speed from the navigation or the sign recognition function of the external recognition sensor, it is compared with the speed of the own vehicle, and it is detected that the speed is below a certain rate, and the map MP is stored as shown in FIG. 8D. Then, when entering a similar road, a warning can be implemented as the support function ASS to call attention to the driver.
  • FIG. 8E is an example in which the driver runs just past the wall when turning at a narrow intersection.
  • a map MP is stored as shown in FIG. 8F by acquiring information of a system that detects the distance to an obstacle and issues an obstacle approach warning if the distance is less than a certain value as driver operation information.
  • an obstacle approach warning is issued earlier than usual as the assistance function ASS, thereby prompting the driver to perform an early turning operation.
  • the driving assistance device includes at least a memory ( FIG. 1 , assistance pattern storage unit 108) and a processor (CPU).
  • the memory stores a first peripheral sensor map (map MP) showing a map of the surroundings of the vehicle (self-vehicle 10); ASS) and support patterns PTN are stored.
  • the processor acquires sensor information indicating information about objects around the vehicle sensed by sensors.
  • the processor acquires a second surrounding sensor map (map MP) based on the sensor information. If the second surrounding sensor map (map MP) is similar to the first surrounding sensor map (map MP), the processor (map similarity searching unit 103, support instruction unit 104) searches for the first surrounding sensor map (map MP). MP) corresponding to the support content (support function ASS) driving support. As a result, driving assistance can be provided when the vehicle travels in a location similar to a location requiring driving assistance.
  • the memory stores a list (assisted operation list LST ).
  • the processor support determination unit 106, support pattern update unit 107) acquires the second surrounding sensor map (map MP) and the operation information (operation reference TRG ), the support pattern PTN is registered/updated as a set with the support content (support function ASS) corresponding to .
  • assistance content is associated with the first surrounding sensor map.
  • the operation state indicated by the operation information is, for example, a state in which a sudden braking operation has been performed (FIG. 5B, row of priority 1).
  • the content of support (support function ASS) corresponding to the operation information (operation reference TRG) is, for example, a warning or control of deceleration or acceleration suppression.
  • the operation state indicated by the operation information is, for example, a state in which the running speed of the vehicle (own vehicle 10) is slower than the speed limit at the vehicle's running position (FIG. 5B, row of priority 2).
  • the content of support (support function ASS) corresponding to the operation information (operation reference TRG) is, for example, a warning or control of deceleration or acceleration suppression.
  • the operation state indicated by the operation information is, for example, a state in which the frequency of driving support is higher than a predetermined value (FIG. 5B, row of priority 3).
  • the assistance content (assistance function ASS) corresponding to the operation information (operation reference TRG) is, for example, a parameter change for adjusting the driving assistance function.
  • the assistance content is associated with the first surrounding sensor map.
  • the driving assistance function is used as driving assistance. (e.g., changing a parameter to issue an approaching obstacle warning earlier) can be made.
  • the processor (surrounding sensor map acquisition unit 102 in FIG. 1) generates a second surrounding sensor map (map MP) based on sensor information.
  • map MP second surrounding sensor map
  • the processor ( FIG. 1 , support pattern update unit 107, map similarity search unit 103, support instruction unit 104) clusters the first surrounding sensor map (map MP) (FIG. 7B, S706), and clusters the first If the number of surrounding sensor maps (map MP) in the cluster is equal to or greater than a certain number (FIG. 7B, S707: YES), the driving assistance of the assistance content (assistance function ASS) corresponding to the first surrounding sensor map (map MP) in the cluster I do. This improves, for example, the accuracy of where driving assistance is required.
  • the list ( FIG. 5B , support target operation list LST) includes criteria (effectiveness criteria CND) for determining validity/invalidity of driving assistance corresponding to assistance content (assistance function ASS).
  • the processor (assistance pattern updating unit 107) determines whether the driving assistance is valid or invalid based on the criterion (effectiveness criterion CND) corresponding to the assistance content (assistance function ASS) for which the driving assistance was performed (Fig. 6, S608).
  • the processor determines that the number of first surrounding sensor maps (map MP) corresponding to the support content determined to be invalid in the cluster is less than a certain number. If there is ( FIG. 7B , S708: NO), driving assistance is performed with assistance content (assistance function ASS) corresponding to the first surrounding sensor map (map MP).
  • the processor (the support pattern update unit 107, the map similarity search unit 103, the support instruction unit 104), when the number of the first surrounding sensor maps corresponding to the support content determined to be invalid in the cluster is equal to or greater than a certain number, (FIG. 7B, S708: YES), the driving assistance of the assistance content corresponding to the first surrounding sensor map is not performed. As a result, only effective driving assistance can be provided to the driver.
  • the system generates a map MP using distance information of objects detected around the vehicle, and provides driving assistance based on the degree of similarity between the map and similar assistance patterns PTN[n], Whether or not driving assistance is necessary is determined from the driver's driving operation, and the map MP when the driving operation satisfying the conditions is performed and the assistance content corresponding to the driving operation are registered as an assistance pattern PTN [n]. , it is possible to provide a system capable of implementing appropriate driving assistance based on the driver's past experience.
  • FIG. 9 is a block diagram showing the configuration of the driving support device 200 according to the second embodiment.
  • the driving support device 100 in the above-described first embodiment will be described in detail, and the same parts will be given the same reference numerals, and the detailed explanation thereof will be omitted.
  • a characteristic feature of this embodiment is that information on surrounding obstacles obtained from the target object recognition unit 201 is also considered, and information on time, date, and direction obtained from the environment information acquisition unit 202 is considered. .
  • the target recognition unit 201 recognizes targets OBJ[m] such as surrounding vehicles, motorcycles, and pedestrians from the point group PT[c][p] obtained from the sensor.
  • targets OBJ[m] such as surrounding vehicles, motorcycles, and pedestrians from the point group PT[c][p] obtained from the sensor.
  • the target OBJ[m] is assumed to have relative coordinates (X, Y) from the own vehicle and target types (vehicle, pedestrian, two-wheeled vehicle) as a data structure.
  • 10A to 10D are examples of processing contents (detection results) of the target recognition unit 201.
  • FIG. 10A In the environment as shown in FIG. 10A, if a camera is installed to recognize the surroundings of the own vehicle 10 as shown in FIG. 10B, the camera performs pattern recognition as shown in FIG. Get [m].
  • the map similarity search unit 103 calculates the similarity SML in step S404, it is possible to perform processing that takes into account not only the surrounding sensor map information but also the target information.
  • the environmental information acquisition unit 202 acquires information such as date, time, and direction. This information is obtained through communication with other in-vehicle equipment such as navigation, or through wireless communication with the outside of the vehicle. As a result, when the map similarity search unit 103 calculates the similarity SML in step S404, it is possible to perform processing that takes into account not only the information of the surrounding sensor map but also these information.
  • the support pattern PTN[n] includes the positional relationship POS with the target closest to the vehicle among the targets OBJ[m].
  • the positional relationship POS has three values of front, side, and rear as viewed from the own vehicle.
  • the positional relationship POS with the closest target is compared, and a target similarity SML_O is calculated that is 0 if they do not match and 1 if they match.
  • the similarity SML with the surrounding sensor map multiplied by the target similarity SML_O is used as the similarity SML.
  • assistance is executed when the positional relationship with the target is similar.
  • FIG. 11A shows a scene in which a pedestrian is present in front of the vehicle while traveling on a narrow road, and the pedestrian suddenly approaches the road and the driver brakes suddenly.
  • FIG. 11B by storing the positional relationship POS with the target together with the surrounding terrain information in the support pattern PTN[n], the terrain is similar as shown in FIG. Since the degree of similarity is low when no target exists, it is possible to provide more appropriate support.
  • the support pattern PTN[n] includes the time TM at which the support pattern was stored.
  • the map similarity search unit 103 calculates a time similarity SML_T that approaches 1.0 as the difference between the time TM in the support pattern PTN[n] and the current time TM is closer, and approaches 0.0 as the difference is different. .
  • the similarity SML with the surrounding sensor map multiplied by the temporal similarity SML_T is used as the similarity SML.
  • assistance is executed in a time zone close to the timing at which the assistance pattern was registered.
  • the support pattern When the support pattern is stored, by registering the date in the date DT, it can be classified into four patterns, for example, daytime, dawn, dusk, and nighttime together with the time TM.
  • a similarity SML_S is determined that is 1.0 if it matches the classification result of daytime/dawn/dusk/nighttime, and 0.0 if it does not match.
  • the similarity SML with the surrounding sensor map is multiplied by the date and time similarity SML_S to be used as the similarity SML.
  • assistance is executed in a time zone close to the timing at which the assistance pattern was registered.
  • the orientation of the vehicle relative to the position of the sun estimated from the date and time is taken into account, making it possible to provide support in situations where the sun is shining, for example.
  • the support pattern by further registering the azimuth DR with the north as 0, the smaller the absolute difference between the azimuth DR in the support pattern and the current azimuth DR together with the date DT and time TM, the smaller the A direction similarity SML_D is calculated that is 1.0 and becomes 0.0 as the value increases.
  • the distance between the height and direction of the sun estimated from the date DT and time TM in the support pattern and the height and direction of the sun estimated from the current date DT and time TM is calculated, and the absolute difference is A solar position similarity SML_N is calculated, which becomes 1.0 when it is small and 0.0 when it is large.
  • the similarity SML with the surrounding sensor map is multiplied by the azimuth similarity SML_D and the sun position similarity SML_N described above, and this is used as the similarity SML.
  • the support is executed when the position of the sun and the direction of the vehicle are close to the timing at which the support pattern was registered.
  • the weather WT is registered in the support pattern.
  • the weather WT has four patterns, for example, sunny, cloudy, rainy, and snowy. Then, the weather similarity SML_W is calculated, which is 1.0 when the weather WT in the support pattern and the current weather WT match, and 0.0 otherwise.
  • the similarity SML with the surrounding sensor map is multiplied by the weather similarity SML_W to be used as the similarity SML.
  • the support is executed when the weather is close to the timing at which the support pattern was registered.
  • the processor acquires environment information indicating the environment around the vehicle (own vehicle 10 ) including at least time.
  • the processor (support pattern update unit 107) includes environment information in the support pattern.
  • the processor determines that the second surrounding sensor map (map MP) is similar to the first surrounding sensor map (map MP) and that the environment indicated by the environment information is detected. In this case, driving assistance is performed with assistance content (assistance function ASS) corresponding to the first surrounding sensor map (map MP). Accordingly, when the vehicle travels in a place similar to a place requiring driving assistance, it is possible to determine whether or not to perform driving assistance according to the environment.
  • assistance function ASS assistance content
  • the environmental information includes, for example, azimuth information indicating the azimuth of the vehicle (own vehicle 10) (Fig. 9). As a result, for example, it is possible to determine whether or not to perform driving assistance according to the time and direction in which the sun is dazzling (backlit).
  • the processor ( FIG. 9 , target recognition unit 201) recognizes targets OBJ around the vehicle (own vehicle 10) based on the sensor information.
  • the processor (support pattern update unit 107) includes positional relationship information indicating the positional relationship between the vehicle and the target in the support pattern.
  • the processor (map similarity search unit 103, support instruction unit 104) determines that the second surrounding sensor map (map MP) is similar to the first surrounding sensor map (map MP) and that the positional relationship indicated by the positional relationship information is When detected, driving assistance is performed with the assistance content (assistance function ASS) corresponding to the first surrounding sensor map (map MP). Accordingly, when the vehicle travels in a place similar to a place requiring driving assistance, it is possible to determine whether or not to perform driving assistance according to the positional relationship between the vehicle and the target.
  • assistance function ASS assistance content
  • FIG. 12 is a block diagram showing the configuration of the driving support device 300 according to the third embodiment.
  • the driving support device 100 in the first embodiment and the driving support device 200 in the second embodiment will be described in detail, and the same numbers will be given to the same parts and the detailed description will be given. omitted.
  • a characteristic feature of this embodiment is that the driver's selection obtained from the driver input unit 301 is taken into consideration.
  • FIGS. 13A and 13B explain the process of registering the selection result of the driver input unit 301 in the assistance pattern storage unit 108.
  • FIG. A preliminary pattern storage unit 302 is prepared in the driving support device 300, and tables as shown in FIGS. 13A and 13B are stored.
  • the table shown in FIG. 13B contains information necessary for registration such as the map MP, the positional relationship POS with the target, the time TM, the date DT, and the azimuth DR as support pattern information. includes the name of the weak scene verbalized and the need for support. Note that in the examples of FIGS. 13A and 13B, the records of both tables are linked by the value of the "No" field.
  • the names of difficult scenes and whether or not assistance is required are displayed at the first start-up or from the vehicle's setting screen (display), etc., and the need for assistance can be switched by input from the driver. As a result of this selection, the contents of the pre-pattern storage unit 302 are registered in the support pattern storage unit 108 .
  • FIG. 14 is a processing flow when the input of the driver input unit 301 is used for the assistance pattern updating unit 107.
  • FIG. 14 is a processing flow when the input of the driver input unit 301 is used for the assistance pattern updating unit 107.
  • step S1401 it is determined whether or not the vehicle has been driven. If the operation has ended, the process proceeds to step S1402. If it is in operation, it waits until the next processing cycle.
  • step S1402 it is determined whether or not the number of registrations in the additional table TBL_A and the invalidation table TBL_I is equal to or greater than a fixed number, and if the number is equal to or greater than the fixed number, step S1403 is performed. Otherwise, it waits until the next processing cycle.
  • step S1403 the support patterns PTN registered in the additional table TBL_A and the invalidation table TBL_I are verbalized or visualized.
  • Verbalization uses, for example, a machine learning method in which combinations of patterns and languages are learned in advance.
  • the map MP within the support pattern PTN is displayed as visualization.
  • step S1404 for the support pattern PTN on the additional table TBL_A visualized in step S1403, the driver input unit 301 is used to instruct whether or not the driver desires the support.
  • step S1405 to register the additional pattern in the support pattern storage unit . If not desired, the process of step S1404 is performed for the support pattern PTN on the next additional table TBL_A. When all the support patterns PTN in the additional table TBL_A have been processed, the process advances to step S1406.
  • step S1406 for the support pattern PTN on the disabling table TBL_I visualized in step S1403, the driver input unit 301 is used to instruct whether or not the driver wishes to disable the support.
  • step S1407 If the user desires to invalidate the support as a result of the input, the process proceeds to step S1407, and the valid flag V of the corresponding support pattern in the support pattern storage unit 108 is set to invalid, or the invalidation pattern storage unit 109 sign up. If not desired, the process of step S1406 is performed for the next support pattern PTN on the invalidation table TBL_I. When all the support patterns PTN in the invalidation table TBL_I have been processed, the process ends.
  • the driving support device 300 includes an input unit (driver input unit 301) that receives the driver's selection as an input.
  • the memory preliminary pattern storage unit 302 stores a first surrounding sensor map (map MP) and support contents (support function ASS) and pre-assistance patterns are stored.
  • the processor support pattern update unit 107) registers/updates the support pattern with the preliminary support pattern selected by the driver. This allows the driver to register the necessary assistance patterns in advance.
  • the processor (assistance pattern update unit 107) presents the driver with a set of the second surrounding sensor map (map MP) and the assistance contents (assistance function ASS) corresponding to the operation information (FIG. 14, S1402 ), registering/updating assistance patterns in the set selected by the driver.
  • the driver can select a location (bad scene) that requires driving assistance from the proposed set.
  • the driver it is possible for the driver to select the support pattern that is automatically detected at the time of the first startup, or the support pattern that should be disabled, and it is possible to provide more appropriate support for the driver.
  • FIG. 15 is a block diagram showing the configuration of the driving support device 400 according to the fourth embodiment.
  • the driving support device 100 in the first embodiment the driving support device 200 in the second embodiment
  • the driving support device 300 in the third embodiment will be described in detail. They are numbered and their detailed description is omitted.
  • Characteristic features of this embodiment are a map position estimating unit 401 that has a sensor map storage unit 403 and estimates a position on the sensor map in the sensor map storage unit, and a surrounding sensor map at the estimated position in the sensor map. It is to have the surrounding sensor map acquisition part 402 which extracts.
  • the sensor map storage unit 403 is an area that stores a sensor map MP_G that is created by connecting sensor maps MP generated at various locations.
  • GNSS Global Navigation Satellite System
  • the sensor information acquired by the sensor information acquisition unit 101 may be connected using a technique such as SLAM.
  • the sensor map MP_G is stored in association with the location information.
  • the sensor map MP_G is generated by connecting surrounding sensor maps MP generated when the vehicle has traveled in the past.
  • driving assistance can be provided in situations where the vehicle is usually used.
  • the sensor map of the main environment may be stored in the initial stage, or may be obtained from the outside through communication. In this case, driving assistance is possible even at a place where the vehicle is traveling for the first time.
  • the in-map position estimation unit 401 acquires the position information of the vehicle and estimates the position LCL of the vehicle within the sensor map MP_G.
  • Positional information of the own vehicle is obtained by combining methods such as GNSS, which acquires the absolute position of the own vehicle, and dead reckoning, which calculates the relative position of the own vehicle.
  • GNSS can acquire the absolute position within the sensor map MP_G, but the processing cycle is slow, and it cannot be acquired with sufficient accuracy when the radio wave condition is poor. Therefore, dead reckoning, which can be processed at a relatively high frequency, is used together. During the GNSS reception cycle or when the radio wave condition is bad, the relative position is calculated by dead reckoning from the last received GNSS position, and the sensor Estimate the position on the map MP_G. Alternatively, it is also possible to generate a temporary surrounding sensor map MP_T using the sensor information acquired from the sensor information acquisition unit 101, and perform estimation by map matching on the temporary surrounding sensor map MP_T and the sensor map MP_G.
  • the peripheral sensor map acquisition unit 402 extracts the sensor map MP_G around the vehicle position LCL from the vehicle position LCL and the sensor map MP_G, and uses it as the peripheral sensor map MP.
  • the surrounding sensor map MP the sensor map MP_G cut out near the vehicle position LCL may be used as the surrounding sensor map MP as it is.
  • the surrounding sensor map MP_T is used for the vicinity, and information extracted from the sensor map MP_G is preferably used for the area outside the sensing range of the surrounding sensor map MP_T.
  • FIGS. 16A, 16B, and 16C are schematic diagrams explaining the effects of the surrounding sensor map acquisition unit 402.
  • FIG. 16A when a two-wheeled vehicle 22 or a vehicle 21 exists around the own vehicle, the provisional surrounding sensor map MP_T generated using the sensor information acquired from the sensor information acquisition unit 101 is as shown in FIG. 16B.
  • the sensing range is limited by the target, and terrain information behind the two-wheeled vehicle 22 and the vehicle 21 cannot be obtained.
  • the dotted circle or ellipse in FIG. 16B indicates a blind spot due to the target.
  • the sensor map storage unit 403 it is possible to use a map of a wider range than the temporary surrounding sensor map MP_T generated using the sensor information acquired from the sensor information acquisition unit 101.
  • . 17A to 17D are schematic diagrams for explaining the contents.
  • the travel route PTH may be obtained, for example, from navigation, etc., and may be used by being superimposed on the surrounding sensor map MP_G.
  • Fig. 17A is a scene of passing through an intersection with poor visibility.
  • the surrounding sensor map MP and the like are stored in the support pattern storage unit 108 as shown in FIG. 17B.
  • the warning as shown in the first and second embodiments can be used. Instead, it is possible to provide assistance such as temporarily stopping before an intersection and suppressing acceleration when starting in the vicinity.
  • FIG. 17C is a scene of passing through a narrow road.
  • the surrounding sensor map MP and the like are stored in the support pattern storage unit 108 as shown in FIG. 17D.
  • FIG. 18A is a scene of turning on a narrow road.
  • the surrounding sensor map MP and the like are stored in the support pattern. It is stored in the unit 108 as shown in FIG. 18B.
  • the warning as shown in Embodiments 1 and 2 alone Instead, it is possible to assist by moving the steering wheel from the position where the turn should be started, and by suppressing the acceleration at the time of starting in the vicinity of that position.
  • FIG. 18C is a scene of turning right at an intersection.
  • the surrounding sensor map MP and the positional relationship POS with the target are the support patterns. It is stored in the storage unit 108 as shown in FIG. 18D.
  • the memory ( FIG. 15 , sensor map storage unit 403) stores a sensor map MP_G that connects a plurality of second peripheral sensor maps (map MP).
  • the processor (intra-map position estimation unit 401) estimates the position LCL of the vehicle (self-vehicle 10) on the sensor map MP_G based on the sensor information.
  • the processor (surrounding sensor map acquisition unit 402) acquires a second surrounding sensor map (map MP) from the sensor map MP_G at the estimated vehicle position LCL. Thereby, for example, it is possible to utilize the second surrounding sensor map (map MP) of the place traveled in the past. Also, the travel route PTH of the vehicle can be obtained from the position LCL of the vehicle (the vehicle 10) on the sensor map MP_G.
  • the operation state indicated by the operation information is, for example, a state in which a backward operation is performed while the vehicle (own vehicle 10) is turning (Fig. 18A).
  • the assistance content (assistance function ASS) corresponding to the operation information (operation reference TRG) is, for example, vehicle turning control.
  • FIG. 19 is a block diagram showing the configuration of a driving support device 500 according to Embodiment 5. As shown in FIG. In the following description, only parts that differ from the driving support device 100 in the first embodiment, the driving support device 200 in the second embodiment, the driving support device 300 in the third embodiment, and the driving support device 400 in the fourth embodiment are described in detail. However, the same numbers are given to the same parts, and the detailed description thereof is omitted.
  • a characteristic feature of this embodiment is that the degree of similarity with the pattern in the support pattern storage unit 108 is calculated and registered in advance in the sensor map MP_G in the sensor map storage unit 403, and the support content acquisition unit 501 , directly refers to the support contents from the sensor map MP_G based on the own vehicle position LCL, and notifies the support instruction unit 104 .
  • the alarm is not limited to a simple sound alarm, but also an alarm by illumination using LEDs, a display on a monitor in the vehicle, and a sensor mounted on the vehicle is a camera. includes methods such as displaying a camera image on a monitor.
  • the present invention is not limited to the above-described embodiments, and includes various modifications.
  • the above-described embodiments have been described in detail in order to explain the present invention in an easy-to-understand manner, and are not necessarily limited to those having all the described configurations.
  • part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment.
  • each of the above configurations, functions, etc. may be realized by hardware, for example, by designing a part or all of them with an integrated circuit.
  • each of the above configurations, functions, etc. may be realized by software by a processor interpreting and executing a program for realizing each function.
  • Information such as programs, tables, and files that implement each function can be stored in memory, hard disks, SSD (Solid State Drives), and other recording devices, or IC cards, SD cards, DVDs, and other recording media.
  • a sensor information acquisition unit that acquires information from an external recognition sensor mounted around the vehicle, a surrounding sensor map acquisition unit that acquires a sensor map around the vehicle based on the sensor information, and a sensor that should perform driving support control.
  • a support pattern storage unit that stores a support pattern including a map shape and support content corresponding to the sensor map shape; and a map similarity that calculates a similarity between the acquired sensor map and the registered support pattern.
  • a search unit wherein the map similarity search unit determines that the sensor map has a high degree of similarity with the shape of the sensor map on which the driving support control should be performed, and is a location on which the driving support control should be performed.
  • a support instructing unit that instructs to execute driving support with support content corresponding to the sensor map shape having a high degree of similarity with the sensor map.
  • the driving assistance device further comprising a driving operation information acquisition unit that acquires driving operation information of the driver, and an assistance determination unit that determines whether or not driving assistance is required based on the driving operation information and the sensor map.
  • a driving operation information acquisition unit that acquires driving operation information of the driver
  • an assistance determination unit that determines whether or not driving assistance is required based on the driving operation information and the sensor map.
  • the driving assistance device has a sensor map storage unit that stores the sensor map, and a map position estimation unit that estimates the position of the vehicle within the sensor map based on the sensor information.
  • the driving support device wherein the sensor map acquisition unit acquires a sensor map around the vehicle from the map stored in the sensor map storage unit based on the estimated position of the vehicle in the map.
  • the driving support device further comprising an environment information acquisition unit that acquires environment information including at least time, and adds the environment information to the support pattern and registers the environment information in the support pattern storage unit.
  • An environment information acquisition unit that acquires environment information including at least time, and adds the environment information to the support pattern and registers the environment information in the support pattern storage unit.
  • the driving support device further comprising a direction information acquiring unit for acquiring direction information of the own vehicle, and adding the direction information to the support pattern and registering it in the support pattern storage unit.
  • a driving support device characterized by:
  • a driving assistance device comprising a target object recognition unit for recognizing a relationship, and adding positional relationship information of the target object to the assistance pattern and registering the information in the assistance pattern storage unit.
  • the support pattern update unit corresponds to the corresponding sensor map shape when the support determination unit detects a sudden braking operation based on the input of the operation information acquisition unit.
  • a driving support device characterized by registering and updating an alarm as driving support in a form that causes
  • the support pattern updating unit obtains the speed limit information at the vehicle traveling position by the support determination unit, and the driving of the own vehicle obtained from the operation information obtaining unit.
  • a driving assistance device characterized in that, when detecting that the speed is slower than the speed limit, an alarm is registered/updated as driving assistance in a manner corresponding to the corresponding sensor map shape.
  • the assistance pattern update unit operates the driving assistance function provided to the own vehicle based on the information that the assistance determination unit acquires from the operation information acquisition unit. is detected, the driver assistance device registers/updates the parameter adjustment of the driver assistance function provided in the own vehicle as driving assistance in a manner corresponding to the corresponding sensor map shape.
  • the support pattern update unit corresponds to the corresponding sensor map shape when the support determination unit detects a sudden braking operation based on the input of the operation information acquisition unit.
  • a driving support device characterized by registering and updating control of warning, deceleration support or acceleration suppression as driving support in a form that causes
  • the support pattern updating unit obtains speed limit information at the vehicle traveling position, and the speed obtained from the operation information obtaining unit is the speed limit.
  • a driving support device characterized by detecting that the vehicle is slower than the speed, and registering/updating an alarm, deceleration support, or acceleration suppression control as driving support in a manner corresponding to the corresponding sensor map shape.
  • the assistance pattern assistance determination unit detects a backward operation during turning from the operation information acquisition unit, and performs turning assistance in a manner corresponding to the corresponding sensor map shape.
  • a driving support device characterized by registering and updating control as driving support.
  • the support pattern update unit classifies the sensor map shapes in the support pattern based on the pattern similarity, and as a result of the classification, the number of similar sensor map shapes is equal to or greater than a certain number.
  • the driving support device which includes an input unit for input by the driver, and the support pattern storage unit stores a sensor map shape stored in advance based on the input from the driver.
  • a driving assistance device characterized by registering assistance content in the assistance pattern storage unit.
  • the driving assistance device comprising an input unit for input by the driver, presenting the sensor map shape determined by the system as requiring assistance and the content of assistance to the driver,
  • a driving assistance device characterized in that, when a driver inputs a request for assistance to the input section, the corresponding sensor map shape is set as a search target of the map similarity searching section.
  • REFERENCE SIGNS LIST 100 driving support device 101: sensor information acquisition unit 102: surrounding sensor map acquisition unit 103: map similarity search unit 104: support instruction unit 105: operation information acquisition unit 106: support determination unit 107: support pattern update unit 108: support Pattern storage unit 109 Invalidation pattern storage unit 200 Driving assistance device 201 Target recognition unit 202 Environment information acquisition unit 300 Driving assistance device 301 Driver input unit 302 Prior pattern storage unit 400 Driving assistance device 401 In-map position estimation unit 402 Surrounding sensor map acquisition unit 403 Sensor map storage unit 406 Sensor map storage unit 500 Driving assistance device 501 Assistance content acquisition unit

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

メモリは、車両の周囲の地図を示す第1の周囲センサ地図と、第1の周囲センサ地図に対応する車両の運転支援の支援内容とを含む支援パターンを記憶する。プロセッサ(センサ情報取得部101)は、センサによってセンシングされた車両の周囲の物体の情報を示すセンサ情報を取得する。プロセッサ(周囲センサ地図取得部102)は、センサ情報に基づいて第2の周囲センサ地図を取得する。プロセッサ(地図類似性探索部103、支援指示部104)は、第2の周囲センサ地図が第1の周囲センサ地図と類似する場合、第1の周囲センサ地図に対応する支援内容の運転支援を行う。

Description

運転支援装置
 本発明は、運転支援装置に関する。
 自動車の安全を支援する技術として、カーナビ等の地図情報に基づいて、登録位置や所定道路条件下で警報などの運転支援を行うシステムがある。
 特許文献1には、ドライバのヒヤリハットを検出して、検出された位置を地図上に記録し、運転支援を行うシステムが開示されている。
特開2007-047914号公報
 しかしながら、ドライバのヒヤリハットが発生したシーンにおける運転支援は、その場所だけではなく、類似した場所でも実施されるべきである。
 本発明は、上記のような課題に鑑みてなされたものであり、運転支援を要する場所と類似する場所を車両が走行する場合に運転支援を行うことができる運転支援装置を提供することを目的とする。
 上記目的を達成するために、本発明の運転支援装置は、車両の周囲の地図を示す第1の周囲センサ地図と、前記第1の周囲センサ地図に対応する前記車両の運転支援の支援内容とを含む支援パターンを記憶するメモリと、センサによってセンシングされた車両の周囲の物体の情報を示すセンサ情報を取得し、前記センサ情報に基づいて第2の周囲センサ地図を取得し、前記第2の周囲センサ地図が前記第1の周囲センサ地図と類似する場合、前記第1の周囲センサ地図に対応する前記支援内容の運転支援を行うプロセッサと、を備える。
 本発明によれば、運転支援を要する場所と類似する場所を車両が走行する場合に運転支援を行うことができる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
実施形態1に係る運転支援装置の機能ブロック図である。 自車に搭載されている5つのセンサのセンシング範囲を示す模式図である。 自車に搭載されている7つのセンサのセンシング範囲を示す模式図である。 自車の周囲の環境の一例を示す図である。 図3Aの自車に搭載されるセンサのセンシング結果を示す図である。 周囲センサ地図取得部によって取得される周囲センサ地図を示す図である。 地図類似性探索部の動作手順を説明するフローチャートである。 支援判断部の動作手順を説明するフローチャートである。 支援対象操作リストを示す図である。 支援パターン更新部の動作手順を説明するフローチャートである。 支援パターン更新部の更新方法を示すフローチャートである。 支援パターン更新部の別の更新方法を示すフローチャートである。 歩行者が急に飛び出してきて急ブレーキを踏んだ例を示す図である。 図8Aの例における周囲センサ地図を示す図である。 狭路を走行する際に、急に速度が落ちた例を示す図である。 図8Cの例における周囲センサ地図を示す図である。 狭い交差点で旋回する際に、壁ぎりぎりを走行した例を示す図である。 図8Eの例における周囲センサ地図を示す図である。 実施形態2に係る運転支援装置の機能ブロック図である。 自車の周囲の環境の一例を示す図である。 図10Aの自車に搭載されるカメラのセンシング範囲を示す図である。 図10Aの自車に搭載されるカメラのパターン認識を示す図である。 物標認識部によって認識される物標を示す図である。 狭路走行時に歩行者が急に道路に寄ってきてドライバが急ブレーキを踏んだ例を示す図である。 図11Aの例における周囲センサ地図と物標との位置関係を示す図である。 地形は類似しているが前方に物標が存在しない例を示す図である。 実施形態3に係る運転支援装置の機能ブロック図である。 事前パターン記憶部のテーブルの保存内容の例を表す概念図である。 事前パターン記憶部の別のテーブルの保存内容の例を表す概念図である。 支援パターン更新部の別の動作手順を説明するフローチャートである。 実施形態4に係る運転支援装置の機能ブロック図である。 自車周囲に二輪車や車両が存在する例を示す図である。 物標によりセンシング範囲が限られる例を示す図である。 周囲センサ地図取得部によって取得された周囲の地形情報を示す図である。 見通しの悪い交差点を示す図である。 図17Aの交差点で自車が左折しようとする際にドライバが急ブレーキを踏んだ例における周囲センサ地図を示す図である。 狭路を直進する際に制限速度より十分低い速度で走行した例を示す図である。 図17Cの例における周囲センサ地図を示す図である。 狭路で旋回する際に壁ギリギリを通過した場合や、旋回の途中でこのままでは旋回ができないと判断しバックギアに切り替えた例を示す図である。 図18Aの例における周囲センサ地図を示す図である。 交差点を右折する際に、対向車が存在し対向車線の見通しが悪い場合に対向車の陰から二輪車等が飛び出して急ブレーキを踏んだ例を示す図である。 図18Cの例における周囲センサ地図と物標との位置関係を示す図である。 実施形態5に係る運転支援装置の機能ブロック図である。
 <実施形態1>
 以下、本発明の実施形態1について図面を用いて詳細に説明する。図1は、実施形態1における運転支援装置100のブロック図である。
 運転支援装置100は、車両(図2A、自車10)に搭載された統合コントローラ内等に組み込まれ、運転を支援するためのものであり、本実施形態では、車両周囲に取り付けられたカメラによりセンシングした結果に基づき運転を支援するよう設定されている。
 運転支援装置100は、CPU(Central Processing Unit)、メモリ、I/O(Input/Output:入出力装置)等を有するコンピュータによって構成されており、所定の処理がプログラミングされて、あらかじめ定められた周期Tで繰り返し処理を実行する。なお、本実施形態では、CPUとメモリ等が協働して以下に示す機能を実現している。
 運転支援装置100は、図1に示すように、センサ情報取得部101と、周囲センサ地図取得部102と、地図類似性探索部103と、支援指示部104と、操作情報取得部105と、支援判断部106と、支援パターン更新部107と、支援パターン記憶部108と、を有する。
 センサ情報取得部101は、自車周囲の物体までの距離を取得する。例えば、センサ情報取得部101は、図2A、2Bに示すように、自車10の周囲の物体を検出可能な位置に取り付けられたカメラ、レーダ、LiDAR、ソナー等のセンサから、自車周囲の物体までの距離と点群を取得する。本実施形態においては、自車周囲に取り付けられたカメラから周囲の障害物までの距離と点群を取得する。
 図2Aは自車10にカメラが5つ搭載された例、図2Bは自車10にカメラが7つ搭載された例である。距離と点群は、ステレオカメラの場合は視差を演算することにより得られる。単眼カメラの場合は、自車が動くことによりモーションステレオの原理により距離と点群を取得することが可能である。以下、点群をPT[c][p]=(X、Y、Z)で表すものとする。ここでcはカメラのID,pは点群のID、X,Y,Zはそれぞれ計測の結果得られるセンサからの相対座標系における座標値である。
 周囲センサ地図取得部102は、センサより得られる点群PT[c][p]を統合し、周囲の地形を表す地図MP[x][y]を生成する。本実施形態では、地図MP[x][y]は2次元のデータとする。まず、各センサから取得した距離点群PT[c][p]を、各センサの自車への取り付け情報(外部パラメータ)に基づき自車中心からの相対座標に変換する。自車への取り付け情報は、事前に計測されているものとする。
 つぎに、変換された距離点群PTR[c][p]のうち、路面より高い位置に存在する点群情報を抽出し、抽出された点群の高さを除く相対座標(X,Y)を一定の縮尺にて変換した(x、y)の位置にプロットした2値画像パターンMP[x][y]として取り扱うものとする。図3A、3B、3Cはこの処理を表したものである。図3Aの環境において、自車10が図2Aのセンサ構成であった場合、図3Bのようなセンシング結果が得られる。これらセンサから得られるすべての点群をプロットしたものが、図3Cとなる。さらに、占有確率マップのように、時系列の情報を蓄積した地図を用いても良い。
 図1に示す支援パターン記憶部108は、支援パターンPTN[n]が格納されているRAM(Random Access Memory)領域である。ここでnは支援パターンPTNが複数格納されている場合に適切に管理するためのIDである。支援パターンPTN[n]は、データ構造として有効フラグV,地図MP[x][y]、支援機能ASS、有効性判定基準CND、優先度PRを含むものとする。
 地図類似性探索部103は、地図MP[x][y]と、支援パターンPTN[n]内の地図MP[x][y]との類似度を比較する。地図MPといずれかの支援パターンPTN[n]内の地図MPとの類似度が高い場合は、対応する支援内容を実施するように、支援指示部104に通知する。処理の詳細は後述する。
 支援指示部104は、地図類似性探索部103にて類似度が高いと判定された支援パターンPTN[n]内の支援機能ASSに対応する運転支援を実施するように、車両内の別のコントローラやアクチュエータに指示する。
 操作情報取得部105は、ドライバのハンドル、アクセル、ブレーキの操作に関する情報を取得する。これらの情報はセンサの信号を運転支援装置100に直接入力してもよいし、LAN(Local Area Network)を用いた通信を行うことによって取得しても良い。
 支援判断部106は、操作情報取得部105より取得した運転操作から、運転支援が必要であるかどうかの判断を行う。運転支援が必要であるかどうかは、例えば急ブレーキ操作が行われた場合には警報支援が必要、といったふうに、どういう操作を行った場合はどういう支援が必要かというリストをあらかじめ保持しておき、それに従い判断する。運転支援が必要であると判断された場合、周囲センサ地図取得部102にて生成している地図MPを取得し、対応する支援内容と合わせて支援パターン更新部へ通知する。処理の詳細は後述する。
 支援パターン更新部107は、支援判断部106から通知があった場合に、地図と支援内容を支援パターン記憶部へ登録する。また、支援内容の有効性を判断し、有効性が低いと判断された支援については、支援パターン記憶部内の当該支援パターンを無効とする処理も行う。処理の詳細は後述する。
 [地図類似性探索部103の処理説明]
 図4を用いて地図類似性探索部103における処理の内容について説明する。図4は、地図類似性探索部103の処理の流れを示したフローチャートである。
 最初に、ステップS401にて、地図MPの方位補正を行う。この処理は、占有確率マップのように時系列情報を蓄積する際に、処理時間を短縮させるために自車の方位を固定した座標系で地図MPが生成されている場合に、自車の方位を所定の方向に統一することで、異なる向きであっても地図同士の類似度が算出できるようにするための処理である。本実施形態では、地図MPの上方向を自車が向くように補正を行う。
 つぎに、支援パターンPTN[n]のすべてのn=1からNに対して、ステップS402からS405を実施する。まず、ステップS402にて、支援パターン記憶部108より支援パターンPTN[n]を取得する。前述したように支援パターンPTN[n]はデータとして有効フラグV,地図MP、支援機能ASS、有効性判定基準CND、優先度PRを有する。
 さらに、ステップS403にて、支援パターンPTN[n]の有効フラグVを用いて、有効であるかを判定する。有効フラグVは後述する支援パターン更新部107にて設定され、有効な支援パターンであった場合にはステップS404に移動し、無効な支援パターンであった場合には次の支援パターンを読み込むためステップS402に戻る。
 有効な支援パターンであった場合は、ステップS404にて支援パターンPTN[n]内の地図MPと周囲センサ地図MPの類似度SML[n]を算出する。類似度算出は、支援パターンPTN[n]内の地図MPと周囲センサ地図MPが2次元画像パターンであることから、SADやSSD等の単純な画像の類似度を算出する手法を用いて実施する。
 算出結果として得られる類似度SML[n]は、両パターンが類似しているほど1に近く、類似していないほど0に近い値となるようなものを算出する。なお、類似度算出は、細かな形状の違いに対応するためにSIFT等の特徴点を検出し、特徴点同士の類似度を算出する手法などを用いてもよい。
 ステップS405にて類似度SML[n]が閾値TH_SML以上であるか否かを判定する。類似度SML[n]が閾値以上であった場合は、ステップS406に移動し、支援パターンPTN[n]内の支援機能ASSを実施するように支援判断部106に通知するためのテーブルTBLに支援内容を登録する。
 すべてのn=1からNに対してステップS402からS406を実施した後、ステップS407にて、支援判断部106に通知するためのテーブルTBLの登録内容を確認する。複数の支援内容が登録されている場合には、支援内容の優先度PRに基づいて、最も優先度が高い内容を実施するように支援判断部106に通知する。優先度PRは、支援の内容に応じて設定され、減速など車両の制御に介入するものは優先度が高く、警報などの通知のみのものは優先度が低く設定されているものとする。
 [支援判断部106の処理説明]
 図5A、5Bを用いて支援判断部106における処理の内容について説明する。図5Aは、支援判断部106の処理の流れを示したフローチャートである。
 まず、ステップS501にて、支援判断の対象とする支援対象操作リストLSTを取得する。支援対象操作リストLSTには、操作基準TRG(操作情報)、支援機能ASS(支援内容)、有効性判定基準CND、優先度PRが記載されている。本実施形態では、図5Bに示すように、支援対象操作リストLSTの操作基準として急ブレーキ操作、制限速度より低い速度での走行、障害物接近警報の反応頻度が一定値以上、が登録されているものとする。
 つぎに、ステップS502にて、支援対象操作リストLSTの操作基準TRGに合致した操作が検出されたか否かを判定する。検出された場合には、ステップS503に進む。検出されなかった場合には、次の処理周期まで待機する。
 ステップS503にて、周囲センサ地図取得部102にて生成した周囲センサ地図MPを取得する。つぎに、ステップS504にて、周囲センサ地図MPの形状判定を行う。形状判定は、地図MP内の複雑さを判定する。例えば、地図内に全く物体が存在しない、もしくはあまり存在しない場合、地図MPの情報が少なくなってしまい、地図類似性探索部103で誤検知が発生しやすくなる。
 そのため、地図MPに対して、物体が存在する画素の割合、テクスチャ解析に用いられる複雑度、等により数値化を行い、ステップS505にてこの値が一定値以上であればステップS506に進み、地図MP、支援対象操作リストLSTに記載されている支援内容ASSおよび有効性判定基準CNDをセットとする支援パターンPTNとして、支援パターン更新部107へ通知する。
 [支援パターン更新部107の処理説明]
 図6、図7A、7Bを用いて支援パターン更新部107における処理の内容について説明する。図6は、支援パターン更新部107の処理の流れを示したフローチャートである。図7A、7Bは、支援パターン更新部107の更新方法に関する処理の流れを示したフローチャートである。
 まず、ステップS601にて、支援判断部106のステップS506からの通知有無を確認し、通知があった場合にはステップS602に移動する。通知が無かった場合には、ステップS604に移動する。
 ステップS602では、地図MPを取得し、方位補正を行う。これは、前述したステップS401の処理と同様である。占有確率マップのように時系列情報を蓄積する際に、処理時間を短縮させるために自車の方位を固定した座標系で地図MPが生成されている場合に、自車の方位を所定の方向に統一することで、異なる向きであっても地図同士の類似度が算出できるようにするための処理である。本実施形態では、地図MPの上方向を自車が向くように補正を行う。
 つぎに、ステップS603にて、地図MPと支援内容ASSおよび有効性判定基準CNDを支援パターンPTN[a]として、支援パターン記憶部108に追加する追加テーブルTBL_Aに登録する。
 ステップS604以降は、登録された支援パターンの無効化処理である。まず、ステップS604にて、操作情報取得部105からドライバの操作情報を取得する。つぎに、ステップS605にて、周囲センサ地図MPを取得する。
 ステップS606にて、支援指示部104にて支援指示が行われたかどうかを判定する。行われた場合にはステップS607に移動する。行われなかった場合には次の処理周期まで待機する。
 ステップS607では、支援パターン記憶部108から、実施された支援内容ASSおよび有効性判定基準CNDを取得する。そして、ステップS608にて、有効性判定基準CNDに基づき支援指示の有効性を判定する。
 支援指示の有効性は支援内容ごとに異なるが、警報を行うものであれば、警報のタイミング以降にブレーキが踏まれた場合、支援指示は有効であり、警報のタイミングより前にブレーキが踏まれたのであれば支援指示は無効であると判定できる。これは有効/無効の2値であってもよいし、例えば0.0~1.0の連続値であり1.0に近いほど有効であることを表すようなものでも良い。
 ステップS609では、支援指示有効性を用いて、有効性が低いと判定された場合にはステップS610に移動する。そうでない場合には次の処理周期まで待機する。
 ステップS610では、該当する支援パターン記憶部108内の支援パターンの地図MP、支援内容ASSおよび有効性判定基準CNDを、無効化する支援パターンPTN[b]として、無効化テーブルTBL_Iに登録する。
 以上の処理を実行した後、図7A、7Bに示す方法に従い、支援パターン記憶部108に反映する。図7AとBは、それぞれ異なる反映方法を記している。
 最初の登録方法について図7Aを用いて説明する。まず、ステップS701にて、追加テーブルTBL_Aおよび無効化テーブルTBL_Iの登録数が一定数以上であるかどうかを判定し、一定数以上であった場合にはステップS702を行う。そうでない場合には次の処理周期まで待機する。
 ステップS702では、追加テーブルTBL_Aの内容を新しい支援パターンとして支援パターン記憶部108に登録する。また、無効化テーブルTBL_Iの内容を支援パターン記憶部108内から抽出し、無効化フラグを付与する。
 つぎに、異なる登録方法について、図7Bを用いて説明する。まず、ステップS703にて、追加テーブルTBL_Aおよび無効化テーブルTBL_Iの登録数が一定数以上であるかどうかを判定し、一定数以上であった場合にはステップS704を行う。そうでない場合には次の処理周期まで待機する。
 ステップS704では、追加テーブルTBL_Aの内容を新しい支援パターンとして支援パターン記憶部108に登録する。つぎに、ステップS705にて、無効化テーブルTBL_Iの内容を、無効化パターン記憶部109に記憶する。無効化パターン記憶部109は、支援パターン記憶部108とは別の記憶領域である。
 そして、ステップS706にて、支援パターン記憶部108内、および無効化パターン記憶部109内にて地図MPの形状を用いたクラスタリングを実施する。クラスタリングの結果、支援パターン記憶部108内の類似したパターンのグループPTG[j]が生成される。同様に、無効化パターン記憶部109内の類似したパターンのグループPTIG[k]が生成される。また、支援パターン記憶部108内のグループPTG[j]および無効化パターン記憶部109内のグループPTIG[k]間の類似度についても算出しておく。
 ステップS707では、まず支援パターン記憶部108内のグループPTG[j]のパターン数が一定数以上であるかどうかを判定する。一定数以上である場合は、ステップS708に移動する。一定数未満である場合は、ステップS710に移動する。
 ステップS708では、ステップS706にて算出された支援パターン記憶部108内のグループPTG[j]と類似度が高い無効化パターン記憶部109内のグループPTIG[k]を参照し、そのパターン数が一定数以上であるかどうかを判定する。支援パターン記憶部108内のグループPTG[j]との類似度が一定に満たない場合は、パターン数は0であるとする。その結果、一定数以上である場合は、ステップS710に移動する。一定数未満である場合は、ステップS709に移動する。
 ステップS709は、支援パターン記憶部108内のグループPTG[j]のパターン数が一定数以上、かつ、対応する無効化パターン記憶部109内のグループPTIG[k]のパターン数が一定数未満である場合に実施される。支援パターン記憶部108内のグループPTG[j]に属する支援パターンPTN[n]の有効フラグVを「有効」に設定する。
 ステップS710は、支援パターン記憶部108内のグループPTG[j]のパターン数が一定数未満、もしくは、対応する無効化パターン記憶部109内のグループPTIG[k]のパターン数が一定数以上である場合に実施される。支援パターン記憶部108内のグループPTG[j]に属する支援パターンPTN[n]の有効フラグVを「無効」に設定する。
 ここまで説明してきた実施形態1の具体的な例について、図8A~8Fを用いて説明する。図8Aは、自車10が見通しの悪い交差点に出る際に、歩行者20が急に飛び出してきて急ブレーキを踏んだ例である。急ブレーキを踏んだタイミングにおける地図MPを図8Bのように支援パターンPTN[n]として記憶する。そして、類似した交差点に差し掛かった際に、支援機能ASSとして警報を実施することができ、ドライバに注意を促すことができる。
 また、図8Cは、ドライバが狭路を走行する際に、急に速度が落ちた例である。走行路の速度をナビゲーションや外界認識センサの標識認識機能から取得することで、自車速と比較し、その速度が一定割合以下であることを検出し、地図MPを図8Dのように記憶する。そして、類似した道路に進入する際に、支援機能ASSとして警報を実施することができ、ドライバに注意を促すことができる。
 また、図8Eは、ドライバが狭い交差点で旋回する際に、壁ぎりぎりを走行した例である。障害物との距離を検出し、距離が一定以下であれば障害物接近の警報を行うシステムの情報をドライバの操作情報として取得することにより、地図MPを図8Fのように記憶する。そして、類似した道路に進入する際に、支援機能ASSとして、通常より早めに障害物接近警報を実施することにより、ドライバに早めの旋回操作を促すことができる。
 本実施形態の特徴は、次のようにまとめることもできる。
 運転支援装置は、少なくとも、メモリ(図1、支援パターン記憶部108)と、プロセッサ(CPU)とを備える。メモリは、車両(自車10)の周囲の地図を示す第1の周囲センサ地図(地図MP)と、第1の周囲センサ地図(地図MP)に対応する車両の運転支援の支援内容(支援機能ASS)とを含む支援パターンPTNを記憶する。
 プロセッサ(センサ情報取得部101)は、センサによってセンシングされた車両の周囲の物体の情報を示すセンサ情報を取得する。プロセッサ(周囲センサ地図取得部102)は、センサ情報に基づいて第2の周囲センサ地図(地図MP)を取得する。プロセッサ(地図類似性探索部103、支援指示部104)は、第2の周囲センサ地図(地図MP)が第1の周囲センサ地図(地図MP)と類似する場合、第1の周囲センサ地図(地図MP)に対応する支援内容(支援機能ASS)の運転支援を行う。これにより、運転支援を要する場所と類似する場所を車両が走行する場合に運転支援を行うことができる。
 メモリは、運転支援を要する操作状態を示す操作情報(図5B、操作基準TRG)と、操作情報(操作基準TRG)に対応する支援内容(支援機能ASS)とを含むリスト(支援対象操作リストLST)を記憶する。プロセッサ(支援判断部106、支援パターン更新部107)は、操作情報(操作基準TRG)が示す操作状態が検出された場合、第2の周囲センサ地図(地図MP)と、操作情報(操作基準TRG)に対応する支援内容(支援機能ASS)とのセットで、支援パターンPTNを登録/更新する。これにより、運転支援を要する操作状態が検出されたことを契機として、第1の周囲センサ地図に支援内容が対応付けられる。
 操作情報(操作基準TRG)が示す操作状態は、例えば、急ブレーキ操作が行われた状態である(図5B、優先度1の行)。操作情報(操作基準TRG)に対応する支援内容(支援機能ASS)は、例えば、警報又は、減速もしくは加速抑制の制御である。これにより、急ブレーキ操作が検出されたことを契機として、第1の周囲センサ地図に支援内容が対応付けられる。そして、過去に急ブレーキ操作が検出された場所と類似する場所を車両が走行する場合に運転支援として警報又は、減速もしくは加速抑制の制御を行うことができる。
 また、操作情報(操作基準TRG)が示す操作状態は、例えば、車両(自車10)の走行速度が車両の走行位置における制限速度より遅い状態である(図5B、優先度2の行)。操作情報(操作基準TRG)に対応する支援内容(支援機能ASS)は、例えば、警報又は、減速もしくは加速抑制の制御である。これにより、制限速度より遅い状態が検出されたことを契機として、第1の周囲センサ地図に支援内容が対応付けられる。そして、過去に制限速度より遅い状態が検出された場所(苦手なシーン)と類似する場所を車両が走行する場合に運転支援として警報(速度を落とす提案)又は、減速もしくは加速抑制の制御を行うことができる。
 さらに、操作情報(操作基準TRG)が示す操作状態は、例えば、運転支援の頻度が所定値より高い状態である(図5B、優先度3の行)。操作情報(操作基準TRG)に対応する支援内容(支援機能ASS)は、例えば、運転支援の機能を調整するパラメータの変更である。これにより、運転支援の頻度が所定値より高い状態が検出されたことを契機として、第1の周囲センサ地図に支援内容が対応付けられる。そして、過去に運転支援(例えば、障害物すれすれを走行することによる障害物接近警報)の頻度が高い状態が検出された場所と類似する場所を車両が走行する場合に運転支援として運転支援の機能を調整するパラメータの変更(例えば、障害物接近警報をより早く発するようにパラメータを変更)を行うことができる。
 本実施形態では、プロセッサ(図1、周囲センサ地図取得部102)は、センサ情報に基づいて第2の周囲センサ地図(地図MP)を生成する。これにより、例えば、道路の形状、障害物等に変更があった場合にも、必要な運転支援を行うことができる。
 プロセッサ(図1、支援パターン更新部107、地図類似性探索部103、支援指示部104)は、第1の周囲センサ地図(地図MP)をクラスタリングし(図7B、S706)、クラスタ内の第1の周囲センサ地図(地図MP)が一定数以上である場合(図7B、S707:YES)、クラスタ内の第1の周囲センサ地図(地図MP)に対応する支援内容(支援機能ASS)の運転支援を行う。これにより、例えば、運転支援を要する場所の確度が向上する。
 本実施形態では、リスト(図5B、支援対象操作リストLST)は、支援内容(支援機能ASS)に対応する運転支援の有効/無効を判定する判定基準(有効性判定基準CND)を含む。プロセッサ(支援パターン更新部107)は、運転支援を行った支援内容(支援機能ASS)に対応する判定基準(有効性判定基準CND)に基づいて運転支援の有効/無効を判定する(図6、S608)。
 プロセッサ(支援パターン更新部107、地図類似性探索部103、支援指示部104)は、クラスタ内の無効と判定された支援内容に対応する第1の周囲センサ地図(地図MP)が一定数未満である場合(図7B、S708:NO)、第1の周囲センサ地図(地図MP)に対応する支援内容(支援機能ASS)の運転支援を行う。
 一方、プロセッサ(支援パターン更新部107、地図類似性探索部103、支援指示部104)は、クラスタ内の無効と判定された支援内容に対応する第1の周囲センサ地図が一定数以上である場合(図7B、S708:YES)、第1の周囲センサ地図に対応する支援内容の運転支援を行わない。これにより、運転者に有効な運転支援のみを行うことができる。
 以上説明したように、自車周囲で検出した物体の距離情報を用いた地図MPを生成し、その地図と類似した支援パターンPTN[n]との類似度に基づく運転支援を行うシステムであり、運転支援の実施要否はドライバの運転操作から判断し、条件を満たす運転操作が実施された際の地図MP、および、運転操作に対応する支援内容を支援パターンPTN[n]として登録することで、ドライバの過去の経験に基づいて適切な運転支援を実施することが可能なシステムを提供可能である。
 <実施形態2>
 つぎに、本発明の車載用運転支援装置の実施形態2について、以下に図面を用いて説明する。
 図9は、実施形態2における運転支援装置200の構成を示すブロック図である。なお、以下の説明では、上述の実施形態1における運転支援装置100と異なる箇所のみ詳述し、同様の箇所には同一の番号を付してその詳細な説明を省略する。
 本実施形態において特徴的なことは、物標認識部201より得られる周囲障害物の情報も考慮する点と、環境情報取得部202より得られる時間、日付、方位の情報を考慮する点である。
 物標認識部201は、センサより得られる点群PT[c][p]から、周囲の車両、二輪車、歩行者といった物標OBJ[m]を認識する。物標OBJ[m]は、データ構造として自車からの相対座標(X,Y)、および物標の種類(車両、歩行者、二輪車)を有するものとする。
 本実施形態では、センサとしてカメラを用いているため、カメラのパターン認識の結果を取得し、車両、二輪車、歩行者として識別された点群を物標OBJ[m]として認識する。図10A~10Dは物標認識部201の処理内容(検出結果)の例である。図10Aのような環境において、図10Bに示すように自車10の周囲を認識するカメラを搭載している場合、図10Cのようにカメラがパターン認識を行い、図10Dのような物標OBJ[m]を取得する。その結果、地図類似性探索部103のステップS404の類似度SMLの算出時に、周囲センサ地図の情報だけではなく、物標の情報を加味した処理が可能となる。
 環境情報取得部202は、年月日、時間、方位といった情報を取得する。これらの情報は、ナビゲーションなどの他の車載機器との通信や、車両外部との無線通信を通じて入手する。その結果、地図類似性探索部103のステップS404の類似度SMLの算出時に、周囲センサ地図の情報だけではなく、これらの情報を加味した処理が可能となる。
 この効果について、まず、物標を用いた効果について説明する。本実施形態では、支援パターンPTN[n]に、物標OBJ[m]のうち、自車に最も近い物標との位置関係POSを含むものとする。位置関係POSは、自車から見て正面、側面、後方の3値とし、地図類似性探索部103では、支援パターンPTN[n]内の位置関係POSと、検出された物標OBJ[l]のうち最も近い物標との位置関係POSを比較し、一致しない場合は0、一致する場合は1となる物標類似度SML_Oを算出する。
 そして、周囲センサ地図との類似度SMLに、物標類似度SML_Oを乗じたものを類似性SMLとして用いる。これにより、物標との位置関係が同様の場合に支援が実行されるようになる。
 図11A、11B、11Cを用いてその効果を説明する。図11Aは、狭路走行時に前方に歩行者が存在するシーンであり、歩行者が急に道路に寄ってきてドライバが急ブレーキを踏んだ例である。このとき、図11Bに示すように、周囲の地形情報と共に物標との位置関係POSも支援パターンPTN[n]に記憶することにより、図11Cのように地形は類似しているが前方に物標が存在しない場合には類似度が低くなるため、より適切な支援を実施することが可能となる。
 また、環境情報を用いた効果について説明する。本実施形態では、支援パターンPTN[n]に、支援パターンを記憶した時間TMを含むものとする。地図類似性探索部103では、支援パターンPTN[n]内の時間TMと、現在の時間TMとの差が近いほど1.0、異なるほど0.0に近づくような時間類似度SML_Tを算出する。そして、周囲センサ地図との類似度SMLに、時間類似度SML_Tを乗じたものを類似性SMLとして用いる。これにより、支援パターンを登録したタイミングと近い時間帯の場合に支援が実行されるようになる。
 さらに、日付を用いることで、日の出日の入りの時間の特定が可能となり、単純に時間が近いかどうか、ではなく、運転者の視認性が低下すると言われている明け方や夕暮れの時間帯での支援や、夜間のみの支援といった機能が実現できる。
 支援パターンを記憶する際に、さらに日付DTに日付を登録することにより、時間TMとあわせてたとえば昼間・明け方・夕暮れ・夜間の4パターンに分類することができ、現在の日付DTおよび時間TMの昼間・明け方・夕暮れ・夜間の分類結果と一致する場合には1.0、一致しない場合には0.0となる類似度SML_Sを決定する。
 そして、周囲センサ地図との類似度SMLに、日時類似度SML_Sを乗じたものを類似性SMLとして用いる。これにより、支援パターンを登録したタイミングと近い時間帯の場合に支援が実行されるようになる。
 さらに加えて、自車の方位を用いることで、日付及び時間から推測される太陽の位置に対する自車の向きが考慮され、たとえば逆光になっている状況での支援の実現が可能となる。支援パターンを記憶する際に、さらに北を0とする方位DRを登録することにより、日付DT、時間TMと合わせて、たとえば支援パターン内の方位DRと、現在の方位DRの絶対差が小さいほど1.0に、大きいほど0.0となる方位類似度SML_Dを算出する。
 また、支援パターン内の日付DTと時間TMから推測された太陽の高さおよび方位と、現在の日付DTと時間TMから推測された太陽の高さおよび方位の距離を算出し、その絶対差が小さいほど1.0に、大きいほど0.0となる太陽位置類似度SML_Nを算出する。
 そして、周囲センサ地図との類似度SMLに、前述した方位類似度SML_Dおよび太陽位置類似度SML_Nを乗じたものを類似性SMLとして用いる。これにより、支援パターンを登録したタイミングと近い太陽の位置と自車の向きの場合に支援が実行されるようになる。
 さらに、天候情報を取得することで、天候も考慮した支援の実現が可能となる。同様に、支援パターン内に天候WTを登録する。天候WTは、例えば、晴れ、曇り、雨、雪、の4パターンとする。そして、支援パターン内の天候WTと現在の天候WTが一致する場合は1.0、そうでない場合には0.0となる天候類似度SML_Wを算出する。
 そして、周囲センサ地図との類似度SMLに、天候類似度SML_Wを乗じたものを類似性SMLとして用いる。これにより、支援パターンを登録したタイミングと近い天候の場合に支援が実行されるようになる。
 本実施形態の特徴は、次のようにまとめることもできる。
 プロセッサ(図9、環境情報取得部202)は、少なくとも時間を含む車両(自車10)の周囲の環境を示す環境情報を取得する。プロセッサ(支援パターン更新部107)は、支援パターンPTNを登録/更新する場合、環境情報を支援パターンに含める。プロセッサ(地図類似性探索部103、支援指示部104)は、第2の周囲センサ地図(地図MP)が第1の周囲センサ地図(地図MP)と類似し、かつ環境情報が示す環境が検出された場合、第1の周囲センサ地図(地図MP)に対応する支援内容(支援機能ASS)の運転支援を行う。これにより、運転支援を要する場所と類似する場所を車両が走行する場合に、その環境に応じて運転支援を行うかどうかを決めることができる。
 環境情報は、例えば、車両(自車10)の方位を示す方位情報を含む(図9)。これにより、例えば、日差しが眩しい(逆光となる)時間と方位に応じて、運転支援を行うかどうかを決めることができる。
 プロセッサ(図9、物標認識部201)は、センサ情報に基づいて車両(自車10)の周囲の物標OBJを認識する。プロセッサ(支援パターン更新部107)は、支援パターンを登録/更新する場合、車両と物標との間の位置関係を示す位置関係情報を前記支援パターンに含める。プロセッサ(地図類似性探索部103、支援指示部104)は、第2の周囲センサ地図(地図MP)が第1の周囲センサ地図(地図MP)と類似し、かつ位置関係情報が示す位置関係が検出された場合、第1の周囲センサ地図(地図MP)に対応する支援内容(支援機能ASS)の運転支援を行う。これにより、運転支援を要する場所と類似する場所を車両が走行する場合に、車両と物標との間の位置関係に応じて運転支援を行うかどうかを決めることができる。
 <実施形態3>
 つぎに、本発明の車載用運転支援装置の実施形態3について、以下に図面を用いて説明する。
 図12は、実施形態3における運転支援装置300の構成を示すブロック図である。なお、以下の説明では、上述の実施形態1における運転支援装置100および実施形態2における運転支援装置200と異なる箇所のみ詳述し、同様の箇所には同一の番号を付してその詳細な説明を省略する。
 本実施形態において特徴的なことは、運転手入力部301より得られるドライバの選択を考慮する点である。
 図13A、13Bは、運転手入力部301の選択の結果を支援パターン記憶部108に登録する処理を説明するものである。運転支援装置300内に事前パターン記憶部302を用意し、図13A、13Bに示すようなテーブルを保存しておく。
 図13Bに示すテーブル内には、支援パターンの情報として地図MP、物標との位置関係POS、時間TM、日付DT、方位DR等の登録に必要な情報が含まれ、図13Aに示すテーブル内には、これを言語化した苦手シーン名、および支援要否が含まれる。なお、図13A、13Bの例では、「No」フィールドの値によって両テーブルのレコードがリンクされている。
 苦手シーン名および支援要否は、初回起動時、もしくは、自動車の設定画面(ディスプレイ)等から表示されるようになっており、さらに支援要否に関してはドライバからの入力により切り替えられるようにする。この選択の結果、支援パターン記憶部108に、事前パターン記憶部302の内容を登録する。
 また、支援パターン更新部107についても、運転手入力部301との連携を行う。図14は支援パターン更新部107に運転手入力部301の入力を用いた場合の処理フローである。
 まず、ステップS1401にて、自車の運転が完了しているかどうかを判定する。運転が終了している場合にはステップS1402へ進む。運転中の場合は、次の処理周期まで待機する。
 つぎに、ステップS1402にて、追加テーブルTBL_Aおよび無効化テーブルTBL_Iの登録数が一定数以上であるかどうかを判定し、一定数以上であった場合にはステップS1403を行う。そうでない場合には次の処理周期まで待機する。
 ステップS1403にて、追加テーブルTBL_Aおよび無効化テーブルTBL_Iに登録されている支援パターンPTNの言語化、もしくは可視化を行う。言語化は例えばパターンと言語の組み合わせを事前学習した機械学習による方法等を用いる。本実施形態では、可視化として支援パターンPTN内の地図MPを表示するものとする。
 ステップS1404では、ステップS1403にて可視化した追加テーブルTBL_A上の支援パターンPTNについて、運転手入力部301を用いて、ドライバがその支援を希望しているか否かの入力を指示する。
 入力の結果支援を希望している場合は、ステップS1405に進み、追加パターンを支援パターン記憶部108に登録する。希望しない場合は、次の追加テーブルTBL_A上の支援パターンPTNについて、ステップS1404の処理を行う。追加テーブルTBL_A内の支援パターンPTNに対してすべて処理が完了したら、ステップS1406へ進む。
 ステップS1406では、ステップS1403にて可視化した無効化テーブルTBL_I上の支援パターンPTNについて、運転手入力部301を用いて、ドライバがその支援の無効化を希望しているか否かの入力を指示する。
 入力の結果支援の無効化を希望している場合は、ステップS1407に進み、支援パターン記憶部108内の該当する支援パターンの有効フラグVを無効に設定する、もしくは、無効化パターン記憶部109に登録する。希望しない場合は、次の無効化テーブルTBL_I上の支援パターンPTNについて、ステップS1406の処理を行う。無効化テーブルTBL_I内の支援パターンPTNに対してすべて処理が完了したら、処理を終了する。
 本実施形態の特徴は、次のようにまとめることもできる。
 運転支援装置300(図12)は、運転者の選択を入力として受け付ける入力部(運転手入力部301)を備える。メモリ(事前パターン記憶部302)は、第1の周囲センサ地図(地図MP)と、第1の周囲センサ地図(地図MP)に対応する車両(自車10)の運転支援の支援内容(支援機能ASS)とを含む事前支援パターンを記憶する。プロセッサ(支援パターン更新部107)は、運転者によって選択された事前支援パターンで、支援パターンを登録/更新する。これにより、運転者は必要な支援パターンを事前に登録することができる。
 また、プロセッサ(支援パターン更新部107)は、第2の周囲センサ地図(地図MP)と、操作情報に対応する支援内容(支援機能ASS)とのセットを運転者に提示し(図14、S1402)、運転者に選択されたセットで、支援パターンを登録/更新する。これにより、運転者は提案されたセットから運転支援を要する場所(苦手シーン)を選択することができる。
 以上により、初回起動時、もしくは、自動で検出した支援パターンや無効化すべき支援パターンをドライバが選択することが可能となり、ドライバにとってより適切な支援を実施することが可能となる。
 <実施形態4>
 つぎに、本発明の車載用運転支援装置の実施形態4について、以下に図面を用いて説明する。
 図15は、実施形態4における運転支援装置400の構成を示すブロック図である。なお、以下の説明では、上述の実施形態1における運転支援装置100、実施形態2における運転支援装置200、実施形態3における運転支援装置300と異なる箇所のみ詳述し、同様の箇所には同一の番号を付してその詳細な説明を省略する。
 本実施形態において特徴的なことは、センサ地図記憶部403を有し、センサ地図記憶部内のセンサ地図における位置を推定する地図内位置推定部401、およびセンサ地図内の推定位置における周囲センサ地図の抽出を行う周囲センサ地図取得部402を有することである。
 センサ地図記憶部403は、周囲センサ地図MPの生成を様々な場所で実施しつなぎ合わせたセンサ地図MP_Gを記憶する領域である。つなぎ合わせには、自車の絶対位置を取得するGNSS(Global Navigation Satellite System)と、自車の相対位置を算出するデッドレコニングなどの方法を組み合わせて結合する。センサ情報取得部101で取得したセンサ情報から、SLAM等の技術を用いてつなぎ合わせてもよい。
 この結果、センサ地図MP_Gは位置情報と紐づけられて記憶される。本実施形態においては、センサ地図MP_Gは、自車が過去に走行した際に生成した周囲センサ地図MPをつなぎ合わせて生成したものを記憶する。この場合は、普段利用する道路についてあらかじめ地図が生成されるため、普段使いのシチュエーションにおいて、運転支援を行うことができる。また、初期段階で主要な環境のセンサ地図を記憶しておいても良いし、通信により外部から取得してもよい。この場合は、初めて走行する場所においても運転支援が可能となる。
 地図内位置推定部401は、自車の位置情報を取得し、センサ地図MP_G内における自車の位置LCLを推定する。自車の位置情報は、自車の絶対位置を取得するGNSSと、自車の相対位置を算出するデッドレコニングなどの方法を組み合わせて行う。
 GNSSはセンサ地図MP_G内における絶対位置を取得可能であるが処理周期が遅く、また、電波状況が悪い場合には十分な精度で取得できない。そのため、比較的高周期で処理が可能なデッドレコニングを併用し、GNSS受信周期の間や、電波状況が悪い場合は、最後に受信したGNSSの位置から、デッドレコニングによる相対位置算出を行い、センサ地図MP_G上での位置を推定する。もしくは、センサ情報取得部101から取得したセンサ情報を用いて暫定の周囲センサ地図MP_Tを生成し、暫定の周囲センサ地図MP_Tとセンサ地図MP_G上でのマップマッチングにより推定することも可能である。
 周囲センサ地図取得部402は、自車の位置LCLと、センサ地図MP_Gから、自車位置LCL周辺のセンサ地図MP_Gを抽出し、周囲センサ地図MPとする。周囲センサ地図MPは、自車位置LCL付近から切り出したセンサ地図MP_Gをそのまま周辺センサ地図MPとしても良いが、暫定の周囲センサ地図MP_Tと、自車位置LCL付近から切り出したセンサ地図MP_Gを統合し、近傍は周囲センサ地図MP_Tを利用し、周囲センサ地図MP_Tのセンシング範囲外についてはセンサ地図MP_Gから切り出した情報を用いることが好ましい。
 図16A、16B、16Cは、周囲センサ地図取得部402の効果を説明する模式図である。図16Aに示すように、自車周囲に二輪車22や車両21が存在する場合、センサ情報取得部101から取得したセンサ情報を用いて生成した暫定の周囲センサ地図MP_Tは図16Bに示すように、物標によりセンシング範囲が限られてしまい、二輪車22や車両21の奥の地形情報が得られない。なお、図16Bの点線の円又は楕円は物標による死角を示す。
 しかし、本実施形態に示す周囲センサ地図取得部402の処理を行うことにより、二輪車22や車両21によりセンシング範囲が限られていたとしても、図16Cに示すように周囲の地形情報が取得可能となる。
 以上、センサ地図記憶部403を用いることにより、センサ情報取得部101から取得したセンサ情報を用いて生成した暫定の周囲センサ地図MP_Tよりも広い範囲の地図を用いることができる。
 また、センサ地図記憶部403上に、過去に走行した走行路であれば自車の走行経路PTHを持つことが可能であり、走行経路PTHを利用することでより適切な運転支援が可能となる。図17A~17Dはその内容を説明するための模式図である。走行経路PTHは、たとえばナビゲーション等から取得し、周囲センサ地図MP_G上に重ねて用いても良い。
 図17Aは、見通しの悪い交差点を通過するシーンである。このような交差点から自車が左折しようとする際にドライバが急ブレーキを踏んだ場合、その周囲センサ地図MP等が支援パターン記憶部108に図17Bのように記憶される。
 そして、類似した環境を走行する際に、センサ地図MP_G上で自車の走行経路PTHを持つことにより、見通しの悪い交差点を通過するシーンにおいて、実施形態1や2で示したような警報だけではなく、交差点の手前でいったん停車する、その近辺では発進の際の加速を抑制する、といった支援が可能となる。
 また、図17Cは、狭路を通過するシーンである。このような狭路を直進する際にドライバが制限速度より十分低い速度で走行した場合、その周囲センサ地図MP等が支援パターン記憶部108に図17Dのように記憶される。
 そして、類似した環境を走行する際に、センサ地図MP_G上で自車の走行経路PTHを持つことにより、このような狭路において、実施形態1や2で示したような警報だけではなく、まっすぐ走る走行経路から逸脱した場合にステアリングの反力を生成させる、その近辺では発進の際の加速を抑制する、といった支援(車両制御)が可能となる。
 また、図18Aは、狭路を旋回するシーンである。このような狭路で旋回する際にドライバが壁ギリギリを通過した場合や、旋回の途中でこのままでは旋回ができないと判断しバックギアに切り替えた場合に、その周囲センサ地図MP等が支援パターン記憶部108に図18Bのように記憶される。そして、類似した環境を走行する際に、センサ地図MP_G上で自車の走行経路PTHを持つことにより、このような狭路での旋回において、実施形態1や2で示したような警報だけではなく、旋回を開始すべき位置からステアリングを動かす、その近辺では発進の際の加速を抑制する、といった支援が可能となる。
 また、図18Cは、交差点を右折するシーンである。対向車が存在し対向車線の見通しが悪い場合に対向車の陰から二輪車等が飛び出して急ブレーキを踏んでしまった場合に、その周囲センサ地図MPおよび物標との位置関係POS等が支援パターン記憶部108に図18Dのように記憶される。
 そして、類似した環境を走行する際に、センサ地図MP_G上で自車の走行経路PTHを持つことにより、交差点での右折において、ドライバの視点よりも早いタイミングで対向車線の車両や二輪車を見ることができるセンサ情報を駆使して、接近状態に応じた警報、加速抑制、制動などを実施することができる。
 本実施形態の特徴は、次のようにまとめることもできる。
 メモリ(図15、センサ地図記憶部403)は、複数の第2の周囲センサ地図(地図MP)をつなぎ合わせたセンサ地図MP_Gを記憶する。プロセッサ(地図内位置推定部401)は、センサ情報に基づいてセンサ地図MP_Gにおける車両(自車10)の位置LCLを推定する。プロセッサ(周囲センサ地図取得部402)は、推定された車両の位置LCLにおけるセンサ地図MP_Gから、第2の周囲センサ地図(地図MP)を取得する。これにより、例えば、過去に走行した場所の第2の周囲センサ地図(地図MP)を活用することができる。また、センサ地図MP_Gにおける車両(自車10)の位置LCLから自車の走行経路PTHを取得することができる。
 操作情報(操作基準TRG)が示す操作状態は、例えば、車両(自車10)の旋回中に後退操作が行われた状態である(図18A)。操作情報(操作基準TRG)に対応する支援内容(支援機能ASS)は、例えば、車両の旋回の制御である。これにより、車両の旋回中に後退操作が行われた状態が検出されたことを契機として、第1の周囲センサ地図に支援内容が対応付けられる。そして、旋回中に後退操作が行われた場所と類似する場所を車両が走行する場合に運転支援として車両の旋回の制御を行うことができる。
 以上説明したように、センサ地図記憶部403を有し、センサ地図MP_Gを用いることにより、自車の走行経路PTHが参照できるため、走行経路PTHを用いた停車支援、操舵支援といった支援が可能となる。
 <実施形態5>
 つぎに、本発明の車載用運転支援装置の実施形態5について、以下に図面を用いて説明する。
 図19は、実施形態5における運転支援装置500の構成を示すブロック図である。なお、以下の説明では、上述の実施形態1における運転支援装置100、実施形態2における運転支援装置200、実施形態3における運転支援装置300、実施形態4における運転支援装置400と異なる箇所のみ詳述し、同様の箇所には同一の番号を付してその詳細な説明を省略する。
 本実施形態において特徴的なことは、支援パターン記憶部108内のパターンとの類似度を、あらかじめセンサ地図記憶部403内のセンサ地図MP_Gにて算出・登録しておき、支援内容取得部501は、自車位置LCLに基づきセンサ地図MP_Gから支援内容を直接参照し、支援指示部104へ通知を行う。
 これにより、支援パターンPTNに該当する場所をあらかじめセンサ地図記憶部403内のセンサ地図MP_Gに登録しておくことにより、自車走行中の地図類似性探索部の処理を省略でき、処理負荷の低減が可能である。
 以上のような支援において、警報は、単純な音による警報に限らず、LEDを用いた照明による警報、車両内のモニタへの表示、さらには、車両に搭載されたセンサがカメラであった場合にはカメラ映像をモニタに表示する、等の方法が含まれる。
 なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上述した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
 また、上記の各構成、機能等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。
 なお、本発明の実施形態は、以下の態様であってもよい。
 (1).自車周囲に搭載された外界認識センサから情報を取得するセンサ情報取得部と、前記センサ情報に基づき自車周囲のセンサ地図を取得する周囲センサ地図取得部と、運転支援制御を実施すべきセンサ地図の形状と、前記センサ地図形状に対応する支援内容とを含む支援パターンを記憶する支援パターン記憶部と、取得した前記センサ地図と、登録された前記支援パターンの類似度を算出する地図類似性探索部とを備え、前記地図類似性探索部において、前記センサ地図が運転支援制御を実施すべき前記センサ地図形状と類似度が高く、前記運転支援制御を実施すべき箇所であると判断されたとき、前記センサ地図と類似度の高い前記センサ地図形状に対応する支援内容の運転支援を実行するように指示する支援指示部と、を有する運転支援装置。
 (2).(1)に記載の運転支援装置において、運転者の運転操作情報を取得する運転操作情報取得部と、前記運転操作情報と前記センサ地図に基づき運転支援要否を判断する支援判断部とをさらに有し、前記支援判断部が支援要と判断した場合には、該当のセンサ地図形状を運転支援すべき状況であるとして、前記センサ地図形状と支援内容をセットで、前記支援パターン記憶部へ登録/更新する支援パターン更新部とを有する運転支援装置。
 (3).(2)に記載の運転支援装置であって、前記周囲センサ地図取得部は、前記外界認識センサが取得したセンサ情報に基づいて前記自車周囲のセンサ地図を生成することを特徴とする運転支援装置。
 (4).(2)に記載の運転支援装置は、前記センサ地図を記憶するセンサ地図記憶部と、前記センサ情報に基づきセンサ地図内での自車位置を推定する地図内位置推定部とを有し、周囲センサ地図取得部は、前記地図内の自車推定位置に基づいて前記センサ地図記憶部に記憶された地図から自車周囲のセンサ地図を取得することを特徴とする運転支援装置。
 (5).(2)に記載の運転支援装置であって、少なくとも時間を含む環境情報を取得する環境情報取得部をさらに有し、前記支援パターンに前記環境情報を加えて、前記支援パターン記憶部へ登録することを特徴とする運転支援装置。
 (6).(2)に記載の運転支援装置であって、自車の方位情報を取得する方位情報取得部をさらに有し、前記支援パターンに前記方位情報を加えて、前記支援パターン記憶部へ登録することを特徴とする運転支援装置。
 (7).(2)に記載の運転支援装置であって、前記センサ情報に基づき自車周囲の動的な物体情報から構成される物標の相互の位置関係及び、前記物標と前記自車との位置関係を認識する物標認識部を有し、前記支援パターンに前記物標の位置関係情報を加えて、前記支援パターン記憶部へ登録することを特徴とする運転支援装置。
 (8).(3)に記載の運転支援装置であって、前記支援パターン更新部は、前記支援判断部が、前記操作情報取得部の入力に基づき急ブレーキ操作を検出したとき、該当のセンサ地図形状に対応させる形で警報を運転支援として登録・更新することを特徴とする運転支援装置。
 (9).(3)に記載の運転支援装置であって、前記支援パターン更新部は、前記支援判断部が自車走行位置における制限速度情報を取得し、前記操作情報取得部より取得した前記自車の走行速度が前記制限速度より遅いことを検出したとき、該当のセンサ地図形状に対応させる形で警報を運転支援として登録・更新することを特徴とする運転支援装置。
 (10).(3)に記載の運転支援装置であって、前記支援パターン更新部は、前記支援判断部が前記操作情報取得部より取得した情報に基づき前記自車が備える運転支援機能の動作頻度が高いことを検出したとき、該当のセンサ地図形状に対応させる形で、前記自車に備える運転支援機能のパラメータ調整することを運転支援として登録・更新する運転支援装置。
 (11).(4)に記載の運転支援装置であって、前記支援パターン更新部は、前記支援判断部が、前記操作情報取得部の入力に基づき急ブレーキ操作を検出したとき、該当のセンサ地図形状に対応させる形で、警報、減速支援もしくは加速抑制の制御を運転支援として登録・更新することを特徴とする運転支援装置。
 (12).(4)に記載の運転支援装置であって、前記支援パターン更新部は、前記支援判断部が、自車走行位置における制限速度情報を取得し、前記操作情報取得部より取得した速度が前記制限速度より遅いことを検出し、該当のセンサ地図形状に対応させる形で、警報、減速支援もしくは加速抑制の制御を運転支援として登録・更新することを特徴とする運転支援装置。
 (13).(4)に記載の運転支援装置であって、前記支援パターン前記支援判断部が、前記操作情報取得部より旋回中の後退操作を検出し、該当のセンサ地図形状に対応させる形で、旋回支援制御を運転支援として登録・更新することを特徴とする運転支援装置。
 (14).(2)に記載の運転支援装置であって、支援パターン更新部は、前記支援パターン内のセンサ地図形状をパターン類似度に基づき分類し、前記分類の結果、類似したセンサ地図形状が一定数以上集まっている支援パターンについてのみ、前記地図類似性探索部の探索対象とする運転支援装置。
 (15).(14)に記載の運転支援装置であって、支援パターン更新部は、前記支援指示部にて指示された運転支援の有効性を観測し、前記分類の結果類似したセンサ地図形状が一定数以上集まっている支援パターンのうち無効な支援パターンが一定割合より多い支援パターンは、前記地図類似性探索部の探索対象としないことを特徴とする運転支援装置。
 (16).(2)に記載の運転支援装置であって、前記運転者が入力する入力部を備え、支援パターン記憶部は、前記運転者からの入力に基づいて、事前に記憶されているセンサ地図形状と支援内容を前記支援パターン記憶部へ登録することを特徴とする運転支援装置。
 (17).(2)に記載の運転支援装置であって、前記運転者が入力する入力部を備え、支援が必要であるとシステムが判定した前記センサ地図形状および前記支援内容を運転者へ提示し、前記運転者が支援希望を前記入力部へ入力したとき、該当のセンサ地図形状を前記地図類似性探索部の探索対象とすることを特徴とする運転支援装置。
 (1)~(17)によれば、ドライバが運転支援を必要としている状況を自動で検出し、その状況を周囲の地形や障害物の情報を記憶することで、類似した状況において適切な運転支援を実施することが可能となる。
100…運転支援装置
101…センサ情報取得部
102…周囲センサ地図取得部
103…地図類似性探索部
104…支援指示部
105…操作情報取得部
106…支援判断部
107…支援パターン更新部
108…支援パターン記憶部
109…無効化パターン記憶部
200…運転支援装置
201…物標認識部
202…環境情報取得部
300…運転支援装置
301…運転手入力部
302…事前パターン記憶部
400…運転支援装置
401…地図内位置推定部
402…周囲センサ地図取得部
403…センサ地図記憶部
406…センサ地図記憶部
500…運転支援装置
501…支援内容取得部

Claims (15)

  1.  車両の周囲の地図を示す第1の周囲センサ地図と、前記第1の周囲センサ地図に対応する前記車両の運転支援の支援内容とを含む支援パターンを記憶するメモリと、
     センサによってセンシングされた車両の周囲の物体の情報を示すセンサ情報を取得し、
     前記センサ情報に基づいて第2の周囲センサ地図を取得し、
     前記第2の周囲センサ地図が前記第1の周囲センサ地図と類似する場合、前記第1の周囲センサ地図に対応する前記支援内容の運転支援を行うプロセッサと、
     を備える運転支援装置。
  2.  請求項1に記載の運転支援装置であって、
     前記メモリは、
     運転支援を要する操作状態を示す操作情報と、前記操作情報に対応する前記支援内容とを含むリストを記憶し、
     前記プロセッサは、
     前記操作情報が示す前記操作状態が検出された場合、前記第2の周囲センサ地図と、前記操作情報に対応する前記支援内容とのセットで、前記支援パターンを登録/更新する
     ことを特徴とする運転支援装置。
  3.  請求項2に記載の運転支援装置であって、
     前記プロセッサは、
     前記センサ情報に基づいて前記第2の周囲センサ地図を生成する
     ことを特徴とする運転支援装置。
  4.  請求項2に記載の運転支援装置であって、
     前記メモリは、
     複数の前記第2の周囲センサ地図をつなぎ合わせたセンサ地図を記憶し、
     前記プロセッサは、
     前記センサ情報に基づいて前記センサ地図における前記車両の位置を推定し、
     推定された前記車両の位置における前記センサ地図から、前記第2の周囲センサ地図を取得する
     ことを特徴とする運転支援装置。
  5.  請求項2に記載の運転支援装置であって、
     前記プロセッサは、
     少なくとも時間を含む前記車両の周囲の環境を示す環境情報を取得し、
     前記支援パターンを登録/更新する場合、前記環境情報を前記支援パターンに含め、
     前記第2の周囲センサ地図が前記第1の周囲センサ地図と類似し、かつ前記環境情報が示す環境が検出された場合、前記第1の周囲センサ地図に対応する前記支援内容の運転支援を行う
     ことを特徴とする運転支援装置。
  6.  請求項5に記載の運転支援装置であって、
     前記環境情報は、
     前記車両の方位を示す方位情報を含む
     ことを特徴とする運転支援装置。
  7.  請求項2に記載の運転支援装置であって、
     前記プロセッサは、
     前記センサ情報に基づいて前記車両の周囲の物標を認識し、
     前記支援パターンを登録/更新する場合、前記車両と前記物標との間の位置関係を示す位置関係情報を前記支援パターンに含め、
     前記第2の周囲センサ地図が前記第1の周囲センサ地図と類似し、かつ前記位置関係情報が示す位置関係が検出された場合、前記第1の周囲センサ地図に対応する前記支援内容の運転支援を行う
     ことを特徴とする運転支援装置。
  8.  請求項3に記載の運転支援装置であって、
     前記操作情報が示す操作状態は、急ブレーキ操作が行われた状態であり、
     前記操作情報に対応する前記支援内容は、警報又は、減速もしくは加速抑制の制御である
     ことを特徴とする運転支援装置。
  9.  請求項3に記載の運転支援装置であって、
     前記操作情報が示す操作状態は、前記車両の走行速度が前記車両の走行位置における制限速度より遅い状態であり、
     前記操作情報に対応する前記支援内容は、警報又は、減速もしくは加速抑制の制御である
     ことを特徴とする運転支援装置。
  10.  請求項3に記載の運転支援装置であって、
     前記操作情報が示す操作状態は、前記運転支援の頻度が所定値より高い状態であり、
     前記操作情報に対応する前記支援内容は、前記運転支援の機能を調整するパラメータの変更である
     ことを特徴とする運転支援装置。
  11.  請求項4に記載の運転支援装置であって、
     前記操作情報が示す操作状態は、前記車両の旋回中に後退操作が行われた状態であり、
     前記操作情報に対応する前記支援内容は、前記車両の旋回の制御である
     ことを特徴とする運転支援装置。
  12.  請求項2に記載の運転支援装置であって、
     前記プロセッサは、
     前記第1の周囲センサ地図をクラスタリングし、
     クラスタ内の前記第1の周囲センサ地図が一定数以上である場合、前記クラスタ内の前記第1の周囲センサ地図に対応する前記支援内容の運転支援を行う
     ことを特徴とする運転支援装置。
  13.  請求項12に記載の運転支援装置であって、
     前記リストは、前記支援内容に対応する前記運転支援の有効/無効を判定する判定基準を含み、
     前記プロセッサは、
     前記運転支援を行った前記支援内容に対応する判定基準に基づいて前記運転支援の有効/無効を判定し、
     前記クラスタ内の無効と判定された前記支援内容に対応する前記第1の周囲センサ地図が一定数未満である場合、前記第1の周囲センサ地図に対応する前記支援内容の運転支援を行い、
     前記クラスタ内の無効と判定された前記支援内容に対応する前記第1の周囲センサ地図が一定数以上である場合、前記第1の周囲センサ地図に対応する前記支援内容の運転支援を行わない
     ことを特徴とする運転支援装置。
  14.  請求項2に記載の運転支援装置であって、
     運転者の選択を入力として受け付ける入力部を備え、
     前記メモリは、
     前記第1の周囲センサ地図と、前記第1の周囲センサ地図に対応する前記車両の運転支援の支援内容とを含む事前支援パターンを記憶し、
     前記プロセッサは、
     前記運転者によって選択された前記事前支援パターンで、前記支援パターンを登録/更新する
     ことを特徴とする運転支援装置。
  15.  請求項2に記載の運転支援装置であって、
     運転者の選択を入力として受け付ける入力部を備え、
     前記プロセッサは、
     前記第2の周囲センサ地図と、前記操作情報に対応する前記支援内容との前記セットを運転者に提示し、
     前記運転者に選択された前記セットで、前記支援パターンを登録/更新する
     ことを特徴とする運転支援装置。
PCT/JP2022/003850 2021-04-15 2022-02-01 運転支援装置 WO2022219884A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE112022001081.9T DE112022001081T5 (de) 2021-04-15 2022-02-01 Fahrassistenzvorrichtung

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021068939A JP2022163852A (ja) 2021-04-15 2021-04-15 運転支援装置
JP2021-068939 2021-04-15

Publications (1)

Publication Number Publication Date
WO2022219884A1 true WO2022219884A1 (ja) 2022-10-20

Family

ID=83639541

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/003850 WO2022219884A1 (ja) 2021-04-15 2022-02-01 運転支援装置

Country Status (3)

Country Link
JP (1) JP2022163852A (ja)
DE (1) DE112022001081T5 (ja)
WO (1) WO2022219884A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7395069B1 (ja) 2023-06-01 2023-12-08 日立Astemo株式会社 車両用制御システム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014206906A (ja) * 2013-04-15 2014-10-30 株式会社デンソー 運転支援装置
JP2020008888A (ja) * 2018-07-02 2020-01-16 株式会社デンソー 事故警告装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4396597B2 (ja) 2005-08-08 2010-01-13 株式会社デンソー 危険反応地点記録システム及び運転支援システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014206906A (ja) * 2013-04-15 2014-10-30 株式会社デンソー 運転支援装置
JP2020008888A (ja) * 2018-07-02 2020-01-16 株式会社デンソー 事故警告装置

Also Published As

Publication number Publication date
JP2022163852A (ja) 2022-10-27
DE112022001081T5 (de) 2023-11-30

Similar Documents

Publication Publication Date Title
JP6592074B2 (ja) 車両制御装置、車両制御方法、プログラム、および情報取得装置
US10629079B2 (en) Vehicle collision avoidance
CN111052733B (zh) 周围车辆显示方法及周围车辆显示装置
CN109426261B (zh) 自动驾驶装置
US11763574B2 (en) Multi-modal, multi-technique vehicle signal detection
US10906542B2 (en) Vehicle detection system which classifies valid or invalid vehicles
US20220366175A1 (en) Long-range object detection, localization, tracking and classification for autonomous vehicles
JP2019043245A (ja) 車両制御装置、車両、車両制御方法およびプログラム
WO2022219884A1 (ja) 運転支援装置
JP2021128432A (ja) 運転支援システム
JP2019096038A (ja) 車両の物標検出装置
WO2020217316A1 (ja) 交通安全支援装置、携帯情報端末、及びプログラム
KR102653342B1 (ko) 자율 주행 장치 및 방법
JP7462738B2 (ja) 車載クラスタ追跡システム
CN113310498A (zh) 车辆规划路径信号
CN113335273A (zh) 车辆控制系统
JP2019096039A (ja) 車両の物標検出装置
US20220309797A1 (en) Information processing apparatus, vehicle, and storage medium
JP2022030187A (ja) 車両用表示制御装置、車両用表示制御システム、及び車両用表示制御方法
JP2019096040A (ja) 車両の物標検出装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22787812

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18286652

Country of ref document: US

Ref document number: 112022001081

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22787812

Country of ref document: EP

Kind code of ref document: A1