WO2016170646A1 - シーン理解装置 - Google Patents

シーン理解装置 Download PDF

Info

Publication number
WO2016170646A1
WO2016170646A1 PCT/JP2015/062405 JP2015062405W WO2016170646A1 WO 2016170646 A1 WO2016170646 A1 WO 2016170646A1 JP 2015062405 W JP2015062405 W JP 2015062405W WO 2016170646 A1 WO2016170646 A1 WO 2016170646A1
Authority
WO
WIPO (PCT)
Prior art keywords
obstacle
vehicle
obstacle detection
specific point
risk
Prior art date
Application number
PCT/JP2015/062405
Other languages
English (en)
French (fr)
Inventor
真規 義平
渡辺　省吾
則政 岸
Original Assignee
日産自動車株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日産自動車株式会社 filed Critical 日産自動車株式会社
Priority to EP15889885.8A priority Critical patent/EP3288004B1/en
Priority to CA2983680A priority patent/CA2983680C/en
Priority to PCT/JP2015/062405 priority patent/WO2016170646A1/ja
Priority to RU2017140629A priority patent/RU2675767C1/ru
Priority to KR1020197008488A priority patent/KR20190034360A/ko
Priority to MX2017013367A priority patent/MX369189B/es
Priority to US15/568,302 priority patent/US10262215B2/en
Priority to JP2017513907A priority patent/JP6432677B2/ja
Priority to CN201580079070.3A priority patent/CN107533804B/zh
Priority to BR112017022816-5A priority patent/BR112017022816A2/ja
Priority to KR1020177032303A priority patent/KR20170134713A/ko
Publication of WO2016170646A1 publication Critical patent/WO2016170646A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Definitions

  • the present invention relates to a scene comprehension device that determines the degree of danger at a specific point where vehicles or vehicles and people cross each other on a road.
  • Patent Document 1 Conventionally, a risk calculation device for calculating the potential risk around the vehicle has been proposed (see Patent Document 1).
  • Patent Document 1 based on information from the obstacle detection device, the setting of a mesh, which is a grid area, is changed around the own vehicle, and the risk potential at each intersection of the mesh or at each grid area is calculated. . Then, the target route of the host vehicle is set according to the calculated risk potential.
  • the present invention has been made in view of the above problems, and an object of the present invention is to provide a scene understanding device that suppresses an excessive increase in computation load.
  • the scene understanding device is configured to determine whether or not there is an obstacle in an obstacle detection frame having a shape corresponding to a road structure, which is set in advance at a specific point where vehicles or vehicles and people cross each other. And the degree of risk at the specific point is calculated based on the determination result.
  • FIG. 1 is a block diagram showing an overall configuration of a driving support device 1a including a scene understanding device according to the first embodiment.
  • FIG. 2 is a block diagram showing a plurality of arithmetic processing units configured by the arithmetic circuit 17a.
  • FIG. 3 is a flowchart illustrating an example of a driving support method including a scene understanding method according to the first embodiment.
  • FIG. 4A is a plan view showing an example of curb information or road network information indicating the position of the curb 41 in the three-way crossing
  • FIG. 4B is an example of the obstacle detection frame 42 set in the three-way crossing.
  • FIGS. 5A and 5B are plan views showing an example of a junction point and an example of an obstacle detection frame 42 set at the junction point.
  • FIGS. 5A and 5B are plan views showing an example of a junction point and an example of an obstacle detection frame 42 set at the junction point.
  • FIG. 5C and 5D are crosswalks. It is a top view which shows an example of the obstacle detection frame 42 set to an example of 45 and the pedestrian crossing 45.
  • FIG. 6A is a plan view showing an example of a gaze frame 48 set on a three-way with a traffic light
  • FIG. 6B is a plan view showing an example of a gaze frame 48 set on a three-way with no traffic light.
  • FIG. 6C is a plan view showing a state in which the blind spot caused by the obstacle 49 and the gaze frame 48 are superimposed.
  • FIG. 7A is a plan view showing an example of the gaze frame 48 set at the junction
  • FIG. 7B is a plan view showing an example of the gaze frame 48 set at the pedestrian crossing.
  • 8A is a plan view showing a three-way road in which eleven obstacle detection frames (R01 to R11) and two gaze frames (T01, T02) are set.
  • 8 (b) to 8 (e) show combinations of the obstacle detection frames (R01 to R11) with obstacles and the gaze frames (T01, T02) superimposed on the blind spots in the three-way crossing of FIG. 8 (a).
  • 9 (a) to 9 (d) are plan views showing examples of the obstacle detection frame 42 ′ selected by the detection frame selection unit 25.
  • FIGS. 9 (e) and 9 (f) 7 is a plan view showing an example of a gaze frame 48 ′ selected by a detection frame selection unit 25.
  • FIG. 10 is a block diagram showing the overall configuration of the driving support device 1b including the scene understanding device according to the second embodiment.
  • FIG. 11 is a block diagram illustrating a plurality of arithmetic processing units configured by the arithmetic circuit 17b.
  • FIG. 12 is a flowchart illustrating an example of a driving support method including a scene understanding method according to the second embodiment.
  • FIG. 13 is a flowchart showing a detailed procedure of steps S33 and S23 of FIG.
  • FIG. 14 is a flowchart showing a detailed procedure of the knowledge tree (intersection entrance) shown in step S47 of FIG.
  • FIG. 15 is a flowchart showing a detailed procedure of the knowledge tree (inside the intersection) shown in step S49 of FIG.
  • FIG. 16 is a flowchart showing a detailed procedure of the knowledge tree (intersection exit) shown in step S51 of FIG.
  • the driving support device 1a determines the behavior of the own vehicle (driving support method) based on the risk (scene) of crossing with another vehicle or a person at a specific point on the planned traveling route of the own vehicle, and executes driving support.
  • the scene understanding device is a device for calculating the degree of risk, that is, for understanding the scene.
  • the specific point is a point where vehicles or vehicles and people cross each other on the road, and includes, for example, an intersection where three or more roads gather, a junction of expressways, and a pedestrian crossing.
  • the scene understanding device detects the other vehicle or person around the specific point when the vehicle travels at the specific point, and calculates the risk of crossing with the other vehicle or the person.
  • the driving assistance device 1a determines the action (driving assistance method) of the own vehicle based on the degree of risk and executes the driving assistance in order for the own vehicle to travel safely at the specific point.
  • the driving support device 1a includes a GPS 11, a map database 12, an in-vehicle camera 13, a laser sensor 14, an operation unit 15, a risk database 16, and an arithmetic circuit 17a.
  • the GPS 11 is an example of a vehicle position detection unit that detects the current position of the vehicle.
  • the map database 12 is an example of a map storage unit that stores map data.
  • the in-vehicle camera 13 and the laser sensor 14 are examples of an obstacle detection unit that detects the position of an obstacle existing around the vehicle.
  • the operation unit 15 is a member that receives an instruction from an occupant of the host vehicle, and includes a microphone, a touch panel disposed on the instrument panel, a steering switch, and the like.
  • the risk database 16 stores the relationship between the combination of obstacle detection frames having obstacles and the risk. The risk database 16 and the obstacle detection frame will be described later.
  • the arithmetic circuit 17a is a circuit that executes a series of arithmetic processing for calculating the degree of danger and executing driving support using obstacle information and map information.
  • the CPU, RAM, ROM, memory, input / output This is a general-purpose microcomputer composed of a control circuit.
  • the microcomputer is preinstalled with a computer program in which a series of arithmetic processes are described.
  • the microcomputer executes the computer program, the microcomputer performs a plurality of arithmetic processes for executing the above series of arithmetic processes. Parts.
  • a plurality of arithmetic processing units configured by the arithmetic circuit 17a will be described later with reference to FIG.
  • GPS 11 receives radio waves from the NAVSTAR satellite in the global positioning system and measures the position of the vehicle in real time.
  • map data stored in the map database 12 one or more obstacle detection frames having a shape corresponding to the road structure for detecting an obstacle are set in advance at each specific point.
  • the in-vehicle camera 13 is mounted on the host vehicle and images the surroundings of the host vehicle to obtain a surrounding image.
  • the arithmetic circuit 17a analyzes the surrounding image and determines the presence and position of an obstacle.
  • the laser sensor 14 detects the distance and direction from the own vehicle to the obstacle by emitting a pulsed laser and detecting reflected light from the obstacle.
  • the arithmetic circuit 17a includes, as a plurality of arithmetic processing units, a scene understanding unit 21 that calculates a degree of risk and determines a driving support method, and a driving support unit 22 that executes the determined driving support.
  • the scene understanding unit 21 includes a map acquisition unit 23, a route calculation unit 24, a detection frame selection unit 25, an obstacle determination unit 26, a risk level calculation unit 27, a blind spot superimposition determination unit 28, and an encoding processing unit. 29 and a risk data acquisition unit 30.
  • the driving support unit 22 performs driving support according to the behavior of the own vehicle (driving support method) determined by the scene understanding unit 21.
  • the driving support device 1a may be an automatic driving control in which all driving operations including a steering operation and a pedal operation are independently performed by driving various actuators.
  • the driving operation to be performed by the driver may be instructed, suggested, or implied through the five senses such as the driver's hearing, sight, and touch.
  • the route calculation unit 24 calculates the planned travel route from the current position of the vehicle measured by the GPS 11 to the destination accepted by the operation unit 15.
  • the driving support device 1a or the scene understanding device has a function of calculating a planned travel route.
  • the driving support device 1a or the scene understanding device may acquire the scheduled travel route calculated by another device from the outside.
  • the map acquisition unit 23 acquires map data related to the planned travel route from the map database 12.
  • the map acquisition unit 23 reads a specific point on the planned travel route, and further reads an obstacle detection frame set for each specific point.
  • a digital map can be used as the map data.
  • the digital map includes curb information or road network information indicating the position of the curb 41 shown in FIG.
  • the curb information is used when calculating the travelable area of the vehicle.
  • the road network information is used to obtain an area where the vehicle can travel at the next time.
  • the digital map also includes information on an obstacle detection frame having a shape corresponding to the road structure.
  • map database 12 is mounted in a vehicle, it is not restricted to this, You may memorize
  • map acquisition part 23 should just acquire map data from the vehicle outside via a network. The same applies to the risk database 16.
  • the obstacle detection frame may be set on the map database 12 from the beginning.
  • a plurality of obstacle detection frames 42 having a shape corresponding to the road structure is set at one specific point (for example, a three-way road). Obstacle detection frames 42 are set at the entrance and exit of the intersection, the interior of the intersection, the pedestrian crossing and the sidewalk adjacent thereto. Inside the intersection, an obstacle detection frame 42 is set for each course that goes straight or turns right or left at the intersection.
  • a merge point from the merge lane 43 (including the branch line) to the main line 44 as shown in FIGS. 5 (a) and 5 (b).
  • a pedestrian crossing 45 as shown in FIGS. 5 (c) and 5 (d).
  • a plurality of obstacle detection frames 42 are set in advance before the intersection (scene entrance), at the intersection (inside the scene), and after the intersection (scene exit).
  • the obstacle determination unit 26 determines whether there is an obstacle in the obstacle detection frame at a specific point on the planned travel route. The obstacle determination unit 26 determines whether or not the position of the obstacle detected by the in-vehicle camera 13 and the laser sensor 14 is inside the obstacle detection frame.
  • the risk level calculation unit 27 calculates the risk level of a specific point based on the determination result of the presence or absence of an obstacle. Although the example of the specific calculation method of a risk level is mentioned later, it is not limited to these, You may use a known method (for example, method of patent document 1) suitably.
  • the scene understanding unit 21 obtains a travel area where the vehicle will run from curbstone information or road network information.
  • the obstacle detection frame set at the specific point is read. Obstacles are detected using an external sensing device (on-vehicle camera 13 and laser sensor 14) mounted on the vehicle. It is determined whether or not the detected obstacle is included in the obstacle detection frame. When there is an obstacle in a predetermined obstacle detection frame at the specific point, it is determined that the specific point is dangerous.
  • the risk level may be set for each obstacle detection frame, and the risk level may be changed for each obstacle detection frame. In other words, different weights may be assigned to each obstacle detection frame when calculating the risk level.
  • the scene understanding unit 21 calculates the risk of a specific point based on the presence or absence of an obstacle in the obstacle detection frame 42 set in advance in the map data. Therefore, since an obstacle detected at a position irrelevant to the calculation of the risk level can be excluded from the processing target, an excessive increase in the calculation load is suppressed.
  • the map acquisition unit 23 acquires map data in which a gaze frame is preset at a specific point.
  • the scene understanding unit 21 further includes a blind spot superimposition determination unit 28 that determines whether or not a blind spot caused by an obstacle is superimposed on the gaze frame.
  • the degree-of-risk calculation unit 27 calculates the degree of risk at the specific point based on the determination result as to whether or not they are superimposed. Therefore, it is possible to calculate the degree of danger at a specific point on the assumption that there is an obstacle in the blind spot.
  • the gaze frame 48 is provided at a position where it is likely to become a blind spot due to the presence of other vehicles, buildings, or walls. Further, the gaze frame 48 is provided at a dangerous position when another vehicle or a person jumps out when it becomes a blind spot.
  • the position where the gaze frame 48 is provided varies depending on the route of the vehicle 46 and the approach direction to the specific point. Even if the specific point is the same and the route of the vehicle is the same, the position and number of the gaze frames may be different. For example, the number of required gaze frames changes depending on the presence or absence of a traffic light at a specific point.
  • FIG. 6A shows an example of a gaze frame 48 set on a three-way with a traffic light. If there is another vehicle at the entrance to the oncoming lane, the bike crane on the side of the other vehicle tends to be a blind spot. If there is a preceding vehicle in the intersection, the vicinity of the pedestrian crossing and the exit of the own lane tends to be a blind spot. Therefore, the gaze frame 48 is provided at these positions that are likely to be blind spots.
  • FIG. 6B shows an example of the gaze frame 48 set on a three-way road without a traffic light. It is necessary to consider in the calculation of the degree of danger a scene in which another vehicle flows in from another road that intersects the road on which the vehicle 46 travels. The opposite lane entrance of other roads is likely to become a blind spot by the preceding vehicle. Therefore, a gaze frame 48 is provided at the opposite lane entrance of another road.
  • the risk level calculation unit 27 calculates the risk level from the state quantity in which the blind spot 50 obtained from the sensor attached to the host vehicle 46 is superimposed on the gaze frame 48. For example, the risk level calculation unit 27 calculates the risk level from the ratio of the area where the blind spot and the gaze frame overlap to the area of the gaze frame 48. Alternatively, the risk level calculation unit 27 may calculate the risk level from the ratio of the gaze frame length 48 a that overlaps the blind spot to the outer periphery of the gaze frame 48. The risk level calculation unit 27 can calculate a high level of risk because the visibility is poor when these state quantities are larger than the reference value.
  • the gaze frame 48 is provided at these positions that are likely to become blind spots.
  • a plurality of gaze frames 48 are provided when the own vehicle 46 enters the main line 44 from the merge lane 43. However, the gaze frame is not provided when the host vehicle 46 simply goes straight on the main line 44 which has priority over the merge lane 43.
  • the gaze frame 48 is provided at these positions that are likely to become blind spots.
  • the risk level calculation unit 27 calculates the risk level of a specific point based on the combination of the obstacle detection frames 42 having an obstacle. Since it is not necessary to calculate the degree of danger for each of the obstacle detection frames 42, an excessive increase in calculation load can be suppressed. Further, the risk level calculation unit 27 may calculate the risk level of a specific point by adding a gaze frame 48 that overlaps the blind spot caused by the obstacle to the combination of the obstacle detection frames 42 described above.
  • a plurality of obstacle detection frames 42 and gaze frames 48 are set at one specific point.
  • the risk level calculation unit 27 determines whether or not a predetermined traffic situation can be read from a combination of a plurality of obstacle detection frames 42 in which an obstacle is detected and a gaze frame 48 that overlaps the blind spot. Only when the predetermined traffic situation can be read and understood, the danger level calculation unit 27 calculates the risk level based on the traffic situation. When the vehicle is able to read a predetermined traffic situation while traveling, it understands the environment encountered by the vehicle as a dangerous scene.
  • the risk is determined using the combination of the obstacle detection frame 42 with an obstacle and the gaze frame 48 that overlaps the blind spot, but the risk is calculated for each of the obstacle detection frame 42 and the gaze frame 48 individually.
  • the risk degree at a specific point may be calculated by summing them up.
  • FIG. 8A shows a three-way road in which eleven obstacle detection frames (R01 to R11) and two gaze frames (T01, T02) are set.
  • the host vehicle 46 makes a right turn on the three-way road as the planned travel route 51.
  • FIGS. 8B to 8E show examples of combinations of the obstacle detection frame 42 with an obstacle and the gaze frame 48 that overlaps the blind spot in the three-way road of FIG. 8A.
  • the obstacle detection frame 42 with an obstacle and the gaze frame 48 that overlaps the blind spot are hatched.
  • obstacles are detected in the obstacle detection frames (R04, R06) near the intersection entrance and exit of the opposite lane.
  • the risk degree calculation unit 27 can read the traffic situation that the oncoming lane is congested from the combination of the obstacle detection frames (R04, R06).
  • obstacles are detected in the obstacle detection frames (R02, R05, R07) inside the intersection and in the vicinity of the intersection exit of the own vehicle.
  • the risk level calculation unit 27 because there is another vehicle at the right turn ahead from the combination of the obstacle detection frames (R02, R05, R07), the other vehicle is staying in the intersection and there is a traffic jam waiting for the right turn. , Can read the traffic situation.
  • an obstacle is detected in the obstacle detection frame (R05) inside the intersection in front of the pedestrian crossing.
  • the gaze frame (T02) in the vicinity of the crosswalk at the intersection exit of the own vehicle overlaps the blind spot.
  • the risk level calculation unit 27 has a pedestrian 53 on the pedestrian crossing because of the combination of the obstacle detection frame (R05) and the gaze frame (T02), so that another vehicle is stopped in front of the pedestrian crossing, or in front of the pedestrian crossing. It is possible to read the traffic situation that the pedestrian crossing is invisible because there are obstacles.
  • an obstacle is detected in the obstacle detection frame (R05) inside the intersection of the opposite lane.
  • the gaze frame (T01) at the intersection entrance of the opposite lane overlaps the blind spot.
  • the traffic condition that the risk level calculation unit 27 cannot see the side road at the entrance of the oncoming lane because there is another vehicle in the intersection of the oncoming lane from the combination of the obstacle detection frame (R05) and the gaze frame (T01). Can be read. Thereby, the danger that the motorcycle 52 may exist on the side road of the opposite lane entrance can be determined.
  • the scene understanding device includes a risk database 16.
  • the risk database 16 encodes a combination of obstacle detection frames 42 having obstacles, and stores the relationship between the encoded combination and the risk.
  • the scene understanding unit 21 includes an encoding processing unit 29 that encodes a combination of obstacle detection frames having obstacles.
  • the risk level calculation unit 27 uses the risk level database 16 to calculate the risk level of a specific point from the combination encoded by the encoding processing unit 29. Encoding can further suppress an increase in calculation load. Of course, a gaze frame 48 superimposed on the blind spot may be added to the combination to be encoded.
  • Encoding is a means of expressing information in the degree of danger with reference to high-speed information processing using computer bit strings.
  • the result of scene understanding using the plurality of obstacle detection frames and the gaze frame described so far is used.
  • the method of associating the combination with the risk level refer to past accident cases and past incident cases (cases that do not lead to serious disasters or accidents, but are one step ahead that may not be directly connected).
  • a numerical value of past cases using this encoding technique is stored in the risk database 16.
  • the combination of the obstacle detection frame 42 with an obstacle and the gaze frame 48 superimposed on the blind spot is expressed as a set of continuous numerical values.
  • the combinations shown in FIG. 8B to FIG. 8E are encoded and associated with the risk level and stored in the risk database 16.
  • the result of encoding the combination of FIG. 8B is “0001010000000”
  • the result of encoding the combination of FIG. 8C is “010010001000”
  • the combination of FIG. 8E is “0000100100010”.
  • the risk level calculation unit 27 collates the combination of the obstacle detection frame and the gaze frame encoded by the encoding processing unit 29 with the encoded combination stored in the risk level database 16 to check the obstacle detection frame. And the degree of risk corresponding to the combination of gaze frames.
  • the obstacle determination unit 26 may detect the attribute of the obstacle in the obstacle detection frame 42 at a specific point on the planned travel route 51.
  • the encoding processing unit 29 encodes the combination of the obstacle detection frame 42 having the obstacle and the attribute of the obstacle. By considering the attribute information of the obstacle, the calculation accuracy of the risk is improved. Of course, a gaze frame 48 that overlaps the blind spot may be added to this combination.
  • the attribute information includes physical information and property information.
  • Physical information includes vehicle specifications including the weight and size of the vehicle, and the type of obstacle (pedestrian, two-wheeled vehicle, four-wheeled vehicle).
  • the characteristic information includes information on how to move, such as information on whether it is stopped or moving, and what kind of movement it is trying to make.
  • the embodiment is not limited to this.
  • a part of the obstacle detection frames 42 ′ is selected from the obstacle detection frames 42 set in advance at a specific point, and it is determined whether or not there is an obstacle for the selected obstacle detection frames 42 ′. May be.
  • the scene understanding unit 21 selects an obstacle detection frame 42 ′ determined by the planned travel route 51 from the obstacle detection frames 42 set in advance at a specific point. Is further provided.
  • the obstacle determination unit 26 determines whether there is an obstacle in the obstacle detection frame 42 selected by the detection frame selection unit 25. Thereby, increase of the calculation load of the obstacle judgment part 26 can be suppressed.
  • the detection frame selection unit 25 may select a part of the gaze frame 48 ′ determined by the planned travel route 51 from the gaze frames 48 set in advance at the specific point.
  • the blind spot superimposition determination unit 28 may determine whether or not the blind spot caused by the obstacle is superimposed on the gaze frame 48 ′ selected by the detection frame selection unit 25. Thereby, an increase in the calculation load of the blind spot superimposition determination unit 28 can be suppressed.
  • FIG. 9A to FIG. 9D show examples of the obstacle detection frame 42 ′ selected by the detection frame selection unit 25.
  • 9A is an example of a three-way with a traffic signal
  • FIG. 9B is an example of a three-way with no traffic signal
  • FIG. 9C is an example of a junction
  • FIG. 9D is a crossing. This is an example of a sidewalk.
  • FIGS. 9E and 9F show examples of the gaze frame 48 ′ selected by the detection frame selection unit 25.
  • FIG. 9E shows an example of a four-way with a traffic signal
  • FIG. 9F shows an example of a four-way with no traffic signal.
  • the selection method will be explained using a three-way crossing as an example.
  • the obstacle detection frame 42 ′ on the planned travel route 51 of the own vehicle 46 is selected.
  • the obstacle detection frame 42 ′ on the other lane that intersects the scheduled traveling route 51 of the host vehicle 46 is selected.
  • the gaze frame 48 ′ in contact with the selected obstacle detection frame 42 ′ is selected.
  • the obstacle detection frame 42 ′ and the gaze frame 48 ′ related to the movement of the host vehicle 46 can be selected.
  • the selection method described above can also be applied to other specific points such as merging points and pedestrian crossings.
  • step S01 the map acquisition unit 23 acquires map data in which one or more obstacle detection frames 42 for detecting an obstacle are set in advance at a specific point.
  • the timing for reading the obstacle detection frame 42 may be such that each time the vehicle approaches a specific point, the obstacle detection frame 42 at the specific point approached is read.
  • the route calculation unit 24 calculates the planned travel route 51 of the host vehicle 46 based on the position and destination information of the host vehicle 46.
  • step S05 the obstacle determination unit 26 acquires information on obstacles around the vehicle detected by the in-vehicle camera 13 and the laser sensor 14.
  • step S ⁇ b> 07 the obstacle determination unit 26 acquires information on the attribute of the obstacle detected by the in-vehicle camera 13 and the laser sensor 14.
  • step S11 the blind spot superimposition determining unit 28 calculates a range of blind spots caused by obstacles detected by the in-vehicle camera 13 and the laser sensor 14.
  • step S13 the scene understanding unit 21 determines whether or not the nearest specific point on the planned travel route 51 is an intersection where three or more roads gather. A procedure when the specific point is an intersection will be described. Similar procedures can be applied to other specific points.
  • step S15 the detection frame selection unit 25 selects a part of the obstacle detection frame 42 ′ and a part of the obstacle detection frame 42 and the gaze frame 48 that are set in advance at the intersection according to the planned travel route 51.
  • the gaze frame 48 ' is selected.
  • the blind spot superimposition determining unit 28 determines whether or not the blind spot caused by the obstacle is superimposed on the gaze frame 48 '.
  • the encoding processing unit 29 encodes the combination of the obstacle detection frames 42 having an obstacle.
  • the risk level calculation unit 27 reads data indicating the relationship between the encoded combination and the risk level from the risk level database 16.
  • step S21 the risk level calculation unit 27 collates the combination encoded by the encoding processing unit 29 with the data indicating the relationship between the encoded combination and the risk level, thereby determining the risk at the specific point. Calculate the degree.
  • step S ⁇ b> 23 the risk level calculation unit 27 determines a driving support method according to the calculated risk level, and outputs the driving support method to the driving support unit 22.
  • step S25 the driving support unit 22 executes driving support according to the determined support method.
  • the scene understanding device calculates the risk of a specific point based on the presence or absence of an obstacle in the obstacle detection frame 42 having a shape corresponding to the road structure preset in the map data. Therefore, since an obstacle detected at a position irrelevant to the calculation of the risk level can be excluded from the processing target, an excessive increase in the calculation load is suppressed.
  • the risk level calculation unit 27 determines the risk level of a specific point based on whether or not a gaze frame 48 to be watched by the host vehicle 46 is superimposed on the blind spot 50 generated by the obstacle 49. Is calculated. Therefore, it is possible to calculate the degree of danger at a specific point assuming that there is an obstacle in the blind spot 50.
  • the risk level calculation unit 27 calculates the risk level of the specific point based on the combination of the obstacle detection frames with obstacles. Thereby, since it is not necessary to calculate the degree of danger for each obstacle, an excessive increase in calculation load can be suppressed.
  • the risk level calculation unit 27 uses the risk level database 16 to calculate the risk level of a specific point from a combination of encoded obstacle detection frames. Encoding can further suppress an increase in calculation load.
  • the obstacle determination unit 26 detects the attribute of the obstacle in the obstacle detection frame 42 at a specific point on the planned travel route 51, and the encoding processing unit 29 detects the obstacle detection frame and the obstacle with the obstacle. Encode the attribute combination of the object. By taking into account the attributes (physical information, property information) of the obstacle, the calculation accuracy of the risk is improved.
  • the detection frame selection unit 25 selects a part of the obstacle detection frames 42 ′ determined by the planned travel route 51 from the obstacle detection frames 42 set in advance at the specific points. .
  • the obstacle determination unit 26 determines whether there is an obstacle in the obstacle detection frame 42 ′ selected by the detection frame selection unit 25. Since the obstacle determination unit 26 only needs to determine the obstacle detection frame 42 ′ selected by the detection frame selection unit 25, the increase in calculation load can be further suppressed.
  • the obstacle detection frame 42 is set at the entrance of the intersection, the exit, the inside of the intersection, and the pedestrian crossing. This suppresses an excessive increase in the computation load in calculating the risk of an intersection where three or more roads gather.
  • the structure of the driving assistance apparatus 1b containing the scene understanding apparatus concerning 1st Embodiment is demonstrated.
  • the difference from FIG. 1 is that the driving support device 1 b includes a knowledge database 17 instead of the risk database 16.
  • the knowledge database 17 stores data (knowledge tree) indicating the order of the obstacle detection frame 42 determined by the position of the vehicle at a specific point and the obstacle detection frame 42 to be noted.
  • the position of the vehicle at the specific point includes, for example, an entrance, an inside, and an exit of the specific point.
  • the order of the obstacle detection frame 42 and the obstacle detection frame 42 to be noted is determined for each of the entrance, the inside, and the exit of the specific point.
  • the order of the gaze frame 48 and the gaze frame 48 to be noted may be determined according to the position of the vehicle.
  • the arithmetic circuit 17b is different from the arithmetic circuit 17a of FIG. 2 in that a knowledge tree acquisition unit 31 is provided instead of the encoding processing unit 29 and the risk data acquisition unit 30. Other configurations are the same.
  • the knowledge tree acquisition unit 31 obtains data (knowledge tree) indicating the order of the obstacle detection frame 42 and the obstacle detection frame 42 to be noted from the knowledge database 17 corresponding to the position of the vehicle detected by the GPS 11. get.
  • the obstacle determination unit 26 sequentially determines whether there is an obstacle in the obstacle detection frame 42 based on the order of the obstacle detection frame 42 acquired from the knowledge database 17 and the obstacle detection frame 42 to be noted. to decide. Thereby, according to the position of the own vehicle in a specific point, a suitable risk level and a driving assistance method are computable.
  • the knowledge tree includes, for example, “intersection entrance information”, “intersection exit information”, “other vehicle information inside the intersection”, and “dead angle information”.
  • intersection entrance information is information indicating whether there is another vehicle near the entrance of the intersection.
  • Intersection exit information is information indicating whether there is another vehicle near the exit of the intersection.
  • More vehicle information inside the intersection is information indicating whether or not there is another vehicle inside the intersection.
  • the “blind spot information” is information indicating whether a blind spot caused by the presence of another vehicle inside the intersection hides the gaze frame 48.
  • the type of vehicle action that is, the driving support method is determined.
  • the types of actions include “stop line stop” at the entrance of the intersection, “stop at the right turn waiting area”, “stop before the pedestrian crossing”, “accelerate after driving slowly to a line of sight, or There are “stop once” and “pass the intersection within the speed limit”.
  • the knowledge tree varies depending on the location of the vehicle at the intersection. In other words, a different knowledge tree is prepared in advance for each of the cases in front of the intersection entrance, between the intersection entrance and the right turn waiting area, and between the right turn waiting area and the pedestrian crossing. 17.
  • FIG. 3 An example of a scene understanding method and a driving support method using the driving support device 1b including the scene understanding device according to the second embodiment will be described with reference to FIG.
  • the same steps as those in FIG. 3 are denoted by the same reference numerals and description thereof is omitted.
  • step S31 knowledge tree acquisition
  • step S33 risk level calculation
  • step S19 encoding / risk level data acquisition
  • step S21 risk level calculation
  • step S31 the knowledge tree acquisition unit 31 from the knowledge database 17 corresponds to the position of the vehicle detected by the GPS 11, the obstacle detection frame 42, the gaze frame 48, the obstacle detection frame 42 to be noted and the gaze.
  • Data (knowledge tree) indicating the order of the frames 48 is acquired.
  • the obstacle determination unit 26 sequentially determines whether there is an obstacle in the obstacle detection frame 42 based on the knowledge tree acquired from the knowledge database 17.
  • the risk level calculation unit 27 calculates the risk level of the specific point according to the presence or absence of an obstacle.
  • the risk calculation unit 27 determines a driving support method according to the calculated risk and outputs the driving support method to the driving support unit 22.
  • step S41 the obstacle determination unit 26 determines whether or not the position of the own vehicle detected by the GPS 11 is in front of the intersection entrance. If it is before the intersection entrance (YES in S41), the process proceeds to step S47, and the knowledge tree (intersection entrance) corresponding to the intersection entrance is executed to calculate the risk and determine the driving support method. Details of the knowledge tree (intersection entrance) will be described later with reference to FIG.
  • step S43 If it is not in front of the intersection entrance (NO in S41), the process proceeds to step S43, and it is determined whether or not the position of the vehicle is between the intersection entrance and the right turn waiting area. In the case of an affirmative determination (YES in S43), the process proceeds to step S49, where the risk level is calculated by executing the knowledge tree corresponding to the inside of the intersection (inside the intersection), and the driving support method is determined. Details of the knowledge tree (inside the intersection) will be described later with reference to FIG.
  • step S43 determines whether or not the position of the vehicle is between the right turn waiting area and the pedestrian crossing. If the determination is affirmative (YES in S45), the process proceeds to step S51, where a knowledge tree (intersection exit) corresponding to the intersection exit is executed to calculate a risk level and determine a driving support method. Details of the knowledge tree (intersection exit) will be described later with reference to FIG.
  • step S47 of FIG. 12 the detailed procedure of the knowledge tree (intersection entrance) shown in step S47 of FIG. 12 will be described.
  • the “intersection entrance information D01” described above it is determined whether there is another vehicle near the entrance of the intersection. When there is another vehicle, it is decided to stop at the stop line as the action of the own vehicle (S71). If there is no other vehicle, it is determined whether there is another vehicle near the intersection exit based on the “intersection exit information D03”. If there is another vehicle, it is determined to stop at the stop line as the action of the own vehicle (S73). If there is no other vehicle, it is determined whether there is another vehicle stopped inside the intersection based on the “inter-stop vehicle information D05”. When there is no other vehicle, it decides to move to the right turn waiting area as the action of the own vehicle (S75).
  • step S49 of FIG. 12 the detailed procedure of the knowledge tree (inside the intersection) shown in step S49 of FIG. 12 will be described.
  • the intersection exit information D03 it is determined whether there is another vehicle near the exit of the intersection.
  • step S51 of FIG. 12 a detailed procedure of the knowledge tree (intersection exit) shown in step S51 of FIG. 12 will be described.
  • the obstacle determination unit 26 refers to the knowledge database 17 and uses the knowledge tree (FIGS. 14 to 16) corresponding to the position of the vehicle to determine whether there is an obstacle in the obstacle detection frame 42 in order. Judgment. Thereby, according to the position of the own vehicle in a specific point, an appropriate degree of danger can be calculated and the action of an appropriate vehicle can be determined.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

シーン理解装置は、道路上において車両同士又は車両と人が交錯する特定地点に、障害物を検出するための１又は２以上の、道路構造に応じた形状の障害物検出枠４２が予め設定されている地図データを取得する。自車の走行予定経路５１上にある特定地点において、障害物検出枠４２に障害物が有るか否かを判断し、障害物の有無の判断結果に基づいて、特定地点の危険度を算出する。

Description

シーン理解装置
　本発明は、道路上において車両同士又は車両と人が交錯する特定地点の危険度を判断するシーン理解装置に関するものである。
　従来から、自車の周辺の潜在的な危険度を算出するための危険度算出装置が提案されている（特許文献１参照）。特許文献１では、障害物検出装置からの情報に基づいて、自車の周辺に格子状領域であるメッシュの設定を変化させ、当該メッシュの各交点あるいは個々の格子状領域におけるリスクポテンシャルを算出する。そして、この算出されたリスクポテンシャルに従って、自車の目標経路を設定している。
国際公開第２０１２／０３２６２４号
　自車周辺の格子状領域の全てにおいてリスクポテンシャルを算出しているため、多くの障害物が検出された場合には、演算負荷が増大してしまい、危険度を算出するまでの時間が長くなってしまうという問題がある。
　本発明は、上記課題に鑑みて成されたものであり、その目的は、演算負荷が過度に増大することを抑制するシーン理解装置を提供することである。
　本発明の一態様に係わるシーン理解装置は、車両同士又は車両と人が交錯する特定地点において、予め設定されている、道路構造に応じた形状の障害物検出枠に障害物が有るか否かを判断し、その判断結果に基づいて、特定地点の危険度を算出する。
図１は、第１実施形態に係わるシーン理解装置を含む運転支援装置１ａの全体構成を示すブロック図である。 図２は、演算回路１７ａにより構成される複数の演算処理部を示すブロック図である。 図３は、第１実施形態に係わるシーン理解方法を含む運転支援方法の一例を示すフローチャートである。 図４（ａ）は、三叉路における縁石４１の位置を示す縁石情報もしくは道路ネットワーク情報の例を示す平面図であり、図４（ｂ）は、三叉路に設定される障害物検出枠４２の例を示す平面図である。 図５（ａ）及び（ｂ）は、合流地点の一例、及び合流地点に設定される障害物検出枠４２の例を示す平面図であり、図５（ｃ）及び（ｄ）は、横断歩道４５の一例、及び横断歩道４５に設定される障害物検出枠４２の例を示す平面図である。 図６（ａ）は信号機がある三叉路に設定される注視枠４８の例を示す平面図であり、図６（ｂ）は信号機がない三叉路に設定される注視枠４８の例を示す平面図であり、図６（ｃ）は障害物４９によって生じる死角と注視枠４８とが重畳している様子を示す平面図である。 図７（ａ）は、合流地点に設定される注視枠４８の例を示す平面図であり、図７（ｂ）は、横断歩道に設定される注視枠４８の例を示す平面図である。 図８（ａ）は、１１個の障害物検出枠（Ｒ０１～Ｒ１１）、２個の注視枠（Ｔ０１、Ｔ０２）が設定されている三叉路を示す平面図である。図８（ｂ）～図８（ｅ）は、図８（ａ）の三叉路において、障害物がある障害物検出枠（Ｒ０１～Ｒ１１）及び死角と重畳する注視枠（Ｔ０１、Ｔ０２）の組合せの例を示す平面図である。 図９（ａ）～図９（ｄ）は、検出枠選択部２５により選択される障害物検出枠４２’の例を示す平面図であり、図９（ｅ）及び図９（ｆ）は、検出枠選択部２５により選択される注視枠４８’の例を示す平面図である。 図１０は、第２実施形態に係わるシーン理解装置を含む運転支援装置１ｂの全体構成を示すブロック図である。 図１１は、演算回路１７ｂにより構成される複数の演算処理部を示すブロック図である。 図１２は、第２実施形態に係わるシーン理解方法を含む運転支援方法の一例を示すフローチャートである。 図１３は、図１２のステップＳ３３及びステップＳ２３の詳細な手順を示すフローチャートである。 図１４は、図１３のステップＳ４７に示す知識ツリー（交差点入口）の詳細な手順を示すフローチャートである。 図１５は、図１３のステップＳ４９に示す知識ツリー（交差点内部）の詳細な手順を示すフローチャートである。 図１６は、図１３のステップＳ５１に示す知識ツリー（交差点出口）の詳細な手順を示すフローチャートである。
（第１実施形態）
　次に、図面を参照して、本発明の実施の形態を詳細に説明する。
（第１実施形態）
　図１を参照して、第１実施形態に係わるシーン理解装置を含む運転支援装置１ａの全体構成を説明する。運転支援装置１ａは、自車の走行予定経路上の特定地点において他車或いは人と交錯する危険度（シーン）に基づいて自車の行動（運転支援方法）を決定し、運転支援を実行する装置である。シーン理解装置は、危険度を算出する、すなわちシーンを理解する装置である。特定地点とは、道路上において車両同士又は車両と人が交錯する地点であって、例えば、３つ以上の道路が集まる交差点、高速道路の合流地点、横断歩道が含まれる。よって、シーン理解装置は、自車が特定地点を走行する際に、特定地点の周囲に有る他車或いは人を検出して、他車或いは人と交錯する危険度を算出する。そして、運転支援装置１ａは、自車が特定地点を安全に走行するために、危険度に基づいて自車の行動（運転支援方法）を決定し、運転支援を実行する。
　運転支援装置１ａは、ＧＰＳ１１と、地図データベース１２と、車載カメラ１３及びレーザセンサ１４と、操作部１５と、危険度データベース１６と、演算回路１７ａと、を備える。ＧＰＳ１１は、自車の現在位置を検出する自車位置検出部の一例である。地図データベース１２は、地図データを記憶する地図記憶部の一例である。車載カメラ１３及びレーザセンサ１４は、車両周囲に存在する障害物の位置を検出する障害物検出部の例である。操作部１５には、自車の乗員の指示を受け付ける部材であって、マイク、インストルメントパネルに配置されたタッチパネル、ステアリングスイッチなどが含まれる。危険度データベース１６は、障害物が有る障害物検出枠の組合せと危険度との関係を記憶する。危険度データベース１６及び障害物検出枠については後述する。
　演算回路１７ａは、障害物情報及び地図情報を用いて、危険度を算出して運転支援を実行する一連の演算処理を実行する回路であって、例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ、メモリ、入出力制御回路から成る汎用のマイクロコンピュータである。マイクロコンピュータには、一連の演算処理が記述されたコンピュータプログラムが予めインストールされ、マイクロコンピュータがコンピュータプログラムを実行することにより、マイクロコンピュータは、上記した一連の演算処理を実行するための複数の演算処理部を構成する。演算回路１７ａにより構成される複数の演算処理部については、図２を参照して後述する。
　ＧＰＳ１１は、全地球測位システムにおけるNAVSTAR衛星からの電波を受信して、自車の位置をリアルタイムに測定する。地図データベース１２に記憶されている地図データにおいて、障害物を検出するための１又は２以上の、道路構造に応じた形状の障害物検出枠が特定地点の各々に予め設定されている。車載カメラ１３は、自車に搭載され、自車周囲を撮像して周囲画像を取得する。演算回路１７ａは周囲画像を解析して障害物の有無及びその位置を判断する。レーザセンサ１４は、パルス状のレーザを射出して障害物からの反射光を検出することにより、自車から障害物までの距離及び方位を検出する。
　図２を参照して、演算回路１７ａにより構成される複数の演算処理部を説明する。演算回路１７ａは、複数の演算処理部として、危険度を算出して運転支援方法を決定するシーン理解部２１と、決定した運転支援を実行する運転支援部２２とを構成する。シーン理解部２１は、地図取得部２３と、経路演算部２４と、検出枠選択部２５と、障害物判断部２６と、危険度算出部２７と、死角重畳判断部２８と、符号化処理部２９と、危険度データ取得部３０とを備える。
　運転支援部２２は、シーン理解部２１により決定された自車の行動（運転支援方法）に従って、運転支援を実行する。具体的には、運転支援装置１ａが、各種アクチュエータを駆動することにより、ステアリング操作及びペダル操作を含む全ての運転操作を自ら主体的に行う自動運転制御であってもよい。或いは、運転者の聴覚、視覚、触覚等の五感を通じて、運転者が行うべき運転操作を指示、示唆、或いは暗示してもよい。
　経路演算部２４は、ＧＰＳ１１によって測定された自車の現在位置から操作部１５が受け付けた目的地までの走行予定経路を演算する。なお、実施形態では、運転支援装置１ａ或いはシーン理解装置が、自ら、走行予定経路を演算する機能を有する場合を説明する。しかし、運転支援装置１ａ或いはシーン理解装置は、他の装置によって演算された走行予定経路を外部から取得しても構わない。
　地図取得部２３は、地図データベース１２から、走行予定経路に係わる地図データを取得する。地図取得部２３は、走行予定経路上に有る特定地点を読み込み、更に、特定地点の各々に設定されている障害物検出枠を読み込む。地図データとして、デジタル地図を用いることができる。デジタル地図は、図４（ａ）に示す縁石４１の位置を示す縁石情報もしくは道路ネットワーク情報を備える。縁石情報は自車の走行可能領域を算出する際に利用される。道路ネットワーク情報は、自車が次の時刻で走行できる領域を求めるために利用される。更に、デジタル地図は、道路構造に応じた形状の障害物検出枠の情報も備える。
　なお、実施形態では、地図データベース１２が車両に搭載される場合を示すが、これに限らず、車両外のサーバー上に記憶されていてもよい。この場合、地図取得部２３は、ネットワークを介して車両外から地図データを取得すればよい。また、危険度データベース１６についても同様である。また、障害物検出枠は、最初から地図データベース１２上に設定されるようにしてもよい。
　図４（ｂ）に示すように、１つの特定地点（例えば、三叉路）には、道路構造に応じた形状の複数の障害物検出枠４２が設定されている。交差点の入口及び出口、交差点の内部、横断歩道及びそれに隣接する歩道部分等に、障害物検出枠４２が設定されている。交差点の内部には、交差点を直進或いは右左折する進路毎に、障害物検出枠４２が設定されている。
　車両同士が交錯する特定地点の他の例として、図５（ａ）及び図５（ｂ）に示すように、合流車線４３（支線を含む）から本線４４への合流地点がある。また、車両と人とが交錯する特定地点として、図５（ｃ）及び図５（ｄ）に示すように、横断歩道４５がある。これらの特定地点にも、交錯する前（シーン入口）、交錯する部分（シーン内部）、及び交錯した後（シーン出口）の各々に、複数の障害物検出枠４２が予め設定されている。
　障害物判断部２６は、走行予定経路上にある特定地点において、障害物検出枠に障害物が有るか否かを判断する。障害物判断部２６は、車載カメラ１３及びレーザセンサ１４によって検出された障害物の位置が、障害物検出枠の内部であるか否かを判断する。
　危険度算出部２７は、障害物の有無の判断結果に基づいて、特定地点の危険度を算出する。危険度の具体的な算出方法の例は後述するが、これらに限定されず、既知の方法（例えば、特許文献１記載の方法）を適宜用いてもかまわない。
　シーン理解部２１は、自車がこれから走る走行領域を縁石情報もしくは道路ネットワーク情報より求める。走行領域の中に特定地点が含まれる場合、特定地点に設定されている障害物検出枠を読み込む。自車に搭載された外界センシング装置（車載カメラ１３及びレーザセンサ１４）を用いて障害物を検出する。検出された障害物が障害物検出枠に含まれるかどうかを判断する。特定地点の所定の障害物検出枠に障害物がいる場合、特定地点が危険であると判断する。危険度は障害物検出枠ごとに設定してよいし、危険度は障害物検出枠ごとに変えてもよい。つまり、危険度を算出する際に、障害物検出枠毎に異なる重み付けを付してもよい。
　このように、シーン理解部２１は、地図データに予め設定された障害物検出枠４２における障害物の有無に基づいて、特定地点の危険度を算出する。よって、危険度の算出に無関係な位置で検出される障害物を処理対象から排除できるので、演算負荷が過度に増大することが抑制される。
　地図データベース１２に記憶されている地図データにおいて、障害物検出枠のみならず、障害物によって生じる死角と重畳するか否かを注視すべき注視枠が、特定地点の各々に予め設定されていてもよい。この場合、地図取得部２３は、注視枠が特定地点に予め設定されている地図データを取得する。図２に示すように、シーン理解部２１は、障害物によって生じる死角が注視枠と重畳しているか否かを判断する死角重畳判断部２８を更に備える。危険度算出部２７は、重畳しているか否かの判断結果に基づいて、特定地点の危険度を算出する。よって、死角に障害物が存在することを想定して特定地点の危険度を算出することができる。
　注視枠４８は、他車、建築物或いは壁の存在によって死角になり易い位置に設けられる。注視枠４８は、更に、死角になったときに他車や人の飛び出しがあると危険な位置に設けられる。注視枠４８を設ける位置は、自車４６の経路や特定地点への進入方向に応じて異なる。特定地点が同じ、且つ、自車の経路が同じであっても、注視枠の位置と数は異なる場合がある。例えば、特定地点における信号機の有無に応じて、必要な注視枠の数は変化する。
　図６（ａ）は、信号機がある三叉路に設定される注視枠４８の例を示す。対向車線の入口に他車がいると、他車の脇にあるバイクレーンが死角になり易い。交差点内に先行車がいると横断歩道や自車線の出口付近が死角になり易い。よって、死角になり易いこれらの位置に注視枠４８を設ける。
　図６（ｂ）は、信号機がない三叉路に設定される注視枠４８の例を示す。自車４６が走行する道路に交わる他の道路から他車が流入するシーンを、危険度の演算において考慮する必要がある。他の道路の対向車線入口が先行車によって死角になり易い。よって、他の道路の対向車線入口に注視枠４８を設ける。
　危険度算出部２７は、自車４６にとりつけたセンサより求まる死角５０が注視枠４８に重畳している状態量から危険度を算出する。例えば、危険度算出部２７は、注視枠４８の面積に対して、死角と注視枠が重畳する面積が占める割合から危険度を算出する。或いは、危険度算出部２７は、注視枠４８の外周に対して、死角と重畳する注視枠の長さ４８ａが占める割合から危険度を算出してもよい。危険度算出部２７は、これらの状態量が基準値よりも大きい場合に、見通しが悪いので高い危険度を算出することができる。
　図７（ａ）に示すように、合流地点において、合流車線４３と本線４４の間に壁がある場合、その裏側は死角になり易い。また、合流車線４３から本線４４に車線変更している先行車がいる場合、合流後の本線４４付近が死角になり易い。よって、死角に成りやすいこれらの位置に、注視枠４８を設ける。なお、自車４６が合流車線４３から本線４４に進入するときは複数の注視枠４８を設ける。しかし、自車４６が合流車線４３よりも優先される本線４４を直進するだけの場合は注視枠を設けない。
　図７（ｂ）に示すように、横断歩道において、先行車がいる場合、横断歩道の脇が死角になり易い。また、横断歩道を人が横断している場合、横断歩道の奥側が死角になり易い。よって、死角に成りやすいこれらの位置に、注視枠４８を設ける。
　第１実施形態において、危険度算出部２７は、障害物が有る障害物検出枠４２の組合せに基づいて、特定地点の危険度を算出する。障害物検出枠４２の各々について危険度を算出する必要がないので、演算負荷の過度な増大を抑制することができる。更に、危険度算出部２７は、障害物により生じる死角と重畳する注視枠４８を、上記した障害物検出枠４２の組合せに追加して、特定地点の危険度を算出しても構わない。
　上記したように、１つの特定地点には複数の障害物検出枠４２や注視枠４８が設定されている。危険度算出部２７は、障害物が検出された複数の障害物検出枠４２及び死角と重畳する注視枠４８の組合せから、予め定めた交通状況を読み解くことができるか否かを判断する。予め定めた交通状況を読み解くことができる場合に限り、危険度算出部２７は、交通状況に基づく危険度を算出する。自車が走行中に予め定めた交通状況を読み解けた場合、自車が遭遇した環境を危険なシーンとして理解する。
　ここでは、障害物がある障害物検出枠４２及び死角と重畳する注視枠４８の組合せを用いて危険度を判断するが、障害物検出枠４２及び注視枠４８の各々について個別に危険度を算出し、これらを集計して、特定地点の危険度を算出しても構わない。
　図８（ａ）は、１１個の障害物検出枠（Ｒ０１～Ｒ１１）、２個の注視枠（Ｔ０１、Ｔ０２）が設定されている三叉路を示す。自車４６は、走行予定経路５１として、三叉路を右折する。図８（ｂ）～図８（ｅ）は、図８（ａ）の三叉路において、障害物がある障害物検出枠４２及び死角と重畳する注視枠４８の組合せの例を示す。障害物がある障害物検出枠４２及び死角と重畳する注視枠４８にハッチングを付している。図８（ｂ）の例では、対向車線の交差点入口及び出口付近の障害物検出枠（Ｒ０４、Ｒ０６）で障害物が検出されている。危険度算出部２７は、障害物検出枠（Ｒ０４、Ｒ０６）の組合せから、対向車線が渋滞している、という交通状況を読み取ることができる。図８（ｃ）の例では、交差点内部及び自車の交差点出口付近の障害物検出枠（Ｒ０２、Ｒ０５、Ｒ０７）で障害物が検出されている。危険度算出部２７は、障害物検出枠（Ｒ０２、Ｒ０５、Ｒ０７）の組合せから、右折先に他車がいるために、交差点内に他車が滞留しており、右折待ち渋滞が起こっている、という交通状況を読み取ることができる。
　図８（ｄ）の例では、横断歩道手前の交差点内部にある障害物検出枠（Ｒ０５）で障害物が検出されている。そして、自車の交差点出口の横断歩道付近にある注視枠（Ｔ０２）が死角と重複している。危険度算出部２７は、障害物検出枠（Ｒ０５）と注視枠（Ｔ０２）の組合せから、横断歩道に歩行者５３がいるので横断歩道手前で他車が停止している、或いは、横断歩道手前に障害物がいるために横断歩道が見えない、という交通状況を読み取ることができる。
　図８（ｅ）の例では、対向車線の交差点内部にある障害物検出枠（Ｒ０５）で障害物が検出されている。そして、対向車線の交差点入口にある注視枠（Ｔ０１）が死角と重複している。危険度算出部２７は、障害物検出枠（Ｒ０５）と注視枠（Ｔ０１）の組合せから、対向車線の交差点内に他車がいるために、対向車線入口の側道が見えない、という交通状況を読み取ることができる。これにより、対向車線入口の側道にバイク５２がいるかもしれない、という危険性を判断することができる。
　図１に示したように、第１実施形態に係わるシーン理解装置は、危険度データベース１６を備える。危険度データベース１６は、障害物が有る障害物検出枠４２の組合せが符号化され、符号化された組合せと危険度との関係を記憶している。シーン理解部２１は、障害物が有る障害物検出枠の組合せを符号化する符号化処理部２９を備える。危険度算出部２７は、危険度データベース１６を用いて、符号化処理部２９により符号化された組合せから、特定地点の危険度を算出する。符号化により更に演算負荷の増大を抑制することができる。なお、符号化する組合せに、死角に重畳する注視枠４８を追加してももちろん構わない。
　符号化とは、コンピュータのビット列による高速情報処理を参考にした、危険度における情報表現の一手段である。符号化には、これまでに述べた複数の障害物検出枠と注視枠によるシーン理解の結果を用いる。組合せと危険度との関連付け方には、過去の事故事例や過去のインシデント事例（重大な災害や事故には至らないものの、直結してもおかしくない一歩手前の事例）を参考にする。本符号化技術を用いて過去事例を数値化したものを危険度データベース１６に蓄える。
　例えば、障害物が有る障害物検出枠４２と死角に重畳する注視枠４８の組合せを、１組の連続した数値として表現する。図８（ｂ）～図８（ｅ）に示す組合せは符号化され、且つ危険度と関連付けされて、危険度データベース１６に記憶されている。図８（ｂ）の組合せを符号化した結果は「0001010000000」であり、図８（ｃ）の組合せを符号化した結果は「010010001000」であり、図８（ｄ）の組合せを符号化した結果は「0000100100001」であり、図８（ｅ）の組合せは「0000100100010」である。
　危険度算出部２７は、符号化処理部２９により符号化された障害物検出枠及び注視枠の組合せと、危険度データベース１６に記憶された符号化された組合せとを照合し、障害物検出枠及び注視枠の組合せに対応する危険度を算出する。
　更に、符号化にて表現できる値を広げるために、障害物と死角の有無だけでなく、障害物そのものの属性情報も数値として表現してもよい。障害物判断部２６は、走行予定経路５１上にある特定地点において、障害物検出枠４２に有る障害物の属性を検出してもよい。符号化処理部２９は、障害物が有る障害物検出枠４２及び障害物の属性の組合せを符号化する。障害物の属性情報を考慮することにより、危険度の算出精度が向上する。もちろん、この組合せに、死角と重畳する注視枠４８を追加しても構わない。
　障害物の属性を数値として表現する方法として、０と１の２ビット表現で符号化し、組合せを表現するビット列を増やせばよい。属性情報には、物理的な情報と性質的な情報が含まれる。物理的な情報としては、車両の重量及び大きさを含む車両仕様、及び、障害物の種類（歩行者、二輪車、四輪車）が挙げられる。性質的な情報としては、止まっているか又は動いているかの情報、更に、どの様な動きをしようとしているか、などの動き方の情報が挙げられる。
　第１実施形態では、図４～図７に示したように、特定地点に予め設定された全ての障害物検出枠４２及び注視枠４８を用いて危険度を算出する例を示した。しかし、実施形態は、これに限られない。例えば、特定地点に予め設定された障害物検出枠４２の中から一部の障害物検出枠４２’を選択し、選択された障害物検出枠４２’について、障害物が有るか否かを判断してもよい。
　図２に示すように、シーン理解部２１は、特定地点に予め設定されている障害物検出枠４２の中から、走行予定経路５１によって定まる障害物検出枠４２’を選択する検出枠選択部２５を更に備える。障害物判断部２６は、検出枠選択部２５により選択された障害物検出枠４２に障害物が有るか否かを判断する。これにより、障害物判断部２６の演算負荷の増大を抑制することができる。
　更に、検出枠選択部２５は、特定地点に予め設定されている注視枠４８の中から、走行予定経路５１によって定まる一部の注視枠４８’を選択してもよい。この場合、死角重畳判断部２８は、検出枠選択部２５により選択された注視枠４８’に、障害物によって生じる死角が重畳しているか否かを判断すればよい。れにより、死角重畳判断部２８の演算負荷の増大を抑制することができる。
　図９（ａ）～図９（ｄ）は、検出枠選択部２５により選択される障害物検出枠４２’の例を示す。図９（ａ）は信号機がある三叉路の例であり、図９（ｂ）は信号機がない三叉路の例であり、図９（ｃ）は合流地点の例であり、図９（ｄ）は横断歩道の例である。図９（ｅ）及び図９（ｆ）は、検出枠選択部２５により選択される注視枠４８’の例を示す。図９（ｅ）は信号機がある四叉路の例であり、図９（ｆ）は信号機がない四叉路の例である。
　選択の方法を、三叉路を例に取って説明する。まず、自車４６の走行予定経路５１上にある障害物検出枠４２’を選択する。自車４６の走行予定経路５１と交差する他車線上にある障害物検出枠４２’を選択する。そして、選択された障害物検出枠４２’に接する注視枠４８’を選択する。これによって、自車４６の動きに関係する障害物検出枠４２’及び注視枠４８’を選択することができる。上記した選択の方法は、合流地点や横断歩道などの他の特定地点にも適用できる。
　図３を参照して、第１実施形態に係わるシーン理解装置を含む運転支援装置１ａを用いたシーン理解方法及び運転支援方法の一例を説明する。
　ステップＳ０１において、地図取得部２３は、障害物を検出するための１又は２以上の障害物検出枠４２が特定地点に予め設定されている地図データを取得する。なお、障害物検出枠４２を読み込むタイミングは、車両が特定地点に近づいたときに、その都度、近づいた特定地点における障害物検出枠４２を読み込むようにしてもよい。ステップＳ０３に進み、経路演算部２４は、自車４６の位置及び目的地の情報に基づいて、自車４６の走行予定経路５１を演算する。ステップＳ０５において、障害物判断部２６は、車載カメラ１３及びレーザセンサ１４によって検出された、車両周囲にある障害物の情報を取得する。ステップＳ０７において、障害物判断部２６は、車載カメラ１３及びレーザセンサ１４によって検出された、障害物の属性の情報を取得する。
　ステップＳ１１に進み、死角重畳判断部２８は、車載カメラ１３及びレーザセンサ１４により検出された障害物によって生じる死角の範囲を演算する。ステップＳ１３に進み、シーン理解部２１は、走行予定経路５１上にある最寄りの特定地点が、３以上の道路が集まる交差点であるか否かを判断する。特定地点が交差点である場合の手順を説明する。その他の特定地点であっても、同様な手順を適用可能である。
　ステップＳ１５に進み、検出枠選択部２５は、交差点に予め設定されている障害物検出枠４２及び注視枠４８の中から、走行予定経路５１によって定まる一部の障害物検出枠４２’及び一部の注視枠４８’を選択する。ステップＳ１７に進み、死角重畳判断部２８は、障害物によって生じる死角が注視枠４８’と重畳しているか否かを判断する。ステップＳ１９に進み、符号化処理部２９は、障害物が有る障害物検出枠４２の組合せを符号化する。そして、危険度算出部２７は、危険度データベース１６から、符号化された組合せと危険度との関係を示すデータを読み出す。
　ステップＳ２１に進み、危険度算出部２７は、符号化処理部２９により符号化された組合せと、符号化された組合せと危険度との関係を示すデータとを照合することにより、特定地点の危険度を算出する。危険度算出部２７は、ステップＳ２３において、算出された危険度に応じて運転支援方法を決定し、運転支援部２２へ出力する。ステップＳ２５に進み、運転支援部２２は、決定された支援方法に従って、運転支援を実行する。
　以上説明したように、本発明の第１実施形態によれば、以下の作用効果が得られる。
　シーン理解装置は、地図データに予め設定された、道路構造に応じた形状の障害物検出枠４２における障害物の有無に基づいて、特定地点の危険度を算出する。よって、危険度の算出に無関係な位置で検出される障害物を処理対象から排除できるので、演算負荷が過度に増大することが抑制される。
　図６に示したように、危険度算出部２７は、障害物４９によって生じる死角５０に、自車４６が注視すべき注視枠４８が重畳しているか否かに基づいて、特定地点の危険度を算出する。よって、死角５０に障害物が存在することを想定して特定地点の危険度を算出することができる。
　危険度算出部２７は、障害物が有る障害物検出枠の組合せに基づいて、特定地点の危険度を算出する。これにより、障害物の各々について危険度を算出する必要がないので、演算負荷の過度な増大を抑制することができる。
　危険度算出部２７は、危険度データベース１６を用いて、符号化された障害物検出枠の組合せから、特定地点の危険度を算出する。符号化により更に演算負荷の増大を抑制することができる。
　障害物判断部２６は、走行予定経路５１上にある特定地点において、障害物検出枠４２に有る障害物の属性を検出し、符号化処理部２９は、障害物が有る障害物検出枠及び障害物の属性の組合せを符号化する。障害物の属性（物理的な情報、性質的な情報）を考慮することにより、危険度の算出精度が向上する。
　図９に示したように、検出枠選択部２５は、特定地点に予め設定されている障害物検出枠４２の中から、走行予定経路５１によって定まる一部の障害物検出枠４２’を選択する。障害物判断部２６は、検出枠選択部２５により選択された障害物検出枠４２’に障害物が有るか否かを判断する。障害物判断部２６は、検出枠選択部２５により選択された障害物検出枠４２’だけを判断対象とすればよいので、更に演算負荷の増大を抑制することができる。
　特定地点が３以上の道路が集まる交差点である場合、障害物検出枠４２は、交差点の入口、出口、交差点の内部、及び横断歩道に設定される。これにより、３以上の道路が集まる交差点の危険度算出において、演算負荷が過度に増大することが抑制される。
（第２実施形態）
　図１０及び図１１を参照して、第１実施形態に係わるシーン理解装置を含む運転支援装置１ｂの構成を説明する。図１との相違は、運転支援装置１ｂが、危険度データベース１６の代わりに知識データベース１７を備えている点である。知識データベース１７には、特定地点における自車の位置によって定まる障害物検出枠４２、及び注意すべき障害物検出枠４２の順番を示すデータ（知識ツリー）が記憶されている。特定地点における自車の位置には、例えば、特定地点の入口、内部及び出口が含まれる。特定地点の入口、内部及び出口の各々に対して、障害物検出枠４２、及び注意すべき障害物検出枠４２の順番が定めされている。もちろん、知識ツリーには、自車の位置に対応して、注視枠４８及び注意すべき注視枠４８の順番が定めされていてもよい。
　図１１を参照して、演算回路１７ｂにより構成される複数の演算処理部を説明する。演算回路１７ｂは、図２の演算回路１７ａと比べて、符号化処理部２９及び危険度データ取得部３０の代わりに、知識ツリー取得部３１を備える点で相違する。その他の構成は同じである。知識ツリー取得部３１は、知識データベース１７から、ＧＰＳ１１により検出された自車の位置に対応する、障害物検出枠４２、及び注意すべき障害物検出枠４２の順番を示すデータ（知識ツリー）を取得する。障害物判断部２６は、知識データベース１７から取得した障害物検出枠４２、及び注意すべき障害物検出枠４２の順番に基づいて、障害物検出枠４２に障害物が有るか否かを順番に判断する。これにより、特定地点における自車の位置に応じて、適切な危険度及び運転支援方法を算出することができる。
　交差点を例にとり、知識ツリーを用いた危険度（運転支援方法）の算出方法を説明する。知識ツリーでは、交差点内で注意すべき領域（障害物検出枠４２及び注視枠４８）、及び複数の領域に対する注意すべき順序を設定する。知識ツリーは、例えば、「交差点入口情報」、「交差点出口情報」、「交差点内部の他車情報」、及び「死角情報」からなる。
　具体的には、「交差点入口情報」は、交差点の入口付近に他車がいるか否かを示す情報である。「交差点出口情報」は、交差点の出口付近に他車がいるか否かを示す情報である。「交差点内部の他車情報」は、交差点内部に他車がいるか否かを示す情報である。「死角情報」は、交差点内部の他車の存在により生じる死角が注視枠４８を隠しているか否かを示す情報である。
　これらの情報を、所定の順番によって取得することにより車両の行動の種類、つまり運転支援方法を決める。行動の種類には、交差点入口における「停止線停止」、「右折待ち領域で停止」、「横断歩道の手前にて停止」、「徐行して見通しのよい位置まで走行してから加速、もしくは、一旦停止」、「制限車速内で交差点通過」がある。知識ツリーを用いることにより、いずれかの速度制御の支援方法を決めることができる。
　知識ツリーは、交差点における自車の位置に応じて異なる。つまり、交差点入口の手前にいる場合、交差点入口から右折待ち領域までの間にいる場合、右折待ち領域から横断歩道手前までの間にいる場合の各々について、異なる知識ツリーが予め用意され、知識データベース１７に格納されている。
　図１２を参照して、第２実施形態に係わるシーン理解装置を含む運転支援装置１ｂを用いたシーン理解方法及び運転支援方法の一例を説明する。図３と同じステップには、同じ符号を付して説明を省略する。
　図１２のフローチャートは、図３に比べて、ステップＳ１９（符号化・危険度データ取得）、ステップＳ２１（危険度算出）の代わりに、ステップＳ３１（知識ツリー取得）、ステップＳ３３（危険度算出）を備える点で相違する。その他のステップは図３と同じである。
　ステップＳ３１において、知識ツリー取得部３１は、知識データベース１７から、ＧＰＳ１１により検出された自車の位置に対応する、障害物検出枠４２、注視枠４８、及び注意すべき障害物検出枠４２及び注視枠４８の順番を示すデータ（知識ツリー）を取得する。
　ステップＳ３３に進み、障害物判断部２６は、知識データベース１７から取得した知識ツリーに基づいて、障害物検出枠４２に障害物が有るか否かを順番に判断する。危険度算出部２７は、障害物の有無に応じて、特定地点の危険度を算出する。ステップＳ２３に進み、危険度算出部２７は、算出された危険度に応じて運転支援方法を決定し、運転支援部２２へ出力する。
　図１３を参照して、ステップＳ３３及びステップＳ２３を詳細に説明する。ステップＳ４１において、障害物判断部２６は、ＧＰＳ１１により検出された自車の位置が、交差点入口の手前であるか否かを判断する。交差点入口の手前である場合（Ｓ４１でＹＥＳ）、ステップＳ４７に進み、交差点入口に対応する知識ツリー（交差点入口）を実行することにより、危険度を算出し、運転支援方法を決定する。知識ツリー（交差点入口）の詳細は、図１４を参照して後述する。
　交差点入口の手前でない場合（Ｓ４１でＮＯ）、ステップＳ４３に進み、自車の位置が、交差点入口から右折待ち領域までの間であるか否かを判断する。肯定的判断の場合（Ｓ４３でＹＥＳ）、ステップＳ４９に進み、交差点内部に対応する知識ツリー（交差点内部）を実行することにより、危険度を算出し、運転支援方法を決定する。知識ツリー（交差点内部）の詳細は、図１５を参照して後述する。
　否定的判断の場合（Ｓ４３でＮＯ）、ステップＳ４５に進み、自車の位置が、右折待ち領域から横断歩道手前までの間であるか否かを判断する。肯定的判断の場合（Ｓ４５でＹＥＳ）、ステップＳ５１に進み、交差点出口に対応する知識ツリー（交差点出口）を実行することにより、危険度を算出し、運転支援方法を決定する。知識ツリー（交差点出口）の詳細は、図１６を参照して後述する。
　図１４を参照して、図１２のステップＳ４７に示す知識ツリー（交差点入口）の詳細な手順を説明する。上記した「交差点入口情報Ｄ０１」に基づき、交差点の入口付近に他車がいるか否かを判断する。他車がいる場合、自車の行動として、停止線で停車することを決定する（Ｓ７１）。他車がいない場合、「交差点出口情報Ｄ０３」に基づき、交差点の出口付近に他車がいるか否かを判断する。他車がいる場合、自車の行動として、停止線で停車することを決定する（Ｓ７３）。他車がいない場合、「交差点内停止車両情報Ｄ０５」に基づき、交差点内部に停止している他車がいるか否かを判断する。他車がいない場合、自車の行動として、右折待ち領域まで移動することを決定する（Ｓ７５）。
　他車がいる場合、「停止車両位置情報Ｄ０７」に基づき、他車が右折待ち領域にいるのか、対向車線入口付近にいるのか、を判断する。他車が右折待ち領域にいる場合において、対向車線入口に他車による死角が形成される場合、自車の行動として、右折待ち領域まで移動することを決定する（Ｓ８１）。他車が右折待ち領域にいる場合において、他車の後方に死角が形成される場合、自車の行動として、徐行して停止することを決定する（Ｓ７９）。他車が対向車線入口付近にいる場合において、他車の後方に死角が形成される場合、自車の行動として、徐行して停止することを決定する（Ｓ７９）。他車が対向車線入口付近にいる場合において、対向車線入口の側道に死角が形成される場合、自車の行動として、右折待ち領域まで移動することを決定する（Ｓ７７）。
　図１５を参照して、図１２のステップＳ４９に示す知識ツリー（交差点内部）の詳細な手順を説明する。上記した「交差点出口情報Ｄ０３」に基づき、交差点の出口付近に他車がいるか否かを判断する。他車がいる場合、自車の行動として、右折待ち領域で停車することを決定する（Ｓ８３）。他車がいない場合、「対向車線入口情報Ｄ２７」に基づき、対向車線の入口付近に他車がいるか否かを判断する。他車がいる場合、「死角情報Ｄ１３」に基づき、他車の後方に見通せるか否かを判断する。他車の後方に見通せる場合、自車の行動として、衝突を回避するための制御を行うことを決定する（Ｓ８７）。他車の後方を見通せない場合、自車の行動として、右折待ち領域で停車することを決定する（Ｓ８５）。
　対向車線の入口付近に他車がいない場合、「巻き込み情報Ｄ１５」を参照して、自車後方の内側から、右折する二輪車がいるか否かを判断する。二輪車がいない場合、自車の行動として、横断歩道手前まで移動することを決定する（Ｓ８９）。二輪車がいる場合、「死角情報Ｄ１７」に基づき、二輪車の手前が見通せるか否かを判断する。二輪車の手前が見通せる場合、自車の行動として、二輪車を先に通過させてから、横断歩道手前まで移動することを決定する（Ｓ９３）。二輪車の手前が見通せない場合、自車の行動として、右折待ち領域で停車することを決定する（Ｓ９１）。
　図１６を参照して、図１２のステップＳ５１に示す知識ツリー（交差点出口）の詳細な手順を説明する。「対向車線左折情報Ｄ１９」または「交差点巻き込み情報Ｄ２１」に基づき、対向車線で交差点を左折する他車、或いは、自車後方の内側から交差点を右折する二輪車（他車）がいるか否かを判断する。他車がいる場合、自車の行動として、徐行しながら他車を先行させることを決定する（Ｓ９５）。他車がいない場合、「横断歩道情報Ｄ２３」に基づき、横断歩道に人がいるか否かを判断する。人がいる場合、自車の行動として、横断歩道の手前で停車することを決定する（Ｓ９７）。人がいない場合、「横断歩道出入口情報Ｄ２５」に基づき、横断歩道の周囲に人がいるか否かを判断する。周囲に人がいる場合、自車の行動として、１秒長く停止した後、人が動いていなければ、横断歩道を通過することを決定する（Ｓ１０１）。周囲に人がいない場合、自車の行動として、横断歩道を通過することを決定する（Ｓ９９）。
　以上説明したように、第２実施形態によれば、以下の作用効果が得られる。
　障害物判断部２６は、知識データベース１７を参照して、自車の位置に対応する知識ツリー（図１４～図１６）を用いて、障害物検出枠４２に障害物が有るか否かを順番に判断する。これにより、特定地点における自車の位置に応じて、適切な危険度を算出し、適切な車両の行動を決定することができる。
　上記のように、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。
１ａ、１ｂ　運転支援装置
２　障害物検出枠
１２　地図データベース
１６　危険度データベース
１７　知識データベース
２１　シーン理解部（シーン理解装置）
２３　地図取得部
２４　経路演算部（経路取得部）
２５　検出枠選択部
２６　障害物判断部
２７　危険度算出部
２８　死角重畳判断部
２９　符号化処理部
３０　危険度データ取得部
３１　知識ツリー取得部
４２、４２’　障害物検出枠
４８、４８’　注視枠
４９　障害物
５０　死角
５１　自車
５１　走行予定経路
５２　バイク（障害物）
５３　歩行者（障害物）

Claims (8)

  1. 　道路上において車両同士又は車両と人が交錯する特定地点の危険度を判断するシーン理解装置であって、
    　障害物を検出するための１又は２以上の、道路構造に応じた形状の障害物検出枠が前記特定地点に予め設定されている地図データを取得する地図取得部と、
    　自車の走行予定経路を示す経路データを取得する経路取得部と、
    　前記走行予定経路上にある前記特定地点において、前記障害物検出枠に障害物が有るか否かを判断する障害物判断部と、
    　前記障害物の有無の判断結果に基づいて、前記特定地点の危険度を算出する危険度算出部と、
    を備えることを特徴とするシーン理解装置。
  2. 　前記地図取得部は、前記障害物によって生じる死角と重畳するか否かを注視すべき注視枠が、前記特定地点に予め設定されている前記地図データを取得し、
    　前記シーン理解装置は、前記障害物によって生じる死角が前記注視枠と重畳しているか否かを判断する死角重畳判断部を更に備え、
    　前記危険度算出部は、前記重畳しているか否かの判断結果に基づいて、前記特定地点の危険度を算出する
    ことを特徴とする請求項１に記載のシーン理解装置。
  3. 　前記特定地点には複数の前記障害物検出枠が設定され、
    　前記危険度算出部は、前記障害物が有る前記障害物検出枠の組合せに基づいて、前記特定地点の危険度を算出する
    ことを特徴とする請求項１又は２に記載のシーン理解装置。
  4. 　前記障害物が有る前記障害物検出枠の組合せが符号化され、前記符号化された前記組合せと前記危険度との関係を記憶する危険度データベースと、
    　前記障害物が有る前記障害物検出枠の組合せを符号化する符号化処理部と、を備え、
    　前記危険度算出部は、前記危険度データベースを用いて、前記符号化された組合せから、前記特定地点の危険度を算出する
    ことを特徴とする請求項３に記載のシーン理解装置。
  5. 　前記障害物判断部は、前記走行予定経路上にある前記特定地点において、前記障害物検出枠に有る障害物の属性を検出し、
    　前記符号化処理部は、前記障害物が有る前記障害物検出枠及び前記障害物の属性の組合せを符号化する
    ことを特徴とする請求項４に記載のシーン理解装置。
  6. 　前記特定地点に予め設定されている前記障害物検出枠の中から、前記走行予定経路によって定まる障害物検出枠を選択する検出枠選択部をさらに備え、
    　前記障害物判断部は、前記検出枠選択部により選択された前記障害物検出枠に障害物が有るか否かを判断する
    ことを特徴とする請求項１～５のいずれか一項に記載のシーン理解装置。
  7. 　前記特定地点における自車の位置によって定まる障害物検出枠、及び注意すべき前記障害物検出枠の順番を記憶する知識データベースと、
    　自車の位置を検出する自車位置検出部と、を更に備え、
    　前記障害物判断部は、前記知識データベースを参照して、自車の位置に基づいて、前記障害物検出枠に障害物が有るか否かを順番に判断する
    ことを特徴とする請求項１、２及び６のいずれか一項に記載のシーン理解装置。
  8. 　前記特定地点は、３以上の道路が集まる交差点であって、
    　前記障害物検出枠は、前記交差点の入口、出口、交差点の内部、及び横断歩道に設定される
    ことを特徴とする請求項１～７のいずれか一項に記載のシーン理解装置。
PCT/JP2015/062405 2015-04-23 2015-04-23 シーン理解装置 WO2016170646A1 (ja)

Priority Applications (11)

Application Number Priority Date Filing Date Title
EP15889885.8A EP3288004B1 (en) 2015-04-23 2015-04-23 Scene ascertainment device
CA2983680A CA2983680C (en) 2015-04-23 2015-04-23 Scene understanding device
PCT/JP2015/062405 WO2016170646A1 (ja) 2015-04-23 2015-04-23 シーン理解装置
RU2017140629A RU2675767C1 (ru) 2015-04-23 2015-04-23 Устройство для определения степени риска столкновения с препятсвием
KR1020197008488A KR20190034360A (ko) 2015-04-23 2015-04-23 씬 이해 장치
MX2017013367A MX369189B (es) 2015-04-23 2015-04-23 Dispositivo de entendimiento de escena.
US15/568,302 US10262215B2 (en) 2015-04-23 2015-04-23 Scene understanding device
JP2017513907A JP6432677B2 (ja) 2015-04-23 2015-04-23 シーン理解装置
CN201580079070.3A CN107533804B (zh) 2015-04-23 2015-04-23 情形理解装置
BR112017022816-5A BR112017022816A2 (ja) 2015-04-23 2015-04-23 Scene understanding device
KR1020177032303A KR20170134713A (ko) 2015-04-23 2015-04-23 씬 이해 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/062405 WO2016170646A1 (ja) 2015-04-23 2015-04-23 シーン理解装置

Publications (1)

Publication Number Publication Date
WO2016170646A1 true WO2016170646A1 (ja) 2016-10-27

Family

ID=57143065

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/062405 WO2016170646A1 (ja) 2015-04-23 2015-04-23 シーン理解装置

Country Status (10)

Country Link
US (1) US10262215B2 (ja)
EP (1) EP3288004B1 (ja)
JP (1) JP6432677B2 (ja)
KR (2) KR20190034360A (ja)
CN (1) CN107533804B (ja)
BR (1) BR112017022816A2 (ja)
CA (1) CA2983680C (ja)
MX (1) MX369189B (ja)
RU (1) RU2675767C1 (ja)
WO (1) WO2016170646A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018173729A (ja) * 2017-03-31 2018-11-08 パナソニックＩｐマネジメント株式会社 自動運転制御方法およびそれを利用した自動運転制御装置、プログラム
JP2019079206A (ja) * 2017-10-23 2019-05-23 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
WO2019193722A1 (ja) * 2018-04-05 2019-10-10 日産自動車株式会社 車両制御方法及び車両制御装置
RU2709334C2 (ru) * 2017-04-03 2019-12-17 ФОРД ГЛОУБАЛ ТЕКНОЛОДЖИЗ, ЭлЭлСи Способ обнаружения препятствий, расположенных рядом с транспортным средством
JP2020163969A (ja) * 2019-03-29 2020-10-08 マツダ株式会社 車両運転支援システム
JP7365280B2 (ja) 2020-03-25 2023-10-19 ジオテクノロジーズ株式会社 情報処理装置

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9470536B2 (en) * 2014-08-08 2016-10-18 Here Global B.V. Apparatus and associated methods for navigation of road intersections
US10188895B1 (en) 2015-08-20 2019-01-29 Matthew Stephen Wallace Weight exerciser with flexible perimeter grip band
WO2019004633A1 (ko) * 2017-06-30 2019-01-03 엘지전자 주식회사 이동 로봇의 동작 방법 및 이동 로봇
CN111201557B (zh) * 2017-10-11 2022-02-25 本田技研工业株式会社 车辆控制装置
CN108829096A (zh) * 2018-05-23 2018-11-16 郑州思达科锐网络科技有限公司 一种控制无人驾驶汽车转向的方法及系统
JP7155975B2 (ja) * 2018-12-10 2022-10-19 トヨタ自動車株式会社 車両制御装置
CN109895767B (zh) * 2019-03-19 2020-11-10 奇瑞汽车股份有限公司 汽车的控制方法、装置及存储介质
RU2769921C2 (ru) 2019-11-21 2022-04-08 Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" Способы и системы для автоматизированного определения присутствия объектов
CN113538893B (zh) * 2020-09-25 2024-05-28 腾讯科技（深圳）有限公司 车辆预警方法、控制方法、装置及电子设备
US11854400B2 (en) * 2022-05-03 2023-12-26 Here Global B.V. Apparatus and methods for predicting events in which drivers fail to see curbs
CN115257728B (zh) * 2022-10-08 2022-12-23 杭州速玛科技有限公司 一种用于自动驾驶的盲区风险区检测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006154967A (ja) * 2004-11-25 2006-06-15 Nissan Motor Co Ltd リスク最小軌跡生成装置およびこれを用いた危険状況警報装置
JP2011150633A (ja) * 2010-01-25 2011-08-04 Toyota Central R&D Labs Inc 対象物検出装置及びプログラム
WO2011101988A1 (ja) * 2010-02-22 2011-08-25 トヨタ自動車株式会社 危険度算出装置
WO2011141984A1 (ja) * 2010-05-10 2011-11-17 トヨタ自動車株式会社 危険度算出装置
US20130342698A1 (en) * 2011-01-25 2013-12-26 Trw Limited Method of Processing Images and Apparatus
WO2014119196A1 (ja) * 2013-01-31 2014-08-07 日本電気株式会社 移動体通信装置、基地局、サーバ装置、移動体通信システム、移動体通信方法及びプログラム
JP2015072650A (ja) * 2013-10-04 2015-04-16 株式会社デンソーアイティーラボラトリ 経路算出装置、車両制御装置、車両運転支援装置、車両、経路算出プログラム、及び経路算出方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1269445B8 (en) * 2000-02-28 2006-08-23 Calspan Corporation System and method for avoiding accidents in intersections
JP4125569B2 (ja) 2001-09-21 2008-07-30 株式会社 三英技研 運転支援システム、運転支援方法及び運転支援プログラム
US6711480B2 (en) 2001-09-21 2004-03-23 Sanei Co., Ltd. System, method and program for supporting driving of cars
DE10339645A1 (de) * 2003-08-28 2005-04-14 Robert Bosch Gmbh Verfahren und Vorrichtung zur Bestimmung von Größe und Position einer Parklücke
JP4335651B2 (ja) * 2003-12-03 2009-09-30 富士通テン株式会社 周辺監視装置
JP4760562B2 (ja) 2006-06-19 2011-08-31 日産自動車株式会社 車両用周辺情報提示装置及び車両用周辺情報提示方法
US7859432B2 (en) * 2007-05-23 2010-12-28 Che Il Electric Wireing Devices Co., Ltd. Collision avoidance system based on detection of obstacles in blind spots of vehicle
US9672736B2 (en) 2008-10-22 2017-06-06 Toyota Motor Engineering & Manufacturing North America, Inc. Site map interface for vehicular application
JP5601930B2 (ja) 2010-08-09 2014-10-08 本田技研工業株式会社 車両用表示装置
CN103155015B (zh) * 2010-09-08 2014-12-31 丰田自动车株式会社 移动物预测装置、假想活动物预测装置、程序模块、移动物预测方法以及假想活动物预测方法
US9058247B2 (en) * 2010-09-08 2015-06-16 Toyota Jidosha Kabushiki Kaisha Risk potential calculation apparatus
US20130020451A1 (en) * 2011-07-21 2013-01-24 Level 2 Industries, LLC Interactive Visual Display System
DK177696B1 (en) * 2013-02-25 2014-03-17 Aquaporin As Systems for water extraction
US9779621B1 (en) * 2013-03-15 2017-10-03 Waymo Llc Intersection phase map
CN105612567B (zh) * 2013-07-19 2017-07-18 日产自动车株式会社 车辆用驾驶辅助装置以及车辆用驾驶辅助方法
US9534910B2 (en) * 2014-12-09 2017-01-03 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle detection of and response to yield scenarios
KR20170121933A (ko) * 2016-04-26 2017-11-03 삼성에스디에스 주식회사 깊이 센서를 이용한 충돌 회피 방법 및 그 장치
US11308391B2 (en) * 2017-03-06 2022-04-19 Baidu Usa Llc Offline combination of convolutional/deconvolutional and batch-norm layers of convolutional neural network models for autonomous driving vehicles

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006154967A (ja) * 2004-11-25 2006-06-15 Nissan Motor Co Ltd リスク最小軌跡生成装置およびこれを用いた危険状況警報装置
JP2011150633A (ja) * 2010-01-25 2011-08-04 Toyota Central R&D Labs Inc 対象物検出装置及びプログラム
WO2011101988A1 (ja) * 2010-02-22 2011-08-25 トヨタ自動車株式会社 危険度算出装置
WO2011141984A1 (ja) * 2010-05-10 2011-11-17 トヨタ自動車株式会社 危険度算出装置
US20130342698A1 (en) * 2011-01-25 2013-12-26 Trw Limited Method of Processing Images and Apparatus
WO2014119196A1 (ja) * 2013-01-31 2014-08-07 日本電気株式会社 移動体通信装置、基地局、サーバ装置、移動体通信システム、移動体通信方法及びプログラム
JP2015072650A (ja) * 2013-10-04 2015-04-16 株式会社デンソーアイティーラボラトリ 経路算出装置、車両制御装置、車両運転支援装置、車両、経路算出プログラム、及び経路算出方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3288004A4 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018173729A (ja) * 2017-03-31 2018-11-08 パナソニックＩｐマネジメント株式会社 自動運転制御方法およびそれを利用した自動運転制御装置、プログラム
RU2709334C2 (ru) * 2017-04-03 2019-12-17 ФОРД ГЛОУБАЛ ТЕКНОЛОДЖИЗ, ЭлЭлСи Способ обнаружения препятствий, расположенных рядом с транспортным средством
JP2019079206A (ja) * 2017-10-23 2019-05-23 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
US11008002B2 (en) 2017-10-23 2021-05-18 Honda Motor Co., Ltd. Vehicle control device, vehicle control method, and program for collision avoidance
WO2019193722A1 (ja) * 2018-04-05 2019-10-10 日産自動車株式会社 車両制御方法及び車両制御装置
JP2020163969A (ja) * 2019-03-29 2020-10-08 マツダ株式会社 車両運転支援システム
JP7205799B2 (ja) 2019-03-29 2023-01-17 マツダ株式会社 車両運転支援システム
JP7365280B2 (ja) 2020-03-25 2023-10-19 ジオテクノロジーズ株式会社 情報処理装置

Also Published As

Publication number Publication date
CA2983680A1 (en) 2016-10-27
US20180144201A1 (en) 2018-05-24
US10262215B2 (en) 2019-04-16
JPWO2016170646A1 (ja) 2018-04-05
MX369189B (es) 2019-10-31
CA2983680C (en) 2020-03-31
CN107533804B (zh) 2018-11-06
EP3288004B1 (en) 2021-09-15
RU2675767C1 (ru) 2018-12-24
EP3288004A4 (en) 2018-05-16
EP3288004A1 (en) 2018-02-28
MX2017013367A (es) 2017-12-07
KR20190034360A (ko) 2019-04-01
KR20170134713A (ko) 2017-12-06
JP6432677B2 (ja) 2018-12-12
CN107533804A (zh) 2018-01-02
BR112017022816A2 (ja) 2018-07-17

Similar Documents

Publication Publication Date Title
JP6432677B2 (ja) シーン理解装置
US11958504B2 (en) Method and apparatus for controlling a vehicle's driving operation using advance information
JP7189329B2 (ja) 車両制御方法及び車両制御装置
RU2760046C1 (ru) Способ помощи при вождении и устройство помощи при вождении
JP6428928B2 (ja) オクルージョン制御装置
JP6856134B2 (ja) 運転支援方法及び運転支援装置
KR102402861B1 (ko) 운전 지원 방법 및 운전 지원 장치
ES2767729T3 (es) Método para comprobar una condición de posibilidad de adelantamiento
JP6623303B2 (ja) 車両制御装置
JPWO2018220853A1 (ja) 自動運転車の制御のための車両制御装置及び方法
JP6812568B2 (ja) 車両制御装置
WO2020008220A1 (ja) 走行軌道生成方法及び走行軌道生成装置
CN109917783B (zh) 驾驶辅助装置
JP6605257B2 (ja) 車載装置、車線変更判定プログラム、車線変更判定方法
JP6304393B2 (ja) 走行経路演算装置
JP2021175630A (ja) 運転支援装置
JP2017001596A (ja) 停車位置設定装置及び方法
JP7114861B2 (ja) 自動運転車両の制御システムおよび制御方法
JP6721054B2 (ja) 車両はみ出し判断方法及び車両はみ出し判断装置
JP6650635B2 (ja) 判定装置、判定方法、および判定プログラム
JP2020129331A (ja) 逆走判定システム、逆走判定方法、及び逆走判定プログラム
JP6941677B2 (ja) 画像認識装置
WO2023144938A1 (ja) 行動計画装置及び行動計画方法
JP2023150482A (ja) 車両の運転支援装置
JP2019219885A (ja) 運転支援方法及び運転支援装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15889885

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017513907

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: MX/A/2017/013367

Country of ref document: MX

WWE Wipo information: entry into national phase

Ref document number: 15568302

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2983680

Country of ref document: CA

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112017022816

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 20177032303

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2017140629

Country of ref document: RU

ENP Entry into the national phase

Ref document number: 112017022816

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20171023