WO2014033957A1 - 衝突判定装置及び衝突判定方法 - Google Patents

衝突判定装置及び衝突判定方法 Download PDF

Info

Publication number
WO2014033957A1
WO2014033957A1 PCT/JP2012/072365 JP2012072365W WO2014033957A1 WO 2014033957 A1 WO2014033957 A1 WO 2014033957A1 JP 2012072365 W JP2012072365 W JP 2012072365W WO 2014033957 A1 WO2014033957 A1 WO 2014033957A1
Authority
WO
WIPO (PCT)
Prior art keywords
collision determination
vehicle
image
radar
detection
Prior art date
Application number
PCT/JP2012/072365
Other languages
English (en)
French (fr)
Inventor
雄介 大内
Original Assignee
トヨタ自動車株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by トヨタ自動車株式会社 filed Critical トヨタ自動車株式会社
Priority to EP12883649.1A priority Critical patent/EP2894617B1/en
Priority to PCT/JP2012/072365 priority patent/WO2014033957A1/ja
Priority to US14/425,240 priority patent/US9405006B2/en
Priority to JP2014532717A priority patent/JP5862785B2/ja
Priority to CN201280075571.0A priority patent/CN104603855B/zh
Publication of WO2014033957A1 publication Critical patent/WO2014033957A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/08—Systems for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles

Definitions

  • the present invention relates to a collision determination device and a collision determination method for determining a collision between a vehicle and an object.
  • a collision determination device and a collision determination method for example, as described in JP-A-2005-84034, a composite target of an object is generated using a detection result by a radar sensor and a detection result by an image sensor, An apparatus that determines a collision between a vehicle and an object based on a generated synthetic target is known.
  • collision determination is performed until a composite target is generated. Was not done. And since a comparatively long processing time is required until a synthetic
  • the present invention is intended to provide a collision determination device and a collision determination method that can perform collision determination at an early timing even when a synthetic target is not generated.
  • a collision determination device includes a radar detection unit that detects an object in front of a vehicle using a radar wave, an image detection unit that images the front of the vehicle and detects an object, and a detection result and an image from the radar detection unit.
  • a collision determination unit that determines a collision between a vehicle and an object based on a composite target generated using a detection result obtained by the detection unit.
  • the collision determination unit is an image detection unit in which the object cannot be detected by the radar detection unit. When it is determined that the object is stationary in the traveling direction of the vehicle, the collision determination is performed based on the detection result by the image detection unit instead of the collision determination based on the composite target.
  • the collision determination unit determines that the object is stationary in the traveling direction of the vehicle. Instead, the collision determination is performed based on the detection result by the image detection unit. Therefore, the processing time is shortened by the stillness determination by the collision determination unit, and the collision determination can be performed at an early timing based on the detection result by the image detection unit.
  • the collision determination unit also includes a first distance change amount calculated from the vehicle speed as a change in the distance between the vehicle and the object per unit time in the traveling direction of the vehicle, and a vehicle per unit time in the traveling direction of the vehicle. Whether or not the object is stationary in the traveling direction of the vehicle may be determined based on a ratio of the second distance change amount calculated from the image detection result as a change in the distance between the object and the object. Accordingly, the stationary state of the object can be determined at high speed based on the ratio between the first distance change amount and the second distance change amount.
  • the collision determination unit may determine that the object is stationary in the traveling direction of the vehicle when the ratio between the first distance change amount and the second distance change amount is less than the threshold value.
  • the collision detection unit A collision determination may be performed based on the detection result.
  • the collision determination unit determines that the object is not detected by the radar detection unit but is detected by the image detection unit, and the object is stationary in the traveling direction of the vehicle, the collision determination unit performs a collision based on the detection result by the image detection unit. A determination may be made.
  • the collision determination unit may perform the collision determination based on the detection result by the image detection unit when the synthetic target is generated and the generated synthetic target is released.
  • the detection range of the radar detection unit and the detection range of the image detection unit may partially overlap, and there may be a region detected by the image detection unit without being detected by the radar detection unit.
  • the radar detection unit may detect an object in front of the vehicle using millimeter waves.
  • the collision determination method detects an object in front of a vehicle using a radar wave, detects an object in front of the vehicle, detects an object based on the captured image, and generates a detection result using radar detection and a detection result based on image detection.
  • the collision determination method for determining the collision between the vehicle and the object based on the synthesized target the object cannot be detected by radar detection, can be detected by image detection, and the object is stationary in the traveling direction of the vehicle.
  • the collision determination is performed, instead of the collision determination based on the composite target, the collision determination is performed based on the detection result by the image detection.
  • the present invention it is possible to provide a collision determination device and a collision determination method capable of performing a collision determination at an early timing even when a synthetic target is not generated.
  • the collision determination device is a device that is mounted on a vehicle and determines a collision between the vehicle and an object using a radar sensor and an image sensor.
  • FIG. 1 is a block diagram showing a configuration of a collision determination device according to an embodiment of the present invention.
  • the collision determination apparatus includes a speed sensor 11, a radar 12, a stereo camera 13, and an ECU 20 (Electronic Control Unit).
  • Speed sensor 11 detects the speed of the vehicle.
  • a wheel speed sensor is used as the speed sensor 11.
  • the speed sensor 11 supplies the detected vehicle speed to the ECU 20.
  • the radar 12 functions as a radar detection unit (radar sensor) that detects an object ahead of the vehicle using a radar wave, transmits a radar wave (electromagnetic wave) in front of the vehicle, and receives a radar wave reflected from the object.
  • a radar detection unit radar sensor
  • the radar 12 supplies radar detection information indicating the detection result of the object to the ECU 20.
  • the stereo camera 13 functions as an image detection unit (image sensor) that images the front of the vehicle and detects an object from the captured image.
  • image sensor image sensor
  • a CCD Charge-Coupled Device
  • CMOS Complementary Metal-Oxide Semiconductor
  • the stereo camera 13 is installed as a plurality of cameras on the front surface or cabin of the vehicle.
  • the stereo camera 13 supplies image detection information indicating the detection result of the object to the ECU 20.
  • a single camera may be used instead of the stereo camera 13.
  • the ECU 20 includes a radar target generation unit 21, an image target generation unit 22, a composite target generation unit 23, and a collision determination unit 24.
  • the ECU 20 implements the functions of a radar target generation unit 21, an image target generation unit 22, a synthetic target generation unit 23, and a collision determination unit 24 through execution of a program by the CPU, mainly using a CPU, ROM, RAM, and the like.
  • the ECU 20 may be configured as a single unit or a plurality of units.
  • the radar target generator 21 generates a radar target based on radar detection information from the radar 12.
  • the radar target has target information related to the distance to the object and the lateral position of the object, which is obtained from coordinates based on the vehicle.
  • the target information of the radar target is calculated based on the radar detection information from the radar 12.
  • the distance to the object represents the distance from the vehicle (radar 12) to the object in the traveling direction of the vehicle, and is calculated based on the time until the radar wave is transmitted from the radar 12, reflected from the object and received.
  • the The lateral position of the object represents a distance from the vehicle (radar 12) to the object in a direction orthogonal to the traveling direction of the vehicle, and is calculated based on the direction (angle) of the radar wave reflected and received from the object. .
  • the lateral position in the radar target is information on the position of the object detected by the radar 12, and does not include information on the lateral width of the object.
  • the image target generator 22 generates an image target based on the image detection information from the stereo camera 13.
  • the image target has target information related to the distance to the object and the lateral position of the object, which is obtained from the coordinates based on the vehicle. Further, the image target generation unit 22 determines whether or not the object is in a stationary state by tracking the object based on the image detection information, and supplies the tracking result and the determination result of the stationary state to the collision determination unit 24. To do.
  • the target information of the image target is calculated based on the principle of triangulation based on the deviation of the image detection information of the left and right cameras constituting the stereo camera 13, or based on the detected size and position of the license plate etc. of the vehicle ahead. Calculated.
  • the distance to the object represents the distance from the vehicle (stereo camera 13) to the object in the traveling direction of the vehicle.
  • the lateral position of the object represents the distance from the vehicle (stereo camera 13) to the object in a direction orthogonal to the traveling direction of the vehicle.
  • the lateral position in the image target also includes information on the lateral range of the object detected from the image, that is, the lateral width of the object.
  • the composite target generation unit 23 generates a composite target of the object using the target information of the radar target and the image target, that is, the detection result by the radar 12 and the stereo camera 13.
  • the composite target is generated by collating both targets based on the target information of the radar target and the image target. Both targets are collated based on the similarity of the target information in both targets, that is, the similarity of the distance to the object and the lateral position of the object.
  • the composite target has target information regarding the distance to the object and the horizontal position (including the horizontal width) of the object.
  • the target information of the composite target is based on the target information of the radar target and the image target, and has higher accuracy than the target information of the radar target or the image target alone.
  • FIG. 2 is a diagram showing detection ranges A1 and A2 of the radar 12 and the stereo camera 13.
  • the detection range A1 of the radar 12 is narrower than the detection range A2 of the stereo camera 13. Therefore, an area that can be detected only by the stereo camera 13 outside the detection range A1 of the radar 12 exists diagonally forward of the vehicle C.
  • a composite target is generated while the object exists in the detection ranges A1 and A2 of both sensors 12 and 13, but when the object deviates from the detection range A1 of the radar 12, the synthesis is performed. No target is generated.
  • the collision determination unit 24 calculates a collision determination parameter for each of the radar target, the image target, and the composite target. As parameters, for example, target distance, collision probability, existence probability, and collision lateral position are calculated.
  • the target distance means the distance to the target in the direction of travel of the vehicle
  • the collision probability means the probability that the vehicle will collide with the object corresponding to the target
  • the existence probability corresponds to the target.
  • the collision lateral position means a lateral position (position in the width direction of the vehicle) where a collision with an object corresponding to the target is expected.
  • the target distance, the collision probability, the existence probability, and the collision lateral position are obtained based on the movement status of each target.
  • the parameters of each target are stored in a memory such as a RAM for a predetermined period together with the target information of each target, and are read out as necessary.
  • the collision determination unit 24 performs a collision determination based on the composite target.
  • the collision determination unit 24 determines the possibility of collision with an object based on whether or not the collision time is less than the threshold when the parameters of the composite target satisfy a predetermined threshold.
  • the collision time is calculated by dividing the distance to the object by the relative speed of the object (the amount of change per unit time of the distance to the object) using the target information of the composite target.
  • the determination result of the possibility of collision is used for collision avoidance support by, for example, notification to the driver, control intervention for braking or steering of the vehicle, and the like.
  • the collision determination unit 24 performs the collision determination based on the image target in a situation where only the image target is generated without generating the radar target.
  • the collision determination unit 24 determines the possibility of collision with an object based on whether or not the parameter of the image target satisfies a predetermined threshold and the collision time is less than the threshold.
  • the collision time is calculated by dividing the distance to the object by the relative speed of the object using the target information of the image target.
  • the collision determination unit 24 determines that the object cannot be detected by the radar 12 and can be detected by the stereo camera 13 and the object is stationary in the traveling direction of the vehicle. Instead of the determination, the collision determination is performed based on the detection result by the stereo camera 13.
  • the stationary state of the object is a change in the distance between the vehicle and the object per unit time in the traveling direction of the vehicle, and the first distance change amount calculated from the speed of the vehicle, The determination is based on the ratio to the second distance change amount calculated from the detection result.
  • FIG. 3 is a diagram illustrating a situation of a conventional collision determination process.
  • FIG. 3 shows time-series changes in the positions of the targets generated by the sensors 12 and 13 together with the detection ranges A1 and A2 of the radar 12 and the stereo camera 13.
  • the target for example, a pedestrian P that crosses the front of the traveling vehicle C is assumed.
  • the image target generation unit 22 recognizes the pedestrian P as an object, determines the stationary state, and when the image target generation unit 22 confirms the stationary state, the collision determination unit 24 performs a collision determination.
  • the stillness determination by the image target generation unit 22 requires a relatively long processing time in relation to the image update cycle. Therefore, for example, as shown in FIG. 3A, the collision avoidance support operation may be delayed or not performed appropriately.
  • the image target generation unit 22 recognizes the pedestrian P as an object and determines the stationary state.
  • the image target generation unit 22 determines the stationary state in consideration of the speed of the object in the direction that intersects the traveling direction of the vehicle C, particularly in the direction orthogonal thereto. Therefore, unless the image target generation unit 22 confirms the stationary state, for example, the collision determination is not performed as illustrated in FIG.
  • FIG. 4 is a flowchart showing the operation of the collision determination device.
  • FIG. 5 is a diagram showing the situation of the collision determination process shown in FIG.
  • the collision determination device repeatedly executes the process shown in FIG. 4 for each processing cycle.
  • the radar target generator 21 generates a radar target when an object is present within the detection range of the radar 12 (step S11).
  • the image target generation unit 22 generates an image target when an object exists within the detection range of the stereo camera 13 (S12).
  • the synthetic target generation unit 23 generates a synthetic target when collation between the radar target and the image target is obtained (S13).
  • the collision determination unit 24 calculates a collision determination parameter for each of the radar target, the image target, and the composite target (S14).
  • the collision determination unit 24 determines whether or not the object is undetectable by the radar 12 and can be detected by the stereo camera 13, that is, whether or not a composite target is not generated (S15). Such a situation occurs when the object is outside the detection range of the radar 12 and is within the detection range of the stereo camera 13 as shown in FIG. Such a situation also occurs when radar detection fails and image detection succeeds, that is, when an object is detected by the stereo camera 13 without being detected by the radar 12.
  • the collision determination unit 24 determines whether or not the object is stationary in the traveling direction of the vehicle (S16).
  • that the object is stationary in the traveling direction of the vehicle means that the speed of the object in the direction is 0 or substantially 0.
  • the ratio (distance ratio) between the first distance difference (distance change amount) calculated from the vehicle speed and the second distance difference (distance change amount) calculated from the image detection result. ) Is less than the threshold value. Both the first and second distance differences represent changes in the distance between the vehicle and the object per unit time in the traveling direction of the vehicle.
  • the collision determination unit 24 performs a collision determination based on the image target, that is, based on the detection result by the stereo camera 13 (S17). That is, even when the composite target is not generated, the collision determination is performed based on the image target, for example, for a pedestrian crossing the front of the traveling vehicle.
  • the collision determination unit 24 is based on the composite target. Collision determination is performed (S18).
  • FIG. 5 shows time-series changes in the position of the target in the collision determination process shown in FIG. 4 in comparison with FIG.
  • the collision determination unit 24 determines the stationary state of the object instead of the image target generation unit 22 after the image target generation unit 22 recognizes the pedestrian as an object. And the collision determination part 24 will perform a collision determination, if the stationary state of an object is confirmed.
  • FIGS. 6 and 7 are flowcharts specifically showing the operation of FIG. Although not shown in FIG. 6, as described in S11, S12, S13, and S14 in FIG. 4, radar target generation, image target generation, composite target generation, and collision determination parameter calculation are performed. Is done.
  • the collision determination unit 24 determines whether the image single determination flag is on and the new flag is on (S21).
  • the image single determination flag is a flag for permitting the collision determination based on the image target instead of the composite target. This flag is turned on when the movement vector of the object in the traveling direction of the vehicle is less than the threshold value.
  • the new flag is a flag indicating that a target has been newly generated. Here, when it is not determined that the conditions of both flags are satisfied, the collision determination based on the image target is not performed, and thus the process ends.
  • the collision determination unit 24 determines whether the buffer flag is on and the brake is not in the pre-braking state or the intervention braking state (S22).
  • the buffer flag is a flag for permitting buffering of the target information of the image target.
  • the pre-braking state or the intervention braking state means braking intervention performed as part of the collision avoidance support.
  • the collision determination unit 24 buffers the distance ratio in the immediately preceding processing cycle and sets the dead zone speed used for calculating the distance ratio (S23). The distance ratio and dead zone speed will be described later.
  • the collision determination unit 24 determines whether the vehicle speed exceeds the speed threshold and the distance to the object is shorter than the immediately preceding processing cycle (S24).
  • the speed threshold is set to 0 or substantially 0 to determine the stationary state of the vehicle.
  • the detection result of the speed sensor 11 is used as the vehicle speed, and the target information of the image target is used as the distance to the object.
  • the collision determination unit 24 When it is determined that the vehicle speed and the distance to the object are satisfied, the collision determination unit 24 first and second distances indicating a change in the distance between the vehicle and the object per unit time in the traveling direction of the vehicle.
  • the difference (distance change amount) is calculated (S25).
  • the distance difference is a value indicating how much the distance to the object has changed between the immediately preceding processing cycle and the current processing cycle, and becomes a larger value as the distance to the object is shortened.
  • the first distance difference is a value obtained by multiplying the vehicle speed by the image update period.
  • the detection result of the speed sensor 11 is used as the vehicle speed, and the characteristic value of the stereo camera 13 is used as the image update period. That is, the first distance difference represents the distance (absolute distance) that the vehicle has moved during the processing cycle.
  • the second distance difference is a value obtained by subtracting the distance to the object in the current processing cycle from the distance to the object in the immediately preceding processing cycle.
  • the target information of the image target is used.
  • the second distance difference represents the distance (relative distance) that the vehicle has moved relative to the object during the processing cycle. Therefore, when the speed of the object in the traveling direction of the vehicle is 0, assuming that the detection error of the stereo camera 13 is ideally 0, the second distance difference becomes equal to the first distance difference.
  • the collision determination unit 24 determines whether or not the second distance difference exceeds the first distance difference (S26). And when it determines with the 2nd distance difference exceeding the 1st distance difference, the collision determination part 24 calculates a 1st distance ratio (S27). In this case, there is a high possibility that the object is moving so as to approach the vehicle in the traveling direction of the vehicle.
  • the collision determination unit 24 calculates the second distance ratio (S28). In this case, there is a high possibility that the object is moving away from the vehicle in the traveling direction of the vehicle.
  • the first and second distance ratios (R1, R2) are expressed as follows using the first and second distance differences (D1, D2), the image update period (Cu), and the dead zone velocity (Vd).
  • the dead zone speed is a speed that is set in order to determine an object that is slightly moving in the traveling direction of the vehicle as a stationary object while taking the detection error of the stereo camera 13 into account. In consideration of the assumed speed of the object and the detection error of the stereo camera 13, the value is set to substantially zero instead of zero.
  • R1 Max (0, (D2-Vd ⁇ Cu) / D1-1) (1)
  • R2 min (0, (D2 + Vd ⁇ Cu) / D1-1) (2)
  • the first and second distance ratio is a ratio between the correction value of the second distance difference and the first distance difference, and is calculated as a smaller value as the speed of the object in the traveling direction of the vehicle approaches zero.
  • the second distance difference is corrected in consideration of the detection error of the stereo camera 13 and the speed of the object in the traveling direction of the vehicle. That is, the first and second distance ratios are used as an index for determining whether or not the object is stationary in the traveling direction of the vehicle.
  • the collision determination unit 24 calculates a third distance ratio (S29).
  • the third distance ratio is calculated as a maximum value ( ⁇ ), and as a result, the collision determination with respect to a “stationary object” such as a crossing pedestrian is not performed.
  • the collision determination unit 24 determines whether or not the stationary object tracking is being performed (S30).
  • the stationary object tracking is performed when the movement vector of the object in the traveling direction of the vehicle is less than a threshold value. Whether or not the stationary object tracking is being performed is determined based on a flag supplied from the synthetic target generating unit 22.
  • the collision determination unit 24 determines that the object is a stationary object, and sets the image speed used for tracking as the relative speed of the object used for collision determination (S31).
  • the image speed is calculated as the amount of change per unit time of the distance to the object using the target information of the image target. This is because an object that has already been tracked as a stationary object is likely to be a stationary object.
  • the collision determination unit 24 determines whether the distance ratio is less than the determination threshold (S32).
  • the determination threshold is a threshold for determining whether or not the object is a stationary object that hardly moves in the traveling direction of the vehicle.
  • the collision determination unit 24 determines that the object is a stationary object, and sets the vehicle speed detected by the speed sensor 11 as the relative speed of the object used for the collision determination. (S33). This is because an object whose distance ratio is less than the determination threshold is likely to be a stationary object because the speed of the object in the traveling direction of the vehicle is close to zero.
  • the collision determination unit 24 determines that the object is a moving object, and sets the maximum value ( ⁇ ) as the relative speed of the object used for the collision determination (S34). ). This is because an object whose distance ratio is equal to or greater than the determination threshold is likely to be a moving object because the speed of the object in the traveling direction of the vehicle is high. In this case, as a result, a collision determination with respect to a “stationary object” such as a crossing pedestrian is not performed.
  • the collision determination unit 24 performs a collision determination based on the image target (S35).
  • the collision determination unit 24 calculates the collision time by dividing the distance to the object by the set relative speed of the object, and determines whether the collision time is less than the threshold value. Based on the above, the possibility of collision with the object is determined. When it is determined that the collision possibility is high, the collision determination unit 24 determines that the collision avoidance support is activated, and when it is determined that the collision possibility is low, the collision determination unit 24 determines that the collision avoidance support is not activated.
  • the object cannot be detected by the radar 12 and can be detected by the stereo camera 13, and the object can be detected by the collision determination unit 24.
  • the collision determination is performed based on the detection result of the stereo camera 13 instead of the collision determination based on the composite target. Therefore, the processing time is shortened by the stillness determination by the collision determination unit 24, and the collision determination can be performed at an early timing based on the detection result by the stereo camera 13.
  • the first distance change amount calculated from the speed of the vehicle as the change in the distance between the vehicle and the object per unit time in the traveling direction of the vehicle, and the distance between the vehicle and the object per unit time in the traveling direction of the vehicle Whether or not the object is stationary in the traveling direction of the vehicle may be determined based on a ratio between the distance change amount and the second distance change amount calculated from the image detection result. Accordingly, the stationary state of the object can be determined at high speed based on the ratio between the first distance change amount and the second distance change amount.
  • the ratio of the first distance change amount and the second distance change amount is less than the threshold value, it may be determined that the object is stationary in the traveling direction of the vehicle.
  • the collision is performed based on the detection result by the stereo camera 13. A determination may be made.
  • the collision determination may be performed based on the detection result by the stereo camera 13. .
  • the collision determination may be performed based on the detection result by the stereo camera 13.
  • the detection range of the radar 12 and the detection range of the stereo camera 13 may partially overlap, and there may be a region that is detected by the stereo camera 13 but not detected by the radar 12.
  • the radar 12 may detect an object in front of the vehicle using millimeter waves.
  • the above-described embodiment describes the best embodiment of the collision determination device and the collision determination method according to the present invention, and the collision determination device and the collision determination method according to the present invention are described in the present embodiment. It is not limited to things.
  • the collision determination apparatus and the collision determination method according to the present invention are modified from the collision determination apparatus and the collision determination method according to the present embodiment without departing from the gist of the invention described in each claim, or applied to others. It may be a thing.
  • the function of the radar target generation unit 21 may be realized by a single ECU, for example, a radar sensor ECU
  • the function of the image target generation unit 22 may be realized by a single ECU, for example, an image sensor ECU.
  • the detection ranges A1 and A2 of the radar 12 and the stereo camera 13 are bilaterally symmetric with respect to the traveling direction of the vehicle and overlapped symmetrically.
  • the detection ranges A1 and A2 of both the sensors 12 and 13 are partially overlapped and need not be detected by the radar 12 but have an area detected by the stereo camera 13, and are not necessarily in the traveling direction of the vehicle.
  • they are symmetrical and do not need to overlap symmetrically.

Abstract

衝突判定装置は、レーダ波により車両前方の物体を検出するレーダ検出部と、車両前方を撮像し撮像した画像により物体を検出する画像検出部と、レーダ検出部による検出結果と画像検出部による検出結果を用いて生成された合成物標に基づいて車両と物体の衝突を判定する衝突判定部とを備え、衝突判定部は、物体がレーダ検出部により検出不能であり画像検出部により検出可能であり、且つ物体が車両の進行方向において静止していると判定した場合、合成物標に基づく衝突判定に代えて、画像検出部による検出結果に基づいて衝突判定を行う。

Description

衝突判定装置及び衝突判定方法
　本発明は、車両と物体の衝突を判定する衝突判定装置及び衝突判定方法に関する。
　従来、衝突判定装置及び衝突判定方法としては、例えば特開２００５－８４０３４号公報に記載されるように、レーダセンサによる検出結果と画像センサによる検出結果を用いて物体の合成物標を生成し、生成した合成物標に基づいて車両と物体の衝突を判定する装置が知られている。
特開２００５－８４０３４号公報
　しかし、従来の衝突判定装置及び衝突判定方法では、物体が画像センサにより検出可能であるがレーダセンサにより検出不能であることにより合成物標が生成されない場合、合成物標が生成されるまで衝突判定が行われなかった。そして、合成物標が生成されるまでに比較的長い処理時間を要するので、衝突判定を早いタイミングで行うことができなかった。
　そこで、本発明は、合成物標が生成されない場合でも早いタイミングで衝突判定を行える衝突判定装置及び衝突判定方法を提供しようとするものである。
　本発明に係る衝突判定装置は、レーダ波により車両前方の物体を検出するレーダ検出部と、車両前方を撮像し撮像した画像により物体を検出する画像検出部と、レーダ検出部による検出結果と画像検出部による検出結果を用いて生成された合成物標に基づいて車両と物体の衝突を判定する衝突判定部とを備え、衝突判定部は、物体がレーダ検出部により検出不能であり画像検出部により検出可能であり、且つ物体が車両の進行方向において静止していると判定した場合、合成物標に基づく衝突判定に代えて、画像検出部による検出結果に基づいて衝突判定を行う。
　これにより、物体がレーダ検出部により検出不能であり画像検出部により検出可能であり、且つ衝突判定部により物体が車両の進行方向において静止していると判定した場合、合成物標に基づく衝突判定に代えて、画像検出部による検出結果に基づいて衝突判定が行われる。よって、衝突判定部による静止判定により処理時間が短縮されるとともに、画像検出部による検出結果に基づいて早いタイミングで衝突判定を行うことができる。
　また、衝突判定部は、車両の進行方向における単位時間当りの車両と物体の間の距離の変化として車両の速度から算出した第１の距離変化量と、車両の進行方向における単位時間当りの車両と物体の間の距離の変化として画像の検出結果から算出した第２の距離変化量との比率に基づいて、物体が車両の進行方向において静止しているか否かを判定してもよい。これにより、第１の距離変化量と第２の距離変化量との比率に基づいて、物体の静止状態を高速に判定できる。
　また、衝突判定部は、第１の距離変化量と第２の距離変化量との比率が閾値未満である場合、物体が車両の進行方向において静止していると判定してもよい。
　また、衝突判定部は、物体がレーダ検出部の検出範囲外であり画像検出部の検出範囲内に存在し、且つ物体が車両の進行方向において静止していると判定した場合、画像検出部による検出結果に基づいて衝突判定を行ってもよい。
　また、衝突判定部は、物体がレーダ検出部により検出されず画像検出部により検出され、且つ物体が車両の進行方向において静止していると判定した場合、画像検出部による検出結果に基づいて衝突判定を行ってもよい。
　また、衝突判定部は、合成物標が生成され、生成された合成物標が解除された場合、画像検出部による検出結果に基づいて衝突判定を行ってもよい。
　また、レーダ検出部の検出範囲と画像検出部の検出範囲とが部分的に重なり、レーダ検出部により検出されず画像検出部により検出される領域が存在してもよい。
　また、レーダ検出部は、ミリ波により車両前方の物体を検出してもよい。
　本発明に係る衝突判定方法は、レーダ波により車両前方の物体を検出し、車両前方を撮像し撮像した画像により物体を検出し、レーダ検出による検出結果と画像検出による検出結果を用いて生成された合成物標に基づいて車両と物体の衝突を判定する衝突判定方法において、物体がレーダ検出により検出不能であり画像検出により検出可能であり、且つ物体が車両の進行方向において静止していると判定した場合、合成物標に基づく衝突判定に代えて、画像検出による検出結果に基づいて衝突判定を行うことを含む。
　本発明によれば、合成物標が生成されない場合でも早いタイミングで衝突判定を行える衝突判定装置及び衝突判定方法を提供できる。
本発明の実施形態に係る衝突判定装置の構成を示すブロック図である。 レーダ及びステレオカメラの検出範囲を示す図である。 従来の衝突判定処理の状況を示す図である。 衝突判定装置の動作を示すフローチャートである。 図４に示す衝突判定処理の状況を示す図である。 図４の動作を具体的に示すフローチャートである。 図４の動作を具体的に示すフローチャートである。
　以下、添付図面を参照して、本発明の実施形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
　まず、図１及び図２を参照して本発明の実施形態に係る衝突判定装置の構成について説明する。衝突判定装置は、車両に搭載され、レーダセンサ及び画像センサを用いて車両と物体の衝突を判定する装置である。
　図１は、本発明の実施形態に係る衝突判定装置の構成を示すブロック図である。図１に示すように、衝突判定装置は、速度センサ１１、レーダ１２、ステレオカメラ１３及びＥＣＵ２０（Electronic　Control　Unit）を備えている。
　速度センサ１１は、車両の速度を検出する。速度センサ１１としては、例えば車輪速センサが用いられる。速度センサ１１は、検出した車両速度をＥＣＵ２０に供給する。
　レーダ１２は、レーダ波により車両前方の物体を検出するレーダ検出部（レーダセンサ）として機能し、車両前方にレーダ波（電磁波）を送信し、物体から反射されるレーダ波を受信する。レーダ１２としては、例えば、マイクロ波レーダ、ミリ波レーダ、超音波レーダ、レーザレーダが用いられる。レーダ１２は、物体の検出結果を示すレーダ検出情報をＥＣＵ２０に供給する。
　ステレオカメラ１３は、車両前方を撮像し撮像した画像により物体を検出する画像検出部（画像センサ）として機能する。ステレオカメラ１３としては、例えば、ＣＣＤ（Charge-Coupled　Device）、ＣＭＯＳ（Complementary　Metal-Oxide　Semiconductor）が用いられる。ステレオカメラ１３は、複数のカメラとして車両の前面又はキャビンに設置される。ステレオカメラ１３は、物体の検出結果を示す画像検出情報をＥＣＵ２０に供給する。なお、ステレオカメラ１３に代えて単一のカメラが用いられてもよい。
　ＥＣＵ２０は、レーダ物標生成部２１、画像物標生成部２２、合成物標生成部２３及び衝突判定部２４を備えている。ＥＣＵ２０は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を主体として、ＣＰＵによるプログラムの実行を通じてレーダ物標生成部２１、画像物標生成部２２、合成物標生成部２３及び衝突判定部２４の機能を実現する。なお、ＥＣＵ２０は、単一ユニットとして構成されてもよく、複数ユニットとして構成されてもよい。
　レーダ物標生成部２１は、レーダ１２からのレーダ検出情報に基づいてレーダ物標を生成する。レーダ物標は、車両を基準とする座標から求められる、物体までの距離及び物体の横位置に関する物標情報を有している。
　レーダ物標の物標情報は、レーダ１２からのレーダ検出情報に基づいて算出される。物体までの距離とは、車両の進行方向における車両（レーダ１２）から物体までの距離を表し、レーダ１２からレーダ波が送信され、物体から反射されて受信されるまでの時間に基づいて算出される。物体の横位置とは、車両の進行方向と直交する方向における車両（レーダ１２）から物体までの距離を表し、物体から反射されて受信されるレーダ波の方向（角度）に基づいて算出される。レーダ物標における横位置は、レーダ１２により検出された物体の位置の情報であり、物体の横幅の情報を含まない。
　画像物標生成部２２は、ステレオカメラ１３からの画像検出情報に基づいて画像物標を生成する。画像物標は、車両を基準とする座標から求められる、物体までの距離及び物体の横位置に関する物標情報を有している。また、画像物標生成部２２は、画像検出情報に基づいて物体をトラッキングすることにより物体が静止状態にあるか否かを判定し、トラッキング結果及び静止状態の判定結果を衝突判定部２４に供給する。
　画像物標の物標情報は、ステレオカメラ１３を構成する左右カメラの画像検出情報のずれに基づいて三角測量の原理により算出され、又は、前方車両のナンバープレート等の検出サイズ及び位置に基づいて算出される。物体までの距離とは、車両の進行方向における車両（ステレオカメラ１３）から物体までの距離を表す。物体の横位置とは、車両の進行方向と直交する方向における車両（ステレオカメラ１３）から物体までの距離を表す。画像物標における横位置は、画像から検出された物体の横方向の範囲、つまり物体の横幅の情報も含む。物標情報の算出に際しては、算出誤差を低減するために算出値を平均化する等の処理が行われてもよい。
　合成物標生成部２３は、レーダ物標及び画像物標の物標情報、つまりレーダ１２及びステレオカメラ１３による検出結果を用いて物体の合成物標を生成する。合成物標は、レーダ物標及び画像物標の物標情報に基づいて両方の物標を照合して生成される。両方の物標は、両方の物標における物標情報の類似度、つまり、物体までの距離及び物体の横位置の類似度に基づいて照合される。合成物標は、物体までの距離及び物体の横位置（横幅を含む）に関する物標情報を有している。合成物標の物標情報は、レーダ物標及び画像物標の物標情報に基づくものであり、レーダ物標又は画像物標単独の物標情報より高い精度を有している。
　図２は、レーダ１２とステレオカメラ１３の検出範囲Ａ１、Ａ２を示す図である。図２に示すように、レーダ１２の検出範囲Ａ１は、ステレオカメラ１３の検出範囲Ａ２よりも狭い。このため、車両Ｃの斜め前方には、レーダ１２の検出範囲Ａ１の外側でステレオカメラ１３のみにより検出可能な領域が存在することになる。そして、図２に示すように、物体が両方のセンサ１２、１３の検出範囲Ａ１、Ａ２内に存在する間は合成物標が生成されるが、物体がレーダ１２の検出範囲Ａ１から逸脱すると合成物標が生成されなくなる。
　図１の説明に戻って、衝突判定部２４は、レーダ物標、画像物標及び合成物標について、それぞれに衝突判定用のパラメータを算出する。パラメータとしては、例えば、物標距離、衝突確率、存在確率及び衝突横位置が算出される。
　物標距離とは、車両の進行方向における物標までの距離を意味し、衝突確率とは、車両が物標に対応する物体と衝突する確率を意味し、存在確率とは、物標に対応する物体が実際に存在する確率を意味し、衝突横位置とは、物標に対応する物体との衝突が予想される横位置（車両の幅方向における位置）を意味する。物標距離、衝突確率、存在確率及び衝突横位置は、各物標の移動状況に基づいて求められる。各物標のパラメータは、各物標の物標情報と併せて所定期間に亘ってＲＡＭ等のメモリに記憶され、必要に応じて読み出される。
　衝突判定部２４は、合成物標に基づいて衝突判定を行う。衝突判定部２４は、合成物標のパラメータが所定の閾値を満たす場合、衝突時間が閾値未満であるか否かに基づいて物体との衝突可能性を判定する。衝突時間は、合成物標の物標情報を用いて、物体までの距離を物体の相対速度（物体までの距離の単位時間当たり変化量）で除して算出される。衝突可能性の判定結果は、例えば、運転者への報知、車両の制動又は操舵への制御介入等による衝突回避支援に用いられる。
　また、衝突判定部２４は、レーダ物標が生成されず画像物標のみが生成される状況において、画像物標に基づいて衝突判定を行う。衝突判定部２４は、画像物標のパラメータが所定の閾値を満たし、かつ衝突時間が閾値未満であるか否かに基づいて、物体との衝突可能性を判定する。衝突時間は、画像物標の物標情報を用いて、物体までの距離を物体の相対速度で除して算出される。
　ここで、衝突判定部２４は、物体がレーダ１２により検出不能でありステレオカメラ１３により検出可能であり、且つ物体が車両の進行方向において静止していると判定した場合、合成物標に基づく衝突判定に代えて、ステレオカメラ１３による検出結果に基づいて衝突判定を行う。物体の静止状態は、後述するように、いずれも車両の進行方向における単位時間当りの車両と物体の間の距離の変化であり、車両の速度から算出した第１の距離変化量と、画像の検出結果から算出した第２の距離変化量との比率に基づいて判定される。
　つぎに、図３から図７を参照して衝突判定装置の動作について説明する。まず、図３を参照して従来の衝突判定処理について説明する。図３は、従来の衝突判定処理の状況を示す図である。
　図３には、レーダ１２及びステレオカメラ１３の検出範囲Ａ１、Ａ２とともに、各センサ１２、１３により生成された物標の位置の変化が時系列的に示されている。物標としては、走行中の車両Ｃの前方を横断する例えば歩行者Ｐを想定している。
　図３（ａ）に示す状況では、歩行者Ｐが先行車Ｃ１、Ｃ２の陰から出現している。この場合、画像物標生成部２２は、歩行者Ｐを物体として認識して静止状態を判定し、画像物標生成部２２が静止状態を確認すると、衝突判定部２４は、衝突判定を行う。ここで、画像物標生成部２２による静止判定には画像の更新周期との関係で比較的長い処理時間を要する。よって、例えば図３（ａ）に示すように衝突回避支援の作動が遅れ又は適切に行われない場合がある。
　図３（ｂ）に示す状況では、歩行者Ｐは、車両Ｃの前方を素早く横断している。この場合、画像物標生成部２２は、歩行者Ｐを物体として認識して静止状態を判定する。ここで、画像物標生成部２２は、車両Ｃの進行方向と交差する方向、特に直交する方向における物体の速度も考慮して静止状態を判定する。よって、画像物標生成部２２が静止状態を確認しない限り、例えば図３（ｂ）に示すように衝突判定が行われなくなる。
　このため、図３（ａ）、（ｂ）に示すような状況では、早いタイミングで衝突判定を行えず、結果として、衝突回避支援の作動が遅れ又は適切に行われないことになる。
　つぎに、図４及び図５を参照して衝突判定装置の動作について説明する。図４は、衝突判定装置の動作を示すフローチャートである。図５は、図４に示す衝突判定処理の状況を示す図である。
　衝突判定装置は、図４に示す処理を処理周期毎に繰り返し実行する。図４に示すように、レーダ物標生成部２１は、レーダ１２の検出範囲内に物体が存在する場合にレーダ物標を生成する（ステップＳ１１）。画像物標生成部２２は、ステレオカメラ１３の検出範囲内に物体が存在する場合に画像物標を生成する（Ｓ１２）。合成物標生成部２３は、レーダ物標と画像物標の照合が得られる場合に合成物標を生成する（Ｓ１３）。衝突判定部２４は、レーダ物標、画像物標及び合成物標のそれぞれについて、衝突判定用のパラメータを算出する（Ｓ１４）。
　衝突判定部２４は、物体がレーダ１２により検出不能でありステレオカメラ１３により検出可能であるか否か、つまり合成物標が生成されていないか否かを判定する（Ｓ１５）。このような状況は、図２に示したように、物体がレーダ１２の検出範囲外でありステレオカメラ１３の検出範囲内に存在する場合に生じる。また、このような状況は、レーダ検出に失敗し画像検出に成功した場合、つまり、物体がレーダ１２により検出されずステレオカメラ１３により検出される場合にも生じる。
　合成物標が生成されていないと判定した場合、衝突判定部２４は、車両の進行方向において物体が静止しているか否かを判定する（Ｓ１６）。ここで、車両の進行方向において物体が静止しているとは、該方向における物体の速度が０又は略０であることを意味する。
　この判定では、後述するように、車両の速度から算出した第１の距離差（距離変化量）と、画像の検出結果から算出した第２の距離差（距離変化量）との比率（距離比）が閾値未満であるか否かが判定される。第１及び第２の距離差は、いずれも車両の進行方向における単位時間当りの車両と物体の間の距離の変化を表している。
　そして、車両の進行方向において物体が静止していると判定した場合、衝突判定部２４は、画像物標に基づいて、つまりステレオカメラ１３による検出結果に基づいて衝突判定を行う（Ｓ１７）。つまり、合成物標が生成されていない場合でも、走行中の車両の前方を横断する例えば歩行者を対象として、画像物標に基づいて衝突判定が行われる。
　なお、Ｓ１５にて合成物標が生成されていないと判定した場合、又はＳ１６にて車両の進行方向において物体が静止していると判定した場合、衝突判定部２４は、合成物標に基づいて衝突判定を行う（Ｓ１８）。
　図５には、図３と対比して、図４に示す衝突判定処理における物標の位置の変化が時系列的に示されている。図４に示す衝突判定処理において、衝突判定部２４は、画像物標生成部２２が歩行者を物体として認識した後、画像物標生成部２２の代わりに物体の静止状態を判定する。そして、衝突判定部２４は、物体の静止状態を確認すると、衝突判定を行う。
　よって、例えば図５（ａ）に示す状況では、物体を認識した直後に静止状態を確認し、早いタイミングで衝突判定を行うことができる。また、例えば図５（ｂ）に示すように、物体を認識した後に静止状態が確認されれば、早いタイミングで衝突判定を行うことができる。よって、衝突判定の結果に基づいて、衝突回避の作動を早めることができ、又は確実にすることができる。
　つぎに、図６及び図７を参照して衝突判定装置の具体的な動作について説明する。図６及び図７は、図４の動作を具体的に示すフローチャートである。なお、図６には示していないが、図４のＳ１１、Ｓ１２、Ｓ１３及びＳ１４について説明したとおり、レーダ物標の生成、画像物標の生成、合成物標の生成及び衝突判定用パラメータの算出が行われる。
　図６及び図７に示すように、衝突判定部２４は、画像単独判定フラグがオンであり、かつ新規フラグがオンであるか否かを判定する（Ｓ２１）。画像単独判定フラグとは、合成物標に代えて画像物標に基づいて衝突判定を行うことを許可するためのフラグである。このフラグは、車両の進行方向における物体の移動ベクトルが閾値未満である場合にオンとなる。新規フラグとは、物標が新規に生成されたことを示すフラグである。ここで、両方のフラグの条件を満たすと判定しなかった場合、画像物標に基づく衝突判定を行わないので、処理が終了する。
　一方、両方のフラグの条件を満たすと判定した場合、衝突判定部２４は、バッファフラグがオンであり、かつブレーキが事前制動状態又は介入制動状態でないか否かを判定する（Ｓ２２）。バッファフラグとは、画像物標の物標情報のバッファリングを許可するためのフラグである。また、事前制動状態又は介入制動状態とは、衝突回避支援の一環として行われる制動介入を意味する。ここで、バッファフラグ及び制動条件を満たすと判定しなかった場合、処理が後述のＳ３０に移る。
　一方、バッファフラグの条件及び制動条件を満たすと判定した場合、衝突判定部２４は、直前の処理周期における距離比をバッファリングするとともに、距離比の算出に用いる不感帯速度を設定する（Ｓ２３）。なお、距離比及び不感帯速度については後述する。
　衝突判定部２４は、車両の速度が速度閾値を超えており、かつ物体までの距離が直前の処理周期よりも短縮しているか否かを判定する（Ｓ２４）。速度閾値は、車両の静止状態を判定するために０又は略０に設定される。車両の速度としては、速度センサ１１の検出結果が用いられ、物体までの距離としては、画像物標の物標情報が用いられる。
　車両の速度及び物体までの距離の条件を満たすと判定した場合、衝突判定部２４は、車両の進行方向における単位時間当りの車両と物体の間の距離の変化を示す第１及び第２の距離差（距離変化量）を算出する（Ｓ２５）。距離差は、直前の処理周期と現在の処理周期との間に物体までの距離がどの程度変化したかを示す値であり、物体までの距離が短縮するほど大きな値となる。
　第１の距離差は、車両の速度に画像の更新周期を乗じた値である。車両の速度としては、速度センサ１１の検出結果が用いられ、画像の更新周期は、ステレオカメラ１３の特性値が用いられる。つまり、第１の距離差は、処理周期の間に車両が移動した距離（絶対距離）を表している。
　第２の距離差は、直前の処理周期における物体までの距離から現在の処理周期における物体までの距離を減じた値である。物体までの距離としては、画像物標の物標情報が用いられる。つまり、第２の距離差は、処理周期の間に物体に対して車両が移動した距離（相対距離）を表している。よって、車両の進行方向における物体の速度が０である場合、ステレオカメラ１３の検出誤差を理想的に０と仮定すると、第２の距離差が第１の距離差と等しくなる。
　衝突判定部２４は、第２の距離差が第１の距離差を超えているか否かを判定する（Ｓ２６）。そして、第２の距離差が第１の距離差を超えていると判定した場合、衝突判定部２４は、第１の距離比を算出する（Ｓ２７）。この場合、物体が車両の進行方向において車両に接近するように移動している可能性が高いことになる。
　一方、第２の距離差が第１の距離差を超えていると判定しなかった場合、衝突判定部２４は、第２の距離比を算出する（Ｓ２８）。この場合、物体が車両の進行方向において車両から離間するように移動している可能性が高いことになる。
　第１及び第２の距離比（Ｒ１、Ｒ２）は、第１及び第２の距離差（Ｄ１、Ｄ２）、画像の更新周期（Ｃｕ）、及び不感帯速度（Ｖｄ）を用いて次式のとおり算出される。ここで、不感帯速度とは、ステレオカメラ１３の検出誤差を考慮するとともに、車両の進行方向に僅かに移動している物体を静止物として判定するために設定される速度であり、車両の進行方向における物体の想定速度及びステレオカメラ１３の検出誤差を考慮し、０ではなく略０の値に設定される。
　　Ｒ１＝Ｍａｘ（０、（Ｄ２－Ｖｄ・Ｃｕ）／Ｄ１－１）　…（１）
　　Ｒ２＝ｍｉｎ（０、（Ｄ２＋Ｖｄ・Ｃｕ）／Ｄ１－１）　…（２）
　第１及び第２の距離比は、第２の距離差の補正値と第１の距離差との比であり、車両の進行方向における物体の速度が０に近いほど小さい値として算出される。第２の距離差は、ステレオカメラ１３の検出誤差と、車両の進行方向における物体の速度を考慮して補正される。つまり、第１及び第２の距離比は、物体が車両の進行方向において静止しているか否かを判定するための指標として用いられる。
　一方、Ｓ２４にて車両の速度及び物体までの距離の条件を満たすと判定しなかった場合、衝突判定部２４は、第３の距離比を算出する（Ｓ２９）。第３の距離比は、最大値（∞）として算出され、結果的に、横断歩行者などの「静止物」に対する衝突判定が行われない。
　Ｓ２７、Ｓ２８又はＳ２９にて距離比を算出すると、衝突判定部２４は、静止物トラッキング中であるか否かを判定する（Ｓ３０）。ここで、静止物トラッキングは、車両の進行方向における物体の移動ベクトルが閾値未満である場合に行われる。静止物トラッキング中であるか否かは、合成物標生成部２２から供給されるフラグに基づいて判定される。
　静止物トラッキング中であると判定した場合、衝突判定部２４は、物体を静止物と判定し、衝突判定に用いる物体の相対速度として、トラッキングに用いる画像速度を設定する（Ｓ３１）。画像速度は、画像物標の物標情報を用いて、物体までの距離の単位時間当り変化量として算出される。これは、すでに静止物としてトラッキングされている物体は、静止物である可能性が高いためである。
　一方、静止物トラッキング中であると判定しなかった場合、衝突判定部２４は、距離比が判定閾値未満であるか否かを判定する（Ｓ３２）。判定閾値は、物体が車両の進行方向において殆ど移動しない静止物であるか否かを判定するための閾値である。そして、距離比が判定閾値未満であると判定した場合、衝突判定部２４は、物体を静止物と判定し、衝突判定に用いる物体の相対速度として、速度センサ１１により検出された車両速度を設定する（Ｓ３３）。これは、距離比が判定閾値未満である物体は、車両の進行方向における物体の速度が０に近いので、静止物である可能性が高いためである。
　一方、距離比が判定閾値未満であると判定しなかった場合、衝突判定部２４は、物体を移動物と判定し、衝突判定に用いる物体の相対速度として最大値（∞）を設定する（Ｓ３４）。これは、距離比が判定閾値以上である物体は、車両の進行方向における物体の速度が大きいので、移動物である可能性が高いためである。この場合、結果的に、横断歩行者などの「静止物」に対する衝突判定が行われない。
　Ｓ３１又はＳ３３にて物体を静止物と判定した場合、衝突判定部２４は、画像物標に基づいて衝突判定を行う（Ｓ３５）。衝突判定部２４は、画像物標のパラメータが所定の閾値を満たす場合、設定した物体の相対速度により物体までの距離を除して衝突時間を算出し、衝突時間が閾値未満であるか否かに基づいて、物体との衝突可能性を判定する。そして、衝突可能性が高いと判定すると、衝突判定部２４は、衝突回避支援を作動すると決定する一方、衝突可能性が低いと判定すると、衝突回避支援を作動しないと決定する。
　以上説明したように、本発明の実施形態に係る衝突判定装置によれば、物体がレーダ１２により検出不能でありステレオカメラ１３により検出可能であり、且つ衝突判定部２４により物体が車両の進行方向において静止していると判定した場合、合成物標に基づく衝突判定に代えて、ステレオカメラ１３の検出結果に基づいて衝突判定が行われる。よって、衝突判定部２４による静止判定により処理時間が短縮されるとともに、ステレオカメラ１３による検出結果に基づいて早いタイミングで衝突判定を行うことができる。
　また、車両の進行方向における単位時間当りの車両と物体の間の距離の変化として車両の速度から算出した第１の距離変化量と、車両の進行方向における単位時間当りの車両と物体の間の距離の変化量として画像の検出結果から算出した第２の距離変化量との比率に基づいて、物体が車両の進行方向において静止しているか否かを判定してもよい。これにより、第１の距離変化量と第２の距離変化量との比率に基づいて、物体の静止状態を高速に判定できる。
　また、第１の距離変化量と第２の距離変化量との比率が閾値未満である場合、物体が車両の進行方向において静止していると判定してもよい。
　また、物体がレーダ１２の検出範囲外でありステレオカメラ１３の検出範囲内に存在し、且つ物体が車両の進行方向において静止していると判定した場合、ステレオカメラ１３による検出結果に基づいて衝突判定を行ってもよい。
　また、物体がレーダ１２により検出されずステレオカメラ１３により検出され、且つ物体が車両の進行方向において静止していると判定した場合、ステレオカメラ１３による検出結果に基づいて衝突判定を行ってもよい。
　また、合成物標が生成され、生成された合成物標が解除された場合、ステレオカメラ１３による検出結果に基づいて衝突判定を行ってもよい。
　また、レーダ１２の検出範囲とステレオカメラ１３の検出範囲とが部分的に重なり、レーダ１２により検出されずステレオカメラ１３により検出される領域が存在してもよい。
　また、レーダ１２は、ミリ波により車両前方の物体を検出してもよい。
　なお、前述した実施形態は、本発明に係る衝突判定装置及び衝突判定方法の最良な実施形態を説明したものであり、本発明に係る衝突判定装置及び衝突判定方法は、本実施形態に記載したものに限定されるものではない。本発明に係る衝突判定装置及び衝突判定方法は、各請求項に記載した発明の要旨を逸脱しない範囲で本実施形態に係る衝突判定装置及び衝突判定方法を変形し、または他のものに適用したものであってもよい。
　例えば、上記実施形態の説明では、レーダ物標生成部２１及び画像物標生成部２２の機能をＥＣＵ２０により実現する場合について説明した。しかし、レーダ物標生成部２１の機能を単独のＥＣＵ、例えばレーダセンサ用ＥＣＵにより実現し、画像物標生成部２２の機能を単独のＥＣＵ、例えば画像センサ用ＥＣＵにより実現してもよい。
　また、上記実施形態の説明では、レーダ１２及びステレオカメラ１３の検出範囲Ａ１、Ａ２が車両の進行方向に対して左右対称であり、対称的に重なっている場合について説明した。しかし、両方のセンサ１２、１３の検出範囲Ａ１、Ａ２は、部分的に重なり、レーダ１２により検出されず、ステレオカメラ１３により検出される領域が存在していればよく、必ずしも車両の進行方向に対して左右対称であり対称的に重なっている必要はない。
　１１…速度センサ、１２…レーダ、１３…ステレオカメラ、２０…ＥＣＵ、２１…レーダ物標生成部、２２…画像物標生成部、２３…合成物標生成部、２４…衝突判定部。

Claims (9)

  1. 　レーダ波により車両前方の物体を検出するレーダ検出部と、
    　前記車両前方を撮像し撮像した画像により前記物体を検出する画像検出部と、
    　前記レーダ検出部による検出結果と前記画像検出部による検出結果を用いて生成された合成物標に基づいて前記車両と前記物体の衝突を判定する衝突判定部と、
    を備え、
    　前記衝突判定部は、前記物体が前記レーダ検出部により検出不能であり前記画像検出部により検出可能であり、且つ前記物体が前記車両の進行方向において静止していると判定した場合、前記合成物標に基づく衝突判定に代えて、前記画像検出部による検出結果に基づいて衝突判定を行う衝突判定装置。
  2. 　前記衝突判定部は、前記車両の進行方向における単位時間当りの前記車両と前記物体の間の距離の変化として前記車両の速度から算出した第１の距離変化量と、前記車両の進行方向における単位時間当りの前記車両と前記物体の間の距離の変化として前記画像の検出結果から算出した第２の距離変化量との比率に基づいて、前記物体が前記車両の進行方向において静止しているか否かを判定する、請求項１に記載の衝突判定装置。
  3. 　前記衝突判定部は、前記第１の距離変化量と前記第２の距離変化量との前記比率が閾値未満である場合、前記物体が前記車両の進行方向において静止していると判定する、請求項２に記載の衝突判定装置。
  4. 　前記衝突判定部は、前記物体が前記レーダ検出部の検出範囲外であり前記画像検出部の検出範囲内に存在し、且つ前記物体が前記車両の進行方向において静止していると判定した場合、前記画像検出部による検出結果に基づいて衝突判定を行う、請求項１～３のいずれか一項に記載の衝突判定装置。
  5. 　前記衝突判定部は、前記物体が前記レーダ検出部により検出されず前記画像検出部により検出され、且つ前記物体が前記車両の進行方向において静止していると判定した場合、前記画像検出部による検出結果に基づいて衝突判定を行う、請求項１～３のいずれか一項に記載の衝突判定装置。
  6. 　前記衝突判定部は、前記合成物標が生成され、生成された前記合成物標が解除された場合、前記画像検出部による検出結果に基づいて衝突判定を行う、請求項１～３のいずれか一項に記載の衝突判定装置。
  7. 　前記レーダ検出部の検出範囲と前記画像検出部の検出範囲とが部分的に重なり、前記レーダ検出部により検出されず前記画像検出部により検出される領域が存在する、請求項１～６のいずれか一項に記載の衝突判定装置。
  8. 　前記レーダ検出部は、ミリ波により前記車両前方の前記物体を検出する、請求項１～７のいずれか一項に記載の衝突判定装置。
  9. 　レーダ波により車両前方の物体を検出し、
    　前記車両前方を撮像し撮像した画像により前記物体を検出し、
    　前記レーダ検出による検出結果と前記画像検出による検出結果を用いて生成された合成物標に基づいて前記車両と前記物体の衝突を判定する衝突判定方法において、
    　前記物体が前記レーダ検出により検出不能であり前記画像検出により検出可能であり、且つ前記物体が前記車両の進行方向において静止していると判定した場合、前記合成物標に基づく衝突判定に代えて、前記画像検出による検出結果に基づいて衝突判定を行うこと、
    を含む衝突判定方法。
     
PCT/JP2012/072365 2012-09-03 2012-09-03 衝突判定装置及び衝突判定方法 WO2014033957A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP12883649.1A EP2894617B1 (en) 2012-09-03 2012-09-03 Collision determination device and collision determination method
PCT/JP2012/072365 WO2014033957A1 (ja) 2012-09-03 2012-09-03 衝突判定装置及び衝突判定方法
US14/425,240 US9405006B2 (en) 2012-09-03 2012-09-03 Collision determination device and collision determination method
JP2014532717A JP5862785B2 (ja) 2012-09-03 2012-09-03 衝突判定装置及び衝突判定方法
CN201280075571.0A CN104603855B (zh) 2012-09-03 2012-09-03 碰撞判定装置和碰撞判定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/072365 WO2014033957A1 (ja) 2012-09-03 2012-09-03 衝突判定装置及び衝突判定方法

Publications (1)

Publication Number Publication Date
WO2014033957A1 true WO2014033957A1 (ja) 2014-03-06

Family

ID=50182801

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/072365 WO2014033957A1 (ja) 2012-09-03 2012-09-03 衝突判定装置及び衝突判定方法

Country Status (5)

Country Link
US (1) US9405006B2 (ja)
EP (1) EP2894617B1 (ja)
JP (1) JP5862785B2 (ja)
CN (1) CN104603855B (ja)
WO (1) WO2014033957A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016072327A1 (ja) * 2014-11-04 2016-05-12 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイおよび情報処理方法
JP2019175372A (ja) * 2018-03-29 2019-10-10 株式会社パル技研 危険予測装置、危険予測方法、及びプログラム

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5991332B2 (ja) * 2014-02-05 2016-09-14 トヨタ自動車株式会社 衝突回避制御装置
US10890648B2 (en) * 2014-10-24 2021-01-12 Texas Instruments Incorporated Method and apparatus for generating alignment matrix for camera-radar system
JP6428482B2 (ja) * 2015-05-18 2018-11-28 トヨタ自動車株式会社 車両用制御装置
JP2016224615A (ja) * 2015-05-28 2016-12-28 株式会社デンソー 警報制御装置
US11543513B2 (en) * 2015-09-30 2023-01-03 Sony Corporation Information processing apparatus, information processing method and program
EP3358368A4 (en) * 2015-09-30 2019-03-13 Sony Corporation SIGNAL PROCESSING APPARATUS, SIGNAL PROCESSING METHOD, AND PROGRAM
US9870708B2 (en) 2016-03-12 2018-01-16 Wipro Limited Methods for enabling safe tailgating by a vehicle and devices thereof
US10145951B2 (en) * 2016-03-30 2018-12-04 Aptiv Technologies Limited Object detection using radar and vision defined image detection zone
CN106379319B (zh) * 2016-10-13 2019-11-19 上汽大众汽车有限公司 一种汽车辅助驾驶系统及控制方法
US10338208B2 (en) * 2016-10-27 2019-07-02 GM Global Technology Operations LLC Object detection in multiple radars
JP6454368B2 (ja) * 2017-03-15 2019-01-16 株式会社Ｓｕｂａｒｕ 車両の表示システム及び車両の表示システムの制御方法
CN111052201B (zh) * 2017-09-01 2022-02-01 株式会社村上开明堂 碰撞预测装置、碰撞预测方法以及存储介质
JP7195098B2 (ja) * 2018-09-27 2022-12-23 株式会社Subaru 車両用通信装置、並びにこれを用いる車両制御システムおよび交通システム
JP2020091672A (ja) * 2018-12-06 2020-06-11 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ 鞍乗型車両のライダー支援システムのための処理装置及び処理方法、鞍乗型車両のライダー支援システム、及び、鞍乗型車両
JP2022028989A (ja) * 2018-12-18 2022-02-17 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、および情報処理方法、並びにプログラム
US10776673B2 (en) * 2019-01-31 2020-09-15 StradVision, Inc. Learning method and learning device for sensor fusion to integrate information acquired by radar capable of distance estimation and information acquired by camera to thereby improve neural network for supporting autonomous driving, and testing method and testing device using the same
JP2020179808A (ja) * 2019-04-26 2020-11-05 トヨタ自動車株式会社 車両制御装置
JP7268490B2 (ja) * 2019-06-13 2023-05-08 株式会社デンソー 物体認識装置、運転支援システム
CN110395111A (zh) * 2019-08-05 2019-11-01 深圳市威尔电器有限公司 汽车安全驾驶监控方法、监控中心、辅助装置
JP7131508B2 (ja) * 2019-08-21 2022-09-06 トヨタ自動車株式会社 レーダ装置
US11180148B2 (en) * 2019-09-03 2021-11-23 Ford Global Technologies, Llc Detection and response to confined trailer in system-assisted hitch operation
JP7328863B2 (ja) * 2019-10-11 2023-08-17 株式会社デンソー 制御装置
CN111289967A (zh) * 2020-03-31 2020-06-16 四川长虹电器股份有限公司 基于毫米波雷达的人员检测跟踪与计数算法
US11328601B1 (en) 2021-02-22 2022-05-10 Volvo Car Corporation Prevention of low-speed sideswipe collisions with non-moving objects
JP7468409B2 (ja) * 2021-03-01 2024-04-16 トヨタ自動車株式会社 車両衝突回避支援装置
CN114333318B (zh) * 2021-12-31 2023-04-28 成都路行通信息技术有限公司 一种基于传感器空间角摩托车碰撞检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005084034A (ja) 2003-09-11 2005-03-31 Toyota Motor Corp 物体検出装置
JP2007091102A (ja) * 2005-09-29 2007-04-12 Toyota Motor Corp 障害物検出装置
JP2008276689A (ja) * 2007-05-07 2008-11-13 Mitsubishi Electric Corp 車両用障害物認識装置
JP2009186260A (ja) * 2008-02-05 2009-08-20 Nissan Motor Co Ltd 物体検出装置及び測距方法
JP2011221630A (ja) * 2010-04-06 2011-11-04 Honda Motor Co Ltd 車両の周辺監視装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0717347A (ja) * 1993-07-07 1995-01-20 Mazda Motor Corp 自動車の障害物検知装置
JPH09142236A (ja) * 1995-11-17 1997-06-03 Mitsubishi Electric Corp 車両の周辺監視方法と周辺監視装置及び周辺監視装置の故障判定方法と周辺監視装置の故障判定装置
JP3658519B2 (ja) * 1999-06-28 2005-06-08 株式会社日立製作所 自動車の制御システムおよび自動車の制御装置
JP4308381B2 (ja) * 1999-09-29 2009-08-05 富士通テン株式会社 周辺監視センサ
JP2001134769A (ja) * 1999-11-04 2001-05-18 Honda Motor Co Ltd 対象物認識装置
US20010031068A1 (en) * 2000-04-14 2001-10-18 Akihiro Ohta Target detection system using radar and image processing
JP2002189075A (ja) * 2000-12-20 2002-07-05 Fujitsu Ten Ltd 道路上方静止物検知方法
DE10133945A1 (de) * 2001-07-17 2003-02-06 Bosch Gmbh Robert Verfahren und Vorrichtung zum Austausch und zur Verarbeitung von Daten
US6771208B2 (en) * 2002-04-24 2004-08-03 Medius, Inc. Multi-sensor system
JP4305191B2 (ja) * 2004-01-21 2009-07-29 トヨタ自動車株式会社 車両用衝突推定装置
JP4763250B2 (ja) * 2004-04-09 2011-08-31 株式会社デンソー 物体検出装置
JP4684954B2 (ja) * 2005-08-31 2011-05-18 本田技研工業株式会社 車両の走行安全装置
JP2007155469A (ja) * 2005-12-05 2007-06-21 Alpine Electronics Inc 車間距離検出装置および車間距離検出方法
JP4595833B2 (ja) * 2006-02-24 2010-12-08 トヨタ自動車株式会社 物体検出装置
JP4211809B2 (ja) * 2006-06-30 2009-01-21 トヨタ自動車株式会社 物体検出装置
EP2122599B1 (en) * 2007-01-25 2019-11-13 Magna Electronics Inc. Radar sensing system for vehicle
JP4453775B2 (ja) * 2008-06-27 2010-04-21 トヨタ自動車株式会社 物体検出装置
JP2010018080A (ja) 2008-07-09 2010-01-28 Mazda Motor Corp 車両の運転支援装置
DE102009021229A1 (de) * 2009-05-19 2010-01-21 Daimler Ag Kamerabasierte Objektverarbeitung für die Abstandsregelung eines Fahrzeugs zur kraftstoffsparenden Einreglung des Sollabstandes
JP2011164989A (ja) * 2010-02-10 2011-08-25 Toyota Motor Corp ふらつき判定装置
JP5515969B2 (ja) * 2010-03-30 2014-06-11 ソニー株式会社 送信装置及び方法、並びにプログラム
WO2012033173A1 (ja) * 2010-09-08 2012-03-15 株式会社豊田中央研究所 移動物予測装置、仮想可動物予測装置、プログラム、移動物予測方法、及び仮想可動物予測方法
JP2012103858A (ja) * 2010-11-09 2012-05-31 Toyota Motor Corp 障害物認識装置
CN102542843A (zh) * 2010-12-07 2012-07-04 比亚迪股份有限公司 防止车辆碰撞的预警方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005084034A (ja) 2003-09-11 2005-03-31 Toyota Motor Corp 物体検出装置
JP2007091102A (ja) * 2005-09-29 2007-04-12 Toyota Motor Corp 障害物検出装置
JP2008276689A (ja) * 2007-05-07 2008-11-13 Mitsubishi Electric Corp 車両用障害物認識装置
JP2009186260A (ja) * 2008-02-05 2009-08-20 Nissan Motor Co Ltd 物体検出装置及び測距方法
JP2011221630A (ja) * 2010-04-06 2011-11-04 Honda Motor Co Ltd 車両の周辺監視装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2894617A4

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016072327A1 (ja) * 2014-11-04 2016-05-12 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイおよび情報処理方法
JP2016090772A (ja) * 2014-11-04 2016-05-23 株式会社ソニー・コンピュータエンタテインメント ヘッドマウントディスプレイおよび情報処理方法
US10185146B2 (en) 2014-11-04 2019-01-22 Sony Interactive Entertainment Inc. Head mounted display and information processing method
US10914947B2 (en) 2014-11-04 2021-02-09 Sony Interactive Entertainment Inc. Head mounted display and information processing method
JP2019175372A (ja) * 2018-03-29 2019-10-10 株式会社パル技研 危険予測装置、危険予測方法、及びプログラム
JP7033308B2 (ja) 2018-03-29 2022-03-10 株式会社パル技研 危険予測装置、危険予測方法、及びプログラム

Also Published As

Publication number Publication date
EP2894617B1 (en) 2016-11-30
US9405006B2 (en) 2016-08-02
US20150234044A1 (en) 2015-08-20
EP2894617A1 (en) 2015-07-15
JP5862785B2 (ja) 2016-02-16
CN104603855B (zh) 2016-06-22
CN104603855A (zh) 2015-05-06
JPWO2014033957A1 (ja) 2016-08-08
EP2894617A4 (en) 2015-11-11

Similar Documents

Publication Publication Date Title
JP5862785B2 (ja) 衝突判定装置及び衝突判定方法
US9470790B2 (en) Collision determination device and collision determination method
JP6011625B2 (ja) 速度算出装置及び速度算出方法並びに衝突判定装置
US20140333467A1 (en) Object detection device
JP5979232B2 (ja) 衝突判定装置及び衝突判定方法
US10471961B2 (en) Cruise control device and cruise control method for vehicles
US20140340518A1 (en) External sensing device for vehicle, method of correcting axial deviation and recording medium
JP6787157B2 (ja) 車両制御装置
US10527719B2 (en) Object detection apparatus and object detection method
JP5785578B2 (ja) 車両周辺監視装置
JP6504078B2 (ja) 衝突予測装置
JP2018097765A (ja) 物体検出装置、及び物体検出方法
JP2019052920A (ja) 物体検出装置、物体検出方法及び車両制御システム
JP2009019914A (ja) 物体検出装置
WO2017138329A1 (ja) 衝突予測装置
WO2017163736A1 (ja) 移動軌跡検出装置、移動物体検出装置、移動軌跡検出方法
WO2014033958A1 (ja) 衝突判定装置及び衝突判定方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12883649

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014532717

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14425240

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2012883649

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2012883649

Country of ref document: EP