WO2011114815A1 - 車両周辺監視装置 - Google Patents

車両周辺監視装置 Download PDF

Info

Publication number
WO2011114815A1
WO2011114815A1 PCT/JP2011/052724 JP2011052724W WO2011114815A1 WO 2011114815 A1 WO2011114815 A1 WO 2011114815A1 JP 2011052724 W JP2011052724 W JP 2011052724W WO 2011114815 A1 WO2011114815 A1 WO 2011114815A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
type determination
monitoring device
determination unit
wheeled vehicle
Prior art date
Application number
PCT/JP2011/052724
Other languages
English (en)
French (fr)
Inventor
守道 西垣
裕次 横地
敦央 江口
昌樹 根來
澤田　健一
Original Assignee
本田技研工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 本田技研工業株式会社 filed Critical 本田技研工業株式会社
Priority to US13/577,125 priority Critical patent/US8988276B2/en
Priority to JP2012505568A priority patent/JPWO2011114815A1/ja
Priority to EP11756005.2A priority patent/EP2506234A4/en
Priority to CN2011800056618A priority patent/CN102713989A/zh
Publication of WO2011114815A1 publication Critical patent/WO2011114815A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/589—Velocity or trajectory determination systems; Sense-of-movement determination systems measuring the velocity vector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415—Identification of targets based on measurements of movement associated with the target
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/015—Detecting movement of traffic to be counted or controlled with provision for distinguishing between two or more types of vehicles, e.g. between motor-cars and cycles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection

Definitions

  • the present invention relates to a vehicle periphery monitoring device for recognizing an object located around a vehicle using position information of an object by a radar mounted on the vehicle and a captured image by a camera mounted on the vehicle.
  • a vehicle is equipped with a radar and a camera, and the type of detected object is determined based on the distance to the object detected by the radar and the image of the object captured by the camera.
  • An apparatus has been proposed (see, for example, Patent Document 1).
  • the relative speed between the host vehicle and the object is calculated from the change in the distance to the object detected by the radar, and the relative speed and the vehicle speed sensor detected by the vehicle speed sensor are calculated.
  • the moving speed (absolute speed) of the object is calculated based on the traveling speed.
  • the object is another vehicle, a two-wheeled vehicle, a road structure. , A pedestrian, or any other object.
  • an object of the present invention is to provide a vehicle periphery monitoring device that prevents the accuracy of object type determination from being lowered when the reliability of a captured image of a camera is lowered due to environmental influences.
  • the present invention has been made to achieve the above object, and a radar mounted on a vehicle for detecting a relative position between an object located within a first monitoring range around the vehicle and the vehicle, and the vehicle Type determination that determines the type of an object located in the vicinity of the vehicle, based on a camera that is mounted on the camera and captures a second monitoring range that overlaps the first monitoring range, and data detected by the radar and an image captured by the camera
  • the vehicle periphery monitoring apparatus provided with the part.
  • a movement direction determination unit that determines whether the object is moving in the traveling direction of the vehicle or in a transverse direction orthogonal to the traveling direction from a change in detection position or detection speed of the object by the radar.
  • the type determining unit has an object whose size determined from the detection position by the radar is within a first predetermined range for an object determined to be moving in the traveling direction by the moving direction determining unit.
  • the first type determination process for determining that the object is a four-wheeled vehicle, and the determined object moving in the transverse direction by the movement direction determination unit from the detection position by the radar When the size of the object is within a second predetermined range, a second type determination process for determining that the object is a four-wheeled vehicle is executed.
  • the movement direction (traveling direction / crossing direction) of the object detected by the radar is determined by the movement direction determination unit.
  • the type determination unit is configured to determine the first type determination process or the second type determination based on the size of the object obtained from the detection position by the radar for each movement direction for the object whose movement direction is determined. Processing is performed to determine whether the object is a four-wheeled vehicle. In this case, since the determination is made without using the captured image of the camera for the four-wheeled vehicle, the object is a four-wheeled vehicle when the reliability of the captured image of the camera is lowered due to the influence of the environment. It is possible to prevent the determination accuracy of.
  • the type determination unit determines whether the object is a two-wheeled vehicle according to the size and speed of the object for a size smaller than the first predetermined range.
  • the type of the object is determined by classifying whether the vehicle is a two-wheeled vehicle or a bicycle, a two-wheeled vehicle or a bicycle or a pedestrian, a two-wheeled vehicle or a bicycle, a pedestrian, or a structure.
  • the classification according to the size and speed of the object is performed to narrow down the type of the object to some extent, and then the captured image
  • the object type can be determined by Therefore, it is possible to efficiently perform the object type determination based on the captured image, and it is possible to reduce the erroneous type determination.
  • the type determination unit determines whether the object is a two-wheeled vehicle according to the size and speed of the object for a size smaller than the second predetermined range. It is a motorcycle, a bicycle, a two-wheeled motorist, a bicycle or a structure, a pedestrian, a pedestrian or a structure, and the type of the object is determined. To do.
  • the classification according to the size and speed of the object is performed to narrow down the type of the object to some extent, and then the captured image
  • the object type can be determined by Therefore, it is possible to efficiently perform the object type determination based on the captured image, and it is possible to reduce the erroneous type determination.
  • the type determination unit for the object that is not determined to be a four-wheeled vehicle by the first determination process or the second determination process, the reflection intensity level or reflection intensity of the object detected by the radar The type of the object is determined based on the distribution of.
  • the type determination unit can determine the type of the object based on the reflection intensity level or the reflection intensity distribution of the object detected by the radar. Also in this case, since the type is determined without using the captured image of the camera, the accuracy of the object type determination is reduced when the reliability of the captured image of the camera is reduced due to the influence of the environment. This can be prevented.
  • the type determination unit is configured to reflect a reflector attached to the object based on a reflection intensity level of the object detected by the radar for an object that is not determined to be a four-wheeled vehicle by the second type determination process. And detecting whether the object is a two-wheeled vehicle or a bicycle based on the position or number of the reflector in the object.
  • the type determination unit determines whether the object is a motorcycle or a bicycle based on the detected position or the detected number of reflectors in the object. It can be determined whether there is.
  • the type determination of the motorcycle and the bicycle is performed without using the captured image of the camera, the type determination of the object is performed when the reliability of the captured image of the camera is lowered due to the influence of the environment. It is possible to prevent the accuracy of the decrease.
  • the type determination unit is configured to reflect a reflector attached to the object based on the reflection intensity level of the object detected by the radar for an object that has not been determined to be a four-wheeled vehicle by the second type determination process.
  • the position of the reflector in the object changes periodically, it is determined that the object is a bicycle.
  • the type determination unit can determine that the object detected by the radar is a bicycle.
  • the type of the object is determined. It is possible to prevent the determination accuracy from being lowered.
  • the block diagram of the vehicle periphery monitoring apparatus of this invention Explanatory drawing of the attachment aspect to the vehicle of a vehicle periphery monitoring apparatus. Explanatory drawing of the classification determination of the object located in the advancing direction. Explanatory drawing of the object type determination which considered the reflection intensity of the laser radar. Explanatory drawing of discrimination
  • a vehicle periphery monitoring device irradiates an object with a ECU (Electronic Control Unit) 1, an infrared camera (corresponding to the camera of the present invention) capable of detecting far infrared rays, and a laser beam.
  • the laser radar 8 (corresponding to the radar of the present invention) that detects the relative position (including the relative distance) in real space between the object and the vehicle by receiving the reflected wave, and the yaw rate that detects the yaw rate of the vehicle
  • a sensor 3 and a vehicle speed sensor 4 for detecting the traveling speed of the vehicle are provided.
  • the ECU 1 determines the type of an object located in front of the vehicle (four-wheeled vehicle, two-wheeled vehicle, bicycle, pedestrian, etc.) from the detection data of the position of the object by the laser radar 8 and the image captured by the infrared camera 2. An alarm is output when a bicycle or pedestrian that is likely to come into contact is detected.
  • the vehicle periphery monitoring apparatus is provided with the speaker 5 for performing a warning by an audio
  • the laser radar 8 is a scanning type laser radar and is disposed in the front portion of the vehicle 10. Then, the laser radar 8 scans in a horizontal direction and a vertical direction within a first monitoring range set in advance (the traveling direction of the vehicle 10).
  • the infrared camera 2 has a characteristic that the output level increases (the luminance increases) as the temperature of the imaged object increases.
  • the infrared camera 2 is arranged in the front portion of the vehicle 10 and images a second front monitoring range (set within the first monitoring range) set in advance.
  • the HUD 7 is provided so that the screen 7 a is displayed at a front position on the driver side of the front window of the vehicle 10.
  • the ECU 1 converts an analog video signal output from the infrared camera 2 into digital data and imports it into an image memory, and an interface for accessing (reading and writing) the image data captured in the image memory
  • the ECU 1 is a computer (an arithmetic processing circuit composed of a CPU, a memory, an input / output circuit, etc., or a microcomputer integrating these functions) that performs various arithmetic processes on image data in front of the vehicle captured in the image memory. ) And the like.
  • the computer moves the object located in the vicinity of the vehicle 10 based on the detection data from the laser radar 8 (the traveling direction / crossing direction of the vehicle 10).
  • the moving direction determination unit 20 that determines the type of the object
  • the type determination unit 21 that determines the type of the object located around the vehicle 10 from the detection data by the laser radar 8 and the image captured by the infrared camera 2, and the detection data by the laser radar 8
  • an object detection unit 22 that detects an object (object) that is highly likely to come into contact with the vehicle 10 from the captured image of the infrared camera 2.
  • the moving direction determination unit 20 determines that the moving direction of the object is the moving direction of the vehicle 10 when the position of the object detected by the laser radar 8 changes in the moving direction (front-rear direction) of the vehicle. To do. Further, when the position of the object detected by the laser radar 8 changes in the vehicle transverse direction (left-right direction), the movement direction determination unit 20 is in the direction transverse to the vehicle 10. Is determined.
  • the speed of the object (relative speed with respect to the vehicle 10) may be detected from the change in the position of the object detected by the laser radar 8, and the moving direction of the object may be determined from the direction of the speed.
  • the object detection unit 22 reads the outputs of the vehicle speed sensor 4 and the yaw rate sensor 3 and calculates the turning angle of the vehicle 10. Then, based on the distance measurement data from the laser radar 8, the object located in the first monitoring area is tracked while the turning angle correction is performed. Further, when the object detection unit 22 determines that the object being tracked is a pedestrian or a bicycle that has a high possibility of contact with the vehicle 10 from an image captured by the infrared camera 2, the display on the HUD 7 And informing by voice output from the speaker 5.
  • the type determining unit 21 calculates the relative speed of the object with respect to the vehicle 10 from the change in the position of the object detected by the laser radar 8, and from the relative speed and the traveling speed of the vehicle 10 detected by the vehicle speed sensor 4, The absolute velocity of this object is calculated.
  • the type determination unit 21 recognizes the size of the object from the position detection data obtained by the laser radar 8 and determines the type of the object by the following first type determination process or second type determination process.
  • the type determination unit 21 executes the first type determination process when the movement direction determination unit 20 determines that the movement direction is the traveling direction of the vehicle 10. In the first type determination process, as shown in FIG. 3, the type determination unit 21 performs the object speed (absolute speed) and the object width (the width of the object in the transverse direction with respect to the vehicle 10, the size of the object of the present invention). The type of the object is determined.
  • the vertical axis is set to the moving speed (absolute speed) of the object
  • the horizontal axis is set to the width of the object (width in the transverse direction of the vehicle 10)
  • the corresponding type range is shown.
  • A1 having a width of 1.5 m to 2.5 m (corresponding to the first predetermined range of the present invention) is assigned to a four-wheeled vehicle.
  • the speed of an object can be easily classified by using the maximum speed obtained by tracking the speed of the object for a predetermined time instead of the speed at a certain moment.
  • the range A2 where the speed exceeds 30km / h is a two-wheeled vehicle
  • the range A3 where the speed is 8km / h to 30km / h is a two-wheeled vehicle, a bicycle
  • the speed is 8km.
  • the range A4 less than / h is allocated to motorcycles, bicycles and pedestrians.
  • a range A5 where the speed is near 0 km / h is allocated to two-wheeled vehicles, bicycles, pedestrians, and structures.
  • the type determination unit 21 determines that an object belonging to A1 is a four-wheeled vehicle, and determines that an object belonging to A2 is a two-wheeled vehicle. Further, it is determined whether or not the object belonging to A4 is a pedestrian based on the difference in reflection intensity of the laser radar 8 shown in FIG.
  • FIG. 4 is obtained by adding a classification according to the intensity of the reflection intensity of the object to FIG. 3, and determines that an object having a low reflection intensity belonging to A 4 (the reflection intensity level is less than a predetermined threshold) is a pedestrian. To do.
  • the type determining unit 21 detects the reflector from the distribution of the reflection intensity of the object, and determines the two-wheeled vehicle belonging to A3 or A4 and the bicycle.
  • the two-wheeled vehicle 31 of FIG. 5 one reflector 31a having a high reflection intensity can be detected.
  • the reflector having a high reflection intensity includes the left and right pedal parts 32b, 32c is detected.
  • the type determination unit 21 can distinguish and determine a two-wheeled vehicle and a bicycle based on the difference in the position or number of the detected reflectors.
  • the four-wheeled vehicle 30 can also be determined separately from the two-wheeled vehicle and the bicycle by the difference in the position (height from the ground surface) or the number of the reflectors 30a and 30b.
  • the type determining unit 21 determines that this object is a two-wheeled vehicle when a reflector (a portion where the reflection intensity is equal to or higher than a predetermined level) is detected with respect to an object belonging to A3 or A4. judge.
  • the type determination unit 21 determines whether or not the object belonging to A4 is a pedestrian from the characteristics of the image portion in the image captured by the infrared camera 2.
  • the type determination unit 21 has characteristics of an assumed structure such as a power pole or a roadside tree and a two-wheeled vehicle from an image captured by the infrared camera 2 for an object belonging to A5 (having an image portion of a heat source such as a muffler). After performing the process of excluding those having, the bicycle and the pedestrian are discriminated based on the above-described difference in reflection intensity, the presence or absence of a reflector, and the like.
  • the type determining unit 21 executes the second type determining process when the moving direction determining unit 20 determines that the moving direction is the transverse direction with respect to the vehicle 10.
  • the type determination unit 21 determines the object according to the speed of the object (absolute speed) and the width of the object (width in the direction orthogonal to the traveling direction of the vehicle). Determine the type.
  • the vertical axis is set to the moving speed (absolute speed) of the object
  • the horizontal axis is set to the width of the object (the width in the transverse direction with respect to the vehicle 10, corresponding to the size of the object of the present invention).
  • the range of the corresponding type is shown.
  • First, B1 which is a range whose width exceeds 2.5 m (corresponding to the second predetermined range of the present invention), is allocated to a four-wheeled vehicle.
  • Range B4 is assigned to motorcycles, bicycles and structures.
  • a range B5 with a speed of 1km / h to 8km / h is assigned to a pedestrian
  • a range B6 with a speed of approximately 0km / h is a pedestrian or structure. Assigned.
  • the type determination unit 21 determines that an object in the range of B1 is a four-wheeled vehicle, and determines that an object in the range of B2 is a two-wheeled vehicle. Further, for an object belonging to B3, it is determined whether the object is a two-wheeled vehicle or a bicycle based on the difference in the distribution of the reflection intensity of the laser radar 8 shown in FIG.
  • the type determination unit 21 is an object that is a two-wheeled vehicle or a bicycle depending on a ratio of a portion with a high reflection intensity level in the entire article or a difference in height from the ground surface of a portion with a high reflection intensity level. Can be determined.
  • the type determining unit 21 determines that an object belonging to B5 is a pedestrian. Further, the type determination unit 21 excludes assumed structures such as utility poles and roadside trees from the characteristics of the image captured by the infrared camera 2 for the object belonging to B4, and then determines whether the object is a two-wheeled vehicle. Determine if it is a bicycle.
  • the type determination unit 21 excludes assumed structures such as utility poles and roadside trees from the characteristics of the image captured by the infrared camera 2 for the object belonging to B6, and determines whether or not this object is a pedestrian. Determine whether.
  • the width of the object is used as the size of the object.
  • other elements such as the peripheral length and area of the object and the length of the diagonal line may be used.
  • the infrared camera 2 is used as the imaging means of the present invention, but a normal video camera capable of detecting only visible light may be used.
  • the vehicle periphery monitoring device of the present invention it is possible to prevent the object type determination accuracy from being lowered when the reliability of the image captured by the camera is lowered due to the influence of the environment. Therefore, it is useful for determining and monitoring the types of objects around the vehicle.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Studio Devices (AREA)

Abstract

　レーザーレーダー８による物体の検出位置の変化から、該物体が自車両の進行方向に移動しているか該進行方向と直交する横断方向に移動しているかを判定する移動方向判定部２０を有し、種別判定部２１は、進行方向に移動していると判定された物体について、レーザーレーダー８による検出位置から求められた該物体の大きさがＡ1の範囲内であるときに、該物体が四輪自動車であると判定する第１種別判定処理と、横断方向に移動している判定された物体について、レーザーレーダー８による検出位置から求められた該物体の大きさがＢ1の範囲内であるときに、該物体が四輪自動車であると判定する第２種別判定処理とを実行する。

Description

車両周辺監視装置
　本発明は、車両に搭載されたレーダーによる物体の位置情報と車両に搭載されたカメラによる撮像画像を用いて、車両周辺に所在する物体を認識する車両周辺監視装置に関する。
　従来より、車両にレーダーとカメラを併設し、レーダーにより検出された物体までの距離と、カメラにより撮像された物体の画像とに基づいて、検出された物体の種類を判定するようにした物体検出装置が提案されている（例えば、特許文献１参照）。
　特許文献１に記載された物体検出装置においては、レーダーにより検出された物体までの距離の変化から自車両と物体との相対速度を算出し、この相対速度と車速センサにより検出される自車両の走行速度とにより、物体の移動速度（絶対速度）を算出している。
　そして、物体の移動速度と、カメラの撮像画像から抽出したエッジの方向ベクトル分散と、レーダーより検出される反射強度の分散及び反射強度とに基づいて、物体が、他車両、二輪車、道路構造物、歩行者、その他の物体のうちのいずれかであるかを判定している。
特開２００７－２８８４６０号公報
　上述したように、レーダーにより検出された物体までの距離とカメラにより撮像された物体の画像とに基づいて、検出された物体の種別を判定する場合には、夜間、逆光を受けているとき、悪天候時等において、カメラによる撮像画像の信頼性が低下して、物体の種別判定の精度が低くなるという不都合がある。
　また、赤外線カメラを使用した場合には、酷暑時に撮像画像のコントラストの低下により、物体の種別判定の精度が低くなるという不都合がある。
　そこで、本発明は、環境の影響によりカメラの撮像画像の信頼性が低下した場合に、物体の種別判定の精度が低くなることを防止した車両周辺監視装置を提供することを目的とする。
　本発明は上記目的を達成するためになされたものであり、車両に搭載されて該車両の周辺の第１監視範囲内に所在する物体と該車両との相対位置を検出するレーダーと、該車両に搭載されて該第１監視範囲と重複する第２監視範囲を撮像するカメラと、該レーダーによる検出データと該カメラによる撮像画像に基づいて、車両周辺に所在する物体の種別を判定する種別判定部とを備えた車両周辺監視装置に関する。
　そして、前記レーダーによる物体の検出位置の変化又は検出速度から、該物体が前記車両の進行方向に移動しているか該進行方向と直交する横断方向に移動しているかを判定する移動方向判定部を有し、前記種別判定部は、前記移動方向判定部により前記進行方向に移動していると判定された物体について、前記レーダーによる検出位置から求められた該物体の大きさが第１所定範囲内であるときに、該物体が四輪自動車であると判定する第１種別判定処理と、前記移動方向判定部により前記横断方向に移動している判定された物体について、前記レーダーによる検出位置から求められた該物体の大きさが第２所定範囲内であるときに、該物体が四輪自動車であると判定する第２種別判定処理とを実行することを特徴とする。
　かかる本発明によれば、前記レーダーにより検出された物体について、前記移動方向判定部により移動方向（進行方向／横断方向）が判定される。そして、前記種別判定部は、移動方向が判定された物体について、各移動方向別に、前記レーダーによる検出位置から求められた該物体の大きさに基づく前記第１種別判定処理又は前記第２種別判定処理を行って、該物体が四輪自動車であるか否かを判定する。この場合、四輪自動車については、前記カメラの撮像画像を用いずに判定がなされるため、環境の影響により前記カメラの撮像画像の信頼性が低下した場合に、物体が四輪車であることの判定精度が低くなることを防止することができる。
　また、前記種別判定部は、前記第１種別判定処理において、大きさが前記第１所定範囲よりも小さい物体について、該物体の大きさと速度に応じて、該物体が、二輪自動車であるか、二輪自動車又は自転車であるか、二輪自動車又は自転車又は歩行者あるか、二輪自動車又は自転車又は歩行者又は構造物であるか、を区分して該物体の種別を判定することを特徴とする。
　かかる本発明によれば、大きさが前記第１所定範囲よりも小さい物体について、該物体の大きさと速度に応じた前記区分を行うことにより、物体の種別をある程度絞り込んだ上で、前記撮像画像による物体の種別判定を行うことができる。そのため、前記撮像画像による物体の種別判定を効率良く行うことができると共に、種別の誤判定を低減することができる。
　また、前記種別判定部は、前記第２種別判定処理において、大きさが前記第２所定範囲よりも小さい物体について、該物体の大きさと速度に応じて、該物体が、二輪自動車であるか、二輪自動車又は自転車であるか、二輪自動者又は自転車又は構造物であるか、歩行者であるか、歩行者又は構造物であるか、を区分して該物体の種別を判定することを特徴とする。
　かかる本発明によれば、大きさが前記第２所定範囲よりも小さい物体について、該物体の大きさと速度に応じた前記区分を行うことにより、物体の種別をある程度絞り込んだ上で、前記撮像画像による物体の種別判定を行うことができる。そのため、前記撮像画像による物体の種別判定を効率良く行うことができると共に、種別の誤判定を低減することができる。
　また、前記種別判定部は、前記第１判定処理又は前記第２判定処理により、四輪自動車であると判定されなかった物体について、前記レーダーにより検出された該物体の反射強度のレベル又は反射強度の分布により、該物体の種別を判定することを特徴とする。
　かかる本発明において、前記レーダーにより検出される物体の反射強度のレベル及び反射強度の分布は、物体の種別（自動二輪車、自転車、歩行者等）により相違する。そのため、前記種別判定部は、前記レーダーにより検出された該物体の反射強度のレベル又は反射強度の分布により、該物体の種別を判定することができる。そして、この場合も、前記カメラの撮像画像を用いずに種別の判定がなされるため、環境の影響により前記カメラの撮像画像の信頼性が低下した場合に、物体の種別判定の精度が低くなることを防止することができる。
　また、前記種別判定部は、前記第２種別判定処理により四輪自動車であると判定されなかった物体について、前記レーダーにより検出された該物体の反射強度のレベルから、該物体に装着されたリフレクターの位置又は個数を検出し、該物体における該リフレクターの位置又は個数に基づいて、該物体が二輪自動車であるか自転車であるかを判定することを特徴とする。
　かかる本発明によれば、自車両が二輪自動車に追走しているときは、二輪車の後フェンダー等に取り付けられたレフレクターが１個検出され、自車両が自転車に追走しているときには、自転車の後フェンダー等に取り付けられたレフレクターの他に、左右のペダルに取り付けられたレフレクターも検出される。このように、自動二輪車と自転車では、レフレクターの装着位置及び装着個数が異なるため、前記種別判定部は、物体におけるレフレクターの検出位置又は検出個数に基づいて、該物体が二輪自動車であるか自転車であるかを判定することができる。そして、この場合には、前記カメラの撮像画像を用いずに自動二輪車と自転車の種別判定がなされるため、環境の影響により前記カメラの撮像画像の信頼性が低下した場合に、物体の種別判定の精度が低くなることを防止することができる。
　また、前記種別判定部は、前記第２種別判定処理により四輪自動車であると判定されなかった物体について、前記レーダーにより検出された該物体の反射強度のレベルから、該物体に装着されたレフレクターの位置を検出し、該物体における該レフレクターの位置が周期的に変化するときに、該物体が自転車であると判定することを特徴とする。
　かかる本発明によれば、物体におけるレフレクターの検出位置が周期的に変化するときは、自転車運転者によるペダルの漕ぎ操作により上下に変位しているペダルのレフレクターが検出されていると推定することができる。そのため、この場合に、前記種別判定部は、前記レーダにより検出された物体が自転車であると判定することができる。そして、この場合には、前記カメラの撮像画像を用いずに自転車であるか否かの判定がなされるため、環境の影響により前記カメラの撮像画像の信頼性が低下した場合に、物体の種別判定の精度が低くなることを防止することができる。
本発明の車両周辺監視装置の構成図。 車両周辺監視装置の車両への取付態様の説明図。 進行方向に所在する物体の種別判定の説明図。 レーザーレーダーの反射強度を考慮した物体の種別判定の説明図。 リフレクタの位置による自転車と二輪自動車の判別の説明図。 リフレクタの変位による自転車と二輪自動車の判別の説明図。 横断方向に所在する物体の種別判定の説明図。 反射強度分布による物体の種別判定の説明図。
　本発明の実施の形態について、図１～図８を参照して説明する。図１を参照して、本発明の車両周辺監視装置は、ＥＣＵ（Electronic Control Unit）１と、遠赤外線を検出可能な赤外線カメラ（本発明のカメラに相当する）と、レーザー光線を物体に照射してその反射波を受信することにより物体と車両間の実空間上の相対位置（相対距離を含む）を検出するレーザーレーダー８（本発明のレーダーに相当する）と、車両のヨーレートを検出するヨーレートセンサ３と、車両の走行速度を検出する車速センサ４とを備えている。
　ＥＣＵ１は、レーザーレーダー８による物体の位置の検出データと赤外線カメラ２による撮像画像から、車両前方に所在する物体の種別（四輪自動車、二輪自動車、自転車、歩行者等）を判別し、車両が接触する可能性が高い自転車又は歩行者を検知したときに警報を出力する。そして、車両周辺監視装置は、音声により警報を行うためのスピーカ５と、監視対象物を運転者に視認させる表示を行うためのヘッドアップディスプレイ（以下、ＨＵＤという）７とを備えている。
　次に、図２を参照して、車両周辺監視装置の車両への取付け態様を説明する。レーザーレーダー８はスキャン方式のレーザーレーダーであり、車両１０の前部に配置されている。そして、レーザーレーダー８は、予め設定された前方（車両１０の進行方向）の第１監視範囲内を水平方向及び垂直方向に走査する。
　また、赤外線カメラ２は、撮像物の温度が高い程出力レベルが高くなる（輝度が大きくなる）特性を有している。そして、赤外線カメラ２は、車両１０の前部に配置されて予め設定された前方の第２監視範囲（上記第１監視範囲内に設定される）を撮像する。ＨＵＤ７は、車両１０のフロントウィンドウの運転者側の前方位置に画面７ａが表示されるように設けられている。
　ＥＣＵ１は、赤外線カメラ２から出力されるアナログの映像信号をデジタルデータに変換して画像メモリに取り込む画像入力回路と、該画像メモリに取り込まれた画像データにアクセス（読出し及び書込み）するためのインターフェース回路と、レーザーレーダー８による物体の位置（車両１０からの物体の相対位置）の検出信号を入力するためのインターフェース回路とを有している。
　また、ＥＣＵ１は、画像メモリに取り込まれた車両前方の画像データに対して各種の演算処理を行うコンピュータ（ＣＰＵ，メモリ，入出力回路等からなる演算処理回路、或いはこれらの機能を集約したマイクロコンピュータ）等を備えた電子ユニットである。
　そして、前記コンピュータに車両周辺監視用のプログラムを実行させることによって、前記コンピュータが、レーザーレーダー８による検出データから、車両１０の周辺に所在する物体の移動方向（車両１０の進行方向／横断方向）を判定する移動方向判定部２０、レーザーレーダー８による検出データと赤外線カメラ２の撮像画像から、車両１０の周辺に所在する物体の種別を判定する種別判定部２１、及び、レーザーレーダー８による検出データと赤外線カメラ２の撮像画像から車両１０と接触する可能性が高い物体（対象物）を検出する対象物検知部２２として機能する。
　移動方向判定部２０は、レーザーレーダー８により検出される物体の位置が、車両の進行方向（前後方向）に変化しているときに、この物体の移動方向は車両１０の進行方向であると判定する。また、移動方向判定部２０は、レーザーレーダー８により検出される物体の位置が、車両の横断方向（左右方向）に変化しているときに、この物体の移動方向は車両１０に対する横断方向であると判定する。
　なお、レーザーレーダー８により検出される物体の位置の変化から物体の速度（車両１０との相対速度）を検出し、速度の向きから物体の移動方向を判定するようにしてもよい。
　対象物検出部２２は、車速センサ４とヨーレートセンサ３の出力を読み込んで、車両１０の回頭角を算出する。そして、レーザーレーダー８による測距データに基いて、回頭角補正を行いつつ、第１監視領域内に所在する物体のトラッキングを行う。また、対象物検出部２２は、トラッキングを行っている物体について、赤外線カメラ２による撮像画像から、車両１０との接触可能性が高い歩行者又は自転車であると判断したときに、ＨＵＤ７への表示とスピーカ５からの音声出力による報知を行なう。
　種別判定部２１は、レーザーレーダー８により検出される物体の位置の変化から、この物体の車両１０に対する相対速度を算出し、この相対速度と車速センサ４に検出される車両１０の走行速度から、この物体の絶対速度を算出する。また、種別判定部２１は、レーザーレーダー８による位置検出データから物体の大きさを認識して、以下の第１種別判定処理又は第２種別判定処理により物体の種別を判定する。
　［第１種別判定処理］
　種別判定部２１は、移動方向判定部２０により移動方向が車両１０の進行方向であると判定されたときに、第１種別判定処理を実行する。第１種別判定処理では、図３に示したように、種別判定部２１は、物体の速度（絶対速度）と物体の幅（物体の車両１０に対する横断方向の幅、本発明の物体の大きさに相当する）とにより、物体の種別を判定する。
　図３は、縦軸を物体の移動速度（絶対速度）に設定し、横軸を物体の幅（車両１０の横断方向の幅）に設定して、対応する種別の範囲を示したものである。先ず、幅が１．５ｍ～２．５ｍの範囲（本発明の第１所定範囲に相当する）であるＡ1が、四輪自動車に割当てられている。
　なお、物体の速度として、ある瞬間の速度ではなく、物体の速度を所定時間トラッキングした中での最高速度を用いることにより、速度による区分をし易くすることができる。
　また、幅が０．２５ｍ～０．８ｍである範囲について、速度が３０km/hを超える範囲Ａ2が二輪自動車、速度が８km/h～３０km/hの範囲Ａ3が二輪自動車，自転車、速度が８km/h未満の範囲Ａ4が二輪自動車，自転車，歩行者に割当てられている。さらに、速度が０km/h付近の範囲Ａ5が、二輪自動車，自転車，歩行者，構造物に割当てられている。
　種別判定部２１は、図３により、Ａ1に属する物体を四輪自動車であると判定し、Ａ2に属する物体を二輪自動車であると判定する。また、Ａ4に属する物体について、図４に示したレーザーレーダー８の反射強度の相違により、歩行者であるか否かを判定する。
　図４は、図３に物体の反射強度の強弱による種別の区分を付加したものであり、Ａ4に属する反射強度が弱い（反射強度のレベルが所定閾値未満）物体を、歩行者であると判定する。
　また、種別判定部２１は、図５に示したように、物体の反射強度の分布からリフレクターを検出して、Ａ3又はＡ4に属する二輪自動車と自転車を判別する。図５の二輪自動車３１では、反射強度が強いリフレクター３１ａが１個検出できるのに対し、自転車３２では、反射強度が強いリフレクターが、後フェンダ部の３２ａの他に、左右のペダル部の３２ｂ，３２ｃが検出される。
　そのため、種別判定部２１は、検出されたリフレクターの位置の相違又は個数の相違により、二輪自動車と自転車を区別して判定することができる。なお、四輪自動車３０についても、リフレクター３０ａ，３０ｂの位置（地表からの高さ）の相違又は個数の相違により、二輪自動車及び自転車と区別して判定することができる。
　さらに、図６に示したように、検出した物体が自転車３２であるときには、自転車運転者がペダルを漕ぐのに応じて、ペダルに装着されたリフレクターが上下に周期的に変位する。そのため、レーザーレーダー８による反射強度から検出されるリフレクターの位置が周期的に変化する。それに対して、二輪自動車３１の場合には、リフレクター３１ａの位置は殆ど変化しない。
　そこで、種別判定部２１は、Ａ3又はＡ4に属する物体について、周期的に位置が変化するリフレクター（反射強度が所定レベル以上である部分）が検出されたときに、この物体が二輪自動車であると判定する。
　なお、種別判定部２１は、Ａ4に属する物体について、赤外線カメラ２による撮像画像での画像部分の特徴から歩行者であるか否かを判定する。また、種別判定部２１は、Ａ5に属する物体について、赤外線カメラ２による撮像画像から、電柱や街路樹等の想定される構造物と二輪自動車の特徴（マフラー等の熱源の画像部分を有する等）を有するものを除外する処理を行った上で、上述した反射強度の相違やリフレクターの有無等により自転車と歩行者を判別する。
　［第２種別判定処理］
　次に、種別判定部２１は、移動方向判定部２０により移動方向が車両１０に対する横断方向であると判定されたときに、第２種別判定処理を実行する。第２種別判定処理では、図７に示したように、種別判定部２１は、物体の速度（絶対速度）と物体の幅（車両の進行方向と直交する方向での幅）とにより、物体の種別を判定する。
　図３は、縦軸を物体の移動速度（絶対速度）に設定し、横軸を物体の幅（車両１０に対する横断方向での幅、本発明の物体の大きさに相当する）に設定して、対応する種別の範囲を示したものである。先ず、幅が２．５ｍを超える範囲（本発明の第２所定範囲に相当する）であるＢ1が、四輪自動車に割当てられている。
　また、幅が１ｍ～２ｍである範囲について、速度が３０km/h以上の範囲Ｂ2が二輪自動車、速度が１km/h～３０km/hの範囲Ｂ3が二輪自動車，自転車、速度がほぼ０km/hの範囲Ｂ4が二輪自動車，自転車，構造物に割り当てされている。
　さらに、幅が０．２５ｍ～０．８ｍである範囲について、速度が１km/h～８km/hの範囲Ｂ5が歩行者に割当てられ、速度がほぼ０km/hの範囲Ｂ6が歩行者，構造物に割当てられている。
　種別判定部２１は、図７により、Ｂ1の範囲にある物体を四輪自動車であると判定し、Ｂ2の範囲にある物体を二輪自動車であると判定する。また、Ｂ3に属する物体について、図８に示したレーザーレーダー８の反射強度の分布の相違により、二輪自動車であるか自転車であるかを判別する。
　図８に示したように、二輪自動車４１と自転車４２を比較すると、レーザーレーダー８の反射強度のレベルが高くなる範囲（金属部等）４１ａ，４２ａが、二輪自動車４１における範囲４１ａの方が、自転車４２における範囲４２ａよりも広くなると共に、地表からの位置が高くなる。そのため、種別判定部２１は、物品全体に占める反射強度のレベルが高い部分の割合、又は反射強度のレベルが高い部分の地表からの高さの相違によって、物体が二輪自動車であるか自転車であるかを判別することができる。
　また、種別判定部２１は、Ｂ5に属する物体を歩行者であると判定する。さらに、種別判定部２１は、Ｂ4に属する物体について、赤外線カメラ２による撮像画像での特徴から、電柱や街路樹等の想定される構造物を除外した上で、この物体が二輪自動車であるか自転車であるかを判別する。
　また、種別判定部２１は、Ｂ6に属する物体について、赤外線カメラ２による撮像画像での特徴から、電柱や街路樹等の想定される構造物を除外して、この物体が歩行者であるか否かを判定する。
　なお、本実施の形態では、物体の大きさとして物体の幅を用いたが、物体の周囲長や面積、対角線の長さ等、他の要素を用いてもよい。
　また、本実施の形態においては、本発明の撮像手段として赤外線カメラ２を用いたが、可視光のみを検出可能な通常のビデオカメラを用いてもよい。
　以上のように、本発明の車両周辺監視装置によれば、環境の影響のよりカメラによる撮像画像の信頼性が低下した場合に、物体の種別判定の精度が低くなることを防止することができるため、車両周辺の物体の種別を判定して監視するために有用である。
　１…ＥＣＵ、２…赤外線カメラ、３…ヨーレートセンサ、４…車速センサ、６…スピーカ、７…ＨＵＤ、８…レーザーレーダー、１０…車両（自車両）、２０…移動方向判定部、２１…種別判定部、２２…対象物検出部。

Claims (6)

  1. 　車両に搭載されて該車両の周辺の第１監視範囲内に所在する物体と該車両との相対位置を検出するレーダーと、該車両に搭載されて該第１監視範囲と重複する第２監視範囲を撮像するカメラと、該レーダーによる検出データと該カメラによる撮像画像に基づいて、車両周辺に所在する物体の種別を判定する種別判定部とを備えた車両周辺監視装置であって、
    　前記レーダーによる物体の検出位置の変化又は検出速度から、該物体が前記車両の進行方向に移動しているか該進行方向と直交する横断方向に移動しているかを判定する移動方向判定部を有し、
    　前記種別判定部は、前記移動方向判定部により前記進行方向に移動していると判定された物体について、前記レーダーによる検出位置から求められた該物体の大きさが第１所定範囲内であるときに、該物体が四輪自動車であると判定する第１種別判定処理と、前記移動方向判定部により前記横断方向に移動している判定された物体について、前記レーダーによる検出位置から求められた該物体の大きさが前記第１所定範囲よりも小さい第２所定範囲内であるときに、該物体が四輪自動車であると判定する第２種別判定処理とを実行することを特徴とする車両周辺監視装置。
  2. 　請求項１記載の車両周辺監視装置において、
    　前記種別判定部は、前記第１種別判定処理において、大きさが前記第１所定範囲よりも小さい物体について、該物体の大きさと速度に応じて、該物体が、二輪自動車であるか、二輪自動車又は自転車であるか、二輪自動車又は自転車又は歩行者あるか、二輪自動車又は自転車又は歩行者又は構造物であるか、を区分して該物体の種別を判定することを特徴とする車両周辺監視装置。
  3. 　請求項１記載の車両周辺監視装置において、
    　前記種別判定部は、前記第２種別判定処理において、大きさが前記第２所定範囲よりも小さい物体について、該物体の大きさと速度に応じて、該物体が、二輪自動車であるか、二輪自動車又は自転車であるか、二輪自動者又は自転車又は構造物であるか、歩行者であるか、歩行者又は構造物であるか、を区分して該物体の種別を判定することを特徴とする車両周辺監視装置。
  4. 　請求項１記載の車両周辺監視装置において、
    　前記種別判定部は、前記第１判定処理又は前記第２判定処理により、四輪自動車であると判定されなかった物体について、前記レーダーにより検出された該物体の反射強度のレベル又は反射強度の分布により、該物体の種別を判定することを特徴とする車両周辺監視装置。
  5. 　請求項４記載の車両周辺監視装置において、
    　前記種別判定部は、前記第２種別判定処理により四輪自動車であると判定されなかった物体について、前記レーダーにより検出された該物体の反射強度のレベルから、該物体に装着されたリフレクターの位置又は個数を検出し、該物体における該リフレクターの位置又は個数に基づいて、該物体が二輪自動車であるか自転車であるかを判定することを特徴とする車両周辺監視装置。
  6. 　請求項５記載の車両周辺監視装置において、
    　前記種別判定部は、前記第２種別判定処理により四輪自動車であると判定されなかった物体について、前記レーダーにより検出された該物体の反射強度のレベルから、該物体に装着されたリフレクターの位置を検出し、該物体における該リフレクターの位置が周期的に変化するときに、該物体が自転車であると判定することを特徴とする車両周辺監視装置。
PCT/JP2011/052724 2010-03-17 2011-02-09 車両周辺監視装置 WO2011114815A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US13/577,125 US8988276B2 (en) 2010-03-17 2011-02-09 Vehicle surroundings monitoring device
JP2012505568A JPWO2011114815A1 (ja) 2010-03-17 2011-02-09 車両周辺監視装置
EP11756005.2A EP2506234A4 (en) 2010-03-17 2011-02-09 DEVICE FOR CONTROLLING THE SURROUNDINGS OF A VEHICLE
CN2011800056618A CN102713989A (zh) 2010-03-17 2011-02-09 车辆周围监测装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-061634 2010-03-17
JP2010061634 2010-03-17

Publications (1)

Publication Number Publication Date
WO2011114815A1 true WO2011114815A1 (ja) 2011-09-22

Family

ID=44648922

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/052724 WO2011114815A1 (ja) 2010-03-17 2011-02-09 車両周辺監視装置

Country Status (5)

Country Link
US (1) US8988276B2 (ja)
EP (1) EP2506234A4 (ja)
JP (2) JPWO2011114815A1 (ja)
CN (2) CN104251993B (ja)
WO (1) WO2011114815A1 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150001119A (ko) * 2013-06-26 2015-01-06 현대모비스 주식회사 물체 인식 시스템
JP2015135271A (ja) * 2014-01-17 2015-07-27 オムロンオートモーティブエレクトロニクス株式会社 レーザレーダ装置
JP2015147556A (ja) * 2014-02-07 2015-08-20 トヨタ自動車株式会社 衝突検出装置
JP2016014934A (ja) * 2014-06-30 2016-01-28 日本信号株式会社 二輪四輪判別システム
JP2016075570A (ja) * 2014-10-06 2016-05-12 スズキ株式会社 リフレクタ及びこれを備えた車両
WO2017043358A1 (ja) * 2015-09-09 2017-03-16 株式会社デンソー 物体検出装置および物体検出方法
JP2017133843A (ja) * 2016-01-25 2017-08-03 オムロンオートモーティブエレクトロニクス株式会社 光レーダ装置
JP2018045357A (ja) * 2016-09-13 2018-03-22 スズキ株式会社 運転支援装置
JP2018072235A (ja) * 2016-11-01 2018-05-10 日立建機株式会社 車両識別システム
KR20200024927A (ko) * 2017-08-09 2020-03-09 발레오 샬터 운트 센소렌 게엠베아 자동차의 주변 영역을 모니터링하는 방법, 센서 제어 유닛, 운전자 보조 시스템 및 자동차
JP2021018121A (ja) * 2019-07-18 2021-02-15 古河電気工業株式会社 レーダ装置、レーダ装置の物標検出方法、および、物標検出システム

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013113054B4 (de) * 2012-12-03 2022-01-27 Denso Corporation Zielerfassungsvorrichtung zum Vermeiden einer Kollision zwischen einem Fahrzeug und einem durch einen an dem Fahrzeug montierten Sensor erfassten Ziel
CN103854320B (zh) * 2012-12-05 2016-06-22 上海海事大学 基于激光雷达的车型自动识别方法
GB201300651D0 (en) * 2013-01-15 2013-02-27 Innovative Safety Systems Ltd Cyclist warning system
US20140222298A1 (en) * 2013-02-03 2014-08-07 Michael H. Gurin Systems For a Shared Vehicle
US9952600B2 (en) * 2013-02-03 2018-04-24 Michael H Gurin Systems for a shared vehicle
JP5841093B2 (ja) * 2013-03-26 2016-01-13 Ｎｅｃパーソナルコンピュータ株式会社 情報処理装置
KR101551667B1 (ko) * 2013-11-27 2015-09-09 현대모비스(주) 라이다 센서 시스템
CN103713292B (zh) * 2014-01-17 2016-02-24 清华大学 一种基于可见光通信的精确车载雷达及目标车定位方法
JP2016103194A (ja) * 2014-11-28 2016-06-02 パナソニックＩｐマネジメント株式会社 車両走行支援装置及び車両走行支援方法
JP2016170663A (ja) 2015-03-13 2016-09-23 株式会社Ｊｖｃケンウッド 車両監視装置、車両監視方法、及び、車両監視プログラム
JP6592266B2 (ja) * 2015-03-31 2019-10-16 株式会社デンソー 物体検知装置、及び物体検知方法
JP2016192177A (ja) * 2015-03-31 2016-11-10 株式会社デンソーアイティーラボラトリ 車両検出システム、車両検出装置、車両検出方法、及び車両検出プログラム
JP6058072B2 (ja) * 2015-05-29 2017-01-11 三菱電機株式会社 物体識別装置
US9778353B2 (en) * 2015-06-24 2017-10-03 Htc Corporation Handheld device, object positioning method and computer-readable recording medium
JP6481539B2 (ja) * 2015-07-17 2019-03-13 マツダ株式会社 車両用レーダ装置
CN105510926A (zh) * 2015-12-23 2016-04-20 武汉高德红外股份有限公司 一种多波段复合探测预警系统的组装结构
US20180268697A1 (en) * 2015-12-28 2018-09-20 Tao Lin Portable wireless automotive anti-collision system and data processing method
CN105711597B (zh) * 2016-02-25 2018-06-26 江苏大学 前方局部行驶环境感知系统及方法
JP6728790B2 (ja) * 2016-03-08 2020-07-22 オムロン株式会社 自転車検知装置、自転車検知方法、および自転車検知プログラム
JP6819681B2 (ja) 2016-06-08 2021-01-27 ソニー株式会社 撮像制御装置および方法、並びに車両
CN106218611B (zh) * 2016-07-21 2019-01-22 浙江吉利汽车研究院有限公司 一种自动紧急制动系统的稳定性控制装置及方法
US9984567B2 (en) * 2016-09-09 2018-05-29 Ford Global Technologies, Llc Detection of oncoming vehicles with IR light
JP6536521B2 (ja) * 2016-09-22 2019-07-03 株式会社デンソー 物体検知装置及び物体検知方法
JP6620715B2 (ja) * 2016-10-20 2019-12-18 株式会社デンソー 画像認識装置
CN108062868B (zh) * 2016-11-09 2021-06-29 奥迪股份公司 用于车辆的自行车检测系统和方法以及车辆
CN106772383B (zh) * 2016-12-31 2019-03-22 智车优行科技（北京）有限公司 车辆周围物体的检测呈现方法、装置和系统、车辆
KR102198810B1 (ko) * 2017-01-03 2021-01-05 한국자동차연구원 오브젝트 추적 장치 및 방법
CN110235026A (zh) * 2017-01-26 2019-09-13 御眼视觉技术有限公司 基于对齐的图像和激光雷达信息的车辆导航
JP6664360B2 (ja) * 2017-09-08 2020-03-13 本田技研工業株式会社 判定装置および車両
JP2019066290A (ja) 2017-09-29 2019-04-25 ミツミ電機株式会社 レーダー装置及び物標検出方法
JP6989766B2 (ja) * 2017-09-29 2022-01-12 ミツミ電機株式会社 レーダー装置及び物標検出方法
LU100761B1 (en) * 2018-04-03 2019-10-07 Iee Sa Method for obstacle identification
TWI734932B (zh) * 2018-09-17 2021-08-01 為昇科科技股份有限公司 雷達偵測角度校正系統及其方法
DE102018216984A1 (de) * 2018-10-04 2020-04-09 Robert Bosch Gmbh Umfelderfassungssystem für Kraftfahrzeuge
GB2585332A (en) * 2019-02-12 2021-01-13 Chidziva Pasihapaori Vehicle with moving object detector
CN109795415A (zh) * 2019-02-19 2019-05-24 上海理工大学 一种智能夜视抬头显示设备
US11531107B2 (en) 2019-11-19 2022-12-20 Volvo Car Corporation Long range LIDAR-based speed estimation
US11735051B2 (en) * 2020-03-27 2023-08-22 Toyota Research Institute, Inc. Detection of bicyclists near ego vehicles
CN113129608A (zh) * 2021-03-27 2021-07-16 同济大学 一种基于二维激光雷达的行人过街系统及其方法
CN113419234A (zh) * 2021-07-21 2021-09-21 南京御达电信息技术有限公司 基于毫米波雷达监测高层建筑物形变的装置及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005313780A (ja) * 2004-04-28 2005-11-10 Denso Corp 先行車両認識装置
JP2007132748A (ja) * 2005-11-09 2007-05-31 Toyota Motor Corp 物体検出装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3613275B2 (ja) 1994-12-28 2005-01-26 オムロン株式会社 交通情報システム
JPH09156437A (ja) * 1995-12-06 1997-06-17 Nissan Motor Co Ltd 警報装置
JP3727400B2 (ja) * 1996-02-22 2005-12-14 株式会社日本自動車部品総合研究所 横断者の検出装置
JP4007012B2 (ja) * 2002-02-04 2007-11-14 日産自動車株式会社 車両用保護装置
GB2400353A (en) * 2003-04-09 2004-10-13 Autoliv Dev Pedestrian detecting system provided on a motor vehicle
JP3915746B2 (ja) * 2003-07-01 2007-05-16 日産自動車株式会社 車両用外界認識装置
JP4574157B2 (ja) * 2003-10-17 2010-11-04 富士重工業株式会社 情報表示装置および情報表示方法
JP4277658B2 (ja) * 2003-11-21 2009-06-10 日産自動車株式会社 走行支援用車載情報提供装置
CN1914060B (zh) * 2004-01-28 2013-05-29 丰田自动车株式会社 车辆行驶支持系统
WO2005086078A1 (en) * 2004-03-02 2005-09-15 Sarnoff Corporation Method and apparatus for classifying an object
DE102004019651A1 (de) * 2004-04-22 2005-11-17 Siemens Ag Blindspot-Sensorsystem
JP4289210B2 (ja) * 2004-05-14 2009-07-01 株式会社デンソー 車両用物体検出装置
JP4396400B2 (ja) * 2004-06-02 2010-01-13 トヨタ自動車株式会社 障害物認識装置
JP4687160B2 (ja) * 2005-03-14 2011-05-25 アイシン精機株式会社 周辺監視装置
JP4762610B2 (ja) 2005-06-14 2011-08-31 本田技研工業株式会社 車両の走行安全装置
JP4857840B2 (ja) * 2006-03-22 2012-01-18 日産自動車株式会社 物体検出方法および物体検出装置
JP4830604B2 (ja) * 2006-04-17 2011-12-07 日産自動車株式会社 物体検出方法および物体検出装置
DE102007001552A1 (de) * 2007-01-10 2008-07-17 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ermitteln potentiell gefährdender Objekte für ein Fahrzeug
EP2141926A4 (en) * 2007-04-27 2010-08-11 Honda Motor Co Ltd VEHICLE PERIPHERAL MONITORING DEVICE, VEHICLE PERIPHERAL MONITORING PROGRAM, AND VEHICLE PERIPHERAL MONITORING METHOD
US20090254260A1 (en) * 2008-04-07 2009-10-08 Axel Nix Full speed range adaptive cruise control system
JP4892518B2 (ja) * 2008-05-20 2012-03-07 日立オートモティブシステムズ株式会社 車両用外界認識装置、および、車両システム
JP2011065400A (ja) * 2009-09-17 2011-03-31 Daihatsu Motor Co Ltd 物体認識装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005313780A (ja) * 2004-04-28 2005-11-10 Denso Corp 先行車両認識装置
JP2007132748A (ja) * 2005-11-09 2007-05-31 Toyota Motor Corp 物体検出装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2506234A4 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102129588B1 (ko) * 2013-06-26 2020-07-02 현대모비스(주) 물체 인식 시스템
KR20150001119A (ko) * 2013-06-26 2015-01-06 현대모비스 주식회사 물체 인식 시스템
JP2015135271A (ja) * 2014-01-17 2015-07-27 オムロンオートモーティブエレクトロニクス株式会社 レーザレーダ装置
JP2015147556A (ja) * 2014-02-07 2015-08-20 トヨタ自動車株式会社 衝突検出装置
JP2016014934A (ja) * 2014-06-30 2016-01-28 日本信号株式会社 二輪四輪判別システム
JP2016075570A (ja) * 2014-10-06 2016-05-12 スズキ株式会社 リフレクタ及びこれを備えた車両
WO2017043358A1 (ja) * 2015-09-09 2017-03-16 株式会社デンソー 物体検出装置および物体検出方法
JP2017054311A (ja) * 2015-09-09 2017-03-16 株式会社デンソー 物体検出装置
US10996317B2 (en) 2015-09-09 2021-05-04 Denso Corporation Object detection apparatus and object detection method
JP2017133843A (ja) * 2016-01-25 2017-08-03 オムロンオートモーティブエレクトロニクス株式会社 光レーダ装置
JP2018045357A (ja) * 2016-09-13 2018-03-22 スズキ株式会社 運転支援装置
JP2018072235A (ja) * 2016-11-01 2018-05-10 日立建機株式会社 車両識別システム
KR20200024927A (ko) * 2017-08-09 2020-03-09 발레오 샬터 운트 센소렌 게엠베아 자동차의 주변 영역을 모니터링하는 방법, 센서 제어 유닛, 운전자 보조 시스템 및 자동차
KR102304207B1 (ko) 2017-08-09 2021-09-23 발레오 샬터 운트 센소렌 게엠베아 자동차의 주변 영역을 모니터링하는 방법, 센서 제어 유닛, 운전자 보조 시스템 및 자동차
JP2021018121A (ja) * 2019-07-18 2021-02-15 古河電気工業株式会社 レーダ装置、レーダ装置の物標検出方法、および、物標検出システム
JP7328043B2 (ja) 2019-07-18 2023-08-16 古河電気工業株式会社 レーダ装置、レーダ装置の物標検出方法、および、物標検出システム

Also Published As

Publication number Publication date
US20120293357A1 (en) 2012-11-22
JPWO2011114815A1 (ja) 2013-06-27
EP2506234A1 (en) 2012-10-03
JP5959581B2 (ja) 2016-08-02
EP2506234A4 (en) 2013-09-18
CN104251993A (zh) 2014-12-31
CN102713989A (zh) 2012-10-03
CN104251993B (zh) 2017-04-12
JP2014209387A (ja) 2014-11-06
US8988276B2 (en) 2015-03-24

Similar Documents

Publication Publication Date Title
JP5959581B2 (ja) 車両周辺監視装置
JP7397807B2 (ja) ライダー支援システム及び方法
JP6197291B2 (ja) 複眼カメラ装置、及びそれを備えた車両
US8311283B2 (en) Method for detecting lane departure and apparatus thereof
US10102751B2 (en) Inclination detection in two-wheelers
JP5639283B2 (ja) 車両周辺監視装置
JP4426535B2 (ja) 車両の周辺監視装置
JP5399027B2 (ja) 自動車の運転を支援するための、立体画像を捕捉することができるシステムを有するデバイス
JP5846109B2 (ja) 衝突判定装置及び衝突回避システム
JP5637302B2 (ja) 走行支援装置及びその隣接車両検出方法
JP5480917B2 (ja) 車両周辺監視装置
US20150120160A1 (en) Method and device for detecting a braking situation
TWI531499B (zh) Anti-collision warning method and device for tracking moving object
CN102203837A (zh) 车辆周围监测装置
JP4528283B2 (ja) 車両周辺監視装置
JP2008037361A (ja) 障害物認識装置
CN104108343A (zh) 一种基于视觉和北斗导航的防撞预警系统
GB2548465A (en) Method and device for driver assistance
JP6087240B2 (ja) 車両周辺監視装置
JP7033308B2 (ja) 危険予測装置、危険予測方法、及びプログラム
KR102100978B1 (ko) 리어 뷰를 위한 제어 유닛 및 방법
US20230141584A1 (en) Apparatus for displaying at least one virtual lane line based on environmental condition and method of controlling same
JP4743797B2 (ja) 車両周辺監視装置、車両、車両周辺監視プログラム
JP2022030023A (ja) 車載検出装置
KR20240063041A (ko) 빛방향전환장치를 이용한 개인용 이동장치의 주변 위험 객체 탐지 장치 및 방법

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180005661.8

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11756005

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012505568

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2011756005

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13577125

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE