WO2018043028A1 - 周辺監視装置及び周辺監視方法 - Google Patents

周辺監視装置及び周辺監視方法 Download PDF

Info

Publication number
WO2018043028A1
WO2018043028A1 PCT/JP2017/028265 JP2017028265W WO2018043028A1 WO 2018043028 A1 WO2018043028 A1 WO 2018043028A1 JP 2017028265 W JP2017028265 W JP 2017028265W WO 2018043028 A1 WO2018043028 A1 WO 2018043028A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
image processing
vehicle
sensor
distance
Prior art date
Application number
PCT/JP2017/028265
Other languages
English (en)
French (fr)
Inventor
前田　優
岳人 原田
充保 松浦
博彦 柳川
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to CN201780052847.6A priority Critical patent/CN109643495B/zh
Priority to US16/328,465 priority patent/US10885354B2/en
Priority to DE112017004333.6T priority patent/DE112017004333B4/de
Publication of WO2018043028A1 publication Critical patent/WO2018043028A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G01S15/46—Indirect determination of position data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/87—Combinations of sonar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/539—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2015/937—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles sensor installation details

Definitions

  • the present disclosure relates to a periphery monitoring device and a periphery monitoring method, and more particularly, to a periphery monitoring device and a periphery monitoring method applied to a vehicle including a distance measuring sensor and an imaging device.
  • a vehicle periphery monitoring system that uses an imaging device or a distance measuring sensor to detect an object that exists in the vicinity of the vehicle and displays it on a vehicle-mounted display device, or to issue a warning to avoid touching the object Is known (see, for example, Patent Document 1).
  • the height of the imaging device and the height of the imaging device are determined from a point determined based on the detection distance of the obstacle detected by the ultrasonic sonar among the viewpoint converted images obtained by converting the captured image captured by the imaging device. It is disclosed that a range up to a detection completion point calculated based on a temporary height of an obstacle is set as an image processing area, and the height of the obstacle is obtained by performing image processing on the image processing area. Yes.
  • the present disclosure has been made in view of the above problems, and an object thereof is to provide a periphery monitoring device and a periphery monitoring method capable of recognizing information on an object existing around a vehicle with high accuracy and as quickly as possible. To do.
  • This disclosure employs the following means in order to solve the above problems.
  • the present disclosure relates to a periphery monitoring device applied to a vehicle including a distance measuring sensor that transmits a search wave and receives a reflected wave of the search wave, and an imaging device that captures the periphery of the vehicle.
  • the periphery monitoring device includes an information acquisition unit that acquires distance information, azimuth information, and object width information of the object as detection information of the object existing around the vehicle by the distance measurement sensor, and the information An area setting unit that sets an image processing area to perform image processing on an image captured by the imaging device based on the distance information, the azimuth information, and the object width information acquired by the acquisition unit; and the area setting unit An object recognition unit that performs image processing on the set image processing region and recognizes the object.
  • the image processing area in the image photographed by the imaging device is set based on the detection information of the object by the distance measuring sensor.
  • object detection information an image processing area is set using not only distance information but also object orientation information and object width information. Accordingly, an image processing area having a size corresponding to the object width of each object can be set in an area corresponding to the position where the object exists on the image.
  • the portion corresponding to the object in the image can be subjected to image processing, and wasteful image processing for a portion where no object exists can be reduced. Processing load can be reduced. Therefore, according to the said structure, the information of the object which exists around a vehicle can be recognized as quickly as possible with sufficient accuracy.
  • FIG. 1 is a diagram showing a schematic configuration of a vehicle periphery monitoring system
  • FIG. 2 is a diagram for explaining a method for acquiring the orientation information of an object.
  • FIG. 3 is a diagram showing a specific mode of processing for setting an image processing area.
  • FIG. 4 is a diagram for explaining a method of acquiring reflection surface information of an object.
  • FIG. 5 is a flowchart showing a processing procedure of image processing.
  • FIG. 6 is a diagram showing a specific mode of processing for setting an image processing area using object orientation information.
  • FIG. 7 is a diagram illustrating a specific mode of processing for setting an image processing region using object orientation information.
  • the vehicle periphery monitoring system 20 of this embodiment is mounted on a vehicle (hereinafter referred to as “own vehicle 50”), and as shown in FIG. 1, an in-vehicle camera 21 as an imaging device and a distance measuring sensor. An ultrasonic sensor 22 and a monitoring ECU 30 as a periphery monitoring device are provided.
  • the in-vehicle camera 21 is constituted by a monocular camera such as a CCD camera, a CMOS image sensor, a near infrared camera, or a stereo camera, for example.
  • the in-vehicle camera 21 is attached to a predetermined height (for example, a position above the front bumper) at the center in the vehicle width direction at the front portion of the host vehicle 50, and has a region extending in a predetermined angle range toward the front of the vehicle. Take a picture.
  • the ultrasonic sensor 22 is a sensor that detects a distance to an obstacle existing around the host vehicle 50.
  • a plurality of sensors are attached to the front and rear bumpers of the host vehicle 50 so as to be aligned in the vehicle width direction with a predetermined interval.
  • two center sensors 23 and 24 attached to the symmetrical position with respect to the center line 51, the left corner of the host vehicle 50, and
  • FIG. 1 shows a shooting area E of the in-vehicle camera 21 and a detection area F of the ultrasonic sensor 22.
  • FIG. 1 only the detection areas of the center sensors 23 and 24 are shown for the ultrasonic sensor 22 for convenience.
  • the detection distance of each ultrasonic sensor 22 is shorter than the shooting distance of the in-vehicle camera 21 (for example, about several tens of centimeters to about 1 to 2 meters).
  • the own vehicle 50 is provided with various sensors such as a vehicle speed sensor 34 for detecting a vehicle speed and a steering angle sensor 35 for detecting a steering angle in addition to the in-vehicle camera 21 and the ultrasonic sensor 22.
  • a vehicle speed sensor 34 for detecting a vehicle speed
  • a steering angle sensor 35 for detecting a steering angle in addition to the in-vehicle camera 21 and the ultrasonic sensor 22.
  • the monitoring ECU 30 is a computer that includes a CPU, ROM, RAM, I / O, and the like.
  • the CPU executes a program installed in the ROM so that the object detection results of the in-vehicle camera 21 and the ultrasonic sensor 22 are obtained. Based on this, each function for supporting the traveling of the host vehicle 50 is realized.
  • the monitoring ECU 30 displays the surrounding situation of the host vehicle 50 on the in-vehicle display device 36 or when the host vehicle 50 is likely to come into contact with an object existing around the host vehicle 50. 37 is operated to warn the driver.
  • the recognized object detection information may be output to the driving assistance device, and various kinds of control such as braking control and steering control for avoiding contact with the object may be executed by the driving assistance device.
  • the monitoring ECU 30 converts the photographed image captured by the in-vehicle camera 21 into a bird's-eye image viewed from the virtual viewpoint set above the host vehicle 50 and displayed on the display device 36.
  • the display device 36 is provided at a position (for example, an instrument panel) that is visible to the driver. Note that a captured image may be displayed on the display device 36.
  • the monitoring ECU 30 outputs a control signal to the ultrasonic sensor 22 and instructs the ultrasonic sensor 22 to transmit ultrasonic waves at a predetermined transmission cycle (for example, at intervals of several hundred milliseconds). Further, the distance to the object is calculated based on the reflected wave time that is the time from the transmission to reception of the ultrasonic sensor 22.
  • the ultrasonic sensor 22 receives the reflected wave of the exploration wave transmitted by itself as a direct wave, and acquires the reflected wave time as distance information. Further, the reflected wave of the exploration wave transmitted by a sensor different from the sensor that transmitted the exploration wave is received as an indirect wave, and the reflected wave time is acquired as distance information.
  • the monitoring ECU 30 uses the triangulation principle based on the distance information acquired by the direct wave and the distance information acquired by the indirect wave as the azimuth information of the object existing around the host vehicle 50. The coordinates (x, y) representing the relative position of the object with the reference position is calculated.
  • the two adjacent ultrasonic sensors 22, the first sensor 22 a and the second sensor 22 b, and the object 55 existing in front of the host vehicle 50 are shown in plan view.
  • the first sensor 22a is a direct detection sensor that transmits an exploration wave and receives a direct wave
  • the second sensor 22b is an ultrasonic reflected wave (indirect wave) transmitted by another sensor.
  • It is an indirect detection sensor that receives waves.
  • the direct detection sensor and the indirect detection sensor are two sensors that perform triangulation (the same applies to FIG. 4).
  • the reciprocating distance (2AO) between the position A of the first sensor 22a and the reflection point O of the object 55 is calculated as L1.
  • the distance (AO + OB) between the position A, the reflection point O, and the position B of the second sensor 22b is calculated as L2.
  • the direct wave it can be understood that the object 55 exists on the circle S1 having the position A as the center and the line segment AO as the radius, and according to the indirect wave, AO + OB is constant. It can be understood that the object 55 exists on the ellipse S2.
  • the reflection point O of the object 55 can be recognized as being at the intersection of the circle S1 and the ellipse S2. Therefore, the relative position of the object 55 can be calculated by obtaining the coordinates (x, y) of the reflection point O.
  • the monitoring ECU 30 performs detailed image processing on the object as object recognition processing by performing image processing on an image captured by the in-vehicle camera 21 on an image in a region that matches object detection information by the ultrasonic sensor 22.
  • Information for example, object type, object height information, etc. is acquired.
  • the monitoring ECU 30 includes an information acquisition unit 31, a region setting unit 32, and an object recognition unit 33.
  • the information acquisition unit 31 acquires a captured image captured by the in-vehicle camera 21 and object detection information detected by the ultrasonic sensor 22.
  • the region setting unit 32 inputs detection information of the object by the ultrasonic sensor 22 from the information acquisition unit 31, and performs image processing on a partial region of the captured image captured by the in-vehicle camera 21 based on the input detection information.
  • image processing areas are set as areas to be subjected to (hereinafter referred to as “image processing areas”). For example, a part of the captured image is set as an image processing region based on the distance information acquired by the reflected wave of the ultrasonic sensor 22.
  • the object recognition unit 33 performs image processing on the image processing region set by the region setting unit 32 in the captured image.
  • the monitoring ECU 30 When the monitoring ECU 30 is displayed on the display device 36 as an object that exists in the vicinity of the host vehicle 50 or is determined to be an object that may come into contact with the host vehicle 50 based on the information on the object acquired by such image processing.
  • the alarm device 37 is actuated to generate an alarm.
  • image processing is performed on a part of the captured image, so that the processing load of the image processing is reduced compared to the case where image processing is performed on all the regions of the captured image. It becomes possible. Thereby, the information regarding the surrounding environment in which the host vehicle 50 is currently placed is promptly provided to the driver.
  • the image processing area is too large with respect to the size of the object on the image, it takes time to process the image, and between the current surrounding environment of the host vehicle 50 and the information provided to the driver. There is a concern that the time delay will increase. On the other hand, if the image processing area is too small with respect to the size of the object on the image, there is a concern that the set image processing area does not contain enough objects and the recognition accuracy of the object is lowered.
  • the region setting unit 32 uses object distance information, azimuth information, and object width information as object detection information by the ultrasonic sensor 22, and based on these distance information, azimuth information, and object width information. An image processing area is set. As a result, an image processing area having a position and size corresponding to the position and width of the object is set for the object on the captured image.
  • the monitoring ECU 30 functions as the information acquisition unit 31, the region setting unit 32, and the object recognition unit 33.
  • FIG. 3 is a diagram showing a specific mode of the image processing area 61 (61a to 61c) set in the captured image 60.
  • FIG. (A) of FIG. 3 represents the case where the other vehicle 52 and the sign 53 exist ahead of the own vehicle 50, (b) shows the other vehicle 52 and the standing signboard 54 (for example, for example) This shows the case where there are construction guide signs, parking lot signs, etc.).
  • FIG. 3 it is assumed that these objects 52 to 54 are detected by the ultrasonic sensor 22.
  • the monitoring ECU 30 sets the image processing area 61 in the captured image 60 based on the object distance information, the direction information, and the object width information acquired by the ultrasonic sensor 22.
  • the reference position for example, the center point
  • the object width information is set in the area including the set reference position.
  • the image processing area 61 having a size corresponding to the distance information is set.
  • the object width information includes information on the reflection surface of the object (hereinafter referred to as “reflection surface information”) when the exploration wave transmitted from the ultrasonic sensor 22 is reflected and received as a reflected wave. Get based on.
  • the reflective surface information will be described later.
  • the image processing area 61 is set as a rectangular area having a left-right width parallel to the vehicle width direction (left-right direction) of the host vehicle 50 and a vertical width perpendicular to the vehicle width direction.
  • an image processing area 61 a having a horizontal width W1 and a vertical width H1 is set, and for the sign 53, the horizontal width is W2.
  • An image processing area 61b whose vertical width is H2 is set.
  • an image processing area 61c having a horizontal width W3 and a vertical width H3 is set.
  • the left and right widths W1 to W3 are set according to the object width and the detection distance of each object acquired by the ultrasonic sensor 22. Specifically, the left-right width is set to a larger value as the object width is larger. Further, the shorter the detection distance, the larger the left-right width is set.
  • the vertical widths H1 to H3 may be predetermined values set in advance, or may be determined according to the detection distance. Further, it may be a value corresponding to the height of the object recognized by the edge of the captured image. When the vertical width is set based on the detection distance, the vertical width may be set to a larger value as the detection distance is shorter.
  • the reflective surface information of the object will be described.
  • the direct reflection point and the indirect reflection point exist on the same plane from a plurality of reflection points on the object surface. This is done by a surface model that detects surface components.
  • FIG. 4 is a diagram for explaining a calculation model for acquiring reflection point information.
  • the object 55 existing in front of the vehicle is detected by the first sensor 22 a and the second sensor 22 b, and the direct reflection point P and the indirect reflection point Q exist on the outer surface of the object 55.
  • the direct wave received by the first sensor 22 a is reflected at the shortest distance from the object 55, that is, perpendicular to the object 55.
  • X represents a straight line passing through the first sensor 22a that receives the reflected wave as a direct wave and the direct reflection point P
  • a second sensor 22b that receives the reflected wave as an indirect wave
  • an indirect reflection point Q Is the intersection with a straight line passing through.
  • the midpoint between the first sensor 22a and the intersection point X becomes the direct reflection point P
  • the intersection point between the perpendicular line passing through the direct reflection point P and perpendicular to AX and BX becomes the indirect reflection point Q.
  • the reflection points P and Q are two points that are arranged side by side on the outer surface of the object 55. By obtaining the coordinates of these two reflection points P and Q, it is possible to obtain PQ which is a reflection line segment.
  • the monitoring ECU 30 In order to obtain the reflection line segment PQ based on the distance measurement result using the direct wave and the distance measurement result using the indirect wave, the monitoring ECU 30 first determines the measurement distance L1 using the direct wave and the measurement distance L2 using the indirect wave.
  • the intersection point X is obtained (intersection point calculation unit), and the reflection point P is directly calculated based on the intersection point X (reflection point calculation unit).
  • a reflection surface line segment PQ that passes through the direct reflection point P and extends in a direction orthogonal to the straight line connecting the direct reflection point P and the first sensor 22a is acquired as reflection surface information (information acquisition unit).
  • the monitoring ECU 30 further obtains a plurality of reflecting surface line segments at different positions in the vehicle width direction by changing the combination of the ultrasonic sensors 22.
  • a plurality of adjacent reflective surface line segments are determined to belong to the same object based on end point coordinates and line segment inclinations of the respective reflective surface line segments, the plurality of reflective surface line segments are combined.
  • size (object width information) of the own vehicle 50 and the inclination with respect to the vehicle width direction (orientation information) are grasped
  • the above surface model is particularly effective when the object has a relatively large plane and the plane becomes a reflection surface. If the object width cannot be estimated by the surface model, for example, the object width is estimated based on the edge extracted from the captured image, and an image processing area having a size corresponding to the estimated object width is set.
  • step S11 a photographed image photographed by the in-vehicle camera 21 is acquired.
  • step S12 object distance information, direction information, and object width information are acquired as object detection information by the ultrasonic sensor 22 (information acquisition unit).
  • the object width information is acquired from the reflection surface information, and when the reflection surface information cannot be acquired, the object width is detected using the image edge.
  • the image processing area 61 in the captured image is set based on the object distance information, azimuth information, and object width information acquired in step S12 (area setting unit). At this time, as the object width is larger or the detection distance is shorter, the width in the left-right direction of the image processing region 61 is set larger.
  • step S14 image processing is executed on the image processing region set in step S13 to perform object recognition (object recognition unit).
  • object recognition object recognition unit
  • detailed information about the object such as the type of the object (for example, vehicle, pedestrian, two-wheeled vehicle, etc.) and the height of the object is acquired.
  • the type of the object is determined by performing pattern matching on the feature points extracted from the image in the image processing area.
  • the height of the object the image in the image processing area is converted into a bird's-eye image, and the height of the object is obtained from the converted bird's-eye image.
  • the image processing area 61 set in step S13 may be tracked in accordance with the movement of the host vehicle 50.
  • the image processing area 61 may be updated each time based on object detection information newly obtained by the ultrasonic sensor 22.
  • the detection information of the object 55 is not only the distance information but also the azimuth information of the object 55.
  • the image processing area 61 is set using the object width information. With such a configuration, an image processing area having a size corresponding to the object width can be set in the area corresponding to the position where the object 55 exists. As a result, when performing object recognition by image processing, image processing can be sufficiently performed on a portion corresponding to the object, and wasteful image processing on a portion where the object does not exist (for example, a background) can be reduced. Processing load can be reduced. Therefore, according to the configuration described above, the object 55 existing around the host vehicle 50 can be recognized as accurately and as quickly as possible.
  • the object width information is acquired based on the reflection surface information of the object 55 detected by the ultrasonic sensor 22, and the image processing area 61 is set using the acquired object width information.
  • the monitoring ECU 30 calculates an intersection X between a straight line passing through the first sensor 22a and the direct reflection point P and a straight line passing through the second sensor 22b and the indirect reflection point Q, and based on the intersection X
  • the direct reflection point P is calculated, and further, a crossing straight line that passes through the direct reflection point P and extends at a predetermined angle to a straight line connecting the direct reflection point P and the first sensor 22a is used as the reflection surface information of the object 55. I got it.
  • a plurality of ultrasonic sensors 22 are used to obtain object orientation information and object width information using direct waves and indirect waves.
  • the principle of triangulation it is possible to accurately grasp the azimuth information and reflecting surface information of the object.
  • the direction and size of the planar component of the object surface can be grasped from the detection result of the ultrasonic sensor 22.
  • the ultrasonic sensor 22 easily reacts to objects that do not need to be alerted, such as grass, shrubs, pebbles, and wheel stops, and is actually safe for the driver. Alerts may occur.
  • the ultrasonic sensor 22 has a detection area that is relatively close to the vehicle. For objects detected by the ultrasonic sensor 22, more rapid object recognition and alerting the driver are required.
  • the image processing region 61 is set based on the distance information, the azimuth information, and the object width information of the object. While reducing the processing load, detailed information about the object can be accurately recognized using an image.
  • the driver is alerted to the driver at an accurate timing based on that information, but it is not necessary for the object with a low possibility of contact. Can be avoided.
  • the image processing area 61 may be set using the orientation information of the object acquired based on the reflection surface information of the object.
  • the size of the image processing area 61 is made as small as possible while considering the orientation of the object with respect to the vehicle width direction of the host vehicle 50 so that the object is sufficiently included in the area. Fine adjustments can be made. Specifically, for an object 55 (see FIG. 6B) inclined at a predetermined angle ⁇ with respect to the vehicle width direction of the host vehicle 50, the object 55 facing the host vehicle 50 (see FIG. 6A). )), The horizontal width of the image processing area 61 is set smaller (W5 ⁇ W4).
  • the left-right width is set smaller as the predetermined angle ⁇ is larger, that is, as the inclination with respect to the vehicle width direction is larger.
  • the vertical width may be set variably according to the predetermined angle ⁇ , and specifically, the vertical width may be set larger as the predetermined angle ⁇ is larger.
  • the extending direction of the left and right width of the image processing area 61 depends on the orientation of the object acquired based on the reflection surface information. May be configured to be set. With this configuration, it is possible to set the image processing region 61 having an appropriate position and size according to the direction of the object 55. Specifically, when the reflecting surface 55a of the object 55 faces the host vehicle 50, the left and right boundary lines 62a and the upper and lower boundary lines 62b intersect at right angles as shown in FIG. The area to be processed is set as the image processing area 61.
  • object orientation information and object width information using the principle of triangulation based on distance information acquired by direct waves and distance information acquired by indirect waves using a plurality of ultrasonic sensors 22 It was set as the structure which acquires. Instead, the single ultrasonic sensor 22 may be used to acquire the azimuth information and the object width information of the object based on the history of reflection points accompanying the movement of the host vehicle 50. In other words, object orientation information and object width information may be acquired based on the principle of moving triangulation using distance information obtained by a single ultrasonic sensor 22 and vehicle information (for example, vehicle speed, steering angle, etc.).
  • the object width information is acquired based on the reflection surface information of the object acquired by the ultrasonic sensor 22, but the method of acquiring the object width information by the ultrasonic sensor 22 is not limited to this.
  • the object width information of the object 55 may be acquired based on the detection point sequence of the ultrasonic sensor 22.
  • the image processing area 61 is set for a captured image captured by the in-vehicle camera 21, but the configuration of the present disclosure is applied when the image processing area is set for a bird's-eye image obtained by converting the captured image into a bird's-eye view viewpoint. May be.
  • the image processing area 61 is not set in the image captured by the in-vehicle camera 21, and the image processing area 61 is set for an object that is not so. It is good also as composition to do. By adopting such a configuration, it is possible to reduce the processing load of image processing as much as possible while appropriately calling attention to an object that may come into contact with the host vehicle 50.
  • the information related to the traveling state of the host vehicle 50 include a vehicle speed and a steering angle.
  • the monitoring ECU 30 functions as a contact determination unit.
  • the monitoring ECU 30 functions as a contact determination unit.
  • FIG. 3 when the driver of the host vehicle 50 is steering in the right direction, among the objects detected by the ultrasonic sensor 22, an image is displayed for the sign 53 and the standing sign 54.
  • the image processing area 61 is set for the other vehicle 52 without setting the processing area 61.
  • the image processing region 61 is set only for the region recognized as the possibility that the host vehicle 50 and the object are in contact with each other in the image taken by the in-vehicle camera 21. It is good also as a structure.
  • the ultrasonic sensor 22 When detection information of a plurality of objects is acquired by the ultrasonic sensor 22 and the plurality of objects exist within a predetermined proximity range on the image, the plurality of objects existing within the proximity range One image processing area may be set so as to include the object. Depending on the ultrasonic sensor 22, even if it is recognized as a plurality of separated objects, the images may overlap and appear as one. By adopting the above configuration in consideration of such cases, it is possible to perform image processing on the overlapping image targets collectively, and to reduce the processing load.
  • an image processing area once set for the object may be held for a predetermined time.
  • the in-vehicle camera 21 is mounted in front of the host vehicle 50 .
  • the mounting position and the number of the in-vehicle camera 21 are not particularly limited, and are mounted on the rear or side of the host vehicle 50. You may apply to the vehicle-mounted camera 21 currently used.
  • the ultrasonic sensor 22 is provided as a distance measuring sensor.
  • the present invention may be applied to a structure including a millimeter wave radar, a laser radar, or the like.
  • each said component is conceptual and is not limited to the said embodiment.
  • the functions of one component may be realized by being distributed to a plurality of components, or the functions of a plurality of components may be realized by one component.

Abstract

周辺監視装置は、探査波を送波し前記探査波の反射波を受波する測距センサ（２２）と、自車周辺を撮影する撮像装置（２１）とを備える車両（５０）に適用される。前記周辺監視装置は、自車周辺に存在する物体（５２～５５）の前記測距センサによる検知情報として、前記物体の距離情報、方位情報及び物体幅情報を取得する情報取得部と、前記情報取得部で取得した前記距離情報、前記方位情報及び前記物体幅情報に基づいて、前記撮像装置により撮影された画像において画像処理を施す画像処理領域（６１）を設定する領域設定部と、前記領域設定部で設定した画像処理領域に対して画像処理を施して前記物体を認識する物体認識部と、を備える。

Description

周辺監視装置及び周辺監視方法 関連出願の相互参照
　本出願は、２０１６年８月２９日に出願された日本出願番号２０１６－１６７１８２号に基づくもので、ここにその記載内容を援用する。
　本開示は、周辺監視装置及び周辺監視方法に関し、詳しくは、測距センサと撮像装置とを備える車両に適用される周辺監視装置及び周辺監視方法に関する。
　従来、撮像装置や測距センサを用いて、車両周辺に存在する物体を検知して車載の表示装置に表示したり、物体に接触することを回避するために警告を行ったりする車両周辺監視システムが知られている（例えば、特許文献１参照）。特許文献１には、撮像装置により撮影された撮影画像が視点変換された視点変換画像のうち、超音波ソナーにより検出された障害物の検出距離に基づき定めた地点から、撮像装置の高さ及び障害物の仮の高さに基づき算出した検出完了地点までの範囲を画像処理領域として設定し、その画像処理領域に対して画像処理を施して障害物の高さを取得することが開示されている。
特開２００５－３１８５４１号公報
　画像の一部に画像処理を施して物体認識する際、画像処理領域が大きすぎると画像処理に時間がかかってしまい、実際の車両周囲の環境と、注意喚起のために運転者に提供する情報との間の時間的なずれが大きくなることが懸念される。その一方で、画像処理領域を小さくしすぎると、設定した画像処理領域内に物体が十分に含まれておらず、物体の認識精度が低下することが懸念される。
　本開示は上記課題に鑑みなされたものであり、車両周辺に存在する物体の情報を精度良く、かつできるだけ速やかに認識することができる周辺監視装置及び周辺監視方法を提供することを一つの目的とする。
　本開示は、上記課題を解決するために、以下の手段を採用した。
　本開示は、探査波を送波し前記探査波の反射波を受波する測距センサと、自車周辺を撮影する撮像装置とを備える車両に適用される周辺監視装置に関する。本開示の一態様における周辺監視装置は、自車周辺に存在する物体の前記測距センサによる検知情報として、前記物体の距離情報、方位情報及び物体幅情報を取得する情報取得部と、前記情報取得部で取得した前記距離情報、前記方位情報及び前記物体幅情報に基づいて、前記撮像装置により撮影された画像において画像処理を施す画像処理領域を設定する領域設定部と、前記領域設定部で設定した画像処理領域に対して画像処理を施して前記物体を認識する物体認識部と、を備える。
　上記構成では、測距センサによる物体の検知情報に基づいて、撮像装置で撮影された画像における画像処理領域を設定する。このとき、物体の検知情報としては、距離情報だけでなく、物体の方位情報及び物体幅情報を用いて画像処理領域を設定する。これにより、画像上において、物体が存在している位置に対応する領域に、各物体の物体幅に応じた大きさの画像処理領域を設定することができる。この場合、画像処理によって物体認識を行う際に、画像中の物体に対応する部分については画像処理の対象となるようにし、物体が存在していない部分に対する無駄な画像処理を減らすことができ、処理負荷を軽減することができる。したがって、上記構成によれば、車両の周囲に存在する物体の情報を精度良く、かつできるだけ速やかに認識することができる。
　本開示についての上記目的およびその他の目的、特徴や利点は、添付の図面を参照しながら下記の詳細な記述により、より明確になる。その図面は、
図１は、車両周辺監視システムの概略構成を示す図であり、 図２は、物体の方位情報を取得する方法を説明する図であり、 図３は、画像処理領域を設定する処理の具体的態様を示す図であり、 図４は、物体の反射面情報を取得する方法を説明する図であり、 図５は、画像処理の処理手順を示すフローチャートであり、 図６は、物体の向き情報を用いて画像処理領域を設定する処理の具体的態様を示す図であり、 図７は、物体の向き情報を用いて画像処理領域を設定する処理の具体的態様を示す図である。
　以下、実施形態を図面に基づいて説明する。なお、以下の各実施形態相互において、互いに同一もしくは均等である部分には、図中、同一符号を付しており、同一符号の部分についてはその説明を援用する。
　まず、図１を参照して、本実施形態の車両周辺監視システム２０について説明する。本実施形態の車両周辺監視システム２０は、車両（以下、「自車両５０」という。）に搭載されており、図１に示すように、撮像装置としての車載カメラ２１と、測距センサとしての超音波センサ２２と、周辺監視装置としての監視ＥＣＵ３０とを備えている。
　車載カメラ２１は、例えばＣＣＤカメラ、ＣＭＯＳイメージセンサ、近赤外線カメラ等の単眼カメラ又はステレオカメラで構成されている。車載カメラ２１は、自車両５０の前部において車幅方向中央の所定高さ（例えば、前部バンパよりも上の位置）に取り付けられており、車両前方へ向けて所定角度範囲で広がる領域を撮影する。
　超音波センサ２２は、自車両５０の周囲に存在する障害物までの距離を検出するセンサである。本実施形態では、自車両５０の前部及び後部のそれぞれのバンパに、車幅方向に並ぶようにして複数個のセンサが所定の間隔を開けて取り付けられている。例えば前方バンパには、超音波センサ２２として、車幅の中心線５１の近傍に、中心線５１に対して対称位置に取り付けられた２つのセンタセンサ２３，２４と、自車両５０の左コーナ及び右コーナにそれぞれ取り付けられた２つのコーナセンサ２５，２６と、自車両５０の左側方及び右側方にそれぞれ取り付けられた側方センサ２７，２８とが設けられている。
　図１に、車載カメラ２１の撮影領域Ｅ、及び超音波センサ２２の検知領域Ｆを示す。なお、図１では便宜上、超音波センサ２２についてはセンタセンサ２３，２４の検知領域のみを示している。本実施形態において、各超音波センサ２２の検知距離は、車載カメラ２１の撮影距離よりも短い距離（例えば、数十センチメートルから１～２メートル程度）となっている。
　自車両５０には、車載カメラ２１及び超音波センサ２２の他、車速を検出する車速センサ３４、操舵角を検出する操舵角センサ３５等の各種センサが設けられている。
　監視ＥＣＵ３０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏ等を備えたコンピュータであり、ＣＰＵが、ＲＯＭにインストールされているプログラムを実行することで、車載カメラ２１及び超音波センサ２２の物体検知結果に基づき、自車両５０の走行を支援するための各機能を実現する。具体的には、監視ＥＣＵ３０は、自車両５０の周辺状況を車載の表示装置３６に表示したり、自車両５０の周辺に存在している物体に自車両５０が接触するおそれがあるときには警報装置３７を作動させ、運転者に対して警告を行ったりする。あるいは、認識した物体検知情報を運転支援装置に出力し、運転支援装置によって物体との接触回避のための制動制御やステアリング制御等の各種制御が実行されるようにしてもよい。
　表示装置３６への画像表示に際し、監視ＥＣＵ３０は、車載カメラ２１で撮影した撮影画像を、自車両５０の上方に設定した仮想視点から路面上を見た鳥瞰画像に変換して表示装置３６に表示する制御を実施する。表示装置３６は、運転者が視認可能な位置（例えばインストルメントパネル）に設けられている。なお、表示装置３６には、撮影画像が表示されるようにしてもよい。
　次に、超音波センサ２２による物体検知について説明する。監視ＥＣＵ３０は、超音波センサ２２に制御信号を出力し、所定の送波周期で（例えば、数百ミリ秒間隔で）超音波センサ２２から超音波を送波するよう指令する。また、超音波センサ２２の送波から受波までの時間である反射波時間に基づいて、物体までの距離を算出する。
　詳しくは、超音波センサ２２は、自らが送波した探査波の反射波を直接波として受波し、その反射波時間を距離情報として取得する。また、探査波を送波したセンサとは異なるセンサが送波した探査波の反射波を間接波として受信し、その反射波時間を距離情報として取得する。監視ＥＣＵ３０は、直接波により取得した距離情報、及び間接波により取得した距離情報により、三角測量の原理を利用して、自車両５０の周辺に存在している物体の方位情報として、自車両５０を基準位置とする物体の相対位置を表す座標（ｘ，ｙ）を算出する。
　図２を用いて、物体４０の方位情報の算出方法について説明する。図２では、隣接する２つの超音波センサ２２である第１センサ２２ａ及び第２センサ２２ｂと、自車両５０の前方に存在している物体５５とを平面視で表している。図２では、第１センサ２２ａを、探査波を送波して直接波を受波する直接検知センサとし、第２センサ２２ｂを、他のセンサが送波した超音波の反射波（間接波）を受波する間接検知センサとしている。直接検知センサ及び間接検知センサは、三角測量を行う２つのセンサである（図４についても同じ）。
　図２では、第１センサ２２ａで受波される直接波に基づいて、第１センサ２２ａの位置Ａと物体５５の反射点Ｏとの間の往復距離（２ＡＯ）がＬ１として算出される。また、第２センサ２２ｂで受波される間接波に基づいて、位置Ａと反射点Ｏと第２センサ２２ｂの位置Ｂとの間の距離（ＡＯ＋ＯＢ）がＬ２として算出される。図２に示すように、直接波によれば、位置Ａを中心とし線分ＡＯを半径とする円Ｓ１上に物体５５が存在しているものと把握でき、間接波によれば、ＡＯ＋ＯＢが一定となる楕円Ｓ２上に物体５５が存在しているものと把握できる。この場合、物体５５の反射点Ｏは、円Ｓ１と楕円Ｓ２との交点にあると認識できる。したがって、反射点Ｏの座標（ｘ，ｙ）を求めることで、物体５５の相対位置を算出することができる。
　次に、車載カメラ２１で撮影した画像を用いて、自車両５０の周辺に存在する物体を認識する処理について詳しく説明する。本実施形態において監視ＥＣＵ３０は、車載カメラ２１で撮影した画像において、超音波センサ２２による物体検知情報と整合する領域の画像に対して画像処理を施すことにより、物体認識処理として、物体に関する詳細な情報（例えば、物体の種別、物体の高さ情報等）を取得することとしている。
　具体的には、監視ＥＣＵ３０は、図１に示すように、情報取得部３１、領域設定部３２及び物体認識部３３を備える。情報取得部３１は、車載カメラ２１で撮影した撮影画像や、超音波センサ２２で検知した物体の検知情報を取得する。領域設定部３２は、情報取得部３１から超音波センサ２２による物体の検知情報を入力し、その入力した検知情報に基づいて、車載カメラ２１で撮影した撮影画像の一部の領域を、画像処理を施す領域（以下、「画像処理領域」という。）として設定する。例えば、超音波センサ２２の反射波により取得した距離情報に基づいて、撮影画像の一部の領域を画像処理領領域として設定する。物体認識部３３は、撮影画像のうち、領域設定部３２で設定した画像処理領域に対して画像処理を施す。
　監視ＥＣＵ３０は、こうした画像処理により取得した物体の情報に基づいて、自車両５０の周辺に存在する物体として表示装置３６に表示したり、自車両５０に接触するおそれがある物体と判断される場合に警報装置３７を作動させて警報を発したりする制御を実施する。この場合、物体認識処理では、撮影画像の一部の領域に対して画像処理を施すため、撮影画像の全ての領域に対して画像処理を施す場合に比べて、画像処理の処理負荷を軽減することが可能となる。これにより、今現在、自車両５０が置かれている周囲環境に関する情報を速やかに運転者に提供するようにしている。
　ここで、画像上の物体の大きさに対して画像処理領域が大きすぎると、画像処理に時間がかかってしまい、自車両５０の今現在の周囲環境と、運転者に提供する情報との間の時間遅れが大きくなることが懸念される。その一方で、画像上の物体の大きさに対して画像処理領域が小さすぎると、設定した画像処理領域内に物体が十分に含まれておらず、物体の認識精度が低下することが懸念される。
　そこで本実施形態では、領域設定部３２は、超音波センサ２２による物体検知情報として、物体の距離情報、方位情報、及び物体幅情報を用い、これら距離情報、方位情報及び物体幅情報に基づいて画像処理領域を設定することとしている。これにより、撮影画像上の物体に対し、その物体の位置及び物体幅に応じた位置、大きさの画像処理領域を設定するようにしている。なお、監視ＥＣＵ３０が、情報取得部３１、領域設定部３２及び物体認識部３３として機能する。
　図３は、撮影画像６０に設定される画像処理領域６１（６１ａ～６１ｃ）の具体的態様を示す図である。図３の（ａ）は、自車両５０の前方に他車両５２及び標識５３が存在している場合を表し、（ｂ）は、自車両５０の前方に他車両５２及び立て看板５４（例えば、工事案内看板、駐車場看板等）が存在している場合を表している。図３では、これらの物体５２～５４が超音波センサ２２によって検知されている場合を想定している。
　監視ＥＣＵ３０は、超音波センサ２２により取得した物体の距離情報、方位情報及び物体幅情報に基づいて、撮影画像６０における画像処理領域６１を設定する。本実施形態では、超音波センサ２２によって取得した物体の距離情報及び方位情報から、画像処理領域６１の基準位置（例えば中心点）を設定し、その設定した基準位置を含む領域に、物体幅情報及び距離情報に応じた大きさの画像処理領域６１を設定する。物体幅情報について本実施形態では、超音波センサ２２から送波された探査波が反射して反射波として受波されるときの物体の反射面に関する情報（以下「反射面情報」という。）に基づいて取得する。反射面情報については後述する。
　画像処理領域６１について、本実施形態では、自車両５０の車幅方向（左右方向）に平行な左右幅及び車幅方向に垂直な上下幅を有する矩形領域として設定される。図３の場合では、他車両５２に対しては、左右幅がＷ１であってかつ上下幅がＨ１の画像処理領域６１ａが設定され、標識５３に対しては、左右幅がＷ２であってかつ上下幅がＨ２の画像処理領域６１ｂが設定されている。立て看板５４に対しては、左右幅がＷ３であってかつ上下幅がＨ３の画像処理領域６１ｃが設定されている。
　図３の撮影画像６０において、左右幅Ｗ１～Ｗ３は、超音波センサ２２により取得した各物体の物体幅と検知距離とに応じて設定される。具体的には、物体幅が大きいほど、左右幅が大きい値に設定される。また、検知距離が短いほど、左右幅が大きい値に設定される。上下幅Ｈ１～Ｈ３は、予め定めた所定値としてもよいし、検知距離に応じて定めてもよい。また、撮影画像のエッジにより認識される物体の高さに応じた値としてもよい。検知距離に基づき上下幅を設定する場合、検知距離が短いほど、上下幅を大きい値に設定するとよい。
　ここで、物体の反射面情報について説明する。超音波センサ２２の測距結果を用いて物体の反射面情報を取得するには、直接反射点と間接反射点とが同一平面上に存在することを前提として、物体表面の複数の反射点から面成分を検知する面モデルによって行う。
　図４は、反射点情報を取得する計算モデルを説明する図である。なお、図４では、車両前方に存在する物体５５を第１センサ２２ａ及び第２センサ２２ｂにより検知しており、物体５５の外面に直接反射点Ｐ及び間接反射点Ｑが存在している。
　第１センサ２２ａで受波される直接波は、物体５５に対して最短距離で、すなわち物体５５に対して垂直に反射する。図４中のＸは、反射波を直接波として受波する第１センサ２２ａと直接反射点Ｐとを通る直線と、反射波を間接波として受波する第２センサ２２ｂと間接反射点Ｑとを通る直線との交点である。また、第１センサ２２ａと交点Ｘとの中点が直接反射点Ｐとなり、直接反射点Ｐを通りかつＡＸに垂直に交わる垂線とＢＸとの交点が間接反射点Ｑとなる。各反射点Ｐ，Ｑは、物体５５の外面上で横並びとなる２点である。これら２つの反射点Ｐ，Ｑの座標を求めることにより、反射面線分であるＰＱを求めることができる。
　直接波による距離計測結果と間接波による距離計測結果とに基づいて反射面線分ＰＱを求めるには、監視ＥＣＵ３０は、まず、直接波による計測距離Ｌ１と、間接波による計測距離Ｌ２とに基づいて交点Ｘを求め（交点算出部）、その交点Ｘに基づいて直接反射点Ｐを算出する（反射点算出部）。また、直接反射点Ｐを通り、かつ直接反射点Ｐと第１センサ２２ａとを結ぶ直線に直交する向きに延びる反射面線分ＰＱを反射面情報として取得する（情報取得部）。
　監視ＥＣＵ３０はさらに、超音波センサ２２の組み合わせを変えることで、車幅方向に異なる位置の複数の反射面線分を求める。そして、近接する複数の反射面線分につき、各反射面線分の端点座標及び線分傾きに基づいて同一物体に属するもの判断される場合に、それら複数の反射面線分を結合する。これにより、自車両５０の周囲に存在する物体５５について、反射面情報に基づき、自車両５０の車幅方向の大きさ（物体幅情報）や、車幅方向に対する傾き（向き情報）を把握することができる。
　なお、上記面モデルは、物体が比較的大きな平面を有し、その平面が反射面となる場合に特に有効である。面モデルによって物体幅を推定できない場合には、例えば撮影画像から抽出したエッジに基づいて物体幅を推定し、その推定した物体幅に応じた大きさの画像処理領域を設定する。
　次に、本実施形態の画像処理の処理手順について、図５のフローチャートを用いて説明する。この処理は、監視ＥＣＵ３０により所定周期毎に実行される。
　図５において、ステップＳ１１では、車載カメラ２１で撮影された撮影画像を取得する。続くステップＳ１２では、超音波センサ２２による物体検知情報として、物体の距離情報、方位情報及び物体幅情報を取得する（情報取得部）。このとき、物体幅情報は反射面情報から取得し、反射面情報を取得できない場合には、画像エッジを用いて物体幅を検出する。
　続くステップＳ１３では、ステップＳ１２で取得した物体の距離情報、方位情報及び物体幅情報に基づいて、撮影画像における画像処理領域６１を設定する（領域設定部）。このとき、物体幅が大きいほど、又は検知距離が短いほど、画像処理領域６１の左右方向の幅を大きく設定する。
　続くステップＳ１４では、ステップＳ１３で設定した画像処理領域に対して画像処理を実行し、物体認識を行う（物体認識部）。この画像処理では、物体の種別（例えば車両、歩行者、二輪車等）や物体の高さ等といった、物体に関する詳細情報を取得する。例えば、物体の種別については、画像処理領域の部分の画像から抽出した特徴点に対してパターンマッチングを行うことにより、その物体の種別を判別する。また、物体の高さについては、画像処理領域の部分の画像を鳥瞰画像に変換し、その変換した鳥瞰画像から物体の高さを求める。ステップＳ１４の処理を終了すると、本ルーチンを終了する。
　なお、ステップＳ１３で設定した画像処理領域６１は、自車両５０の移動に合わせてトラッキングしてもよい。あるいは、超音波センサ２２によって新たに得られた物体検知情報に基づいて、画像処理領域６１を都度更新するようにしてもよい。
　以上詳述した本実施形態によれば、次の優れた効果が得られる。
　超音波センサ２２による物体５５の検知情報に基づいて、車載カメラ２１で撮影された画像における画像処理領域６１を設定する際、物体５５の検知情報としては距離情報だけでなく、物体５５の方位情報及び物体幅情報を用いて画像処理領域６１を設定する構成とした。こうした構成とすることにより、物体５５が存在している位置に対応する領域に、物体幅に応じた大きさの画像処理領域を設定することができる。これにより、画像処理によって物体認識を行う際に、物体に対応する部分については画像処理を十分に行い、物体が存在していない部分（例えば背景等）に対する無駄な画像処理を減らすことができ、処理負荷を軽減することができる。よって、上記構成によれば、自車両５０の周囲に存在する物体５５を精度良く、かつできるだけ速やかに認識することができる。
　超音波センサ２２により検知した物体５５の反射面情報に基づいて物体幅情報を取得し、その取得した物体幅情報を用いて画像処理領域６１を設定する構成とした。具体的には、監視ＥＣＵ３０は、第１センサ２２ａと直接反射点Ｐとを通る直線と、第２センサ２２ｂと間接反射点Ｑとを通る直線との交点Ｘを算出し、交点Ｘに基づいて直接反射点Ｐを算出し、さらに、直接反射点Ｐを通り、かつ直接反射点Ｐと第１センサ２２ａとを結ぶ直線に所定角度で交差する向きに延びる交差直線を物体５５の反射面情報として取得した。超音波センサ２２により取得した物体５５の反射面情報を用いることにより、物体５５の向き、大きさに応じた物体幅を精度良く把握することができる。
　複数の超音波センサ２２を用い、直接波及び間接波を用いて物体の方位情報及び物体幅情報を取得する構成とした。この場合、三角測量の原理を利用することで、物体の方位情報及び反射面情報を的確に把握することができる。また、物体の反射面情報によれば、超音波センサ２２の検知結果から、物体表面の平面成分の向き及び大きさを把握することができる。
　超音波センサ２２は、草や低木、小石、輪止め等といった、本来注意喚起しなくてもよい物体にも反応しやすく、実際には安全な走行状況であるにも関わらず、運転者に対して注意喚起が行われることがある。また、超音波センサ２２は、比較的車両に近い領域を検知領域としており、超音波センサ２２で検知された物体に対しては、より速やかな物体認識及び運転者への注意喚起が必要とされる。この点、測距センサとして超音波センサ２２を備えるシステムにおいて、物体の距離情報、方位情報及び物体幅情報に基づいて画像処理領域６１を設定する構成としたことから、車両周辺に存在する物体について、処理負荷を軽減しながらも、その物体に関する詳細な情報を、画像を用いて精度良く認識することができる。また、物体の情報を速やかにかつ精度良く認識できることから、その情報に基づき、真に必要と判断される物体について運転者に的確なタイミングで注意喚起する一方、接触の可能性が低い物体に対する不要な注意喚起を行わないようにすることができる。
　（他の実施形態）
　本開示は上記の実施形態に限定されず、例えば以下のように実施されてもよい。
　・上記実施形態において、物体の反射面情報に基づいて取得した物体の向き情報を用いて画像処理領域６１を設定してもよい。画像処理領域６１を設定する際に、自車両５０の車幅方向に対する物体の向きを考慮することにより、物体が領域内に十分に含まれるようにしつつ、画像処理領域６１の大きさができるだけ小さくなるように微調整することができる。具体的には、自車両５０の車幅方向に対して所定角度θで傾いている物体５５（図６（ｂ）参照）については、自車両５０に正対している物体５５（図６（ａ）参照）に比べて、画像処理領域６１の左右幅を小さく設定する（Ｗ５＜Ｗ４）。このとき、所定角度θが大きいほど、つまり車幅方向に対する傾斜が大きいほど、左右幅を小さく設定する。また、所定角度θに応じて上下幅を可変に設定してもよく、具体的には、所定角度θが大きいほど上下幅を大きく設定してもよい。
　・物体の向き情報を用いて画像処理領域６１を設定する構成としては、図７に示すように、画像処理領域６１の左右幅の延びる方向を、反射面情報に基づき取得した物体の向きに応じて設定する構成としてもよい。こうした構成とすることにより、物体５５の向きに応じた適切な位置、大きさの画像処理領域６１を設定することができる。具体的には、物体５５の反射面５５ａが自車両５０に正対している場合には、図７（ａ）に示すように、左右の境界線６２ａと上下の境界線６２ｂとが直角に交差する領域を画像処理領域６１として設定する。一方、物体５５の反射面５５ａが自車両５０に正対しておらず、自車両５０の車幅方向に対して傾いている場合には、図７（ｂ）に示すように、所定角度θで傾斜する左右の境界線６２ａと、上下の境界線６２ｂとで囲まれた領域を画像処理領域６１として設定する。
　・上記実施形態では、複数の超音波センサ２２を用い、直接波により取得した距離情報と、間接波により取得した距離情報とにより、三角測量の原理を利用して物体の方位情報及び物体幅情報を取得する構成とした。これに替えて、単一の超音波センサ２２を用い、自車両５０の移動に伴う反射点の履歴に基づいて、物体の方位情報及び物体幅情報を取得してもよい。つまり、単一の超音波センサ２２による距離情報と、車両情報（例えば車速、操舵角など）とを用いた移動三角測量の原理により、物体の方位情報及び物体幅情報を取得してもよい。
　・上記実施形態では、超音波センサ２２により取得した物体の反射面情報に基づいて物体幅情報を取得する構成としたが、超音波センサ２２により物体幅情報を取得する方法はこれに限定されない。例えば、超音波センサ２２の検知点列に基づいて、物体５５の物体幅情報を取得する構成としてもよい。
　・上記実施形態では、車載カメラ２１で撮影した撮影画像に画像処理領域６１を設定したが、撮影画像を俯瞰視点に変換した鳥瞰画像に画像処理領域を設定する場合に本開示の構成を適用してもよい。
　・超音波センサ２２により検知された物体につき、自車両５０の走行状態に関する情報に基づいて、自車両５０との接触の可能性が低いか否かを判定する。そして、自車両５０との接触の可能性が低いと判定される物体については、車載カメラ２１により撮影された画像において画像処理領域６１を設定せず、そうでない物体については画像処理領域６１を設定する構成としてもよい。こうした構成とすることにより、自車両５０との接触の可能性がある物体に対する注意喚起を適切に行いつつ、画像処理の処理負荷をできるだけ軽減することができる。自車両５０の走行状態に関する情報としては、例えば車速、操舵角等が含まれる。この場合、監視ＥＣＵ３０が接触判定部として機能する。例えば、図３において、自車両５０の運転者が右方向に操舵を行っている場合には、超音波センサ２２で検知されている物体のうち、標識５３及び立て看板５４に対しては、画像処理領域６１を設定せず、他車両５２に対しては画像処理領域６１を設定する。
　・自車両５０の走行状態に関する情報に基づいて、車載カメラ２１により撮影された画像において自車両５０と物体とが接触する可能性があると認識される領域についてのみ、画像処理領域６１を設定する構成としてもよい。
　・超音波センサ２２によって複数の物体の検知情報が取得されており、それら複数の物体が画像上の所定の近接範囲内に存在している場合には、その近接範囲内に存在している複数の物体が含まれるように１つの画像処理領域を設定してもよい。超音波センサ２２によっては、離間する複数の物体として認識されていても、画像としては重なって１つに見えていることもある。こうした場合を考慮して上記構成とすることにより、重なっている画像物標をまとめて画像処理することができ、処理負荷を軽減することができる。
　・超音波センサ２２により取得した物体検知情報のうち、反射率が時間ごとに大きく変動する物体については、その物体について一旦設定した画像処理領域を所定時間保持する構成としてもよい。こうした構成とすることにより、物体検知の結果がハンチングする場合にも画像処理を行う領域として加えることで、物体の検知漏れを抑制することができる。
　・上記実施形態では、車載カメラ２１が自車両５０の前方に搭載されている場合について説明したが、車載カメラ２１の搭載位置及び数は特に限定されず、自車両５０の後方や側方に搭載されている車載カメラ２１に適用してもよい。
　・上記実施形態では、測距センサとして超音波センサ２２を備える構成としたが、例えばミリ波レーダやレーザレーダ等を備える構成に適用してもよい。
　・上記の各構成要素は概念的なものであり、上記実施形態に限定されない。例えば、一つの構成要素が有する機能を複数の構成要素に分散して実現したり、複数の構成要素が有する機能を一つの構成要素で実現したりしてもよい。
　本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。

Claims (7)

  1. 　探査波を送波し前記探査波の反射波を受波する測距センサ（２２）と、自車周辺を撮影する撮像装置（２１）とを備える車両（５０）に適用される周辺監視装置であって、
    　自車周辺に存在する物体（５２～５５）の前記測距センサによる検知情報として、前記物体の距離情報、方位情報及び物体幅情報を取得する情報取得部と、
    　前記情報取得部で取得した前記距離情報、前記方位情報及び前記物体幅情報に基づいて、前記撮像装置により撮影された画像において画像処理を施す画像処理領域（６１）を設定する領域設定部と、
    　前記領域設定部で設定した画像処理領域に対して画像処理を施して前記物体を認識する物体認識部と、
    を備える周辺監視装置。
  2. 　前記情報取得部は、前記測距センサにより検知した前記物体の反射面情報に基づいて前記物体幅情報を取得し、
    　前記領域設定部は、前記反射面情報に基づき取得した前記物体幅情報を用いて前記画像処理領域を設定する、請求項１に記載の周辺監視装置。
  3. 　前記情報取得部は、前記測距センサにより検知した前記物体の反射面情報に基づいて前記物体の向き情報を取得し、
    　前記領域設定部は、前記反射面情報に基づき取得した前記向き情報を用いて前記画像処理領域を設定する、請求項１又は２に記載の周辺監視装置。
  4. 　前記車両は、前記測距センサを複数備え、
    　前記情報取得部は、前記測距センサのうち前記探査波を送波した第１センサ（２２ａ）が受波した反射波である直接波、及び前記測距センサのうち前記探査波を送波したセンサとは異なる第２センサ（２２ｂ）が受波した反射波である間接波を用いて、前記方位情報及び前記物体幅情報を取得する、請求項１～３のいずれか一項に記載の周辺監視装置。
  5. 　前記車両の走行状態に関する情報に基づいて、前記測距センサにより検知した物体と前記車両との接触の可能性が低いか否かを判定する接触判定部を備え、
    　前記領域設定部は、前記接触判定部により前記車両との接触の可能性が低いと判定された物体については、前記撮像装置により撮影された画像において前記画像処理領域を設定しない、請求項１～４のいずれか一項に記載の周辺監視装置。
  6. 　前記測距センサは超音波センサである、請求項１～５のいずれか一項に記載の周辺監視装置。
  7. 　探査波を送波し前記探査波の反射波を受波する測距センサ（２２）と、自車周辺を撮影する撮像装置（２１）とを備える車両（５０）に適用される周辺監視方法であって、
    　前記車両の周辺に存在する物体（５２～５５）の前記測距センサによる検知情報として、前記物体の距離情報、方位情報及び物体幅情報を取得し、
    　当該取得した前記距離情報、前記方位情報及び前記物体幅情報に基づいて、前記撮像装置により撮影された画像において画像処理を施す画像処理領域（６１）を設定し、
    　当該設定した画像処理領域に対して画像処理を施して前記物体を認識する、周辺監視方法。
PCT/JP2017/028265 2016-08-29 2017-08-03 周辺監視装置及び周辺監視方法 WO2018043028A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201780052847.6A CN109643495B (zh) 2016-08-29 2017-08-03 周边监视装置及周边监视方法
US16/328,465 US10885354B2 (en) 2016-08-29 2017-08-03 Perimeter monitoring device and perimeter monitoring method
DE112017004333.6T DE112017004333B4 (de) 2016-08-29 2017-08-03 Umgebungsüberwachvorrichtung und Umgebungsüberwachverfahren

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-167182 2016-08-29
JP2016167182A JP6722066B2 (ja) 2016-08-29 2016-08-29 周辺監視装置及び周辺監視方法

Publications (1)

Publication Number Publication Date
WO2018043028A1 true WO2018043028A1 (ja) 2018-03-08

Family

ID=61301893

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/028265 WO2018043028A1 (ja) 2016-08-29 2017-08-03 周辺監視装置及び周辺監視方法

Country Status (5)

Country Link
US (1) US10885354B2 (ja)
JP (1) JP6722066B2 (ja)
CN (1) CN109643495B (ja)
DE (1) DE112017004333B4 (ja)
WO (1) WO2018043028A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020012852A1 (ja) * 2018-07-11 2020-01-16 クラリオン株式会社 測位支援装置及び測位支援方法
DE102018129876B3 (de) * 2018-11-27 2020-04-16 Valeo Schalter Und Sensoren Gmbh Verfahren zum Bestimmen einer geometrischen Eigenschaft eines Objekts mittels einer Geradengleichung, Computerprogrammprodukt, elektronische Recheneinrichtung sowie Ultraschallsensorvorrichtung
WO2021192032A1 (ja) * 2020-03-24 2021-09-30 三菱電機株式会社 情報処理装置及び情報処理方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6930512B2 (ja) * 2018-10-19 2021-09-01 株式会社デンソー 物体検知装置、物体検知方法およびプログラム
US11410545B2 (en) * 2019-07-19 2022-08-09 Ford Global Technologies, Llc Dynamic vehicle perimeter definition and reporting
KR102333240B1 (ko) * 2019-12-18 2021-12-01 현대모비스 주식회사 차량용 물체 인식 장치 및 방법
JP7318609B2 (ja) * 2020-08-06 2023-08-01 トヨタ自動車株式会社 車載検出装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006151125A (ja) * 2004-11-26 2006-06-15 Omron Corp 車載用画像処理装置
JP2012164275A (ja) * 2011-02-09 2012-08-30 Toyota Motor Corp 画像認識装置
WO2013024509A1 (ja) * 2011-08-16 2013-02-21 三菱電機株式会社 物体検知装置
JP2013190421A (ja) * 2012-03-14 2013-09-26 Honda Motor Co Ltd 車両において通行物体位置検出を向上する方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3263699B2 (ja) 1992-12-22 2002-03-04 三菱電機株式会社 走行環境監視装置
JP3212218B2 (ja) 1994-05-26 2001-09-25 三菱電機株式会社 車両用障害物検出装置
JP2003194938A (ja) * 2001-12-25 2003-07-09 Denso Corp 障害物検知装置
DE102005015088B4 (de) 2004-04-02 2015-06-18 Denso Corporation Fahrzeugumgebungsüberwachungssystem
JP4315117B2 (ja) 2004-04-02 2009-08-19 株式会社デンソー 車両周辺監視システム
JP4396400B2 (ja) 2004-06-02 2010-01-13 トヨタ自動車株式会社 障害物認識装置
JP4598653B2 (ja) 2005-05-13 2010-12-15 本田技研工業株式会社 衝突予知装置
JP4123259B2 (ja) * 2005-09-02 2008-07-23 トヨタ自動車株式会社 物体検出装置および物体検出方法
JP4371115B2 (ja) * 2006-03-01 2009-11-25 トヨタ自動車株式会社 物体検出装置
EP2234085B1 (en) * 2007-12-18 2011-11-30 Honda Motor Co., Ltd. Parking availability judging device for vehicle
JP4453775B2 (ja) 2008-06-27 2010-04-21 トヨタ自動車株式会社 物体検出装置
JP6404679B2 (ja) * 2014-10-22 2018-10-10 株式会社デンソー 物体検知装置
JP2016080641A (ja) * 2014-10-22 2016-05-16 株式会社デンソー 物体検知装置
JP6333412B2 (ja) * 2014-12-26 2018-05-30 三菱電機株式会社 障害物検知装置
JP2016167182A (ja) 2015-03-10 2016-09-15 アズビル株式会社 制御プログラム作成装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006151125A (ja) * 2004-11-26 2006-06-15 Omron Corp 車載用画像処理装置
JP2012164275A (ja) * 2011-02-09 2012-08-30 Toyota Motor Corp 画像認識装置
WO2013024509A1 (ja) * 2011-08-16 2013-02-21 三菱電機株式会社 物体検知装置
JP2013190421A (ja) * 2012-03-14 2013-09-26 Honda Motor Co Ltd 車両において通行物体位置検出を向上する方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020012852A1 (ja) * 2018-07-11 2020-01-16 クラリオン株式会社 測位支援装置及び測位支援方法
DE102018129876B3 (de) * 2018-11-27 2020-04-16 Valeo Schalter Und Sensoren Gmbh Verfahren zum Bestimmen einer geometrischen Eigenschaft eines Objekts mittels einer Geradengleichung, Computerprogrammprodukt, elektronische Recheneinrichtung sowie Ultraschallsensorvorrichtung
WO2021192032A1 (ja) * 2020-03-24 2021-09-30 三菱電機株式会社 情報処理装置及び情報処理方法
JP7019118B1 (ja) * 2020-03-24 2022-02-14 三菱電機株式会社 情報処理装置及び情報処理方法
CN115244594A (zh) * 2020-03-24 2022-10-25 三菱电机株式会社 信息处理装置和信息处理方法
CN115244594B (zh) * 2020-03-24 2023-10-31 三菱电机株式会社 信息处理装置和信息处理方法

Also Published As

Publication number Publication date
CN109643495B (zh) 2022-05-17
JP6722066B2 (ja) 2020-07-15
JP2018037737A (ja) 2018-03-08
US20200210722A1 (en) 2020-07-02
DE112017004333B4 (de) 2023-09-28
DE112017004333T5 (de) 2019-05-09
US10885354B2 (en) 2021-01-05
CN109643495A (zh) 2019-04-16

Similar Documents

Publication Publication Date Title
WO2018043028A1 (ja) 周辺監視装置及び周辺監視方法
US11027653B2 (en) Apparatus, system and method for preventing collision
US9934690B2 (en) Object recognition apparatus and vehicle travel controller using same
US9863775B2 (en) Vehicle localization system
US8320628B2 (en) Method and system for assisting driver
US9151626B1 (en) Vehicle position estimation system
JP3263699B2 (ja) 走行環境監視装置
JP2001099930A (ja) 周辺監視センサ
JP6477453B2 (ja) 物体検知装置、物体検知方法
US11086007B2 (en) Target detection device
US11150333B2 (en) Object sensing apparatus and object sensing method
JP2021196939A (ja) 車載センサシステム
JP6697281B2 (ja) 物体検知装置
JP5698618B2 (ja) 絶対速度推定装置
US11798417B2 (en) Driving assistance device
KR20190078944A (ko) 철도차량용 증강현실 헤드업 디스플레이 시스템
JP2021049843A (ja) 遠隔駐車システム
JP6465919B2 (ja) 障害物検知システム
US11535243B2 (en) Remote parking system
JP4872517B2 (ja) 障害物認識装置
JP3954053B2 (ja) 車両周辺監視装置
US10249056B2 (en) Vehicle position estimation system
US11347216B2 (en) Remote parking system
US11480957B2 (en) Vehicle control system
CN114502433A (zh) 控制装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17846037

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17846037

Country of ref document: EP

Kind code of ref document: A1