WO2018198574A1 - 障害物検知装置 - Google Patents

障害物検知装置 Download PDF

Info

Publication number
WO2018198574A1
WO2018198574A1 PCT/JP2018/010273 JP2018010273W WO2018198574A1 WO 2018198574 A1 WO2018198574 A1 WO 2018198574A1 JP 2018010273 W JP2018010273 W JP 2018010273W WO 2018198574 A1 WO2018198574 A1 WO 2018198574A1
Authority
WO
WIPO (PCT)
Prior art keywords
obstacle
distance
sensor
host vehicle
wave
Prior art date
Application number
PCT/JP2018/010273
Other languages
English (en)
French (fr)
Inventor
充保 松浦
岳人 原田
前田 優
博彦 柳川
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to DE112018002247.1T priority Critical patent/DE112018002247B4/de
Priority to CN201880027990.4A priority patent/CN110573905B/zh
Publication of WO2018198574A1 publication Critical patent/WO2018198574A1/ja
Priority to US16/662,380 priority patent/US20200057897A1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06Systems determining the position data of a target
    • G01S15/08Systems for measuring distance only
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/93Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/579Depth or shape recovery from multiple images from motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Definitions

  • the present disclosure relates to an obstacle detection device configured to detect an obstacle existing outside the host vehicle by being mounted on the host vehicle.
  • An apparatus described in Japanese Patent Application Laid-Open No. 2014-58247 includes a sonar including an irradiation unit, a reception unit, and a position detection unit, and an object determination unit. Sonar may also be referred to as a “ranging sensor”.
  • the irradiation unit irradiates the outside of the vehicle with ultrasonic waves.
  • the receiving unit receives a reflected wave from the object.
  • the position detection unit detects the position of the object based on the round trip time of the ultrasonic wave.
  • the object determination unit determines a feature related to the height of the object from the change in the detection state of the object specified based on the reflected wave.
  • the distance from the distance measuring sensor or the vehicle on which the distance measuring sensor is mounted to the obstacle is acquired based on the reflected wave of the exploration wave by the obstacle.
  • the detection result of the reflected wave includes information corresponding to the distance between the distance measuring sensor and the object, but essentially does not include information corresponding to the height of the object. For this reason, information on the height of the object cannot be obtained accurately by this type of conventional apparatus.
  • an obstacle to be detected may be an obstacle such as a curbstone whose protrusion height from the road surface is low. In this case, an error that cannot be ignored may occur between the acquired distance and the actual horizontal distance between the host vehicle and the obstacle.
  • the obstacle detection device is configured to detect an obstacle existing outside the host vehicle by being mounted on the host vehicle.
  • This obstacle detection device Provided to output a signal corresponding to the distance to the obstacle by transmitting the exploration wave toward the outside of the host vehicle and receiving a received wave including the reflected wave of the obstacle by the obstacle.
  • At least one ranging sensor An imaging unit provided to acquire image information corresponding to an image around the host vehicle; A vehicle state acquisition unit provided to acquire travel state information corresponding to the travel state of the host vehicle; A position acquisition unit provided to acquire relative position information corresponding to a relative position of the obstacle with respect to the host vehicle based on an output of the ranging sensor; A shape recognition unit provided to execute shape recognition of the obstacle based on the image information acquired by the imaging unit and the running state information acquired by the vehicle state acquisition unit; A detection processing unit provided to detect the obstacle based on the relative position information acquired by the position acquisition unit and a shape recognition result by the shape recognition unit; With The detection processing unit is configured to discard the relative position information corresponding to the obstacle when a height dimension of the obstacle is less than a predetermined dimension in the shape recognition result.
  • the obstacle detection device is configured to detect an obstacle existing outside the host vehicle by being mounted on the host vehicle.
  • This obstacle detection device Provided to output a signal corresponding to the distance to the obstacle by transmitting the exploration wave toward the outside of the host vehicle and receiving a received wave including the reflected wave of the obstacle by the obstacle.
  • At least one ranging sensor An imaging unit provided to acquire image information corresponding to an image around the host vehicle; A distance acquisition unit provided to acquire distance information corresponding to the distance of the obstacle from the host vehicle based on the output of the distance measuring sensor; A shape recognition unit provided to execute shape recognition of the obstacle based on the image information acquired by the imaging unit; When the height of the obstacle is less than a predetermined dimension in the shape recognition result by the shape recognition unit, the distance information corresponding to the obstacle is based on the mounting position of the distance measuring sensor in the vehicle height direction.
  • a distance correction unit provided to correct, It has.
  • FIG. 1st embodiment of the obstruction detection apparatus shown by FIG. It is the schematic for demonstrating the operation
  • summary of the obstruction detection apparatus shown by FIG. It is the schematic for demonstrating the operation
  • flowchart which shows the operation example of the obstruction detection apparatus shown by FIG.
  • flowchart which shows the operation example of the obstruction detection apparatus shown by FIG.
  • the vehicle 10 is a so-called four-wheeled vehicle and includes a vehicle body 11 having a substantially rectangular shape in plan view.
  • a virtual straight line passing through the center of the vehicle 10 in the vehicle width direction and parallel to the vehicle full length direction of the vehicle 10 is referred to as a vehicle center axis VL.
  • the vehicle full length direction is a direction orthogonal to the vehicle width direction and orthogonal to the vehicle height direction.
  • the vehicle height direction is a direction that defines the vehicle height of the vehicle 10, and is a direction parallel to the direction of gravity when the vehicle 10 is placed on a horizontal plane.
  • the full length direction of the vehicle is the vertical direction in the figure
  • the vehicle width direction is the horizontal direction in the figure.
  • the “front”, “rear”, “left”, and “right” in the vehicle 10 are defined as indicated by arrows in FIG. That is, the vehicle full length direction is synonymous with the front-rear direction.
  • the vehicle width direction is synonymous with the left-right direction.
  • the vehicle height direction is synonymous with the vertical direction. However, as will be described later, the vehicle height direction, that is, the vertical direction, may not be parallel to the gravitational action direction depending on the mounting condition or traveling condition of the vehicle 10.
  • a front bumper 13 is attached to the front surface portion 12 which is the front end portion of the vehicle body 11.
  • a rear bumper 15 is attached to a rear surface portion 14 which is a rear end portion of the vehicle body 11.
  • a door panel 17 is attached to the side surface portion 16 of the vehicle body 11. In the specific example shown in FIG. 1, a total of four door panels 17 are provided, two on each side.
  • a door mirror 18 is attached to each of the pair of left and right door panels 17 on the front side.
  • the vehicle 10 is equipped with an obstacle detection device 20.
  • the obstacle detection device 20 is configured to be able to detect an obstacle B existing outside the vehicle 10 by being mounted on the vehicle 10.
  • the vehicle 10 on which the obstacle detection device 20 is mounted is referred to as “own vehicle 10”.
  • the obstacle detection device 20 includes a distance measuring sensor 21, an imaging unit 22, a vehicle speed sensor 23, a shift position sensor 24, a steering angle sensor 25, a control unit 26, and a display 27. ing.
  • a distance measuring sensor 21 an imaging unit 22
  • vehicle speed sensor 23 a vehicle speed sensor 23
  • shift position sensor 24 a steering angle sensor 25
  • control unit 26 a display 27.
  • the detail of each part which comprises the obstacle detection apparatus 20 is demonstrated.
  • the electrical connection relationship between each part constituting the obstacle detection device 20 is omitted in FIG.
  • the distance measuring sensor 21 transmits the exploration wave toward the outside of the host vehicle 10 and receives a reception wave including a reflection wave of the exploration wave from the wall surface BW of the obstacle B, thereby increasing the distance from the obstacle B. A corresponding signal is output.
  • the distance measuring sensor 21 is a so-called ultrasonic sensor, and is configured to transmit an exploration wave that is an ultrasonic wave and to receive a received wave including the ultrasonic wave. .
  • the obstacle detection device 20 includes at least one distance measuring sensor 21.
  • a plurality of distance measuring sensors 21 are attached to the vehicle body 11.
  • the plurality of distance measuring sensors 21 are respectively shifted from the vehicle center axis VL to one side in the vehicle width direction.
  • at least a part of the plurality of distance measuring sensors 21 is provided so as to transmit an exploration wave along a direction intersecting the vehicle center axis VL.
  • the front bumper 13 is equipped with a first front sonar SF1, a second front sonar SF2, a third front sonar SF3, and a fourth front sonar SF4 as distance measuring sensors 21.
  • the rear bumper 15 is equipped with a first rear sonar SR1, a second rear sonar SR2, a third rear sonar SR3, and a fourth rear sonar SR4 as distance measuring sensors 21.
  • first side sonar SS1, a second side sonar SS2, a third side sonar SS3, and a fourth side sonar SS4 are mounted on the side surface portion 16 of the vehicle body 11 as distance measuring sensors 21.
  • One distance measuring sensor 21 is referred to as a “first distance sensor”, another distance measuring sensor is referred to as a “second distance sensor”, and “direct wave” and “indirect wave” are referred to. It is defined as follows. A received wave that is received by the first distance measuring sensor and is caused by a reflected wave by the obstacle B of the exploration wave transmitted from the first distance measuring sensor is referred to as a “direct wave”. On the other hand, the received wave received by the first distance measuring sensor and caused by the reflected wave from the obstacle B of the exploration wave transmitted from the second distance sensor is referred to as “indirect wave”. .
  • the first front sonar SF1 is provided at the left end of the front surface V1 of the front bumper 13 so as to transmit an exploration wave to the left front of the host vehicle 10.
  • the second front sonar SF ⁇ b> 2 is provided at the right end portion of the front surface V ⁇ b> 1 of the front bumper 13 so as to transmit an exploration wave to the right front of the host vehicle 10.
  • the first front sonar SF1 and the second front sonar SF2 are arranged symmetrically with respect to the vehicle center axis VL.
  • the third front sonar SF3 and the fourth front sonar SF4 are arranged in the vehicle width direction at a position closer to the center on the front surface V1 of the front bumper 13.
  • the third front sonar SF3 is disposed between the first front sonar SF1 and the vehicle center axis VL in the vehicle width direction so as to transmit an exploration wave substantially in front of the host vehicle 10.
  • the fourth front sonar SF4 is disposed between the second front sonar SF2 and the vehicle center axis VL in the vehicle width direction so as to transmit an exploration wave substantially in front of the host vehicle 10.
  • the third front sonar SF3 and the fourth front sonar SF4 are arranged symmetrically with respect to the vehicle center axis VL.
  • the first front sonar SF1 and the third front sonar SF3 are arranged at different positions in plan view. Further, the first front sonar SF1 and the third front sonar SF3 that are adjacent to each other in the vehicle width direction have a positional relationship in which the reflected wave from the obstacle B of the exploration wave transmitted by one can be received as the received wave at the other. Is provided.
  • the first front sonar SF1 is arranged to be able to receive both a direct wave corresponding to the exploration wave transmitted by itself and an indirect wave corresponding to the exploration wave transmitted by the third front sonar SF3.
  • the third front sonar SF3 is arranged to be able to receive both a direct wave corresponding to the exploration wave transmitted by itself and an indirect wave corresponding to the exploration wave transmitted by the first front sonar SF1.
  • the third front sonar SF3 and the fourth front sonar SF4 are arranged at different positions in plan view. Further, the third front sonar SF3 and the fourth front sonar SF4 that are adjacent to each other in the vehicle width direction have a positional relationship in which a reflected wave from the obstacle B of the exploration wave transmitted by one can be received as a received wave in the other. Is provided.
  • the second front sonar SF2 and the fourth front sonar SF4 are arranged at different positions in plan view. Further, the second front sonar SF2 and the fourth front sonar SF4 adjacent to each other in the vehicle width direction are in a positional relationship in which the reflected wave from the obstacle B of the exploration wave transmitted by one can be received as the received wave in the other. Is provided.
  • the first rear sonar SR1 is provided at the left end of the rear surface V2 of the rear bumper 15 so as to transmit an exploration wave to the left rear of the host vehicle 10.
  • the second rear sonar SR2 is provided at the right end portion of the rear surface V2 of the rear bumper 15 so as to transmit an exploration wave to the right rear of the host vehicle 10.
  • the first rear sonar SR1 and the second rear sonar SR2 are arranged symmetrically with respect to the vehicle center axis VL.
  • the third rear sonar SR3 and the fourth rear sonar SR4 are arranged in the vehicle width direction at a position closer to the center on the rear surface V2 of the rear bumper 15.
  • the third rear sonar SR3 is disposed between the first rear sonar SR1 and the vehicle center axis VL in the vehicle width direction so as to transmit an exploration wave substantially behind the host vehicle 10.
  • the fourth rear sonar SR4 is disposed between the second rear sonar SR2 and the vehicle center axis VL in the vehicle width direction so as to transmit an exploration wave substantially behind the host vehicle 10.
  • the third rear sonar SR3 and the fourth rear sonar SR4 are arranged symmetrically with respect to the vehicle center axis VL.
  • the first rear sonar SR1 and the third rear sonar SR3 are arranged at different positions in plan view. Further, the first rear sonar SR1 and the third rear sonar SR3 adjacent to each other in the vehicle width direction are provided in a positional relationship such that the reflected wave from the obstacle B of the exploration wave transmitted by one can be received as the received wave in the other. It has been.
  • the first rear sonar SR1 is disposed so as to be able to receive both a direct wave corresponding to the exploration wave transmitted by itself and an indirect wave corresponding to the exploration wave transmitted by the third rear sonar SR3.
  • the third rear sonar SR3 is arranged to be able to receive both a direct wave corresponding to the exploration wave transmitted by itself and an indirect wave corresponding to the exploration wave transmitted by the first rear sonar SR1.
  • the third rear sonar SR3 and the fourth rear sonar SR4 are arranged at different positions in plan view. Further, the third rear sonar SR3 and the fourth rear sonar SR4 which are adjacent to each other in the vehicle width direction are provided in a positional relationship such that a reflected wave from the obstacle B of the exploration wave transmitted by one can be received as a received wave in the other. It has been.
  • the second rear sonar SR2 and the fourth rear sonar SR4 are arranged at different positions in plan view. Further, the second rear sonar SR2 and the fourth rear sonar SR4 adjacent to each other in the vehicle width direction are provided in a positional relationship such that the reflected wave from the obstacle B of the exploration wave transmitted by one can be received as the received wave at the other. It has been.
  • the first side sonar SS 1, the second side sonar SS 2, the third side sonar SS 3, and the fourth side sonar SS 4 transmit the exploration wave to the side of the host vehicle 10 from the vehicle side surface V 3 that is the outer surface of the side surface portion 16. It is provided as follows.
  • the first side sonar SS1, the second side sonar SS2, the third side sonar SS3, and the fourth side sonar SS4 are provided so as to receive only direct waves.
  • the first side sonar SS1 is disposed between the left-side door mirror 18 and the first front sonar SF1 in the front-rear direction so as to transmit an exploration wave to the left of the host vehicle 10.
  • the second side sonar SS2 is disposed between the right side door mirror 18 and the second front sonar SF2 in the front-rear direction so as to transmit an exploration wave to the right of the host vehicle 10.
  • the first side sonar SS1 and the second side sonar SS2 are provided symmetrically with respect to the vehicle center axis VL.
  • the third side sonar SS3 is disposed between the left rear door panel 17 and the first rear sonar SR1 in the front-rear direction so as to transmit an exploration wave to the left of the host vehicle 10.
  • the fourth side sonar SS4 is disposed between the right rear door panel 17 and the second rear sonar SR2 in the front-rear direction so as to transmit an exploration wave to the right of the host vehicle 10.
  • the third side sonar SS3 and the fourth side sonar SS4 are provided symmetrically with respect to the vehicle center axis VL.
  • Each of the plurality of distance measuring sensors 21 is electrically connected to the control unit 26. That is, each of the plurality of distance measuring sensors 21 transmits a search wave under the control of the control unit 26, generates a signal corresponding to the reception result of the received wave, and transmits the signal to the control unit 26. .
  • Information included in the signal corresponding to the reception result of the reception wave is hereinafter referred to as “reception information”.
  • the reception information includes information related to the reception intensity of the received wave and information related to the distance between each of the plurality of distance measuring sensors 21 and the obstacle B.
  • the information related to the distance to the obstacle B includes information related to the time difference from the transmission of the exploration wave to the reception of the received wave.
  • the imaging unit 22 is provided to capture an image around the host vehicle 10 and acquire image information corresponding to the image.
  • the imaging unit 22 is a digital camera device and includes an image sensor such as a CCD.
  • CCD Charge Coupled Device.
  • the host vehicle 10 is equipped with a plurality of imaging units 22, that is, a front camera CF, a rear camera CB, a left camera CL, and a right camera CR.
  • a singular expression “imaging unit 22” or “a plurality of imaging units” The expression “22” is used.
  • the front camera CF is attached to the front portion 12 of the vehicle body 11 so as to acquire image information corresponding to an image ahead of the host vehicle 10.
  • the rear camera CB is attached to the rear surface portion 14 of the vehicle body 11 so as to acquire image information corresponding to an image behind the host vehicle 10.
  • the left camera CL is attached to the left door mirror 18 so as to acquire image information corresponding to the left image of the host vehicle 10.
  • the right camera CR is attached to the right door mirror 18 so as to acquire image information corresponding to the right image of the host vehicle 10.
  • Each of the plurality of imaging units 22 is electrically connected to the control unit 26. That is, each of the plurality of imaging units 22 acquires image information under the control of the control unit 26 and transmits the acquired image information to the control unit 26.
  • the vehicle speed sensor 23, the shift position sensor 24, and the rudder angle sensor 25 are electrically connected to the control unit 26.
  • the vehicle speed sensor 23 is provided to generate a signal corresponding to the traveling speed of the host vehicle 10 and transmit the signal to the control unit 26.
  • the traveling speed of the host vehicle 10 is simply referred to as “vehicle speed”.
  • the shift position sensor 24 is provided to generate a signal corresponding to the shift position of the host vehicle 10 and transmit the signal to the control unit 26.
  • the steering angle sensor 25 is provided to generate a signal corresponding to the steering angle of the host vehicle 10 and transmit the signal to the control unit 26.
  • the control unit 26 is disposed inside the vehicle body 11.
  • the control unit 26 is a so-called in-vehicle microcomputer, and includes a CPU, a ROM, a RAM, a nonvolatile RAM, and the like (not shown).
  • the non-volatile RAM is, for example, a flash ROM.
  • the CPU, ROM, RAM, and nonvolatile RAM of the control unit 26 are hereinafter simply referred to as “CPU”, “ROM”, “RAM”, and “nonvolatile RAM”.
  • the control unit 26 is configured such that various control operations can be realized by the CPU reading and executing the program from the ROM or the nonvolatile RAM.
  • This program includes a program corresponding to each routine described later.
  • various data used for executing the program is stored in advance in the ROM or the nonvolatile RAM.
  • Various types of data include, for example, initial values, look-up tables, maps, and the like.
  • the control unit 26 detects obstacles based on signals and information received from each of the plurality of distance measuring sensors 21, each of the plurality of imaging units 22, the vehicle speed sensor 23, the shift position sensor 24, the steering angle sensor 25, and the like. It is configured to perform an operation.
  • the display 27 is disposed in the passenger compartment of the host vehicle 10. The display 27 is electrically connected to the control unit 26 so as to perform display associated with the obstacle detection operation under the control of the control unit 26.
  • the control unit 26 detects the obstacle B based on the reception result of the received wave by the distance measuring sensor 21, the imaging result of the image by the imaging unit 22, and various signals received from various sensors such as the vehicle speed sensor 23. It is configured as follows. Specifically, as illustrated in FIG. 2, the control unit 26 includes a vehicle state acquisition unit 260, a position acquisition unit 261, a shape recognition unit 262, and a detection processing unit 263 as functional configurations. It has.
  • the vehicle state acquisition unit 260 receives various signals from the vehicle speed sensor 23, the shift position sensor 24, the steering angle sensor 25, and the like shown in FIG. 1, thereby obtaining traveling state information corresponding to the traveling state of the host vehicle 10. Provided to get.
  • the driving state information includes vehicle speed, steering angle, shift position, and the like.
  • the traveling state information includes a case where the host vehicle 10 is stopped, that is, the vehicle speed is 0 km / h.
  • the vehicle state acquisition unit 260 is an interface provided between various sensors such as the vehicle speed sensor 23 and the CPU, and various signals received from various sensors such as the vehicle speed sensor 23 or such signals. After being subjected to predetermined processing, it is transmitted to the CPU. For simplification of illustration, various sensors such as the vehicle speed sensor 23 are not shown in FIG.
  • the obstacle detection device 20 detects an obstacle B located in front of the host vehicle 10
  • Any two adjacent to each other are defined as a first distance measuring sensor and a second distance measuring sensor.
  • the first distance sensor and the second distance sensor are the first rear sonar SR1, the second rear sonar SR2, the first distance sensor.
  • any two adjacent to each other are defined as a first distance measuring sensor and a second distance measuring sensor.
  • the position acquisition unit 261 includes a first ranging sensor when the first ranging sensor and the second ranging sensor receive a reflected wave from the obstacle B of the exploration wave transmitted by the first ranging sensor as a received wave. Relative position information corresponding to the positional relationship between the vehicle 10 and the obstacle B is obtained by triangulation based on the position of the second distance measuring sensor. That is, the position acquisition unit 261 acquires relative position information based on the outputs of the plurality of distance measuring sensors 21.
  • the relative position information is information corresponding to the relative position of the obstacle B with respect to the host vehicle 10 acquired based on the received wave in each of the plurality of distance measuring sensors 21.
  • the relative position information includes distance information and azimuth information.
  • the distance information is information corresponding to the distance of the obstacle B from the host vehicle 10.
  • the azimuth information is information corresponding to the azimuth of the obstacle B from the own vehicle 10, that is, the angle formed by the directed line segment from the own vehicle 10 toward the obstacle B and the vehicle center axis VL.
  • the shape recognition unit 262 is provided to perform shape recognition of the obstacle B based on the image information acquired by the imaging unit 22 and the traveling state information acquired by the vehicle state acquisition unit 260. Specifically, in the present embodiment, the shape recognizing unit 262 determines the three-dimensional positions of the plurality of feature points in the image information based on the plurality of pieces of image information acquired in time series as the host vehicle 10 moves. By acquiring the three-dimensional shape of the obstacle B. That is, the shape recognizing unit 262 recognizes a feature shape of an object or the like in the image three-dimensionally based on a plurality of images sequentially captured by the imaging unit 22 while the vehicle 10 is moving.
  • the feature shape includes straight edges such as horizontal edges and vertical edges.
  • a “straight edge” is a pixel row that is continuous in a predetermined length or longer in the image corresponding to the outline of the object.
  • “Horizontal edge” refers to a straight edge parallel to a horizontal line in an image.
  • “Vertical edge” refers to a straight edge parallel to a vertical line in an image.
  • the “outline of the object etc.” includes not only the outline of the obstacle B but also the outline of the display object such as a division line.
  • the shape recognition unit 262 is configured to be able to recognize a feature shape three-dimensionally by so-called moving stereo technology or SFM technology.
  • SFM is an abbreviation for Structure From Motion.
  • the mobile stereo technology and the SFM technology are already known or well known at the time of filing of the present application. Therefore, in the present specification, detailed descriptions of the moving stereo technique and the SFM technique are omitted.
  • the detection processing unit 263 is provided to detect the obstacle B based on the relative position information acquired by the position acquisition unit 261 and the shape recognition result by the shape recognition unit 262. Specifically, in the present embodiment, when the height dimension of the obstacle B is less than a predetermined dimension as a result of the shape recognition by the shape recognition unit 262, the detection processing unit 263 performs relative processing corresponding to the obstacle B.
  • the position information is configured to be discarded.
  • FIGS. 3, 4A, and 4B show a state in which the host vehicle 10 detects an obstacle B existing ahead.
  • the obstacle detection device 20 uses the first front sonar SF1, the second front sonar SF2, the third front sonar SF3, and the fourth front sonar SF4 to cause an obstacle existing ahead.
  • Object B is detected.
  • the obstacle detection apparatus 20 recognizes the three-dimensional shape of the obstacle B existing ahead using the front camera CF.
  • the obstacle detection device 20 detects the obstacle B existing behind using the first rear sonar SR1, the second rear sonar SR2, the third rear sonar SR3, and the fourth rear sonar SR4. To do. Also, the obstacle detection device 20 recognizes the three-dimensional shape of the obstacle B present behind using the rear camera CB. However, the obstacle detection operation at the time of backward movement is basically the same as that at the time of forward movement. Therefore, hereinafter, an outline of the operation of the obstacle detection device 20 will be described by taking the obstacle detection operation during forward travel as an example.
  • FIG. 3 shows a case where the obstacle B is located between the third front sonar SF3 and the fourth front sonar SF4 in the vehicle width direction.
  • the reflected wave of the exploration wave WS transmitted from the third front sonar SF3 or the fourth front sonar SF4 by the wall surface BW of the obstacle B is received by the third front sonar SF3 and the fourth front sonar SF4.
  • the search wave WS is transmitted from the third front sonar SF3
  • the reception wave WR1 corresponding to the search wave WS is received by the third front sonar SF3
  • the reception wave WR2 corresponding to the search wave WS is the fourth.
  • the description of the operation outline will be continued assuming that reception is performed by the front sonar SF4.
  • the reception wave WR1 which is a direct wave in the third front sonar SF3, is received by the third front sonar SF3 when the exploration wave WS transmitted from the third front sonar SF3 is reflected by the wall surface BW of the obstacle B. Is done.
  • the received wave WR2 which is an indirect wave in the fourth front sonar SF4, is reflected on the fourth front sonar SF4 when the exploration wave WS transmitted from the third front sonar SF3 is reflected by the wall surface BW of the obstacle B. Received.
  • the time required from the time when the exploration wave WS is transmitted in the third front sonar SF3 to the time when the received wave WR1 is received is T1.
  • the required time from the time when the exploration wave WS is transmitted at the third front sonar SF3 to the time when the received wave WR2 is received at the fourth front sonar SF4 is T2.
  • D1 0.5T1 ⁇ c.
  • D2 (T2 ⁇ 0.5T1) ⁇ c.
  • D1 is the distance from the third front sonar SF3 to the detection point P
  • D2 is the fourth point. This is the distance from the front sonar SF4 to the detection point P.
  • the horizontal positions of the third front sonar SF3 and the fourth front sonar SF4 in the host vehicle 10 are constant. Therefore, the relative position of the detection point P with respect to the host vehicle 10 is obtained by triangulation using the horizontal positions of the third front sonar SF3 and the fourth front sonar SF4 and the calculated distances D1 and D2.
  • the travelable distance DC when the host vehicle 10 is traveling forward is a horizontal distance in the traveling direction of the host vehicle 10 from the front surface V1 to the detection point P. As shown in FIG. 3, when the host vehicle 10 is traveling straight, the travelable distance DC is a distance from the front surface V1 to the detection point P in the front-rear direction. The travelable distance DC is minimized when the host vehicle 10 goes straight. Therefore, from the viewpoint of reducing the processing load and the like, the travelable distance DC while the host vehicle 10 is traveling forward may be the distance from the front surface V1 to the detection point P in the front-rear direction regardless of the steering angle.
  • FIG. 4A shows a situation where the host vehicle 10 travels toward an obstacle B having a large height.
  • FIG. 4B shows a situation where the host vehicle 10 travels toward an obstacle B having a small height dimension.
  • the obstacle B having a large height dimension as shown in FIG. 4A is, for example, a wall.
  • the obstacle B having a small height dimension that is, the obstacle B having a low protrusion height from the road surface RS, as shown in FIG. 4B, is, for example, a step, a curb, or the like.
  • the height dimension of the obstacle B corresponds to the protruding height of the obstacle B from the road surface RS, that is, the protruding length of the obstacle B from the road surface RS in the vehicle height direction.
  • the height dimension of the obstacle B can also be referred to as a distance between the base end portion and the tip end portion of the obstacle B in the vehicle height direction.
  • the proximal end corresponds to the lower end and the distal end corresponds to the upper end.
  • the arrow indicating the travelable distance DC is the horizontal distance between the host vehicle 10 and the obstacle B, and is the shortest distance between the host vehicle 10 and the obstacle B in plan view.
  • the direction that defines the travelable distance DC is parallel to the road surface RS.
  • the vehicle height direction that is, the up-down direction, may not be parallel to the gravity action direction due to the inclined state of the road surface RS.
  • the ranging sensor 21 is attached to the vehicle body 11.
  • the vehicle body 11 is located above the road surface RS. Therefore, the mounting height of the distance measuring sensor 21, that is, the mounting position of the distance measuring sensor 21 in the vehicle height direction is the distance from the road surface RS of the distance measuring sensor 21 in the vehicle height direction.
  • the sensor mounting height is a predetermined value corresponding to the distance from the road surface RS of the vehicle body 11 and the mounting position of the distance measuring sensor 21 on the vehicle body 11. Specifically, the sensor mounting height is the height from the road surface RS of the mounting position of the distance measuring sensor 21 when the host vehicle 10 is mounted on the road surface RS parallel to the horizontal plane.
  • the wall surface BW of the obstacle B exists at the same height as the distance measuring sensor 21. Therefore, the received wave WR that reaches the distance measuring sensor 21 propagates in parallel with the direction that defines the horizontal distance. Therefore, in this case, the distance information of the obstacle B acquired using the distance measuring sensor 21 is substantially accurate corresponding to the horizontal distance between the actual vehicle 10 and the obstacle B, that is, the travelable distance DC. Can be.
  • the upper end of the obstacle B is positioned lower than the distance measuring sensor 21. That is, the wall surface BW of the obstacle B does not exist at the same height as the distance measuring sensor 21.
  • the received wave WR that reaches the distance measuring sensor 21 propagates obliquely upward from the lower end of the obstacle B toward the distance measuring sensor 21. Therefore, in the case of the obstacle B whose height dimension is smaller than the sensor mounting height, the distance information of the obstacle B acquired using the distance measuring sensor 21 is inaccurate including a large error.
  • the obstacle B having a height dimension smaller than the sensor mounting height as described above may be an object having a protruding height that is low enough to allow the host vehicle 10 to get over as it is.
  • examples of such objects are, for example, steps as low as about 5 cm, manhole covers, and the like. Since such an obstacle B does not interfere with the traveling of the host vehicle 10, there is little need to recognize it as an “obstacle” in the driving support operation.
  • the obstacle detection device 20 has a relative position corresponding to the obstacle B when the height dimension of the obstacle B is equal to or larger than a predetermined dimension as a result of shape recognition using the front camera CF. Information is validated and stored in non-volatile RAM. On the other hand, the obstacle detection device 20 invalidates the relative position information corresponding to the obstacle B when the height dimension of the obstacle B is less than a predetermined dimension in the shape recognition result using the front camera CF. And discard.
  • the “predetermined height” for suppressing erroneous recognition of this type of object can be set to about 5 to 10 cm, for example.
  • FIG. 5 is a flowchart illustrating an example of the shape recognition operation of the obstacle B based on the image information acquired by the imaging unit 22.
  • the image recognition routine shown in FIG. 5 corresponds to the operation of the shape recognition unit 262.
  • This image recognition routine is also executed in the second to fourth embodiments described later.
  • This image recognition routine is activated by the CPU at predetermined time intervals after a predetermined activation condition is established.
  • the CPU acquires image information from the imaging unit 22 in S501. Further, the CPU stores the acquired image information in the nonvolatile RAM in time series.
  • the CPU executes an image recognition operation by the shape recognition unit 262 using the moving stereo technique or the SFM technique. Thereby, a three-dimensional shape such as an object in the image is recognized. Specifically, for example, the height of the obstacle B can be recognized.
  • the CPU stores the image recognition result by the shape recognition unit 262 in the nonvolatile RAM, and once ends this routine.
  • FIG. 6 is a flowchart illustrating an example of an obstacle B detection operation based on relative position information acquired by two adjacent distance measuring sensors 21 and image information acquired by the imaging unit 22.
  • the obstacle detection routine shown in FIG. 6 corresponds to the operations of the position acquisition unit 261 and the detection processing unit 263. This obstacle detection routine is similarly executed in the second embodiment and the third embodiment described later. This obstacle detection routine is activated by the CPU at predetermined time intervals after a predetermined activation condition is established.
  • the CPU selects two adjacent ranging sensors 21 and receives them from the selected two ranging sensors 21. Get information.
  • the two adjacent distance measuring sensors 21 are the third front sonar SF3 and the fourth front sonar SF4. That is, in S601, an exploration wave is transmitted from the third front sonar SF3, and a reception wave is received by the third front sonar SF3 and the fourth front sonar SF4.
  • the CPU determines whether or not the intensity of the received waves in the two adjacent distance measuring sensors 21 is greater than or equal to a predetermined threshold value.
  • the CPU skips all the processing from S603 and ends this routine once.
  • the CPU acquires relative position information of the obstacle B based on the acquired reception information.
  • the CPU acquires the detection point P corresponding to the obstacle B in S603.
  • the CPU acquires the distance to the obstacle B.
  • the CPU acquires the travelable distance DC.
  • the relative position information and the travelable distance DC acquired in S603 and S604 are temporarily stored in the nonvolatile RAM.
  • the CPU acquires the height H of the obstacle B corresponding to the received wave having the intensity equal to or higher than the threshold based on the image recognition result stored in the nonvolatile RAM.
  • the CPU determines whether or not the height H acquired in S605 is less than a predetermined height Hth1.
  • the predetermined height Hth1 is, for example, 5 cm.
  • the CPU advances the process to S607 and then ends this routine once.
  • the CPU invalidates and discards the relative position information and travelable distance DC acquired in S603 and S604 this time. That is, the CPU erases the record in the nonvolatile RAM of the relative position information and the travelable distance DC acquired in S603 and S604 this time.
  • the CPU skips the processing of S607 and ends this routine once.
  • the relative position information and the travelable distance DC for the obstacle B corresponding to a received wave having an intensity greater than or equal to the threshold and having a height dimension equal to or higher than the predetermined height Hth1 are used for the driving support operation of the host vehicle 10. It is done.
  • This embodiment corresponds to the obstacle B detection operation using the first side sonar SS1, the second side sonar SS2, the third side sonar SS3, and the fourth side sonar SS4.
  • the first side sonar SS ⁇ b> 1, the second side sonar SS ⁇ b> 2, the third side sonar SS ⁇ b> 3, and the fourth side sonar SS ⁇ b> 4 correspond to the distance from the obstacle B located on the side of the host vehicle 10.
  • the left camera CL and the right camera CR acquire image information corresponding to the side image of the host vehicle 10. These are used for parking space detection or the like when the obstacle detection device 20 is used for a parking assist operation.
  • each of the first side sonar SS1, the second side sonar SS2, the third side sonar SS3, and the fourth side sonar SS4 can detect the distance to the obstacle B facing each other by a direct wave.
  • the obstacle detection device 20 uses the first side sonar SS1, the second side sonar SS2, the third side sonar SS3, and the fourth side sonar SS4, so that the obstacle B located on the side of the host vehicle 10 is used. Can be recognized.
  • FIG. 7 illustrates a case where an obstacle B exists on the right side of the second side sonar SS2 and the right camera CR.
  • the outline of the detection operation of the obstacle B located on the right side of the host vehicle 10 will be described using the example of FIG.
  • the second side sonar SS2 receives the reflected wave from the obstacle B of the exploration wave WS transmitted by itself as the received wave WR, thereby corresponding to the distance to the obstacle B. Output a signal.
  • the obstacle detection device 20 repeatedly acquires the distance DD from the obstacle B based on the received wave WR that the second side sonar SS2 repeatedly receives at a predetermined time interval while the host vehicle 10 is traveling.
  • the predetermined time is several hundred milliseconds, for example.
  • the obstacle detection device 20 determines the sonar position, that is, the position of the second side sonar SS2 corresponding to each of the plurality of distances DD, the traveling state information of the own vehicle 10, the transmission time of the exploration wave WS, or the reception wave WR. Is obtained based on the reception time.
  • the obstacle detection device 20 schematically shows the outer shape of the obstacle B in plan view based on the plurality of distances DD acquired as described above and the sonar positions corresponding to each of the plurality of distances DD. It is possible to estimate. For example, the obstacle detection device 20 recognizes the plurality of distances DD as a sequence of points on a two-dimensional coordinate having the horizontal axis as the sonar position and the vertical axis as the distance DD. The obstacle detection device 20 estimates a reflection point PR corresponding to each of the plurality of distances DD by performing a predetermined process based on the triangulation method for these point sequences.
  • the reflection point PR is a position that is estimated to be a position on the obstacle B that reflects the received wave WR. That is, the reflection point PR is a position on the virtual obstacle B corresponding to the distance DD acquired by receiving the reception wave WR once.
  • the outline shape of the obstacle B in plan view is roughly estimated by a point sequence including a plurality of reflection points PR.
  • the reflection point PR is a point estimated as a point on the wall surface BW facing the host vehicle 10 in the obstacle B, and corresponds to the relative position information of the obstacle B.
  • the obstacle detection device 20 acquires the reflection point PR by triangulation based on the sonar position and the distance DD in the second side sonar SS2 acquired at different time points during traveling of the host vehicle 10. Is possible.
  • FIG. 8 shows an outline of an example of obtaining such a reflection point PR.
  • the position of the second side sonar SS2 indicated by the solid line indicates the position of the second side sonar SS2 when receiving the current reception wave WR.
  • the position of the second side sonar SS2 indicated by a broken line indicates the position of the second side sonar SS2 at the time of reception of the previous reception wave WR. This time is the Nth time, and the previous time is the N-1th time.
  • the distance DD acquired last time is set to DD (N ⁇ 1), and the distance DD acquired this time is set to DD (N).
  • the time interval between the time when the previous distance DD (N-1) was acquired and the time when the current distance DD (N) was acquired is sufficiently small as described above. For this reason, it is assumed that the position of the wall surface BW reflecting the exploration wave corresponding to the distance DD (N ⁇ 1) and the position of the wall surface BW reflecting the exploration wave corresponding to the distance DD (N) are the same. it can.
  • the obstacle detection device 20 has a first circle whose radius is the distance DD (N-1) around the position of the second side sonar SS2 when the distance DD (N-1) is acquired, and a distance DD (N The intersection point with the second circle whose radius is the distance DD (N) with the position of the second side sonar SS2 at the time of acquiring N) as the center is acquired as the reflection point PR.
  • the obstacle detection device 20 uses the first side sonar SS1, the second side sonar SS2, the third side sonar SS3, and the fourth side sonar SS4 so that the obstacle is located on the side of the host vehicle 10. Relative position information about the object B and a schematic shape in plan view can be acquired. However, the height of the obstacle B is unknown.
  • the obstacle detection device 20 can acquire the height of the obstacle B using the left camera CL and the right camera CR. Specifically, as shown in FIG. 7, when the obstacle B exists on the right side of the host vehicle 10, the obstacle detection device 20 uses the right camera CR to set the height of the obstacle B. It is possible to obtain. That is, for example, the obstacle detection device 20 can recognize the height of the obstacle B by an image processing technique such as the moving stereo technique or the SFM technique as described above.
  • FIG. 7 shows a situation where the obstacle detection device 20 is searching for a parking space on the right side of the host vehicle 10.
  • the obstacle B may be an object whose protrusion height is low enough to allow the host vehicle 10 to get over as it is. Examples of this type of object include, for example, steps as low as about 5 cm, manhole covers, and the like.
  • the obstacle B does not substantially become an obstacle in the parking assistance operation. That is, an area including the obstacle B can be set as a parking space. Further, such an obstacle B may be present on the parking route to the parking space. For this reason, it is not necessary to hold the relative position information corresponding to the obstacle B.
  • the obstacle detection device 20 indicates the relative position information corresponding to the obstacle B when the height dimension of the obstacle B is equal to or larger than a predetermined dimension as a result of the shape recognition using the left camera CL and the right camera CR. Validate and store in non-volatile RAM. On the other hand, when the height dimension of the obstacle B is less than a predetermined dimension as a result of shape recognition using the left camera CL and the right camera CR, the obstacle detection device 20 has a relative position corresponding to the obstacle B. Invalidate and discard information. According to the present embodiment, a more appropriate parking assist operation can be realized, and the calculation load in the CPU and the storage capacity in the nonvolatile RAM can be reduced.
  • the configuration of this embodiment is the same as the configuration of the first embodiment described above.
  • the host vehicle 10 proceeds while approaching a wall-like obstacle B that is erected so as to be inclined with respect to the vehicle center axis VL. This corresponds to the operation of detecting the obstacle B.
  • the obstacle B in this case is hereinafter referred to as “slanting wall”.
  • the object center axis BL on the oblique wall intersects the vehicle center axis VL.
  • the object center axis BL is the center axis of the obstacle B along the vehicle traveling direction in plan view.
  • the object center axis BL is assumed to be parallel to the wall surface BW facing the host vehicle 10 in the obstacle B in plan view.
  • the obstacle B which is an oblique wall, exists only in the detectable range by the second front sonar SF2. It is possible that In this case, the direct wave in the second front sonar SF2 can be received, while the indirect wave in the second front sonar SF2 and the fourth front sonar SF4 cannot be received. That is, in this case, triangulation by the second front sonar SF2 and the fourth front sonar SF4 is not established.
  • the relative position information corresponding to the obstacle B is acquired based on the direct wave in the second front sonar SF2.
  • This direct wave is a received wave WR received by the second front sonar SF2, and is caused by a reflected wave by the obstacle B of the exploration wave WS transmitted from the second front sonar SF2.
  • the obstacle detection device 20 can estimate the rightmost position in plan view in the detectable range by the second front sonar SF2 as the detection point P.
  • the obstacle detection device 20 can estimate the position on the central axis of the exploration wave WS as the detection point P.
  • the obstacle detection device 20 can estimate the detection point P based on the position and the detection distance of the second front sonar SF2 at different times as in the second embodiment.
  • Such relative position information is a received wave received by the second front sonar SF2 and is based on the first indirect wave caused by the reflected wave by the obstacle B of the exploration wave transmitted from the fourth front sonar SF4. It was not acquired.
  • the relative position information is a received wave received by the fourth front sonar SF4 and based on a second indirect wave caused by the reflected wave by the obstacle B of the exploration wave transmitted from the second front sonar SF2. It was not acquired. Therefore, such relative position information is hereinafter expressed as “based only on the direct wave in the second front sonar SF2”.
  • the detection distance itself from the wall surface BW of the obstacle B based on only the direct wave in the second front sonar SF2 may not be used for driving support of the host vehicle 10.
  • the end of the traveling direction ahead of the obstacle B that is the oblique wall It is possible to estimate the relative position information of the part BE. Therefore, the obstacle detection device 20 has the detection point P of the second front sonar SF2 even if the height dimension of the obstacle B is equal to or larger than the predetermined dimension in the shape recognition result based on the image information acquired by the imaging unit 22. If the obstacle B is based only on the direct wave, the obstacle B is recognized as an oblique wall.
  • the second front sonar SF2 and the fourth front sonar SF4 are provided on the front surface portion 12 that is a surface on the traveling direction side of the host vehicle 10.
  • the obstacle detection device 20, that is, the detection processing unit 263 shown in FIG. 2 is obtained as a result of the shape recognition using the front camera CF and the height dimension of the obstacle B is equal to or larger than a predetermined dimension.
  • the obstacle B is recognized as an oblique wall.
  • the oblique wall has a wall surface BW that intersects the vehicle center axis VL of the host vehicle 10, and the wall surface BW may approach the host vehicle 10 as the host vehicle 10 travels.
  • the obstacle detection device 20 executes a predetermined process.
  • the predetermined process is a process of invalidating and discarding the relative position information corresponding to the obstacle B, for example, as in the first embodiment.
  • the predetermined process is, for example, a process of notifying the driver of the host vehicle 10 of the presence of the oblique wall ahead by using the display 27 or the like.
  • the predetermined process searches for a straight edge extending forward through the vicinity of the detection point P in the shape recognition result based on the image information, and forms an extension line along the straight edge from the detection point P.
  • the relative position of the vertical edge that intersects with the extension line is estimated as the relative position of the end BE.
  • FIG. 10 is a flowchart showing a specific operation example corresponding to the present embodiment.
  • the obstacle recognition routine shown in FIG. 10 is activated by the CPU at predetermined time intervals after a predetermined activation condition is established.
  • the image recognition routine shown in FIG. 5 and the obstacle detection routine shown in FIG. 6 have already been executed.
  • the determination content of S602 in the obstacle detection routine shown in FIG. 6 is that the intensity of one of the received waves in the two adjacent distance measuring sensors 21 selected is a predetermined threshold value. It is determined whether or not this is the case. That is, in the present embodiment, the processes of S603 and S604 are executed even when only the direct wave in one of the selected two adjacent ranging sensors 21 has an intensity equal to or greater than a predetermined threshold. . Therefore, also in this case, the relative position information of the obstacle B including the distance to the obstacle B is acquired based on the direct wave as described above.
  • the CPU determines whether or not the distance to the obstacle B has been acquired effectively. That is, in S1001, the CPU determines whether or not the height H is equal to or higher than the predetermined height Hth1 and the relative position information is once validated for the obstacle B from which the relative position information has been acquired. To do.
  • the CPU determines whether or not the acquired distance is based on only the direct wave in the first front sonar SF1 or the second front sonar SF2.
  • the obstacle B is skewed in the left front of the host vehicle 10 as shown in FIG. It is a wall.
  • the obstacle B is an oblique wall located in the left front of the host vehicle 10.
  • the CPU advances the process to S1003, and then ends this routine once.
  • the CPU recognizes that the obstacle B detected this time is an oblique wall, and executes the predetermined processing as described above.
  • the CPU skips the processing of S1003 and ends this routine once.
  • FIG. 1 Functional block configurations of the obstacle detection device 20 and the control unit 26 according to the fourth embodiment will be described with reference to FIG. Also in the following description of the fourth embodiment, differences from the first embodiment will be mainly described. In addition, the structure of FIG. 1 shall be common in 1st embodiment and 4th embodiment. Therefore, in the following description of the fourth embodiment, FIGS. 1 and 3 can be referred to as appropriate.
  • the obstacle detection device 20 of the present embodiment is also configured to detect an obstacle B existing outside the host vehicle 10 by being mounted on the host vehicle 10. Yes.
  • the obstacle detection device 20 of the present embodiment includes a distance measuring sensor 21, an imaging unit 22, a vehicle speed sensor 23, a shift position sensor 24, a rudder angle sensor 25, a control unit 26, And a display 27.
  • the distance measuring sensor 21 and the imaging unit 22 are the same as those in the first embodiment.
  • the obstacle detection device 20 includes at least one distance measuring sensor 21.
  • the control unit 26 detects the obstacle B based on the reception result of the received wave by the distance measuring sensor 21, the imaging result of the image by the imaging unit 22, and various signals received from various sensors such as the vehicle speed sensor 23. It is configured as follows. Specifically, as shown in FIG. 11, the control unit 26 includes a vehicle state acquisition unit 260, a distance acquisition unit 264, a shape recognition unit 265, and a distance correction unit 266 as functional configurations. It has.
  • the distance acquisition unit 264 is provided to acquire distance information corresponding to the distance of the obstacle B from the host vehicle 10 based on the output of the distance measuring sensor 21. Specifically, the distance acquisition unit 264 is configured to be able to acquire the distance to the obstacle B in the same manner as each of the above embodiments.
  • the shape recognition unit 265 is provided to perform shape recognition of the obstacle B based on the image information acquired by the imaging unit 22. That is, the shape recognition unit 265 has a function of recognizing the three-dimensional shape of an object from a plurality of pieces of image information acquired in time series, like the shape recognition unit 262 in the first embodiment.
  • the distance correction unit 266 corrects the distance information corresponding to the obstacle B based on the sensor mounting height when the height of the obstacle B is less than a predetermined dimension in the shape recognition result by the shape recognition unit 265. It is provided as follows.
  • the “predetermined dimension” can be set to, for example, about 10 to 25 cm as will be described later.
  • FIG. 12A shows a state in which the host vehicle 10 travels toward an obstacle B having a large height dimension, that is, an obstacle B whose protrusion height from the road surface RS is sufficiently higher than the mounting height of the distance measuring sensor 21.
  • the obstacle B having a large height as shown in FIG. 12A is, for example, a wall. As shown in FIG. 12A, when the height dimension of the obstacle B is large and the wall surface BW of the obstacle B exists at the same height as the distance measuring sensor 21, the obstacle B using the distance measuring sensor 21 is used. This distance information can be substantially accurate corresponding to the actual horizontal distance between the host vehicle 10 and the obstacle B.
  • FIGS. 12B and 12C show a state where the height of the obstacle B in FIG. 12A is lower than the sensor mounting height.
  • the obstacle B having a small height as shown in FIGS. 12B and 12C is, for example, a step, a car stopper, a curb, and the like.
  • FIG. 12C shows a state in which the host vehicle 10 is closer to the obstacle B than the state shown in FIG. 12B.
  • the obstacle B using the distance measurement sensor 21 is used.
  • This distance information may include an error that cannot be ignored with respect to the actual horizontal distance between the host vehicle 10 and the obstacle B.
  • the error in the distance information increases as the actual horizontal distance of the obstacle B from the host vehicle 10 decreases.
  • the distance correction unit 266 includes the obstacle B acquired by the distance acquisition unit 264 when the height of the obstacle B is less than a predetermined dimension as a result of the shape recognition by the shape recognition unit 265. Correct the distance. Thereby, recognition of the relative position with respect to the own vehicle 10 of the obstruction B with the low protrusion height from road surface RS can be performed more correctly.
  • a car stop, a curbstone, etc. are mentioned, for example.
  • the “predetermined height” for correcting distance information in this type of obstacle B can be set to about 10 to 25 cm, for example.
  • FIGS. 13A and 13B show an outline of distance correction by the distance correction unit 266.
  • FIG. it is assumed that the obstacle B is located between the third front sonar SF3 and the fourth front sonar SF4 in the vehicle width direction.
  • an outline of acquisition and correction of the detection distance will be described using the examples of FIGS. 13A and 13B.
  • the distance acquisition unit 264 performs triangulation using the third front sonar SF3 and the fourth front sonar SF4 from the end surface of the host vehicle 10 to which the distance measuring sensor 21 facing the obstacle B is mounted to the obstacle B. Get the horizontal distance of.
  • the end surface of the host vehicle 10 is the front surface V1 of the front bumper 13 in this example.
  • the horizontal distance to be acquired is the travelable distance DC.
  • the distance acquisition unit 264 acquires the height.
  • the travelable distance DC is an accurate horizontal distance.
  • the advanceable distance acquired by the distance acquisition unit 264 is an accurate horizontal distance.
  • the distance is DC0 in the oblique direction when viewed from the side. This DC0 is referred to as “pre-correction distance”.
  • the pre-correction distance DC0 corresponds to the hypotenuse of a right triangle whose base is the length corresponding to the corrected travelable distance DC to be acquired and whose height is SH.
  • SH is the distance between the base end position of the obstacle B and the sensor mounting positions of the third front sonar SF3 and the fourth front sonar SF4 in the vehicle height direction. SH can be equated with sensor mounting height.
  • FIG. 14 is a flowchart showing a specific operation example corresponding to the present embodiment.
  • the obstacle detection routine shown in FIG. 14 is started by the CPU at predetermined time intervals after a predetermined start condition is established. Assuming that the obstacle recognition routine shown in FIG. 14 is started, it is assumed that the image recognition routine shown in FIG. 5 has already been executed. That is, the obstacle detection routine shown in FIG. 14 is obtained by changing a part of the obstacle detection routine shown in FIG.
  • the obstacle detection routine shown in FIG. 14 is started by the CPU at predetermined time intervals after a predetermined start condition is established.
  • steps S601 to S603 are the same as the processing in the obstacle detection routine shown in FIG. Therefore, description of S601 to S603 is omitted.
  • the CPU executes the process of S1404.
  • the CPU obtains a travelable distance DC. If the determination in S1406, which will be described later, is YES and the correction process in S1407 is executed, the advancing distance DC acquired in S1404 corresponds to the pre-correction distance DC0.
  • the CPU executes the process of S1405.
  • the CPU acquires the height H of the obstacle B corresponding to the received wave having the intensity equal to or higher than the threshold based on the image recognition result stored in the nonvolatile RAM. That is, the processing content of S1405 is the same as the processing of S605 in the obstacle detection routine shown in FIG.
  • the CPU executes the process of S1406.
  • the CPU determines whether or not the height H acquired in S1405 is less than a predetermined height Hth2.
  • the predetermined height Hth2 is, for example, 20 cm. That is, the process in the present embodiment corrects the travelable distance DC in the case where the obstacle B has a height dimension that is lower than the sensor mounting height but the host vehicle 10 cannot get over. Is to do.
  • the predetermined height Hth2 serving as the determination threshold in S1406 is set in consideration of the sensor mounting height, and is usually a value larger than the threshold Hth1 in S606.
  • the CPU skips the processing of S1407 and ends this routine once.
  • This embodiment corresponds to an aspect in which the processing load of image recognition is reduced as compared with the fourth embodiment using the moving stereo technique or the SFM technique.
  • FIGS. 1 and 11 and the description relating to these drawings can be referred to as appropriate.
  • FIGS. 12A to 13B and the description relating to these drawings can be referred to as appropriate.
  • differences from the fourth embodiment will be mainly described.
  • the shape recognition unit 265 is provided to perform shape recognition of the obstacle B based on the image information acquired by the imaging unit 22.
  • the shape recognition unit 265 has a function of extracting a feature shape of an object from image information corresponding to one image, and a texture image. It has a function of recognizing patterns in
  • the shape recognition unit 265 extracts a straight edge corresponding to the distance information acquired by the distance acquisition unit 264. Further, the shape recognition unit 265 recognizes the obstacle B corresponding to the straight edge based on the texture image around the extracted straight edge. Specifically, the shape recognition unit 265 compares the texture images in two image regions adjacent to each other with one straight edge interposed therebetween, so that the obstacle B corresponding to the straight edge has a small height dimension. Recognize whether it is a step or not. Hereinafter, such a step is referred to as a “low step”.
  • the shape recognition unit 265 can easily determine whether or not the obstacle B is a low step, based on the image information acquired by the imaging unit 22.
  • the distance correction unit 266 corrects the distance information corresponding to the obstacle B.
  • the correction of the distance information is the same as that in the fourth embodiment.
  • FIG. 15 is flowcharts showing specific operation examples corresponding to the present embodiment.
  • the distance acquisition routine illustrated in FIG. 15 corresponds to the operation of the distance acquisition unit 264. This distance acquisition routine is activated by the CPU at predetermined time intervals after a predetermined activation condition is established.
  • the CPU selects two adjacent distance measuring sensors 21, and receives information from the selected two distance measuring sensors 21. To get.
  • the CPU determines whether or not the intensity of the received waves in the two adjacent distance measuring sensors 21 is greater than or equal to a predetermined threshold value.
  • the CPU acquires relative position information of the obstacle B based on the acquired reception information. Specifically, the CPU acquires a detection point P corresponding to the obstacle B as shown in FIG. 13A. Next, in S1504, the CPU acquires distance information corresponding to the obstacle B. That is, in S1504, the CPU obtains a travelable distance DC. In S1503 and S1504, the CPU stores the acquisition result in the nonvolatile RAM.
  • the image recognition routine shown in FIG. 16 corresponds to part of the operation of the shape recognition unit 265. This image recognition routine is activated by the CPU at predetermined time intervals after a predetermined activation condition is established.
  • the CPU acquires image information from the imaging unit 22. Further, the CPU stores the acquired image information in a nonvolatile RAM. Next, in S1602, the CPU extracts a feature shape such as a straight edge and a pattern in the texture image in the stored image information. Subsequently, in S1603, the CPU stores the extraction result in S1602 in the nonvolatile RAM, and once ends this routine.
  • the obstacle detection routine shown in FIG. 17 corresponds to part of the operation of the shape recognition unit 265 and the operation of the distance correction unit 266. This obstacle detection routine is activated by the CPU at predetermined time intervals after a predetermined activation condition is established.
  • the CPU obtains the relative position information acquired by executing the distance acquisition routine shown in FIG. Read from. Thereby, a two-dimensional map of the detection point P obtained by the distance measuring sensor 21 is acquired.
  • the CPU reads the straight edge acquired by executing the image recognition routine shown in FIG. 16 from the nonvolatile RAM.
  • the CPU determines whether or not there is a straight edge corresponding to the detection point P.
  • the CPU skips all processes after S1704 and ends this routine once.
  • the CPU advances the processing to S1704 and S1705.
  • the CPU compares texture images in two image areas adjacent to each other with the straight edge interposed therebetween, and recognizes whether or not the obstacle B corresponding to the straight edge is a low step. Specifically, the CPU recognizes that the obstacle B is a low step when the textures in two adjacent image regions with a straight edge between them match. On the other hand, the CPU recognizes that the obstacle B is a three-dimensional object having a height dimension larger than that of the low step when the textures in the two adjacent image regions across the straight edge do not match.
  • the CPU determines whether the recognition result of the obstacle B is a low step.
  • the CPU ends the routine once after executing the process of S1706.
  • the CPU skips the processing of S1706 and ends this routine once.
  • the detection result of the obstacle B based on the relative position information acquired by the distance measuring sensor 21 is directly affected by the height dimension of the obstacle B as in the conventional technique.
  • an error is increased even if an attempt is made to obtain the height dimension of the obstacle B based on the detection result itself by the distance measuring sensor 21.
  • the basic function of the distance measuring sensor 21 is to output a signal corresponding to the distance to the obstacle B, and information on the height of the obstacle B is essentially not included in such output. is there.
  • the obstacle detection device 20 is based on the detection result of the obstacle B based on the relative position information acquired by the distance measuring sensor 21 and the image information acquired by the imaging unit 22.
  • the obstacle B is detected by integrating the image recognition result. Thereby, the detection of the obstacle B existing outside the host vehicle 10 can be performed more appropriately.
  • the host vehicle 10 is not limited to a four-wheeled vehicle.
  • the host vehicle 10 may be a three-wheeled vehicle or a six-wheeled or eight-wheeled vehicle such as a cargo truck.
  • the type of the host vehicle 10 may be an automobile that includes only an internal combustion engine, an electric vehicle that does not include an internal combustion engine, a fuel cell vehicle, or a hybrid vehicle.
  • the shape of the vehicle body 11 is not limited to a box shape, that is, a substantially rectangular shape in plan view.
  • the number of door panels 17 is not particularly limited.
  • the distance measuring sensor 21 is an ultrasonic sensor
  • the arrangement and the number of the distance measuring sensors 21 are not limited to the above specific example. That is, for example, referring to FIG. 1, when the third front sonar SF3 is disposed at the center position in the vehicle width direction, the fourth front sonar SF4 is omitted. Similarly, when the third rear sonar SR3 is arranged at the center position in the vehicle width direction, the fourth rear sonar SR4 is omitted. The third side sonar SS3 and the fourth side sonar SS4 may be omitted.
  • the ranging sensor 21 is not limited to an ultrasonic sensor. That is, for example, the distance measuring sensor 21 may be a laser radar sensor or a millimeter wave radar sensor.
  • the image sensor constituting the imaging unit 22 is not limited to a CCD sensor. That is, for example, a CMOS sensor can be used instead of the CCD sensor. CMOS is an abbreviation for Complementary MOS.
  • the front camera CF can be disposed in the vehicle interior.
  • the front camera CF can be mounted in a vehicle interior, for example, a room mirror.
  • the front camera CF may be one or two.
  • the obstacle detection device 20 may have a compound eye stereo camera configuration.
  • the left camera CL and the right camera CR may be arranged at positions different from the door mirror 18.
  • the left camera CL and the right camera CR can be omitted.
  • control unit 26 is configured to be activated by the CPU reading a program from the ROM or the like.
  • the present disclosure is not limited to such a configuration. That is, for example, the control unit 26 may be a digital circuit configured to be able to operate as described above, for example, an ASIC such as a gate array.
  • ASIC is an abbreviation of APPLICATION SPECIFIC INTEGRATED CIRCUIT.
  • the storage location of the recognition result or the like may be a storage medium other than the nonvolatile RAM, for example, a RAM and / or a magnetic storage medium.
  • the processing when the host vehicle 10 moves forward has been described exclusively.
  • the present disclosure can be suitably applied when the host vehicle 10 is moving backward. That is, the processing content at the time of reversing is essentially the same as the processing content at the time of forward movement except that the distance measuring sensor 21 and the imaging unit 22 provided on the rear surface portion 14 side of the host vehicle 10 are used. is there.
  • the processing content in the shape recognition unit 262 is not limited to the above example. That is, for example, compound eye stereo processing or integration processing of SFM and compound eye stereo can be used. Compound eye stereo processing or integration processing of SFM and compound eye stereo is already known or known at the time of filing of the present application. For example, see Japanese Patent Application Laid-Open Nos. 2007-263657 and 2007-263669.
  • the invalidated data may not be discarded. That is, for example, the invalidation of the relative position information and the advanceable distance DC in S607 is invalidated while storing the relative position information and the advanceable distance DC acquired in S603 and S604 this time in the nonvolatile RAM.
  • the process of storing the information to the effect in the nonvolatile RAM may also be performed.
  • the determination in S606 may be executed before the determination in S1406.
  • the CPU determines whether or not the height H acquired in S1405 is less than a predetermined height Hth1 prior to the determination in S1406.
  • the CPU executes the process of S607. That is, the acquisition result of the relative position information and the travelable distance DC is invalidated. Thereafter, the routine is temporarily terminated.
  • the CPU advances the process to step S1406. That is, when the height of the obstacle B is equal to or greater than Hth1 and less than Hth2, the CPU corrects the travelable distance DC by the process of S1407.
  • the predetermined height Hth1 and the predetermined height Hth2 may be the same value.
  • the correction of the travelable distance DC in S1407 and the like is not limited to the calculation using the above mathematical formula. Specifically, for example, the correction of the travelable distance DC can be performed as follows.
  • the error in the distance information increases as the actual horizontal distance of the obstacle B from the host vehicle 10 decreases. Further, the smaller the value of the height H, the greater the error in distance information.
  • a correction value map DC_AMD (DC, H) using the value of the advanceable distance DC acquired in S1404 and the value of the height H acquired in S1405 as parameters is created in advance by a conformance test or the like. can do. Further, by performing a predetermined calculation using the correction value DC_AMD acquired using this correction value map and the value of the advanceable distance DC before correction acquired in S1404, the advanceable distance DC after correction is performed. Is possible to get. Specifically, for example, the correction value DC_AMD and the value of the travelable distance DC before correction acquired in S1404 can be added or integrated.
  • the obstacle B in FIGS. 4A, 4B, 12A, 12B, and 12C is disposed above the road surface RS, such as a wall extending downward from the ceiling or a shutter gate that can move up and down. There can be a situation. In this situation, a space is formed between the obstacle B and the road surface RS. This space is hereinafter referred to as “lower space”.
  • the height H acquired in S605 is the height of the lower space, that is, the road surface of the horizontal edge corresponding to the lower end of the obstacle B.
  • the determination in S606 is a determination as to whether or not the height H of the lower space is equal to or less than a predetermined height Hth3.
  • the travelable distance DC is corrected.
  • the wall surface BW of the obstacle B favorably faces the distance measuring sensor 21. Therefore, in this case, the travelable distance DC is not corrected.
  • the host vehicle 10 on which the obstacle detection device 20 is mounted may not be possible to pass through the space below the wall extending downward from the ceiling.
  • the host vehicle 10 on which the obstacle detection device 20 is mounted may not be able to pass under the obstacle B, which is a malfunctioning shutter gate, while stopping in the middle of ascent.
  • the distance between the obstacle B that cannot pass through the lower space and the host vehicle 10 in these cases can be acquired more accurately.
  • the obstacle B in FIG. 4A or the like is a beam protruding downward from the ceiling.
  • the host vehicle 10 does not interfere with the obstacle B. Therefore, the relative position information and the travelable distance DC corresponding to the obstacle B need not be corrected and may be invalidated. Therefore, when the height H of the lower space exceeds the predetermined height Hth4, the CPU may execute the invalidation process similar to S607.
  • the CPU may divide the correction processing mode into a case where the obstacle B is protruded upward from the road surface RS and a case where the obstacle B is extended downward from the ceiling. That is, when the obstacle B is projected upward from the road surface RS, the correction processing mode is the same as that in FIG. 14 (that is, S1406 and S1407). On the other hand, when the obstacle B extends downward from the ceiling, S1406 is determined as “H> Hth3?”. Further, after this determination process, a determination process of “H> Hth4?” May be appropriately performed.
  • the above case classification can be performed by the CPU based on the image processing result. That is, the CPU determines whether the obstacle B corresponding to the extracted horizontal edge is projected upward from the road surface RS or extended downward from the ceiling based on the image processing result. Can be determined.
  • predetermined values can be stored in advance in the ROM or nonvolatile RAM.
  • the predetermined height Hth3 can be changed according to the vehicle height of the host vehicle 10 on which the obstacle detection device 20 is mounted. That is, in the obstacle detection device 20, the predetermined height Hth3 having a value corresponding to the vehicle height of the host vehicle 10 to be mounted can be stored in the nonvolatile RAM in a rewritable manner.
  • the rewriting of the predetermined height Hth3 can be appropriately performed by the manufacturer, the seller, the administrator, or the user of the host vehicle 10 or the obstacle detection device 20.
  • “Acquisition” can be appropriately changed to similar expressions such as “estimation”, “detection”, “detection”, and “calculation”.
  • the inequality sign in each determination process may be with or without an equal sign. That is, for example, “less than a predetermined dimension” can be changed to “below a predetermined dimension”. Similarly, “above a predetermined dimension” can be changed to “exceed a predetermined dimension”. Similarly, “below the predetermined height” can be changed to “below the predetermined height”. Similarly, “above threshold” may be changed to “exceed threshold”.
  • the modified examples are not limited to the above examples. A plurality of modifications may be combined with each other. Furthermore, the above embodiments can be combined with each other.

Abstract

位置取得部(261)は、測距センサ(21)により受信された受信波に基づいて、自車両と障害物との相対位置情報を取得する。形状認識部(262)は、撮像部(22)により取得された画像情報に基づいて、障害物の形状認識を実行する。検知処理部(263)は、位置取得部により取得された相対位置情報と、形状認識部による形状認識結果とに基づいて、障害物を検知する。検知処理部は、障害物の高さが所定高さ以上であるか否かを判定する。検知処理部は、形状認識部による形状認識結果にて障害物の高さが所定高さ未満である場合、当該障害物に対応する相対位置情報を破棄する。

Description

障害物検知装置 関連出願への相互参照
 本出願は、2017年4月28日に出願された日本特許出願番号2017-89962号に基づくもので、ここにその記載内容が参照により組み入れられる。
 本開示は、自車両に搭載されることで、前記自車両の外側に存在する障害物を検知するように構成された、障害物検知装置に関する。
 特開2014-58247号公報に記載の装置は、照射部と受信部と位置検出部とを有するソナーと、物体判定部とを備える。ソナーは「測距センサ」とも称され得る。照射部は、超音波を自車両の外側に照射する。受信部は、物体からの反射波を受信する。位置検出部は、超音波の往復時間に基づいて、物体の存在位置を検出する。物体判定部は、反射波に基づいて特定した物体の、検出状態の変化から、物体の高さに関する特徴を判定する。
 上記のように、この種の装置においては、障害物による探査波の反射波に基づいて、測距センサまたはこれを搭載する自車両から障害物までの距離を取得する。反射波の検知結果は、測距センサと物体との距離に対応する情報を含む一方、物体の高さに対応する情報は本質的には含まない。このため、従来のこの種の装置によっては、物体の高さに関する情報を正確に得ることはできない。
 一方、反射波の検知結果は、障害物の高さ寸法による影響を受ける。このため、従来のこの種の装置に関しては、障害物検知精度の点で、まだまだ改善の余地がある。すなわち、例えば、検知対象である障害物が、縁石等の、路面からの突出高さが低い障害物である場合がある。この場合、取得した距離と、実際の自車両と障害物との水平距離との間に、無視できない程度の誤差が生じることがあり得る。
 本開示は、上記に例示した事情等に鑑みてなされたものである。
 本開示の1つの観点によれば、障害物検知装置は、自車両に搭載されることで、前記自車両の外側に存在する障害物を検知するように構成されている。
 この障害物検知装置は、
 探査波を前記自車両の外側に向けて発信するとともに前記探査波の前記障害物による反射波を含む受信波を受信することで、前記障害物との距離に対応する信号を出力するように設けられた、少なくとも1個の測距センサと、
 前記自車両の周囲の画像に対応する画像情報を取得するように設けられた、撮像部と、
 前記自車両の走行状態に対応する走行状態情報を取得するように設けられた、車両状態取得部と、
 前記測距センサの出力に基づいて、前記障害物の前記自車両に対する相対位置に対応する相対位置情報を取得するように設けられた、位置取得部と、
 前記撮像部により取得された前記画像情報と、前記車両状態取得部により取得された前記走行状態情報とに基づいて、前記障害物の形状認識を実行するように設けられた、形状認識部と、
 前記位置取得部により取得された前記相対位置情報と、前記形状認識部による形状認識結果とに基づいて、前記障害物を検知するように設けられた、検知処理部と、
 を備え、
 前記検知処理部は、前記形状認識結果にて前記障害物の高さ寸法が所定寸法未満である場合、当該障害物に対応する前記相対位置情報を破棄するように構成されている。
 本開示の他の1つの観点によれば、障害物検知装置は、自車両に搭載されることで、前記自車両の外側に存在する障害物を検知するように構成されている。
 この障害物検知装置は、
 探査波を前記自車両の外側に向けて発信するとともに前記探査波の前記障害物による反射波を含む受信波を受信することで、前記障害物との距離に対応する信号を出力するように設けられた、少なくとも1個の測距センサと、
 前記自車両の周囲の画像に対応する画像情報を取得するように設けられた、撮像部と、
 前記測距センサの出力に基づいて、前記障害物の前記自車両からの距離に対応する距離情報を取得するように設けられた、距離取得部と、
 前記撮像部により取得された前記画像情報に基づいて、前記障害物の形状認識を実行するように設けられた、形状認識部と、
 前記形状認識部による形状認識結果にて前記障害物の高さ寸法が所定寸法未満である場合、当該障害物に対応する前記距離情報を、前記測距センサの車高方向における搭載位置に基づいて補正するように設けられた、距離補正部と、
 を備えている。
 なお、各要素に付された括弧付きの参照符号は、同要素と後述する実施形態に記載の具体的構成等との対応関係の一例を単に示すものである。
実施形態に係る障害物検知装置を搭載した自車両の概略構成を示す平面図である。 図1に示された障害物検知装置の第一実施形態の機能ブロック図である。 図2に示された障害物検知装置の動作概要を説明するための概略図である。 図2に示された障害物検知装置の動作概要を説明するための概略図である。 図2に示された障害物検知装置の動作概要を説明するための概略図である。 図2に示された障害物検知装置の動作例を示すフローチャートである。 図2に示された障害物検知装置の動作例を示すフローチャートである。 図1に示された障害物検知装置の第二実施形態の動作概要を説明するための概略図である。 図1に示された障害物検知装置の第二実施形態の動作概要を説明するための概略図である。 図1に示された障害物検知装置の第三実施形態の動作概要を説明するための概略図である。 図1に示された障害物検知装置の第三実施形態の動作例を示すフローチャートである。 図1に示された障害物検知装置の第四実施形態の機能ブロック図である。 図11に示された障害物検知装置の動作概要を説明するための概略図である。 図11に示された障害物検知装置の動作概要を説明するための概略図である。 図11に示された障害物検知装置の動作概要を説明するための概略図である。 図11に示された障害物検知装置の動作概要を説明するための概略図である。 図11に示された障害物検知装置の動作概要を説明するための概略図である。 図11に示された障害物検知装置の動作例を示すフローチャートである。 図1に示された障害物検知装置の第五実施形態の動作例を示すフローチャートである。 図1に示された障害物検知装置の第五実施形態の動作例を示すフローチャートである。 図1に示された障害物検知装置の第五実施形態の動作例を示すフローチャートである。
 以下、実施形態を、図面に基づいて説明する。なお、或る1つの実施形態に対して適用可能な各種の変形例については、当該実施形態に関する一連の説明の途中には挿入せず、一連の説明の後にまとめて説明する。
 図1を参照すると、車両10は、いわゆる四輪自動車であって、平面視にて略矩形状の車体11を備えている。以下、車両10の車幅方向における中心を通り、且つ車両10における車両全長方向と平行な仮想直線を、車両中心軸線VLと称する。車両全長方向は、車幅方向と直交し且つ車高方向と直交する方向である。車高方向は、車両10の車高を規定する方向であって、車両10を水平面に載置した場合の重力作用方向と平行な方向である。図1において、車両全長方向は図中上下方向であり、車幅方向は図中左右方向である。
 車両10における「前」「後」「左」「右」を、図1中にて矢印で示されている通りに定義する。すなわち、車両全長方向は、前後方向と同義である。また、車幅方向は、左右方向と同義である。さらに、車高方向は、上下方向と同義である。但し、後述するように、車高方向すなわち上下方向は、車両10の載置条件または走行条件により、重力作用方向と平行とはならない場合があり得る。
 車体11における前側の端部である前面部12には、フロントバンパー13が装着されている。車体11における後側の端部である後面部14には、リアバンパー15が装着されている。車体11における側面部16には、ドアパネル17が装着されている。図1に示す具体例においては、左右にそれぞれ2枚ずつ、合計4枚のドアパネル17が設けられている。前側の左右一対のドアパネル17のそれぞれには、ドアミラー18が装着されている。
 車両10には、障害物検知装置20が搭載されている。障害物検知装置20は、車両10に搭載されることで、車両10の外側に存在する障害物Bを検知可能に構成されている。以下、障害物検知装置20を搭載した車両10を、「自車両10」と称する。
 具体的には、障害物検知装置20は、測距センサ21と、撮像部22と、車速センサ23と、シフトポジションセンサ24と、舵角センサ25と、制御部26と、ディスプレイ27とを備えている。以下、障害物検知装置20を構成する各部の詳細について説明する。なお、図示の簡略化のため、障害物検知装置20を構成する各部の間の電気接続関係は、図1においては省略されている。
 測距センサ21は、探査波を自車両10の外側に向けて発信するとともに、障害物Bの壁面BWによる探査波の反射波を含む受信波を受信することで、障害物Bとの距離に対応する信号を出力するように設けられている。具体的には、本実施形態においては、測距センサ21は、いわゆる超音波センサであって、超音波である探査波を発信するとともに、超音波を含む受信波を受信可能に構成されている。
 障害物検知装置20は、少なくとも1個の測距センサ21を備えている。具体的には、本実施形態においては、複数の測距センサ21が、車体11に装着されている。複数の測距センサ21は、それぞれ、車両中心軸線VLから、車幅方向におけるいずれか一方側にシフトして配置されている。また、複数の測距センサ21のうちの少なくとも一部は、車両中心軸線VLと交差する方向に沿って探査波を発信するように設けられている。
 具体的には、フロントバンパー13には、測距センサ21としての、第一フロントソナーSF1、第二フロントソナーSF2、第三フロントソナーSF3、および第四フロントソナーSF4が装着されている。同様に、リアバンパー15には、測距センサ21としての、第一リアソナーSR1、第二リアソナーSR2、第三リアソナーSR3、および第四リアソナーSR4が装着されている。
 また、車体11の側面部16には、測距センサ21としての、第一サイドソナーSS1、第二サイドソナーSS2、第三サイドソナーSS3、および第四サイドソナーSS4が装着されている。第一フロントソナーSF1、第二フロントソナーSF2、第三フロントソナーSF3、第四フロントソナーSF4、第一リアソナーSR1、第二リアソナーSR2、第三リアソナーSR3、第四リアソナーSR4、第一サイドソナーSS1、第二サイドソナーSS2、第三サイドソナーSS3、および第四サイドソナーSS4のうちの、いずれかであることを特定しない場合に、以下、「測距センサ21」という単数形の表現、または「複数の測距センサ21」という表現を用いる。
 或る1個の測距センサ21を「第一測距センサ」と称し、別の1個の測距センサを「第二測距センサ」と称して、「直接波」および「間接波」を、以下のように定義する。第一測距センサに受信される受信波であって、第一測距センサから発信された探査波の障害物Bによる反射波に起因する受信波を、「直接波」と称する。これに対し、第一測距センサに受信される受信波であって、第二測距センサから発信された探査波の障害物Bによる反射波に起因する受信波を、「間接波」と称する。
 第一フロントソナーSF1は、自車両10の左前方に探査波を発信するように、フロントバンパー13の前側表面V1における左端部に設けられている。第二フロントソナーSF2は、自車両10の右前方に探査波を発信するように、フロントバンパー13の前側表面V1における右端部に設けられている。第一フロントソナーSF1と第二フロントソナーSF2とは、車両中心軸線VLを挟んで対称に配置されている。
 第三フロントソナーSF3と第四フロントソナーSF4とは、フロントバンパー13の前側表面V1における中央寄りの位置にて、車幅方向に配列されている。第三フロントソナーSF3は、自車両10の略前方に探査波を発信するように、車幅方向について第一フロントソナーSF1と車両中心軸線VLとの間に配置されている。第四フロントソナーSF4は、自車両10の略前方に探査波を発信するように、車幅方向について第二フロントソナーSF2と車両中心軸線VLとの間に配置されている。第三フロントソナーSF3と第四フロントソナーSF4とは、車両中心軸線VLを挟んで対称に配置されている。
 上記の通り、第一フロントソナーSF1と第三フロントソナーSF3とは、平面視にて互いに異なる位置に配置されている。また、車幅方向について互いに隣接する第一フロントソナーSF1と第三フロントソナーSF3とは、相互に、一方が送信した探査波の障害物Bによる反射波が他方における受信波として受信可能な位置関係に設けられている。
 すなわち、第一フロントソナーSF1は、自己が発信した探査波に対応する直接波と、第三フロントソナーSF3が発信した探査波に対応する間接波との双方を受信可能に配置されている。同様に、第三フロントソナーSF3は、自己が発信した探査波に対応する直接波と、第一フロントソナーSF1が発信した探査波に対応する間接波との双方を受信可能に配置されている。
 同様に、第三フロントソナーSF3と第四フロントソナーSF4とは、平面視にて互いに異なる位置に配置されている。また、車幅方向について互いに隣接する第三フロントソナーSF3と第四フロントソナーSF4とは、相互に、一方が送信した探査波の障害物Bによる反射波が他方における受信波として受信可能な位置関係に設けられている。
 同様に、第二フロントソナーSF2と第四フロントソナーSF4とは、平面視にて互いに異なる位置に配置されている。また、車幅方向について互いに隣接する第二フロントソナーSF2と第四フロントソナーSF4とは、相互に、一方が送信した探査波の障害物Bによる反射波が他方における受信波として受信可能な位置関係に設けられている。
 第一リアソナーSR1は、自車両10の左後方に探査波を発信するように、リアバンパー15の後側表面V2における左端部に設けられている。第二リアソナーSR2は、自車両10の右後方に探査波を発信するように、リアバンパー15の後側表面V2における右端部に設けられている。第一リアソナーSR1と第二リアソナーSR2とは、車両中心軸線VLを挟んで対称に配置されている。
 第三リアソナーSR3と第四リアソナーSR4とは、リアバンパー15の後側表面V2における中央寄りの位置にて、車幅方向に配列されている。第三リアソナーSR3は、自車両10の略後方に探査波を発信するように、車幅方向について第一リアソナーSR1と車両中心軸線VLとの間に配置されている。第四リアソナーSR4は、自車両10の略後方に探査波を発信するように、車幅方向について第二リアソナーSR2と車両中心軸線VLとの間に配置されている。第三リアソナーSR3と第四リアソナーSR4とは、車両中心軸線VLを挟んで対称に配置されている。
 上記の通り、第一リアソナーSR1と第三リアソナーSR3とは、平面視にて互いに異なる位置に配置されている。また、車幅方向について互いに隣接する第一リアソナーSR1と第三リアソナーSR3とは、相互に、一方が送信した探査波の障害物Bによる反射波が他方における受信波として受信可能な位置関係に設けられている。
 すなわち、第一リアソナーSR1は、自己が発信した探査波に対応する直接波と、第三リアソナーSR3が発信した探査波に対応する間接波との双方を受信可能に配置されている。同様に、第三リアソナーSR3は、自己が発信した探査波に対応する直接波と、第一リアソナーSR1が発信した探査波に対応する間接波との双方を受信可能に配置されている。
 同様に、第三リアソナーSR3と第四リアソナーSR4とは、平面視にて互いに異なる位置に配置されている。また、車幅方向について互いに隣接する第三リアソナーSR3と第四リアソナーSR4とは、相互に、一方が送信した探査波の障害物Bによる反射波が他方における受信波として受信可能な位置関係に設けられている。
 同様に、第二リアソナーSR2と第四リアソナーSR4とは、平面視にて互いに異なる位置に配置されている。また、車幅方向について互いに隣接する第二リアソナーSR2と第四リアソナーSR4とは、相互に、一方が送信した探査波の障害物Bによる反射波が他方における受信波として受信可能な位置関係に設けられている。
 第一サイドソナーSS1、第二サイドソナーSS2、第三サイドソナーSS3、および第四サイドソナーSS4は、側面部16の外側表面である車両側面V3から探査波を自車両10の側方に発信するように設けられている。第一サイドソナーSS1、第二サイドソナーSS2、第三サイドソナーSS3、および第四サイドソナーSS4は、それぞれ、直接波のみを受信可能に設けられている。
 第一サイドソナーSS1は、自車両10の左方に探査波を発信するように、前後方向について左側のドアミラー18と第一フロントソナーSF1との間に配置されている。第二サイドソナーSS2は、自車両10の右方に探査波を発信するように、前後方向について右側のドアミラー18と第二フロントソナーSF2との間に配置されている。第一サイドソナーSS1と第二サイドソナーSS2とは、車両中心軸線VLを挟んで対称に設けられている。
 第三サイドソナーSS3は、自車両10の左方に探査波を発信するように、前後方向について左後側のドアパネル17と第一リアソナーSR1との間に配置されている。第四サイドソナーSS4は、自車両10の右方に探査波を発信するように、前後方向について右後側のドアパネル17と第二リアソナーSR2との間に配置されている。第三サイドソナーSS3と第四サイドソナーSS4とは、車両中心軸線VLを挟んで対称に設けられている。
 複数の測距センサ21の各々は、制御部26に電気接続されている。すなわち、複数の測距センサ21の各々は、制御部26の制御下で探査波を発信するとともに、受信波の受信結果に対応する信号を発生して制御部26に送信するようになっている。受信波の受信結果に対応する信号に含まれる情報を、以下「受信情報」と称する。受信情報には、受信波の受信強度に関連する情報、および、複数の測距センサ21の各々と障害物Bとの距離に関連する情報が含まれる。障害物Bとの距離に関連する情報には、探査波の発信から受信波の受信までの時間差に関連する情報が含まれる。
 撮像部22は、自車両10の周囲の画像を撮像して、当該画像に対応する画像情報を取得するように設けられている。本実施形態においては、撮像部22は、デジタルカメラ装置であって、CCD等のイメージセンサを備えている。CCDはCharge Coupled Deviceの略である。
 本実施形態においては、自車両10には、複数の撮像部22、すなわち、フロントカメラCF、リアカメラCB、左側カメラCL、および右側カメラCRが搭載されている。フロントカメラCF、リアカメラCB、左側カメラCL、および右側カメラCRのうちの、いずれかであることを特定しない場合に、以下、「撮像部22」という単数形の表現、または「複数の撮像部22」という表現を用いる。
 フロントカメラCFは、自車両10の前方の画像に対応する画像情報を取得するように、車体11の前面部12に装着されている。リアカメラCBは、自車両10の後方の画像に対応する画像情報を取得するように、車体11の後面部14に装着されている。左側カメラCLは、自車両10の左方の画像に対応する画像情報を取得するように、左側のドアミラー18に装着されている。右側カメラCRは、自車両10の右方の画像に対応する画像情報を取得するように、右側のドアミラー18に装着されている。
 複数の撮像部22の各々は、制御部26に電気接続されている。すなわち、複数の撮像部22の各々は、制御部26の制御下で画像情報を取得するとともに、取得した画像情報を制御部26に送信するようになっている。
 車速センサ23、シフトポジションセンサ24、および舵角センサ25は、制御部26に電気接続されている。車速センサ23は、自車両10の走行速度に対応する信号を発生して、制御部26に送信するように設けられている。自車両10の走行速度を、以下単に「車速」と称する。シフトポジションセンサ24は、自車両10のシフトポジションに対応する信号を発生して、制御部26に送信するように設けられている。舵角センサ25は、自車両10の操舵角に対応する信号を発生して、制御部26に送信するように設けられている。
 制御部26は、車体11の内側に配置されている。制御部26は、いわゆる車載マイクロコンピュータであって、図示しないCPU、ROM、RAM、不揮発性RAM、等を備えている。不揮発性RAMは、例えば、フラッシュROM等である。制御部26のCPU、ROM、RAMおよび不揮発性RAMを、以下単に「CPU」、「ROM」、「RAM」および「不揮発性RAM」と略称する。
 制御部26は、CPUがROMまたは不揮発性RAMからプログラムを読み出して実行することで、各種の制御動作を実現可能に構成されている。このプログラムには、後述の各ルーチンに対応するものが含まれている。また、ROMまたは不揮発性RAMには、プログラムの実行の際に用いられる各種のデータが、あらかじめ格納されている。各種のデータには、例えば、初期値、ルックアップテーブル、マップ、等が含まれている。
 制御部26は、複数の測距センサ21の各々、複数の撮像部22の各々、車速センサ23、シフトポジションセンサ24、舵角センサ25、等から受信した信号および情報に基づいて、障害物検知動作を実行するように構成されている。ディスプレイ27は、自車両10における車室内に配置されている。ディスプレイ27は、制御部26の制御下で、障害物検知動作に伴う表示を行うように、制御部26に電気接続されている。
 (第一実施形態)
 次に、図1に加えて図2をも参照しつつ、第一実施形態における障害物検知装置20および制御部26の機能ブロック構成について説明する。制御部26は、測距センサ21による受信波の受信結果と、撮像部22による画像の撮像結果と、車速センサ23等の各種センサから受信した各種信号とに基づいて、障害物Bを検知するように構成されている。具体的には、図2に示されているように、制御部26は、機能上の構成として、車両状態取得部260と、位置取得部261と、形状認識部262と、検知処理部263とを備えている。
 車両状態取得部260は、図1に示された車速センサ23、シフトポジションセンサ24、舵角センサ25、等から各種信号を受信することで、自車両10の走行状態に対応する走行状態情報を取得するように設けられている。走行状態情報は、車速、操舵角、シフトポジション、等を含む。走行状態情報は、自車両10が停止中、すなわち、車速が0km/hである場合をも含む。本実施形態においては、車両状態取得部260は、車速センサ23等の各種センサとCPUとの間に設けられたインタフェースであって、車速センサ23等の各種センサから受信した各種信号、またはかかる信号に所定の処理を施したものを、CPUに送信するようになっている。なお、図示の簡略化のため、図2においては、車速センサ23等の各種センサの図示が省略されている。
 障害物検知装置20が自車両10の前方に位置する障害物Bを検知する場合、第一フロントソナーSF1、第二フロントソナーSF2、第三フロントソナーSF3、および第四フロントソナーSF4のうちの、互いに隣接するいずれか2個を、第一測距センサおよび第二測距センサとする。これに対し、障害物検知装置20が自車両10の後方に位置する障害物Bを検知する場合、第一測距センサおよび第二測距センサは、第一リアソナーSR1、第二リアソナーSR2、第三リアソナーSR3、および第四リアソナーSR4のうちの、互いに隣接するいずれか2個を、第一測距センサおよび第二測距センサとする。
 位置取得部261は、第一測距センサが送信した探査波の障害物Bによる反射波を第一測距センサおよび第二測距センサが受信波として受信した場合の、第一測距センサおよび第二測距センサの位置に基づく三角測量により、自車両10と障害物Bとの位置関係に対応する相対位置情報を取得するように設けられている。すなわち、位置取得部261は、複数の測距センサ21の各々の出力に基づいて、相対位置情報を取得するようになっている。
 相対位置情報は、複数の測距センサ21の各々における受信波に基づいて取得される、障害物Bの自車両10に対する相対位置に対応する情報である。相対位置情報には、距離情報および方位情報が含まれる。距離情報は、障害物Bの自車両10からの距離に対応する情報である。方位情報は、障害物Bの自車両10からの方位、すなわち、自車両10から障害物Bに向かう有向線分と車両中心軸線VLとのなす角に対応する情報である。
 形状認識部262は、撮像部22により取得された画像情報と、車両状態取得部260により取得された走行状態情報とに基づいて、障害物Bの形状認識を実行するように設けられている。具体的には、本実施形態においては、形状認識部262は、自車両10の移動に伴って時系列で取得された複数の画像情報に基づいて、画像情報における複数の特徴点の三次元位置を取得することで、障害物Bの三次元形状を認識するように構成されている。すなわち、形状認識部262は、車両10の移動中に撮像部22により順次撮像された複数の画像に基づいて、画像中の物体等における特徴形状を三次元的に認識するようになっている。
 特徴形状には、水平エッジ、垂直エッジ、等の直線エッジが含まれる。「直線エッジ」は、画像中にて、物体の外形線等に対応して所定以上の長さで連続する画素列である。「水平エッジ」は、画像中にて、水平線と平行な直線エッジをいう。「垂直エッジ」は、画像中にて、鉛直線と平行な直線エッジをいう。「物体の外形線等」には、障害物Bの外形線のみならず、区画線等の表示物における外形線も含まれる。
 具体的には、形状認識部262は、いわゆる移動ステレオ技術またはSFM技術により、特徴形状を三次元的に認識可能に構成されている。SFMはStructure From Motionの略である。移動ステレオ技術およびSFM技術については、本願の出願時において、すでに公知または周知である。故に、本明細書においては、移動ステレオ技術およびSFM技術についての詳細な説明は省略する。
 検知処理部263は、位置取得部261により取得された相対位置情報と、形状認識部262による形状認識結果とに基づいて、障害物Bを検知するように設けられている。具体的には、本実施形態においては、検知処理部263は、形状認識部262による形状認識結果にて障害物Bの高さ寸法が所定寸法未満である場合、かかる障害物Bに対応する相対位置情報を破棄するように構成されている。
 (動作概要)
 以下、障害物検知装置20、すなわち制御部26における動作の概要について、図1~図6を参照しつつ説明する。なお、以下の動作説明においては、図示および説明の煩雑化を回避するため、自車両10は前方に直進中とし、各部の図示が適宜省略されている。
 図3、図4A、および図4Bは、自車両10が、前方に存在する障害物Bを検知する様子を示す。図3に示されているように、障害物検知装置20は、第一フロントソナーSF1、第二フロントソナーSF2、第三フロントソナーSF3、および第四フロントソナーSF4を用いて、前方に存在する障害物Bを検知する。また、障害物検知装置20は、フロントカメラCFを用いて、前方に存在する障害物Bの三次元形状を認識する。
 なお、自車両10が後退する場合、障害物検知装置20は、第一リアソナーSR1、第二リアソナーSR2、第三リアソナーSR3、および第四リアソナーSR4を用いて、後方に存在する障害物Bを検知する。また、障害物検知装置20は、リアカメラCBを用いて、後方に存在する障害物Bの三次元形状を認識する。もっとも、後退時における障害物検知動作は、基本的には、前進時と同様である。よって、以下、前進時の障害物検知動作を例として、障害物検知装置20の動作概要を説明する。
 図3は、障害物Bが車幅方向について第三フロントソナーSF3と第四フロントソナーSF4との間に位置する場合を示す。この場合、第三フロントソナーSF3または第四フロントソナーSF4から発信された探査波WSの、障害物Bの壁面BWによる反射波を、第三フロントソナーSF3および第四フロントソナーSF4にて受信することで、障害物Bの自車両10に対する相対位置が取得される。以下、第三フロントソナーSF3から探査波WSを発信し、この探査波WSに対応する受信波WR1を第三フロントソナーSF3にて受信するとともに、この探査波WSに対応する受信波WR2を第四フロントソナーSF4にて受信する場合を想定して、動作概要の説明を続行する。
 第三フロントソナーSF3における直接波である受信波WR1は、第三フロントソナーSF3から発信された探査波WSが、障害物Bの壁面BWにて反射することによって、第三フロントソナーSF3にて受信される。一方、第四フロントソナーSF4における間接波である受信波WR2は、第三フロントソナーSF3から発信された探査波WSが、障害物Bの壁面BWにて反射することによって、第四フロントソナーSF4にて受信される。
 第三フロントソナーSF3における探査波WSの発信時点から受信波WR1の受信時点までの所要時間をT1とする。第三フロントソナーSF3における探査波WSの発信時点から第四フロントソナーSF4における受信波WR2の受信時点までの所要時間をT2とする。音速をcとする。この場合、第三フロントソナーSF3から障害物Bの壁面BWまでの、受信波WR1の伝播方向に沿った距離をD1とすると、D1=0.5T1×cである。また、第四フロントソナーSF4から障害物Bの壁面BWまでの、受信波WR2の伝播方向に沿った距離をD2とすると、D2=(T2-0.5T1)×cである。
 探査波WSを反射したと推定される、障害物Bの壁面BW上の点を「検出点P」とすると、D1は第三フロントソナーSF3から検出点Pまでの距離であり、D2は第四フロントソナーSF4ら検出点Pまでの距離である。自車両10における、第三フロントソナーSF3および第四フロントソナーSF4の水平位置は一定である。故に、検出点Pの自車両10に対する相対位置は、第三フロントソナーSF3および第四フロントソナーSF4の水平位置と、算出された距離D1およびD2とを用いて、三角測量により取得される。
 自車両10が前方に進行中の進行可能距離DCは、前側表面V1から検出点Pまでの、自車両10の進行方向における水平距離である。図3に示されているように、自車両10が直進中の場合、進行可能距離DCは、前後方向における前側表面V1から検出点Pまでの距離となる。なお、進行可能距離DCは、自車両10が直進する場合に最小となる。故に、処理負荷軽減等の観点から、自車両10が前方に進行中の進行可能距離DCは、操舵角にかかわらず、前後方向における前側表面V1から検出点Pまでの距離としても、差し支えない。
 図4Aは、自車両10が、高さ寸法が大きい障害物Bに向かって進行する様子を示す。図4Bは、自車両10が、高さ寸法が小さい障害物Bに向かって進行する様子を示す。図4Aに示されているような、高さ寸法が大きい障害物Bは、例えば、壁等である。図4Bに示されているような、高さ寸法が小さい障害物B、すなわち、路面RSからの突出高さが低い障害物Bは、例えば、段差、縁石、等である。
 なお、本実施形態における、障害物Bの高さ寸法は、障害物Bの路面RSからの突出高さ、すなわち、車高方向における障害物Bの路面RSからの突出長さに相当する。かかる障害物Bの高さ寸法は、車高方向における障害物Bの基端部と先端部との間の距離とも称され得る。図4Aおよび図4Bの例では、基端部は下端部に対応し、先端部は上端部に対応する。
 図4Aおよび図4Bにおいて、進行可能距離DCを示す矢印は、自車両10と障害物Bとの水平距離であり、平面視における自車両10と障害物Bとの間の最短距離である。進行可能距離DCを規定する方向は、路面RSと平行となる。但し、車高方向すなわち上下方向は、路面RSの傾斜状態により、重力作用方向と平行とはならない場合があり得る。
 測距センサ21は、車体11に装着されている。車体11は、路面RSよりも上方に位置する。故に、測距センサ21の搭載高、すなわち、測距センサ21の車高方向における搭載位置は、車高方向における測距センサ21の路面RSからの距離となる。
 以下、測距センサ21の搭載高を、「センサ搭載高」と称する。センサ搭載高は、車体11の路面RSからの距離と、測距センサ21の車体11における搭載位置とに応じた、所定値となる。具体的には、センサ搭載高は、水平面と平行な路面RSに自車両10を載置した場合の、測距センサ21の搭載位置の、路面RSからの高さである。
 図4Aに示されているように、センサ搭載高よりも高さ寸法が大きい障害物Bの場合、測距センサ21と同じ高さに障害物Bの壁面BWが存在する。故に、測距センサ21に到達する受信波WRは、水平距離を規定する方向と平行に伝播する。したがって、この場合に、測距センサ21を用いて取得された障害物Bの距離情報は、実際の自車両10と障害物Bとの水平距離すなわち進行可能距離DCに対応した、ほぼ正確なものとなり得る。
 一方、図4Bに示されているように、センサ搭載高よりも高さ寸法が小さい障害物Bの場合、障害物Bの上端部は、測距センサ21よりも低い位置となる。すなわち、測距センサ21と同じ高さには、障害物Bの壁面BWは存在しない。この場合、測距センサ21に到達する受信波WRは、障害物Bの下端部から測距センサ21に向かって、斜め上方に伝播する。したがって、センサ搭載高よりも高さ寸法が小さい障害物Bの場合、測距センサ21を用いて取得された障害物Bの距離情報は、大きな誤差を含む不正確なものとなる。
 また、上記のような、センサ搭載高よりも高さ寸法が小さい障害物Bが、自車両10がそのまま乗り越えられる程度に突出高さが低い物体である場合がある。このような物体の例は、例えば、5cm程度の低い段差、マンホールの蓋、等である。このような障害物Bは、自車両10の走行に何ら支障を来すことはないため、運転支援動作における「障害物」として認識する必要性が低い。
 そこで、本実施形態においては、障害物検知装置20は、フロントカメラCFを用いた形状認識結果にて障害物Bの高さ寸法が所定寸法以上である場合、かかる障害物Bに対応する相対位置情報を有効化して、不揮発性RAMに格納する。これに対し、障害物検知装置20は、フロントカメラCFを用いた形状認識結果にて障害物Bの高さ寸法が所定寸法未満である場合、かかる障害物Bに対応する相対位置情報を無効化して破棄する。
 これにより、自車両10の走行に支障なくそのまま乗り越えられる程度に突出高さが低い物体を障害物Bとして認識することによる、不要な報知動作等を、可及的に抑制することが可能となる。この種の物体の誤認識を抑制するための、上記「所定高さ」は、例えば、5~10cm程度に設定され得る。
 (動作例)
 以下、本実施形態の構成による、上記の動作概要に対応する具体的な動作例について、フローチャートを用いて説明する。なお、図面および明細書中の以下の説明において、「ステップ」を単に「S」と略記する。
 図5は、撮像部22により取得された画像情報に基づく、障害物Bの形状認識動作の一例を示すフローチャートである。図5に示されている画像認識ルーチンは、形状認識部262の動作に対応する。この画像認識ルーチンは、後述する第二実施形態~第四実施形態においても同様に実行される。この画像認識ルーチンは、所定の起動条件が成立した後、所定時間間隔で、CPUにより起動される。
 図5に示されている画像認識ルーチンが起動されると、まず、S501にて、CPUは、撮像部22から画像情報を取得する。また、CPUは、取得した画像情報を、不揮発性RAMに時系列で格納する。
 次に、S502にて、CPUは、移動ステレオ技術またはSFM技術を用いて、形状認識部262による画像認識動作を実行する。これにより、画像中の物体等の三次元形状が認識される。具体的には、例えば、障害物Bの高さ等が認識可能となる。続いて、S503にて、CPUは、形状認識部262による画像認識結果を不揮発性RAMに格納し、本ルーチンを一旦終了する。
 図6は、隣接する2個の測距センサ21により取得された相対位置情報と、撮像部22により取得された画像情報とに基づく、障害物Bの検知動作の一例を示すフローチャートである。図6に示されている障害物検知ルーチンは、位置取得部261および検知処理部263の動作に対応する。この障害物検知ルーチンは、後述する第二実施形態および第三実施形態においても同様に実行される。この障害物検知ルーチンは、所定の起動条件が成立した後、所定時間間隔で、CPUにより起動される。
 図6に示されている障害物検知ルーチンが起動されると、まず、S601にて、CPUは、隣接する2個の測距センサ21を選択し、選択した2個の測距センサ21から受信情報を取得する。上記の例では、隣接する2個の測距センサ21は、第三フロントソナーSF3および第四フロントソナーSF4である。すなわち、S601にて、第三フロントソナーSF3から探査波が発信され、第三フロントソナーSF3および第四フロントソナーSF4にて受信波が受信される。
 次に、S602にて、CPUは、隣接する2個の測距センサ21における受信波の強度がいずれも所定の閾値以上であるか否かを判定する。隣接する2個の測距センサ21における受信波の強度がいずれも所定の閾値以上であるという条件が成立しない場合(すなわちS602=NO)、上記の三角測量が成立しない。よって、この場合、CPUは、S603以降の処理をすべてスキップして、本ルーチンを一旦終了する。
 以下、隣接する2個の測距センサ21における受信波の強度がいずれも所定の閾値以上であるという条件が成立するものとして(すなわちS602=YES)、本ルーチンの説明を続行する。この場合、CPUは、処理をS603以降に進行させる。
 S603にて、CPUは、取得した受信情報に基づいて、障害物Bの相対位置情報を取得する。上記の例では、S603にて、CPUは、障害物Bに対応する検出点Pを取得する。次に、S604にて、CPUは、障害物Bまでの距離を取得する。上記の例では、S604にて、CPUは、進行可能距離DCを取得する。S603およびS604にて取得した相対位置情報および進行可能距離DCは、一旦不揮発性RAMに格納される。
 続いて、S605にて、CPUは、閾値以上の強度の受信波に対応する障害物Bの高さHを、不揮発性RAMに格納された画像認識結果に基づいて取得する。また、S606にて、CPUは、S605にて取得した高さHが所定高さHth1未満であるか否かを判定する。所定高さHth1は、例えば、5cmである。
 高さHが所定高さHth1未満である場合(すなわちS606=YES)、CPUは、処理をS607に進行させた後、本ルーチンを一旦終了する。S607にて、CPUは、今回S603およびS604にて取得した相対位置情報および進行可能距離DCを無効化して破棄する。すなわち、CPUは、今回S603およびS604にて取得した相対位置情報および進行可能距離DCの、不揮発性RAMにおける記録を消去する。
 一方、高さHが所定高さHth1以上である場合(すなわちS606=NO)、CPUは、S607の処理をスキップして、本ルーチンを一旦終了する。この場合、閾値以上の強度の受信波に対応し且つ所定高さHth1以上の高さ寸法を有する障害物Bについての、相対位置情報および進行可能距離DCは、自車両10の走行支援動作に用いられる。
 (第二実施形態)
 以下、第二実施形態の障害物検知装置20について説明する。以下の第二実施形態の説明においては、上記の第一実施形態との相違点を主として説明する。また、第二実施形態と上記の第一実施形態とにおいて、互いに同一または均等である部分には、同一符号が付されている。したがって、以下の第二実施形態の説明において、上記の第一実施形態と同一の符号を有する構成要素に関しては、技術的矛盾または特段の追加説明なき限り、上記の第一実施形態における説明が適宜援用され得る。後述の第三実施形態等においても同様である。
 本実施形態の構成は、上記の第一実施形態の構成と同様である。本実施形態は、第一サイドソナーSS1、第二サイドソナーSS2、第三サイドソナーSS3、および第四サイドソナーSS4を用いた障害物Bの検知動作に対応するものである。
 図7を参照すると、第一サイドソナーSS1、第二サイドソナーSS2、第三サイドソナーSS3、および第四サイドソナーSS4は、自車両10の側方に位置する障害物Bとの距離に対応する信号を出力する。また、左側カメラCLおよび右側カメラCRは、自車両10の側方の画像に対応する画像情報を取得する。これらは、障害物検知装置20が駐車支援動作に用いられる際に、駐車スペース検出等のために用いられる。
 上記の通り、第一サイドソナーSS1、第二サイドソナーSS2、第三サイドソナーSS3、および第四サイドソナーSS4の各々は、直接波により、対向する障害物Bとの距離を検知可能である。また、障害物検知装置20は、第一サイドソナーSS1、第二サイドソナーSS2、第三サイドソナーSS3、および第四サイドソナーSS4を用いることで、自車両10の側方に位置する障害物Bの形状を認識することが可能である。
 図7は、第二サイドソナーSS2および右側カメラCRの右側に障害物Bが存在する場合を例示する。以下、図7の例を用いて、自車両10の右方に位置する障害物Bの検知動作の概要について説明する。
 図7に示されているように、第二サイドソナーSS2は、自己が送信した探査波WSの障害物Bによる反射波を受信波WRとして受信することで、かかる障害物Bとの距離に対応する信号を出力する。障害物検知装置20は、自車両10の走行中に、第二サイドソナーSS2が所定時間間隔で繰り返し受信した受信波WRに基づいて、障害物Bとの距離DDを繰り返し取得する。所定時間は、例えば、数百ミリ秒である。また、障害物検知装置20は、ソナー位置、すなわち複数の距離DDの各々に対応する第二サイドソナーSS2の位置を、自車両10の走行状態情報と、探査波WSの発信時刻または受信波WRの受信時刻とに基づいて取得する。
 障害物検知装置20は、上記のようにして取得した複数の距離DDと、これら複数の距離DDの各々に対応するソナー位置とに基づいて、障害物Bの平面視における外形形状を概略的に推定することが可能である。例えば、障害物検知装置20は、複数の距離DDを、横軸をソナー位置とし縦軸を距離DDとする二次元座標上の点列として認識する。障害物検知装置20は、これらの点列に対して、三角測量法に基づく所定の処理を実行することによって、複数の距離DDの各々に対応する反射点PRを推定する。
 反射点PRは、受信波WRを反射した障害物B上の位置であると推定される位置である。すなわち、反射点PRは、1回の受信波WRの受信によって取得された距離DDに対応する、仮想的な障害物B上の位置である。複数の反射点PRを含む点列によって、障害物Bの平面視における外形形状が概略的に推定される。反射点PRは、障害物Bにおける、自車両10に対向する壁面BW上の点として推定される点であり、障害物Bの相対位置情報に対応する。
 なお、上記のような、直接波を用いた、障害物Bの平面視における外形形状の推定については、本願の出願時において、すでに周知である。例えば、米国特許第7,739,046号明細書、米国特許第7,843,767号明細書、米国特許第8,130,120号明細書、等参照。
 また、障害物検知装置20は、自車両10の走行中における異なる時点にて取得された、第二サイドソナーSS2におけるソナー位置および距離DDに基づいて、三角測量により、反射点PRを取得することが可能である。図8は、このような反射点PRの取得例の概略を示す。
 すなわち、図8を参照すると、実線で示されている第二サイドソナーSS2の位置は、今回の受信波WRの受信時における第二サイドソナーSS2の位置を示す。一方、破線で示されている第二サイドソナーSS2の位置は、前回の受信波WRの受信時における第二サイドソナーSS2の位置を示す。今回をN回目とし、前回をN-1回目とする。また、前回取得された距離DDをDD(N-1)とし、今回取得された距離DDをDD(N)とする。
 前回の距離DD(N-1)が取得された時刻と、今回の距離DD(N)が取得された時刻との、時間間隔は、上記の通り充分小さい。このため、距離DD(N-1)に対応する探査波を反射した壁面BWの位置と、距離DD(N)に対応する探査波を反射した壁面BWの位置とは、同一と仮定することができる。したがって、障害物検知装置20は、距離DD(N-1)を取得した時点の第二サイドソナーSS2の位置を中心として半径が距離DD(N-1)となる第一円と、距離DD(N)を取得した時点の第二サイドソナーSS2の位置を中心として半径が距離DD(N)となる第二円との交点を、反射点PRとして取得する。
 上記の通り、障害物検知装置20は、第一サイドソナーSS1、第二サイドソナーSS2、第三サイドソナーSS3、および第四サイドソナーSS4を用いることで、自車両10の側方に位置する障害物Bについての相対位置情報および平面視における概略的な形状を取得することができる。しかしながら、障害物Bの高さについては不明である。
 一方、障害物検知装置20は、左側カメラCLおよび右側カメラCRを用いて、障害物Bの高さを取得することが可能である。具体的には、図7に示されているように、障害物Bが自車両10の右側に存在する場合、障害物検知装置20は、右側カメラCRを用いて、障害物Bの高さを取得することが可能である。すなわち、例えば、障害物検知装置20は、上記のような移動ステレオ技術またはSFM技術等の画像処理技術により、障害物Bの高さを認識可能である。
 図7は、障害物検知装置20が自車両10の右側に駐車スペースを探索している状況を示しているものとする。この状況において、障害物Bが、自車両10がそのまま乗り越えられる程度に突出高さが低い物体である場合があり得る。この種の物体の例としては、例えば、5cm程度の低い段差、マンホールの蓋、等が挙げられる。
 この場合、かかる障害物Bは、駐車支援動作において、実質的に障害物とはならない。すなわち、かかる障害物Bを含む領域を、駐車スペースとして設定可能である。また、かかる障害物Bは、駐車スペースまでの駐車経路上に存在しても何ら差し支えない。このため、かかる障害物Bに対応する相対位置情報は、保持する必要がない。
 そこで、障害物検知装置20は、左側カメラCLおよび右側カメラCRを用いた形状認識結果にて障害物Bの高さ寸法が所定寸法以上である場合、かかる障害物Bに対応する相対位置情報を有効化して、不揮発性RAMに格納する。これに対し、障害物検知装置20は、左側カメラCLおよび右側カメラCRを用いた形状認識結果にて障害物Bの高さ寸法が所定寸法未満である場合、かかる障害物Bに対応する相対位置情報を無効化して破棄する。本実施形態によれば、より適切な駐車支援動作が実現されるとともに、CPUにおける計算負荷および不揮発性RAMにおける記憶容量が軽減され得る。
 (第三実施形態)
 以下、第三実施形態の障害物検知装置20について説明する。以下の第三実施形態の説明においても、上記の第一実施形態との相違点を主として説明する。
 本実施形態の構成は、上記の第一実施形態の構成と同様である。本実施形態は、図9に示されているように、自車両10が、車両中心軸線VLに対して斜行するように立設した壁状の障害物Bに接近しつつ進行する場合の、障害物Bの検知動作に対応するものである。この場合の障害物Bを、以下「斜行壁」と称する。
 なお、図9の例においては、説明の簡略化のため、自車両10は前方に直進中であり、斜行壁である障害物Bは自車両10の右前方に存在しているものとする。また、第二フロントソナーSF2および第四フロントソナーSF4による検知可能範囲を、図中、二点鎖線で示す。
 図9の例において、斜行壁における物体中心軸BLは、車両中心軸線VLと交差する。物体中心軸BLは、平面視にて、車両進行方向に沿った障害物Bの中心軸である。この例においては、物体中心軸BLは、平面視にて、障害物Bにおける自車両10と対向する壁面BWと平行であるものとする。
 図9に示されているように、物体中心軸BLと車両中心軸線VLとのなす角度が小さくなることで、斜行壁である障害物Bが第二フロントソナーSF2による検知可能範囲にのみ存在する場合があり得る。この場合、第二フロントソナーSF2における直接波は受信可能である一方、第二フロントソナーSF2および第四フロントソナーSF4における間接波は受信不能である。すなわち、この場合、第二フロントソナーSF2および第四フロントソナーSF4による三角測量が成立しない。
 図9に示されている例においては、障害物Bに対応する相対位置情報は、第二フロントソナーSF2における直接波に基づいて取得される。この直接波は、第二フロントソナーSF2に受信される受信波WRであって、第二フロントソナーSF2から発信された探査波WSの障害物Bによる反射波に起因するものである。
 具体的には、例えば、障害物検知装置20は、第二フロントソナーSF2による検知可能範囲における、平面視にて最も右側の位置を、検出点Pとして推定し得る。あるいは、例えば、障害物検知装置20は、探査波WSの中心軸線上の位置を、検出点Pとして推定し得る。あるいは、例えば、障害物検知装置20は、上記の第二実施形態と同様に、異なる時刻における第二フロントソナーSF2の位置と検知距離とに基づいて、検出点Pを推定し得る。
 このような相対位置情報は、第二フロントソナーSF2に受信される受信波であって第四フロントソナーSF4から発信された探査波の障害物Bによる反射波に起因する第一間接波に基づいて取得されたものではない。また、この相対位置情報は、第四フロントソナーSF4に受信される受信波であって第二フロントソナーSF2から発信された探査波の障害物Bによる前記反射波に起因する第二間接波に基づいて取得されたものでもない。よって、このような相対位置情報を、以下、「第二フロントソナーSF2における直接波のみに基づく」ものと表現する。
 第二フロントソナーSF2における直接波のみに基づく、障害物Bの壁面BWとの検知距離それ自体は、自車両10の運転支援に利用されない可能性がある。但し、フロントカメラCFにより取得された画像情報に基づく形状認識結果と、第二フロントソナーSF2における直接波のみに基づく検知距離とに基づいて、斜行壁である障害物Bにおける進行方向先の端部BEの相対位置情報を推定することが可能である。故に、障害物検知装置20は、撮像部22により取得された画像情報に基づく形状認識結果にて障害物Bの高さ寸法が所定寸法以上であっても、検出点Pが第二フロントソナーSF2における直接波のみに基づくものである場合、障害物Bが斜行壁であると認識する。
 本実施形態においては、第二フロントソナーSF2および第四フロントソナーSF4は、自車両10の進行方向側の面である前面部12に設けられている。また、障害物検知装置20、すなわち図2に示された検知処理部263は、フロントカメラCFを用いた形状認識結果にて障害物Bの高さ寸法が所定寸法以上であり、且つ、取得された相対位置情報が第二フロントソナーSF2における直接波のみに基づくものである場合に、障害物Bが斜行壁であるものと認識する。この斜行壁は、自車両10の車両中心軸線VLと交差する壁面BWを有し、自車両10の走行に伴って壁面BWが自車両10に接近する可能性があるものである。
 障害物Bが斜行壁であると認識した場合、障害物検知装置20は、所定の処理を実行する。所定の処理は、例えば、上記の第一実施形態と同様に、障害物Bに対応する相対位置情報を無効化して破棄する処理である。あるいは、所定の処理は、例えば、前方の斜行壁の存在を、ディスプレイ27等によって自車両10の運転者に報知する処理である。あるいは、所定の処理は、例えば、画像情報に基づく形状認識結果にて検出点Pの近傍を通り前方に延びる直線エッジを探索し、検出点Pから当該直線エッジに沿った延長線を形成し、この延長線と交差する垂直エッジの相対位置を端部BEの相対位置として推定する。
 (動作例)
 図10は、本実施形態に対応する具体的な動作例を示すフローチャートである。図10に示されている障害物認識ルーチンは、所定の起動条件が成立した後、所定時間間隔で、CPUにより起動される。なお、図10に示されている障害物認識ルーチンが起動される前提として、図5に示されている画像認識ルーチン、および図6に示されている障害物検知ルーチンが既に実行されているものとする。
 さらに、本実施形態においては、図6に示されている障害物検知ルーチンにおけるS602の判定内容は、選択した隣接する2個の測距センサ21におけるいずれか一方の受信波の強度が所定の閾値以上であるか否かの判定となる。すなわち、本実施形態においては、選択した隣接する2個の測距センサ21のうちの一方における直接波のみが、所定の閾値以上の強度を有する場合にも、S603およびS604の処理が実行される。よって、この場合にも、上記のように、直接波に基づいて、障害物Bまでの距離を含む、障害物Bの相対位置情報が取得される。
 図10に示されている障害物認識ルーチンが起動されると、まず、S1001にて、CPUは、障害物Bとの距離が有効に取得されたか否かを判定する。すなわち、S1001にて、CPUは、相対位置情報が取得された障害物Bについて、高さHが所定高さHth1以上であって相対位置情報が一旦有効化されたものであるか否かを判定する。
 障害物Bとの距離が有効に取得されていない場合(すなわちS1001=NO)、CPUは、S1002以降の処理をすべてスキップして、本ルーチンを一旦終了する。一方、障害物Bとの距離が有効に取得されている場合(すなわちS1001=YES)、CPUは、処理をS1002以降に進行させる。
 S1002にて、CPUは、取得された距離が、第一フロントソナーSF1または第二フロントソナーSF2における直接波のみに基づくものであるか否かを判定する。第二フロントソナーSF2における直接波のみに基づいて障害物Bとの距離が取得された場合、障害物Bは、図9に示されているように、自車両10の左前方に位置する斜行壁である。一方、第一フロントソナーSF1における直接波のみに基づいて障害物Bとの距離が取得された場合、障害物Bは、自車両10の左前方に位置する斜行壁である。
 取得された距離が直接波のみに基づく場合(すなわちS1002=YES)、CPUは、処理をS1003に進行させた後、本ルーチンを一旦終了する。S1003にて、CPUは、今回検知した障害物Bが斜行壁であると認識して、上記のような所定の処理を実行する。一方、取得された距離が間接波に基づくものである場合(すなわちS1002=NO)、CPUは、S1003の処理をスキップして、本ルーチンを一旦終了する。
 (第四実施形態)
 次に、図11を参照しつつ、第四実施形態の障害物検知装置20および制御部26の機能ブロック構成について説明する。以下の第四実施形態の説明においても、上記の第一実施形態との相違点を主として説明する。なお、第一実施形態と第四実施形態とで、図1の構成は共通であるものとする。よって、以下の第四実施形態の説明においては、図1および図3が適宜参照され得る。
 本実施形態の障害物検知装置20も、図1に示されているように、自車両10に搭載されることで、自車両10の外側に存在する障害物Bを検知するように構成されている。図1を参照すると、本実施形態の障害物検知装置20は、測距センサ21と、撮像部22と、車速センサ23と、シフトポジションセンサ24と、舵角センサ25と、制御部26と、ディスプレイ27とを備えている。測距センサ21および撮像部22は、上記の第一実施形態と同様である。
 障害物検知装置20は、少なくとも1個の測距センサ21を備えている。制御部26は、測距センサ21による受信波の受信結果と、撮像部22による画像の撮像結果と、車速センサ23等の各種センサから受信した各種信号とに基づいて、障害物Bを検知するように構成されている。具体的には、図11に示されているように、制御部26は、機能上の構成として、車両状態取得部260と、距離取得部264と、形状認識部265と、距離補正部266とを備えている。
 距離取得部264は、測距センサ21の出力に基づいて、障害物Bの自車両10からの距離に対応する距離情報を取得するように設けられている。具体的には、距離取得部264は、上記の各実施形態と同様にして、障害物Bとの距離を取得可能に構成されている。
 形状認識部265は、撮像部22により取得された画像情報に基づいて、障害物Bの形状認識を実行するように設けられている。すなわち、形状認識部265は、上記の第一実施形態における形状認識部262と同様に、時系列で取得された複数の画像情報から物体の三次元形状を認識する機能を有している。
 距離補正部266は、形状認識部265による形状認識結果にて障害物Bの高さ寸法が所定寸法未満である場合、かかる障害物Bに対応する距離情報を、センサ搭載高に基づいて補正するように設けられている。上記「所定寸法」は、後述するように、例えば、10~25cm程度に設定され得る。
 (動作概要)
 図12Aは、自車両10が、高さ寸法が大きい障害物B、すなわち路面RSからの突出高さが測距センサ21の搭載高よりも充分高い障害物Bに向かって進行する様子を示す。
 図12Aに示されているような、高さ寸法が大きい障害物Bは、例えば、壁等である。図12Aに示されているように、障害物Bの高さ寸法が大きく、測距センサ21と同じ高さに障害物Bの壁面BWが存在する場合、測距センサ21を用いた障害物Bの距離情報は、実際の自車両10と障害物Bとの水平距離に対応した、ほぼ正確なものとなり得る。
 図12Bおよび図12Cは、図12Aにおける障害物Bの高さを、センサ搭載高よりも低くした場合の様子を示す。図12Bおよび図12Cに示されているような、高さ寸法が小さい障害物Bは、例えば、段差、車止め、縁石、等である。図12Cは、図12Bに示されている状態よりも、自車両10が障害物Bに接近した状態を示す。
 図12Bに示されているように、障害物Bの高さ寸法が小さく、測距センサ21と同じ高さに障害物Bの壁面BWが存在しない場合、測距センサ21を用いた障害物Bの距離情報は、実際の自車両10と障害物Bとの水平距離に対して、無視できない程度の誤差を含み得る。さらに、図12Bと図12Cとの対比から明らかなように、障害物Bの自車両10からの実際の水平距離が小さくなるほど、距離情報の誤差は大きくなる。
 そこで、本実施形態においては、距離補正部266は、形状認識部265による形状認識結果にて障害物Bの高さ寸法が所定寸法未満である場合、距離取得部264によって取得した障害物Bとの距離を補正する。これにより、路面RSからの突出高さが低い障害物Bの、自車両10に対する相対位置の認識が、より正確に行われ得る。この種の障害物Bの例としては、例えば、車止め、縁石、等が挙げられる。このため、この種の障害物Bにおける距離情報を補正するための、上記「所定高さ」は、例えば、10~25cm程度に設定され得る。
 図13Aおよび図13Bは、距離補正部266による距離補正の概要を示す。なお、この例において、障害物Bは、車幅方向について、第三フロントソナーSF3と第四フロントソナーSF4との間に位置するものとする。以下、図13Aおよび図13Bの例を用いて、検知距離の取得および補正の概要について説明する。
 距離取得部264は、第三フロントソナーSF3と第四フロントソナーSF4とを用いた三角測量により、障害物Bに対向する測距センサ21が装着された自車両10の端面から、障害物Bまでの水平距離を取得する。自車両10の端面は、この例では、フロントバンパー13の前側表面V1である。取得する水平距離は、進行可能距離DCである。
 仮に、障害物Bにおける上端部の高さが、図12Aに示されているように、第三フロントソナーSF3および第四フロントソナーSF4のセンサ搭載高よりも充分高い場合、距離取得部264により取得された進行可能距離DCは正確な水平距離となる。これに対し、図13Bに示されているように、障害物Bにおける上端部の高さがセンサ搭載高よりも低い場合、距離取得部264により取得された進行可能距離は、正確な水平距離とはならず、側面視にて斜め方向の距離DC0となる。このDC0を「補正前距離」と称する。
 補正前距離DC0は、取得すべき補正後の進行可能距離DCに相当する長さを底辺とし、高さをSHとする直角三角形の斜辺に相当する。SHは、車高方向における、障害物Bの基端部位置と、第三フロントソナーSF3および第四フロントソナーSF4のセンサ搭載位置との距離である。SHは、センサ搭載高と同視し得る。距離補正部266は、形状認識部265による形状認識結果にて障害物Bの高さ寸法が所定寸法未満である場合、取得した水平距離すなわち進行可能距離DCを補正する。すなわち、距離補正部266は、数式DC=(DC0-SH1/2により、補正後の進行可能距離DCを算出することが可能である。
 (動作例)
 図14は、本実施形態に対応する具体的な動作例を示すフローチャートである。図14に示されている障害物検知ルーチンは、所定の起動条件が成立した後、所定時間間隔で、CPUにより起動される。なお、図14に示されている障害物認識ルーチンが起動される前提として、図5に示されている画像認識ルーチンが既に実行されているものとする。すなわち、図14に示されている障害物検知ルーチンは、図6に示されている障害物検知ルーチンの一部を変更したものである。
 図14に示されている障害物検知ルーチンは、所定の起動条件が成立した後、所定時間間隔で、CPUにより起動される。図14に示されている障害物検知ルーチンにおいて、S601~S603は、図6に示されている障害物検知ルーチンにおける処理と同一である。よって、S601~S603についての説明は省略する。
 S603の処理の後、CPUは、S1404の処理を実行する。S1404にて、CPUは、進行可能距離DCを取得する。なお、後述するS1406の判定がYESとなりS1407による補正処理が実行される場合、S1404にて取得された進行可能距離DCは、上記の補正前距離DC0に相当する。
 S1404の処理の後、CPUは、S1405の処理を実行する。S1405にて、CPUは、閾値以上の強度の受信波に対応する障害物Bの高さHを、不揮発性RAMに格納された画像認識結果に基づいて取得する。すなわち、S1405の処理内容は、図6に示されている障害物検知ルーチンにおけるS605の処理と同一である。
 S1405の処理の後、CPUは、S1406の処理を実行する。S1406にて、CPUは、S1405にて取得した高さHが所定高さHth2未満であるか否かを判定する。所定高さHth2は、例えば、20cmである。すなわち、本実施形態における処理は、障害物Bが、センサ搭載高よりも高さ寸法が低い一方で自車両10が乗り越えることができない程度の高さ寸法を有する場合の、進行可能距離DCの補正を行うものである。このため、S1406の判定の閾値となる所定高さHth2は、センサ搭載高を考慮して設定されるものであり、S606における閾値Hth1よりも通常大きな値となる。
 S1405にて取得した高さHが所定高さHth2未満である場合(すなわちS1406=YES)、CPUは、S1407の処理を実行した後、本ルーチンを一旦終了する。S1407にて、CPUは、S1404にて取得した進行可能距離を補正前距離DC0として、数式DC=(DC0-SH1/2により、補正後の進行可能距離DCを算出する。一方、S1405にて取得した高さHが所定高さHth2以上である場合(すなわちS1406=NO)、CPUは、S1407の処理をスキップして、本ルーチンを一旦終了する。
 (第五実施形態)
 次に、第五実施形態の障害物検知装置20について説明する。本実施形態は、移動ステレオ技術またはSFM技術を用いた第四実施形態よりも、画像認識の処理負荷を軽減した態様に相当する。
 本実施形態の機能ブロック構成は、第四実施形態と同様である。よって、本実施形態の構成の説明においては、図1および図11、ならびにこれらの図に関する説明が適宜参照され得る。また、本実施形態の動作概要の説明においては、図12A~図13B、ならびにこれらの図に関する説明が適宜参照され得る。以下の第五実施形態の説明においても、上記の第四実施形態との相違点を主として説明する。
 形状認識部265は、撮像部22により取得された画像情報に基づいて、障害物Bの形状認識を実行するように設けられている。但し、本実施形態においては、形状認識部265は、第一実施形態~第四実施形態とは異なり、1枚の画像に対応する画像情報から、物体の特徴形状を抽出する機能と、テクスチャ画像における模様を認識する機能とを有している。
 すなわち、形状認識部265は、距離取得部264により取得された距離情報に対応する直線エッジを抽出する。また、形状認識部265は、抽出した直線エッジの周囲のテクスチャ画像に基づいて、上記の直線エッジに対応する障害物Bを認識する。具体的には、形状認識部265は、1本の直線エッジを挟んで隣接する2つの画像領域におけるテクスチャ画像を対比することで、上記の直線エッジに対応する障害物Bが高さ寸法の小さい段差であるか否かを認識する。以下、かかる段差を、「低段差」と称する。
 このように、本実施形態においては、形状認識部265は、撮像部22により取得された画像情報に基づいて、障害物Bが低段差であるか否かを、簡易に判定することができる。距離補正部266は、形状認識部265により障害物Bが低段差であると認識した場合に、この障害物Bに対応する距離情報を補正する。距離情報の補正は、上記の第四実施形態と同様である。
 (動作例)
 図15~図17は、本実施形態に対応する具体的な動作例を示すフローチャートである。図15に示されている距離取得ルーチンは、距離取得部264の動作に対応する。この距離取得ルーチンは、所定の起動条件が成立した後、所定時間間隔で、CPUにより起動される。
 図15に示されている距離取得ルーチンが起動されると、まず、S1501にて、CPUは、隣接する2個の測距センサ21を選択し、選択した2個の測距センサ21から受信情報を取得する。次に、S1502にて、CPUは、隣接する2個の測距センサ21における受信波の強度がいずれも所定の閾値以上であるか否かを判定する。
 隣接する2個の測距センサ21における受信波の強度がいずれも所定の閾値以上であるという条件が成立しない場合(すなわちS1502=NO)、上記の三角測量が成立しない。よって、この場合、CPUは、S1503およびS1504の処理をスキップして、本ルーチンを一旦終了する。一方、隣接する2個の測距センサ21における受信波の強度がいずれも所定の閾値以上であるという条件が成立する場合(すなわちS1502=YES)、CPUは、S1503およびS1504の処理を実行した後、本ルーチンを一旦終了する。
 S1503にて、CPUは、取得した受信情報に基づいて、障害物Bの相対位置情報を取得する。具体的には、CPUは、図13Aに示されているように、障害物Bに対応する検出点Pを取得する。次に、S1504にて、CPUは、障害物Bに対応する距離情報を取得する。すなわち、S1504にて、CPUは、進行可能距離DCを取得する。また、CPUは、S1503およびS1504にて、取得結果を不揮発性RAMに格納する。
 図16に示されている画像認識ルーチンは、形状認識部265の動作の一部に対応する。この画像認識ルーチンは、所定の起動条件が成立した後、所定時間間隔で、CPUにより起動される。
 図16に示されている画像認識ルーチンが起動されると、まず、S1601にて、CPUは、撮像部22から画像情報を取得する。また、CPUは、取得した画像情報を、不揮発性RAMに格納する。次に、S1602にて、CPUは、格納した画像情報における、直線エッジ等の特徴形状と、テクスチャ画像における模様とを抽出する。続いて、S1603にて、CPUは、S1602による抽出結果を不揮発性RAMに格納し、本ルーチンを一旦終了する。
 図17に示されている障害物検知ルーチンは、形状認識部265の動作の一部および距離補正部266の動作に対応する。この障害物検知ルーチンは、所定の起動条件が成立した後、所定時間間隔で、CPUにより起動される。
 図17に示されている障害物検知ルーチンが起動されると、まず、CPUは、S1701にて、図15に示されている距離取得ルーチンの実行により取得された相対位置情報を、不揮発性RAMより読み出す。これにより、測距センサ21によって得られた検出点Pの二次元マップが取得される。次に、S1702にて、CPUは、図16に示されている画像認識ルーチンの実行により取得された直線エッジを、不揮発性RAMより読み出す。
 続いて、S1703にて、CPUは、検出点Pに対応する直線エッジが存在するか否かを判定する。検出点Pに対応する直線エッジが存在しない場合(すなわちS1703=NO)、CPUは、S1704以降の処理をすべてスキップして、本ルーチンを一旦終了する。一方、検出点Pに対応する直線エッジが存在する場合(すなわちS1703=YES)、CPUは、処理をS1704およびS1705に進行させる。
 S1704にて、CPUは、直線エッジを挟んで隣接する2つの画像領域におけるテクスチャ画像を対比して、直線エッジに対応する障害物Bが低段差であるか否かを認識する。具体的には、CPUは、直線エッジを挟んで隣接する2つの画像領域におけるテクスチャが一致する場合、障害物Bが低段差であると認識する。一方、CPUは、直線エッジを挟んで隣接する2つの画像領域におけるテクスチャが一致しない場合、障害物Bが低段差よりも高さ寸法が大きい立体物であると認識する。
 S1705にて、CPUは、障害物Bの認識結果が低段差であるか否かを判定する。障害物Bの認識結果が低段差である場合(すなわちS1705=YES)、CPUは、S1706の処理を実行した後、本ルーチンを一旦終了する。S1706にて、CPUは、上記の第四実施形態と同様に、S1504にて取得した進行可能距離を補正前距離DC0として、DC=(DC0-SH1/2により、補正後の進行可能距離DCを算出する。障害物Bの認識結果が、高さ寸法が大きい立体物である場合(すなわちS1705=NO)、CPUは、S1706の処理をスキップして、本ルーチンを一旦終了する。
 (効果)
 測距センサ21により取得された相対位置情報に基づく障害物Bの検知結果は、そのままでは、従来技術と同様に、障害物Bの高さ寸法による影響を受ける。但し、上記の特開2014-58247号公報のように、測距センサ21による検知結果そのものに基づいて、障害物Bの高さ寸法を取得しようとしても、誤差が大きくなる。測距センサ21の基本的な機能は障害物Bとの距離に対応する信号を出力することにあり、かかる出力中には障害物Bの高さに関する情報は本質的には含まれないからである。
 一方、撮像部22により取得された画像情報に基づく画像認識結果によれば、障害物Bの高さ方向についての情報を得ることが可能である。そこで、上記の各実施形態おいては、障害物検知装置20は、測距センサ21により取得された相対位置情報に基づく障害物Bの検知結果と、撮像部22により取得された画像情報に基づく画像認識結果とを統合して、障害物Bを検知する。これにより、自車両10の外側に存在する障害物Bの検知が、より適切に行われ得る。
 (変形例)
 本開示は、上記の各実施形態に限定されるものではない。故に、上記の実施形態に対しては、適宜変更が可能である。以下、代表的な変形例について説明する。以下の変形例の説明においては、上記の実施形態との相違点を主として説明する。
 本開示は、上記の各実施形態にて示された具体的な装置構成に限定されない。すなわち、例えば、自車両10は、四輪自動車に限定されない。具体的には、自車両10は、三輪自動車であってもよいし、貨物トラック等の六輪または八輪自動車でもよい。また、自車両10の種類は、内燃機関のみを備えた自動車であってもよいし、内燃機関を備えない電気自動車または燃料電池車であってもよいし、ハイブリッド自動車であってもよい。車体11の形状も、箱状すなわち平面視にて略矩形状に限定されない。ドアパネル17の数も、特段の限定はない。
 測距センサ21が超音波センサである場合の、測距センサ21の配置および個数は、上記の具体例に限定されない。すなわち、例えば、図1を参照すると、第三フロントソナーSF3が車幅方向における中央位置に配置される場合、第四フロントソナーSF4は省略される。同様に、第三リアソナーSR3が車幅方向における中央位置に配置される場合、第四リアソナーSR4は省略される。第三サイドソナーSS3および第四サイドソナーSS4は、省略され得る。
 測距センサ21は、超音波センサに限定されない。すなわち、例えば、測距センサ21は、レーザレーダセンサ、またはミリ波レーダセンサであってもよい。同様に、撮像部22を構成するイメージセンサは、CCDセンサに限定されない。すなわち、例えば、CCDセンサに代えて、CMOSセンサが用いられ得る。CMOSはComplementary MOSの略である。
 撮像部22の配置および個数は、上記の例に限定されない。すなわち、例えば、フロントカメラCFは、車室内に配置され得る。具体的には、例えば、フロントカメラCFは、車室内、例えばルームミラーに装着され得る。フロントカメラCFは、1個であってもよいし、2個であってもよい。すなわち、障害物検知装置20は、複眼ステレオカメラ構成を有していてもよい。例えば、左側カメラCLおよび右側カメラCRは、ドアミラー18とは異なる位置に配置され得る。あるいは、左側カメラCLおよび右側カメラCRは、省略され得る。
 上記の各実施形態においては、制御部26は、CPUがROM等からプログラムを読み出して起動する構成であった。しかしながら、本開示は、かかる構成に限定されない。すなわち、例えば、制御部26は、上記のような動作を可能に構成されたデジタル回路、例えばゲートアレイ等のASICであってもよい。ASICはAPPLICATION SPECIFIC INTEGRATED CIRCUITの略である。
 本開示は、上記実施形態にて示された具体的な動作例および処理態様に限定されない。例えば、認識結果等の格納場所は、不揮発性RAM以外の記憶媒体、例えば、RAMおよび/または磁気記憶媒体であってもよい。
 上記の具体例においては、専ら、自車両10の前進時の処理について説明した。しかしながら、本開示は、自車両10の後退時にも好適に適用され得る。すなわち、後退時の処理内容は、自車両10の後面部14側に設けられた測距センサ21および撮像部22が用いられること以外は、本質的に、上記の前進時の処理内容と同様である。
 形状認識部262における処理内容は、上記の例に限定されない。すなわち、例えば、複眼ステレオ処理、またはSFMと複眼ステレオとの統合処理が用いられ得る。複眼ステレオ処理、またはSFMと複眼ステレオとの統合処理については、本願の出願時において、すでに公知または周知である。例えば、特開2007-263657号公報、特開2007-263669号公報、等参照。
 S607における相対位置情報および進行可能距離DCの無効化に際して、これらの無効化されたデータは破棄されなくてもよい。すなわち、例えば、S607における相対位置情報および進行可能距離DCの無効化は、今回S603およびS604にて取得された相対位置情報および進行可能距離DCを不揮発性RAMに格納しつつ、これらが無効化された旨の情報をも不揮発性RAMに格納する処理であってもよい。
 S1406の判定の前に、S606の判定が実行されてもよい。この変形例において、CPUは、S1406の判定に先立ち、S1405にて取得した高さHが所定高さHth1未満であるか否かを判定する。
 この変形例においては、CPUは、高さHが所定高さHth1未満である場合、S607の処理を実行する。すなわち、相対位置情報および進行可能距離DCの取得結果を無効化する。その後、ルーチンを一旦終了する。一方、CPUは、高さHが所定高さHth1以上である場合、処理をS1406に進行させる。すなわち、CPUは、障害物Bの高さがHth1以上且つHth2未満である場合に、S1407の処理により進行可能距離DCを補正する。
 所定高さHth1と所定高さHth2とは、同じ値であってもよい。
 S1407等における進行可能距離DCの補正は、上記の数式を用いた算出に限定されない。具体的には、例えば、進行可能距離DCの補正は、以下のようにして行われ得る。
 上記の通り、障害物Bの自車両10からの実際の水平距離が小さくなるほど、距離情報の誤差が大きくなる。また、高さHの値が小さくなるほど、距離情報の誤差が大きくなる。
 そこで、S1404にて取得される進行可能距離DCの値と、S1405にて取得される高さHの値とをパラメータとする補正値マップDC_AMD(DC,H)を、あらかじめ、適合試験等により作成することができる。また、この補正値マップを用いて取得した補正値DC_AMDと、S1404にて取得した補正前の進行可能距離DCの値とを用いて、所定の演算を行うことで、補正後の進行可能距離DCを取得することが可能である。具体的には、例えば、補正値DC_AMDと、S1404にて取得した補正前の進行可能距離DCの値とを、加算または積算され得る。
 図4A、図4B、図12A、図12B、および図12Cにおける障害物Bが、天井から下方に延設された壁、または上下動可能なシャッターゲート等、路面RSよりも上方に配置されている状況があり得る。この状況においては、障害物Bと路面RSとの間に、空間が形成される。この空間を、以下「下方空間」と称する。
 この状況に対して上記の各例が適用される場合、例えば、S605にて取得される高さHは、上記の下方空間の高さ、すなわち、障害物Bの下端に対応する水平エッジの路面RSからの高さとされる。また、例えば、S606における判定は、下方空間の高さHが所定高さHth3以下であるか否かの判定となる。
 下方空間の高さHが所定高さHth3を超える場合、障害物Bの下端がセンサ搭載高よりも高すぎることで、上記と同様の検知距離誤差が生じる。そこで、この場合、進行可能距離DCが補正される。一方、下方空間の高さHが所定高さHth3以下である場合、障害物Bの壁面BWが測距センサ21と良好に対向する。そこで、この場合、進行可能距離DCは補正されない。
 例えば、障害物検知装置20が搭載された自車両10の車高によっては、天井から下方に延設された壁の下方空間を通過できない場合があり得る。あるいは、例えば、障害物検知装置20が搭載された自車両10が、上昇途中にて停止したまま故障中のシャッターゲートである障害物Bの下方を通過できない場合があり得る。この点、本変形例によれば、これらの場合における、下方空間を通過不可能な障害物Bと自車両10との距離が、より正確に取得可能となる。
 なお、図4A等における障害物Bが、天井から下方に突設した梁である状況があり得る。この状況においては、自車両10が、かかる障害物Bと干渉することはない。故に、かかる障害物Bに対応する相対位置情報および進行可能距離DCは、補正不要であり、さらには無効化しても差し支えない。したがって、CPUは、下方空間の高さHが所定高さHth4を超える場合、S607と同様の無効化処理を実行してもよい。
 CPUは、障害物Bが、路面RSから上方に突設された場合と、天井から下方に延設された場合とに、補正処理態様を場合分けしてもよい。すなわち、障害物Bが、路面RSから上方に突設された場合は、補正処理態様は図14(すなわちS1406およびS1407)と同様である。これに対し、障害物Bが、天井から下方に延設された場合は、S1406が「H>Hth3?」の判定処理とされる。また、この判定処理の後、「H>Hth4?」の判定処理が適宜行われ得る。
 上記の場合分けは、画像処理結果に基づいて、CPUにより行われ得る。すなわち、CPUは、抽出した水平エッジに対応する障害物Bが、路面RSから上方に突設されたものであるか、天井から下方に延設されたものであるかを、画像処理結果に基づいて判定可能である。
 所定高さHth3およびHth4については、所定値が、ROMまたは不揮発性RAMにあらかじめ格納され得る。あるいは、所定高さHth3は、障害物検知装置20が搭載される自車両10の車高に応じて変更され得る。すなわち、障害物検知装置20においては、搭載される自車両10の車高に応じた値の所定高さHth3が、不揮発性RAMに書き換え可能に格納され得る。所定高さHth3の書き換えは、自車両10または障害物検知装置20の製造者、販売者、管理者または使用者によって適宜行われ得る。
 「取得」は、「推定」「検出」「検知」「算出」等の類似の表現に適宜変更可能である。各判定処理における不等号は、等号付きであってもよいし、等号無しであってもよい。すなわち、例えば、「所定寸法未満」は、「所定寸法以下」に変更され得る。同様に、「所定寸法以上」は、「所定寸法を超える」に変更され得る。同様に、「所定高さ未満」は、「所定高さ以下」に変更され得る。同様に、「閾値以上」は、「閾値を超える」に変更され得る。
 変形例も、上記の例示に限定されない。また、複数の変形例が、互いに組み合わされ得る。さらに、上記の各実施形態は、互いに組み合わされ得る。

Claims (12)

  1.  自車両(10)に搭載されることで、前記自車両の外側に存在する障害物(B)を検知するように構成された、障害物検知装置(20)であって、
     探査波を前記自車両の外側に向けて発信するとともに前記探査波の前記障害物による反射波を含む受信波を受信することで、前記障害物との距離に対応する信号を出力するように設けられた、少なくとも1個の測距センサ(21)と、
     前記自車両の周囲の画像に対応する画像情報を取得するように設けられた、撮像部(22)と、
     前記自車両の走行状態に対応する走行状態情報を取得するように設けられた、車両状態取得部(260)と、
     前記測距センサの出力に基づいて、前記障害物の前記自車両に対する相対位置に対応する相対位置情報を取得するように設けられた、位置取得部(261)と、
     前記撮像部により取得された前記画像情報と、前記車両状態取得部により取得された前記走行状態情報とに基づいて、前記障害物の形状認識を実行するように設けられた、形状認識部(262)と、
     前記位置取得部により取得された前記相対位置情報と、前記形状認識部による形状認識結果とに基づいて、前記障害物を検知するように設けられた、検知処理部(263)と、
     を備え、
     前記検知処理部は、前記形状認識結果にて前記障害物の高さ寸法が所定寸法未満である場合、当該障害物に対応する前記相対位置情報を破棄するように構成された、
     障害物検知装置。
  2.  少なくとも1個の前記測距センサは、互いに異なる位置に設けられた第一測距センサおよび第二測距センサを含み、
     前記第一測距センサおよび前記第二測距センサは、相互に、一方が送信した前記探査波の前記障害物による前記反射波が他方における前記受信波として受信可能な位置関係に設けられ、
     前記位置取得部は、前記第一測距センサが送信した前記探査波の前記障害物による前記反射波を前記第一測距センサおよび前記第二測距センサが前記受信波として受信した場合の、前記第一測距センサおよび前記第二測距センサの位置に基づく三角測量により、前記相対位置情報を取得するように設けられた、
     請求項1に記載の障害物検知装置。
  3.  前記第一測距センサおよび前記第二測距センサは、前記自車両の進行方向側の面に設けられ、
     前記検知処理部は、
      前記形状認識結果にて前記障害物の前記高さ寸法が前記所定寸法以上であり、
      且つ、
      当該障害物に対応する前記相対位置情報が、
       前記第一測距センサに受信される前記受信波であって前記第二測距センサから発信された前記探査波の当該障害物による前記反射波に起因する第一間接波ではなく、
       前記第二測距センサに受信される前記受信波であって前記第一測距センサから発信された前記探査波の当該障害物による前記反射波に起因する第二間接波ではなく、
       前記第一測距センサに受信される前記受信波であって前記第一測距センサから発信された前記探査波の当該障害物による前記反射波に起因する直接波に基づいて取得された場合に、
      当該障害物が、前記自車両の車両中心軸線(VL)と交差する壁面(BW)を有し前記自車両の走行に伴って前記壁面が前記自車両に接近する可能性があるものと認識する、
     請求項2に記載の障害物検知装置。
  4.  前記測距センサは、自己が送信した前記探査波の前記障害物による前記反射波を前記受信波として受信することで、当該障害物との距離に対応する信号を出力するように設けられ、
     前記位置取得部は、前記自車両の走行中における異なる時点にて取得された前記測距センサの位置および前記障害物との距離に基づいて、三角測量により前記相対位置情報を取得するように設けられた、
     請求項1に記載の障害物検知装置。
  5.  前記形状認識部は、前記車両状態取得部により取得された前記走行状態情報と、前記撮像部により前記自車両の移動に伴って時系列で取得された複数の前記画像情報とに基づいて、前記画像情報における複数の特徴点の三次元位置を取得することで、前記障害物の三次元形状を認識するように設けられた、
     請求項1~4のいずれか1つに記載の障害物検知装置。
  6.  自車両(10)に搭載されることで、前記自車両の外側に存在する障害物(B)を検知するように構成された、障害物検知装置(20)であって、
     探査波を前記自車両の外側に向けて発信するとともに前記探査波の前記障害物による反射波を含む受信波を受信することで、前記障害物との距離に対応する信号を出力するように設けられた、少なくとも1個の測距センサ(21)と、
     前記自車両の周囲の画像に対応する画像情報を取得するように設けられた、撮像部(22)と、
     前記測距センサの出力に基づいて、前記障害物の前記自車両からの距離に対応する距離情報を取得するように設けられた、距離取得部(264)と、
     前記撮像部により取得された前記画像情報に基づいて、前記障害物の形状認識を実行するように設けられた、形状認識部(265)と、
     前記形状認識部による形状認識結果にて前記障害物の高さ寸法が所定寸法未満である場合、当該障害物に対応する前記距離情報を、前記測距センサの車高方向における搭載位置に基づいて補正するように設けられた、距離補正部(266)と、
     を備えた障害物検知装置。
  7.  前記距離取得部は、前記測距センサが装着された前記自車両の端面(V1、V2、V3)から前記障害物までの水平距離を取得するように設けられ、
     前記距離補正部は、前記形状認識結果にて前記障害物の前記高さ寸法が前記所定寸法未満である場合、
     DC0を前記距離取得部によって取得され前記距離補正部によって補正される前の前記水平距離、DCを前記距離補正部による補正後の前記水平距離、SHを前記障害物の前記車高方向における基端部位置と前記搭載位置との前記車高方向における距離として、以下の式
      DC=(DC0-SH1/2
     により、前記水平距離を補正するように設けられた、
     請求項6に記載の障害物検知装置。
  8.  少なくとも1個の前記測距センサは、前記自車両の進行方向側に位置する前記自車両の前記端面である進行側端面にて互いに異なる位置に設けられた第一測距センサおよび第二測距センサを含み、
     前記第一測距センサおよび前記第二測距センサは、相互に、一方が送信した前記探査波の前記障害物による前記反射波が他方における前記受信波として受信可能な位置関係に設けられ、
     前記距離取得部は、前記第一測距センサが送信した前記探査波の前記障害物による前記反射波を前記第一測距センサおよび前記第二測距センサが前記受信波として受信した場合の、前記第一測距センサおよび前記第二測距センサの位置に基づく三角測量により、前記水平距離としての、前記進行側端面から前記障害物までの、前記進行方向における距離である進行可能距離(DC)を取得するように設けられ、
     前記距離補正部は、前記形状認識部による前記形状認識結果における前記障害物の前記高さ寸法が前記所定寸法未満である場合、前記進行可能距離を補正するように設けられた、
     請求項7に記載の障害物検知装置。
  9.  前記自車両の走行状態に対応する走行状態情報を取得するように設けられた、車両状態取得部(24)をさらに備え、
     前記形状認識部は、前記車両状態取得部により取得された前記走行状態情報と、前記撮像部により前記自車両の移動に伴って時系列で取得された複数の前記画像情報とに基づいて、前記画像情報における複数の特徴点の三次元位置を取得することで、前記障害物の三次元形状を認識するように設けられた、
     請求項6~8のいずれか1つに記載の障害物検知装置。
  10.  前記形状認識部は、
      前記画像情報にて、前記距離取得部により取得された前記距離情報に対応する直線エッジを抽出し、
      前記直線エッジの周囲のテクスチャ画像に基づいて、前記障害物が、前記高さ寸法が前記所定寸法未満である段差であるか否かを認識し、
     前記距離補正部は、前記形状認識部により前記障害物が前記段差であると認識した場合に、当該障害物に対応する前記距離情報を補正するように設けられた、
     請求項6~8のいずれか1つに記載の障害物検知装置。
  11.  前記高さ寸法は、前記障害物の路面からの突出高さである、
     請求項1~10のいずれか1つに記載の障害物検知装置。
  12.  前記測距センサは超音波センサである、
     請求項1~11のいずれか1つに記載の障害物検知装置。
PCT/JP2018/010273 2017-04-28 2018-03-15 障害物検知装置 WO2018198574A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE112018002247.1T DE112018002247B4 (de) 2017-04-28 2018-03-15 Hindernisabtastvorrichtung
CN201880027990.4A CN110573905B (zh) 2017-04-28 2018-03-15 障碍物检知装置
US16/662,380 US20200057897A1 (en) 2017-04-28 2019-10-24 Obstacle sensing device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-089962 2017-04-28
JP2017089962A JP6790998B2 (ja) 2017-04-28 2017-04-28 障害物検知装置および制御装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/662,380 Continuation US20200057897A1 (en) 2017-04-28 2019-10-24 Obstacle sensing device

Publications (1)

Publication Number Publication Date
WO2018198574A1 true WO2018198574A1 (ja) 2018-11-01

Family

ID=63920243

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/010273 WO2018198574A1 (ja) 2017-04-28 2018-03-15 障害物検知装置

Country Status (5)

Country Link
US (1) US20200057897A1 (ja)
JP (1) JP6790998B2 (ja)
CN (1) CN110573905B (ja)
DE (1) DE112018002247B4 (ja)
WO (1) WO2018198574A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220001844A1 (en) * 2018-12-21 2022-01-06 Tadano Ltd. Work vehicle

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210026368A1 (en) * 2018-03-26 2021-01-28 Jabil Inc. Apparatus, system, and method of using depth assessment for autonomous robot navigation
JP6930512B2 (ja) * 2018-10-19 2021-09-01 株式会社デンソー 物体検知装置、物体検知方法およびプログラム
JP2020095623A (ja) * 2018-12-14 2020-06-18 株式会社デンソーテン 画像処理装置および画像処理方法
JP7205368B2 (ja) * 2019-04-23 2023-01-17 株式会社Soken 物体検知装置
JP6945776B2 (ja) * 2019-08-07 2021-10-06 三菱電機株式会社 障害物検出装置
JP7078587B2 (ja) * 2019-09-30 2022-05-31 本田技研工業株式会社 走行支援システム、走行支援方法およびプログラム
JP7406350B2 (ja) * 2019-11-15 2023-12-27 日本信号株式会社 物体検知装置及び物体検知プログラム
KR102333240B1 (ko) * 2019-12-18 2021-12-01 현대모비스 주식회사 차량용 물체 인식 장치 및 방법
CN111198385A (zh) * 2019-12-26 2020-05-26 北京旷视机器人技术有限公司 障碍物检测方法、装置、计算机设备和存储介质
JP2021196253A (ja) * 2020-06-12 2021-12-27 株式会社アイシン 運転支援装置
JP2022014975A (ja) * 2020-07-08 2022-01-21 トヨタ自動車株式会社 車両周辺監視装置
JP2023035255A (ja) * 2021-08-31 2023-03-13 株式会社デンソー 物体検知装置、物体検知方法
DE102021213034A1 (de) 2021-11-19 2023-05-25 Robert Bosch Gesellschaft mit beschränkter Haftung Korrektur von ultraschallbasierten Messungen mittels Winkelinformationen
CN114771408A (zh) * 2022-03-28 2022-07-22 海尔(深圳)研发有限责任公司 用于车辆的置顶式空调器及其控制方法
CN116400362B (zh) * 2023-06-08 2023-08-08 广汽埃安新能源汽车股份有限公司 一种行车边界检测方法、装置、存储介质及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0845000A (ja) * 1994-07-28 1996-02-16 Fuji Heavy Ind Ltd 車間距離制御装置
JP2007131092A (ja) * 2005-11-09 2007-05-31 Toyota Motor Corp 障害物検出装置及びこれを含む車両制動システム
JP2009096306A (ja) * 2007-10-16 2009-05-07 Hiroshima Industrial Promotion Organization 駐車支援方法
JP2014106115A (ja) * 2012-11-27 2014-06-09 Nissan Motor Co Ltd 障害物検出装置、加速抑制制御装置、障害物検出方法
JP2014117989A (ja) * 2012-12-14 2014-06-30 Nippon Soken Inc 駐車支援装置
JP2014159182A (ja) * 2013-02-19 2014-09-04 Nippon Soken Inc 駐車空間検知装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08278368A (ja) * 1995-04-03 1996-10-22 Mazda Motor Corp 障害物検知装置
JP2000161915A (ja) * 1998-11-26 2000-06-16 Matsushita Electric Ind Co Ltd 車両用単カメラ立体視システム
JP4042579B2 (ja) * 2002-01-28 2008-02-06 松下電工株式会社 車両用障害物検出警報システム
JP4193765B2 (ja) * 2004-01-28 2008-12-10 トヨタ自動車株式会社 車両用走行支援装置
JP4179285B2 (ja) 2005-01-12 2008-11-12 トヨタ自動車株式会社 駐車支援装置
JP4123259B2 (ja) 2005-09-02 2008-07-23 トヨタ自動車株式会社 物体検出装置および物体検出方法
JP4814669B2 (ja) 2006-03-28 2011-11-16 株式会社デンソーアイティーラボラトリ 3次元座標取得装置
JP2007263657A (ja) 2006-03-28 2007-10-11 Denso It Laboratory Inc 3次元座標取得装置
JP4386083B2 (ja) 2007-02-27 2009-12-16 トヨタ自動車株式会社 駐車支援装置
JP2010249613A (ja) * 2009-04-14 2010-11-04 Toyota Motor Corp 障害物認識装置及び車両制御装置
JP5563025B2 (ja) * 2012-03-28 2014-07-30 本田技研工業株式会社 踏切遮断機推定装置及び車両
JP5831415B2 (ja) 2012-09-18 2015-12-09 アイシン精機株式会社 駐車支援装置
JP2015004562A (ja) * 2013-06-20 2015-01-08 株式会社デンソー 障害物検知装置
JP5870985B2 (ja) * 2013-10-23 2016-03-01 トヨタ自動車株式会社 運転支援装置
CN104021388B (zh) * 2014-05-14 2017-08-22 西安理工大学 基于双目视觉的倒车障碍物自动检测及预警方法
JP6189815B2 (ja) * 2014-10-29 2017-08-30 株式会社Soken 走行区画線認識システム
JP6559545B2 (ja) 2015-11-09 2019-08-14 リンナイ株式会社 換気装置
CN106600681B (zh) * 2016-11-02 2023-07-11 上海航天设备制造总厂 一种有障碍物曲面的打磨方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0845000A (ja) * 1994-07-28 1996-02-16 Fuji Heavy Ind Ltd 車間距離制御装置
JP2007131092A (ja) * 2005-11-09 2007-05-31 Toyota Motor Corp 障害物検出装置及びこれを含む車両制動システム
JP2009096306A (ja) * 2007-10-16 2009-05-07 Hiroshima Industrial Promotion Organization 駐車支援方法
JP2014106115A (ja) * 2012-11-27 2014-06-09 Nissan Motor Co Ltd 障害物検出装置、加速抑制制御装置、障害物検出方法
JP2014117989A (ja) * 2012-12-14 2014-06-30 Nippon Soken Inc 駐車支援装置
JP2014159182A (ja) * 2013-02-19 2014-09-04 Nippon Soken Inc 駐車空間検知装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220001844A1 (en) * 2018-12-21 2022-01-06 Tadano Ltd. Work vehicle

Also Published As

Publication number Publication date
JP2018189422A (ja) 2018-11-29
CN110573905A (zh) 2019-12-13
DE112018002247T5 (de) 2020-01-16
CN110573905B (zh) 2023-05-02
DE112018002247B4 (de) 2023-07-06
JP6790998B2 (ja) 2020-11-25
US20200057897A1 (en) 2020-02-20

Similar Documents

Publication Publication Date Title
WO2018198574A1 (ja) 障害物検知装置
US20170008531A1 (en) Driving assistant for vehicles
CN109219546B (zh) 停车辅助装置以及停车辅助方法
JP4923520B2 (ja) 車両位置推定装置、車両用走行支援装置及び車両位置推定方法
WO2018079252A1 (ja) 物体検知装置
US11052907B2 (en) Parking control device and parking control method
JP6673181B2 (ja) 駐車支援装置およびその制御部
CN112771591B (zh) 用于评价运输工具的环境中的对象对运输工具的行驶机动动作的影响的方法
JP2019067116A (ja) 立体物接地判定装置
WO2019151156A1 (ja) 物体検知装置および駐車支援装置
JP7003755B2 (ja) 駐車支援装置
JP2012234373A (ja) 運転支援装置
US11465613B2 (en) Parking assistance device and control method of parking assistance device
US10929695B2 (en) Obstacle detection apparatus
KR20150010126A (ko) 차량 측방 표시 제어 장치 및 방법
KR101734726B1 (ko) 주차공간 탐지 방법 및 이를 실행하는 장치
JP2018130994A (ja) 駐車支援装置
US20210370919A1 (en) Information processing device and information processing method
JP7135579B2 (ja) 物体検知装置
JP4768499B2 (ja) 車載周辺他車検出装置
JP7318377B2 (ja) 物体検知装置
JP7236556B2 (ja) 物体検知装置および物体検知プログラム
JP7334572B2 (ja) 物体検知装置および物体検知プログラム
CN113655486B (zh) 基于单后视相机及多雷达的自动泊车方法
WO2020152935A1 (ja) 物体検知装置および物体検知方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18790435

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 18790435

Country of ref document: EP

Kind code of ref document: A1