WO2009139364A1 - 車載用物体検知装置 - Google Patents

車載用物体検知装置 Download PDF

Info

Publication number
WO2009139364A1
WO2009139364A1 PCT/JP2009/058806 JP2009058806W WO2009139364A1 WO 2009139364 A1 WO2009139364 A1 WO 2009139364A1 JP 2009058806 W JP2009058806 W JP 2009058806W WO 2009139364 A1 WO2009139364 A1 WO 2009139364A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
processing
vehicle
dimensional object
area
Prior art date
Application number
PCT/JP2009/058806
Other languages
English (en)
French (fr)
Inventor
健人 緒方
坂本 博史
和利 土屋
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to EP09746571A priority Critical patent/EP2288138A1/en
Publication of WO2009139364A1 publication Critical patent/WO2009139364A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R2021/01204Actuation parameters of safety arrangents
    • B60R2021/01252Devices other than bags
    • B60R2021/01259Brakes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/93185Controlling the brakes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/932Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using own vehicle data, e.g. ground speed, steering wheel direction

Definitions

  • the present invention relates to a vehicle-mounted object detection device that detects an object in front of the host vehicle that may collide with the host vehicle.
  • a preventive safety system is a system that operates before an accident.For example, when there is a possibility of collision with an object in front of the vehicle, the driver is alerted by an alarm, and when the collision becomes unavoidable Pre-crash safety systems that reduce occupant damage by automatic braking have been put into practical use.
  • Patent Document 1 describes a method of using a laser radar and a camera to determine the presence of a low reflectance object such as a pedestrian with a low reflectance of a laser beam by pattern matching using a camera image.
  • the radar will react to various objects, increasing the number of image processing targets and increasing the processing load on the apparatus.
  • the radar detects objects (hereinafter referred to as non-three-dimensional objects) such as road paint, manholes, cat's eyes, etc. that are not likely to collide with the vehicle.
  • objects hereinafter referred to as non-three-dimensional objects
  • an alarm or automatic brake is activated in the above-described pre-crash safety system even though there is no possibility of a collision, leading to a reduction in safety.
  • the present invention has been made paying attention to the above problems, and an object of the present invention is to provide a vehicle-mounted object detection device that can achieve both a reduction in image processing load and a reduction in false detection of non-three-dimensional objects.
  • the vehicle-mounted object detection device of the present invention which is means for solving the above problems, selects a processing candidate based on the distance from the own vehicle to the object and the front image of the own vehicle, and the processing candidate distance and the front image Based on the above, it is determined whether the processing candidate is a predetermined solid object set in advance.
  • the solid part is determined for the selected processing candidate, the number of executions of the process for determining the solid object can be reduced. Therefore, the processing load on the entire apparatus can be reduced.
  • a three-dimensional object can be determined using an image having a larger amount of information, and erroneous detection for a non-three-dimensional object can be reduced.
  • the block diagram of the vehicle-mounted object detection apparatus in 1st Embodiment of this invention The flowchart which shows the processing content of the process candidate selection means in 1st Embodiment.
  • the block diagram of the vehicle-mounted object detection apparatus in 2nd Embodiment of this invention The schematic diagram which shows the prediction course setting means in 2nd Embodiment.
  • the schematic diagram which shows the example of a setting of the process candidate selection area
  • the flowchart which shows the processing content of the process candidate selection means in 2nd Embodiment.
  • the flowchart which shows the processing content of the solid-object determination means in 2nd Embodiment.
  • the flowchart which shows the operation
  • FIG. 1 is a block diagram of an in-vehicle object detection device 100 according to the first embodiment.
  • the vehicle-mounted object detection device 100 is mounted on an automobile and includes a measurement device 1, an image capture device 2, and a control device 3, as shown in FIG.
  • the measuring device 1 detects an object existing in front of the own vehicle using a laser radar, a millimeter wave radar, or the like, and a relative distance between the own vehicle and the object (for example, a distance in the Y-axis direction along the longitudinal direction of the vehicle body). ), The lateral position of the object (for example, the distance in the X-axis direction along the vehicle width direction), and the lateral width of the object.
  • the measurement result of the measuring device 1 is input to the control device 3 as object information.
  • the measuring device 1 may directly input a signal of object information to the control device 3, or may pass it by communication using a LAN (Local
  • the image capturing device 2 is attached to a position where the front of the host vehicle can be imaged, and is converted into a digital value signal as a front image obtained by capturing the front of the host vehicle using an image sensor such as a CCD or CMOS. is there.
  • the digital value signal may be directly written on the RAM in the control device 3 as a digital value, or may be converted into an analog signal and input to the control device 3. It is assumed that the object detected by the measuring device 1 is reflected in the front image taken here.
  • the control device 3 is programmed with a predetermined process, and repeatedly executes the process at a predetermined cycle.
  • the control device 3 includes an object information acquisition unit 31, an image information acquisition unit 32, a processing candidate selection unit 33, and a three-dimensional object determination unit 34 as internal functions.
  • the object information acquisition means 31 acquires object information (relative distance PY0 [i], lateral position PX0 [i], width WD0 [i]) of the object ahead of the vehicle according to the detection signal of the measuring device 1.
  • i is an ID number when a plurality of objects are detected.
  • the image information acquisition unit 32 acquires image information IMG [x] [y] of the front image obtained by photographing the front of the vehicle based on the signal of the image capturing device 2.
  • the image information IMG [x] [y] is a two-dimensional array, and x and y indicate image coordinates, respectively.
  • the processing candidate selection unit 33 includes the object information (relative distance PY0 [i], lateral position PX0 [i], width WD0 [i]) acquired by the object information acquisition unit 31, and the image information acquired by the image information acquisition unit 32.
  • a processing candidate is selected based on IMG [x] [y], and processing candidate information (relative distance PY1 [i], lateral position PX1 [i], width WD1 [i]) of the selected processing candidate is calculated.
  • i is an ID number when a plurality of processing candidates are selected.
  • the three-dimensional object determination unit 34 includes processing candidate information (relative distance PY1 [i], lateral position PX1 [i], width WD1 [i]) selected by the processing candidate selection unit 33, and image information acquisition unit 32. Based on the acquired image information IMG [x] [y], it is determined whether or not the processing candidate is a predetermined three-dimensional object such as a person, and the three-dimensional object determined to be the predetermined three-dimensional object. Object information (relative distance PY2 [i], lateral position PX2 [i], width WD2 [i]) is calculated.
  • i is an ID number when a plurality of three-dimensional objects are detected. A method for determining a three-dimensional object and a method for calculating three-dimensional object information will be described later.
  • FIG. 2 is a flowchart for explaining the processing contents of the processing candidate selection means 33.
  • step S201 the object information (PY0 [i], PX0 [i], WD0 [i]) acquired by the object information acquisition unit 31 is read.
  • step S202 0 is substituted for the number j of processing candidates to be initialized. Thereafter, steps S203 to S206 described below are repeated according to the number of objects acquired by the object information acquisition unit 31.
  • step S203 an image processing area on the image is set based on the object information and the camera geometric model (the relationship between the position on the image and the actual position).
  • step S204 image processing such as pattern matching for scanning the image processing area is executed to detect an object on the image.
  • the image processing algorithm used in step S204 is referred to as a first algorithm. The contents of the first algorithm will be described later.
  • step S205 it is determined whether or not an object is detected in the image processing area. If an object is detected in the image processing area, the process proceeds to step S206, where the object is selected as a processing candidate, and the relative distance PY1 [j], horizontal position PX1 [j], width of the object is selected. WD1 [j] is recorded as processing candidate information, and the processing candidate number j is incremented by one.
  • step S207 processing candidate information of the recorded processing candidates (all recorded relative distances PY1 [j], lateral position PX1 [j], width WD1 [j]) is output to the three-dimensional object determination means 34, and the process ends.
  • FIG. 3 is a flowchart for explaining the processing content of the three-dimensional object determination means 34.
  • step S301 processing candidate information (PY1 [i], PX1 [i], WD1 [i]) of processing candidates selected by the processing candidate selection means 33 is read.
  • step S302 0 is substituted into the number of three-dimensional objects j for initialization. Thereafter, steps S303 to S306 described below are repeated according to the number of processing candidates read.
  • step S303 an image processing area on the image is set based on the processing candidate information and the camera geometric model. After the image processing area is set, the process proceeds to step S304, and image processing such as pattern matching for scanning the image processing area is executed to detect a three-dimensional object on the image.
  • image processing algorithm used in step S304 is referred to as a second algorithm. The contents of the second algorithm will be described later.
  • step S305 it is determined whether or not a detection target solid object has been detected. If the three-dimensional object is detected, the process proceeds to step S306, where it is determined that the three-dimensional object may collide with the host vehicle, and the relative distance PY2 [j] and the horizontal position PX2 [j] are determined. , The width WD2 [j] is recorded, and the solid object number j is incremented by one.
  • step S307 the three-dimensional object information of the recorded three-dimensional object (all the recorded relative distances PY2 [j], lateral position PX2 [j], width) WD2 [j]) is output from the control device 3 to the outside, and the process ends.
  • a method for detecting a pedestrian by image processing will be described.
  • a method for detecting a pedestrian prepare a plurality of templates that represent pedestrian patterns, perform a difference accumulation calculation or a normalized correlation calculation to obtain a matching degree, a template matching method, a neural network, etc.
  • a source database is required as an index for determining whether or not a person is a pedestrian in advance.
  • Various pedestrian patterns are stored as a database, from which a representative template is created or a discriminator is generated.
  • a representative template is created or a discriminator is generated.
  • there are pedestrians of various clothes, postures, and body types, and conditions such as lighting and weather are different from each other. Therefore, it is necessary to prepare a large amount of databases and reduce erroneous determinations.
  • the size of the discriminator does not depend on the size of the source database.
  • a database for generating a classifier is called teacher data.
  • a method for determining whether or not a pedestrian is using a discriminator will be described with reference to FIG.
  • a case where the size of the input image 50 is 16 dots long and 12 dots wide will be described.
  • the discriminator 5 used in the present embodiment determines whether or not the person is a pedestrian based on the direction and intensity of the light / dark gradient in a plurality of small areas 52 [n] installed at predetermined positions in the image. .
  • Each small region 52 [n] is summed and output the intensity of the light and shade gradient in a specific direction at a predetermined position in the image 50.
  • this output is referred to as local edge strength.
  • filtering processing is performed by a filtering processing unit 51 such as a Sobel filter, for example, and an image 50 [n] having intensity and direction of a light / dark gradient is output. Then, the local edge strength is calculated using the calculated strength and direction of the gradient in the small area 52 [n] set at a predetermined location of each image 50 [n].
  • a filtering processing unit 51 such as a Sobel filter, for example
  • each local edge strength is subjected to threshold processing with a corresponding threshold THWC [0] to THWC [39] and converted into a binary value of “1” or “0”.
  • the corresponding weighting unit 54 [n] multiplies the weights WWC [0] to WWC [39] and outputs the result to the summation unit SUMSC55.
  • the summing unit SUMSC 55 sums the 40 values input from the respective weighting units 54 [n], performs threshold processing with the final threshold THSC in the final determination processing unit 56, and outputs “1” or “0”.
  • Number of small areas 52 [n] which are parameters for calculating the local edge strengths LEWC [0] to LEWC [39] in the classifier 5, the position, the size, the direction of the gray gradient, and the small area determination processing unit
  • a machine learning means such as AdaBoost may be used, or manual adjustment may be performed.
  • the method for adjusting the parameters using AdaBoost is as follows.
  • a local edge calculated from the position, size, and shade gradient direction of a certain small region 52 is represented as cLEWC [m].
  • m is the ID number of the local edge.
  • a plurality (for example, 1 million) of local edge strengths having different positions, sizes, and shade gradient directions of the small region 52 are prepared, and a value cLEWC [m] of each local edge strength is calculated from all teacher data.
  • Each threshold value cTHWC [m] is determined.
  • the threshold value cTHWC [m] selects a value that can best classify pedestrian teacher data and non-pedestrian teacher data.
  • wPD [nPD] 1 / 2NPD is assigned to each pedestrian teacher data
  • wBG [nBG] 1 / 2NBG is assigned to each non-pedestrian teacher data.
  • nPD is an ID number of pedestrian teacher data
  • nBG is an ID number of non-pedestrian teacher data.
  • the weights are normalized so that the sum of the weights of all the pedestrian / non-pedestrian teacher data is 1.
  • the false detection rate cERWC [m] of each local edge is calculated.
  • the false detection rate cERWC [m] is the result of thresholding the local edge strength cLEWC [m] of the pedestrian teacher data with the threshold cTHWC [m], or the non-pedestrian teacher data
  • the result of thresholding local edge strength cLEWC [m] with threshold cTHWC [m] is a pedestrian, that is, the result of thresholding is the sum of the weights of teacher data different from the actual.
  • the update is the result of threshold processing of the local edge strength LEWC [k] of the pedestrian teacher data with the threshold value THWC [k], or the local edge strength LEWC [k] of the non-pedestrian teacher data.
  • THWC [k] the weight of the teacher data for which the result of threshold processing is correct.
  • K k + 1 is repeated until k reaches a preset value (for example, 40).
  • the image size is converted so that the size of a pedestrian in an image within a given image processing area is 16 dots long and 12 dots wide.
  • a search is performed by the following means.
  • a 16 ⁇ 12 window is set at the upper left of the converted image, and the image in this window is applied to the discriminator 5 described above. Then, the window is sequentially applied to the discriminator 5 while shifting it to the right by one dot, and when the window reaches the right end, the window is moved down by 1 dot to return to the left end, and is again applied to the discriminator 5 while moving to the right again.
  • This search is repeated until the window reaches the lower right. In this search, a pedestrian is present at a place where the output of the discriminator 5 is 1.
  • the first discriminator 5 having the smallest size of the input image 50 is used as the second algorithm. Then, the remaining three types of second to fourth discriminators 5 are used.
  • the second to fourth discriminators 5 are set so that the size of the input image 50 is larger than that of the first discriminator 5 and gradually increases as the operation proceeds to the second to fourth discriminators 5. .
  • the pedestrian is automatically determined using the relative distance to the object and the camera geometric model.
  • the image size of the image in the image processing area is converted so as to be the same size as the size of the image in the case where it exists at a position away from the car by a preset distance.
  • the first discriminator 5 that can detect a pedestrian at a position 40 meters away from the host vehicle is prepared, and the image in the image processing area set in step S203 is represented by a camera geometric model.
  • the pedestrian is converted so as to have the same size as the image when the pedestrian is at a point 40 meters away from the vehicle, and the pedestrian is detected by the search method described above.
  • step S203 the image in the image processing area is converted in a contracting direction.
  • the detected position of the pedestrian on the converted image is converted to a position on the image before conversion, and the processing candidate information (relative distance PY1 [i ], Horizontal position PX1 [i], width WD1 [i]) is updated.
  • the second algorithm it is assumed that there is a pedestrian in the image of the image processing area set in step S303, and the pedestrian in the image is searched using the relative distance to the object and the camera geometric model.
  • the image size of the image in the image processing area is converted.
  • the second to fourth discriminators 5 that can detect a pedestrian existing at a distance of 10 m, 20 m, and 30 m ahead of the host vehicle are prepared.
  • the image of the image processing area set in step S303 is converted into the image size of the 30 m point image, and the fourth discriminator 5 is changed.
  • a pedestrian is detected.
  • the image of the image processing area is converted into the image size of the image at the 20 m point, and the third classifier 5 is used to perform the above search method. Detect pedestrians.
  • the image of the image processing area is converted into the image size of the image at the 10 m point, and the second classifier 5 is used to perform the above search method. Detect pedestrians.
  • the detected position of the pedestrian on the converted image is converted to a position on the image before conversion, and the three-dimensional object information (relative Distance PY2 [i], lateral position PX2 [i], width WD2 [i]).
  • the object P detected by the measuring means 1 is specified on the front image 60, and an image portion including the object P is set as the image processing area A (S61).
  • the position of the object P on the front image 60 is specified based on the object information of the object P detected by the measuring device 1 and the camera geometric model.
  • three objects P1 (pedestrian), object P2 (manhole), and object P3 (electric pole) are specified on the front image 60, and the image portion is an image.
  • the image processing areas A1 to A3 are set so as to surround the objects P1 to P3 with a predetermined interval.
  • image processing is performed on the image in the image processing area A using the first algorithm, and processing candidates are selected according to the result of the image processing (S62).
  • the image in each image processing area A is converted and reduced to the same size as the image of a person existing at a position 40 meters away from the own vehicle in front of the own vehicle.
  • a search is performed on the reduced image, and a processing candidate is selected.
  • the processing candidate (pedestrian) is searched in the image B obtained by reducing the image in the image processing area A
  • the search range can be made smaller than when the processing candidate is searched in the image processing area A. Therefore, the processing load on the control device 3 can be reduced, and a quick search can be performed.
  • the processing candidate Q When the processing candidate Q is detected in the image B, the position of the processing candidate Q in the image B is converted into the position on the original front image 60, and the processing candidate is obtained from the object information of the corresponding object P.
  • Q candidate processing information (PY1 [i], PX1 [i], WD1 [i]) is updated.
  • the processing candidates Q1 and Q2 are processed in the areas C1 and C2 in the images B1 and B2. Is selected. Then, the positions of the processing candidates Q1 and Q2 are converted into positions on the original front image 60 (see FIG. 5C), and the processing candidate information is updated.
  • an image processing area D is set in the front image 60 (S63).
  • Image processing using the second algorithm is performed on the image of the processing area D, and it is determined whether or not the processing candidate Q is a predetermined solid object (pedestrian) set in advance (S64).
  • the image to be processed according to the relative distance to the processing candidate The size of is different.
  • the object P1 in the image processing area D1 is determined to be a pedestrian.
  • the range in which the second algorithm can be executed by the first algorithm can be narrowed, and the processing load on the control device 3 can be reduced. Can do. That is, since the processing candidate is first selected and it is determined whether or not the selected processing candidate is a three-dimensional object, the image of the second algorithm having a larger processing load than the image processing of the first algorithm. The number of times the process is executed can be reduced, and as a result, the processing load on the control device 3 can be reduced.
  • the processing candidate selection means 33 reduces the image in the image processing area of the front image by the first algorithm and searches for the processing candidate in the reduced image, so that the image in the image processing area of the front image
  • the search range can be made smaller than the search, the processing load on the control device 3 can be reduced, and the search can be performed quickly.
  • the processing candidate selection unit 33 since the three-dimensional object is determined using an image with higher accuracy than the image used when the processing candidate selection unit 33 selects a processing candidate by the second algorithm, erroneous detection is performed. Can be reduced.
  • the three-dimensional object determination means 34 uses the second to fourth discriminators 5 depending on the relative distance between the vehicle and the processing candidate by the second algorithm, so that the false detection is reduced as the object is closer. it can. That is, in an image obtained by photographing the front of the host vehicle with a camera, an object closer to the host vehicle is larger in the image and more information can be obtained. Therefore, by using the discriminator 5 depending on the distance, it is closer to the host vehicle. More information can be used as an object, and as a result, false detection can be reduced.
  • the number of discriminators 5 used in the first algorithm and the second algorithm is not limited to one and three, and any number may be used.
  • the size of the input image 50 of each discriminator 5 is not limited to the size at a distance of 10 meters, 20 meters, 30 meters, and 40 meters, and may be set to an image at any distance.
  • the classifier 5 used for detecting a pedestrian is not limited to the method taken up in the present embodiment.
  • a neural network classifier, a support vector machine classifier, a Bayes classifier, or the like may be used.
  • FIG. 6 is a block diagram showing an embodiment of the vehicle-mounted object detection device 101 of another form.
  • the vehicle-mounted object detection device 101 includes a measurement device 1, an image capture device 2, and a control device 4.
  • the control device 4 is programmed with a predetermined process and repeatedly executes the process at a predetermined cycle. Processing that is different from the control device 3 will be described below.
  • the predicted course setting means 41 acquires own vehicle information such as the vehicle speed Vsp, the steering angle ⁇ , and the yaw rate ⁇ according to the detection signals of the vehicle speed sensor, the steering angle sensor, and the yaw rate sensor, and the own vehicle information according to the own vehicle information. Calculate the predicted course.
  • the vehicle information may be acquired by directly inputting the signal of each sensor to the control device 4, or when the sensor signal is input to another control device, the control device and the LAN (You may acquire by performing communication using (Local
  • the turning radius R is calculated as the predicted course of the host vehicle. A method for calculating the turning radius R will be described later.
  • the process candidate selection area setting unit 42 sets a process candidate selection area for the process candidate selection unit 44 to execute the selection process according to the predicted course of the host vehicle acquired by the predicted course setting unit 41. A method for setting the processing candidate selection area will be described later.
  • the three-dimensional object determination area setting unit 43 sets a three-dimensional object determination area for the three-dimensional object determination unit 45 to execute the determination process according to the process candidate selection area acquired by the process candidate selection area setting unit 42. A method for setting the three-dimensional object determination area will be described later.
  • the processing candidate selection unit 44 includes the object information (relative distance PY0 [i], lateral position PX0 [i], width WD0 [i]) acquired by the object information acquisition unit 31, and image information acquired by the image information acquisition unit 32. Processing candidate information (relative distance PY1 [i], lateral position PX1 [i], width WD1 [i]) according to IMG [x] [y] and the processing candidate selection area set by the processing candidate selection area setting means 42 ) Is calculated.
  • i is an ID number when a plurality of processing candidates are selected. The processing candidate calculation method will be described later.
  • the three-dimensional object determination unit 45 includes image information IMG [x] [y] of the image acquired by the image information acquisition unit 32, and processing candidate information (relative distance PY1 [i], horizontal position PX1 calculated by the processing candidate selection unit 44). [I], width WD1 [i]) and the three-dimensional object determination area set by the three-dimensional object determination area setting means 43, the three-dimensional object information (relative distance PY2 [i], horizontal position PX2 [i], width WD2 [I]) is calculated.
  • i is an ID number when a plurality of three-dimensional objects are detected. An object determination calculation method will be described later.
  • FIG. 7 is a schematic diagram showing the processing contents of the predicted course setting means 41.
  • the predicted course T can be approximated by an arc of a turning radius R passing through the origin O.
  • the turning radius R is expressed by Expression (1) using the steering angle ⁇ , the speed Vsp, the stability factor A, the wheel base B, and the steering gear ratio Gs of the host vehicle 70.
  • the stability factor A is an important value that determines the magnitude of the change depending on the speed of the steady circular turning of the vehicle.
  • the turning radius R changes in proportion to the square of the speed Vsp of the host vehicle 70 with the stability factor A as a coefficient. Further, the turning radius R can be expressed by Equation (2) using the vehicle speed Vsp and the yaw rate ⁇ .
  • the predicted course of the host vehicle 70 can be approximated by an arc of the turning radius R by using the host vehicle information of the vehicle speed Vsp, the steering angle ⁇ , and the yaw rate ⁇ .
  • the processing candidate selection region setting unit 42 is on the predicted route T corresponding to the lane width Wn, for example, as shown in FIG. 8A, according to the predicted route T set by the predicted route setting unit 41.
  • the processing candidate selection area 71 is set.
  • the three-dimensional object determination area setting unit 43 corresponds to the predicted course T corresponding to the vehicle width Wc according to the process candidate selection area 71 set by the process candidate selection area setting unit 42.
  • the three-dimensional object determination area 72 is set so as to be on the top.
  • the example of setting the width has been described in the above example.
  • another setting method there is a method of setting the distance direction from the own vehicle 70.
  • FIG. 8B shows a warning candidate area in which the predicted collision time calculated by dividing the relative distance from the object ahead of the host vehicle 70 by the relative speed is set to TTCa and the time TTTCa and TTCb.
  • a braking area equal to or less than TTCb is a solid object determination area 74.
  • the three-dimensional object judgment is made up to the processing candidate selection region 75 and the reaching position in THWb.
  • the area 76 may be set.
  • the setting method of the processing candidate selection areas 71, 73, 75 and the three-dimensional object determination areas 72, 74, 76 is not limited to this, and the travel lane of the own vehicle 701 is determined from an image obtained by the image capturing device 2 such as a camera.
  • the recognition result of the lane recognition device to be recognized may overlap with the predicted course T of the own vehicle 701, or may be set according to the distance of the object ahead of the own vehicle 70 detected by the measuring device 1 such as a radar. .
  • FIG. 9 is a flowchart showing the processing contents of the processing candidate selection means 44.
  • step S401 the object information (PY0 [i], PX0 [i], WD0 [i]) detected by the object information acquisition unit 31 is read.
  • step S402 0 is substituted for the number j of processing candidates and initialization is performed. Thereafter, steps S403 to S407 described below are repeated according to the number of objects read.
  • step S403 it is determined whether or not the object is within the processing candidate selection region set by the processing candidate selection region setting means 42. If it is determined that the object is outside the processing candidate selection area, the next iterative process is entered. If it is determined that it is within the processing candidate selection area, the processing after step S404 is performed.
  • step S404 an image processing area on the image is set based on the object information and the camera geometric model. After setting the image processing area, the process proceeds to step S405, and image processing such as pattern matching for scanning the area is executed to detect the object.
  • step S405 The image processing algorithm used in step S405 is the same as the first algorithm described in step S204. Thereafter, in step S406, it is determined whether or not an object has been detected. If an object is detected, the process proceeds to step S407, and as a processing candidate, the relative distance PY1 [j], the lateral position PX1 [j], and the width WD1 [j] are recorded according to the pattern matching result, and the processing candidate is recorded. Add 1 to the number j.
  • the recorded processing candidate information (all recorded relative distances PY1 [j], lateral position PX1 [j], width WD1 [j]) is converted into the three-dimensional object determination means 45 in step S408. To finish the process.
  • FIG. 10 is a flowchart showing the processing contents of the three-dimensional object determination means 45.
  • step S501 processing candidate information (PY1 [i], PX1 [i], WD1 [i]) selected by the processing candidate selection unit 44 is read.
  • step S502 0 is substituted for the three-dimensional object number j to initialize it. Thereafter, steps S503 to S507 described below are repeated according to the number of processing candidates read.
  • step S503 it is determined whether or not the processing candidate exists within the three-dimensional object determination area set by the three-dimensional object determination area setting unit 43. If it is determined that the processing candidate is outside the three-dimensional object determination region (NO in step S503), the process proceeds to step S507, and the acquired processing candidate (relative distance PY1 [i], lateral position PX1 [i], width WD1) [I]) is directly registered as a three-dimensional object (relative distance PY2 [j], horizontal position PX2 [j], width WD2 [j]), and the next iterative process is entered. On the other hand, if it is determined that the processing candidate exists within the three-dimensional object determination area (YES in step S503), the processing subsequent to step S504 is performed.
  • step S504 an image processing area on the image is set based on the processing candidate information and the camera geometric model. After the image processing area is set, the process proceeds to step S505, and image processing such as pattern matching that scans the area is executed to detect a three-dimensional object.
  • the image processing algorithm used in step S505 is the same as the second algorithm described in step S304 described above.
  • step S506 it is determined whether or not a three-dimensional object is detected. If a three-dimensional object is detected (YES in step S506), the process proceeds to step S507, and the three-dimensional object is determined according to the result of pattern matching. Relative distance PY2 [j], horizontal position PX2 [j], and width WD2 [j] are recorded, and the number of three-dimensional objects j is incremented by one.
  • step S508 the recorded three-dimensional object information (all recorded relative distances PY2 [j], lateral position PX2 [j], width WD2 [j]) is obtained as the vehicle-mounted object. Output from the detection apparatus 101 to the outside, and the process is terminated.
  • the image processing target is limited, and the processing load is reduced as compared with the vehicle-mounted object detection device 100 described above. Can do.
  • the solid object information (relative distance PY2 [i], lateral position PX2 [i], width WD2 [i] obtained by each of the embodiments described above. ])
  • the operation method of the control system such as outputting an alarm or automatically controlling the brake according to the above, will be described.
  • FIG. 11 is a flowchart showing an operation method of the pre-crash safety system.
  • step S601 the three-dimensional object information (relative distance PY2 [i], lateral position PX2 [i], width WD2 [i]) calculated by the vehicle-mounted object detection device 100 or the vehicle-mounted object detection device 101 is read. .
  • step S602 the collision prediction time TTC [i] of each detected object is calculated using equation (3).
  • the relative velocity VY [i] is obtained by pseudo-differentiating the relative distance PY [i] of the object.
  • step S603 the risk degree DRECI [i] for each three-dimensional object is calculated.
  • the risk degree DRECI [i] for the object X [i] detected by the vehicle-mounted object detection device 100 or the vehicle-mounted object detection device 101 will be described with reference to FIG.
  • a perpendicular line is drawn from the object X [i] to the center of the predicted course T obtained by the above-described method to obtain a separation distance L [i] between the object X and the predicted course T.
  • the risk level DRECI [i] is calculated by the following equation (4).
  • steps S601 to S604 are configured to perform loop processing according to the number of detected objects.
  • step S604 an object for which the following expression (5) is established is selected according to the degree of risk DRECI [i] calculated in step S603, and the predicted collision time TTC [i] is the smallest among the selected objects.
  • the object k is selected.
  • the predetermined value cDRECI # is a threshold value for determining whether or not the vehicle 70 collides.
  • step S605 it is determined using the following equation (6) whether or not it is within the range in which the brake is automatically controlled according to the predicted collision time TTC [k] of the selected object k.
  • step S606 brake control is executed, and the process is terminated. On the other hand, if Expression (6) is not established, the process proceeds to step S607.
  • step S607 it is determined using the following formula (7) whether or not the alarm is output in accordance with the predicted collision time TTC [k] of the selected object k.
  • the object information (relative distance PY2 [i], lateral position PX2 [i], width WD2 [i]) obtained from the vehicle-mounted object detection device 100 or 101 according to the present invention is an automatic brake, alarm. This is an important parameter used for calculating the risk DRECI [i] related to the operation of the system.
  • the present invention can reduce false detection of non-three-dimensional objects in the vicinity of the host vehicle and prevent malfunctions of alarms and automatic brakes by adopting the embodiment as described above.

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

 画像処理の負荷低減と非立体物への誤検知低減を両立する車載用物体検知装置を提供すること。  自車70から物体Pまでの距離と自車70の前方画像60に基づいて処理候補Qを選定する。そして、その選定した処理候補Qの距離と前方画像60とに基づいて処理候補Qが予め設定された所定の立体物P1であるかを判定する。これにより、処理負荷の大きい立体物P1を判定するための処理の実行回数を減らし、装置3の処理負荷を低減する。そして、高精度の画像を画像処理することによって立体物P1を判定し、誤検知を低減する。

Description

車載用物体検知装置
 本発明は、自車との衝突の可能性がある自車前方の物体を検知する車載用物体検知装置に関する。
 交通事故による死亡者数は衝突安全と呼ばれる衝突後の乗員保護(エアバッグ、衝突安全ボディ)の導入により減少傾向にあるが、事故件数は自動車の保有台数に比例して増加傾向にあり、これらの事故を低減するためには事故を未然に防ぐ予防安全システムの開発が重要である。予防安全システムは、事故の手前で作動するシステムであり、例えば、自車前方の物体と衝突する可能性が生じたときには警報によって運転者に注意を促し、衝突が避けられない状況になったときには自動ブレーキによって乗員の被害を軽減するプリクラッシュ・セーフティ・システムなどが実用化されている。
 上記システムにおいては、自車との衝突の可能性がある自車前方の物体を検知する物体検知装置が重要である。例えば特許文献1には、レーザレーダとカメラを用いて、歩行者などレーザビームの反射率が低い低反射率物体の存在を、カメラ画像を用いたパターンマッチングにより判断する方法が記載されている。
 この方法によれば、車両などレーザビームの反射強度が強い物体の近くに、歩行者など反射強度が低い物体が存在する場合、受光量の閾値が低いことによって車両と歩行者を同一の物体として検知してしまったとしても、画像処理によって車両近傍の歩行者の位置を特定することができる。
特開2007-240314号公報
 しかしながら、上記低反射率の物体を検知するために受光量の閾値を下げると、レーダが様々な物体に反応するようになり、画像処理の対象が増えて、装置の処理負荷が増大する。
 また、閾値を下げたことによって、レーダが路上ペイント、マンホールやキャッツアイなど、自車にとって衝突の可能性が無い物体(以下、非立体物とする)を検知するため、画像処理でこれら非立体物に対する誤検知が発生すると、前述のプリクラッシュ・セーフティ・システムにおいて、衝突の可能性が無いにもかかわらず警報や自動ブレーキが発動し、安全性の低下を招く。
 プリクラッシュ・セーフティ・システムでは、警報やブレーキは自車と前方の物体との衝突予測時間(Time To Collision)が小さいときに発動するため、衝突予測時間が小さい自車近傍の物体ほど、画像処理による非立体物の誤検知を低減させる必要がある。
 カメラ画像上では、自車近傍の物体ほど大きく写るため、情報が多い解像度の高い画像を処理すれば誤検知は低減できるが、演算負荷が大きくなる。しかし、車載システムにはハードウェアの制限があるため、演算負荷が大きい手段は使用できない。
 本発明は上記問題に着目してなされたもので、その目的とするところは、画像処理の負荷低減と非立体物に対する誤検知の低減を両立する車載用物体検知装置を提供することにある。
 上記課題を解決するための手段である本発明の車載用物体検知装置は、自車から物体までの距離と自車の前方画像に基づいて処理候補を選定し、処理候補の距離と前方画像とに基づいて処理候補が予め設定された所定の立体物であるかを判定する。
 本発明によれば、選択された処理候補について、立体部の判定が行われるので、立体物を判定するための処理の実行回数を減らすことができる。従って、装置全体の処理負荷を低減することができる。そして、立体物を判定するための処理では、より多くの情報量を有する画像を用いて立体物の判断を行うことができ、非立体物に対する誤検知を低減することができる。
 本明細書は、本願の優先権の基礎である日本国特許出願2008-127526号の明細書及び/または図面に記載されている内容を包含する。
本発明の第1実施の形態における車載用物体検知装置のブロック図。 第1実施の形態における処理候補選定手段の処理内容を示すフローチャート。 第1実施の形態における立体物判定手段の処理内容を示すフローチャート。 第1実施の形態における識別器による歩行者の判定方法を示す模式図。 第1実施の形態における車載用物体検知装置の動作例を示す図。 本発明の第2実施の形態における車載用物体検知装置のブロック図。 第2実施の形態における予測進路設定手段を示す模式図。 第2実施の形態における処理候補選定領域と立体物判定領域の設定例を示す模式図。 第2実施の形態における処理候補選定手段の処理内容を示すフローチャート。 第2実施の形態における立体物判定手段の処理内容を示すフローチャート。 本発明を適用したプリクラッシュ・セーフティ・システムの動作方法を示すフローチャート。
100 車載用物体検知装置、1…計測装置、2…画像取込装置、3…制御装置、31…物体情報取得手段、32…画像情報取得手段、33…処理候補選定手段、34…立体物判定手段、101…車載用物体検知装置、4…制御装置、41…自車予測進路設定手段、42…処理候補選定領域設定手段、43…立体物判定領域設定手段、44…処理候補選定手段、45…立体物判定手段
 [第1実施の形態]
 以下、本発明の第1の実施形態について図1~図4を用いて詳細に説明する。図1は、第1実施の形態における車載用物体検知装置100のブロック図である。車載用物体検知装置100は、自動車に搭載されるものであり、図1に示すように、計測装置1、画像取込装置2、制御装置3から構成される。
 計測装置1は、レーザレーダやミリ波レーダなどを用いて、自車の前方に存在する物体を検知し、自車と物体との相対距離(例えば、車体の前後方向に沿うY軸方向の距離)、物体の横位置(例えば、車幅方向に沿うX軸方向の距離)、及び物体の横幅を計測する装置である。計測装置1の計測結果は、物体情報として制御装置3に入力される。計測装置1は、制御装置3に対して物体情報の信号を直接入力しても良いし、LAN(Local Area Network)を用いた通信によって受け渡してもよい。
 画像取込装置2は、自車の前方を撮像できる位置に取り付けられており、CCDやCMOSなどの撮像素子を用いて、自車前方を撮影した前方画像としてディジタル値の信号に変換する装置である。ディジタル値の信号は、ディジタル値のまま制御装置3内のRAM上に直接書き込まれても良いし、アナログ信号に変換し制御装置3に入力されても良い。なお、ここで撮影した前方画像には、計測装置1で検知した物体が写っているものとする。
 制御装置3は、所定の処理がプログラミングされており、あらかじめ定められた周期で繰り返し処理を実行する。制御装置3は、物体情報取得手段31と、画像情報取得手段32と、処理候補選定手段33と、立体物判定手段34を、内部機能として有する。
 物体情報取得手段31は、計測装置1の検知信号に応じて、自車前方の物体の物体情報(相対距離PY0[i]、横位置PX0[i]、幅WD0[i])を取得する。ここで、iは複数の物体を検知している場合のID番号である。
 画像情報取得手段32は、画像取込装置2の信号に基づいて自車前方を撮影した前方画像の画像情報IMG[x][y]を取得する。画像情報IMG[x][y]は2次元配列であり、x、yはそれぞれ画像の座標を示す。
 処理候補選定手段33は、物体情報取得手段31で取得した物体情報(相対距離PY0[i]、横位置PX0[i]、幅WD0[i])と、画像情報取得手段32で取得した画像情報IMG[x][y]に基づいて処理候補を選定し、その選定した処理候補の処理候補情報(相対距離PY1[i]、横位置PX1[i]、幅WD1[i])を演算する。ここで、iは複数の処理候補を選定している場合のID番号である。なお、処理候補の選定方法と、処理候補情報の演算方法については後述する。
 立体物判定手段34は、処理候補選定手段33で選定した処理候補の処理候補情報(相対距離PY1[i]、横位置PX1[i]、幅WD1[i])と、画像情報取得手段32で取得した画像情報IMG[x][y]に基づいて、処理候補が、例えば人物等の所定の立体物であるか否かを判定し、所定の立体物であると判定された立体物の立体物情報(相対距離PY2[i]、横位置PX2[i]、幅WD2[i])を演算する。ここで、iは複数の立体物を検知している場合のID番号である。なお、立体物の判定方法と、立体物情報の演算方法については後述する。
 次に、図2を用いて、制御装置3の処理候補選定手段33による処理について説明する。図2は、処理候補選定手段33の処理内容を説明するフローチャートである。
 まず、ステップS201において、物体情報取得手段31によって取得された物体情報(PY0[i]、PX0[i]、WD0[i])を読み込む。そして、ステップS202において、処理候補数jに0を代入し初期化する。この後、物体情報取得手段31によって取得した物体の数に応じて、以下説明するステップS203~S206を繰り返す。
 ステップS203において、物体情報とカメラ幾何モデル(画像上の位置と実際の位置の関係)に基づいて画像上での画像処理領域を設定する。画像処理領域を設定した後は、ステップS204に進み、この画像処理領域内を走査するパターンマッチングなどの画像処理を実行して、画像上における物体を検知する。以後、ステップS204で使う画像処理のアルゴリズムを第1のアルゴリズムと呼ぶ。なお、第1のアルゴリズムの内容については後述する。
 その後、ステップS205において、画像処理領域内で物体が検知されたか否かの判定を行う。ここで、画像処理領域内にて物体が検知された場合には、ステップS206に進み、当該物体を処理候補として選定し、その物体の相対距離PY1[j]、横位置PX1[j]、幅WD1[j]を処理候補情報として記録し、処理候補数jを1加算する。
 そして、ステップS203からステップS206までの繰り返し処理の終了後、ステップS207にて、記録された処理候補の処理候補情報(記録された全ての相対距離PY1[j]、横位置PX1[j]、幅WD1[j])を立体物判定手段34に出力して処理を終了する。
 次に、図3を用いて、制御装置3の立体物判定手段34について説明する。図3は、立体物判定手段34の処理内容を説明するフローチャートである。
 まず、ステップS301において、処理候補選定手段33で選定された処理候補の処理候補情報(PY1[i]、PX1[i]、WD1[i])を読み込む。そして、ステップS302において、立体物数jに0を代入し初期化する。この後、読み込んだ処理候補の数に応じて、以下に説明するステップS303からステップS306を繰り返す。
 ステップS303において、処理候補情報とカメラ幾何モデルに基づいて画像上での画像処理領域を設定する。画像処理領域を設定した後は、ステップS304に進み、この画像処理領域内を走査するパターンマッチングなどの画像処理を実行して、画像上における立体物を検知する。以後、ステップS304で使う画像処理のアルゴリズムを第2のアルゴリズムと呼ぶ。なお、第2のアルゴリズムの内容については後述する。
 その後、ステップS305において、検知対象目的の立体物が検知されたか否かの判定を行う。ここで、当該立体物が検知された場合には、ステップS306に進み、自車と衝突の可能性がある立体物であると判定し、その相対距離PY2[j]、横位置PX2[j]、幅WD2[j]を記録し、立体物数jを1加算する。
 そして、ステップS303からステップS306までの繰り返し処理の終了後、ステップS307にて、記録された立体物の立体物情報(記録された全ての相対距離PY2[j]、横位置PX2[j]、幅WD2[j])を制御装置3から外部に出力して処理を終了する。
 次に、図4と図5を用いて、自車と衝突の可能性がある立体物として歩行者を検知する場合を例にとり、第1のアルゴリズムと第2のアルゴリズムの内容について以下に詳細に説明する。
 まず、画像処理によって歩行者を検知する方法について説明する。歩行者を検知する方法としては、歩行者パターンの代表となるテンプレートを複数用意しておき、差分累積演算あるいは正規化相関係演算を行って一致度を求めるテンプレートマッチングによる方法や、ニューラルネットワークなどの識別器を用いてパターン認識を行う方法が挙げられる。
 いずれの方法をとるとしても、あらかじめ歩行者か否かを決定する指標となるソースのデータベースが必要となる。様々な歩行者のパターンをデータベースとして蓄えておき、そこから代表となるテンプレートを作成したり識別器を生成したりする。実環境では様々な服装、姿勢、体型の歩行者が存在し、さらにそれぞれ照明や天候などの条件が異なったりするため大量のデータベースを用意して、誤判定を少なくすることが必要となる。
 このとき、前者のテンプレートマッチングによる方法の場合、判定漏れを防ぐようにするとテンプレートの数が膨大となるため現実的でない。そこで、本実施の形態では後者の識別器を用いて判定する方法を採用する。識別器の大きさはソースのデータベースの大きさに依存しない。なお、識別器を生成するためのデータベースを教師データと呼ぶ。
 識別器を用いて歩行者か否かを判定する方法を、図4を用いて説明する。ここでは、入力画像50の大きさが縦16ドット、横12ドットの場合について説明する。
 本実施の形態で使用する識別器5は、画像内の所定の箇所に設置された複数の小領域52[n]内における濃淡勾配の方向と強さに基づいて歩行者か否かを判定する。各小領域52[n]は、画像50内の予め定められた位置で、特定方向の濃淡勾配の強さを合計し出力する。以後、この出力を局所エッジ強度と呼ぶ。
 まず、入力画像50が入力されると、例えばソーベルフィルタなどのフィルタリング処理部51によりフィルタリング処理が行われ、濃淡勾配の強さと方向を持つ画像50[n]がそれぞれ出力される。そして、各画像50[n]の所定箇所に設置された小領域52[n]内で、算出された濃淡勾配の強さと方向を用いて局所エッジ強度を算出する。
 具体的には、小領域52[n]内の一つ一つの画素に対応する濃淡勾配の方向を参照し、その方向が小領域52[n]ごとに定められた方向と同一であった画素の、対応する位置の濃淡勾配の強度を合計する。本実施の形態の場合、小領域52[n]を40個設置しているため、局所エッジ強度LEWC[0]~LEWC[39]の40個の値を得る。
 次に、各小領域判断処理部53[n]において、各局所エッジ強度を、対応する閾値THWC[0]~THWC[39]で閾値処理し、「1」か「0」の2値に変換し、対応する重み付け部54[n]で重みWWC[0]~WWC[39]を乗じ、合計部SUMSC55へ出力する。合計部SUMSC55は、各重み付け部54[n]から入力された40個の値を合計し、最終判断処理部56において最終閾値THSCで閾値処理を行い、「1」か「0」を出力する。
 識別器5内の各局所エッジ強度LEWC[0]~LEWC[39]を算出するためのパラメータである小領域52[n]の個数、位置、大きさ、濃淡勾配の方向、小領域判断処理部53「n]における局所エッジ強度の閾値THWC[0]~THWC[39]、重み付け部54[n]の重みWWC[0]~WWC[39]、最終判断処理部56の最終閾値THSC等は、識別器5への入力画像50が歩行者であった場合には「1」を、歩行者ではなかった場合には「0」を出力するように、教師データを用いて調整される。調整には、AdaBoostなどの機械学習の手段を用いてもよいし、手動で行ってもよい。
 例えば、歩行者の教師データの数をNPD、非歩行者の教師データの数をNBGとすると、AdaBoostを用いた上記パラメータの調整方法は以下の通りとなる。
 以下、ある小領域52の位置、大きさ、濃淡勾配の方向から計算される局所エッジをcLEWC[m]と表す。ここで、mは局所エッジのID番号である。
 まず小領域52の位置、大きさ、濃淡勾配の方向、がそれぞれ異なる局所エッジ強度を複数(例えば、100万通り)用意し、各局所エッジ強度の値cLEWC[m]を全ての教師データから算出し、それぞれの閾値cTHWC[m]を決定する。閾値cTHWC[m]は、歩行者の教師データと非歩行者の教師データを最も分類することができる値を選択する。
 次に、歩行者の教師データひとつひとつにwPD[nPD]=1/2NPDの、非歩行者の教師データひとつひとつにwBG[nBG]=1/2NBGの重みを与える。ここで、nPDは歩行者の教師データのID番号、nBGは非歩行者の教師データのID番号である。
 そして、k=1として、以下、繰り返し処理を行う。まず、歩行者・非歩行者全ての教師データの重みの合計が1となるように、重みを正規化する。次に、各局所エッジの誤検知率cERWC[m]を計算する。
 誤検知率cERWC[m]は、歩行者の教師データの局所エッジ強度cLEWC[m]を閾値cTHWC[m]で閾値処理した結果が非歩行者となったもの、もしくは非歩行者の教師データの局所エッジ強度cLEWC[m]を閾値cTHWC[m]で閾値処理した結果が歩行者となったもの、すなわち閾値処理した結果が実際と異なる教師データの重みの合計である。
 全ての局所エッジの誤検知率cERWC[m]を算出後、誤検知率が最小となる局所エッジのID mMin を選択し、LEWC[k]=cLEWC[mMin]、閾値THWC[k]=cTHWC[mMin]とする。
 次に、各教師データの重みを更新する。更新は、歩行者の教師データの局所エッジ強度LEWC[k]を閾値THWC[k]で閾値処理した結果が歩行者となったもの、もしくは非歩行者の教師データの局所エッジ強度LEWC[k]を閾値THWC[k]で閾値処理した結果が非歩行者となったもの、すなわち閾値処理した結果が正解の教師データの重みに、係数BT[k]=cERWC[mMin]/(1-cERWC[mMin])を乗じて行う。
 k=k+1とし、kが予め設定した値(例えば、40)になるまで繰り返す。繰り返し処理の終了後に得られる局所エッジLEWC[k]、閾値THWC[k]がAdaBoostにより自動調整された識別器5である。なお,重みWWC[k]=1/BT[k],最終閾値THSC=0.5である。
 次に、前述の識別器5を用いて、与えられた画像処理領域内の画像から歩行者を検知する方法について説明する。まず、与えられた画像処理領域内の画像に写る歩行者の大きさが、縦16ドット、横12ドットとなるように画像サイズを変換する。画像に歩行者以外の物体が同時に写っているなど、変換後の画像の大きさが16×12ドットより大きくなる場合は、下記の手段にて探索を行う。
 まず、16×12のウィンドウを変換後の画像の左上に設定し、このウィンドウ内の画像を前述の識別器5にかける。そして、ウィンドウを1ドットずつ右にずらしながら順次識別器5にかけ、ウィンドウが右端に達したらウィンドウを1ドット下に動かして左端に戻し、再び右へ動かしながら、順次識別器5にかける。この探索を、ウィンドウが右下に達するまで繰り返す。この探索の中で、識別器5の出力が1となる場所に歩行者がいることになる。
 次に、ステップS203の画像処理において用いられる第1のアルゴリズムと、ステップS303の画像処理において用いられる第2のアルゴリズムの内容について説明する。
 本実施の形態では、入力画像50の大きさを変えた識別器5を4つ用意し、第1のアルゴリズムでは入力画像50の大きさが最も小さい第1の識別器5を、第2のアルゴリズムでは残り3種類である第2~第4の識別器5を用いる。第2~第4の識別器5は、入力画像50の大きさが第1の識別器5よりも大きく、第2~第4の識別器5に移行するに従って漸次大きくなるように設定されている。
 第1のアルゴリズムでは、ステップS203で処理候補選定手段33によって設定された画像処理領域の画像内に歩行者がいると仮定し、物体との相対距離とカメラ幾何モデルを用いて、歩行者が自車から前方に予め設定された距離だけ離れた位置に存在する場合の画像の大きさと同一の大きさになるように、画像処理領域の画像の画像サイズを変換する。
 具体的には、自車から前方に40メートルだけ離れた位置にいる歩行者を検知できる第1識別器5を用意し、ステップS203で設定された画像処理領域内の画像を、カメラ幾何モデルを用いて歩行者が自車から前方に40メートルだけ離れた地点にいる場合の画像の大きさと同一の大きさになるように変換して、前述の探索方法により歩行者を検知する。
 なお、本実施の形態では、歩行者は、自車と自車から前方に40メートルだけ離れた地点との間に存在することを前提としている。従って、ステップS203では、画像処理領域内の画像は、収縮する方向に変換される。
 そして、歩行者が検知された場合、変換後の画像上における歩行者の検知位置を、変換前の画像上の位置に変換し、カメラ幾何モデルを用いて、処理候補情報(相対距離PY1[i]、横位置PX1[i]、幅WD1[i])を更新する。
 第2のアルゴリズムでは、ステップS303で設定された画像処理領域の画像内に歩行者がいると仮定し、物体との相対距離とカメラ幾何モデルを用いて、画像内の歩行者を探索するのに最も適している識別器5に対応させるべく、画像処理領域内の画像の画像サイズを変換する。
 具体的には、自車から前方に10m、20m、30mだけ離れた位置に存在する歩行者を検知できる第2~第4の識別器5をそれぞれ用意する。そして、処理候補が自車から20mよりも離れた位置にいる場合には、ステップS303で設定された画像処理領域の画像を30m地点の画像の画像サイズに変換し、第4の識別器5を用いて、前述の探索方法により、歩行者を検知する。
 そして、処理候補が自車から20~10mの距離にいる場合は、画像処理領域の画像を20m地点の画像の画像サイズに変換し、第3の識別器5を用いて、前述の探索方法により、歩行者を検知する。
 また、処理候補が自車から10mより近い位置にいる場合は、画像処理領域の画像を10m地点の画像の画像サイズに変換し、第2の識別器5を用いて、前述の探索方法により、歩行者を検知する。
 ここで、処理候補から歩行者が検知された場合、変換後の画像上における歩行者の検知位置を、変換前の画像上の位置に変換し、カメラ幾何モデルを用いて、立体物情報(相対距離PY2[i]、横位置PX2[i]、幅WD2[i])を更新する。
 以上の処理の具体的な動作例を、図5を用いて説明する。
 まず、計測手段1によって検知した物体Pが前方画像60上で特定され、その物体Pを含む画像部分が画像処理領域Aとして設定される(S61)。物体Pの前方画像60上での位置は、計測装置1で検知した物体Pの物体情報とカメラ幾何モデルに基づいて特定される。
 本実施の形態では、図5(a)に示すように、3つの物体P1(歩行者)、物体P2(マンホール)、物体P3(電柱)が前方画像60上で特定され、その画像部分が画像処理領域A1~A3として設定される。画像処理領域A1~A3は、物体P1~P3の周りを所定の間隔を空けて囲むように設定される。
 次に、第1のアルゴリズムを用いて、画像処理領域A内の画像に画像処理が行われ、画像処理の結果に応じて処理候補が選定される(S62)。第1のアルゴリズムでは、各画像処理領域A内の画像を変換して、自車から自車前方に40メートルだけ離れた位置に存在する人物の画像の大きさと同一の大きさに縮小し、その縮小した画像に対して探索が行われて、処理候補が選定される。
 このように、画像処理領域Aの画像を縮小した画像B内で処理候補(歩行者)を探索するので、画像処理領域A内で処理候補を探索するよりも探索範囲を小さくすることができる。従って、制御装置3の処理負荷を小さくすることができ、また、迅速に探索することができる。
 画像B内で処理候補Qが検知された場合には、その画像B内における処理候補Qの位置を、元の前方画像60上での位置に変換し、対応する物体Pの物体情報から処理候補Qの処理候補情報(PY1[i]、PX1[i]、WD1[i])が更新される。
 本実施の形態では、図5(b)に示すように、画像処理領域A1~A3の画像を縮小した画像B1~B3のうち、画像B1、B2内の領域C1、C2において処理候補Q1、Q2が選定される。そして、処理候補Q1、Q2の位置が、元の前方画像60上での位置(図5(c)を参照)に変換されて、処理候補情報が更新される。
 そして、処理候補Qの処理候補情報(PY1[i]、PX1[i]、WD1[i])と前方画像60に基づいて、前方画像60内に画像処理領域Dが設定され(S63)、画像処理領域Dの画像に対して第2のアルゴリズムを用いた画像処理が実行され、処理候補Qが予め設定された所定の立体物(歩行者)であるか否かが判定される(S64)。
 第2のアルゴリズムでは、処理候補との相対距離に応じて10メートル、20メートル、30メートル用の第2~第4の識別器5を使い分けるので、処理候補との相対距離に応じて処理する画像の大きさが異なる。本実施の形態では、画像処理領域D1、D2のうち、画像処理領域D1内の物体P1が、歩行者であると判定されている。
 以上説明したように、本実施の形態における車載用物体検知装置100によれば、第1のアルゴリズムで第2のアルゴリズムを実行する範囲を絞ることができ、制御装置3の処理負荷を小さくすることができる。すなわち、最初に処理候補を選定し、その選定された処理候補に対して立体物であるか否かを判定するので、第1のアルゴリズムの画像処理よりも処理負荷の大きい第2のアルゴリズムの画像処理を実行する回数を減らすことができ、結果として、制御装置3の処理負荷を小さくすることができる。
 そして、処理候補選定手段33では、第1のアルゴリズムによって、前方画像の画像処理領域内の画像を縮小し、その縮小した画像内で処理候補を探索するので、前方画像の画像処理領域内の画像を探索するよりも探索範囲を小さくすることができ、制御装置3の処理負荷を小さくすることができ、また、迅速に探索することができる。
 そして、立体物判定手段34では、第2のアルゴリズムによって、処理候補選定手段33が処理候補を選択する際に用いる画像よりも、高精度の画像を用いて立体物を判定するので、誤検知を低減することができる。
 また、立体物判定手段34では、第2のアルゴリズムによって、自車と処理候補との間の相対距離に応じて第2~第4の識別器5を使い分けるので、近傍の物体ほど誤検知を低減できる。すなわち、自車前方をカメラで撮影した画像では、自車に近い物体ほど画像に大きく写り、多くの情報を得ることができるので、距離に応じて識別器5を使い分けることによって、自車に近い物体ほど多くの情報を使用することができ、その結果、誤検知を減らすことができる。
 なお、第1のアルゴリズムおよび第2のアルゴリズムで用いる識別器5の数はそれぞれ1つ、3つに限定されず、いくつ用いてもよい。また、各識別器5の入力画像50の大きさは10メートル、20メートル、30メートル、40メートルの距離での大きさに限定されず、どの距離の画像に設定してもよい。さらに、歩行者の検知に用いる識別器5は、本実施例で取り上げた方法に限定されない。ニューラルネットワーク識別器、サポートベクターマシン識別器、ベイズ識別器などを用いてもよい。
[第2実施の形態]
 次に、本発明の車載用物体検知装置101の別の実施の形態を、図6から10を用いて詳細に説明する。なお、以下の説明では、上述の車載用物体検知装置100と異なる個所のみ詳述し、同様の個所には同一の番号を付し説明を省略する。
 図6は、別形態の車載用物体検知装置101の実施形態を示すブロック図である。車載用物体検知装置101は、計測装置1、画像取込装置2、制御装置4から構成される。
 制御装置4は、所定の処理がプログラミングされており、あらかじめ定められた周期で繰り返し処理を実行する。制御装置3との差異がある処理を以下で説明する。
 予測進路設定手段41は、車速センサ、操舵角センサ、ヨーレートセンサの検知信号に応じて車速Vsp、操舵角α、ヨーレートγなどの自車情報を取得し、この自車情報に応じて自車の予測進路を演算する。
 これら自車情報の取得には、各センサの信号を制御装置4に直接入力することによって取得しても良いし、センサ信号が他の制御装置に入力されている場合はその制御装置とLAN(Local Area Network)を用いた通信を行うことによって取得しても良い。ここでは、自車の予測進路として旋回半径Rを演算する。なお、旋回半径Rの演算方法については後述する。
 処理候補選定領域設定手段42は、予測進路設定手段41で取得した自車の予測進路に応じて、処理候補選定手段44が選定処理を実行するための処理候補選定領域を設定する。なお、処理候補選定領域の設定方法については後述する。
 立体物判定領域設定手段43は、処理候補選定領域設定手段42で取得した処理候補選定領域に応じて、立体物判定手段45が判定処理を実行するための立体物判定領域を設定する。なお、立体物判定領域の設定方法については後述する。
 処理候補選定手段44は、物体情報取得手段31で取得した物体情報(相対距離PY0[i]、横位置PX0[i]、幅WD0[i])と、画像情報取得手段32で取得した画像情報IMG[x][y]と、処理候補選定領域設定手段42で設定した処理候補選定領域に応じて、処理候補情報(相対距離PY1[i]、横位置PX1[i]、幅WD1[i])を演算する。ここで、iは複数の処理候補を選定している場合のID番号である。なお、処理候補の演算方法については後述する。
 立体物判定手段45は、画像情報取得手段32で取得した画像の画像情報IMG[x][y]と、処理候補選定手段44で演算した処理候補情報(相対距離PY1[i]、横位置PX1[i]、幅WD1[i])と、立体物判定領域設定手段43で設定した立体物判定領域に応じて、立体物情報(相対距離PY2[i]、横位置PX2[i]、幅WD2[i])を演算する。ここで、iは複数の立体物を検知している場合のID番号である。なお、物体判定の演算方法については後述する。
 次に、図7を用いて、車載用物体検知装置101の予測進路設定手段41について説明する。図7は、予測進路設定手段41の処理内容を示す模式図である。
 図7に示すように、自車70の位置を原点Oとすると、予測進路Tは原点Oを通る旋回半径Rの円弧で近似できる。ここで、旋回半径Rは、自車70の操舵角α、速度Vsp、スタビリティファクタA、ホイールベースBおよびステアリングギア比Gsを用いて式(1)で表される。
    R=(1+AVsp)×(B・Gs/α) (1)
 スタビリティファクタAとは、その正負が、車両のステア特性を支配するものであり、車両の定常円旋回の速度に依存する変化の大きさを示す指数となる重要な値である。式(1)からわかるように、旋回半径Rは、スタビリティファクタAを係数として、自車70の速度Vspの2乗に比例して変化する。また、旋回半径Rは車速Vspおよびヨーレートγを用いて式(2)で表すことができる。
    R=Vsp/γ        (2)
 以上説明したように、車速Vsp、操舵角αおよびヨーレートγの自車情報を利用することによって自車70の予測進路を旋回半径Rの円弧で近似することが可能となる。
 次に、制御装置4の処理候補選定領域設定手段42および立体物判定領域設定手段43について説明する。処理候補選定領域設定手段42は、予測進路設定手段41により設定された予測進路Tに応じて、例えば、図8(a)に示すように、車線幅Wn分の予測進路T上となるように、処理候補選定領域71を設定する。
 立体物判定領域設定手段43は、処理候補選定領域設定手段42により設定された処理候補選定領域71に応じて、例えば、図8(a)に示すように、自車幅Wc分の予測進路T上となるように、立体物判定領域72を設定する。
 処理候補選定領域71および立体物判定領域72の設定方法として、上記の例では幅の設定例を述べたが、他の設定方法として、自車70からの距離方向に設定する方法がある。
 図8(b)は、TTCaとTTCbという時間を設定し、自車70前方の物体との相対距離を相対速度で割ることにより算出される衝突予測時間がTTCa以下の警報領域を処理候補選定領域73、TTCb以下の制動領域を立体物判定領域74とする例である。
 また、THWaとTHWbという時間を設定し、自車速度とTHWaおよびTHWbから得られる予測位置を用いて、THWaでの到達位置までを処理候補選定領域75、THWbでの到達位置までを立体物判定領域76と設定してもよい。
 なお、処理候補選定領域71、73、75および立体物判定領域72、74、76の設定方法はこれに限らず、カメラなどの画像取込装置2により得られる画像から自車701の走行レーンを認識するレーン認識装置の認識結果と自車701の予測進路Tが重なる部分としてもよいし、レーダなどの計測装置1により検知された自車70前方の物体の距離に応じて設定してもよい。
 次に、図9を用いて、制御装置4の処理候補選定手段44について説明する。図9は、処理候補選定手段44の処理内容を示すフローチャートである。
 まず、ステップS401において、物体情報取得手段31により検知された物体情報(PY0[i]、PX0[i]、WD0[i])を読み込む。次に、ステップS402において、処理候補数jに0を代入し初期化する。この後、読み込んだ物体の数に応じて、以下説明するステップS403からステップS407を繰り返す。
 ステップS403において、物体が処理候補選定領域設定手段42により設定された処理候補選定領域内であるか否かの判定を行う。物体が処理候補選定領域外であると判断された場合には、次の繰り返し処理に入る。処理候補選定領域内であると判断された場合には、続けてステップS404以降の処理を行う。
 ステップS404において、物体情報とカメラ幾何モデルに基づいて画像上での画像処理領域を設定する。画像処理領域を設定した後は、ステップS405に進み、この領域内を走査するパターンマッチングなどの画像処理を実行して物体を検知する。
 ステップS405で使う画像処理のアルゴリズムは上述のステップS204に記載の第1のアルゴリズムと同様である。その後、ステップS406において、物体が検知されたか否かの判定を行う。物体が検知された場合には、ステップS407に進み、処理候補として、パターンマッチの結果に応じて相対距離PY1[j]、横位置PX1[j]、幅WD1[j]を記録し、処理候補数jを1加算する。
 繰り返し処理の終了後、ステップS408にて、記録された処理候補情報(記録された全ての相対距離PY1[j]、横位置PX1[j]、幅WD1[j])を、立体物判定手段45に出力して処理を終了する。
 次に、図10を用いて、制御装置4の立体物判定手段45について説明する。
図10は、立体物判定手段45の処理内容を示すフローチャートである。
 まず、ステップS501において、処理候補選定手段44により選定された処理候補情報(PY1[i]、PX1[i]、WD1[i])を読み込む。つぎに、ステップS502において、立体物数jに0を代入し初期化する。この後、読み込んだ処理候補の数に応じて、以下説明するステップS503からステップS507を繰り返す。
 ステップS503において、処理候補が立体物判定領域設定手段43により設定された立体物判定領域内に存在するか否かの判定を行う。処理候補が立体物判定領域外にある(ステップS503でNO)と判断された場合には、ステップS507に進み、取得した処理候補(相対距離PY1[i]、横位置PX1[i]、幅WD1[i])を立体物(相対距離PY2[j]、横位置PX2[j]、幅WD2[j])としてそのまま登録し、次の繰り返し処理に入る。一方、処理候補が立体物判定領域内に存在する(ステップS503でYES)と判断された場合には、続けてステップS504以降の処理を行う。
 ステップS504において、処理候補情報とカメラ幾何モデルに基づいて画像上での画像処理領域を設定する。画像処理領域を設定した後は、ステップS505に進み、この領域内を走査するパターンマッチングなどの画像処理を実行して立体物を検知する。ステップS505で使う画像処理のアルゴリズムは上述のステップS304に記載の第2のアルゴリズムと同様である。
 その後、ステップS506において、立体物が検知されたか否かの判定を行い、立体物が検知された場合(ステップS506でYES)には、ステップS507に進み、パターンマッチの結果に応じて、立体物の相対距離PY2[j]、横位置PX2[j]、幅WD2[j]を記録し、立体物数jを1加算する。
 繰り返し処理の終了後、ステップS508にて、記録された立体物の立体物情報(記録された全ての相対距離PY2[j]、横位置PX2[j]、幅WD2[j])を車載用物体検知装置101から外部に出力して処理を終了する。
 以上説明したように、本実施の形態では、処理候補選定領域と立体物判定領域を設定することによって、画像処理対象を限定し、前述した車載用物体検知装置100よりも処理負荷を軽減することができる。
 次に、図11を用いて、プリクラッシュ・セーフティ・システムを例にとり、前記の各実施の形態によって得られる立体物情報(相対距離PY2[i]、横位置PX2[i]、幅WD2[i])に応じて警報を出力する、あるいは自動的にブレーキを制御するといった制御システムの動作方法について説明する。
 図11は、プリクラッシュ・セーフティ・システムの動作方法を示すフローチャートである。最初に、ステップS601において、車載用物体検知装置100もしくは車載用物体検知装置101で演算された立体物情報(相対距離PY2[i]、横位置PX2[i]、幅WD2[i])を読み込む。
 次に、ステップS602において、検知された各物体の衝突予測時間TTC[i]を式(3)を用いて演算する。ここで、相対速度VY[i]は、物体の相対距離PY[i]を擬似微分することによって求める。
    TTC[i]=PY[i]÷VY[i]   (3)
 そして、ステップS603において、各立体物に対する危険度DRECI[i]を演算する。以下、車載用物体検知装置100もしくは車載用物体検知装置101で検知された物体X[i]に対する危険度DRECI[i]の演算方法の例を、図7を用いて説明する。
 まず、物体X[i]から前述の方法にて得られる予測進路Tの中心へ垂線を引き、物体Xと予測進路Tとの離間距離L[i]を求める。つぎに、自車幅Wcの半分の大きさである幅H(H=Wc/2)から距離L[i]を引き、これが負値の場合には危険度DRECI[i]=0とし、正値の場合には以下の式(4)によって危険度DRECI[i]を演算する。
    DRECI[i]= (H-L[i])/H  (4)
 なお、ステップS601~S604の処理は、検知した物体数に応じてループ処理を行う構成としている。
 ステップS604において、ステップS603で演算した危険度DRECI[i]に応じて以下の式(5)が成立している物体を選択し、選択された物体の中で衝突予測時間TTC[i]が最小となる物体kを選択する。
    DRECI[i]≧ cDRECI# (5)
 ここで、所定値cDRECI#は、自車70に衝突するか否かを判定するための閾値である。
 次に、ステップS605において、選択された物体kの衝突予測時間TTC[k]に応じて自動的にブレーキを制御する範囲であるか否かを下記の式(6)を用いて判定する。
    TTC[k]≦cTTCBRK#   (6)
 上記の式(6)が成立している場合には物体kが制動領域内に存在するとして、ステップS606に進み、ブレーキ制御を実行して処理を終了する。また、式(6)が非成立の場合には、ステップS607に進む。
 ステップS607では、選択された物体kの衝突予測時間TTC[k]に応じて警報を出力する範囲であるか否かを下記の式(7)を用いて判定する。
    TTC[k]≦cTTCALM#   (7)
 上記の式(7)が成立している場合には物体kが警報領域内に存在するとして、ステップS608に進み、警報を出力して処理を終了する。また、式(7)が非成立の場合には、ブレーキ制御、警報ともに実行せずに処理を終了する。
 以上説明したように、本発明である車載用物体検知装置100もしくは101より得られる物体情報(相対距離PY2[i]、横位置PX2[i]、幅WD2[i])は、自動ブレーキ、警報といったシステムの動作に関わる危険度DRECI[i]の算出に用いられる重要なパラメータである。
 本発明は、上記のような実施形態にすることにより、自車近傍の非立体物に対する誤検知を低減し、警報、自動ブレーキの誤動作を防止することができる。
 なお、本発明は、上述の各実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。

Claims (17)

  1.  自車と自車前方の物体との距離を計測する計測装置と、自車の前方画像を取り込む画像取込装置と、前記物体の距離に基づき前記前方画像から前記物体の画像を特定し、該物体の画像を用いて前記物体を識別する処理を行う制御装置とを有する車載用物体検知装置であって、
     前記制御装置は、
     前記物体の距離と前記前方画像とに基づいて処理候補を選定する処理候補選定手段と、
     前記処理候補の距離と前記前方画像とに基づいて前記処理候補が予め設定された所定の立体物であるかを判定する立体物判定手段と、
     を有することを特徴とする車載用物体検知装置。
  2.  前記処理候補選定手段は、前記物体の距離と前記前方画像とに基づいて前記前方画像内に画像処理領域を設定し、該画像処理領域内の画像に対して画像処理を実行することによって、前記物体から処理候補を選定し、
     前記立体物判定手段は、前記処理候補の距離と前記前方画像とに基づいて前記前方画像内に画像処理領域を設定し、該画像処理領域の画像に対して画像処理を実行することによって、前記処理候補が予め設定された所定の立体物であるかを判定することを特徴とする請求項1に記載の車載用物体検知装置。
  3.  前記立体物判定手段によって前記画像処理が実行される画像処理領域内の画像が、前記処理候補選定手段によって前記画像処理が実行される画像処理領域内の画像よりも高精度であることを特徴とする請求項2に記載の車載用物体検知装置。
  4.  前記処理候補選定手段は、前記立体物を自車から前方に予め設定された距離だけ離れた位置に配置した場合の画像の大きさと同一の大きさに前記画像処理領域内の画像を縮小し、該縮小した画像に対して画像処理を実行し、
     前記立体物判定手段は、前記立体物を自車から前方に予め設定された距離だけ離れた位置に配置した場合の画像の大きさと同一の大きさに前記画像処理領域内の画像を縮小し、該縮小した画像に対して画像処理を実行することを特徴とする請求項3に記載の車載用物体検知装置。
  5.  前記立体物判定手段が前記画像処理領域内の画像を縮小する縮小率は、前記処理候補選定手段が前記画像処理領域内の画像を縮小する縮小率よりも小さい値に設定されていることを特徴とする請求項4に記載の車載用物体検知装置。
  6.  前記処理候補は、人物の候補であり、
     前記所定の立体物は、人物であることを特徴とする請求項1に記載の車載用物体検知装置。
  7.  前記計測装置は、レーダであり、前記画像取込装置は、カメラであることを特徴とする請求項1に記載の車載用物体検知装置。
  8.  前記制御装置は、自車の予測進路を設定する予測進路設定手段と、前記予測進路に応じて処理候補選定領域を設定する処理候補選定領域設定手段と、を有し、
     前記処理候補選定手段は、前記物体の距離に基づいて前記処理候補選定領域内に前記物体が存在するか否かを判断し、前記処理候補選定領域内に前記物体が存在すると判断した場合に、前記物体の距離と前記前方画像とに基づいて前記前方画像内に画像処理領域を設定することを特徴とする請求項1に記載の車載用物体検知装置。
  9.  前記処理候補選定領域設定手段は、自車の予測進路上に車線幅分の横幅を有するように前記処理候補選定領域を設定することを特徴とする請求項8に記載の車載用物体検知装置。
  10.  前記処理候補選定領域設定手段は、前記自車の速度と前記予測進路に応じて前記処理候補選定領域を設定することを特徴とする請求項8に記載の車載用物体検知装置。
  11.  前記処理候補選定領域設定手段は、自車と物体の相対距離及び相対速度に基づいて算出される衝突予測時間と前記予測進路に応じて前記処理候補選定領域を設定することを特徴とする請求項8に記載の車載用物体検知装置。
  12.  前記制御装置は、外界認識センサにより自車の走行レーンを認識する走行レーン認識手段を有し、
     前記処理候補選定領域設定手段は、前記走行レーン認識手段の認識結果と前記予測進路に応じて前記処理候補選定領域を設定することを特徴とする請求項8に記載の車載用物体検知装置。
  13.  前記制御装置は、前記予測進路に応じて立体物判定領域を設定する立体物判定領域設定手段を有し、
     該立体物判定領域設定手段は、前記処理候補の距離に基づいて前記処理候補選定領域内に前記処理候補が存在するか否かを判断し、前記立体物判定領域内に前記処理候補が存在すると判断した場合に、前記処理候補の距離と前記前方画像とに基づいて前記前方画像内に画像処理領域を設定することを特徴とする請求項1に記載の車載用物体検知装置。
  14.  前記立体物判定領域設定手段は、自車の予測進路上に自車幅分の横幅を有するように前記立体物判定領域を設定することを特徴とする請求項13に記載の車載用物体検知装置。
  15.  前記立体物判定領域設定手段は、前記自車の速度と前記予測進路に応じて前記立体物判定領域を設定することを特徴とする請求項13に記載の車載用物体検知装置。
  16.  前記立体物判定領域設定手段は、自車と物体の相対距離及び相対速度に基づいて算出される衝突予測時間と前記予測進路に応じて前記立体物判定領域を設定することを特徴とする請求項13に記載の車載用物体検知装置。
  17.  前記制御装置は、外界認識センサにより自車の走行レーンを認識する走行レーン認識手段を有し、
     前記立体物判定領域設定手段は、前記走行レーン認識手段の認識結果と前記予測進路に応じて前記立体物判定領域を設定することを特徴とする請求項13に記載の車載用物体検知装置。
PCT/JP2009/058806 2008-05-14 2009-05-12 車載用物体検知装置 WO2009139364A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP09746571A EP2288138A1 (en) 2008-05-14 2009-05-12 On-vehicle object detection device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-127526 2008-05-14
JP2008127526A JP5283967B2 (ja) 2008-05-14 2008-05-14 車載用物体検知装置

Publications (1)

Publication Number Publication Date
WO2009139364A1 true WO2009139364A1 (ja) 2009-11-19

Family

ID=41318731

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/058806 WO2009139364A1 (ja) 2008-05-14 2009-05-12 車載用物体検知装置

Country Status (3)

Country Link
EP (1) EP2288138A1 (ja)
JP (1) JP5283967B2 (ja)
WO (1) WO2009139364A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102985957A (zh) * 2010-07-09 2013-03-20 本田技研工业株式会社 车辆周围监测装置

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5645103B2 (ja) * 2010-05-17 2014-12-24 いすゞ自動車株式会社 先行車検知装置
KR101178508B1 (ko) * 2010-07-19 2012-09-07 포항공과대학교 산학협력단 차량 충돌 경보 시스템 및 방법
JP5626578B2 (ja) 2010-12-02 2014-11-19 アイシン・エィ・ダブリュ株式会社 走行支援システム、走行支援プログラム、及び走行支援方法
DE102011076112A1 (de) * 2011-05-19 2012-11-22 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Erkennen eines möglichenKollisionsobjektes
US10081308B2 (en) 2011-07-08 2018-09-25 Bendix Commercial Vehicle Systems Llc Image-based vehicle detection and distance measuring method and apparatus
JP5690688B2 (ja) * 2011-09-15 2015-03-25 クラリオン株式会社 外界認識方法,装置,および車両システム
KR101355101B1 (ko) * 2011-12-16 2014-01-27 아진산업(주) 차량의 어라운드 뷰 모니터의 제어방법
EP2654028B1 (en) * 2012-04-20 2018-09-26 Honda Research Institute Europe GmbH Orientation sensitive traffic collision warning system
JP5786793B2 (ja) * 2012-05-09 2015-09-30 株式会社デンソー 車両検出装置
DE102012009703A1 (de) 2012-05-16 2013-11-21 Volkswagen Ag Verfahren und Vorrichtung zur Personenerkennung im Umfeld eines Kraftfahrzeugs
EP2708913A1 (de) * 2012-09-18 2014-03-19 Sick Ag Optoelektronischer Sensor und Verfahren zur Objekterfassung
CN106415662B (zh) * 2014-06-03 2020-06-19 本田技研工业株式会社 车辆周围监视装置
JP6543117B2 (ja) * 2015-07-07 2019-07-10 株式会社Subaru 車両の運転支援装置
KR102453782B1 (ko) * 2016-12-15 2022-10-11 현대자동차주식회사 자율주행을 위한 차선검출 방법.
JP6830656B2 (ja) 2017-03-30 2021-02-17 株式会社エクォス・リサーチ 対象物判定装置および対象物判定プログラム
DE102018124974B4 (de) * 2018-10-10 2021-08-12 Sick Ag Optoelektronischer Sensor zur Detektion von Objekten und autonomes Fahrzeug mit einem solchen Sensor
JP7446605B2 (ja) 2020-03-31 2024-03-11 株式会社ユピテル システム、プログラム、学習済みモデル、学習モデルの生成方法および生成装置等
JP2022169985A (ja) * 2021-04-28 2022-11-10 日立Astemo株式会社 外界認識装置、および、外界認識システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07129898A (ja) * 1993-11-05 1995-05-19 Toyota Central Res & Dev Lab Inc 障害物検出装置
JP2003139858A (ja) * 2001-11-02 2003-05-14 Fuji Heavy Ind Ltd 車外監視装置
JP2007240314A (ja) 2006-03-08 2007-09-20 Omron Corp 物体検出装置
JP2008127526A (ja) 2006-11-24 2008-06-05 Mitsubishi Rayon Co Ltd 水性塗料用耐候性向上材

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07129898A (ja) * 1993-11-05 1995-05-19 Toyota Central Res & Dev Lab Inc 障害物検出装置
JP2003139858A (ja) * 2001-11-02 2003-05-14 Fuji Heavy Ind Ltd 車外監視装置
JP2007240314A (ja) 2006-03-08 2007-09-20 Omron Corp 物体検出装置
JP2008127526A (ja) 2006-11-24 2008-06-05 Mitsubishi Rayon Co Ltd 水性塗料用耐候性向上材

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102985957A (zh) * 2010-07-09 2013-03-20 本田技研工业株式会社 车辆周围监测装置

Also Published As

Publication number Publication date
EP2288138A1 (en) 2011-02-23
JP2009276200A (ja) 2009-11-26
JP5283967B2 (ja) 2013-09-04

Similar Documents

Publication Publication Date Title
JP5283967B2 (ja) 車載用物体検知装置
JP4892518B2 (ja) 車両用外界認識装置、および、車両システム
JP5372680B2 (ja) 障害物検知装置
US9311711B2 (en) Image processing apparatus and image processing method
JP4830604B2 (ja) 物体検出方法および物体検出装置
US6838980B2 (en) Camera-based precrash detection system
US6687577B2 (en) Simple classification scheme for vehicle/pole/pedestrian detection
US20170297488A1 (en) Surround view camera system for object detection and tracking
JP6313081B2 (ja) 車載用画像処理装置およびそれを用いた車両システム
JP5620147B2 (ja) 可動物予測装置及びプログラム
WO2018105179A1 (ja) 車載用画像処理装置
US8233663B2 (en) Method for object formation
JP5410730B2 (ja) 自動車の外界認識装置
JP5371273B2 (ja) 物体検知装置、周辺監視装置、運転支援システムおよび物体検知方法
US20120300078A1 (en) Environment recognizing device for vehicle
JP5178276B2 (ja) 画像認識装置
US11119210B2 (en) Vehicle control device and vehicle control method
JP7413935B2 (ja) 車載センサシステム
US20140156178A1 (en) Road marker recognition device and method
CN110033621B (zh) 一种危险车辆检测方法、装置及系统
JP2008123462A (ja) 物体検知装置
JP6547785B2 (ja) 物標検出装置
JP5593217B2 (ja) 車両用外界認識装置およびそれを用いた車両システム
Lindner et al. 3D LIDAR processing for vehicle safety and environment recognition
JP4982353B2 (ja) 外界認識装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09746571

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2009746571

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE