WO2011036936A1 - 障害物検知装置 - Google Patents

障害物検知装置 Download PDF

Info

Publication number
WO2011036936A1
WO2011036936A1 PCT/JP2010/062347 JP2010062347W WO2011036936A1 WO 2011036936 A1 WO2011036936 A1 WO 2011036936A1 JP 2010062347 W JP2010062347 W JP 2010062347W WO 2011036936 A1 WO2011036936 A1 WO 2011036936A1
Authority
WO
WIPO (PCT)
Prior art keywords
obstacle
image
unit
vehicle
edge
Prior art date
Application number
PCT/JP2010/062347
Other languages
English (en)
French (fr)
Inventor
緒方健人
土屋和利
坂本博史
Original Assignee
日立オートモティブシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立オートモティブシステムズ株式会社 filed Critical 日立オートモティブシステムズ株式会社
Priority to EP10818613.1A priority Critical patent/EP2482030B1/en
Priority to US13/391,929 priority patent/US8705796B2/en
Publication of WO2011036936A1 publication Critical patent/WO2011036936A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Definitions

  • It relates to an obstacle detection device that detects an obstacle ahead of the vehicle.
  • a preventive safety system is a system that operates in a situation where there is a high possibility of an accident.For example, when there is a possibility of collision with an obstacle in front of the host vehicle, a warning is given to the driver to alert the driver. Pre-crash safety systems have been put into practical use that reduce the damage to passengers by automatic braking when inevitable situations occur.
  • a method of detecting obstacles such as cars and pedestrians
  • the amount of change in the gray value is obtained from the captured image, and an edge image in which only the portion where the amount of change is equal to or greater than a predetermined threshold is extracted is generated.
  • a method of detecting an obstacle by calculating the similarity between the outline of the obstacle on the edge image and a template of the obstacle outline stored in advance is used.
  • Patent Document 1 describes a method of detecting an object in front of the host vehicle with a laser radar, improving the contrast of the gray value of an image region including the object detected by the laser radar, and extracting an edge. According to this method, even when an obstacle is present in a dark place such as in a tunnel or in the shade, and the change in gray value between the obstacle and the background is small, the contrast of the image area including the object is improved. Therefore, the change in the gray value becomes large, and the edge can be extracted.
  • JP 2007-96510 A JP 2007-96510 A
  • the vehicle has its headlights on and some of the obstacles such as pedestrians are shining, or if the road surface is reflected during backlight and only the feet are bright, the continuous contour of the obstacles Is present across the bright part and the dark part, even if the contrast is improved in the image area including the obstacle, the contrast in the dark part is not improved and the edge cannot be extracted. As a result, the contour existing in the dark part cannot be extracted from the contour of the obstacle, and the obstacle is not recognized.
  • the edge threshold is tuned so that the contour can be extracted in the dark part where the change in the gray value is small, it will react to a slight change in the bright part, resulting in frequent false detections. In particular, if this phenomenon occurs in a place where there is nothing in front of the vehicle, an alarm or automatic brake is activated in a place where there is nothing, and the safety of the vehicle is impaired.
  • the present invention has been made paying attention to the above-mentioned problem, and the object of the present invention is when the obstacle has a bright part and a dark part, and a continuous contour of the obstacle extends over the bright part and the dark part. Is to provide an obstacle detection device that enables stable obstacle detection with few false detections.
  • an obstacle detection apparatus includes an image acquisition unit that captures an image captured outside the host vehicle, and a processing image generation unit that generates a processing image for detecting an obstacle from the captured image.
  • a small region dividing unit that divides the processed image into a plurality of small regions, an edge threshold setting unit that sets an edge threshold value for each small region from the pixel values of the plurality of small regions and the processed image, and a plurality of small regions
  • a gradation gradient image having a binary edge image and edge direction information is calculated using the edge threshold value of the small area corresponding to the calculated gradation gradient value by calculating a gradation gradient value for each small area from the processed image.
  • an edge extraction unit for generating an obstacle, and a matching determination area for detecting an obstacle in the edge image, and the presence / absence of an obstacle from the edge image in the matching determination area and the gradient direction image corresponding to the edge image is determined.
  • Size And a recognition result output unit that outputs an obstacle determination result, and the small area dividing unit divides the processed image into a plurality of small areas based on the illumination state outside the host vehicle.
  • an image acquisition unit that captures an image captured outside the vehicle, a processing region setting unit that sets a processing region for detecting an obstacle from the captured image, and a small region that divides the processing region into a plurality of small regions
  • An edge threshold value setting unit for setting an edge threshold value for each small region from the pixel values of the image captured by the dividing unit, the plurality of small regions and the image acquiring unit, and an image captured by the plurality of small regions and the image acquiring unit And calculating a gradient gradient value for each small region, and using a small region edge threshold corresponding to the calculated gradient gradient value, a binary edge image and a gradient direction image having edge direction information.
  • An edge extraction unit to be generated and a matching determination area for detecting an obstacle in the edge image are set, and an obstacle is determined based on the edge image in the matching determination area and the gradient direction image corresponding to the edge image.
  • An object recognition unit and a recognition result output unit that outputs an obstacle determination result, and the small region dividing unit is configured to divide the processing region into a plurality of small regions based on an illumination state outside the host vehicle. .
  • An obstacle detection device that enables stable obstacle detection with few false detections even when a bright part and a dark part exist in an obstacle and a continuous contour of the obstacle exists across the bright part and the dark part. Can be provided.
  • FIG. 1st embodiment of an obstacle detection device concerning the present invention. It is a schematic diagram showing the image and parameter used with the obstacle detection apparatus which concerns on this invention. It is a figure which shows an example of the process in the process image generation part of this invention. It is a figure which shows the example of a division
  • FIG. 1 is a block diagram of an in-vehicle object detection apparatus 1000 according to the first embodiment.
  • An on-vehicle object detection device 1000 that is an obstacle detection device is incorporated in a camera 1010 that is an image sensor mounted on a car, an integrated controller, or the like, and is set in advance from an image outside the host vehicle that is captured by the camera 1010.
  • the present embodiment is configured to detect a pedestrian from an image obtained by imaging the front of the host vehicle.
  • the vehicle-mounted object detection apparatus 1000 is configured by a computer having a CPU, a memory, an I / O, and the like, and a predetermined process is programmed and the process is repeatedly executed at a predetermined cycle.
  • the vehicle-mounted object detection apparatus 1000 includes an image acquisition unit 1011, a processed image generation unit 1021, a small region division unit 1031, an edge threshold setting unit 1041, an edge extraction unit 1051, an obstacle. It has a recognition unit 1061 and a recognition result output unit 1071, and further includes an object position detection unit 1111, a vehicle light lighting detection unit 1211, and a road surface paint detection unit 1311 according to the embodiment.
  • the image acquisition unit 1011 takes an image of the outside of the host vehicle from a camera 1010 attached to a position where the outside of the host vehicle including the front of the host vehicle can be imaged, and writes the image on the RAM as an image IMGSRC [x] [y].
  • image IMGSRC [x] [y] is a two-dimensional array, and x and y indicate the coordinates of the image, respectively.
  • the processed image generation unit 1021 generates a processed image IMGPROC [x] [y] for detecting a pedestrian that is an obstacle from the image IMGSRC [x] [y].
  • the processed image IMGPROC [x] [y] is an image obtained by enlarging / reducing a part of the image IMGSRC [x] [y] by a predetermined coefficient. Details of the processing will be described later.
  • the small area dividing unit 1031 divides the processed image IMGPROC [x] [y] into a plurality of small areas (SXR [r], SYR [r], EXR [r], EYR [r]).
  • r is the ID number of the small area.
  • the edge threshold value setting unit 1041 calculates each small area from the pixel value of the processed image IMGPROC [x] [y] in each small area (SXR [r], SYR [r], EXR [r], EYR [r]). Edge threshold value THR [r] is determined. Details of the threshold setting will be described later.
  • the edge extraction unit 1051 calculates a light / dark gradient value in each small region of the processed image IMGPROC [x] [y], and uses the edge threshold value THR [r] of the corresponding small region to output a binary edge image EDGE [ Gradient direction image DIRC [x] [y] having x] [y] and edge direction information is generated. Details of the processing will be described later.
  • the obstacle recognizing unit 1061 performs matching determination regions (SXG [g], SYG [g], EXG [g], EYG [] for performing obstacle determination (for example, pedestrian determination) in the edge image EDGE [x] [y]. g]) and using the edge image EDGE [x] [y] in the matching determination area and the gradient direction image DIRC [x] [y] in the corresponding position area, an obstacle such as a pedestrian The presence or absence of is determined.
  • g is an ID number when a plurality of areas are set. Details of the recognition process will be described later.
  • the recognition result output unit 1071 changes the function of the vehicle according to obstacle information including at least the relative distance PYO [b] to the recognized obstacle such as a pedestrian.
  • obstacle information including at least the relative distance PYO [b] to the recognized obstacle such as a pedestrian.
  • the recognized pedestrian position (relative distance PYO [b], lateral position PXO [b], lateral width WDO [b]) is output.
  • b is an ID number when a plurality of objects are detected.
  • the object position detection unit 1111 acquires a detection signal from a radar that is an obstacle detection unit that detects an object around the host vehicle such as a millimeter wave radar or a laser radar mounted on the host vehicle, and exists in front of the host vehicle.
  • the position of the obstacle to be detected is detected. For example, as shown in FIG. 3, the position (relative distance PY [b], lateral position PX [b], lateral width WD [b]) of an obstacle such as a pedestrian 32 around the own vehicle is acquired from the radar.
  • b is an ID number when a plurality of objects are detected.
  • the position information of these objects may be acquired by directly inputting a radar signal to the vehicle-mounted object detection apparatus 1000, or may be acquired by communicating with a radar using a LAN (Local Area Network). Also good.
  • the object position detected by the object position detection unit 1111 is used by the processed image generation unit 1021 and the small area division unit 1031.
  • the own vehicle light lighting detection unit 1211 determines whether or not the own vehicle is in a light-on state, and outputs “1” if the light is on and “0” otherwise. .
  • the light lighting determination may be performed by directly inputting a light switch signal, or may be performed by acquiring a light switch signal by performing communication using a LAN (Local Area Network). .
  • the determination may be made using the density of the image acquired by the image acquisition unit 1011. For example, when the light is on, the area where the light is lit is bright and the area outside is dark.
  • the light irradiation range of the road surface is calculated on the image, and the difference between the average luminance value of the light irradiation range and the average luminance value outside the light irradiation range is a certain threshold or more It can be determined using whether or not.
  • the output of the own vehicle light lighting detection unit 1211 is used in the small area dividing unit 1031.
  • the road surface paint detection unit 1311 detects road surface paint such as a pedestrian crossing existing in front of the vehicle.
  • road surface paint there is a method of acquiring navigation information by communication using a LAN (Local Area Network), for example, acquiring information on an intersection with a signal and acquiring a distance from the own vehicle to the pedestrian crossing. .
  • the determination may be made using the density of the image acquired by the image acquisition unit 1011. For example, since road surface paint such as a pedestrian crossing is white, it is captured brightly on the image. Therefore, the road surface paint can be detected by the following means.
  • a road surface area of the image is calculated on the image, and pixels whose luminance value of the road surface area is greater than or equal to a threshold TH_GBright are extracted.
  • the extracted pixels are grouped by adjacent pixels, and the y coordinate of the uppermost region on the image of the region at the highest position on the image from the region where the area is the threshold value TH_GArea among the grouped regions.
  • Y_Gmin is acquired.
  • the distance from the own vehicle to the position of Y_Gmin is calculated using the camera geometry. By the above process, the distance from the own vehicle to the road surface paint can be calculated.
  • the output of the road surface paint detection unit 1311 is used by the small area dividing unit 1031.
  • FIG. 2 illustrates the images and regions used in the above description using examples.
  • the processed image IMGPPROC [x] [y] is generated from the image IMGSRC [x] [y]
  • the edge image EDGE [x] [y] and the gradient direction image are generated from the processed image IMGPPROC [x] [y].
  • DIRC [x] [y] is generated.
  • the small regions (SXR [r], SYR [r], EXR [r], EYR [r]) are set so as to divide the processed image IMGPROC [x] [y], and the matching determination region (SXG [g ], SYG [g], EXG [g], EYG [g]) are regions of a predetermined size in the edge image EDGE [x] [y] and the gradient direction image DIRC [x] [y]. is there.
  • FIG. 3 shows an example of processing of the processed image generation unit.
  • the processed image generation unit 1021 selects a region for pedestrian detection processing in the image IMGSRC [x] [y], and the range of the coordinates, the start point SXP and the end point EXP of the x coordinate (horizontal direction), on the y coordinate ( A start point SYP and an end point EYP in the (vertical direction) are obtained, and a processed image IMGPROC [x] [y] is generated from the areas.
  • the processing image generation unit 1021 may or may not use the object position detection unit 1111. First, a case where the object position detection unit 1111 is used in the processed image generation unit 1021 will be described.
  • FIG. 3A is an example of processing of the processing image generation unit when the object position detection unit 1111 is used.
  • the detected position on the image (start point SXB of the x coordinate (lateral direction)) of the obstacle. , End point EXB, y coordinate (vertical direction start point SYB, end point EYB).
  • a camera geometric parameter that associates the coordinates on the camera image with the positional relationship in the real world is calculated in advance by a method such as camera calibration, and the height of the object is assumed in advance, for example, 180 [cm].
  • the position on the image is uniquely determined.
  • the image IMGSRC [x] [y] surrounded by the corrected object positions (SXP, EXP, SYP, EYP) is cut out and enlarged or reduced so that the size of the object in the image becomes a predetermined size.
  • the processed image IMGPROC [x] [y] is generated.
  • camera geometry is used so that all objects having a height of 180 [cm] and a width of 60 [cm] are 16 dots ⁇ 12 dots in the processed image IMGPROC [x] [y]. Enlarge / reduce the image.
  • the processed image generation unit 1021 is based on the image IMGSRC [x] [y] acquired from the image acquisition unit 1011 and the position of the obstacle detected by the object position detection unit 1111.
  • the processed image IMGPROC [x] [y] is generated.
  • each of the processed images IMGPROC [x] [y] is generated, and the following processing from the division boundary setting unit to the obstacle recognition unit is individually performed for each processed image. carry out.
  • the method of selecting an area when the object position detection unit 1111 is not used is, for example, a method of setting an area so as to search the entire image while changing the size of the area, or only a specific position and a specific size.
  • limiting to a specific position for example, there is a method of limiting to a position where the host vehicle has advanced T seconds later by using the host vehicle speed.
  • FIG. 3 (b) shows an example of searching for a position where the host vehicle has advanced 2.3 seconds later using the host vehicle speed.
  • the position and size of the processing area are determined from the road surface height (0 cm) at the relative distance to the position where the vehicle is traveling after 2.3 seconds and the assumed pedestrian height (180 cm in this embodiment).
  • a range (SYP2, EYP2) in the y direction on the image IMGSRC [x] [y] is obtained using the camera geometric parameters.
  • the range in the x direction (SXP2, EXP2) may not be limited, or may be limited by the predicted course of the vehicle.
  • the image IMGSRC [x] [y] surrounded by the corrected object positions (SXP, EXP, SYP, EYP) is cut out and enlarged or reduced so that the size of the object in the image becomes a predetermined size.
  • the processed image IMGPROC [x] [y] is generated.
  • camera geometry is used so that all objects having a height of 180 [cm] and a width of 60 [cm] are 16 dots ⁇ 12 dots in the processed image IMGPROC [x] [y]. Enlarge / reduce the image.
  • FIG. 4 is an example of division of the small area dividing unit 1031
  • FIG. 5 is a flowchart of this example of the small area dividing unit 1031.
  • a division method into small areas a method using the object position detection unit 1111 and the own vehicle light lighting detection unit 1211, a method using the road surface paint detection unit 1311, an object position detection unit 1111 and the own vehicle light lighting.
  • Three types of division methods that use neither the detection unit 1211 nor the road surface paint detection unit 1311 will be described, and then a method for selecting the three methods according to the illumination state outside the vehicle will be described.
  • the small area 1 and the small area 2 may be set without a gap as shown in FIG. 4A, or as shown in FIG. 4B, with the division height VPY on the image as a boundary.
  • a hysteresis of about 5 pixels may be provided so that an edge due to a difference in illumination state does not occur. In the case of the example of FIG. 4B, the edges of the hysteresis portion are all zero.
  • an image including an obstacle detected by the object position detection unit 1111 is generated by the processed image generation unit 1021, and the own vehicle light is detected by the own vehicle light lighting detection unit 1211. If it is determined that the object is illuminated, the object light is calculated based on the relative distance PY [b] of the obstacle detected by the object position detection unit 1111, the light irradiation angle LANGL of the own vehicle, and the light height LHEIGHT of the own vehicle.
  • the irradiation height LZ is calculated by the following formula (1).
  • LZ LHEIGHT-PY [b] tan (LANGL) (1)
  • LANGL LHEIGHT-PY [b] tan (LANGL) (1)
  • LANGL of the own vehicle light and the light height LHEIGHT of the own vehicle are values determined in advance according to the type of the vehicle.
  • LZ is converted into coordinates LZY on the image using camera geometry
  • the small area 1 and the small area 2 may be set without a gap as shown in FIG. 4A, or as shown in FIG. 4B, with the division height LZY on the image as a boundary.
  • a hysteresis of about 5 pixels may be provided so that no edge is caused by light. In the case of the example of FIG. 4B, the edges of the hysteresis portion are all zero.
  • the processed image IMGPROC [x] [y] is divided into upper and lower portions with the detected position of the road surface paint as a boundary. If the distance to the road surface paint is PZ, it is converted to the y coordinate position PZY of the road surface paint on the image using the camera geometric model, and the processed image IMGPROC [x] [y] is set to the small area 1 with PZY as a boundary.
  • the small area 1 and the small area 2 may be set without a gap as shown in FIG. 4A, or as shown in FIG. 4B, with the division height PZY on the image as a boundary.
  • a hysteresis of about 5 pixels may be provided so that an edge due to a difference in illumination state does not occur. In the case of the example of FIG. 4B, the edges of the hysteresis portion are all zero.
  • FIG. 5 is a flowchart showing the switching conditions of the above three division methods.
  • step 51 it is determined whether or not the vehicle is lighting a light using the output of the vehicle light lighting detection unit 1211. If it is determined that the vehicle is lit, the second dividing means is selected. If your car is not lit, move to the next step.
  • step 52 it is determined using the output of the road surface paint detection unit 1311 whether road surface paint exists in front of the host vehicle. If it is determined that road surface paint exists in front of the host vehicle, the third dividing means is selected. If it is determined that there is no road surface paint, the first dividing means is selected.
  • the second dividing means is selected, and it is possible to divide into an area where the headlight is hit and a dark area.
  • the road surface paint is detected in front of the vehicle by the road surface paint detection unit 1311, it is determined that the lower body of the pedestrian standing on the road surface paint is bright and the third dividing means is selected, and the road surface is selected. It can be divided into a bright area containing paint and an area without road paint. Further, if the headlight of the own vehicle is not turned on and no road surface paint is detected, the first dividing means is selected. Even when the road surface is reflected and reflected brightly by the backlight, the first dividing means can be divided into a bright region by the backlight and a region where the road surface is not reflected.
  • the three dividing means need only include at least the first dividing means, and need not include all three. If any of the dividing means is not provided, the conditional branch in FIG. 5 follows the NO route.
  • the edge threshold setting unit 1041 calculates the average AVE [r] of the gray values in the small areas SXR [r], SYR [r], EXR [r], and EYR [r] of the processed image IMGPROC [x] [y]. And the threshold value THR [r] of the edge is determined according to the variance VAR [r].
  • r is the ID number of the small area.
  • the threshold of the edge is, for example, a method using a table having an average AVE [r] of gray values as an argument, a method using a two-dimensional map using an average AVE [r] of gray values and a variance VAR [r], etc. To decide.
  • a method using a map with arguments AVE [r] and variance VAR [r] manually determines an optimum edge threshold in an image of various brightness beforehand, and maps the mean and variance at that time. Use things.
  • the optimum threshold value can be determined from the average AVE [r] and the variance VAR [r] of the gray values of the small regions.
  • the edge threshold value THR [r] is determined not by the gray value, but by the average and variance of the pixel values of the image obtained as a result of applying a Sobel filter or the like to the processed image IMGPROC [x] [y]. May be used. The calculation of the Sobel filter will be described later.
  • the edge extraction unit 1051 applies a differential filter such as a Sobel filter to the processed image IMGPROC [x] [y] to obtain the gradient strength and direction of the image, and extracts the edge by performing threshold processing on the gradient strength.
  • a differential filter such as a Sobel filter
  • the Sobel filter has a size of 3 ⁇ 3 as shown in FIG. 6, and there are two types, an x-direction filter 61 for obtaining the gradient in the x-direction and a y-direction filter 62 for obtaining the gradient in the y-direction.
  • an x-direction filter 61 for obtaining the gradient in the x-direction
  • a y-direction filter 62 for obtaining the gradient in the y-direction.
  • DMAG [x] [y]
  • (2) DIRC [x] [y] arctan (dy / dx) (3)
  • DMAG [x] [y] and DIRC [x] [y] are two-dimensional arrays having the same size as the processed image IMGPROC [x] [y], and DMAG [x] [y] and DIRC [x]
  • the coordinates x and y of [y] correspond to the coordinates of IMGPROC [x] [y].
  • the edge extraction unit 1051 performs the gradient strength image DMAG [x for all pixels in the small regions SXR [r], SYR [r], EXR [r], and EYR [r] in the processed image IMGPROC [x] [y]. ] [Y] and the gradient direction image DIRC [x] [y].
  • the edge threshold value THR [r] and DMAG [x] [Y] is compared, and if DMAG [x] [y]> THR [r], 1 is stored in the edge image EDGE [x] [y] otherwise 1 is stored.
  • edge image EDGE [x] [y] is a two-dimensional array having the same size as the image IMGSRC [x] [y], and the coordinates x and y of the EDGE [x] [y] are the images IMGSRC [x] [ corresponds to the coordinates of y].
  • the processed image IMGPROC [x] [y] including the object is converted into the small areas (SXR [r], SYR [r], EXR [r] according to the illumination state outside the vehicle. , EYR [r]), the edge threshold value setting unit 1041 sets the edge threshold value THR [r] for each small region, and the edge extraction unit 1051 uses the edge threshold value THR [r] for each small region.
  • the obstacle recognizing unit 1061 firstly displays a matching determination region (SXG [g], SYG [g], EXG [g], EYG [g]) for performing a pedestrian determination in the edge image EDGE [x] [y].
  • a matching determination region SXG [g], SYG [g], EXG [g], EYG [g]
  • SXG [g] a matching determination region for performing a pedestrian determination in the edge image EDGE [x] [y].
  • All the objects having a height of 180 [cm] and a width of 60 [cm] are used in the processed image IMGPROC [x] [y] using camera geometry.
  • the image is enlarged / reduced to a size of 16 dots ⁇ 12 dots.
  • each matching determination area (SXG [g], SYG [g], EXG [g], EYG [g]) is determined using a classifier 81 described in detail below, and the output of the classifier 81 is If there is a place that becomes 1, it is determined that there is a pedestrian at that position.
  • a method for determining whether or not the person is a pedestrian using the classifier 81 will be described.
  • a method for detecting a pedestrian by image processing a template matching method for obtaining a degree of coincidence by preparing a plurality of templates representing pedestrian patterns and performing a difference accumulation calculation or a normalized correlation calculation, or a neural network
  • a method of performing pattern recognition using a classifier such as Regardless of which method is used, a database of a source serving as an index for determining whether or not a person is a pedestrian in advance is required.
  • Various pedestrian patterns are stored as a database, from which a representative template is created or a discriminator is generated.
  • the former method based on template matching is not realistic because the number of templates becomes enormous if the omission of determination is prevented.
  • a determination method using the latter discriminator is adopted.
  • the size of the discriminator does not depend on the size of the source database.
  • a database for generating a classifier is called teacher data.
  • the discriminator 81 used in the present embodiment determines whether or not it is a pedestrian based on a plurality of local edge determiners.
  • the local edge determiner 71 includes an edge image EDGE [x] [y], a gradient direction image DIRC [x] [y], and matching determination regions (SXG [g], SYG [g], EXG [g], EYG [g] ]) And inputs a binary value of 0 or 1, and includes a local edge frequency calculation unit 711 and a threshold processing unit 712.
  • the local edge frequency calculation unit 711 has a local edge frequency calculation region 7112 in a window 7111 having the same size as the matching determination region (SXG [g], SYG [g], EXG [g], EYG [g]), From the positional relationship between the matching determination region (SXG [g], SYG [g], EXG [g], EYG [g]) and the window 7111, the edge image EDGE [x] [y] and the gradient direction image DIRC [x] [ y] is set to calculate the local edge frequency, and the local edge frequency MWC is calculated.
  • the local edge frequency MWC is the total number of pixels in which the angle value of the gradient direction image DIRC [x] [y] satisfies the angle condition 7113 and the edge image EDGE [x] [y] at the corresponding position is 1. It is.
  • the angle condition 7113 is between 67.5 degrees and 112.5 degrees, or between 267.5 degrees and 292.5 degrees, and the gradient direction image DIRC It is determined whether or not the value of [x] [y] is within a certain range.
  • the threshold processing unit 712 has a predetermined threshold THWC, and outputs 1 if the local edge frequency MWC calculated by the local edge frequency calculation unit 711 is equal to or higher than the threshold THWC, and outputs 0 otherwise.
  • the threshold processing unit 712 may output 1 if the local edge frequency MWC calculated by the local edge frequency calculation unit 711 is equal to or less than the threshold THWC, and may output 0 otherwise.
  • the discriminator 81 includes an edge image EDGE [x] [y], a gradient direction image DIRC [x] [y], and a matching determination region (SXG [g], SYG [g], EXG [g], EYG [g] ) Is input, 1 is output if the area is a pedestrian, and 0 is output if it is not a pedestrian.
  • the discriminator 81 includes 40 local edge frequency determiners 8101 to 8140, a summing unit 812, and a threshold processing unit 813.
  • the local edge frequency determiners 8101 to 8140 are the same as the local edge determiner 71 described above, but the local edge frequency calculation region 7112, the angle condition 7113, and the threshold value THWC are different.
  • the summation unit 812 multiplies the outputs from the local edge frequency determiners 8101 to 8140 by the corresponding weights WWC1 to 40, and outputs the sum.
  • the threshold processing unit 813 has a threshold THSC, and outputs 1 if the output of the totaling unit 812 is larger than the threshold THSC, and outputs 0 otherwise.
  • the local edge frequency calculation region 7112, the angle condition 7113, the threshold value THWC, the weights WWC1 to WWC40, and the final threshold value THSC, which are parameters of each local edge frequency determiner of the classifier 81, are input to the classifier when a pedestrian is input. Adjustment is made using the teacher data so that 1 is output if there is, and 0 is output if the person is not a pedestrian. For the adjustment, for example, a machine learning means such as AdaBoost may be used, or the adjustment may be performed manually.
  • AdaBoost machine learning means
  • the procedure for determining parameters using AdaBoost from NPD pedestrian teacher data and NBG non-pedestrian teacher data is as follows.
  • the local edge frequency determiner is represented as cWC [m].
  • m is the ID number of the local edge frequency determiner.
  • a plurality of local edge frequency determiners cWC [m] having different local edge frequency calculation areas 7112 and angular conditions 7113 (for example, 1 million) are prepared, and the value of the local edge frequency MWC is obtained from all teacher data in each.
  • the threshold value THWC is determined by calculation.
  • the threshold THWC selects a value that can best classify the pedestrian teacher data and the non-pedestrian teacher data.
  • a weight of wPD [nPD] 1/2 NPD is given to each pedestrian teacher data.
  • a weight of wBG [nBG] 1 / 2NBG is given to each non-pedestrian teacher data.
  • nPD is an ID number of pedestrian teacher data
  • nBG is an ID number of non-pedestrian teacher data.
  • the iterative process is performed.
  • the weights are normalized so that the sum of the weights of all the pedestrian / non-pedestrian teacher data is 1.
  • the false detection rate cER [m] of each local edge frequency determiner is calculated.
  • the false detection rate cER [m] is obtained when the local edge frequency determiner cWC [m] outputs pedestrian teacher data to the local edge frequency determiner cWC [m], or the output is zero.
  • the pedestrian teacher data is input to the local edge frequency determiner cWC [m]
  • the output is 1, that is, the total weight of the teacher data with the incorrect output.
  • the weight of each teacher data is updated.
  • the result of applying the final local edge frequency determiner WC [k] among the pedestrian teacher data becomes 1 and the final local edge frequency determiner WC [
  • the final local edge frequency determiner WC obtained after the end of the iterative process becomes the discriminator 81 automatically adjusted by AdaBoost.
  • the weights WWC1 to WWC40 are calculated from 1 / BT [k], and the threshold value THSC is set to 0.5.
  • the obstacle recognition unit 1061 can detect a pedestrian using the edge of the pedestrian's outline extracted by the edge extraction unit 1051.
  • the discriminator 81 used for detection of a pedestrian is not limited to the method taken up in this embodiment. Template matching using normalized correlation, a neural network classifier, a support vector machine classifier, a Bayes classifier, or the like may be used.
  • the dividing means of the small area dividing unit 1031 is not limited to three in this embodiment, and may be two or less or four or more.
  • FIG. 9 is a block diagram showing an embodiment of the vehicle-mounted object detection device 2000.
  • vehicle-mounted object detection device 1000 only portions different from the above-described vehicle-mounted object detection device 1000 will be described in detail, and the same portions will be denoted by the same reference numerals and description thereof will be omitted.
  • the vehicle-mounted object detection device 2000 is incorporated in a camera mounted on an automobile, an integrated controller, or the like, and is used for detecting an obstacle from an image captured by the camera.
  • a pedestrian is detected from an image obtained by imaging the periphery of the vehicle.
  • the vehicle-mounted object detection device 2000 is configured by a computer having a CPU, a memory, an I / O, and the like, and a predetermined process is programmed and the process is repeatedly executed at a predetermined cycle.
  • the vehicle-mounted object detection device 2000 includes an image acquisition unit 1011, a processing region setting unit 2021, a small region dividing unit 2031, an edge threshold setting unit 2041, an edge extracting unit 2051, an obstacle. It has a recognition unit 2061 and a recognition result output unit 1071, and further includes an object position detection unit 1111, a vehicle light lighting detection unit 1211, and a road surface paint detection unit 1311 depending on the embodiment.
  • the processing area setting unit 2021 sets a processing area (SXP, SYP, EXP, EYP) for detecting a pedestrian that is an obstacle from the image IMGSRC [x] [y]. Details of the setting will be described later.
  • the small region dividing unit 2031 divides the processing region (SXP, SYP, EXP, EYP) of the image IMGSRC [x] [y] into a plurality of small regions (SXR [r], SYP [r], EXR [r], EYR). [R]).
  • r is the ID number of the small area.
  • the edge threshold value setting unit 2041 calculates the edge threshold value THR [from the pixel value of the image IMGSRC [x] [y] in each small region (SXR [r], SYR [r], EXR [r], EYR [r]). r] is determined. Details of the threshold setting will be described later.
  • the edge extraction unit 2051 calculates a light / dark gradient value in each small region of the image IMGSRC [x] [y], and uses the edge threshold value THR [r] of the corresponding small region to obtain a binary edge image EDGE [x ] [Y] and the gradient direction image DIRC [x] [y] having edge direction information. Details of the processing will be described later.
  • the obstacle recognition degree 2061 sets a matching determination region (SXG [g], SYG [g], EXG [g], EYG [g]) for performing pedestrian determination in the edge image EDGE [x] [y].
  • the presence / absence of a pedestrian is determined using the edge image EDGE [x] [y] in the matching determination area and the gradient direction image DIRC [x] [y] in the corresponding position area.
  • g is an ID number when a plurality of areas are set. Details of the recognition process will be described later.
  • the processing area setting unit 2021 selects an area for performing pedestrian detection processing in the image IMGSRC [x] [y], and the range of the coordinates, the start point SXP and the end point EXP of the x coordinate (horizontal direction), on the y coordinate ( A start point SYP and an end point EYP in the (vertical direction) are obtained.
  • the processing area setting unit 2021 may or may not use the object position detection unit 1111. First, the case where the object position detection unit 1111 is used in the processing region setting unit 2021 will be described.
  • the position on the image of the detected object (the start point SXB and the end point of the x coordinate (lateral direction)) EXB, y coordinate (vertical direction start point SYB, end point EYB) is calculated.
  • a camera geometric parameter that associates the coordinates on the camera image with the positional relationship in the real world is calculated in advance by a method such as camera calibration, and the height of the object is assumed in advance, for example, 180 [cm].
  • the position on the image is uniquely determined.
  • an object position (SXP, EXP, SYP, EYP) obtained by correcting the object position (SXB, EXB, SYB, EYB) on the image is calculated.
  • the area is enlarged by a predetermined amount or moved.
  • SXB, EXB, SYB, and EYB may be expanded by predetermined pixels vertically and horizontally.
  • the object position obtained as a result is set as a processing area (SXP, EXP, SYP, EYP).
  • process areas SXP, EXP, SYP, EYP
  • process areas SXP, EXP, SYP, EYP
  • the method of selecting an area when the object position detection unit 1111 is not used is, for example, a method of setting an area so as to search the entire image while changing the size of the area, or only a specific position and a specific size.
  • limiting to a specific position for example, there is a method of limiting to a position where the host vehicle has advanced T seconds later by using the host vehicle speed.
  • FIG. 3 (b) shows an example of searching for a position where the host vehicle has advanced 2.3 seconds later using the host vehicle speed.
  • the position and size of the processing area are determined from the road surface height (0 cm) at the relative distance to the position where the vehicle is traveling after 2.3 seconds and the assumed pedestrian height (180 cm in this embodiment).
  • a range (SYP2, EYP2) in the y direction on the image IMGSRC [x] [y] is obtained using the camera geometric parameters.
  • the range in the x direction (SXP2, EXP2) may not be limited, or may be limited by the predicted course of the vehicle.
  • the region (SXP2, SYP2, EXP2, EYP2) obtained as a result is set as a processing region (SXP, EXP, SYP, EYP).
  • a division method into small areas a method using the object position detection unit 1111 and the own vehicle light lighting detection unit 1211, a method using the road surface paint detection unit 1311, an object position detection unit 1111 and the own vehicle light lighting.
  • Three types of division methods that use neither the detection unit 1211 nor the road surface paint detection unit 1311 will be described, and then a method for selecting the three methods according to the illumination state outside the vehicle will be described.
  • the small area 1 and the small area 2 may be set without a gap as shown in FIG. 4A, or as shown in FIG.
  • a hysteresis of about 5 pixels may be provided so that an edge due to a difference in illumination state does not occur.
  • the edges of the hysteresis portion are all zero.
  • an image including an object detected by the object position detection unit 1111 is set by the processing region setting unit 2021, and the own vehicle illuminates light by the own vehicle light lighting detection unit 1211.
  • the object position detection unit 1111 detects that the object has been detected
  • the light irradiation height of the object is calculated based on the relative distance PY [b] of the object detected by the object position detection unit 1111, the light irradiation angle LANGL of the own vehicle, and the light height LHEIGHT of the own vehicle.
  • the length LZ is calculated from the above equation (1).
  • the irradiation angle LANGL of the own vehicle light and the light height LHEIGHT of the own vehicle are values determined in advance according to the type of the vehicle.
  • the small area 1 and the small area 2 may be set without a gap as shown in FIG. 4A, or as shown in FIG. 4B, with the division height LZY on the image as a boundary.
  • a hysteresis of about 5 pixels may be provided so that no edge is caused by light. In the case of the example of FIG. 4B, the edges of the hysteresis portion are all zero.
  • the processing area (SXP, EXP, SYP, EYP) in the image IMGSRC [x] [y] is divided into upper and lower sides with the detected road paint position as a boundary.
  • the small area 1 and the small area 2 may be set without a gap as shown in FIG. 4A, or as shown in FIG. 4B, with the division height PZY on the image as a boundary.
  • a hysteresis of about 5 pixels may be provided so that an edge due to a difference in illumination state does not occur. In the case of the example of FIG. 4B, the edges of the hysteresis portion are all zero.
  • FIG. 5 is a flowchart showing the switching conditions of the above three division methods.
  • step 51 it is determined whether or not the vehicle is lighting a light using the output of the vehicle light lighting detection unit 1211. If it is determined that the vehicle is lit, the second dividing means is selected. If your car is not lit, move to the next step.
  • step 52 it is determined using the output of the road surface paint detection unit 1311 whether road surface paint exists in front of the host vehicle. If it is determined that road surface paint exists in front of the host vehicle, the third dividing means is selected. If it is determined that there is no road surface paint, the first dividing means is selected.
  • the second dividing means is selected, and it is possible to divide into an area where the headlight is hit and a dark area.
  • the road surface paint is detected in front of the vehicle by the road surface paint detection unit 1311, it is determined that the lower body of the pedestrian standing on the road surface paint is bright and the third dividing means is selected, and the road surface is selected. It can be divided into a bright area containing paint and an area without road paint. Further, if the headlight of the own vehicle is not turned on and no road surface paint is detected, the first dividing means is selected. Even when the road surface is reflected and reflected brightly by the backlight, the first dividing means can be divided into a bright region by the backlight and a region where the road surface is not reflected.
  • the three dividing means need only include at least the first dividing means, and need not include all three. If any of the dividing means is not provided, the conditional branch in FIG. 5 follows the NO route.
  • the edge threshold value setting unit 2041 is a gray value in each small area SXR [r], SYR [r], EXR [r], EYR [r] in the image IMGSRC [x] [y] acquired by the image acquisition unit 1011.
  • the edge threshold value THR [r] is determined according to the average AVE [r] and the variance VAR [r].
  • r is the ID number of the small area.
  • the threshold of the edge is, for example, a method using a table having an average AVE [r] of gray values as an argument, a method using a two-dimensional map using an average AVE [r] of gray values and a variance VAR [r], etc. To decide.
  • a method using a map with arguments AVE [r] and variance VAR [r] manually determines an optimum edge threshold in an image of various brightness beforehand, and maps the mean and variance at that time. Use things.
  • the optimum threshold value can be determined from the average AVE [r] and the variance VAR [r] of the gray values of the small regions.
  • the edge threshold value THR [r] is determined using the average and variance of pixel values of an image obtained as a result of applying a Sobel filter or the like to the image IMGSRC [x] [y] instead of the gray value. May be determined. The calculation of the Sobel filter will be described later.
  • the edge extraction unit 2051 applies a differential filter such as a Sobel filter to the image IMGSRC [x] [y] acquired by the image acquisition unit 1011 to obtain the gradient strength and direction of the image, and performs threshold processing on the gradient strength. To extract an edge.
  • a differential filter such as a Sobel filter
  • the Sobel filter has a size of 3 ⁇ 3 as shown in FIG. 6, and there are two types, an x-direction filter 61 for obtaining the gradient in the x-direction and a y-direction filter 62 for obtaining the gradient in the y-direction.
  • an x-direction filter 61 for obtaining the gradient in the x direction from the image IMGSRC [x] [y]
  • a pixel value of a total of 9 pixels, that pixel and the surrounding 8 pixels, and the corresponding position The product-sum operation of the weight of the x-direction filter 61 is performed.
  • the result of the product-sum operation is the gradient in the x direction at that pixel.
  • DMAG [x] [y] and DIRC [x] [y] are two-dimensional arrays having the same size as the image IMGSRC [x] [y], and DMAG [x] [y] and DIRC [x] [ The coordinates x and y of y] correspond to the coordinates of the image IMGSRC [x] [y].
  • the edge extraction unit 2051 uses the gradient strength image DMAG [x] for all pixels in the small regions SXR [r], SYR [r], EXR [r], and EYR [r] in the image IMGSRC [x] [y]. [Y] and the gradient direction image DIRC [x] [y] are calculated. Next, in accordance with the small regions SXR [r], SYR [r], EXR [r], EYR [r] to which the calculated DMAG [x] [y] belongs, the edge threshold value THR [r] and DMAG [x] [Y] is compared, and if DMAG [x] [y]> THR [r], 1 is stored in the edge image EDGE [x] [y] otherwise 1 is stored.
  • edge image EDGE [x] [y] is a two-dimensional array having the same size as the image IMGSRC [x] [y], and the coordinates x and y of the EDGE [x] [y] are the image IMGSRC [x] [y]. corresponds to the coordinates of y].
  • the processing region (SXP, SYP, EXP, EYP) in the image IMGSRC [x] [y] including the object is converted into the small region (SXR [ r], SYR [r], EXR [r], EYR [r]), the edge threshold value setting unit 2041 sets the edge threshold value THR [r] for each small region, and the edge extraction unit 2051 sets the small value.
  • the obstacle recognizing unit 2061 first displays a matching determination region (SXG [g], SYG [g], EXG [g], EYG [g]) for performing pedestrian determination in the edge image EDGE [x] [y].
  • a matching determination region SXG [g], SYG [g], EXG [g], EYG [g]
  • -SYG [g] is determined from the size of an object having a height of 180 [cm] and a width of 60 [cm] in the image IMGSRC [x] [y].
  • the method for determining the width WG and the height HG is based on the camera geometry using the distance to the object and the vanishing point when the object position detection unit 1111 is provided or when the distance to the object is provisionally determined. Can be determined uniquely.
  • the vertical / horizontal ratio of the matching determination area is set constant while changing the size.
  • the processing area SXP, SYP, EXP, EYP
  • the matching determination area SXG [g], SYG [g], EXG [g], EYG [g]
  • the edge image EDGE [x] [y] Set multiple numbers so that they are spread at regular intervals.
  • each matching determination area (SXG [g], SYG [g], EXG [g], EYG [g]) is determined using the classifier 82, and the output of the classifier 82 becomes 1 If there is, it is determined that there is a pedestrian at that position.
  • the discriminator 82 used in the present embodiment determines whether or not the person is a pedestrian based on a plurality of local edge determiners.
  • the discriminator 82 of the present embodiment has the same configuration as the discriminator 81 described above.
  • the size of the window 7111 in the local edge frequency determiners 8101 to 8140 is 12 dots wide and 16 dots high, whereas the classifier 82 is the size of the window 7111. Is enlarged / reduced to be the same as the width WG and height HG of the matching determination region.
  • the local edge frequency calculation area 7112 in the window 7111 is also enlarged or reduced at the same ratio. Since the subsequent processing is the same as that of the discriminator 81, detailed description is omitted.
  • the vehicle-mounted object detection device 1000 or the vehicle-mounted object detection device 2000
  • FIGS. 10 (a) and 10 (b) are examples of objects that are partially illuminated by the headlight of the vehicle, (a) is a pedestrian, and (b) is a signboard.
  • the edges are extracted without being divided above and below the headlight irradiation height of the own vehicle, the edges as shown in FIGS. 10C and 10D are obtained and cannot be distinguished.
  • the extracted edges are as shown in FIGS. 10E and 10F, and the pedestrian's contour edge is correctly extracted, and the pedestrian in FIG. 10A can be recognized.
  • the obstacle recognition unit 1061 (2061) in the vehicle-mounted object detection device 1000 may not be in the form using the discriminator 81 (82) as described above.
  • the obstacle recognition unit 1061 (2061) in the vehicle-mounted object detection device 1000 may not be in the form using the discriminator 81 (82) as described above.
  • another embodiment of an obstacle recognition unit that determines an obstacle based on the length of successive vertical edges will be described with reference to FIG.
  • FIG. 11 is a flowchart showing the flow of processing of another embodiment of the obstacle recognition unit.
  • step 101 matching determination areas (SXG [g], SYG [g], EXG [g], EYG [g]) are set in the same manner as the obstacle recognition units 1061 and 2061.
  • step 102 the vertical edge of the edge image EDGE [x] [y] in the matching determination region (SXG [g], SYG [g], EXG [g], EYG [g]) is displayed. To extract.
  • the presence or absence of an edge is first determined using the value of the edge image EDGE [x] [y].
  • the edge image EDGE [x] [y] is a binary image, and when the value of the coordinate (x, y) of the edge image EDGE [x] [y] is 1, the corresponding image IMGSRC [x] [y]
  • the edge that is, the contour of the object exists at the coordinates (x, y).
  • the direction of the edge is determined using the gradient direction image DIRC [x] [y].
  • the gradient direction image DIRC [x] [y] has a value of 0 to 359 and represents an angle of light and shade change. Therefore, when the value of the coordinate (x, y) of the edge image EDGE [x] [y] is 1, the value of the gradient direction image DIRC [x] [y] of the corresponding coordinate (x, y) is referred to. By doing so, it is possible to know the direction of the contour of the object on the image.
  • step 102 for example, the edge image EDGE [x] [y] is 1, and the value of the gradient direction image DIRC [x] [y] at the corresponding coordinates (x, y) is 90 ⁇ 22. This can be realized by extracting a portion in the range of 5 [°] or 270 ⁇ 22.5 [°].
  • the extracted result is stored in, for example, the vertical edge image VEDGE [x] [y].
  • the vertical edge image VEDGE [x] [y] is a two-dimensional array having the same size as the edge image EDGE [x] [y], and the coordinates x and y of VEDGE [x] [y] are EDGE [x] [y]. ] Coordinates.
  • “1” is substituted for the pixel having the above condition and “0” is substituted for the other coordinate.
  • step 103 a portion of the vertical edge image VEDGE [x] [y] where the pixel value is “1” is grouped.
  • grouping for example, a labeling process is used.
  • the labeling process first, a place where the pixel value is 1 is searched in the vertical edge image VEDGE [x] [y], and a label number 1 is given to the pixel. Next, if the pixel value adjacent to the pixel is 1, the label number 1 is also given to the pixel. This process is repeated until all pixels adjacent to the pixel with label number 1 become zero.
  • label number 2 is given to one of the pixels, and the same processing as for label number 1 is performed. The above processing is repeated until there is no pixel having a pixel value of 1 and no label number.
  • edges of the vertical edge image VEDGE [x] [y] are given any label number and are grouped.
  • step 104 two vertical edges that are long in the y direction on the image are extracted from the grouped edges.
  • step 105 it is determined whether the extracted edges are a pair.
  • the vertical edge image VEDGE [x] [y] and the gradient direction image DIRC [x] [y] are used.
  • FIG. 12 is an example of edge pair determination.
  • average DIR_PAIR1 and DIR_PAIR2 in the gradient direction are calculated from the gradient direction images DIRC [x] [y] at the corresponding positions within the range of SY_PAIR and EY_PAIR for each of the two extracted edges.
  • DIR_PAIR1 and DIR_PAIR2 are paired.
  • the judgment is, for example, (1) When DIR_PAIR1> DIR_PAIR2, ABS (DIR_PAIR1-DIR_PAIR2-180) ⁇ TH_PAIR (2) Otherwise ABS (DIR_PAIR2-DIR_PAIR1-180) ⁇ TH_PAIR Whether or not is satisfied.
  • TH_PAIR is an allowable angle for determining whether the edge is paired, and is 22.5 in this embodiment.
  • ABS () is an absolute value.
  • Step 106 determines whether the length of the overlapping range (SY_PAIR, EY_PAIR) in the y direction on the image is greater than or equal to a predetermined value TH_LENGTHPAIR. If it is determined that the value is equal to or greater than the predetermined value, the process proceeds to step 107; otherwise, that is, if it is determined that the value is less than the predetermined value, the process proceeds to step 108.
  • Step 107 assumes that there is an obstacle in the matching determination area (SXG [g], SYG [g], EXG [g], EYG [g]), and transmits information to the obstacle recognition unit 1061 (2061).
  • Step 108 assumes that no obstacle exists in the matching determination area (SXG [g], SYG [g], EXG [g], EYG [g]), and informs the obstacle recognition unit 1061 (2061) of the information. Absent.
  • 13 (a) and 13 (b) are examples of an object that is partially lit by the headlight of the host vehicle.
  • (A) is an obstacle with a height
  • (b) is an obstacle without a height. It is.
  • the edges are extracted without being divided above and below the headlight irradiation height of the vehicle, the edges as shown in FIGS. 13C and 13D are obtained and cannot be distinguished.
  • the extracted edges are as shown in FIGS. 13 (e) and 13 (f), the edges of the dark area are correctly extracted, and (a) is an obstacle that has a risk of collision due to its height. Since (b) has no height, it can be recognized as an obstacle with no danger of collision.
  • the pre-crash safety system is taken as an example, and obstacle information (relative distance PYO [output from the recognition result output unit of the vehicle-mounted object detection device) as described in the above embodiment is used.
  • obstacle information relative distance PYO [output from the recognition result output unit of the vehicle-mounted object detection device) as described in the above embodiment is used.
  • lateral position PXO [b], lateral width WDO [b]) the operation method of the system, such as outputting an alarm or automatically controlling the brake, will be described.
  • FIG. 14 is a flowchart showing an operation method of the pre-crash safety system.
  • step 141 the obstacle information (relative distance PYO [b], lateral position PXO [b], lateral width WDO [b]) output by the recognition result output unit of any of the above obstacle detection devices is read. .
  • step 142 the estimated collision time TTC [i] of each detected object is calculated using equation (4).
  • the relative velocity VYO [b] is obtained by pseudo-differentiating the relative distance PYO [b] of the object.
  • TTC [b] PY [b] ⁇ VY [b] (4) Further, in step 143, the danger level DRECI [b] for each obstacle is calculated.
  • the method for estimating the predicted course will be described.
  • the predicted course can be approximated by an arc of a turning radius R passing through the origin O.
  • the turning radius R is expressed by Expression (5) using the steering angle ⁇ , the speed Vsp, the stability factor A, the wheel base L, and the steering gear ratio Gs of the host vehicle.
  • the stability factor is an important value that determines the magnitude of the change depending on the speed of the steady circular turning of the vehicle.
  • the turning radius R changes in proportion to the square of the speed Vsp of the host vehicle with the stability factor A as a coefficient. Further, the turning radius R can be expressed by Expression (6) using the vehicle speed Vsp and the yaw rate ⁇ .
  • the distance L [b] is subtracted from the own vehicle width H.
  • the danger level DRECI [b] 0, and when the value is positive, the danger level DRECI [b] ] Is calculated.
  • DRECI [b] (HL [b]) / H (7) Note that the processing in steps 141 to 143 is configured to perform loop processing according to the number of detected objects.
  • step 144 an object satisfying the condition of Expression (8) is selected according to the risk degree DRECI [b] calculated in step 143, and the predicted collision time TTC [b] is the smallest among the selected objects.
  • the object bMin is selected.
  • the predetermined value cDRECI # is a threshold value for determining whether or not the vehicle collides.
  • step 145 it is determined whether or not the brake is automatically controlled according to the predicted collision time TTC [bMin] of the selected object k. If Expression (9) is established, the process proceeds to step 146, brake control is executed, and the process is terminated. On the other hand, if Expression (9) is not established, the process proceeds to Step 147.
  • step 147 it is determined whether or not the alarm is output in accordance with the predicted collision time TTC [bMin] of the selected object bMin. If the expression (10) is established, the process proceeds to step 148, an alarm is output, and the process is terminated. If equation (10) is not established, the process is terminated without executing both brake control and alarm.
  • the alarm and the brake control can be activated only for an object that is at risk of collision for the own vehicle.
  • DIF1_R DIF1_R
  • DIF1_B DIF1_R
  • the contrast is larger than that of the object B.
  • DIF1_A the contrast between the inside and outside of the contour
  • DIF0_A the contrast between the inside and outside of the contour
  • the contrast difference of the contour of the object B is the same as the contrast difference caused by the road surface unevenness, it is necessary to recognize the object A and not the object B in order to prevent erroneous detection due to the road surface unevenness.
  • DIF0_A DIF1_B, in order to recognize the object A when the external illumination is OFF, it is necessary to change the threshold value of the edge according to the illumination state.
  • the present invention changes the edge threshold according to the lighting condition, the object A is recognized and the object B is not recognized both when the external illumination is ON and when the external illumination is OFF. Furthermore, the present invention divides an image area including an object into small areas, and sets an edge threshold according to the illumination state of each small area. Therefore, even when the headlight is irradiated when the external illumination is OFF, the object A Is recognized, and the object B is not recognized.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Mechanical Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

障害物に明部と暗部が存在し、障害物の連続する輪郭が明部と暗部にまたがって存在する場合でも誤検知の少ない安定した障害物検知を可能とする障害物検知装置を提供する。撮像画像から障害物検知のための処理画像を生成する処理画像生成部と、処理画像を複数の小領域に分割する小領域分割部と、複数の小領域と処理画像の画素値から小領域毎のエッジ閾値を設定するエッジ閾値設定部と、複数の小領域と処理画像から小領域毎の濃淡勾配値を算出し、算出された濃淡勾配値に対応する小領域のエッジ閾値を用いて、エッジ画像と勾配方向画像とを生成するエッジ抽出部と、エッジ画像内で設定されたマッチング判定領域内のエッジ画像及びエッジ画像に対応する勾配方向画像から障害物の有無を判定する障害物認識部と、を有し、小領域分割部は、自車外の照明状態に基づいて処理画像を複数の小領域に分割する障害物検知装置。

Description

障害物検知装置
　自車前方の障害物を検知する障害物検知装置に関する。
　交通事故による死傷者数を低減するため、事故を未然に防ぐ予防安全システムの開発が進められている。予防安全システムは、事故の発生する可能性が高い状況下で作動するシステムであり、例えば、自車前方の障害物と衝突する可能性が生じたときには警報によって運転者に注意を促し、衝突が避けられない状況になったときには自動ブレーキによって乗員の被害を軽減するプリクラッシュ・セーフティ・システム等が実用化されている。
　上記システムにおいて、車，歩行者等の障害物を検知する方法として、カメラで自車前方を撮像し、撮像した画像から障害物を検出する方法がある。この場合、障害物や背景の色の影響を受けにくくするため、撮像された画像から濃淡値の変化量を求め、変化量が所定の閾値以上である部分のみを抽出したエッジ画像を生成し、エッジ画像上の障害物の輪郭と、あらかじめ記憶している障害物の輪郭のテンプレートとの類似度を算出することによって障害物を検出する方法が用いられる。
　例えば特許文献１には、自車前方の物体をレーザレーダにより検出し、レーザレーダによって検出した物体を含む画像領域の濃淡値のコントラストを改善し、エッジを抽出する方法が記載されている。この方法によれば、障害物がトンネル内，日陰などの暗い場所に存在し、障害物と背景との濃淡値の変化が小さい場合であっても、その物体を含む画像領域のコントラストを改善するため濃淡値の変化が大きくなり、エッジを抽出することができる。
特開２００７－９６５１０号公報
　しかしながら、自車がヘッドライトを点灯しており歩行者等の障害物の一部に光が当たっている場合や、逆光時に路面が反射して足元だけが明るい場合など、障害物の連続する輪郭が明部と暗部にまたがって存在する場合には、障害物を含む画像領域でコントラストを改善しても、暗部のコントラストは改善されず、エッジが抽出できない。その結果、障害物の輪郭のうち、暗部に存在する輪郭が抽出できず、障害物が認識されない。
　また、濃淡値の変化が小さい暗部で輪郭が抽出できるようにエッジの閾値をチューニングすると、明部でのわずかな変化に反応するようになり、誤検知が多発する。特に、自車正面に何も存在しない場所で本現象が発生すると、何もない場所で警報や自動ブレーキが発動し、自車の安全性を損ねてしまう。
　本発明は上記問題に着目してなされたもので、その目的とするところは、障害物に明部と暗部が存在し、その障害物の連続する輪郭が明部と暗部にまたがって存在する場合においても、誤検知の少ない安定した障害物検知を可能とする障害物検知装置を提供することである。
　上記課題を解決するために本発明の障害物検知装置は、自車外を撮像した画像を取り込む画像取得部と、取り込まれた画像から障害物を検知するための処理画像を生成する処理画像生成部と、処理画像を複数の小領域に分割する小領域分割部と、複数の小領域と処理画像の画素値から、小領域毎のエッジ閾値を設定するエッジ閾値設定部と、複数の小領域と処理画像から小領域毎の濃淡勾配値を算出し、算出された濃淡勾配値に対応する小領域の前記エッジ閾値を用いて、２値のエッジ画像と、エッジの方向の情報を有する勾配方向画像と、を生成するエッジ抽出部と、エッジ画像内で障害物を検知するためのマッチング判定領域を設定し、マッチング判定領域内のエッジ画像及びエッジ画像に対応する勾配方向画像から障害物の有無を判定する障害物認識部と、障害物の判定結果を出力する認識結果出力部と、を有し、小領域分割部は、自車外の照明状態に基づいて処理画像を複数の小領域に分割する構成とする。
　また、自車外を撮像した画像を取り込む画像取得部と、取り込まれた画像から障害物を検知するための処理領域を設定する処理領域設定部と、処理領域を複数の小領域に分割する小領域分割部と、複数の小領域と画像取得部で取り込まれた画像の画素値から、小領域毎のエッジ閾値を設定するエッジ閾値設定部と、複数の小領域と画像取得部で取り込まれた画像から小領域毎の濃淡勾配値を算出し、算出された濃淡勾配値に対応する小領域のエッジ閾値を用いて、２値のエッジ画像と、エッジの方向の情報を有する勾配方向画像と、を生成するエッジ抽出部と、エッジ画像内で障害物を検知するためのマッチング判定領域を設定し、マッチング判定領域内のエッジ画像及びエッジ画像に対応する勾配方向画像から障害物の有無を判定する障害物認識部と、障害物の判定結果を出力する認識結果出力部と、を有し、小領域分割部は、自車外の照明状態に基づいて処理領域を複数の小領域に分割する構成とする。
　障害物に明部と暗部が存在し、その障害物の連続する輪郭が明部と暗部にまたがって存在する場合においても、誤検知の少ない安定した障害物検知を可能とする障害物検知装置を提供できる。
　本明細書は、本願の優先権の基礎である日本国特許出願2009-218405号の明細書及び／または図面に記載されている内容を包含する。
本発明に係る障害物検知装置の第１の実施形態を示す図である。 本発明に係る障害物検知装置で用いられる画像とパラメータを表す模式図である。 本発明の処理画像生成部における処理の一例を示す図である。 本発明の小領域分割部の分割例を示す図である。 本発明の小領域分割部のフローチャートを示す図である。 本発明のエッジ抽出部で用いるソーベルフィルタの重みを示す図である。 本発明の障害物認識部における局所エッジ判定器の一例を示す図である。 本発明の障害物認識部における識別器を用いた歩行者判定の一例を示す図である。 本発明に係る障害物検知装置の第２の実施形態を示す図である。 本発明の障害物認識結果を説明するための模式図である。 本発明の障害物認識部の他の実施形態のフローチャートを示す図である。 本発明の障害物認識部におけるエッジのペア判定を説明する図である。 本発明の障害物認識結果を説明するための模式図である。 本発明の障害物検知装置を適用したプリクラッシュ・セーフティ・システムの動作フローチャートを示す図である。 本発明のプリクラッシュ・セーフティ・システムの危険度算出方法を示す図である。 本発明の障害物検知装置を適用する実施例を説明する図である。
７１　局所エッジ判定器
８１　識別器
７１１　局所エッジ頻度算出部
７１２　閾値処理部
８１２　合計部
８１３　閾値処理部
１０００，２０００　車載用物体検知装置
１０１０　カメラ
１０１１　画像取得部
１０２１　処理画像生成部
１０３１，２０３１　小領域分割部
１０４１，２０４１　エッジ閾値設定部
１０５１，２０５１　エッジ抽出部
１０６１，２０６１　障害物認識部
１０７１　認識結果出力部
１１１１　物体位置検出部
１２１１　自車ライト点灯検出部
１３１１　路面ペイント検出部
２０２１　処理領域設定部
７１１１　ウィンドウ
７１１２　局所エッジ頻度算出領域
７１１３　角度条件
８１０１～８１４０　局所エッジ頻度判定器
　以下、本発明に係る障害物検知装置の第一の実施形態について図面を用いて詳細に説明する。図１は、第一の実施の形態における車載用物体検知装置１０００のブロック図である。
　障害物検知装置である車載用物体検知装置１０００は、自動車に搭載される撮像素子であるカメラ１０１０内、もしくは統合コントローラ内等に組み込まれ、カメラ１０１０で撮影した自車外の画像内から予め設定された歩行者等の障害物を検知するためのものであり、本実施の形態では、自車の前方を撮像した画像内から歩行者を検知するように構成されている。
　車載用物体検知装置１０００は、ＣＰＵやメモリ，Ｉ／Ｏ等を有するコンピュータによって構成されており、所定の処理がプログラミングされて、あらかじめ定められた周期で繰り返し処理を実行する。
　車載用物体検知装置１０００は、図１に示すように、画像取得部１０１１と、処理画像生成部１０２１と、小領域分割部１０３１と、エッジ閾値設定部１０４１と、エッジ抽出部１０５１と、障害物認識部１０６１と、認識結果出力部１０７１とを有し、さらに実施の形態によって、物体位置検出部１１１１と、自車ライト点灯検出部１２１１と、路面ペイント検出部１３１１とを有する。
　画像取得部１０１１は、自車の前方を含む自車外を撮像可能な位置に取り付けられたカメラ１０１０から、自車外を撮影した画像を取り込み、画像ＩＭＧＳＲＣ［ｘ］［ｙ］としてＲＡＭ上に書き込む。なお、画像ＩＭＧＳＲＣ［ｘ］［ｙ］は２次元配列であり、ｘ，ｙはそれぞれ画像の座標を示す。
　処理画像生成部１０２１は、画像ＩＭＧＳＲＣ［ｘ］［ｙ］内から障害物である歩行者を検出するための処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］を生成する。処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］は、画像ＩＭＧＳＲＣ［ｘ］［ｙ］の一部を、所定の係数で拡大・縮小した画像である。処理の詳細については後述する。
　小領域分割部１０３１は、処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］を、複数の小領域（ＳＸＲ［ｒ］，ＳＹＲ［ｒ］，ＥＸＲ［ｒ］，ＥＹＲ［ｒ］）に分割する。ここで、ｒは小領域のＩＤ番号である。分割の詳細については後述するが、自車外の照明状態に基づいて複数の小領域に分割する。
　エッジ閾値設定部１０４１は、各小領域（ＳＸＲ［ｒ］，ＳＹＲ［ｒ］，ＥＸＲ［ｒ］，ＥＹＲ［ｒ］）内の処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］の画素値から、小領域毎のエッジ閾値ＴＨＲ［ｒ］を決定する。閾値の設定の詳細については後述する。
　エッジ抽出部１０５１は、処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］の各小領域内で濃淡勾配値を算出し、対応する小領域のエッジ閾値ＴＨＲ［ｒ］を用いて、２値のエッジ画像ＥＤＧＥ［ｘ］［ｙ］、およびエッジの方向の情報を持つ、勾配方向画像ＤＩＲＣ［ｘ］［ｙ］を生成する。処理の詳細は後述する。
　障害物認識部１０６１は、エッジ画像ＥＤＧＥ［ｘ］［ｙ］内に障害物判定（例えば歩行者判定）を行うマッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）を設定し、マッチング判定領域内のエッジ画像ＥＤＧＥ［ｘ］［ｙ］、および対応する位置の領域内の勾配方向画像ＤＩＲＣ［ｘ］［ｙ］を用いて、歩行者等の障害物の有無を判定する。ここで、ｇは複数の領域を設定した場合のＩＤ番号である。認識処理の詳細は後述する。
　認識結果出力部１０７１は、障害物認識部１０６１の判定結果に基づいて、少なくとも認識した歩行者等の障害物との相対距離ＰＹＯ［ｂ］を含む障害物情報に応じて車両の機能を変化させる出力を行う。例えば、認識した歩行者の位置（相対距離ＰＹＯ［ｂ］，横位置ＰＸＯ［ｂ］，横幅ＷＤＯ［ｂ］）を出力する。ここで、ｂは複数の物体を検知している場合のＩＤ番号である。これらの出力は、車載用物体検知装置１０００から直接出力しても良いし、ＬＡＮ（Local Area Network）を用いた通信を行っても良い。
　物体位置検出部１１１１は、自車に搭載されたミリ波レーダやレーザレーダ等の自車周辺の物体を検出する障害物検出部であるレーダからの検出信号を取得して、自車前方に存在する障害物の位置を検出する。例えば図３に示すように、レーダから自車周辺の歩行者３２等の障害物の位置（相対距離ＰＹ［ｂ］，横位置ＰＸ［ｂ］，横幅ＷＤ［ｂ］）を取得する。ここで、ｂは複数の物体を検知している場合のＩＤ番号である。これらの物体の位置情報は、レーダの信号を車載用物体検知装置１０００に直接入力することによって取得しても良いし、レーダとＬＡＮ（Local Area Network）を用いた通信を行うことによって取得しても良い。物体位置検出部１１１１で検出した物体位置は、処理画像生成部１０２１や小領域分割部１０３１にて用いられる。
　自車ライト点灯検出部１２１１は、自車がライトを点灯している状態か否かを判定し、ライトが点灯している状態ならば「１」、それ以外であれば「０」を出力する。ライトの点灯判定には、ライトスイッチの信号を直接入力することによって判定しても良いし、ＬＡＮ（Local Area Network）を用いた通信を行うことによってライトスイッチの信号を取得し判定しても良い。また、画像取得部１０１１で取得した画像の濃淡を用いて判定しても良い。例えば、ライトを点灯している状態では、ライトが当たっている範囲内は明るく、範囲外は暗く写る。よって、例えばカメラ画像とカメラ幾何モデルを用いて、路面のライト照射範囲を画像上で算出し、ライト照射範囲の平均輝度値とライト照射範囲外の平均輝度値との差が、一定の閾値以上であるか否かを用いて判定することができる。自車ライト点灯検出部１２１１の出力は、小領域分割部１０３１にて用いられる。
　路面ペイント検出部１３１１は、自車前方に存在する横断歩道等の路面ペイントを検出する。路面ペイントの検出には、ＬＡＮ（Local Area Network）を用いた通信によってナビゲーションの情報を取得し、例えば信号のある交差点の情報を取得し、自車から横断歩道までの距離を取得する方法がある。また、画像取得部１０１１で取得した画像の濃淡を用いて判定しても良い。例えば、横断歩道等の路面ペイントは白いため、画像上で明るく撮像される。よって、路面ペイントは以下の手段により検出できる。まず、カメラ画像とカメラ幾何モデルを用いて、画像の路面領域を画像上で算出し、路面領域の輝度値が閾値ＴＨ＿ＧＢｒｉｇｈｔ以上である画素を抽出する。つぎに、抽出された画素を、隣接する画素同士でグルーピングし、グルーピングされた各領域のうち面積が閾値ＴＨ＿ＧＡｒｅａである領域から、画像上で最も高い位置にある領域の画像上における上端のｙ座標Ｙ＿Ｇｍｉｎを取得する。さらに、カメラ幾何を用いて、自車からＹ＿Ｇｍｉｎの位置までの距離を算出する。以上の処理によって、自車から路面ペイントまでの距離を算出することができる。路面ペイント検出部１３１１の出力は、小領域分割部１０３１にて用いられる。
　図２は、以上の説明に用いた画像、および領域を、例を用いて図示したものである。図に示すとおり、画像ＩＭＧＳＲＣ［ｘ］［ｙ］から処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］が生成され、処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］からエッジ画像ＥＤＧＥ［ｘ］［ｙ］および勾配方向画像ＤＩＲＣ［ｘ］［ｙ］が生成される。また、小領域（ＳＸＲ［ｒ］，ＳＹＲ［ｒ］，ＥＸＲ［ｒ］，ＥＹＲ［ｒ］）は処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］を分割するように設定され、マッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）はエッジ画像ＥＤＧＥ［ｘ］［ｙ］および勾配方向画像ＤＩＲＣ［ｘ］［ｙ］の中の、決められた大きさの領域である。
　つぎに、図３を用いて、処理画像生成部１０２１における処理の内容について説明する。図３は、処理画像生成部の処理の例を示す。
　処理画像生成部１０２１は、画像ＩＭＧＳＲＣ［ｘ］［ｙ］内で歩行者検出処理を行う領域を選定し、その座標の範囲，ｘ座標（横方向）の始点ＳＸＰおよび終点ＥＸＰ，ｙ座標上（縦方向）の始点ＳＹＰおよび終点ＥＹＰを求め、その領域から処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］を生成する。
　処理画像生成部１０２１は、物体位置検出部１１１１を用いても、用いなくてもよい。まず、処理画像生成部１０２１において、物体位置検出部１１１１を用いる場合について説明する。図３（ａ）は、物体位置検出部１１１１を用いた場合における処理画像生成部の処理の例である。
　物体位置検出部１１１１が検出した障害物の相対距離ＰＹ［ｂ］，横位置ＰＸ［ｂ］および横幅ＷＤ［ｂ］から、検出した障害物の画像上位置（ｘ座標（横方向）の始点ＳＸＢ，終点ＥＸＢ，ｙ座標（縦方向）の始点ＳＹＢ，終点ＥＹＢ）を算出する。なお、カメラ画像上の座標と実世界の位置関係を対応付けるカメラ幾何パラメータを、カメラキャリブレーション等の方法によってあらかじめ算出しておき、物体の高さを、例えば１８０［cm］などあらかじめ仮定しておくことにより、画像上での位置は一意に決まる。
　また、カメラ１０１０の取り付けの誤差やレーダとの通信遅れ等の理由により、物体位置検出部１１１１で検出した物体の画像上での位置と、カメラ画像に写っている同じ物体の画像上での位置の違いが生じる場合がある。よって、画像上での物体位置（ＳＸＢ，ＥＸＢ，ＳＹＢ，ＥＹＢ）に、補正を加えた物体位置（ＳＸＰ，ＥＸＰ，ＳＹＰ，ＥＹＰ）を算出する。補正は、領域を所定の量拡大したり、移動させたりする。例えば、ＳＸＢ，ＥＸＢ，ＳＹＢ，ＥＹＢを上下左右に所定の画素拡張したりなどである。
　さらに、補正した物体位置（ＳＸＰ，ＥＸＰ，ＳＹＰ，ＥＹＰ）で囲まれた画像ＩＭＧＳＲＣ［ｘ］［ｙ］を切り出し、画像中の物体の大きさが所定の大きさになるように拡大・縮小することにより、処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］を生成する。本実施例では、カメラ幾何を用い、処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］内において、高さ１８０［cm］，幅６０［cm］の物体が全て１６ドット×１２ドットの大きさになるように画像を拡大・縮小する。
　つまり、物体位置検出部１１１１を用いた場合、処理画像生成部１０２１は、画像取得部１０１１から取得した画像ＩＭＧＳＲＣ［ｘ］［ｙ］と、物体位置検出部１１１１で検出した障害物の位置に基づいて、処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］を生成する。
　なお、複数の領域に対して処理する場合、処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］をそれぞれ生成し、以下の分割境界設定部から障害物認識部までの処理をそれぞれの処理画像に対して個別に実施する。
　つぎに、処理画像生成部１０２１において、物体位置検出部１１１１を用いずに処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］を生成する処理について説明する。
　物体位置検出部１１１１を用いない場合の領域選定の方法は、例えば、領域の大きさを変化させながら画像全体を探索するように領域を設定する方法や、特定の位置，特定の大きさのみに限定して領域を設定する方法がある。特定の位置に限定する場合は、例えば自車速を用いて、自車がＴ秒後に進んでいる位置に限定する方法がある。
　図３（ｂ）は、自車速を用いて，自車が２.３秒後に進んでいる位置を探索する場合の例である。処理領域の位置、および大きさは、自車が２.３秒後に進んでいる位置までの相対距離における路面高さ（０cm）、および想定する歩行者の高さ（本実施例では１８０cm）から、カメラ幾何パラメータを用いて画像ＩＭＧＳＲＣ［ｘ］［ｙ］上のｙ方向の範囲（ＳＹＰ２，ＥＹＰ２）を求める。なお、ｘ方向の範囲（ＳＸＰ２，ＥＸＰ２）は、制限しなくてもよいし、自車の予測進路等により制限してもよい。
　さらに、補正した物体位置（ＳＸＰ，ＥＸＰ，ＳＹＰ，ＥＹＰ）で囲まれた画像ＩＭＧＳＲＣ［ｘ］［ｙ］を切り出し、画像中の物体の大きさが所定の大きさになるように拡大・縮小することにより、処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］を生成する。本実施例では、カメラ幾何を用い、処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］内において、高さ１８０［cm］，幅６０［cm］の物体が全て１６ドット×１２ドットの大きさになるように画像を拡大・縮小する。
　つぎに、図４，図５を用いて、小領域分割部１０３１における処理の内容について説明する。図４は、小領域分割部１０３１の分割例であり、図５は小領域分割部１０３１の本実施例におけるフローチャートである。
　本実施例では、小領域への分割方式として、物体位置検出部１１１１および自車ライト点灯検出部１２１１を用いる方式、路面ペイント検出部１３１１を用いる方式、また物体位置検出部１１１１，自車ライト点灯検出部１２１１、および路面ペイント検出部１３１１のいずれも用いない方式の３種類の分割方法について説明し、つぎに、車外の照明状態に応じて上記３方式を選択する方法について説明する。
　まず、物体位置検出部１１１１，自車ライト点灯検出部１２１１、および路面ペイント検出部１３１１のいずれも用いない、第一の分割方式について説明する。この場合、処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］を、画像の消失点のｙ座標ＶＰＹを境として上下の領域、小領域１（ＳＸＲ［０］，ＳＹＲ［０］，ＥＸＲ［０］，ＥＹＲ［０］＝ＶＰＹ）、および、小領域２（ＳＸＲ［１］，ＳＹＲ［１］＝ＶＰＹ，ＥＸＲ［１］，ＥＹＲ［１］）に分割する。小領域１、および小領域２は、図４（ａ）に示すように隙間なく設定してもよいし、図４（ｂ）に示すように、画像上での分割高さＶＰＹを境に、例えば５画素程度のヒステリシスを設け、照明状態の差によるエッジが生じないようにしてもよい。なお、図４（ｂ）の例の場合、ヒステリシスの部分のエッジは全てゼロとする。
　つぎに、物体位置検出部１１１１および自車ライト点灯検出部１２１１を用いる第二の分割方式について説明する。図４（ｃ）に示すように、物体位置検出部１１１１により検出された障害物を含む画像が処理画像生成部１０２１にて生成され、かつ、自車ライト点灯検出部１２１１により自車がライトを照射していると判定された場合、物体位置検出部１１１１が検出した障害物の相対距離ＰＹ［ｂ］，自車のライトの照射角度ＬＡＮＧＬ、および自車のライト高さＬＨＥＩＧＨＴから、物体のライト照射高さＬＺを以下の式（１）により算出する。
　　ＬＺ＝ＬＨＥＩＧＨＴ－ＰＹ［ｂ］tan（ＬＡＮＧＬ）　　　　（１）
　なお、自車のライトの照射角度ＬＡＮＧＬ、および自車のライト高さＬＨＥＩＧＨＴは、あらかじめ車両の種類に応じて定められた値である。
　そして、カメラ幾何を用いてＬＺを画像上での座標ＬＺＹに変換し、ＬＺＹを境として、処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］を小領域１（ＳＸＲ［０］，ＳＹＲ［０］，ＥＸＲ［０］，ＥＹＲ［０］＝ＬＺＹ）、および、小領域２（ＳＸＲ［１］，ＳＹＲ［１］＝ＬＺＹ，ＥＸＲ［１］，ＥＹＲ［１］）に分割する。小領域１、および小領域２は、図４（ａ）に示すように隙間なく設定してもよいし、図４（ｂ）に示すように、画像上での分割高さＬＺＹを境に、例えば５画素程度のヒステリシスを設け、ライトによるエッジが生じないようにしてもよい。なお、図４（ｂ）の例の場合、ヒステリシスの部分のエッジは全てゼロとする。
　さらに、路面ペイント検出部１３１１を用いる第三の分割方式について説明する。この場合、処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］を、検出した路面ペイントの位置を境として上下に分割する。路面ペイントまでの距離をＰＺとすると、カメラ幾何モデルを用いて、画像上での路面ペイントのｙ座標位置ＰＺＹに変換し、ＰＺＹを境として、処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］を小領域１（ＳＸＲ［０］，ＳＹＲ［０］，ＥＸＲ［０］，ＥＹＲ［０］＝ＰＺＹ）、および、小領域２（ＳＸＲ［１］，ＳＹＲ［１］＝ＰＺＹ，ＥＸＲ［１］，ＥＹＲ［１］）に分割する。小領域１、および小領域２は、図４（ａ）に示すように隙間なく設定してもよいし、図４（ｂ）に示すように、画像上での分割高さＰＺＹを境に、例えば５画素程度のヒステリシスを設け、照明状態の差によるエッジが生じないようにしてもよい。なお、図４（ｂ）の例の場合、ヒステリシスの部分のエッジは全てゼロとする。
　つぎに、上記３つの分割方式を、車外の照明状況に応じて選択する方法について、図５を用いて説明する。図５は、上記３つの分割方式の切り替え条件を記したフローチャートである。
　まず、ステップ５１にて、自車ライト点灯検出部１２１１の出力を用いて、自車がライトを点灯しているかを判定する。自車がライトを点灯していると判定された場合は、第二の分割手段を選択する。自車がライトを点灯していない場合は、次のステップへ写る。
　つぎに、ステップ５２にて、路面ペイント検出部１３１１の出力を用いて、自車前方に路面ペイントが存在するかを判定する。自車前方に路面ペイントが存在すると判定された場合は、第三の分割手段を選択する。また、路面ペイントが存在しないと判定された場合は、第一の分割手段を選択する。
　以上説明したように、自車ライト点灯検出部１２１１により自車のヘッドライトが照射されていると判定された場合、自車のヘッドライトにより歩行者の一部が明るくなっていると判断し、第二の分割手段が選択され、ヘッドライトが当たっている領域と、暗い領域に分割することができる。また、路面ペイント検出部１３１１により自車前方に路面ペイントが検出された場合、路面ペイント上に立っている歩行者の下半身が明るく写っていると判断し、第三の分割手段が選択され、路面ペイントを含む明るい領域と、路面ペイントがない領域に分割することができる。さらに、自車のヘッドライトは点灯しておらず、路面ペイントも検出されなかった場合は、第一の分割手段が選択される。第一の分割手段は、逆光により路面が反射し明るく写っている場合においても、逆光で明るい領域と、路面が写っていない領域に分割することができる。
　なお、本実施例においては、上記３つの分割手段は少なくとも第一の分割手段を備えていればよく、３つ全てを備えている必要はない。いずれかの分割手段を有さない場合、図５の条件分岐はＮＯのルートを辿る。
　つぎに、エッジ閾値設定部１０４１の処理の内容について説明する。　
　エッジ閾値設定部１０４１は、処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］のそれぞれの小領域ＳＸＲ［ｒ］，ＳＹＲ［ｒ］，ＥＸＲ［ｒ］，ＥＹＲ［ｒ］内の濃淡値の平均ＡＶＥ［ｒ］や分散ＶＡＲ［ｒ］に応じてエッジの閾値ＴＨＲ［ｒ］を決定する。ここでｒは小領域のＩＤ番号である。
　エッジの閾値は、例えば濃淡値の平均ＡＶＥ［ｒ］を引数とするテーブルを用いる方法や、濃淡値の平均ＡＶＥ［ｒ］および分散ＶＡＲ［ｒ］を引数とする２次元のマップを用いる方法等で決定する。
　平均ＡＶＥ［ｒ］および分散ＶＡＲ［ｒ］を引数とするマップを用いる方法は、あらかじめ様々な明るさの画像における最適なエッジの閾値を手動で決定し、そのときの平均および分散をマップ化したものを用いる。このことにより、小領域の濃淡値の平均ＡＶＥ［ｒ］および分散ＶＡＲ［ｒ］から、最適な閾値を決定することができる。
　なお、エッジの閾値ＴＨＲ［ｒ］の決定には、濃淡値ではなく、処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］に、例えばソーベルフィルタなどを適用した結果得られる画像の画素値の平均および分散を用いて決定してもよい。なお、ソーベルフィルタの演算については後述する。
　つぎに、エッジ抽出部１０５１の処理の内容について説明する。　
　エッジ抽出部１０５１は、処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］にソーベルフィルタなどの微分フィルタを適用し画像の勾配の強さおよび方向を求め、勾配の強さを閾値処理することによりエッジを抽出する。以下、微分フィルタとしてソーベルフィルタを適用する場合について説明する。
　ソーベルフィルタは図６に示すように３×３の大きさで、ｘ方向の勾配を求めるｘ方向フィルタ６１とｙ方向の勾配を求めるｙ方向フィルタ６２の２種類が存在する。処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］からｘ方向の勾配を求める場合、処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］の１画素ごとに、その画素と周囲８画素の計９画素の画素値と、対応する位置のｘ方向フィルタ６１の重みの積和演算を行う。積和演算の結果がその画素におけるｘ方向の勾配となる。ｙ方向の勾配の算出も同様である。処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］のある位置（ｘ、ｙ）におけるｘ方向の勾配の算出結果をｄｘ、ｙ方向の勾配の算出結果をｄｙとすると、勾配強さ画像ＤＭＡＧ［ｘ］［ｙ］および勾配方向画像ＤＩＲＣ［ｘ］［ｙ］は以下の式（２）（３）により算出される。
　　ＤＭＡＧ［ｘ］［ｙ］＝｜ｄｘ｜＋｜ｄｙ｜　　　　　　 （２）
　　ＤＩＲＣ［ｘ］［ｙ］＝ａｒｃtan（ｄｙ／ｄｘ）　　　　（３）
　なお、ＤＭＡＧ［ｘ］［ｙ］およびＤＩＲＣ［ｘ］［ｙ］は処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］と同じ大きさの２次元配列であり、ＤＭＡＧ［ｘ］［ｙ］およびＤＩＲＣ［ｘ］［ｙ］の座標ｘ，ｙはＩＭＧＰＲＯＣ［ｘ］［ｙ］の座標に対応する。
　エッジ抽出部１０５１は、処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］中の小領域ＳＸＲ［ｒ］，ＳＹＲ［ｒ］，ＥＸＲ［ｒ］，ＥＹＲ［ｒ］内の全画素について勾配強さ画像ＤＭＡＧ［ｘ］［ｙ］および勾配方向画像ＤＩＲＣ［ｘ］［ｙ］を算出する。つぎに、算出したＤＭＡＧ［ｘ］［ｙ］の属する小領域ＳＸＲ［ｒ］，ＳＹＲ［ｒ］，ＥＸＲ［ｒ］，ＥＹＲ［ｒ］に応じて、エッジ閾値ＴＨＲ［ｒ］とＤＭＡＧ［ｘ］［ｙ］を比較し、ＤＭＡＧ［ｘ］［ｙ］＞ＴＨＲ［ｒ］であれば１、それ以外であれば０をエッジ画像ＥＤＧＥ［ｘ］［ｙ］に記憶する。なお、エッジ画像ＥＤＧＥ［ｘ］［ｙ］は画像ＩＭＧＳＲＣ［ｘ］［ｙ］と同じ大きさの２次元配列であり、ＥＤＧＥ［ｘ］［ｙ］の座標ｘ，ｙは画像ＩＭＧＳＲＣ［ｘ］［ｙ］の座標に対応する。
　以上説明したように、小領域分割部１０３１において、車外の照明状態に応じて物体を含む処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］を小領域（ＳＸＲ［ｒ］，ＳＹＲ［ｒ］，ＥＸＲ［ｒ］，ＥＹＲ［ｒ］）に分割し、エッジ閾値設定部１０４１において小領域ごとにエッジの閾値ＴＨＲ［ｒ］を設定し、エッジ抽出部１０５１にて小領域ごとのエッジの閾値ＴＨＲ［ｒ］を用いてエッジを抽出することにより、歩行者の一部が明るく写っているようなシーンにおいても、明るい領域と暗い領域で歩行者の輪郭のエッジを正しく抽出することができる。
　つぎに、歩行者を検知する場合を例にとり、障害物認識部１０６１の処理内容について説明する。
　障害物認識部１０６１は、まず、エッジ画像ＥＤＧＥ［ｘ］［ｙ］内に歩行者判定を行うマッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）を設定する。処理画像生成部１０２１にて述べたように、本実施例では、カメラ幾何を用い、処理画像ＩＭＧＰＲＯＣ［ｘ］［ｙ］内において、高さ１８０［cm］、幅６０［cm］の物体が全て１６ドット×１２ドットの大きさになるように画像を拡大・縮小している。よって、マッチング判定領域の大きさを１６ドット×１２ドットとし、エッジ画像ＥＤＧＥ［ｘ］［ｙ］が１６ドット×１２ドットより大きい場合は、エッジ画像ＥＤＧＥ［ｘ］［ｙ］内に一定の間隔で敷き詰めるように複数設定する。そして、それぞれのマッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）について、以下詳述する識別器８１を用いて判定を行い、識別器８１の出力が１となる箇所があれば、その位置に歩行者がいると判定する。
　つぎに、識別器８１を用いて歩行者か否かを判定する方法について説明する。　
　画像処理によって歩行者を検知する方法として、歩行者パターンの代表となるテンプレートを複数用意しておき、差分累積演算あるいは正規化相関係演算を行って一致度を求めるテンプレートマッチングによる方法や、ニューラルネットワークなどの識別器を用いてパターン認識を行う方法が挙げられる。いずれの方法をとるとしても、あらかじめ歩行者か否かを決定する指標となるソースのデータベースが必要となる。様々な歩行者のパターンをデータベースとして蓄えておき、そこから代表となるテンプレートを作成したり識別器を生成したりする。実環境では様々な服装，姿勢，体型の歩行者が存在し、さらにそれぞれ照明や天候などの条件が異なったりするため大量のデータベースを用意して、誤判定を少なくすることが必要となってくる。このとき、前者のテンプレートマッチングによる方法の場合、判定漏れを防ぐようにするとテンプレートの数が膨大となるため現実的でない。
　そこで、本実施形態では後者の識別器を用いて判定する方法を採用する。識別器の大きさはソースのデータベースの大きさに依存しない。なお、識別器を生成するためのデータベースを教師データと呼ぶ。
　本実施例で使用する識別器８１は、複数の局所エッジ判定器に基づいて歩行者か否かを判定する。まず、局所エッジ判定器について、図７の例を用いて説明する。局所エッジ判定器７１はエッジ画像ＥＤＧＥ［ｘ］［ｙ］，勾配方向画像ＤＩＲＣ［ｘ］［ｙ］、およびマッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）を入力とし、０か１かの２値を出力する判定器であり、局所エッジ頻度算出部７１１、および閾値処理部７１２から構成される。
　局所エッジ頻度算出部７１１は、マッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）と同じ大きさのウィンドウ７１１１内に局所エッジ頻度算出領域７１１２を持ち、マッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）とウィンドウ７１１１の位置関係から、エッジ画像ＥＤＧＥ［ｘ］［ｙ］および勾配方向画像ＤＩＲＣ［ｘ］［ｙ］内の局所エッジ頻度を算出する位置を設定し、局所エッジ頻度ＭＷＣを算出する。局所エッジ頻度ＭＷＣは、勾配方向画像ＤＩＲＣ［ｘ］［ｙ］の角度値が角度条件７１１３を満たしており、かつ、対応する位置のエッジ画像ＥＤＧＥ［ｘ］［ｙ］が１である画素の総数である。
　ここで、角度条件７１１３は、図６の例の場合、６７.５度から１１２.５度の間、もしくは、２６７.５度から２９２.５度の間であることであり、勾配方向画像ＤＩＲＣ［ｘ］［ｙ］の値が一定の範囲であるか否かを判定するものである。
　閾値処理部７１２は、あらかじめ定められた閾値ＴＨＷＣを持ち、局所エッジ頻度算出部７１１にて算出された局所エッジ頻度ＭＷＣが閾値ＴＨＷＣ以上であれば１、それ以外であれば０を出力する。なお、閾値処理部７１２は、局所エッジ頻度算出部７１１にて算出された局所エッジ頻度ＭＷＣが閾値ＴＨＷＣ以下であれば１、それ以外であれば０を出力してもよい。
　つぎに、図８を用いて、識別器について説明する。識別器８１は、エッジ画像ＥＤＧＥ［ｘ］［ｙ］，勾配方向画像ＤＩＲＣ［ｘ］［ｙ］、およびマッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）を入力とし、領域内が歩行者であれば１、歩行者でなければ０を出力する。識別器８１は４０個の局所エッジ頻度判定器８１０１～８１４０，合計部８１２，閾値処理部８１３から構成される。
　局所エッジ頻度判定器８１０１～８１４０は、一つ一つの処理は前述した局所エッジ判定器７１と同様であるが、局所エッジ頻度算出領域７１１２，角度条件７１１３，閾値ＴＨＷＣはそれぞれ異なっている。
　合計部８１２は、局所エッジ頻度判定器８１０１～８１４０からの出力に、対応する重みＷＷＣ１～４０を乗じ、その合計を出力する。
　閾値処理部８１３は、閾値ＴＨＳＣを持ち、合計部８１２の出力が閾値ＴＨＳＣより大きければ１を、それ以外であれば０を出力する。
　識別器８１の各局所エッジ頻度判定器のパラメータである局所エッジ頻度算出領域７１１２，角度条件７１１３，閾値ＴＨＷＣ、また、重みＷＷＣ１～ＷＷＣ４０、最終閾値ＴＨＳＣは、識別器への入力画像が歩行者であった場合には１を、歩行者ではなかった場合には０を出力するように、教師データを用いて調整される。調整には、例えばAdaBoostなどの機械学習の手段を用いてもよいし、手動で行ってもよい。
　例えば、ＮＰＤ個の歩行者の教師データ、およびＮＢＧ個非歩行者の教師データから、AdaBoostを用いてパラメータを決定する手順は以下の通りとなる。なお、以下、局所エッジ頻度判定器をｃＷＣ［ｍ］と表す。ここで、ｍは局所エッジ頻度判定器のＩＤ番号である。
　まず、局所エッジ頻度算出領域７１１２および角度条件７１１３が異なる局所エッジ頻度判定器ｃＷＣ［ｍ］を複数（例えば、１００万通り）用意し、それぞれにおいて、局所エッジ頻度ＭＷＣの値を全ての教師データから算出し、閾値ＴＨＷＣをそれぞれ決定する。閾値ＴＨＷＣは、歩行者の教師データと非歩行者の教師データを最も分類することができる値を選択する。
　つぎに、歩行者の教師データひとつひとつにｗＰＤ［ｎＰＤ］＝１／２ＮＰＤの重みを与える。同様に、非歩行者の教師データひとつひとつにｗＢＧ［ｎＢＧ］＝１／２ＮＢＧの重みを与える。ここで、ｎＰＤは歩行者の教師データのＩＤ番号、ｎＢＧは非歩行者の教師データのＩＤ番号である。
　そして、ｋ＝１として、以下、繰り返し処理を行う。　
　まず、歩行者・非歩行者全ての教師データの重みの合計が１となるように、重みを正規化する。つぎに、各局所エッジ頻度判定器の誤検知率ｃＥＲ［ｍ］を算出する。誤検知率ｃＥＲ［ｍ］は、局所エッジ頻度判定器ｃＷＣ［ｍ］において、歩行者の教師データを局所エッジ頻度判定器ｃＷＣ［ｍ］に入力した場合の出力が０となったもの、もしくは非歩行者の教師データを局所エッジ頻度判定器ｃＷＣ［ｍ］に入力した場合の出力が１となったもの、すなわち出力が間違っている教師データの重みの合計である。
　全ての局所エッジ頻度判定器の誤検知率ｃＥＲ［ｍ］を算出後、誤検知率が最小となる局所エッジ頻度判定器のＩＤ　ｍＭｉｎを選択し、最終局所エッジ頻度判定器ＷＣ［ｋ］＝ｃＷＣ［ｍＭｉｎ］とする。
　つぎに、各教師データの重みを更新する。更新は、歩行者の教師データのうち、最終局所エッジ頻度判定器ＷＣ［ｋ］を適用した結果が１となったもの、および、非歩行者の教師データのうち最終局所エッジ頻度判定器ＷＣ［ｋ］を適用した結果が０となったもの、すなわち出力が正しい教師データの重みに、係数ＢＴ［ｋ］＝ｃＥＲ［ｍＭｉｎ］／（１－ｃＥＲ［ｍＭｉｎ］）を乗じる。
　ｋ＝ｋ＋１とし、ｋが予め設定した値（例えば、４０）になるまで繰り返す。繰り返し処理の終了後に得られる最終局所エッジ頻度判定器ＷＣがAdaBoostにより自動調整された識別器８１となる。なお、重みＷＷＣ１～ＷＷＣ４０は１／ＢＴ［ｋ］から算出され、閾値ＴＨＳＣは０.５とする。
　以上説明したように、エッジ抽出部１０５１にて抽出された歩行者の輪郭のエッジを用いて、障害物認識部１０６１にて歩行者を検出することができる。
　なお、歩行者の検知に用いる識別器８１は、本実施例で取り上げた方法に限定されない。正規化相関を用いたテンプレートマッチング，ニューラルネットワーク識別器，サポートベクターマシン識別器，ベイズ識別器などを用いてもよい。
　また、小領域分割部１０３１の分割手段は本実施例の３つに限定されず、２つ以下でも、４つ以上でもよい。
　つぎに、本発明に係る障害物検知装置である車載用物体検知装置２０００の第二の実施形態について、以下図面を用いて説明する。
　図９は、車載用物体検知装置２０００の実施形態を表すブロック図である。なお、以下の説明では、上述の車載用物体検知装置１０００と異なる箇所のみ詳述し、同様の箇所には同一の番号を付し説明を省略する。
　車載用物体検知装置２０００は、自動車に搭載されるカメラ内、もしくは統合コントローラ内等に組み込まれ、カメラで撮影した画像内から障害物を検知するためのものであり、本実施の形態では、自車の周囲を撮像した画像内から歩行者を検知するように構成されている。
　車載用物体検知装置２０００は、ＣＰＵやメモリ、Ｉ／Ｏ等を有するコンピュータによって構成されており、所定の処理がプログラミングされて、あらかじめ定められた周期で繰り返し処理を実行する。車載用物体検知装置２０００は、図９に示すように、画像取得部１０１１と、処理領域設定部２０２１と、小領域分割部２０３１と、エッジ閾値設定部２０４１と、エッジ抽出部２０５１と、障害物認識部２０６１と、認識結果出力部１０７１とを有し、さらに実施の形態によっては、物体位置検出部１１１１と、自車ライト点灯検出部１２１１と、路面ペイント検出部１３１１とを有する。
　処理領域設定部２０２１は、画像ＩＭＧＳＲＣ［ｘ］［ｙ］内から障害物である歩行者を検出する処理領域（ＳＸＰ，ＳＹＰ，ＥＸＰ，ＥＹＰ）を設定する。設定の詳細については後述する。
　小領域分割部２０３１は、画像ＩＭＧＳＲＣ［ｘ］［ｙ］の処理領域（ＳＸＰ，ＳＹＰ，ＥＸＰ，ＥＹＰ）を、複数の小領域（ＳＸＲ［ｒ］，ＳＹＲ［ｒ］，ＥＸＲ［ｒ］，ＥＹＲ［ｒ］）に分割する。ここで、ｒは小領域のＩＤ番号である。分割の詳細については後述するが、自車外の照明状態に基づいて複数の小領域に分割する。
　エッジ閾値設定部２０４１は、各小領域（ＳＸＲ［ｒ］，ＳＹＲ［ｒ］，ＥＸＲ［ｒ］，ＥＹＲ［ｒ］）内の画像ＩＭＧＳＲＣ［ｘ］［ｙ］の画素値から、エッジ閾値ＴＨＲ［ｒ］を決定する。閾値の設定の詳細については後述する。
　エッジ抽出部２０５１は、画像ＩＭＧＳＲＣ［ｘ］［ｙ］の各小領域内で濃淡勾配値を算出し、対応する小領域のエッジ閾値ＴＨＲ［ｒ］を用いて、２値のエッジ画像ＥＤＧＥ［ｘ］［ｙ］、およびエッジの方向の情報を持つ、勾配方向画像ＤＩＲＣ［ｘ］［ｙ］を生成する。処理の詳細は後述する。
　障害物認識度２０６１は、エッジ画像ＥＤＧＥ［ｘ］［ｙ］内に歩行者判定を行うマッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）を設定し、マッチング判定領域内のエッジ画像ＥＤＧＥ［ｘ］［ｙ］、および対応する位置の領域内の勾配方向画像ＤＩＲＣ［ｘ］［ｙ］を用いて、歩行者の有無を判定する。ここで、ｇは複数の領域を設定した場合のＩＤ番号である。認識処理の詳細は後述する。
　つぎに、図３を用いて、処理領域設定部２０２１における処理の内容について説明する。　
　処理領域設定部２０２１は、画像ＩＭＧＳＲＣ［ｘ］［ｙ］内で歩行者検出処理を行う領域を選定し、その座標の範囲，ｘ座標（横方向）の始点ＳＸＰおよび終点ＥＸＰ，ｙ座標上（縦方向）の始点ＳＹＰおよび終点ＥＹＰを求める。
　処理領域設定部２０２１は、物体位置検出部１１１１を用いても、用いなくてもよい。まず、処理領域設定部２０２１において、物体位置検出部１１１１を用いる場合について説明する。
　物体位置検出部１１１１が検出した物体の相対距離ＰＹ［ｂ］，横位置ＰＸ［ｂ］および横幅ＷＤ［ｂ］から、検出した物体の画像上位置（ｘ座標（横方向）の始点ＳＸＢ，終点ＥＸＢ，ｙ座標（縦方向）の始点ＳＹＢ，終点ＥＹＢ）を算出する。なお、カメラ画像上の座標と実世界の位置関係を対応付けるカメラ幾何パラメータを、カメラキャリブレーション等の方法によってあらかじめ算出しておき、物体の高さを、例えば１８０［cm］などあらかじめ仮定しておくことにより、画像上での位置は一意に決まる。
　また、カメラ１０１０の取り付けの誤差やレーダとの通信遅れ等の理由により、物体位置検出部１１１１で検出した物体の画像上での位置と、カメラ画像に写っている同じ物体の画像上での位置の違いが生じる場合がある。よって、画像上での物体位置（ＳＸＢ，ＥＸＢ，ＳＹＢ，ＥＹＢ）に、補正を加えた物体位置（ＳＸＰ，ＥＸＰ，ＳＹＰ，ＥＹＰ）を算出する。補正は、領域を所定の量拡大したり、移動させたりする。例えば、ＳＸＢ，ＥＸＢ，ＳＹＢ，ＥＹＢを上下左右に所定の画素拡張したりなどである。この結果得られた物体位置を処理領域（ＳＸＰ，ＥＸＰ，ＳＹＰ，ＥＹＰ）とする。
　なお、複数の領域に対して処理する場合、処理領域（ＳＸＰ，ＥＸＰ，ＳＹＰ，ＥＹＰ）をそれぞれ設定し、以下の小領域分割部から障害物認識部までの処理をそれぞれの処理画像に対して個別に実施する。
　つぎに、処理領域設定部２０２１において、物体位置検出部１１１１を用いずに処理領域（ＳＸＰ，ＥＸＰ，ＳＹＰ，ＥＹＰ）を設定する処理について説明する。
　物体位置検出部１１１１を用いない場合の領域選定の方法は、例えば、領域の大きさを変化させながら画像全体を探索するように領域を設定する方法や、特定の位置，特定の大きさのみに限定して領域を設定する方法がある。特定の位置に限定する場合は、例えば自車速を用いて、自車がＴ秒後に進んでいる位置に限定する方法がある。
　図３（ｂ）は、自車速を用いて，自車が２.３秒後に進んでいる位置を探索する場合の例である。処理領域の位置、および大きさは、自車が２.３秒後に進んでいる位置までの相対距離における路面高さ（０cm）、および想定する歩行者の高さ（本実施例では１８０cm）から、カメラ幾何パラメータを用いて画像ＩＭＧＳＲＣ［ｘ］［ｙ］上のｙ方向の範囲（ＳＹＰ２，ＥＹＰ２）を求める。なお、ｘ方向の範囲（ＳＸＰ２，ＥＸＰ２）は、制限しなくてもよいし、自車の予測進路等により制限してもよい。この結果得られた領域（ＳＸＰ２，ＳＹＰ２，ＥＸＰ２，ＥＹＰ２）を、処理領域（ＳＸＰ，ＥＸＰ，ＳＹＰ，ＥＹＰ）とする。
　つぎに、図４，図５を用いて、小領域分割部２０３１における処理の内容について説明する。
　本実施例では、小領域への分割方式として、物体位置検出部１１１１および自車ライト点灯検出部１２１１を用いる方式、路面ペイント検出部１３１１を用いる方式、また物体位置検出部１１１１，自車ライト点灯検出部１２１１、および路面ペイント検出部１３１１のいずれも用いない方式の３種類の分割方法について説明し、つぎに、車外の照明状態に応じて上記３方式を選択する方法について説明する。
　まず、物体位置検出部１１１１，自車ライト点灯検出部１２１１、および路面ペイント検出部１３１１のいずれも用いない、第一の分割方式について説明する。この場合、画像ＩＭＧＳＲＣ［ｘ］［ｙ］内の処理領域（ＳＸＰ，ＥＸＰ，ＳＹＰ，ＥＹＰ）を、画像の消失点のｙ座標ＶＰＹを境として上下の領域、小領域１（ＳＸＲ［０］，ＳＹＲ［０］，ＥＸＲ［０］，ＥＹＲ［０］＝ＶＰＹ）、および、小領域２（ＳＸＲ［１］，ＳＹＲ［１］＝ＶＰＹ，ＥＸＲ［１］，ＥＹＲ［１］）に分割する。小領域１、および小領域２は、図４（ａ）に示すように隙間なく設定してもよいし、図４（ｂ）に示すように、画像上での分割高さＶＰＹを境に、例えば５画素程度のヒステリシスを設け、照明状態の差によるエッジが生じないようにしてもよい。なお、図４（ｂ）の例の場合、ヒステリシスの部分のエッジは全てゼロとする。
　つぎに、物体位置検出部１１１１および自車ライト点灯検出部１２１１を用いる第二の分割方式について説明する。図４（ｃ）に示すように、物体位置検出部１１１１により検出された物体を含む画像が処理領域設定部２０２１にて設定され、かつ、自車ライト点灯検出部１２１１により自車がライトを照射していると判断された場合、物体位置検出部１１１１が検出した物体の相対距離ＰＹ［ｂ］，自車のライトの照射角度ＬＡＮＧＬ、および自車のライト高さＬＨＥＩＧＨＴから、物体のライト照射高さＬＺを上述の式（１）より算出する。なお、自車のライトの照射角度ＬＡＮＧＬ、および自車のライト高さＬＨＥＩＧＨＴは、あらかじめ車両の種類に応じて定められた値である。
　そして、カメラ幾何を用いてＬＺを画像上での座標ＬＺＹに変換し、ＬＺＹを境として、画像ＩＭＧＳＲＣ［ｘ］［ｙ］内の処理領域（ＳＸＰ，ＥＸＰ，ＳＹＰ，ＥＹＰ）を小領域１（ＳＸＲ［０］，ＳＹＲ［０］，ＥＸＲ［０］，ＥＹＲ［０］＝ＬＺＹ）、および、小領域２（ＳＸＲ［１］，ＳＹＲ［１］＝ＬＺＹ，ＥＸＲ［１］，ＥＹＲ［１］）に分割する。小領域１、および小領域２は、図４（ａ）に示すように隙間なく設定してもよいし、図４（ｂ）に示すように、画像上での分割高さＬＺＹを境に、例えば５画素程度のヒステリシスを設け、ライトによるエッジが生じないようにしてもよい。なお、図４（ｂ）の例の場合、ヒステリシスの部分のエッジは全てゼロとする。
　さらに、路面ペイント検出部１３１１を用いる第三の分割方式について説明する。この場合、画像ＩＭＧＳＲＣ［ｘ］［ｙ］内の処理領域（ＳＸＰ，ＥＸＰ，ＳＹＰ，ＥＹＰ）を、検出した路面ペイントの位置を境として上下に分割する。路面ペイントまでの距離をＰＺとすると、カメラ幾何モデルを用いて、画像上での路面ペイントのｙ座標位置ＰＺＹに変換し、ＰＺＹを境として、画像ＩＭＧＳＲＣ［ｘ］［ｙ］を小領域１（ＳＸＲ［０］，ＳＹＲ［０］，ＥＸＲ［０］，ＥＹＲ［０］＝ＰＺＹ）、および、小領域２（ＳＸＲ［１］，ＳＹＲ［１］＝ＰＺＹ，ＥＸＲ［１］，ＥＹＲ［１］）に分割する。小領域１、および小領域２は、図４（ａ）に示すように隙間なく設定してもよいし、図４（ｂ）に示すように、画像上での分割高さＰＺＹを境に、例えば５画素程度のヒステリシスを設け、照明状態の差によるエッジが生じないようにしてもよい。なお、図４（ｂ）の例の場合、ヒステリシスの部分のエッジは全てゼロとする。
　つぎに、上記３つの分割方式を、車外の照明状況に応じて選択する方法について、図５を用いて説明する。図５は、上記３つの分割方式の切り替え条件を記したフローチャートである。
　まず、ステップ５１にて、自車ライト点灯検出部１２１１の出力を用いて、自車がライトを点灯しているかを判定する。自車がライトを点灯していると判定された場合は、第二の分割手段を選択する。自車がライトを点灯していない場合は、次のステップへ写る。
　つぎに、ステップ５２にて、路面ペイント検出部１３１１の出力を用いて、自車前方に路面ペイントが存在するかを判定する。自車前方に路面ペイントが存在すると判定された場合は、第三の分割手段を選択する。また、路面ペイントが存在しないと判定された場合は、第一の分割手段を選択する。
　以上説明したように、自車ライト点灯検出部１２１１により自車のヘッドライトが照射されていると判定された場合、自車のヘッドライトにより歩行者の一部が明るくなっていると判断し、第二の分割手段が選択され、ヘッドライトが当たっている領域と、暗い領域に分割することができる。また、路面ペイント検出部１３１１により自車前方に路面ペイントが検出された場合、路面ペイント上に立っている歩行者の下半身が明るく写っていると判断し、第三の分割手段が選択され、路面ペイントを含む明るい領域と、路面ペイントがない領域に分割することができる。さらに、自車のヘッドライトは点灯しておらず、路面ペイントも検出されなかった場合は、第一の分割手段が選択される。第一の分割手段は、逆光により路面が反射し明るく写っている場合においても、逆光で明るい領域と、路面が写っていない領域に分割することができる。
　なお、上記３つの分割手段は少なくとも第一の分割手段を備えていればよく、３つ全てを備えている必要はない。いずれかの分割手段を有さない場合、図５の条件分岐はＮＯのルートを辿る。
　つぎに、エッジ閾値設定部２０４１の処理の内容について説明する。　
　エッジ閾値設定部２０４１は、画像取得部１０１１で取得した画像ＩＭＧＳＲＣ［ｘ］［ｙ］内の各小領域ＳＸＲ［ｒ］，ＳＹＲ［ｒ］，ＥＸＲ［ｒ］，ＥＹＲ［ｒ］内の濃淡値の平均ＡＶＥ［ｒ］や分散ＶＡＲ［ｒ］に応じてエッジの閾値ＴＨＲ［ｒ］を決定する。ここでｒは小領域のＩＤ番号である。
　エッジの閾値は、例えば濃淡値の平均ＡＶＥ［ｒ］を引数とするテーブルを用いる方法や、濃淡値の平均ＡＶＥ［ｒ］および分散ＶＡＲ［ｒ］を引数とする２次元のマップを用いる方法等で決定する。
　平均ＡＶＥ［ｒ］および分散ＶＡＲ［ｒ］を引数とするマップを用いる方法は、あらかじめ様々な明るさの画像における最適なエッジの閾値を手動で決定し、そのときの平均および分散をマップ化したものを用いる。このことにより、小領域の濃淡値の平均ＡＶＥ［ｒ］および分散ＶＡＲ［ｒ］から、最適な閾値を決定することができる。
　なお、エッジの閾値ＴＨＲ［ｒ］の決定には、濃淡値ではなく、画像ＩＭＧＳＲＣ［ｘ］［ｙ］に、例えばソーベルフィルタなどを適用した結果得られる画像の画素値の平均および分散を用いて決定してもよい。なお、ソーベルフィルタの演算については後述する。
　つぎに、エッジ抽出部２０５１の処理の内容について説明する。　
　エッジ抽出部２０５１は、画像取得部１０１１で取得した画像ＩＭＧＳＲＣ［ｘ］［ｙ］にソーベルフィルタなどの微分フィルタを適用し画像の勾配の強さおよび方向を求め、勾配の強さを閾値処理することによりエッジを抽出する。以下、微分フィルタとしてソーベルフィルタを適用する場合について説明する。
　ソーベルフィルタは図６に示すように３×３の大きさで、ｘ方向の勾配を求めるｘ方向フィルタ６１とｙ方向の勾配を求めるｙ方向フィルタ６２の２種類が存在する。画像ＩＭＧＳＲＣ［ｘ］［ｙ］からｘ方向の勾配を求める場合、画像ＩＭＧＳＲＣ［ｘ］［ｙ］の１画素ごとに、その画素と周囲８画素の計９画素の画素値と、対応する位置のｘ方向フィルタ６１の重みの積和演算を行う。積和演算の結果がその画素におけるｘ方向の勾配となる。ｙ方向の勾配の算出も同様である。画像ＩＭＧＳＲＣ［ｘ］［ｙ］のある位置（ｘ、ｙ）におけるｘ方向の勾配の算出結果をｄｘ、ｙ方向の勾配の算出結果をｄｙとすると、勾配強さ画像ＤＭＡＧ［ｘ］［ｙ］および勾配方向画像ＤＩＲＣ［ｘ］［ｙ］は上述の式（２）（３）により算出される。
　なお、ＤＭＡＧ［ｘ］［ｙ］およびＤＩＲＣ［ｘ］［ｙ］は画像ＩＭＧＳＲＣ［ｘ］［ｙ］と同じ大きさの２次元配列であり、ＤＭＡＧ［ｘ］［ｙ］およびＤＩＲＣ［ｘ］［ｙ］の座標ｘ、ｙは画像ＩＭＧＳＲＣ［ｘ］［ｙ］の座標に対応する。
　エッジ抽出部２０５１は、画像ＩＭＧＳＲＣ［ｘ］［ｙ］中の小領域ＳＸＲ［ｒ］，ＳＹＲ［ｒ］，ＥＸＲ［ｒ］，ＥＹＲ［ｒ］内の全画素について勾配強さ画像ＤＭＡＧ［ｘ］［ｙ］および勾配方向画像ＤＩＲＣ［ｘ］［ｙ］を算出する。つぎに、算出したＤＭＡＧ［ｘ］［ｙ］の属する小領域ＳＸＲ［ｒ］，ＳＹＲ［ｒ］，ＥＸＲ［ｒ］，ＥＹＲ［ｒ］に応じて、エッジ閾値ＴＨＲ［ｒ］とＤＭＡＧ［ｘ］［ｙ］を比較し、ＤＭＡＧ［ｘ］［ｙ］＞ＴＨＲ［ｒ］であれば１、それ以外であれば０をエッジ画像ＥＤＧＥ［ｘ］［ｙ］に記憶する。なお、エッジ画像ＥＤＧＥ［ｘ］［ｙ］は画像ＩＭＧＳＲＣ［ｘ］［ｙ］と同じ大きさの２次元配列であり、ＥＤＧＥ［ｘ］［ｙ］の座標ｘ、ｙは画像ＩＭＧＳＲＣ［ｘ］［ｙ］の座標に対応する。
　以上説明したように、小領域分割部２０３１において、車外の照明状態に応じて物体を含む画像ＩＭＧＳＲＣ［ｘ］［ｙ］内の処理領域（ＳＸＰ，ＳＹＰ，ＥＸＰ，ＥＹＰ）を小領域（ＳＸＲ［ｒ］，ＳＹＲ［ｒ］，ＥＸＲ［ｒ］，ＥＹＲ［ｒ］）に分割し、エッジ閾値設定部２０４１において小領域ごとにエッジの閾値ＴＨＲ［ｒ］を設定し、エッジ抽出部２０５１にて小領域ごとのエッジの閾値ＴＨＲ［ｒ］を用いてエッジを抽出することにより、歩行者の一部が明るく写っているようなシーンにおいても、明るい領域と暗い領域で歩行者の輪郭のエッジを正しく抽出することができる。
　つぎに、歩行者を検知する場合を例にとり、障害物認識部２０６１の処理内容について説明する。　
　障害物認識部２０６１は、まず、エッジ画像ＥＤＧＥ［ｘ］［ｙ］内に歩行者判定を行うマッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）を設定する。
　なお、マッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）の幅ＷＧ＝ＥＸＧ［ｇ］―ＳＸＧ［ｇ］、および、高さＨＧ＝ＥＹＧ［ｇ］―ＳＹＧ［ｇ］は、画像ＩＭＧＳＲＣ［ｘ］［ｙ］内において、高さ１８０［cm］，幅６０［cm］の物体の画像上での大きさから決定される。幅ＷＧ，高さＨＧを決める方法は、物体位置検出部１１１１を有している場合や、物体までの距離を仮決めしている場合、物体までの距離と消失点を用いて、カメラ幾何により一意に決定できる。
　また、処理領域内でマッチング判定領域の大きさを変えながら歩行者を検出する場合など、距離が不明の場合は、マッチング判定領域の縦横の比率を一定として、大きさを変更しながら設定する。処理領域（ＳＸＰ，ＳＹＰ，ＥＸＰ，ＥＹＰ）がマッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）より大きい場合は、エッジ画像ＥＤＧＥ［ｘ］［ｙ］内に一定の間隔で敷き詰めるように複数設定する。
　そして、それぞれのマッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）について、識別器８２を用いて判定を行い、識別器８２の出力が１となる箇所があれば、その位置に歩行者がいると判定する。
　つぎに、識別器８２を用いて歩行者か否かを判定する方法について説明する。本実施例で使用する識別器８２は、複数の局所エッジ判定器に基づいて歩行者か否かを判定する。
　本実施例の識別器８２は、前述の識別器８１と同じ構成である。ただし、前述の識別器８１は、局所エッジ頻度判定器８１０１～８１４０内のウィンドウ７１１１の大きさが幅１２ドット、高さ１６ドットであったのに対し、識別器８２は、ウィンドウ７１１１の大きさを、マッチング判定領域の幅ＷＧ，高さＨＧと同じになるように拡大・縮小する。ウィンドウ７１１１の拡大・縮小に伴い、ウィンドウ７１１１内の局所エッジ頻度算出領域７１１２も同じ比率で拡大・縮小する。なお、以降の処理は識別器８１と同様であるため、詳細な説明は省略する。
　以上説明したように、車載用物体検知装置１０００（もしくは車載用物体検知装置２０００）を用いることによって、例えば図１０のようなシーンにおいて、歩行者の有無を正確に判断することができる。
　図１０（ａ）（ｂ）は自車のヘッドライトによって一部に光が当たっている物体の例であり、（ａ）は歩行者、（ｂ）は看板である。このような場合、自車のヘッドライト照射高さの上下で分割せずにエッジを抽出すると、それぞれ図１０（ｃ）（ｄ）のようなエッジが得られ、区別することができない。しかし、本発明を用いることにより、抽出されるエッジは図１０（ｅ）（ｆ）となり、歩行者の輪郭のエッジが正しく抽出され、図１０（ａ）の歩行者を認識することができる。
　また、車載用物体検知装置１０００（もしくは車載用物体検知装置２０００）における障害物認識部１０６１（２０６１）は、上述したような識別器８１（８２）を用いた形式でなくてもよい。例として、連続する縦エッジの長さによって障害物を判定する障害物認識部の別の実施形態について、図１１を用いて説明する。
　図１１は、障害物認識部の他の実施形態の処理の流れを表すフローチャートである。
　まず、ステップ１０１にて、障害物認識部１０６１，２０６１と同様に、マッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）を設定する。
　つぎに、ステップ１０２にて、マッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）内のエッジ画像ＥＤＧＥ［ｘ］［ｙ］のうち、縦方向のエッジを抽出する。
　ここで、まずエッジの有無は、エッジ画像ＥＤＧＥ［ｘ］［ｙ］の値を用いて判定する。エッジ画像ＥＤＧＥ［ｘ］［ｙ］は２値画像であり、エッジ画像ＥＤＧＥ［ｘ］［ｙ］の座標（ｘ，ｙ）の値が１である場合、対応する画像ＩＭＧＳＲＣ［ｘ］［ｙ］の座標（ｘ，ｙ）にエッジ、すなわち物体の輪郭が存在することを表す。
　また、エッジの方向は勾配方向画像ＤＩＲＣ［ｘ］［ｙ］を用いて判定する。勾配方向画像ＤＩＲＣ［ｘ］［ｙ］は０～３５９の値を持ち、濃淡変化の角度を表す。よって、エッジ画像ＥＤＧＥ［ｘ］［ｙ］の座標（ｘ，ｙ）の値が１である場合に、対応する座標（ｘ，ｙ）の勾配方向画像ＤＩＲＣ［ｘ］［ｙ］の値を参照することにより、物体の輪郭の画像上での方向を知ることができる。
　よって、ステップ１０２は、例えば、エッジ画像ＥＤＧＥ［ｘ］［ｙ］が１であり、かつ、対応する座標（ｘ，ｙ）の勾配方向画像ＤＩＲＣ［ｘ］［ｙ］の値が９０±２２.５［°］、もしくは２７０±２２.５［°］の範囲である部分を抽出することで実現できる。
　抽出した結果は、例えば縦エッジ画像ＶＥＤＧＥ［ｘ］［ｙ］に保存する。縦エッジ画像ＶＥＤＧＥ［ｘ］［ｙ］はエッジ画像ＥＤＧＥ［ｘ］［ｙ］と同じ大きさの２次元配列であり、ＶＥＤＧＥ［ｘ］［ｙ］の座標ｘ，ｙはＥＤＧＥ［ｘ］［ｙ］の座標に対応する。縦エッジ画像ＶＥＤＧＥ［ｘ］［ｙ］には、例えば、上記条件を満たす座標の画素に「１」を、そうでない座標に「０」を代入する。
　さらに、ステップ１０３にて、縦エッジ画像ＶＥＤＧＥ［ｘ］［ｙ］のうち画素値が「１」となっている部分のグルーピングを行う。グルーピングは、例えばラベリング処理を用いる。
　ラベリング処理は、まず縦エッジ画像ＶＥＤＧＥ［ｘ］［ｙ］中で画素値が１である場所を探索し、ラベル番号１をその画素に与える。つぎに、その画素に隣接する画素値が１であれば、その画素にもラベル番号１を与える。この処理を、ラベル番号１の画素に隣接する画素がすべて０になるまで繰り返す。
　つぎに、ラベル番号がまだ与えられていない画素があれば、そのうちの一つの画素にラベル番号２を与え、ラベル番号１のときと同様の処理を行う。以上の処理を、画素値が１であり、ラベル番号が与えられていない画素がなくなるまで繰り返す。
　以上のラベリング処理の結果、縦エッジ画像ＶＥＤＧＥ［ｘ］［ｙ］のエッジはいずれかのラベル番号を与えられ、グルーピングされることになる。
　つぎに、ステップ１０４にて、グルーピングされたエッジの中から、画像上でｙ方向に長い縦エッジを２本抽出する。
　さらに、ステップ１０５にて、抽出されたエッジがペアであるかを判定する。ペアであるかの判定には、縦エッジ画像ＶＥＤＧＥ［ｘ］［ｙ］、および、勾配方向画像ＤＩＲＣ［ｘ］［ｙ］を用いる。図１２は、エッジのペア判定の例である。
　まず、縦エッジ画像中で抽出された２本のエッジのうち、画像上のｙ方向の重複範囲（ＳＹ＿ＰＡＩＲ，ＥＹ＿ＰＡＩＲ）を求める。
　つぎに、抽出された２本のエッジそれぞれについて、ＳＹ＿ＰＡＩＲ，ＥＹ＿ＰＡＩＲの範囲内で、対応する位置の勾配方向画像ＤＩＲＣ［ｘ］［ｙ］から、勾配方向の平均ＤＩＲ＿ＰＡＩＲ１，ＤＩＲ＿ＰＡＩＲ２を算出する。
　そして、ＤＩＲ＿ＰＡＩＲ１，ＤＩＲ＿ＰＡＩＲ２の方向がペアになっているかを判定する。判定は、例えば、
（１）ＤＩＲ＿ＰＡＩＲ１＞ＤＩＲ＿ＰＡＩＲ２の場合、
　　ＡＢＳ（ＤＩＲ＿ＰＡＩＲ１―ＤＩＲ＿ＰＡＩＲ２―１８０）＜ＴＨ＿ＰＡＩＲ
（２）それ以外の場合
　　ＡＢＳ（ＤＩＲ＿ＰＡＩＲ２―ＤＩＲ＿ＰＡＩＲ１―１８０）＜ＴＨ＿ＰＡＩＲ
が成立するか否かで行う。ここで、ＴＨ＿ＰＡＩＲはエッジがペアになっているかを判定する角度の許容量であり、本実施例では２２.５とする。また、ＡＢＳ（）は絶対値である。判定の結果、ペアであると判定された場合は、ステップ１０６へ進み、そうでない場合はステップ１０８へと進む。
　ステップ１０６は、画像上のｙ方向の重複範囲（ＳＹ＿ＰＡＩＲ，ＥＹ＿ＰＡＩＲ）の長さが所定値ＴＨ＿ＬＥＮＧＴＨＰＡＩＲ以上であるかを判定する。所定値以上であると判定された場合は、ステップ１０７へ進み、そうでない場合、つまり所定値未満であると判定された場合は、ステップ１０８へと進む。
　ステップ１０７は、マッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）に障害物が存在するとし、障害物認識部１０６１（２０６１）へ情報を伝える。
　また、ステップ１０８は、マッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）に障害物は存在しないとし、障害物認識部１０６１（２０６１）へ情報を伝えない。
　以上説明したように、本実施形態を用いることによって、例えば図１３のようなシーンにおいて障害物の有無を正しく判断することができる。
　図１３（ａ）（ｂ）は自車のヘッドライトによって一部に光が当たっている物体の例であり、（ａ）は高さのある障害物、（ｂ）は高さのない障害物である。このような場合、自車のヘッドライト照射高さの上下で分割せずにエッジを抽出すると、それぞれ図１３（ｃ）（ｄ）のようなエッジが得られ、区別することができない。
　しかし、本発明を用いることにより、抽出されるエッジは図１３（ｅ）（ｆ）となり、暗い領域のエッジが正しく抽出され、（ａ）は高さがあるため衝突の危険がある障害物、（ｂ）は高さがないため衝突の危険がない障害物であると認識することができる。
　つぎに、図１４を用いて、プリクラッシュ・セーフティ・システムを例にとり、前記の実施例に記載のように車載用物体検知装置の認識結果出力部より出力される障害物情報（相対距離ＰＹＯ［ｂ］，横位置ＰＸＯ［ｂ］，横幅ＷＤＯ［ｂ］）に応じて警報を出力する、あるいは自動的にブレーキを制御するといったシステムの動作方法について説明する。
　図１４は、プリクラッシュ・セーフティ・システムの動作方法を示すフローチャートである。
　最初に、ステップ１４１において、上記いずれかの障害物検知装置の認識結果出力部で出力された障害物情報（相対距離ＰＹＯ［ｂ］，横位置ＰＸＯ［ｂ］，横幅ＷＤＯ［ｂ］）を読み込む。
　つぎに、ステップ１４２において、検知された各物体の衝突予測時間ＴＴＣ［ｉ］を式（４）を用いて演算する。ここで、相対速度ＶＹＯ［ｂ］は、物体の相対距離ＰＹＯ［ｂ］を擬似微分することによって求める。
　　ＴＴＣ［ｂ］＝ＰＹ［ｂ］÷ＶＹ［ｂ］　　　　　　　　　　　（４）
　さらに、ステップ１４３において、各障害物に対する危険度ＤＲＥＣＩ［ｂ］を演算する。
　以下、車載用物体検知装置１０００（もしくは車載用物体検知装置２０００）で検知された物体Ｘ［ｂ］に対する危険度ＤＲＥＣＩ［ｂ］の演算方法の例を、図１５を用いて説明する。
　まず、予測進路の推定方法について説明する。図１５に示すように、自車位置を原点Ｏとすると、予測進路は原点Ｏを通る旋回半径Ｒの円弧で近似できる。ここで、旋回半径Ｒは、自車の操舵角α，速度Ｖｓｐ，スタビリティファクタＡ，ホイールベースＬおよびステアリングギア比Ｇｓを用いて式（５）で表される。
　　Ｒ＝（１＋Ａ・Ｖｓｐ・Ｖｓｐ）×（Ｌ・Ｇｓ／α）　　　　　（５）
　スタビリティファクタとは、その正負が、車両のステア特性を支配するものであり、車両の定常円旋回の速度に依存する変化の大きさを示す指数となる重要な値である。式（５）からわかるように、旋回半径Ｒは、スタビリティファクタＡを係数として、自車の速度Ｖｓｐの２乗に比例して変化する。また、旋回半径Ｒは車速Ｖｓｐおよびヨーレートγを用いて式（６）で表すことができる。
　　Ｒ＝Ｖ／γ　　　　　　　　　　　　　　　　　　　　　　　　（６）
　つぎに、物体Ｘ［ｂ］から、旋回半径Ｒの円弧で近似した予測進路の中心へ垂線を引き、距離Ｌ［ｂ］を求める。
　さらに、自車幅Ｈから距離Ｌ［ｂ］を引き、これが負値の場合には危険度ＤＲＥＣＩ［ｂ］＝０とし、正値の場合には以下の式（７）によって危険度ＤＲＥＣＩ［ｂ］を演算する。
　　ＤＲＥＣＩ［ｂ］＝（Ｈ－Ｌ［ｂ］）／Ｈ　　　　　　　　　　（７）
　なお、ステップ１４１～１４３の処理は、検知した物体数に応じてループ処理を行う構成としている。
　ステップ１４４において、ステップ１４３で演算した危険度ＤＲＥＣＩ［ｂ］に応じて式（８）の条件が成立している物体を選択し、選択された物体の中で衝突予測時間ＴＴＣ［ｂ］が最小となる物体ｂＭｉｎを選択する。
　　ＤＲＥＣＩ［ｂ］≧ｃＤＲＥＣＩ＃　　　　　　　　　　　　　（８）
　ここで、所定値ｃＤＲＥＣＩ＃は、自車に衝突するか否かを判定するための閾値である。
　つぎに、ステップ１４５において、選択された物体ｋの衝突予測時間ＴＴＣ［ｂＭｉｎ］に応じて自動的にブレーキを制御する範囲であるか否かの判定を行う。式（９）が成立している場合にはステップ１４６に進み、ブレーキ制御を実行して処理を終了する。また、式（９）が非成立の場合にはステップ１４７に進む。
　　ＴＴＣ［ｂＭｉｎ］≦ｃＴＴＣＢＲＫ＃　　　　　　　　　　　（９）
　ステップ１４７において、選択された物体ｂＭｉｎの衝突予測時間ＴＴＣ［ｂＭｉｎ］に応じて警報を出力する範囲であるか否かの判定を行う。式（１０）が成立している場合にはステップ１４８に進み、警報を出力して処理を終了する。また、式（１０）が非成立の場合には、ブレーキ制御，警報ともに実行せずに処理を終了する。
　　ＴＴＣ［ｂＭｉｎ］≦ｃＴＴＣＡＬＭ＃　　　　　 　　　　（１０）
　以上説明したように、本発明である車載用物体検知装置１０００もしくは２０００を用いることによって、図１０のようなシーンにおいて、歩行者の足元のみに光が当たっており、足元のみでは歩行者か判定できない場合においても、光が当たっていない領域のエッジを抽出できるため、自車前方の歩行者を認識でき、上記警報やブレーキ制御を発動させることができる。
　また、図１３のようなシーンにおいて、物体の一部のみに光が当たっており、一部では自車にとって衝突の危険がある物体か判定することができない場合においても、光が当たっていない領域のエッジを抽出できるため、自車にとって衝突の危険がある物体に対してのみ上記警報やブレーキ制御を発動させることができる。
　また、図１６の例に対して本発明を適用した場合について説明する。　
　まず、自車のヘッドライトと同程度の光を発する外部照明がＯＮの状態で、路面の凹凸により生じる、路面の濃淡差をＤＩＦ１＿Ｒとする。そして、外部照明ＯＮ時に、同程度の濃淡差を持つ、淡い物体Ｂを用意する。物体Ｂの、外部照明ＯＮの状態での輪郭の内外の濃淡差をＤＩＦ１＿Ｂ、外部照明ＯＦＦの状態での輪郭の内外の濃淡差をＤＩＦ０＿Ｂとすると、ＤＩＦ１＿Ｂ＝ＤＩＦ１＿Ｒである。図１６の例では、ＤＩＦ１＿Ｂ＝１０，ＤＩＦ０＿Ｂ＝５である。
　また、物体Ｂと全く同じ形状であるが濃淡差が物体Ｂより大きく、外部照明ＯＮの状態では輪郭の内外の濃淡差がＤＩＦ１＿Ａ、外部照明がＯＦＦの状態では輪郭の内外の濃淡差がＤＩＦ０＿Ａとなり、かつＤＩＦ０＿Ａ＝ＤＩＦ１＿Ｂとなる物体Ａを用意する。図１６の例では、ＤＩＦ１＿Ａ＝２０，ＤＩＦ０＿Ａ＝１０である。
　物体Ｂの輪郭の濃淡差は路面の凹凸により生じる濃淡差と同じであるため、路面の凹凸による誤検知を発生させないためには、物体Ａを認識し、物体Ｂを認識しないことが必要である。しかし、ＤＩＦ０＿Ａ＝ＤＩＦ１＿Ｂであるため、外部照明ＯＦＦ時に物体Ａを認識するためには、照明状況に応じてエッジの閾値を変化させる必要がある。
　本発明は、照明状況に応じてエッジの閾値を変化させるため、外部照明ＯＮ時、および、外部照明ＯＦＦ時どちらにおいても、物体Ａを認識し、物体Ｂを認識しない。さらに、本発明は、物体を含む画像領域を小領域に分割し、各小領域の照明状態に応じてエッジの閾値を設定するため、外部照明ＯＦＦ時にヘッドライトを照射した場合においても、物体Ａを認識し、物体Ｂを認識しない。
　なお、本発明は、上述の各実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。

Claims (16)

  1. 　自車外を撮像した画像を取り込む画像取得部と、
    　取り込まれた前記画像から障害物を検知するための処理画像を生成する処理画像生成部と、
    　前記処理画像を複数の小領域に分割する小領域分割部と、
    　前記複数の小領域と前記処理画像の画素値から、小領域毎のエッジ閾値を設定するエッジ閾値設定部と、
    　前記複数の小領域と前記処理画像から小領域毎の濃淡勾配値を算出し、算出された前記濃淡勾配値に対応する小領域の前記エッジ閾値を用いて、２値のエッジ画像と、エッジの方向の情報を有する勾配方向画像と、を生成するエッジ抽出部と、
    　前記エッジ画像内で障害物を検知するためのマッチング判定領域を設定し、前記マッチング判定領域内のエッジ画像及び前記エッジ画像に対応する勾配方向画像から障害物の有無を判定する障害物認識部と、
    　障害物の判定結果を出力する認識結果出力部と、を有し、
    　前記小領域分割部は、自車外の照明状態に基づいて前記処理画像を複数の小領域に分割する障害物検知装置。
  2. 　請求項１記載の障害物検知装置において、
    　障害物検出部からの検出信号に基づいて自車外の障害物の位置を検出する物体位置検出部を有し、
    　前記処理画像生成部は、前記画像と前記障害物の位置に基づいて、処理画像を生成する障害物検知装置。
  3. 　請求項１記載の障害物検知装置において、
    　障害物検出部からの検出信号に基づいて自車外の障害物の位置を検出する物体位置検出部と、
    　自車のライトの点灯状態を検出する自車ライト点灯検出部と、を有し、
    　前記小領域分割部は、前記自車ライト点灯検出部でライトが点灯していると検出された場合、前記物体位置検出部からの障害物の位置と、予め定められた自車ライトの照射角度及び自車ライトの路面からの高さ、に基づいて、障害物へ照射される高さを算出し、算出された前記障害物へ照射される高さに対する画像上の座標を境にして前記処理画像から複数の小領域に分割する障害物検知装置。
  4. 　請求項１記載の障害物検知装置において、
    　自車の走行路面のペイントを検出し、自車から路面ペイントまでの距離を算出する路面ペイント検出部を有し、
    　前記小領域分割部は、前記路面ペイント検出部で検出された路面ペイントの距離から前記路面ペイントの位置を算出し、前記路面ペイントの位置を境にして前記処理画像から複数の小領域に分割する障害物検知装置。
  5. 　請求項１記載の障害物検知装置において、
    　障害物検出部からの検出信号に基づいて自車外の障害物の位置を検出する物体位置検出部と、
    　自車のライトの点灯状態を検出する自車ライト点灯検出部と、
    　自車の走行路面のペイントを検出し、自車から路面ペイントまでの距離を算出する路面ペイント検出部と、を有し、
    　前記小領域分割部は、
    　前記自車ライト点灯検出部で自車がライトを点灯している場合は、前記物体位置検出部の検出結果と前記自車ライト点灯検出部の検出結果で得られる位置を境にして前記処理画像を複数の小領域に分割し、
    　前記自車ライト点灯検出部で自車がライトを点灯していない場合、且つ前記路面ペイント検出部により路面ペイントが検出された場合は、検出された前記路面ペイントの位置を境にして前記処理画像を複数の小領域に分割し、
    　前記自車ライト点灯検出部で自車がライトを点灯していない場合、且つ前記路面ペイント検出部により路面ペイントが検出されない場合は、前記画像の消失点を境にして前記処理画像を複数の小領域に分割する障害物検知装置。
  6. 　請求項１記載の障害物検知装置において、
    　前記障害物認識部は、前記エッジ画像と前記勾配方向画像から複数の縦エッジ画像を生成し、前記複数の縦エッジ画像から予め定めた条件を満たす縦エッジ画像をグルーピングし、前記グルーピングされた縦エッジ画像の中から縦エッジを２本抽出し、前記２本の縦エッジが前記縦エッジ画像及び前記勾配方向画像に基づいてペアか否か判定し、判定結果としてペアでない場合は、障害物ではないと判定し、ペアである場合、且つ前記２本の縦エッジの長さが予め定めた長さ以上の場合は、障害物と判定し、ペアである場合、且つ前記２本の縦エッジの長さが予め定めた長さ未満の場合は、障害物ではないと判定する障害物検知装置。
  7. 　請求項１記載の障害物検知装置において、
    　前記認識結果出力部は、前記障害物認識部で認識した障害物の位置に応じて、車両の警報、ブレーキ制御の少なくともいずれか１つを作動させる障害物体検知装置。
  8. 　請求項１記載の障害物検知装置において、
    　前記小領域分割手段にて分割する小領域の境界部分には、ヒステリシスを持つ車載用物体検知装置。
  9. 　自車外を撮像した画像を取り込む画像取得部と、
    　取り込まれた前記画像から障害物を検知するための処理領域を設定する処理領域設定部と、
    　前記処理領域を複数の小領域に分割する小領域分割部と、
    　前記複数の小領域と前記画像取得部で取り込まれた前記画像の画素値から、小領域毎のエッジ閾値を設定するエッジ閾値設定部と、
    　前記複数の小領域と前記画像取得部で取り込まれた前記画像から小領域毎の濃淡勾配値を算出し、算出された前記濃淡勾配値に対応する小領域の前記エッジ閾値を用いて、２値のエッジ画像と、エッジの方向の情報を有する勾配方向画像と、を生成するエッジ抽出部と、
    　前記エッジ画像内で障害物を検知するためのマッチング判定領域を設定し、前記マッチング判定領域内のエッジ画像及び前記エッジ画像に対応する勾配方向画像から障害物の有無を判定する障害物認識部と、
    　障害物の判定結果を出力する認識結果出力部と、を有し、
    　前記小領域分割部は、自車外の照明状態に基づいて前記処理領域を複数の小領域に分割する障害物検知装置。
  10. 　請求項９記載の障害物検知装置において、
    　障害物検出部からの検出信号に基づいて自車外の障害物の位置を検出する物体位置検出部を有し、
    　前記処理領域設定部は、前記画像と前記障害物の位置に基づいて、処理領域を設定する障害物検知装置。
  11. 　請求項９記載の障害物検知装置において、
    　障害物検出部からの検出信号に基づいて自車外の障害物の位置を検出する物体位置検出部と、
    　自車のライトの点灯状態を検出する自車ライト点灯検出部と、を有し、
    　前記小領域分割部は、前記自車ライト点灯検出部でライトが点灯していると検出された場合、前記物体位置検出部からの障害物の位置と、予め定められた自車ライトの照射角度及び自車ライトの路面からの高さ、に基づいて、障害物へ照射される高さを算出し、算出された前記障害物へ照射される高さに対する画像上の座標を境にして前記処理領域から複数の小領域に分割する障害物検知装置。
  12. 　請求項９記載の障害物検知装置において、
    　自車の走行路面のペイントを検出し、自車から路面ペイントまでの距離を算出する路面ペイント検出部を有し、
    　前記小領域分割部は、前記路面ペイント検出部で検出された路面ペイントの距離から前記路面ペイントの位置を算出し、前記路面ペイントの位置を境にして前記処理領域から複数の小領域に分割する障害物検知装置。
  13. 　請求項９記載の障害物検知装置において、
    　障害物検出部からの検出信号に基づいて自車外の障害物の位置を検出する物体位置検出部と、
    　自車のライトの点灯状態を検出する自車ライト点灯検出部と、
    　自車の走行路面のペイントを検出し、自車から路面ペイントまでの距離を算出する路面ペイント検出部と、を有し、
    　前記小領域分割部は、
    　前記自車ライト点灯検出部で自車がライトを点灯している場合は、前記物体位置検出部の検出結果と前記自車ライト点灯検出部の検出結果で得られる位置を境にして前記処理領域を複数の小領域に分割し、
    　前記自車ライト点灯検出部で自車がライトを点灯していない場合、且つ前記路面ペイント検出部により路面ペイントが検出された場合は、検出された前記路面ペイントの位置を境にして前記処理領域を複数の小領域に分割し、
    　前記自車ライト点灯検出部で自車がライトを点灯していない場合、且つ前記路面ペイント検出部により路面ペイントが検出されない場合は、前記画像の消失点を境にして前記処理領域を複数の小領域に分割する障害物検知装置。
  14. 　請求項９記載の記載の障害物検知装置において、
    　前記障害物認識部は、前記エッジ画像と前記勾配方向画像から複数の縦エッジ画像を生成し、前記複数の縦エッジ画像から予め定めた条件を満たす縦エッジ画像をグルーピングし、前記グルーピングされた縦エッジ画像の中から縦エッジを２本抽出し、前記２本の縦エッジが前記縦エッジ画像及び前記勾配方向画像に基づいてペアか否か判定し、判定結果としてペアでない場合は、障害物ではないと判定し、ペアである場合、且つ前記２本の縦エッジの長さが予め定めた長さ以上の場合は、障害物と判定し、ペアである場合、且つ前記２本の縦エッジの長さが予め定めた長さ未満の場合は、障害物ではないと判定する障害物検知装置。
  15. 　請求項９記載の障害物検知装置において、
    　前記認識結果出力部は、前記障害物認識部で認識した障害物の位置に応じて、車両の警報，ブレーキ制御の少なくともいずれか１つを作動させる障害物体検知装置。
  16. 　請求項９記載の障害物検知装置において、
    　前記小領域分割手段にて分割する小領域の境界部分には、ヒステリシスを持つ車載用物体検知装置。
PCT/JP2010/062347 2009-09-24 2010-07-22 障害物検知装置 WO2011036936A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP10818613.1A EP2482030B1 (en) 2009-09-24 2010-07-22 Obstacle detection device
US13/391,929 US8705796B2 (en) 2009-09-24 2010-07-22 Obstacle detection device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-218405 2009-09-24
JP2009218405A JP5372680B2 (ja) 2009-09-24 2009-09-24 障害物検知装置

Publications (1)

Publication Number Publication Date
WO2011036936A1 true WO2011036936A1 (ja) 2011-03-31

Family

ID=43795698

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/062347 WO2011036936A1 (ja) 2009-09-24 2010-07-22 障害物検知装置

Country Status (4)

Country Link
US (1) US8705796B2 (ja)
EP (1) EP2482030B1 (ja)
JP (1) JP5372680B2 (ja)
WO (1) WO2011036936A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120294481A1 (en) * 2011-05-19 2012-11-22 Fuji Jukogyo Kabushiki Kaisha Environment recognition device and environment recognition method
WO2013056883A1 (de) * 2011-10-19 2013-04-25 Robert Bosch Gmbh Verfahren und vorrichtung zur ermittlung einer position eines objektes in einem umfeld eines fahrzeugs
CN104050620A (zh) * 2013-03-13 2014-09-17 株式会社电装 对象检测设备
CN111079575A (zh) * 2019-11-29 2020-04-28 拉货宝网络科技有限责任公司 一种基于包装图像特征的物料识别方法及系统
WO2020100631A1 (ja) * 2018-11-14 2020-05-22 株式会社デンソー レーダ搭載灯具ユニットおよびレーザレーダ装置

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5911165B2 (ja) * 2011-08-05 2016-04-27 株式会社メガチップス 画像認識装置
JP2013097675A (ja) * 2011-11-02 2013-05-20 Honda Elesys Co Ltd 勾配推定装置、勾配推定方法、及び勾配推定プログラム
JP2013097676A (ja) * 2011-11-02 2013-05-20 Honda Elesys Co Ltd 到達時間推定装置、到達時間推定方法、到達時間推定プログラム、及び情報提示装置
US9297641B2 (en) * 2011-12-12 2016-03-29 Mobileye Vision Technologies Ltd. Detection of obstacles at night by analysis of shadows
KR101361663B1 (ko) * 2012-03-21 2014-02-12 주식회사 코아로직 차량용 영상 처리 장치 및 방법
US9064317B2 (en) * 2012-05-15 2015-06-23 Palo Alto Research Center Incorporated Detection of near-field camera obstruction
KR20140006462A (ko) * 2012-07-05 2014-01-16 현대모비스 주식회사 안전운전 지원 장치 및 방법
TW201421423A (zh) * 2012-11-26 2014-06-01 Pixart Imaging Inc 影像感測器及其運作方法
JP5921715B2 (ja) * 2012-11-27 2016-05-24 クラリオン株式会社 車載画像処理装置
US9076034B2 (en) * 2012-12-07 2015-07-07 Analog Devices, Inc. Object localization using vertical symmetry
US20150042799A1 (en) * 2013-08-07 2015-02-12 GM Global Technology Operations LLC Object highlighting and sensing in vehicle image display systems
US9903719B2 (en) * 2013-09-03 2018-02-27 Litel Instruments System and method for advanced navigation
US20150123992A1 (en) * 2013-11-04 2015-05-07 Qualcomm Incorporated Method and apparatus for heads-down display
WO2015068249A1 (ja) 2013-11-08 2015-05-14 株式会社日立製作所 自律走行車両、及び自律走行システム
CN105849585B (zh) 2013-12-26 2017-10-13 株式会社日立制作所 物体识别装置
KR101593483B1 (ko) * 2014-02-28 2016-02-12 경북대학교 산학협력단 동등-높이 정합 영상을 이용하여 물체를 검출하기 위한 영상 처리 장치 및 방법, 그리고 그를 이용한 차량 운전 보조 시스템
US9342747B2 (en) * 2014-04-14 2016-05-17 Bendix Commercial Vehicle Systems Llc Vehicle driver assistance apparatus for assisting a vehicle driver in maneuvering the vehicle relative to an object
CN106461403B (zh) * 2014-05-20 2019-02-15 日产自动车株式会社 物体检测装置及物体检测方法
JP6292097B2 (ja) * 2014-10-22 2018-03-14 株式会社デンソー 側方測距センサ診断装置
US10255687B2 (en) * 2015-02-05 2019-04-09 Pixart Imaging Inc. Distance measurement system applicable to different reflecting surfaces and operating method thereof
WO2016203282A1 (en) 2015-06-18 2016-12-22 The Nielsen Company (Us), Llc Methods and apparatus to capture photographs using mobile devices
JP6466811B2 (ja) * 2015-09-30 2019-02-06 株式会社Ｓｏｋｅｎ 走行区画線認識装置
US10699455B2 (en) * 2015-11-05 2020-06-30 Nec Corporation Image processing system, image processing method, and image processing program recording medium
US10407047B2 (en) * 2015-12-07 2019-09-10 Magna Electronics Inc. Vehicle control system with target vehicle trajectory tracking
US10582401B2 (en) * 2016-03-08 2020-03-03 Aurora Insight Inc. Large scale radio frequency signal information processing and analysis system
JP6547785B2 (ja) * 2016-07-29 2019-07-24 株式会社デンソー 物標検出装置
JP6468568B2 (ja) * 2016-09-06 2019-02-13 本田技研工業株式会社 物体認識装置、モデル情報生成装置、物体認識方法、および物体認識プログラム
KR101851155B1 (ko) * 2016-10-12 2018-06-04 현대자동차주식회사 자율 주행 제어 장치, 그를 가지는 차량 및 그 제어 방법
JP6710426B2 (ja) * 2016-12-19 2020-06-17 深▲せん▼前海達闥云端智能科技有限公司Ｃｌｏｕｄｍｉｎｄｓ （Ｓｈｅｎｚｈｅｎ） Ｒｏｂｏｔｉｃｓ Ｓｙｓｔｅｍｓ Ｃｏ．，Ｌｔｄ． 障害物検出方法及び装置
JP6815963B2 (ja) * 2017-09-29 2021-01-20 クラリオン株式会社 車両用外界認識装置
US11188783B2 (en) * 2017-10-19 2021-11-30 Nokia Technologies Oy Reverse neural network for object re-identification
US11173785B2 (en) 2017-12-01 2021-11-16 Caterpillar Inc. Operator assistance vision system
US10752218B2 (en) * 2018-02-22 2020-08-25 Ford Global Technologies, Llc Camera with cleaning system
JP7100998B2 (ja) * 2018-03-08 2022-07-14 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
US10664997B1 (en) * 2018-12-04 2020-05-26 Almotive Kft. Method, camera system, computer program product and computer-readable medium for camera misalignment detection
CN111353339A (zh) * 2018-12-21 2020-06-30 厦门歌乐电子企业有限公司 一种物体识别装置及方法
JP6947316B2 (ja) 2019-01-30 2021-10-13 日本電気株式会社 劣化診断装置、劣化診断システム、劣化診断方法、プログラム
CN110134111A (zh) * 2019-05-16 2019-08-16 哈尔滨理工大学 一种基于信号灯识别的机房设备故障检测装置与方法
CN112767723B (zh) * 2019-11-05 2022-04-22 深圳市大富科技股份有限公司 路况检测方法、计算机存储设备、车载终端和车辆
CN111157996B (zh) * 2020-01-06 2022-06-14 珠海丽亭智能科技有限公司 一种停车机器人行驶安全检测方法
CN113296117B (zh) * 2020-04-22 2023-08-08 追觅创新科技(苏州)有限公司 障碍物识别方法、装置及存储介质
CN112107257B (zh) * 2020-09-30 2022-09-20 北京小狗吸尘器集团股份有限公司 智能清扫设备及其避障路径规划方法和装置
JP2022110741A (ja) * 2021-01-19 2022-07-29 フォルシアクラリオン・エレクトロニクス株式会社 障害物検出装置及び障害物検出方法
CN113110460B (zh) * 2021-04-20 2022-09-02 哈尔滨工程大学 一种动态环境下获取水面无人艇艏向可行区间的方法
CN115164766B (zh) * 2022-06-14 2024-04-26 南通黄海药械有限公司 一种园林不规则图形智能测量装置及其测量方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08261756A (ja) * 1994-11-10 1996-10-11 Toyota Central Res & Dev Lab Inc 走行レーン認識装置
JPH0935059A (ja) * 1995-07-14 1997-02-07 Aisin Seiki Co Ltd 移動体上照度識別装置
JP2005318408A (ja) * 2004-04-30 2005-11-10 Nissan Motor Co Ltd 車両周囲監視装置および方法
JP2009017157A (ja) * 2007-07-04 2009-01-22 Omron Corp 画像処理装置および方法、並びに、プログラム
JP2009218405A (ja) 2008-03-11 2009-09-24 Dainippon Screen Mfg Co Ltd 処理液供給装置およびそれを備えた基板処理装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3822515B2 (ja) * 2002-03-29 2006-09-20 株式会社東芝 障害物検知装置及びその方法
US6901152B2 (en) * 2003-04-02 2005-05-31 Lockheed Martin Corporation Visual profile classification
JP3925488B2 (ja) * 2003-11-11 2007-06-06 日産自動車株式会社 車両用画像処理装置
JP4414369B2 (ja) * 2005-06-03 2010-02-10 本田技研工業株式会社 車両及び路面標示認識装置
JP4218670B2 (ja) 2005-09-27 2009-02-04 オムロン株式会社 前方撮影装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08261756A (ja) * 1994-11-10 1996-10-11 Toyota Central Res & Dev Lab Inc 走行レーン認識装置
JPH0935059A (ja) * 1995-07-14 1997-02-07 Aisin Seiki Co Ltd 移動体上照度識別装置
JP2005318408A (ja) * 2004-04-30 2005-11-10 Nissan Motor Co Ltd 車両周囲監視装置および方法
JP2009017157A (ja) * 2007-07-04 2009-01-22 Omron Corp 画像処理装置および方法、並びに、プログラム
JP2009218405A (ja) 2008-03-11 2009-09-24 Dainippon Screen Mfg Co Ltd 処理液供給装置およびそれを備えた基板処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2482030A4

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120294481A1 (en) * 2011-05-19 2012-11-22 Fuji Jukogyo Kabushiki Kaisha Environment recognition device and environment recognition method
CN102842030A (zh) * 2011-05-19 2012-12-26 富士重工业株式会社 环境识别装置及环境识别方法
US8792678B2 (en) * 2011-05-19 2014-07-29 Fuji Jukogyo Kabushiki Kaisha Environment recognition device and environment recognition method
WO2013056883A1 (de) * 2011-10-19 2013-04-25 Robert Bosch Gmbh Verfahren und vorrichtung zur ermittlung einer position eines objektes in einem umfeld eines fahrzeugs
US9250063B2 (en) 2011-10-19 2016-02-02 Robert Bosch Gmbh Method and device for ascertaining a position of an object in the surroundings of a vehicle
CN104050620A (zh) * 2013-03-13 2014-09-17 株式会社电装 对象检测设备
CN104050620B (zh) * 2013-03-13 2018-02-13 株式会社电装 对象检测设备
WO2020100631A1 (ja) * 2018-11-14 2020-05-22 株式会社デンソー レーダ搭載灯具ユニットおよびレーザレーダ装置
JP2020079773A (ja) * 2018-11-14 2020-05-28 株式会社デンソー レーダ搭載灯具ユニットおよびレーザレーダ装置
JP7192420B2 (ja) 2018-11-14 2022-12-20 株式会社デンソー レーザレーダ装置
CN111079575A (zh) * 2019-11-29 2020-04-28 拉货宝网络科技有限责任公司 一种基于包装图像特征的物料识别方法及系统
CN111079575B (zh) * 2019-11-29 2023-06-23 拉货宝网络科技有限责任公司 一种基于包装图像特征的物料识别方法及系统

Also Published As

Publication number Publication date
JP5372680B2 (ja) 2013-12-18
US8705796B2 (en) 2014-04-22
EP2482030B1 (en) 2019-11-20
EP2482030A4 (en) 2017-07-12
JP2011069626A (ja) 2011-04-07
EP2482030A1 (en) 2012-08-01
US20120170808A1 (en) 2012-07-05

Similar Documents

Publication Publication Date Title
JP5372680B2 (ja) 障害物検知装置
JP5401344B2 (ja) 車両用外界認識装置
JP5518007B2 (ja) 車両用外界認識装置及びそれを用いた車両制御システム
JP5090321B2 (ja) 物体検知装置
JP4775391B2 (ja) 障害物検出装置
US9607400B2 (en) Moving object recognizer
JP5809785B2 (ja) 車両用外界認識装置およびそれを用いた配光制御システム
US9073484B2 (en) Surrounding area monitoring apparatus for vehicle
JP5283967B2 (ja) 車載用物体検知装置
US9064418B2 (en) Vehicle-mounted environment recognition apparatus and vehicle-mounted environment recognition system
US8184159B2 (en) Forward looking sensor system
US8175331B2 (en) Vehicle surroundings monitoring apparatus, method, and program
US7483549B2 (en) Vehicle surroundings monitoring apparatus
EP2993654A1 (en) Method and system for forward collision warning
GB2548456A (en) Fixation generation for machine learning
JP2008304344A (ja) 物標検出装置
EP3413267A1 (en) Object detection device, device control system, imaging device, objection detection method, and program
JP3857698B2 (ja) 走行環境認識装置
JP5593217B2 (ja) 車両用外界認識装置およびそれを用いた車両システム
KR20190048952A (ko) 노면표시기반 차량의 위치추정 방법 및 장치
JP2004348645A (ja) 赤外線画像認識装置、及び赤外線画像認識装置を用いた警報装置
JP2010093715A (ja) 車両周辺監視装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10818613

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13391929

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2010818613

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE