WO2017145600A1 - 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム - Google Patents

画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム Download PDF

Info

Publication number
WO2017145600A1
WO2017145600A1 PCT/JP2017/001914 JP2017001914W WO2017145600A1 WO 2017145600 A1 WO2017145600 A1 WO 2017145600A1 JP 2017001914 W JP2017001914 W JP 2017001914W WO 2017145600 A1 WO2017145600 A1 WO 2017145600A1
Authority
WO
WIPO (PCT)
Prior art keywords
distance
area
image
unit
parallax
Prior art date
Application number
PCT/JP2017/001914
Other languages
English (en)
French (fr)
Inventor
元気 渡邊
Original Assignee
株式会社リコー
元気 渡邊
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社リコー, 元気 渡邊 filed Critical 株式会社リコー
Priority to JP2018501055A priority Critical patent/JP6705496B2/ja
Priority to EP17756042.2A priority patent/EP3422289A4/en
Publication of WO2017145600A1 publication Critical patent/WO2017145600A1/ja
Priority to US16/105,529 priority patent/US10860867B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • the present invention relates to an image processing apparatus, an imaging apparatus, a mobile device control system, an image processing method, and a program.
  • reduction is performed to reduce the number of pixels of a distance image having a pixel value according to the distance of an object located within a predetermined distance from the plurality of imaging units in accordance with frames captured by the plurality of imaging units.
  • a rejection unit configured to reject data of the detected object based on the number of pixels included in the region of the object in the advancing region.
  • FIG. 1 is a view showing the configuration of an in-vehicle device control system as a mobile device control system according to an embodiment of the present invention.
  • the on-vehicle device control system 1 is mounted on a host vehicle 100 such as a car which is a moving body, and includes an imaging unit 101, an image analysis unit 102, a display monitor 103, and a vehicle travel control unit 104. Then, the imaging unit 101 detects an object in front of the host vehicle from a plurality of captured image data (frames) of the area ahead of the host vehicle in the traveling direction (imaging area). Control mobiles and various in-vehicle devices.
  • the control of the moving body includes, for example, notification of a warning, control of the steering wheel of the own vehicle 100 (self-moving body), or a brake of the own vehicle 100 (self-moving body).
  • the imaging unit 101 is installed, for example, in the vicinity of a rearview mirror (not shown) of the windshield 105 of the vehicle 100.
  • Various data such as captured image data obtained by imaging of the imaging unit 101 is input to an image analysis unit 102 as an image processing unit.
  • the image analysis unit 102 analyzes the data transmitted from the imaging unit 101, and on the traveling road surface ahead of the vehicle with respect to the road surface portion on which the vehicle 100 is traveling (a road surface portion located directly below the vehicle). The relative height (position information) at each point is detected, and the three-dimensional shape of the traveling road surface ahead of the host vehicle is grasped. In addition, other objects ahead of the host vehicle, pedestrians, and various obstacles and other objects to be recognized are recognized.
  • the analysis result of the image analysis unit 102 is sent to the display monitor 103 and the vehicle travel control unit 104.
  • the display monitor 103 displays the captured image data and the analysis result obtained by the imaging unit 101.
  • the vehicle travel control unit 104 notifies, for example, a warning to the driver of the own vehicle 100 based on the recognition result of the recognition target such as another vehicle ahead of the own vehicle, a pedestrian, and various obstacles by the image analysis unit 102.
  • driving support control such as controlling the steering wheel and brake of the host vehicle.
  • FIG. 2 is a diagram showing the configuration of the imaging unit 101 and the image analysis unit 102.
  • the imaging unit 101 is configured of a stereo camera including two imaging units 110a and 110b as imaging means, and the two imaging units 110a and 110b are the same.
  • the respective imaging units 110a and 110b respectively include imaging lenses 111a and 111b, sensor substrates 114a and 114b including image sensors 113a and 113b on which light receiving elements are two-dimensionally arranged, and analog signals output from the sensor substrates 114a and 114b.
  • Electric signal (electrical signal corresponding to the amount of light received by each light receiving element on the image sensors 113a, 113b) is converted into digital electric signal, and it is composed of signal processing units 115a, 115b for generating and outputting captured image data ing. For example, luminance image data is output from the imaging unit 101.
  • the imaging unit 101 also includes a processing hardware unit 120 configured of an FPGA (Field-Programmable Gate Array) or the like.
  • the processing hardware unit 120 calculates the parallax values of corresponding image portions between the imaged images captured by the imaging units 110a and 110b.
  • a disparity calculating unit 121 is provided as a disparity image information generating unit to calculate.
  • the parallax value referred to here is a comparison image with respect to an image portion on a reference image corresponding to the same point in the imaging region, with one of the images taken by each of the imaging units 110a and 110b as a reference image and the other as a comparison image.
  • the positional displacement amount of the upper image portion is calculated as the parallax value of the image portion.
  • FIG. 3 is a diagram for explaining the principle of calculating the distance from the parallax value by using the principle of triangulation.
  • f is the focal length of each of the imaging lenses 111a and 111b
  • D is the distance between the optical axes.
  • Z is the distance from the imaging lenses 111a and 111b to the subject 301 (the distance in the direction parallel to the optical axis).
  • the imaging positions in the left and right images with respect to the point O on the subject 301 are respectively ⁇ 1 and ⁇ 2 from the imaging center.
  • the image analysis unit 102 is configured of an image processing board or the like, and includes a storage unit 122 configured of a RAM, a ROM, or the like that stores luminance image data and parallax image data and the like output from the imaging unit 101; And a central processing unit (CPU) 123 for executing a computer program for performing parallax calculation control and the like, a data I / F (interface) 124, and a serial I / F 125.
  • CPU central processing unit
  • the FPGA that configures the processing hardware unit 120 performs processing that requires real-time processing on image data, such as gamma correction, distortion correction (parallelization of right and left captured images), and parallax calculation by block matching to generate a parallax image. And the like, and performs processing such as writing out in the RAM of the image analysis unit 102.
  • the CPU of the image analysis unit 102 is responsible for control of the image sensor controller of each imaging unit 110A, 110B and overall control of the image processing board, detection processing of the three-dimensional shape of the road surface, guardrails and other various objects (objects)
  • a program for executing detection processing of the image is loaded from ROM, and various processing is executed with luminance image data and parallax image data stored in RAM as input, and the processing result is data I / F 124 and serial I / F 125 Output from the outside.
  • vehicle operation information such as the vehicle speed, acceleration (acceleration mainly generated in the front and rear direction of the vehicle) of the vehicle 100, steering angle, yaw rate etc. It can also be used as a processing parameter.
  • the data output to the outside is used as input data for performing control (brake control, vehicle speed control, warning control, etc.) of various devices of the host vehicle 100.
  • the imaging unit 101 and the image analysis unit 102 may be configured as an imaging device 2 that is an integrated device.
  • FIG. 4 is a functional block diagram of an imaging apparatus including an image processing apparatus that performs object detection processing implemented by the processing hardware unit 120 and the image analysis unit 102 in FIG.
  • the imaging apparatus includes a stereo camera image acquisition unit 130, a short distance processing unit 140, a normal distance processing unit 150, and an object data list 170.
  • the stereo camera image acquisition unit 130 acquires an image captured by a stereo camera.
  • the short distance processing unit 140 detects and tracks an object located at a short distance (within a predetermined distance from the host vehicle).
  • the normal distance processing unit 150 detects and tracks an object located at a distance greater than the short distance.
  • the object data list 170 stores data of an object (object) detected by the short distance processing unit 140 and the normal distance processing unit 150, and outputs the data to the display monitor 103 and the vehicle travel control unit 104.
  • processing may be executed at least partially in parallel, or processing is sequentially performed. It is also good.
  • the processing by the disparity calculation unit 121 of the processing hardware unit 120 may be performed by performing near-field disparity image generation processing after performing disparity image generation processing and performing processing by the other image analysis units 102 in parallel. Good.
  • the stereo camera image acquisition unit 130 acquires luminance image data from the two imaging units 110 a and 110 b constituting the stereo camera. At this time, when the imaging units 110a and 110b are in color, color luminance conversion to obtain a luminance signal (Y) from the RGB signals is performed using, for example, the following formula [1].
  • FIG. 5 is a functional block diagram of the short distance processing unit 140.
  • the short distance processing unit 140 detects and tracks an object in a short distance (within a predetermined distance from the host vehicle).
  • the short distance processing unit 140 includes a short distance parallax image generation unit 141, a reduced parallax image generation unit 142, a short distance object detection unit 143, a short distance object rejection unit 144, and a short distance object tracking unit 145.
  • the short distance parallax image generation unit 141 may be realized by, for example, the parallax calculation unit 121 of the processing hardware unit 120.
  • the short distance parallax image generation unit 141 performs short distance parallax image generation processing for generating parallax image data (parallax image information) for an object positioned within a predetermined distance from the host vehicle (stereo camera).
  • the short distance parallax image generation process first, luminance image data of one of the two imaging units 110a and 110b is used as reference image data, and luminance image data of the other imaging unit 110b is used as comparative image data, Using these, the parallax for the object located within a predetermined distance from the host vehicle is calculated, and parallax image data is generated and output.
  • the parallax image data represents a parallax image in which pixel values corresponding to the parallax value d calculated for each image portion on the reference image data are represented as pixel values of the respective image portions.
  • the short distance parallax image generation unit 141 defines a block including a plurality of pixels (for example, 16 pixels ⁇ 1 pixel) centered on one target pixel for a row of reference image data. Then, in the same row in the comparison image data, a block having the same size as the block of the defined reference image data is shifted in the horizontal line direction (x direction) by one pixel. At this time, in the short distance parallax image generation processing, the range in the horizontal line direction in which the blocks are shifted is set as a range corresponding to within a predetermined distance (for example, within 1 m to 6 m) from the host vehicle. Thereby, the parallax with respect to the object located within the predetermined distance from the host vehicle is searched.
  • a predetermined distance for example, within 1 m to 6 m
  • the short distance parallax image generation unit 141 generates a correlation value indicating the correlation between the feature amount indicating the feature of the pixel value of the block defined in the reference image data and the feature amount indicating the feature of the pixel value of each block in the comparison image data. Are calculated respectively. Then, based on the calculated correlation value, a matching process is performed to select a block of comparison image data having the highest correlation with the block of reference image data among the blocks of comparison image data. Thereafter, the amount of positional deviation between the target pixel of the block of the reference image data and the corresponding pixel of the block of the comparison image data selected in the matching process is calculated as the parallax value d. It is possible to obtain parallax image data by performing such a process of calculating the parallax value d for the entire area of the reference image data or a specific area.
  • the short-distance parallax image generation unit 141 brings the correlation value with the block of the reference image data closer to the highest value among the blocks in the comparison image data (the highest value Within a value) It is determined whether there are a plurality of blocks, and if there are a plurality of blocks, it is determined that a repeated pattern such as a fence has been detected, and a value indicating a repeated pattern is set as the parallax value d.
  • the value (brightness value) of each pixel in the block can be used as the feature amount of the block used for the matching process, and the correlation value can be, for example, the value of each pixel in the block of the reference image data (brightness A sum of absolute values of differences between the values) and the values (brightness values) of the respective pixels in the block of the comparison image data respectively corresponding to these pixels can be used. In this case, it can be said that the block with the smallest total sum is most correlated.
  • the matching processing in the short distance parallax image generation unit 141 is realized by hardware processing, for example, SSD (Sum of Squared Difference), ZSSD (Zero-mean Sum of Squared Difference), SAD (Sum of Absolute Difference), A method such as Zero-mean Sum of Absolute Difference (ZSAD) or Normalized cross correlation (NCC) can be used.
  • ZSAD Zero-mean Sum of Absolute Difference
  • NCC Normalized cross correlation
  • the reduced parallax image generation unit 142 is reduced by extracting pixels at predetermined intervals from the parallax image for the object located within the predetermined distance from the own vehicle, which is generated by the short distance parallax image generation unit 141 ( Create a reduced parallax image with a small number of pixels. For example, when the parallax image of 1280 ⁇ 640 pixels is reduced to, for example, 1/10 vertically and horizontally, the reduced parallax image is 128 ⁇ 64 pixels.
  • the reduced parallax image generation unit 142 extracts pixels from the parallax image at constant intervals, and the parallax value of the extracted pixels is, for example, a value indicating that the distance is infinity, or a repeated pattern In the case of an invalid value such as a value indicating that there is a value, the value of the extracted pixel is determined (complemented) based on the pixel value around the extracted pixel.
  • the reduced parallax image generation unit 142 searches for a pixel having a valid value in the predetermined priority order around the extracted pixel, and if there is a pixel having a non-valid (valid) value, A non-ineffective value is taken as the value of the extracted pixel.
  • the predetermined priority order may be, for example, an order of closest distance among a predetermined pixel group separated by a predetermined distance (pixel) from the extracted pixel 661.
  • the reduced parallax image generation unit 142 may set, for example, the average value of the extracted pixels and the peripheral pixels thereof as the value of the extracted pixels.
  • the parallax value of the extracted pixel when the reliability as parallax is low for example, when the repeated pattern of a fence or the like is detected by the short distance parallax image generation unit 141, for example. Is determined to be an invalid value, and the value of the extracted pixel is determined based on the surrounding pixel values.
  • FIGS. 6A and 6B are diagrams for describing a reference image and a parallax image.
  • a parallax image is generated for an image in which a preceding vehicle appears as shown in FIG. 6A, the difference in luminance is small in the same color part, so that the parallax value can not be calculated and becomes an invalid value (for example, infinity).
  • an invalid value for example, infinity
  • the short distance object detection unit 143 detects an object based on the reduced parallax image for the object located within a predetermined distance from the host vehicle, which is generated by the reduced parallax image generation unit 142.
  • the short distance object detection unit 143 calculates the actual distance from the vehicle of the object shown in each pixel based on the parallax value of each pixel of the reduced parallax image, and calculates the actual distance from the vehicle of adjacent pixels If the difference is within a predetermined value (for example, 20 cm), the same label is added.
  • a predetermined value for example, 20 cm
  • “adjacent” may be four directions including upper and lower, right and left, or eight directions including upper right, upper left, lower right, and lower left.
  • the short distance object detection unit 143 detects a unit labeled (with the same label added) as one object. Then, when the adjacent objects satisfy the predetermined coupling condition, the short distance object detection unit 143 detects the adjacent objects as one object.
  • the predetermined combining condition is, for example, that “any one side of the vertical or horizontal sides of adjacent objects overlaps by half or more, and the difference in actual distance between the adjacent objects from the vehicle is less than 1 m”, etc. Do. Thus, it is possible to capture an object, such as a wall, located obliquely to the traveling direction of the host vehicle as a single object.
  • the short distance object detection unit 143 detects a rectangular or square area including an object in the reduced parallax image as an area of the object.
  • the short-distance object discarding unit 144 discards (discards) data of objects that are not targeted for tracking among the objects detected by the short-distance object detection unit 143.
  • the short-distance object discarding unit 144 calculates the size of the object based on the number of vertical and horizontal pixels of the region of the object detected by the short-distance object detection unit 143 and the parallax value of the pixels included in the region. . Then, objects that are too large (greater than or equal to a predetermined threshold) and objects that are too small (equal to or less than a predetermined threshold) are rejected (data is discarded) as compared with the size of a person or vehicle set in advance.
  • the short-distance object discarding unit 144 calculates the three-dimensional position of the object based on the position (coordinates) of the vertical and horizontal pixels of the area of the object and the parallax value of the pixels included in the area. Note that the calculation method of the three-dimensional position may be the same as the calculation method by the three-dimensional position determination unit 161 described later. Then, based on the previous frame (the image of the stereo camera), the height from the road surface is too high by referring to the height of each road surface portion tabulated by the road surface height table calculation unit 154 described later. Objects that are above the threshold) are rejected.
  • the short-distance object discarding unit 144 calculates the parallax density of the area of the object, and discards the object whose parallax density is too low.
  • the parallax density in this case is, for example, the number (A) of pixels having parallax values according to the object among the pixels contained in the area of the object, the total number of pixels (S) included in the area including the object Calculated by dividing (A / S) by.
  • the short-distance object discarding unit 144 performs a progressing area object discarding process that discards the object based on the parallax density of the object in the area in which the host vehicle travels.
  • the short distance object discarding unit 144 counts the number of pixels having a parallax value according to the object in the traveling area in which the host vehicle is traveling, and the number of pixels included in the area of the object in the traveling area. And discards (discards) the data of the object detected by the short distance object detection unit 143.
  • the short distance object discarding unit 144 calculates the traveling area based on the height and width of the own vehicle and the distance (actual distance) from the own vehicle of the object detected by the short range object detection unit 143.
  • FIG. 7 is a flow chart showing an example of the process of discarding the progress area object.
  • the short-distance object discarding unit 144 initializes (for example, 0) the number of advancing area elements corresponding to the object (step S201).
  • the short-distance object discarding unit 144 determines that the pixel is a component of the object by the short-distance object detection unit 143, and a label indicating the component of the object is added to the pixel. Is detected (step S202).
  • the short-distance object discarding unit 144 determines whether the position (coordinates) of the pixel to which the label is added is within a region (traveling region, central region) where the host vehicle travels (step S203).
  • step S203 If the position (coordinates) of the pixel to which the label is added is not within the advancing area (NO in step S203), the process proceeds to step S205 described later.
  • Step S204 If the position (coordinates) of the pixel to which the label is added is within the advancing area (YES in step S203), the number of advancing area elements stored in association with the object is incremented (increased by 1) Step S204).
  • the short-distance object discarding unit 144 determines whether or not there is another pixel that is determined to be the object and is added with the label in the frame of one reduced parallax image by the short-distance object detection unit 143 (Step S205).
  • step S205 If there is another pixel that is determined to be the object and to which the label is added in the frame of one reduced parallax image (YES in step S205), the process proceeds to step S202.
  • step S205 if there is no other pixel determined to be the object and to which the label is attached (NO in step S205), the area of the object (area such as the smallest rectangle including the object) The total number of pixels in the area included in the advancing area is calculated (step S206).
  • the short-distance object discarding unit 144 calculates the parallax density of the object in the area overlapping the moving area, based on the number of moving area elements described above and the total number of pixels included in the moving area calculated in step S206 (Ste S207). Note that the parallax density of an object in the area overlapping the advancing area is calculated, for example, by dividing the number of elements of the advancing area of the object by the total number of pixels included in the advancing area within the minimum rectangular area including the object. Do.
  • the short-distance object discarding unit 144 determines whether the parallax density of the object in the area overlapping the advancing area is equal to or less than a predetermined threshold (for example, 20%) (step S208).
  • a predetermined threshold for example, 20%
  • step S208 If the parallax density of the object in the area overlapping the advancing area is not less than or equal to the predetermined threshold (NO in step S208), the process ends.
  • step S208 If the parallax density of the object in the area overlapping the advancing area is less than or equal to the predetermined threshold (YES in step S208), it is determined that the object does not prevent the progress of the own vehicle, and the object is rejected (step S209) , End the process.
  • the traveling area may be set in advance as, for example, a predetermined area in the reduced parallax image, or from the own vehicle of the pixel to which the height and width of the own vehicle and the label which have been preset are added. It may be calculated based on the actual distance of
  • the traveling area When the travel area is calculated based on the height and width of the vehicle and the actual distance of the labeled pixel from the vehicle, the reduction corresponding to the height and width of the vehicle at the actual distance
  • the area of the parallax image may be set as the advancing area.
  • the actual distance from the vehicle of the pixel to which the label is added instead of using the value of the actual distance from the vehicle of the pixel to which the label is added, the actual distance from the vehicle of the object including the pixel to which the label is added (for example, each pixel included in the object
  • the traveling region may be calculated using the average value of the actual distances of
  • FIG. 8 is a diagram for explaining the traveling area object discarding process.
  • the short-distance object discarding unit 144 calculates the parallax density of the object in the area overlapping the advancing area as described above in the area 254 where the area 253 such as the smallest rectangle including the object overlaps the advancing area 252.
  • FIG. 9A to FIG. 9D are diagrams for explaining the traveling area object discarding process when the tunnel is detected.
  • FIG. 9A is a view showing an example of a tunnel shown in a reference image.
  • FIG. 9B is a diagram showing an example of a minimum rectangular area 253 a including a tunnel.
  • FIG. 9C is a diagram showing an example in which the traveling area 252a is set in advance.
  • the traveling area 252a of the host vehicle before the host vehicle enters the tunnel, the traveling area 252a of the host vehicle is included in the area 253a such as the smallest rectangle including the tunnel. Therefore, in the area 253a such as the smallest rectangle including the tunnel, the area 254a included in the advancing area 252a is the entire advancing area 252a.
  • the parallax density of the object in the area overlapping the advancing area is, for example, the pixels of the area 255 having the parallax value for the tunnel included in the advancing area 252a (pixels labeled by near-field object detection processing, advancing area element Is calculated by dividing the number of pixels by the number of pixels included in the region 254a.
  • FIG. 9D is a diagram showing an example in which the traveling area 252a is calculated based on the height and width of the vehicle and the actual distance from the vehicle of the pixel to which the label is added.
  • the predetermined threshold used in step S208 of FIG. 7 may be, for example, 0%.
  • the short-distance object tracking unit 145 tracks the objects detected by the short-distance object detection unit 143 and not rejected by the short-distance object discarding unit 144.
  • the near distance object tracking unit 145 refers to the object data list 170, and determines that the object detected by the near distance object detection unit 143 is a new detection if it is not stored in the object data list 170.
  • the objects are stored in the object data list 170. If the detected object is stored in the object data list 170, the data for the object stored in the object data list 170 is updated to data based on the detected object.
  • the determination as to whether the detected object is stored in the object data list 170 may be made, for example, of the actual distance of the detected object from the vehicle and the actual distance of the object stored in the object data list 170 from the vehicle. It is judged according to whether the difference with the distance is equal to or less than a predetermined value.
  • FIG. 10 is a functional block diagram of the normal distance processing unit 150. As shown in FIG. The normal distance processing unit 150 detects and tracks an object at a normal distance which is equal to or greater than a predetermined distance (for example, 2 m) from the host vehicle.
  • a predetermined distance for example, 2 m
  • the parallax image generation unit 151 may be realized by, for example, the parallax calculation unit 121 of the processing hardware unit 120.
  • the parallax image generation unit 151 generates parallax image data (parallax image information) for an object located in a range (for example, about 2 m to 80 m from the host vehicle) farther than the short distance parallax image generation unit 141 described above. I do.
  • the parallax image generation process is similar to the short distance parallax image generation process by the short distance parallax image generation unit 141 described above, but the parallax image generation process is different from the short distance parallax image generation process, for example, in the following.
  • the parallax image generation unit 151 shifts blocks defined in the reference image data in the same row in the comparison image data in the horizontal line direction
  • the range in the horizontal line direction in which the blocks are shifted is within a predetermined distance (for example, 2 m) from the host vehicle
  • the range corresponds to ⁇ 80m).
  • V map generation unit 152 executes V map generation processing for generating a V map.
  • Each piece of parallax pixel data included in parallax image data is indicated by a set (x, y, d) of an x-direction position, a y-direction position, and a parallax value d.
  • the parallax histogram information of the present embodiment includes three-dimensional coordinate information (d, y, f), and the three-dimensional histogram information distributed in an XY two-dimensional coordinate system is a V map (parallax histogram map , V-disparity map).
  • the V map generation unit 152 calculates a disparity value frequency distribution for each row region of disparity image data obtained by dividing an image into a plurality of pieces in the vertical direction.
  • Information indicating this disparity value frequency distribution is disparity histogram information.
  • FIG. 11A and 11B are diagrams for explaining parallax image data and a V map generated from the parallax image data.
  • FIG. 11A is a diagram showing an example of the parallax value distribution of the parallax image
  • FIG. 11B is a diagram showing a V map showing the parallax value frequency distribution for each row of the parallax image of FIG. 11A.
  • the V map generation unit 152 calculates a parallax value frequency distribution that is a distribution of the number of data of each parallax value for each row, This is output as disparity histogram information.
  • a V map as shown in FIG. 11B can be obtained.
  • This V map can also be expressed as an image in which pixels having pixel values according to the frequency f are distributed on the two-dimensional orthogonal coordinate system.
  • FIG. 12A and 12B are diagrams showing an image example of a captured image as a reference image captured by one imaging unit and a V map corresponding to the captured image.
  • FIG. 12A is a captured image
  • FIG. 12B is a V map. That is, the V map shown in FIG. 12B is generated from the photographed image as shown in FIG. 12A.
  • the V map since parallax is not detected in the area below the road surface, parallax is not counted in the hatched area A.
  • FIG. 12A In the example of an image shown to FIG. 12A, the road surface 401 in which the own vehicle is drive
  • This image example is a virtual reference obtained by extending the surface in front of the host vehicle relatively flat, ie, the surface in front of the host vehicle parallel to the road surface portion directly below the host vehicle to the front of the host vehicle It corresponds to the road surface (virtual reference movement surface).
  • the high frequency points are distributed in a substantially straight line with an inclination such that the parallax value d becomes smaller toward the upper side of the image. Pixels showing such a distribution are present at approximately the same distance in each row on the parallax image and have the highest occupancy rate, and pixels that project an object of identification whose distance increases continuously as they move upward in the image It can be said that
  • the parallax value d of the road surface decreases toward the upper side of the image as shown in FIG. 12A.
  • the high-frequency points distributed in a substantially straight line on the V map correspond to the features possessed by the pixels projecting the road surface (moving surface). Therefore, it is possible to estimate that the pixels of the point distributed on the approximate straight line obtained by straight line approximation of the high frequency points on the V map or in the vicinity thereof are the pixels showing the road surface with high accuracy. Further, the distance to the road surface portion shown in each pixel can be determined with high accuracy from the parallax value d of the corresponding point on the approximate straight line.
  • the road surface shape detection unit 153 detects the three-dimensional shape of the road surface ahead of the vehicle 100 from the information (parallax histogram information) of the V map generated by the V map generation unit 152. Processing is performed.
  • working the preceding vehicle 402 which exists in front of the own vehicle 100, and the utility pole 403 which exists out of a road are shown.
  • This image example can be obtained by a road surface in which the front surface of the vehicle 100 is relatively flat, that is, a surface in front of the vehicle 100 extends a plane parallel to the road surface portion directly below the vehicle 100 to the front of the vehicle. It is a case where it corresponds to a virtual reference road surface (virtual reference movement surface).
  • the high frequency points (road surface 501) are distributed in a substantially straight line with an inclination such that the parallax value d becomes smaller toward the upper side of the image. Pixels showing such a distribution are present at approximately the same distance in each row on the parallax image and have the highest occupancy ratio, and pixels that project a detection target whose distance is continuously farther away toward the upper side of the image It can be said that
  • the parallax value d of the road surface decreases toward the upper side of the image as shown in FIG. 12B. Further, in the same line (horizontal line), pixels projecting the road surface have substantially the same parallax value d. Therefore, the high-frequency points (road surface 501) distributed in a substantially straight line on the V map correspond to the features possessed by the pixels projecting the road surface (moving surface). Therefore, it is possible to estimate that the pixels of the point distributed on the approximate straight line obtained by straight line approximation of the high frequency points on the V map or in the vicinity thereof are the pixels showing the road surface with high accuracy. Further, the distance to the road surface portion shown in each pixel can be determined with high accuracy from the parallax value d of the corresponding point on the approximate straight line.
  • the road surface height table calculation unit 154 performs road surface height table calculation processing of calculating the road surface height (relative height with respect to the road surface portion immediately below the vehicle) and converting it into a table. From the information on the approximate straight line on the V map generated by the road surface shape detection unit 153, it is possible to calculate the distance to each road surface portion shown in each row region (each position in the vertical direction of the image) on the captured image. On the other hand, each surface portion in the vehicle's traveling direction of a virtual plane extending forward to the vehicle's traveling direction so that the road surface portion located directly below the vehicle is parallel to that surface is shown in any row region in the captured image.
  • the virtual plane (reference road surface) is represented by a straight line (reference straight line) on the V map.
  • a straight line reference straight line
  • the height of each road surface portion ahead of the host vehicle can be obtained.
  • the road surface height table calculation unit 154 the heights of the road surface portions obtained from the approximate straight line are tabulated for the necessary parallax range.
  • the height from the road surface of the object shown in the captured image portion corresponding to the point where the Y-axis position is y ′ at a certain parallax value d is equal to the Y-axis position on the approximate straight line in the parallax value d And can be calculated from (y'-y0).
  • the height H from the road surface for the object corresponding to the coordinates (d, y ′) on the V map can be calculated by the following equation (2).
  • “f” is the camera focal length (y′ ⁇ It is a value converted into the same unit as y0).
  • BF is a value obtained by multiplying the base length of the stereo camera and the focal length
  • “offset” is a parallax value when an object at infinity is photographed.
  • the U map generation unit 155 executes frequency U map generation processing and height U map generation processing as U map generation processing for generating a U map (U-disparity map).
  • a pair (x, y, d) of an x-direction position, a y-direction position, and a parallax value d in each parallax pixel data included in parallax image data is Set the frequency on the Z-axis, and create XY 2D histogram information. This is called a frequency U map.
  • the height H from the road surface is in a predetermined height range (for example, 20 cm to 3 m) based on the height of each road surface portion tabulated by the road surface height table calculation unit 154.
  • the frequency U map is created only for the point (x, y, d) of the parallax image in. In this case, an object present in the predetermined height range can be appropriately extracted from the road surface.
  • a pair (x, y, d) of the x-direction position, the y-direction position, and the parallax value d in each parallax pixel data included in parallax image data Set the d axis on the axis and the height from the road surface on the Z axis to create XY two-dimensional histogram information. This is called a height U map.
  • the value of the height at this time is the highest from the road surface.
  • FIG. 13 is an example of an image schematically representing an example of a reference image captured by the imaging unit 110a
  • FIGS. 14A and 14B are U maps corresponding to the example of the image in FIG.
  • FIG. 14A is a frequency U map
  • FIG. 14B is a height U map.
  • guard rails 413 and 414 exist on the left and right sides of the road surface, and as the other vehicle, one leading vehicle 411 and one oncoming vehicle 412 exist.
  • high frequency points corresponding to the left and right guard rails 413 and 414 are substantially straight lines 603 and 604 extending upward from the left and right ends toward the center.
  • high frequency points corresponding to the leading vehicle 411 and the oncoming vehicle 412 are distributed between the left and right guardrails in the states 601 and 602 of line segments extending substantially parallel to the X-axis direction.
  • a high frequency point corresponding to another vehicle is a state in which a line segment extending parallel to the substantially X axis direction and a line segment inclined to the substantially X axis direction are connected.
  • the height U map points having the highest height from the road surface in the left and right guard rails 413 and 414, the leading vehicle 411, and the oncoming vehicle 412 are distributed similarly to the frequency U map.
  • the heights of the distribution 701 of points corresponding to the leading vehicle and the distribution 702 of points corresponding to the oncoming vehicle are higher than the distributions 703 and 704 of points corresponding to the guardrail.
  • the real U map generation unit 156 generates a real frequency U map generation process and a real height U map generation process as a U map generation process of generating a real U map (an example of “distribution data”). Run.
  • the real U map is obtained by converting the horizontal axis in the U map from the pixel unit of the image to an actual distance, and converting the parallax value on the vertical axis into a thinned parallax having a thinning ratio according to the distance.
  • the real U map generation unit 156 In the real frequency U map generation process, the real U map generation unit 156 generates a pair (x, y, d) of the x direction position, the y direction position, and the parallax value d in each parallax pixel data included in parallax image data.
  • the two-dimensional histogram information of XY is created by setting the actual distance in the horizontal direction to the X axis, the thinning parallax to the Y axis, and the frequency to the Z axis.
  • the real U map generation unit 156 of the present embodiment is based on the heights of the road surface portions tabulated by the road surface height table calculation unit 154, and the height from the road surface.
  • a real frequency U map is created only for the point (x, y, d) of the parallax image in which H is in a predetermined height range.
  • the real U map generation unit 156 may be configured to generate the real U map based on the U map generated by the U map generation unit 155.
  • FIG. 15 is a diagram showing a real U map (hereinafter, real frequency U map) corresponding to the frequency U map shown in FIG. 14A.
  • the left and right guardrails are represented by vertical linear patterns 803 and 804, and the preceding vehicle and the oncoming vehicle are also represented by patterns 801 and 802 close to the actual shape.
  • the thinning parallax on the vertical axis is not thinned for a long distance (here, 50 m or more), 1/2 for an intermediate distance (20 m or more and less than 50 m), and 1 / l for a short distance (10 m or more and less than 20 m) It is thinned out to 3 and thinned out to 1/8 for a short distance (10 m or more and less than 20 m).
  • the amount of thinning is reduced as the distance increases.
  • the reason is that since the object appears small at a distance, there is little parallax data and the distance resolution is small, so thinning is reduced, and conversely, an object is large at a short distance, so there is much parallax data and the distance resolution is large.
  • a width of 10 m on each side is set as the object detection range. Assuming that the width of one pixel in the horizontal direction of the real U map is 10 cm, the horizontal size of the real U map is 200 pixels.
  • the focal length of the camera is f
  • the lateral position of the sensor from the camera center is p
  • the distance from the camera to the subject is Z
  • the lateral position from the camera center to the subject is X.
  • Z Bf / d”.
  • a real U map (hereinafter, real height U map) corresponding to the height U map shown in FIG. 14B can also be created in the same procedure.
  • the real U map has an advantage that the processing becomes faster because the vertical and horizontal lengths can be made smaller than the U map.
  • the horizontal direction becomes independent of distance, the same object can be detected with the same width in both far and near areas, and it is possible to judge the processing branch to the peripheral area removal, horizontal separation, and vertical separation in the latter stage.
  • FIG. 17 is a flowchart showing the flow of the isolated area detection process performed by the isolated area detection unit 157.
  • the isolated area detection unit 157 first smoothes the information of the real frequency U map generated by the real U map generation unit 156 (step S111).
  • the real U map differs from the schematic diagram shown in FIG. Contains. Therefore, the real U map is smoothed to remove noise and to facilitate separation of the object to be detected. This is considered to be noise by applying a smoothing filter (for example, a simple average of 3 ⁇ 3 pixels) to a frequency value (real frequency U map) of the real U map as in the case of image smoothing. The frequency is reduced, and in the part of the object, the group is grouped more frequently than the surroundings, which has the effect of facilitating the subsequent isolated area detection processing.
  • a smoothing filter for example, a simple average of 3 ⁇ 3 pixels
  • a real frequency U map is used to detect isolated regions (referred to as islands) whose frequency is higher than that of the surroundings.
  • the real frequency U map is first binarized (step S113).
  • binarization is performed with a threshold value of 0. This is a measure against the fact that some islands are isolated and some are connected to other islands because of the height of the object, its shape, and the separation from the road surface parallax. That is, by binarizing the real frequency U map from a small threshold, an island of an appropriately isolated size is detected at first, and then the connected islands are separated by increasing the threshold, and the island is isolated. It is possible to detect as an island of appropriate size.
  • the method of detecting the island after binarization uses labeling (step S114). Coordinates that are black after binarization (coordinates whose frequency value is higher than the binarization threshold) are labeled based on their connectivity, and areas with the same label are regarded as islands.
  • Size determination is performed for each of the plurality of isolated areas detected (step S115). This is because the object to be detected is a pedestrian to a large car, so it is determined whether the width of the isolated area is within the range of its size. If the size is large (step S115: YES), the binarization threshold is incremented by 1 (step S112), and binarization is performed only in the isolated region of the real frequency U map (step S113). Then, labeling is performed, a smaller isolated area is detected (step S114), and the size is determined (step S115).
  • step S115 peripheral area removal is performed next (step S116). This is an object at a distance, the road surface detection accuracy is poor, the parallax of the road surface is introduced into the real U map, and the parallax between the object and the road surface is the height when it is detected as one mass Is a process of deleting the area near the road surface (the peripheral area in the isolated area). If there is a removal area (step S117: YES), labeling is performed again to reset the isolated area (step S114).
  • step S117 If there is no more removal area (step S117: NO), the size (width, height, distance) of the isolated area subjected to the removal of the surrounding area is determined (step S118), and the separation in the lateral direction is performed S119) or vertical separation (step S120) or nothing is registered as an object candidate. If horizontal separation or vertical separation has been performed (step S121: YES, step S122: YES), labeling is performed again to reset the isolated area (step S114).
  • FIG. 18 is a view showing a real frequency U map in which a rectangular area inscribed in the isolated area detected by the isolated area detection unit is set.
  • FIG. 19 is a diagram in which a scanning range corresponding to the rectangular area in FIG.
  • FIG. 20 is a diagram showing an image
  • FIG. 20 is a diagram showing a parallax image in which an object region is set by searching for the scanning range in FIG.
  • the width of the rectangular area corresponds to the width of the identification target (object) corresponding to the isolated area.
  • the height of the set rectangular area corresponds to the depth (the length in the traveling direction of the host vehicle) of the identification target (object) corresponding to the isolated area.
  • the height of the identification object (object) corresponding to each isolated area is unknown at this stage.
  • the corresponding area detection unit 158 of the parallax image detects the corresponding area on the parallax image corresponding to the isolated area in order to obtain the height of the object corresponding to the isolated area related to the object candidate area.
  • the corresponding area detection unit 158 of the parallax image detects the positions, widths, and minimums of the first detection island 811 and the second detection island 812 detected from the real U map based on the information of the isolated area output from the isolated area detection unit 157. From the parallax, the x-direction range (xmin, xmax) of the first detected island corresponding area scanning range 481 and the second detected island corresponding area scanning range 482 which are ranges to be detected in the parallax image shown in FIG. 19 can be determined.
  • the set scanning range is scanned, and a pixel having a value of a range of rectangular depth (minimum parallax dmin, maximum parallax dmax) detected by the isolated area detection unit 157 as parallax Are extracted as candidate pixels. Then, among the extracted candidate pixel groups, a line having a predetermined ratio or more in the horizontal direction with respect to the detection width is set as a candidate line.
  • scanning is performed in the vertical direction, and when there is a predetermined density or more of another object candidate line around a certain focused object candidate line, the focused object candidate line is determined as an object line .
  • the object area extraction unit 159 searches for an object line in the search area of the parallax image to determine the lowermost end and the uppermost end of the object line, and as shown in FIG.
  • the area 462 is determined as the areas 451 and 452 of the objects (first and second vehicles) in the parallax image.
  • FIG. 21 is a flowchart showing the flow of processing performed by the corresponding area detection unit 158 and the object area extraction unit 159 of the parallax image.
  • the search range in the x-axis direction with respect to the parallax image is set based on the position, width and minimum parallax of the island in the real U map (step S161).
  • the maximum search value ymax in the y-axis direction with respect to the parallax image is set (step S162).
  • the minimum search value ymin in the y-axis direction for the parallax image is obtained and set from the maximum height of the island in the real height U map and the ymax and dmax set in step S172, thereby the y-axis for the parallax image
  • the search range of the direction is set (step S163).
  • the parallax image is searched in the set search range, and pixels in the range of the minimum parallax dmin of the island and the maximum parallax dmax are extracted, and are set as object candidate pixels (step S164).
  • the object candidate pixel is in the horizontal direction at a certain ratio or more, the line is extracted as an object candidate line (step S165).
  • the density of the object candidate line is calculated, and if the density is larger than a predetermined value, the line is determined as an object line (step S166). Finally, a circumscribed rectangle of the object line group is detected as an object area in the parallax image (step S167).
  • an identification object object, object
  • object object
  • the identification object (object) displayed in the image area corresponding to the object area The actual height Ho can be calculated.
  • “zo” is the distance between the object corresponding to the object area and the vehicle calculated from the minimum parallax value d in the object area
  • “f” is the focal length of the camera (yomax-yomin) It is a value converted to the same unit as the unit of.
  • the object type classification unit 160 classifies the object type based on the information on the height, width, and depth of the object corresponding to the object area that can be calculated in this manner.
  • the table shown in FIG. 22 shows an example of table data for classifying object types. According to this, it is possible to distinguish and recognize whether an identification target (object) existing ahead of the host vehicle is a pedestrian, a bicycle, a small car, a truck or the like.
  • the three-dimensional position determination unit 161 Since the distance to the object corresponding to the detected object region and the distance on the image between the image center of the parallax image and the center of the object region on the parallax image are also grasped, the three-dimensional position of the object is determined. Can.
  • the relative lateral to the imaging units 110a and 110b of the identification target (object) can be calculated from the following equation [8] and equation [9].
  • the object tracking unit 162 executes processing of tracking (tracking) an object (object) detected from a frame of a previous (past) parallax image, using the object data list 170.
  • the object selection unit 163 selects whether or not to track the object based on whether the object stored in the object data list 170 is at a position suitable for tracking, or the like. Specifically, after a prediction range in parallax image data in which the object is predicted to be located is set based on the object prediction data of the object data list 170 and the height of the object within the prediction range is specified, The width of the object is identified from the identified height with reference to the object feature amount of the object data list 170, and the lateral position of the object on the parallax image data is estimated from the identified width.
  • the lateral position of the object estimated in this way is a predetermined tracking target condition (when the object is in a position where the probability of being present in the image is high, the position is appropriate for the object to be the tracking target, etc.) If the above is satisfied, the object is selected as a tracking target.
  • the object selection unit 163 may delete data of an object not selected as a tracking target from the object data list 170.
  • the object data list 170 is used, for example, to track data of each object detected from one frame over a plurality of subsequent frames.
  • the object data list 170 includes data of “object data”, “object prediction data”, and “object feature amount”, as shown in FIG.
  • Object data includes data of "position”, “size”, “distance”, “relative velocity”, “actual position”, and “actual size”.
  • “Position” is the upper left coordinates of the object in the parallax image.
  • the “size” is the size (the number of pixels of the width and the height) of the object in the parallax image.
  • “Distance” is an actual distance from the host vehicle to the object.
  • the “relative velocity” is the relative velocity between the vehicle and the object, which is calculated based on the previous and current frames.
  • the “relative speed” includes data of the amount of movement (m: meters) per frame in the traveling direction Z (depth direction) of the host vehicle and in the horizontal direction X (lateral direction).
  • the "actual position” is the actual relative position of the object relative to the host vehicle calculated based on the current frame.
  • the “actual position” includes, for example, data of the position in the lateral direction Z (m: meter) and the position in the depth Z direction (m: meter) of the center of the left and right ends of the object.
  • the "actual size” is the actual size of the object relative to the host vehicle calculated based on the current frame.
  • the “actual size” includes data of the width (m: meter) and the height (m: meter) of the object.
  • the “object prediction data” includes data such as “position”, “size”, “distance”, “relative velocity” and the like.
  • the “object prediction data” is data which is calculated based on the previous frame (for example, the immediately preceding frame) and which predicts the position of the object in the next frame.
  • the “object feature amount” includes data of “histogram peak position” and “distance between peaks”.
  • the “histogram peak position” is coordinates of a position where the value of disparity frequency in the real U map is relatively large.
  • the “peak-to-peak distance” is an actual distance between “histogram peak positions” in the real U map.
  • the data of the object data list 170 is sent to the display monitor 103 and the vehicle travel control unit 104 as an analysis result of the image analysis unit 102.
  • the display monitor 103 displays, for example, a green frame of the area of the object in the current frame based on, for example, the "position” and the "size” of the "object data” among the data of the object data list 170 which is the analysis result. Display with.
  • the "position” and the "size” of the "object data” are data indicating an area including the object.
  • the display monitor 103 corresponds to the predicted position of the object in the current frame based on, for example, the “position” and the “size” of the “object predicted data” among the data of the object data list 170 which is the analysis result.
  • An area to be displayed (hereinafter referred to as "tracking frame") is displayed, for example, with a red frame.
  • a parallax image for an object located at a distance of about 2 m to 80 m (normal distance) from the host vehicle is generated at high speed to detect and track the object. It is conceivable.
  • an object in a short distance is detected by an area such as the smallest rectangle including the object in the parallax image, for example, an area such as a tunnel is different from a bar at an entrance of a parking lot etc. Since the area is high, the area in which the host vehicle travels may be detected as an obstacle although it is vacant.
  • the value of the invalid pixel is complemented based on the pixel value of the periphery. Density is higher.
  • an object detected based on the number of pixels having a parallax value according to the object in the advancing area of the vehicle and the number of pixels included in the area of the object in the advancing area Reject the data of Thereby, highly accurate detection can be performed at high speed.
  • a distance image may be generated by integrating distance information generated using a detection device such as a millimeter wave radar or laser radar with respect to parallax images generated using a stereo camera.
  • detection and tracking of an object located at a distance of about 0.5 m to 60 m may be performed.
  • the detection accuracy may be further enhanced by using a stereo camera and a detection device such as a millimeter wave radar or a laser radar in combination and combining it with the above-described detection result of an object by the stereo camera.
  • a detection device such as a millimeter wave radar or a laser radar in combination and combining it with the above-described detection result of an object by the stereo camera.
  • each functional unit of the processing hardware unit 120 and the image analysis unit 102 may be configured to be realized by hardware, or may be configured to be realized by execution of a program stored in a storage device by a CPU. Good.
  • This program may be recorded in a computer readable recording medium and distributed by a file in an installable format or an executable format.
  • a CD-R Compact Disc Recordable
  • DVD Digital Versatile Disk
  • Blu-ray Disc etc.
  • recording media such as CD-ROM in which each program is stored, and HD 504 in which these programs are stored can be provided domestically or abroad as a program product (Program Product).
  • In-vehicle device control system (an example of "mobile device control system) 100 Self-vehicle 101 Imaging unit 102 Image analysis unit (an example of “image processing apparatus”) 103 Display monitor 104 Vehicle traveling control unit (an example of “control unit”) 110a, 110b imaging unit 120 processing hardware unit 140 short-distance processing unit 141 short-distance parallax image generating unit (an example of “generating unit”) 142 Reduced parallax image generation unit (an example of “reduction unit”) 143 Near object detection unit (an example of “detection unit”) 144 Short range object rejection part (an example of "rejection part”) 145 Short-distance object tracking unit 151 Parallax image generation unit 152 V map generation unit 153 Road surface shape detection unit 154 Road surface height table calculation unit 155 U map generation unit 156 Real U map generation unit 157 Isolated area detection unit 158 Correspondence area detection unit 159 Object region extraction unit 160 Object type classification unit 161 Three-dimensional position determination unit 162 Object tracking unit 163

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

画像処理装置において、複数の撮像部で各々撮影されたフレームに応じた、前記複数の撮像部から所定距離内に位置する物体の距離に応じた画素値を有する距離画像の画素数を縮小する縮小部と、前記縮小された距離画像に基づいて、前記物体を検出する検出部と、前記複数の撮像部を備える移動体の進行する進行領域における前記物体に応じた距離の値を有する画素の数と、前記進行領域における前記物体の領域に含まれる画素の数に基づいて、前記検出された前記物体のデータを棄却する棄却部と、を備える。

Description

画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
　本発明は、画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラムに関する。
　自動車の安全性において、従来は歩行者や自動車と衝突したときに、いかに歩行者を守れるか、乗員を保護できるかの観点から自動車のボディー構造などの開発が行われてきた。しかしながら近年、情報処理技術、画像処理技術の発達により、高速に人や自動車等を検出する技術が開発されてきている。これらの技術を応用して、衝突する前に自動的にブレーキをかけ、衝突を未然に防ぐという自動車もすでに発売されている。
　自動的にブレーキをかけるには人や他車等の物体までの距離を測定する必要があり、そのために、ミリ波レーダ、レーザレーダ、ステレオカメラを用いた測定が実用化されている。
　このステレオカメラを用いた測定において、遠距離と近距離とで重複して検出した立体物のデータを整理して統合する技術が知られている（例えば、特許文献１参照）。
特開平１１－０３９５９６号公報
　しかし、従来技術では、物体を検出する処理を高速に行う場合、検出の精度が下がるという問題がある。
　そこで、精度の高い検出を高速に行う技術を提供することを目的とする。
　画像処理装置において、複数の撮像部で各々撮影されたフレームに応じた、前記複数の撮像部から所定距離内に位置する物体の距離に応じた画素値を有する距離画像の画素数を縮小する縮小部と、前記縮小された距離画像に基づいて、前記物体を検出する検出部と、前記複数の撮像部を備える移動体の進行する進行領域における前記物体に応じた距離の値を有する画素の数と、前記進行領域における前記物体の領域に含まれる画素の数に基づいて、前記検出された前記物体のデータを棄却する棄却部と、を備える。
　開示の技術によれば、精度の高い検出を高速に行うことが可能となる。
実施形態に係る車載機器制御システムの構成を示す模式図である。 撮像ユニット及び画像解析ユニットの構成を示す模式図である。 三角測量の原理を利用することで視差値から距離を算出する原理を説明するための図である。 画像処理装置を含む撮像装置の機能ブロック図である。 近距離処理部の機能ブロック図である。 基準画像と視差画像について説明する図である。 基準画像と視差画像について説明する図である。 進行領域物体棄却処理の一例を示すフローチャートである。 進行領域物体棄却処理について説明する図である。 トンネルを検出した場合の進行領域物体棄却処理について説明する図である。 トンネルを検出した場合の進行領域物体棄却処理について説明する図である。 トンネルを検出した場合の進行領域物体棄却処理について説明する図である。 トンネルを検出した場合の進行領域物体棄却処理について説明する図である。 通常距離処理部の機能ブロック図である。 視差画像データ、及びその視差画像データから生成されるＶマップについて説明するための図である。 視差画像データ、及びその視差画像データから生成されるＶマップについて説明するための図である。 一方の撮像部で撮像された基準画像としての撮影画像の画像例と、その撮影画像に対応するＶマップを示す図である。 一方の撮像部で撮像された基準画像としての撮影画像の画像例と、その撮影画像に対応するＶマップを示す図である。 基準画像の一例を模式的に表した画像例を示す図である。 画像例に対応するＵマップを示す図である。 画像例に対応するＵマップを示す図である。 Ｕマップに対応するリアルＵマップを示す図である。 Ｕマップの横軸の値からリアルＵマップの横軸の値を求める方法を説明するための図である。 孤立領域検出部で行う孤立領域検出処理の流れを示すフローチャートである。 孤立領域検出部で検出された孤立領域が内接する矩形領域を設定したリアル頻度Ｕマップを示す図である。 矩形領域に対応する走査範囲を設定した視差画像を示す図である。 走査範囲を探索してオブジェクト領域を設定した視差画像を示す図である。 視差画像の対応領域検出部及びオブジェクト領域抽出部で行われる処理の流れを示すフローチャートである。 オブジェクトタイプの分類を行うためのテーブルデータの一例を示す図である。 オブジェクトデータリストのデータ項目の一例を示す説明図である。
　以下、実施形態に係る画像処理装置を有する移動体機器制御システムについて説明する。
　〈車載機器制御システムの構成〉
　図１は、本発明の実施形態に係る移動体機器制御システムとしての車載機器制御システムの構成を示す図である。
　この車載機器制御システム１は、移動体である自動車などの自車両１００に搭載されており、撮像ユニット１０１、画像解析ユニット１０２、表示モニタ１０３、及び車両走行制御ユニット１０４からなる。そして、撮像ユニット１０１で、移動体の前方を撮像した自車両進行方向前方領域（撮像領域）の複数の撮像画像データ（フレーム）から、自車両前方の物体を検出し、その検出結果を利用して移動体や各種車載機器の制御を行う。移動体の制御には、例えば、警告の報知、自車両１００（自移動体）のハンドルの制御、または自車両１００（自移動体）のブレーキが含まれる。
　撮像ユニット１０１は、例えば、自車両１００のフロントガラス１０５のルームミラー（図示せず）付近に設置される。撮像ユニット１０１の撮像によって得られる撮像画像データ等の各種データは、画像処理手段としての画像解析ユニット１０２に入力される。
　画像解析ユニット１０２は、撮像ユニット１０１から送信されてくるデータを解析して、自車両１００が走行している路面部分（自車両の真下に位置する路面部分）に対する自車両前方の走行路面上の各地点における相対的な高さ（位置情報）を検出し、自車両前方の走行路面の３次元形状を把握する。また、自車両前方の他車両、歩行者、各種障害物などの認識対象物を認識する。
　画像解析ユニット１０２の解析結果は、表示モニタ１０３及び車両走行制御ユニット１０４に送られる。表示モニタ１０３は、撮像ユニット１０１で得られた撮像画像データ及び解析結果を表示する。車両走行制御ユニット１０４は、画像解析ユニット１０２による自車両前方の他車両、歩行者、各種障害物などの認識対象物の認識結果に基づいて、例えば、自車両１００の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行う。
　〈撮像ユニット１０１及び画像解析ユニット１０２の構成〉
　図２は、撮像ユニット１０１及び画像解析ユニット１０２の構成を示す図である。
　撮像ユニット１０１は、撮像手段としての２つの撮像部１１０ａ，１１０ｂを備えたステレオカメラで構成されており、２つの撮像部１１０ａ，１１０ｂは同一のものである。各撮像部１１０ａ，１１０ｂは、それぞれ、撮像レンズ１１１ａ，１１１ｂと、受光素子が２次元配置された画像センサ１１３ａ，１１３ｂを含んだセンサ基板１１４ａ，１１４ｂと、センサ基板１１４ａ，１１４ｂから出力されるアナログ電気信号（画像センサ１１３ａ，１１３ｂ上の各受光素子が受光した受光量に対応する電気信号）をデジタル電気信号に変換した撮像画像データを生成して出力する信号処理部１１５ａ，１１５ｂとから構成されている。撮像ユニット１０１からは、例えば輝度画像データが出力される。
　また、撮像ユニット１０１は、ＦＰＧＡ（Field-Programmable Gate Array）等からなる処理ハードウェア部１２０を備えている。この処理ハードウェア部１２０は、各撮像部１１０ａ，１１０ｂから出力される輝度画像データから視差画像を得るために、各撮像部１１０ａ，１１０ｂでそれぞれ撮像した撮像画像間の対応画像部分の視差値を演算する視差画像情報生成手段としての視差演算部１２１を備えている。
　ここでいう視差値とは、各撮像部１１０ａ，１１０ｂでそれぞれ撮像した撮像画像の一方を基準画像、他方を比較画像とし、撮像領域内の同一地点に対応した基準画像上の画像部分に対する比較画像上の画像部分の位置ズレ量を、当該画像部分の視差値として算出したものである。三角測量の原理を利用することで、この視差値から当該画像部分に対応した撮像領域内の当該同一地点までの距離を算出することができる。
　図３は、三角測量の原理を利用することで視差値から距離を算出する原理を説明するための図である。図において、ｆは撮像レンズ１１１ａ，１１１ｂのそれぞれの焦点距離であり、Ｄは光軸間の距離である。また、Ｚは撮像レンズ１１１ａ，１１１ｂから被写体３０１までの距離（光軸に平行な方向の距離）である。この図において、被写体３０１上にある点Ｏに対する左右画像での結像位置は、結像中心からの距離がそれぞれΔ１とΔ２となる。このときの視差値ｄは、ｄ＝Δ１＋Δ２と規定することができる。
　図２の説明に戻る。画像解析ユニット１０２は、画像処理基板等から構成され、撮像ユニット１０１から出力される輝度画像データ及び視差画像データ等を記憶するＲＡＭやＲＯＭ等で構成される記憶手段１２２と、識別対象の認識処理や視差計算制御などを行うためのコンピュータプログラムを実行するＣＰＵ（Central Processing Unit）１２３と、データＩ／Ｆ（インタフェース）１２４と、シリアルＩ／Ｆ１２５を備えている。
　処理ハードウェア部１２０を構成するＦＰＧＡは、画像データに対してリアルタイム性が要求される処理、例えばガンマ補正、ゆがみ補正（左右の撮像画像の平行化）、ブロックマッチングによる視差演算を行って視差画像の情報を生成し、画像解析ユニット１０２のＲＡＭに書き出す処理などを行う。画像解析ユニット１０２のＣＰＵは、各撮像部１１０Ａ，１１０Ｂの画像センサコントローラの制御および画像処理基板の全体的な制御を担うとともに、路面の３次元形状の検出処理、ガードレールその他の各種オブジェクト（物体）の検出処理などを実行するプログラムをＲＯＭからロードして、ＲＡＭに蓄えられた輝度画像データや視差画像データ等を入力として各種処理を実行し、その処理結果をデータＩ／Ｆ１２４やシリアルＩ／Ｆ１２５から外部へと出力する。このような処理の実行に際し、データＩ／Ｆ１２４を利用して、自車両１００の車速、加速度（主に自車両前後方向に生じる加速度）、操舵角、ヨーレートなどの車両動作情報を入力し、各種処理のパラメータとして使用することもできる。外部に出力されるデータは、自車両１００の各種機器の制御（ブレーキ制御、車速制御、警告制御など）を行うための入力データとして使用される。
　なお、撮像ユニット１０１及び画像解析ユニット１０２は、一体の装置である撮像装置２として構成してもよい。
　図４は、図２における処理ハードウェア部１２０及び画像解析ユニット１０２で実現される物体検出処理を行う画像処理装置を含む撮像装置の機能ブロック図である。
　この撮像装置は、ステレオカメラ画像取得部１３０、近距離処理部１４０、通常距離処理部１５０、オブジェクトデータリスト１７０を有する。
　ステレオカメラ画像取得部１３０は、ステレオカメラで撮影した画像を取得する。近距離処理部１４０は、近距離（自車両から所定距離内）に位置する物体の検出や追跡を行う。通常距離処理部１５０は、近距離よりも遠い距離に位置する物体の検出や追跡を行う。オブジェクトデータリスト１７０は、近距離処理部１４０、及び通常距離処理部１５０が検出した物体（オブジェクト）のデータを記憶するとともに、表示モニタ１０３及び車両走行制御ユニット１０４に出力する。
　なお、近距離処理部１４０の近距離物体検出処理と、通常距離処理部１５０の通常距離物体検出処理は、少なくとも一部を並列に処理を実行してもよいし、順番に処理を実行してもよい。例えば、処理ハードウェア部１２０の視差演算部１２１による処理は、視差画像生成処理を行った後に、近距離視差画像生成処理を行い、その他の画像解析ユニット１０２による処理は並列に行うようにしてもよい。
　以下、本実施形態における物体検出処理について説明する。
　〈ステレオカメラ画像取得〉
　ステレオカメラ画像取得部１３０は、ステレオカメラを構成する２つの撮像部１１０ａ，１１０ｂから、輝度画像データを取得する。このとき、撮像部１１０ａ，１１０ｂがカラーの場合には、そのＲＧＢ信号から輝度信号（Ｙ）を得るカラー輝度変換を、例えば下記の式〔１〕を用いて行う。
　Ｙ＝０．３Ｒ＋０．５９Ｇ＋０．１１Ｂ　…式〔１〕
　〈近距離処理〉
　次に、図５を参照し、近距離処理部１４０の機能について説明する。図５は、近距離処理部１４０の機能ブロック図である。近距離処理部１４０は、近距離（自車両から所定距離内）の物体の検出や追跡を行う。近距離処理部１４０は、近距離視差画像生成部１４１、縮小視差画像生成部１４２、近距離物体検出部１４３、近距離物体棄却部１４４、近距離物体追跡部１４５を有する。
　《近距離視差画像生成処理》
　近距離視差画像生成部１４１は、例えば、処理ハードウェア部１２０の視差演算部１２１によって実現してもよい。
　近距離視差画像生成部１４１は、自車両（ステレオカメラ）から所定距離内に位置する物体に対する視差画像データ（視差画像情報）を生成する近距離視差画像生成処理を行う。近距離視差画像生成処理では、まず、２つの撮像部１１０ａ，１１０ｂのうちの一方の撮像部１１０ａの輝度画像データを基準画像データとし、他方の撮像部１１０ｂの輝度画像データを比較画像データとし、これらを用いて、自車両から所定距離内に位置する物体に対する視差を演算し、視差画像データを生成して出力する。この視差画像データは、基準画像データ上の各画像部分について算出される視差値ｄに応じた画素値をそれぞれの画像部分の画素値として表した視差画像を示すものである。
　具体的には、近距離視差画像生成部１４１は、基準画像データのある行について、一つの注目画素を中心とした複数画素（例えば１６画素×１画素）からなるブロックを定義する。そして、比較画像データにおける同じ行において、定義した基準画像データのブロックと同じサイズのブロックを１画素ずつ横ライン方向（ｘ方向）へずらす。この際、近距離視差画像生成処理では、ブロックをずらす横ライン方向の範囲を、自車両から所定距離内（例えば１ｍ～６ｍ以内）に対応する範囲とする。それにより、自車両から所定距離内に位置する物体に対する視差が探索される。
　そして、近距離視差画像生成部１４１は、基準画像データにおいて定義したブロックの画素値の特徴を示す特徴量と比較画像データにおける各ブロックの画素値の特徴を示す特徴量との相関を示す相関値を、それぞれ算出する。そして、算出した相関値に基づき、比較画像データにおける各ブロックの中で最も基準画像データのブロックと相関が高い比較画像データのブロックを選定するマッチング処理を行う。その後、基準画像データのブロックの注目画素と、マッチング処理で選定された比較画像データのブロックの対応画素との位置ズレ量を視差値ｄとして算出する。このような視差値ｄを算出する処理を基準画像データの全域又は特定の一領域について行うことで、視差画像データを得ることができる。
　また、近距離視差画像生成部１４１は、上述のマッチング処理を行う際、比較画像データにおける各ブロックの中で、基準画像データのブロックとの相関値が最も高い値に近い（最も高い値から所定値以内）ブロックが複数あるか否か判断し、複数ある場合は、フェンス等の繰り返しパターンが検知されたと判断し、視差値ｄとして、繰り返しパターンであることを示す値を設定する。
　マッチング処理に用いるブロックの特徴量としては、例えば、ブロック内の各画素の値（輝度値）を用いることができ、相関値としては、例えば、基準画像データのブロック内の各画素の値（輝度値）と、これらの画素にそれぞれ対応する比較画像データのブロック内の各画素の値（輝度値）との差分の絶対値の総和を用いることができる。この場合、当該総和が最も小さくなるブロックが最も相関があると言える。
　近距離視差画像生成部１４１でのマッチング処理をハードウェア処理によって実現する場合には、例えばＳＳＤ（Sum of Squared Difference）、ＺＳＳＤ（Zero-mean Sum of Squared Difference）、ＳＡＤ（Sum of Absolute Difference）、ＺＳＡＤ（Zero-mean Sum of Absolute Difference）、ＮＣＣ（Normalized cross correlation）などの方法を用いることができる。なお、マッチング処理では画素単位での視差値しか算出できないので、１画素未満のサブピクセルレベルの視差値が必要な場合には推定値を用いる必要がある。その推定方法としては、例えば、等角直線方式、二次曲線方式等を利用することができる。
　《縮小視差画像生成処理》
　次に、縮小視差画像生成部１４２について説明する。縮小視差画像生成部１４２は、近距離視差画像生成部１４１により生成された、自車両から所定距離内に位置する物体に対する視差画像から、所定の間隔で画素を抽出することにより、縮小された（画素数が少ない）縮小視差画像を作成する。例えば１２８０×６４０画素の視差画像を、縦及び横に例えば１／１０に縮小する場合、縮小視差画像は１２８×６４画素となる。
　縮小視差画像生成部１４２は、視差画像を縮小する際、視差画像から一定間隔で画素を抽出し、抽出した画素の視差値が、例えば無限遠であることを示す値の場合、または繰り返しパターンであることを示す値等の無効な値の場合、当該抽出した画素の周辺の画素値に基づいて、当該抽出した画素の値を決定（補完）する。
　縮小視差画像生成部１４２は、例えば、当該抽出した画素の周辺において、所定の優先順位順で、有効な値を有する画素を探索し、無効でない（有効な）値を有する画素があれば、当該無効でない値を、当該抽出した画素の値とする。
　所定の優先順位としては、例えば、抽出した画素６６１から所定距離（画素）づつ離れた所定の画素群のうち、距離が近い順としてもよい。
　縮小視差画像生成部１４２は、例えば、当該抽出した画素、及びその周辺の画素の平均値を、当該抽出した画素の値としてもよい。
　また、縮小視差画像生成部１４２は、近距離視差画像生成部１４１により、例えば、フェンス等の繰り返しパターンが検知された場合等、視差としての信頼性が低い場合に、当該抽出した画素の視差値が無効な値と判断し、周辺の画素値に基づいて、抽出した画素の値を決定する。
　上述のような、周辺の画素値に基づいて、抽出した画素の値を決定する処理を行う理由について、以下に説明する。視差画像を縮小する際、単純に一定間隔で画素を抽出すると、物体の視差の値が算出されていない画素ばかりが抽出される可能性がある。
　物体が存在する領域において、物体の視差の値が算出されていない画素が抽出される理由について、図６Ａ、図６Ｂを参照して説明する。図６Ａ、図６Ｂは、基準画像と視差画像について説明する図である。図６Ａのような、先行車両が写っている画像に対する視差画像を生成する場合、同色の部分は輝度の差が少ないため、視差値の算出ができず、無効な値（例えば無限遠）となることが多い。そのため、図６Ｂのように、先行車両が写っている領域において、黒色で示す無効な値を有する画素が多くなる。
　図６Ｂにおいて、黒色で示される画素ばかりが抽出された場合、物体が存在しないと判断される場合がある。そのため、上述のような、周辺の画素値を基に、抽出された画素値を補完する処理を行う。
　《近距離物体検出処理》
　近距離物体検出部１４３は、縮小視差画像生成部１４２により生成された、自車両から所定距離内に位置する物体に対する縮小視差画像に基づいて、物体を検出する。
　近距離物体検出部１４３は、縮小視差画像の各画素の視差値に基づいて、各画素に写っている物体の自車両からの実距離を算出し、隣り合う画素の自車両からの実距離の差が所定値（例えば２０ｃｍ）以内であれば、同一のラベルを付加する。ここで、「隣り合う」とは、上下左右の４方向でも、右上、左上、右下、左下を含む８方向でも良い。
　近距離物体検出部１４３は、ラベリング（同一のラベルを付加）された単位を一つのオブジェクトとして検出する。そして、近距離物体検出部１４３は、隣接するオブジェクト同士が所定の結合条件を満たしている場合は、当該隣接するオブジェクト同士を１つのオブジェクトとして検出する。所定の結合条件は、例えば、「隣接するオブジェクト同士の縦または横のいずれか一辺が半分以上重なっており、隣接するオブジェクト同士の自車両からの実距離の差が１ｍ未満であること」等とする。それにより、壁などの、自車両の進行方向に対して斜めに沿って位置する物体を１つのオブジェクトとして捉えることができる。
　近距離物体検出部１４３は、縮小視差画像における、オブジェクトを含む矩形または正方形の領域を、当該オブジェクトの領域として検出する。
　《近距離物体棄却処理》
　近距離物体棄却部１４４は、近距離物体検出部１４３により検出されたオブジェクトのうち、トラッキングの対象としないオブジェクトのデータを棄却（破棄）する。
　近距離物体棄却部１４４は、近距離物体検出部１４３に検出されたオブジェクトの領域の縦及び横の画素数と、当該領域に含まれる画素の視差値に基づき、当該オブジェクトの大きさを算出する。そして、予め設定されている、人や車両の大きさと比較し、大き過ぎる（所定の閾値以上である）オブジェクトや、小さ過ぎる（所定の閾値以下である）オブジェクトは棄却（データを破棄）する。
　また、近距離物体棄却部１４４は、オブジェクトの領域の縦及び横の画素の位置（座標）と、当該領域に含まれる画素の視差値に基づき、当該オブジェクトの３次元位置を算出する。なお、３次元位置の算出方法は、後述する３次元位置決定部１６１による算出方法と同様でも良い。そして、前回のフレーム（ステレオカメラの画像）に基づいて、後述する路面高さテーブル算出部１５４によってテーブル化された各路面部分の高さを参照し、路面からの高さが高すぎる（所定の閾値以上である）オブジェクトは棄却する。
　また、近距離物体棄却部１４４は、オブジェクトの領域の視差密度を算出し、視差密度が低すぎるオブジェクトは棄却する。なお、この際の視差密度は、例えば、オブジェクトの領域に含まれる画素のうち、当該オブジェクトに応じた視差値を有する画素の数（Ａ）を、オブジェクトを含む領域に含まれる全画素数（Ｓ）で除算（Ａ／Ｓ）することにより算出する。それにより、例えば駐車場の出入り口のバーが斜めに上がっている際に、当該バーを含む矩形領域を、障害物と判断しないようにすることができる。
　また、近距離物体棄却部１４４は、自車両が進行する領域におけるオブジェクトの視差密度に基づいて、オブジェクトを棄却する、進行領域物体棄却処理を行う。
　この進行領域物体棄却処理において、近距離物体棄却部１４４は、自車両の進行する進行領域における物体に応じた視差値を有する画素の数と、進行領域における当該物体の領域に含まれる画素の数に基づいて、近距離物体検出部１４３により検出された物体のデータを棄却（破棄）する。
　また、近距離物体棄却部１４４は、自車両の高さ及び幅と、近距離物体検出部１４３により検出された物体の自車両からの距離（実距離）に基づいて、進行領域を算出する。
　次に、図７を参照して、近距離物体棄却部１４４による、進行領域物体棄却処理の詳細例について説明する。図７は、進行領域物体棄却処理の一例を示すフローチャートである。
　まず、近距離物体棄却部１４４は、例えば近距離物体検出部１４３によりラベリングが行われる際、オブジェクトに対応する進行領域要素数を初期化（例えば０）する（ステップＳ２０１）。
　続いて、近距離物体棄却部１４４は、近距離物体検出部１４３により、画素が当該オブジェクトの構成要素であると判断され、当該画素に当該オブジェクトの構成要素であることを示すラベルを付加されたことを検知する（ステップＳ２０２）。
　続いて、近距離物体棄却部１４４は、当該ラベルを付加された画素の位置（座標）が、自車両が進行する領域（進行領域、中央領域）内であるか判断する（ステップＳ２０３）。
　当該ラベルを付加された画素の位置（座標）が、進行領域内でなければ（ステップＳ２０３でＮＯ）、後述するステップＳ２０５の処理に進む。
　当該ラベルを付加された画素の位置（座標）が、進行領域内であれば（ステップＳ２０３でＹＥＳ）、当該オブジェクトに対応付けて記憶している進行領域要素数をインクリメント（１つ増加）する（ステップＳ２０４）。
　続いて、近距離物体棄却部１４４は、近距離物体検出部１４３により、一の縮小視差画像のフレームにおいて、当該オブジェクトであると判断されて当該ラベルを付加される画素が他にあるか判断する（ステップＳ２０５）。
　一の縮小視差画像のフレームにおいて、当該オブジェクトであると判断されて当該ラベルを付加される画素が他にあれば（ステップＳ２０５でＹＥＳ）、ステップＳ２０２の処理に進む。
　一の縮小視差画像のフレームにおいて、当該オブジェクトであると判断され当該ラベルを付加される画素が他になければ（ステップＳ２０５でＮＯ）、当該オブジェクトの領域（オブジェクトを含む最少の矩形等の領域）内で、進行領域に含まれる領域の画素の総数を算出する（ステップＳ２０６）。
　続いて、近距離物体棄却部１４４は、上述した進行領域要素数と、ステップＳ２０６で算出した進行領域に含まれる画素の総数に基づいて、進行領域と重なる領域におけるオブジェクトの視差密度を算出する（ステップＳ２０７）。なお、進行領域と重なる領域におけるオブジェクトの視差密度は、例えば、オブジェクトの進行領域要素数を、当該オブジェクトを含む最少の矩形等の領域内で進行領域に含まれる画素の総数で除算することにより算出する。
　続いて、近距離物体棄却部１４４は、進行領域と重なる領域におけるオブジェクトの視差密度が、所定の閾値（例えば２０％）以下であるか判断する（ステップＳ２０８）。
　進行領域と重なる領域におけるオブジェクトの視差密度が、所定の閾値以下でなければ（ステップＳ２０８でＮＯ）、処理を終了する。
　進行領域と重なる領域におけるオブジェクトの視差密度が、所定の閾値以下であれば（ステップＳ２０８でＹＥＳ）、自車両の進行を妨げない物体であると判断して、当該オブジェクトを棄却し（ステップＳ２０９）、処理を終了する。
　ここで、進行領域は、例えば、縮小視差画像における所定の領域として予め設定してもよいし、予め設定されている自車両の高さ、及び幅と、ラベルを付加された画素の自車両からの実距離に基づいて算出してもよい。
　進行領域を予め設定する場合、例えば、図８に示すように、縮小視差画像の全領域２５１における上辺、左辺、及び右辺からそれぞれ１／４の長さの領域以外の領域を、進行領域２５２としてもよい。
　進行領域を、自車両の高さ、及び幅と、ラベルを付加された画素の自車両からの実距離に基づいて算出する場合、当該実距離における自車両の高さ、及び幅に対応する縮小視差画像の領域を、進行領域すればよい。なおこの場合、ラベルを付加された画素の自車両からの実距離の値を用いる代わりに、ラベルを付加された画素が含まれるオブジェクトの自車両からの実距離（例えば、オブジェクトに含まれる各画素の実距離の平均値）を用いて、進行領域を算出してもよい。
　次に、図８を参照し、近距離物体棄却部１４４による進行領域物体棄却処理について説明する。図８は、進行領域物体棄却処理について説明する図である。
　近距離物体棄却部１４４は、オブジェクトを含む最少の矩形等の領域２５３と、進行領域２５２とが重なる領域２５４において、上述したように、進行領域と重なる領域におけるオブジェクトの視差密度を算出する。
　次に、図９Ａ乃至図９Ｄを参照し、オブジェクトとしてトンネルを検出した場合の、近距離物体棄却部１４４による進行領域物体棄却処理について説明する。図９Ａ乃至図９Ｄは、トンネルを検出した場合の進行領域物体棄却処理について説明する図である。
　図９Ａは、基準画像に写ったトンネルの例を示す図である。図９Ｂは、トンネルを含む最少の矩形等の領域２５３ａの例を示す図である。
　図９Ｃは、進行領域２５２ａが予め設定されている場合の例を示す図である。図９Ｃの例では、自車両がトンネルに入る前であり、自車両の進行領域２５２ａが、トンネルを含む最少の矩形等の領域２５３ａに含まれる。そのため、トンネルを含む最少の矩形等の領域２５３ａ内で、進行領域２５２ａに含まれる領域２５４ａは、進行領域２５２ａの全体となる。この場合、進行領域と重なる領域におけるオブジェクトの視差密度は、例えば、進行領域２５２ａに含まれるトンネルに対する視差値を有する領域２５５の画素（近距離物体検出処理によりラベルを付加された画素、進行領域要素）の数を、領域２５４ａに含まれる画素の数で除算することにより算出する。
　図９Ｄは、進行領域２５２ａを、自車両の高さ、及び幅と、ラベルを付加された画素の自車両からの実距離に基づいて算出する場合の例を示す図である。この場合、図７のステップＳ２０８で使用する所定の閾値を、例えば０％としてもよい。
　なお、トンネルの奥に先行車両等のオブジェクトが存在する場合、先行車両等の自車両からの実距離と、トンネルの自車両からの実距離との差は十分大きくなるため、近距離物体検出部１４３により、同一のラベルは付加されない。そのため、トンネルの奥に先行車両等のオブジェクトが存在する場合であっても、上述の、進行領域と重なる領域におけるオブジェクトの視差密度には影響しない。
　《近距離物体追跡処理》
　近距離物体追跡部１４５は、近距離物体検出部１４３により検出され、近距離物体棄却部１４４に棄却されなかったオブジェクトの追跡を行う。
　近距離物体追跡部１４５は、オブジェクトデータリスト１７０を参照し、近距離物体検出部１４３により検出されたオブジェクトが、オブジェクトデータリスト１７０に記憶されていなければ、新規の検出であると判断し、当該オブジェクトをオブジェクトデータリスト１７０に記憶する。検出されたオブジェクトが、オブジェクトデータリスト１７０に記憶されていれば、オブジェクトデータリスト１７０に記憶されている当該オブジェクトに対するデータを、検出されたオブジェクトに基づくデータに更新する。
　検出されたオブジェクトが、オブジェクトデータリスト１７０に記憶されているかの判断は、例えば、検出されたオブジェクトの自車両からの実距離と、オブジェクトデータリスト１７０に記憶されているオブジェクトの自車両からの実距離との差が、所定値以下であるかに応じて判断する。
　〈通常距離物体検出処理〉
　次に、図１０を参照し、図４の通常距離処理部１５０の機能について説明する。図１０は、通常距離処理部１５０の機能ブロック図である。通常距離処理部１５０は、自車両から所定距離（例えば２ｍ）以上である通常距離の物体の検出や追跡を行う。
　《視差画像生成処理》
　視差画像生成部１５１は、例えば、処理ハードウェア部１２０の視差演算部１２１によって実現してもよい。
　視差画像生成部１５１は、上述した近距離視差画像生成部１４１よりも遠い範囲（自車両から例えば２ｍ～８０ｍ程度）に位置する物体に対する視差画像データ（視差画像情報）を生成する視差画像生成処理を行う。
　この視差画像生成処理は、上述した近距離視差画像生成部１４１による近距離視差画像生成処理と同様であるが、この視差画像生成処理においては、近距離視差画像生成処理と例えば以下が異なる。視差画像生成部１５１は、基準画像データにおいて定義したブロックを、比較画像データにおける同じ行において、横ライン方向へずらす際、ブロックをずらす横ライン方向の範囲を、自車両から所定距離内（例えば２ｍ～８０ｍ）に対応する範囲とする。それにより、自車両から、比較的遠い距離に位置する物体に対する視差が探索される。
　《Ｖマップ生成処理》
　視差画像補間処理を行ったら、次に、Ｖマップ生成部１５２において、Ｖマップを生成するＶマップ生成処理を実行する。視差画像データに含まれる各視差画素データは、ｘ方向位置とｙ方向位置と視差値ｄとの組（ｘ，ｙ，ｄ）で示される。これを、Ｘ軸にｄ、Ｙ軸にｙ、Ｚ軸に頻度ｆを設定した三次元座標情報（ｄ，ｙ，ｆ）に変換したもの、又はこの三次元座標情報（ｄ，ｙ，ｆ）から所定の頻度閾値を超える情報に限定した三次元座標情報（ｄ，ｙ，ｆ）を、視差ヒストグラム情報として生成する。本実施形態の視差ヒストグラム情報は、三次元座標情報（ｄ，ｙ，ｆ）からなり、この三次元ヒストグラム情報をＸ－Ｙの２次元座標系に分布させたものを、Ｖマップ（視差ヒストグラムマップ、V-disparity map）と呼ぶ。
　具体的に説明すると、Ｖマップ生成部１５２は、画像を上下方向に複数分割して得られる視差画像データの各行領域について、視差値頻度分布を計算する。この視差値頻度分布を示す情報が視差ヒストグラム情報である。
　図１１Ａ、図１１Ｂは視差画像データ、及びその視差画像データから生成されるＶマップについて説明するための図である。ここで、図１１Ａは視差画像の視差値分布の一例を示す図であり、図１１Ｂは、図１１Ａの視差画像の行毎の視差値頻度分布を示すＶマップを示す図である。
　図１１Ａに示すような視差値分布をもった視差画像データが入力されたとき、Ｖマップ生成部１５２は、行毎の各視差値のデータの個数の分布である視差値頻度分布を計算し、これを視差ヒストグラム情報として出力する。このようにして得られる各行の視差値頻度分布の情報を、Ｙ軸に視差画像上のｙ方向位置（撮像画像の上下方向位置）をとりＸ軸に視差値をとった二次元直交座標系上に表すことで、図１１Ｂに示すようなＶマップを得ることができる。このＶマップは、頻度ｆに応じた画素値をもつ画素が前記二次元直交座標系上に分布した画像として表現することもできる。
　図１２Ａ、図１２Ｂは、一方の撮像部で撮像された基準画像としての撮影画像の画像例と、その撮影画像に対応するＶマップを示す図である。ここで、図１２Ａが撮影画像であり、図１２ＢがＶマップである。即ち、図１２Ａに示すような撮影画像から図１２Ｂに示すＶマップが生成される。Ｖマップでは、路面より下の領域には視差は検出されないので、斜線で示した領域Ａで視差がカウントされることはない。
　図１２Ａに示す画像例では、自車両が走行している路面４０１と、自車両の前方に存在する先行車両４０２と、路外に存在する電柱４０３が映し出されている。また、図１２Ｂに示すＶマップには、画像例に対応して、路面５０１、先行車両５０２、及び電柱５０３がある。
　この画像例は、自車両の前方路面が相対的に平坦な路面、即ち、自車両の前方路面が自車両の真下の路面部分と平行な面を自車両前方へ延長して得られる仮想の基準路面（仮想基準移動面）に一致している場合のものである。この場合、画像の下部に対応するＶマップの下部において、高頻度の点は、画像上方へ向かうほど視差値ｄが小さくなるような傾きをもった略直線状に分布する。このような分布を示す画素は、視差画像上の各行においてほぼ同一距離に存在していてかつ最も占有率が高く、しかも画像上方へ向かうほど距離が連続的に遠くなる識別対象物を映し出した画素であると言える。
　撮像部１１０ａでは自車両前方領域を撮像するため、その撮像画像の内容は、図１２Ａに示すように、画像上方へ向かうほど路面の視差値ｄは小さくなる。また、同じ行（横ライン）内において、路面を映し出す画素はほぼ同じ視差値ｄを持つことになる。従って、Ｖマップ上において上述した略直線状に分布する高頻度の点は、路面（移動面）を映し出す画素が持つ特徴に対応したものである。よって、Ｖマップ上における高頻度の点を直線近似して得られる近似直線上又はその近傍に分布する点の画素は、高い精度で、路面を映し出している画素であると推定することができる。また、各画素に映し出されている路面部分までの距離は、当該近似直線上の対応点の視差値ｄから高精度に求めることができる。
　《路面形状検出処理》
次に、本実施形態では、Ｖマップ生成部１５２が生成したＶマップの情報（視差ヒストグラム情報）から、路面形状検出部１５３において、自車両１００の前方路面の３次元形状を検出する路面形状検出処理が実行される。
　図１２Ａに示す画像例では、自車両１００が走行している路面４０１と、自車両１００の前方に存在する先行車両４０２と、路外に存在する電柱４０３が映し出されている。この画像例は、自車両１００の前方路面が相対的に平坦な路面、すなわち、自車両１００の前方路面が自車両１００の真下の路面部分と平行な面を自車前方へ延長して得られる仮想の基準路面（仮想基準移動面）に一致している場合のものである。この場合、画像の下部に対応するＶマップの下部において、高頻度の点（路面５０１）は、画像上方へ向かうほど視差値ｄが小さくなるような傾きをもった略直線状に分布する。このような分布を示す画素は、視差画像上の各行においてほぼ同一距離に存在していてかつ最も占有率が高く、しかも画像上方へ向かうほど距離が連続的に遠くなる検出対象物を映し出した画素であると言える。
　撮像部１１０Ａでは自車前方領域を撮像するため、その撮像画像の内容は、図１２Ｂに示すように、画像上方へ向かうほど路面の視差値ｄは小さくなる。また、同じ行（横ライン）内において、路面を映し出す画素はほぼ同じ視差値ｄを持つことになる。したがって、Ｖマップ上において上述した略直線状に分布する高頻度の点（路面５０１）は、路面（移動面）を映し出す画素が持つ特徴に対応したものである。よって、Ｖマップ上における高頻度の点を直線近似して得られる近似直線上又はその近傍に分布する点の画素は、高い精度で、路面を映し出している画素であると推定することができる。また、各画素に映し出されている路面部分までの距離は、当該近似直線上の対応点の視差値ｄから高精度に求めることができる。
　《路面高さテーブル算出処理》
　次に、路面高さテーブル算出部１５４において、路面高さ（自車の真下の路面部分に対する相対的な高さ）を算出してテーブル化する路面高さテーブル算出処理を行う。路面形状検出部１５３により生成されたＶマップ上の近似直線の情報から、撮像画像上の各行領域（画像上下方向の各位置）に映し出されている各路面部分までの距離を算出できる。一方、自車の真下に位置する路面部分をその面に平行となるように自車進行方向前方へ延長した仮想平面の自車進行方向における各面部分が、撮像画像中のどの各行領域に映し出されるかは予め決まっており、この仮想平面（基準路面）はＶマップ上で直線（基準直線）により表される。路面形状検出部１５３から出力される近似直線を基準直線と比較することで、自車前方の各路面部分の高さを得ることができる。簡易的には、路面形状検出部１５３から出力される近似直線上のＹ軸位置から、これに対応する視差値から求められる距離だけ自車前方に存在する路面部分の高さを算出できる。路面高さテーブル算出部１５４では、近似直線から得られる各路面部分の高さを、必要な視差範囲についてテーブル化する。
　なお、ある視差値ｄにおいてＹ軸位置がｙ'である地点に対応する撮像画像部分に映し出されている物体の路面からの高さは、当該視差値ｄにおける近似直線上のＹ軸位置をｙ０としたとき、（ｙ'－ｙ０）から算出することができる。一般に、Ｖマップ上における座標（ｄ，ｙ'）に対応する物体についての路面からの高さＨは、下記の式（２）より算出することができる。ただし、下記の式（２）において、「ｚ」は、視差値ｄから計算される距離（ｚ＝ＢＦ／（ｄ－ｏｆｆｓｅｔ））であり、「ｆ」はカメラの焦点距離を（ｙ'－ｙ０）の単位と同じ単位に変換した値である。ここで、「ＢＦ」は、ステレオカメラの基線長と焦点距離を乗じた値であり、「ｏｆｆｓｅｔ」は無限遠の物体を撮影したときの視差値である。
　Ｈ　＝　ｚ×（ｙ'－ｙ０）／ｆ　・・・（２）
　《Ｕマップ生成処理》
　次に、Ｕマップ生成部１５５は、Ｕマップ（U-disparity map）を生成するＵマップ生成処理として、頻度Ｕマップ生成処理及び高さＵマップ生成処理を実行する。
　頻度Ｕマップ生成処理では、視差画像データに含まれる各視差画素データにおけるｘ方向位置とｙ方向位置と視差値ｄとの組（ｘ，ｙ，ｄ）を、Ｘ軸にｘ、Ｙ軸にｄ、Ｚ軸に頻度を設定し、Ｘ－Ｙの２次元ヒストグラム情報を作成する。これを頻度Ｕマップと呼ぶ。本実施形態のＵマップ生成部１５５では、路面高さテーブル算出部１５４によってテーブル化された各路面部分の高さに基づいて、路面からの高さＨが所定の高さ範囲（たとえば２０ｃｍから３ｍ）にある視差画像の点（ｘ，ｙ，ｄ）についてだけ頻度Ｕマップを作成する。この場合、路面から当該所定の高さ範囲に存在する物体を適切に抽出することができる。
　また、高さＵマップ生成処理では、視差画像データに含まれる各視差画素データにおけるｘ方向位置とｙ方向位置と視差値ｄとの組（ｘ，ｙ，ｄ）を、Ｘ軸にｘ、Ｙ軸にｄ、Ｚ軸に路面からの高さを設定して、Ｘ－Ｙの２次元ヒストグラム情報を作成する。これを高さＵマップと呼ぶ。このときの高さの値は路面からの高さが最高のものである。
　図１３は、撮像部１１０ａで撮像される基準画像の一例を模式的に表した画像例であり、図１４Ａ、図１４Ｂは、図１３の画像例に対応するＵマップである。ここで、図１４Ａは頻度Ｕマップであり、図１４Ｂは高さＵマップである。
　図１３に示す画像例では、路面の左右両側にガードレール４１３，４１４が存在し、他車両としては、先行車両４１１と対向車両４１２がそれぞれ１台ずつ存在する。このとき、頻度Ｕマップにおいては、図１４Ａに示すように、左右のガードレール４１３，４１４に対応する高頻度の点は、左右両端側から中央に向かって上方へ延びるような略直線状６０３，６０４に分布する。一方、先行車両４１１と対向車両４１２に対応する高頻度の点は、左右のガードレールの間で、略Ｘ軸方向に平行に延びる線分の状態６０１，６０２で分布する。なお、先行車両４１１の背面部分又は対向車両４１２の前面部分以外に、これらの車両の側面部分が映し出されているような状況にあっては、同じ他車両を映し出している画像領域内において視差が生じる。このような場合、図１４Ａに示すように、他車両に対応する高頻度の点は、略Ｘ軸方向に平行に延びる線分と略Ｘ軸方向に対して傾斜した線分とが連結した状態の分布を示す。
　また、高さＵマップにおいては、左右のガードレール４１３，４１４、先行車両４１１、及び対向車両４１２における路面からの高さが最高の点が頻度Ｕマップと同様に分布する。ここで、先行車両に対応する点の分布７０１及び対向車両に対応する点の分布７０２の高さはガードレールに対応する点の分布７０３，７０４よりも高くなる。これにより、高さＵマップにおける物体の高さ情報を物体検出に利用することができる。
　《リアルＵマップ生成処理》
　次に、リアルＵマップ生成部１５６について説明する。リアルＵマップ生成部１５６では、リアルＵマップ（Real U-disparity map）（「分布データ」の一例）を生成するＵマップ生成処理として、リアル頻度Ｕマップ生成処理及びリアル高さＵマップ生成処理を実行する。
　リアルＵマップは、Ｕマップにおける横軸を画像の画素単位から実際の距離に変換し、縦軸の視差値を距離に応じた間引き率を有する間引き視差に変換したものである。
　リアルＵマップ生成部１５６は、リアル頻度Ｕマップ生成処理において、視差画像データに含まれる各視差画素データにおけるｘ方向位置とｙ方向位置と視差値ｄとの組（ｘ，ｙ，ｄ）を、Ｘ軸に水平方向の実際の距離、Ｙ軸に間引き視差、Ｚ軸に頻度を設定して、Ｘ－Ｙの２次元ヒストグラム情報を作成する。なお、本実施形態のリアルＵマップ生成部１５６は、Ｕマップ生成部１５５と同様に、路面高さテーブル算出部１５４によってテーブル化された各路面部分の高さに基づいて、路面からの高さＨが所定の高さ範囲にある視差画像の点（ｘ，ｙ，ｄ）についてだけリアル頻度Ｕマップを作成する。なお、リアルＵマップ生成部１５６は、Ｕマップ生成部１５５が生成したＵマップに基づいて、リアルＵマップを生成する構成としてもよい。
　図１５は、図１４Ａに示す頻度Ｕマップに対応するリアルＵマップ（以下、リアル頻度Ｕマップ）を示す図である。図示のように、左右のガードレールは垂直の線状のパターン８０３，８０４で表され、先行車両、対向車両も実際の形に近いパターン８０１、８０２で表される。
　縦軸の間引き視差は、遠距離（ここでは５０ｍ以上）については間引きなし、中距離（２０ｍ以上、５０ｍ未満）については１／２に間引き、近距離（１０ｍ以上、２０ｍ未満）については１／３に間引き、近距離（１０ｍ以上、２０ｍ未満）については１／８に間引いたものである。
　つまり、遠方ほど、間引く量を少なくしている。その理由は、遠方では物体が小さく写るため、視差データが少なく、距離分解能も小さいので間引きを少なくし、逆に近距離では、物体が大きく写るため、視差データが多く、距離分解能も大きいので間引きを多くする。
　横軸を画像の画素単位から実際の距離へ変換する方法、Ｕマップの（ｘ，ｄ）からリアルＵマップの（Ｘ，ｄ）を求める方法の一例について図１６を用いて説明する。
　カメラから見て左右１０ｍずつ、即ち２０ｍの幅をオブジェクト検出範囲として設定する。リアルＵマップの横方向１画素の幅を１０ｃｍとすると、リアルＵマップの横方向サイズは２００画素となる。
　カメラの焦点距離をｆ、カメラ中心からのセンサの横方向の位置をｐ、カメラから被写体までの距離をＺ、カメラ中心から被写体までの横方向の位置をＸとする。センサの画素サイズをｓとすると、ｘとｐの関係は「ｘ＝ｐ／ｓ」で表される。また、ステレオカメラの特性から、「Ｚ＝Ｂｆ／ｄ」の関係がある。
　また、図より、「ｘ＝ｐ＊Ｚ／ｆ」の関係があるから、「Ｘ＝ｓｘＢ／ｄ」で表すことができる。Ｘは実距離であるが、リアルＵマップ上での横方向１画素の幅が１０ｃｍあるので、容易にＸのリアルＵマップ上での位置を計算することができる。
　図１４Ｂに示す高さＵマップに対応するリアルＵマップ（以下、リアル高さＵマップ）も同様の手順で作成することができる。
　リアルＵマップには、縦横の長さをＵマップより小さくできるので処理が高速になるというメリットがある。また、横方向が距離に非依存になるため、遠方、近傍いずれでも同じ物体は同じ幅で検出することが可能になり、後段の周辺領域除去や、横分離、縦分離への処理分岐の判定（幅の閾値処理）が簡単になるというメリットもある。
　Ｕマップにおける縦方向の長さは、測定可能な最短距離を何メートルにするかで決定される。つまり、「ｄ＝Ｂｆ／Ｚ」であるから、測定可能な最短のＺに応じて、ｄの最大値は決定される。また、視差値ｄはステレオ画像を扱うため、通常画素単位で計算されるが、少数を含むため、視差値に所定値を乗じて小数部分を四捨五入して整数化した視差値を使用する。
　測定可能な最短のＺが１／２になると、ｄは２倍になるので，それだけＵマップのデータは巨大となる。そこで、リアルＵマップを作成するときには、近距離ほど画素を間引いてデータを圧縮し、Ｕマップよりもデータ量を削減する。そのため、ラベリングによるオブジェクト検出を高速に行うことができる。
　《孤立領域検出》
　次に、孤立領域検出部１５７について説明する。図１７は、孤立領域検出部１５７で行う孤立領域検出処理の流れを示すフローチャートである。孤立領域検出部１５７では、まずリアルＵマップ生成部１５６で生成されたリアル頻度Ｕマップの情報の平滑化を行う（ステップＳ１１１）。
　これは、頻度値を平均化することで、有効な孤立領域を検出しやすくするためである。即ち、視差値には計算誤差等もあって分散があり、かつ、視差値がすべての画素について計算されているわけではないので、リアルＵマップは図１４に示した模式図とは異なり、ノイズを含んでいる。そこで、ノイズを除去するためと、検出したいオブジェクトを分離しやすくするため、リアルＵマップを平滑化する。これは画像の平滑化と同様に、平滑化フィルタ(例えば３×３画素の単純平均)をリアルＵマップの頻度値（リアル頻度Ｕマップ）に対して適用することで、ノイズと考えられるような頻度は減少し、オブジェクトの部分では頻度が周囲より高い、まとまったグループとなり、後段の孤立領域検出処理を容易にする効果がある。
　次に、二値化の閾値を設定する（ステップＳ１１２）。最初は小さい値（＝０）を用いて、平滑化されたリアルＵマップの二値化を行う（ステップＳ１１３）。その後、値のある座標のラベリングを行って、孤立領域を検出する（ステップＳ１１４）。
　この二つのステップでは、リアル頻度Ｕマップで頻度が周囲より高い孤立領域(島と呼ぶことにする)を検出する。検出には、リアル頻度Ｕマップをまず二値化する（ステップＳ１１３）。最初は閾値０で二値化を行う。これは、オブジェクトの高さや、その形状、路面視差との分離などがあるため、島は孤立しているものもあれば他の島と連結しているものもあることの対策である。即ち、小さい閾値からリアル頻度Ｕマップを二値化することで最初は孤立した適切な大きさの島を検出し、その後、閾値を増加させていくことで連結している島を分離し、孤立した適切な大きさの島として検出することを可能にしたものである。
　二値化後の島を検出する方法はラベリングを用いる（ステップＳ１１４）。二値化後の黒である座標(頻度値が二値化閾値より高い座標)をその連結性に基づいてラベリングして、同一ラベルが付いた領域を島とする。
　検出された複数の孤立領域についてそれぞれ大きさの判定を行う（ステップＳ１１５）。これは、検出対象が歩行者から大型自動車であるため、孤立領域の幅がそのサイズの範囲であるか否かを判定するのである。もし、その大きさが大きければ（ステップＳ１１５：YES）、二値化閾値を１だけインクリメントして（ステップＳ１１２）、リアル頻度Ｕマップの当該孤立領域内だけ二値化を行う（ステップＳ１１３）。そしてラベリングを行い、より小さな孤立領域を検出して（ステップＳ１１４）、その大きさを判定する（ステップＳ１１５）。
　上記の閾値設定からラベリングの処理を繰り返し行い、所望の大きさの孤立領域を検出するのである。所望の大きさの孤立領域が検出できたなら（ステップＳ１１５：NO）、次に周辺領域除去を行う（ステップＳ１１６）。これは、遠方にある物体で、路面検出の精度が悪く、路面の視差がリアルＵマップ内に導入され、物体と路面の視差が一塊になって検出された場合のその左右、近傍の高さが路面に近い部分の領域（孤立領域内の周辺部分）を削除する処理である。除去領域が存在する場合は（ステップＳ１１７：YES）、もう一度ラベリングを行って孤立領域の再設定を行う（ステップＳ１１４）。
　除去領域がなくなったら（ステップＳ１１７：NO）、周辺領域除去を行った孤立領域の大きさ(幅と高さ、距離)を判定し（ステップＳ１１８）、その結果に応じて、横方向分離（ステップＳ１１９）又は縦方向分離（ステップＳ１２０）又は何もしないでオブジェクト候補として登録する。横方向分離又は縦方向分離を行った場合は（ステップＳ１２１：YES、ステップＳ１２２：YES）、もう一度ラベリングを行って孤立領域の再設定を行う（ステップＳ１１４）。
　物体同士が横に並んで近接している(自動車とバイク、自動車と歩行者、自動車同士など)場合、リアル頻度Ｕマップの平滑化が原因で一つの孤立領域として検出されることがある。或いは視差画像の視差補間の悪影響で異なる物体同士の視差がつながってしまうことがある。横方向分離はこのようなケースを検出して分離する処理である（詳細については後述）。
　また、複数の先行車両が隣の車線を走行しているときに、それらが遠方にいる場合、ステレオ画像から得られる視差の分散が大きい場合、リアル頻度Ｕマップ上では物体それぞれの視差値が上下に伸び、連結してしまうことがある。このため、これを一つの孤立領域として検出してしまう場合がある。縦方向分離はこのようなケースを検出して、手前を走る先行車両とその向こうを走る先行車両とに分離する処理である（詳細については後述）。
　《視差画像の対応領域検出、及びオブジェクト領域抽出》
　次に、視差画像の対応領域検出部１５８及びオブジェクト領域抽出部１５９について説明する。図１８は、孤立領域検出部で検出された孤立領域が内接する矩形領域を設定したリアル頻度Ｕマップを示す図であり、図１９は、図１８における矩形領域に対応する走査範囲を設定した視差画像を示す図であり、図２０は、図１９における走査範囲を探索してオブジェクト領域を設定した視差画像を示す図である。
　孤立領域検出部１５７によりオブジェクト候補領域として決定された孤立領域について、図１８に示すように、当該孤立領域としての第１車両８０１、第２車両８０２が内接する矩形領域として第１検出島８１１及び第２検出島８１２を設定したとき、この矩形領域の幅（Ｕマップ上のＸ軸方向長さ）は、当該孤立領域に対応する識別対象物（オブジェクト）の幅に対応する。また、設定した矩形領域の高さは、当該孤立領域に対応する識別対象物（オブジェクト）の奥行き（自車両進行方向長さ）に対応している。一方で、各孤立領域に対応する識別対象物（オブジェクト）の高さについては、この段階では不明である。視差画像の対応領域検出部１５８は、オブジェクト候補領域に係る孤立領域に対応したオブジェクトの高さを得るために、当該孤立領域に対応する視差画像上の対応領域を検出する。
　視差画像の対応領域検出部１５８は、孤立領域検出部１５７から出力される孤立領域の情報に基づき、リアルＵマップから検出した第１検出島８１１及び第２検出島８１２島の位置、幅と最小視差から、図１９に示す視差画像で検出すべき範囲である第１検出島対応領域走査範囲４８１及び第２検出島対応領域走査範囲４８２のｘ方向範囲（ｘmin，ｘmax)を決定できる。また、視差画像においてオブジェクトの高さと位置(ｙmin="最大視差ｄmaxの時の路面からの最大高さに相当するｙ座標"からｙmax="最大視差ｄmaxから得られる路面の高さを示すｙ"まで)を決定できる。
　次に、オブジェクトの正確な位置を検出するため、設定した走査範囲を走査し、孤立領域検出部１５７で検出した矩形の奥行き(最小視差ｄmin,最大視差ｄmax)の範囲の値を視差にもつ画素を候補画素として抽出する。そして、抽出した候補画素群の中で検出幅に対して横方向に所定の割合以上あるラインを候補ラインとする。
　次に、縦方向に走査して、ある注目しているオブジェクト候補ラインの周囲に他のオブジェクト候補ラインが所定の密度以上ある場合には、その注目しているオブジェクト候補ラインをオブジェクトラインとして判定する。
　次に、オブジェクト領域抽出部１５９は、視差画像の探索領域でオブジェクトラインを探索して、オブジェクトラインの最下端、最上端を決定し、図２０に示すように、オブジェクトライン群の外接矩形４６１，４６２を視差画像におけるオブジェクト（第１車両、第２車両）の領域４５１，４５２として決定する。
　図２１は、視差画像の対応領域検出部１５８及びオブジェクト領域抽出部１５９で行われる処理の流れを示すフローチャートである。まずリアルＵマップにおける島の位置、幅と最小視差から、視差画像に対するｘ軸方向の探索範囲を設定する（ステップＳ１６１）。
　次に島の最大視差ｄmaxと路面高さの関係から、視差画像に対するｙ軸方向の最大探索値ｙmaxを設定する（ステップＳ１６２）。次にリアル高さＵマップにおける島の最大高さ、及びステップＳ１７２で設定したymaxとdmaxとから、視差画像に対するｙ軸方向の最小探索値ｙminを求めて設定することで、視差画像に対するｙ軸方向の探索範囲を設定する（ステップＳ１６３）。
　次いで設定した探索範囲で視差画像を探索して、島の最小視差ｄmin，最大視差ｄmaxの範囲内にある画素を抽出し、オブジェクト候補画素とする（ステップＳ１６４）。そのオブジェクト候補画素が横方向に一定以上の割合にあるとき、そのラインをオブジェクト候補ラインとして抽出する（ステップＳ１６５）。
　オブジェクト候補ラインの密度を計算して、密度が所定の値より大きい場合はそのラインをオブジェクトラインと決定する（ステップＳ１６６）。最後にオブジェクトライン群の外接矩形を視差画像内のオブジェクト領域として検出する（ステップＳ１６７）。
　それにより、識別対象物（オブジェクト、物体）を認識することができる。
　《オブジェクトタイプ分類》
　次に、オブジェクトタイプ分類部１６０について説明する。
　前記オブジェクト領域抽出部１５９で抽出されるオブジェクト領域の高さ（ｙomax－ｙomin）から、下記の式〔５〕より、そのオブジェクト領域に対応する画像領域に映し出されている識別対象物（オブジェクト）の実際の高さＨｏを計算できる。ただし、「ｚo」は、当該オブジェクト領域内の最小視差値ｄから計算される当該オブジェクト領域に対応するオブジェクトと自車両との距離であり、「ｆ」はカメラの焦点距離を（ｙomax－ｙomin）の単位と同じ単位に変換した値である。
　Ｈo＝ｚo×（ｙomax－ｙomin）／ｆ　…式〔５〕
　同様に、オブジェクト領域抽出部１５９で抽出されるオブジェクト領域の幅（ｘomax－ｘomin）から、下記の式〔６〕より、そのオブジェクト領域に対応する画像領域に映し出されている識別対象物（オブジェクト）の実際の幅Ｗoを計算できる。
　Ｗo＝ｚo×（ｘomax－ｘomin）／ｆ　…式〔６〕
　また、当該オブジェクト領域に対応する画像領域に映し出されている識別対象物（オブジェクト）の奥行きＤoは、当該オブジェクト領域に対応した孤立領域内の最大視差ｄmaxと最小視差ｄminから、下記の式〔７〕より計算することができる。
　Ｄo＝ＢＦ×｛（１／（ｄmin－offset）－１／（ｄmax－offset）｝　…式〔７〕
　オブジェクトタイプ分類部１６０は、このようにして計算できるオブジェクト領域に対応するオブジェクトの高さ、幅、奥行きの情報から、そのオブジェクトタイプの分類を行う。図２２に示す表は、オブジェクトタイプの分類を行うためのテーブルデータの一例を示すものである。これによれば、自車両前方に存在する識別対象物（オブジェクト）が、歩行者なのか、自転車なのか、小型車なのか、トラックなどか等を区別して認識することが可能となる。
　《３次元位置決定》
　次に、３次元位置決定部１６１について説明する。検出されたオブジェクト領域に対応するオブジェクトまでの距離や、視差画像の画像中心と視差画像上のオブジェクト領域の中心との画像上の距離も把握されることから、オブジェクトの３次元位置を決定することができる。
　視差画像上のオブジェクト領域の中心座標を（region_centerＸ，region_centerＹ）とし、視差画像の画像中心座標を（image_centerＸ，image_centerＹ）としたとき、識別対象物（オブジェクト）の撮像部１１０ａ，１１０ｂに対する相対的な横方向位置および高さ方向位置は、下記の式〔８〕及び式〔９〕より計算できる。
　Ｘo＝Ｚ×（region_centerＸ－image_centerＸ）／ｆ　…式〔８〕
　Ｙo＝Ｚ×（region_centerＹ－image_centerＹ）／ｆ　…式〔９〕
　《オブジェクトトラッキング》
　次に、オブジェクトトラッキング部１６２について説明する。オブジェクトトラッキング部１６２は、オブジェクトデータリスト１７０を用いて、以前（過去）の視差画像のフレームから検出されたオブジェクト（物体）をトラッキング（追跡）する処理を実行する。
　《オブジェクト選択》
　次に、オブジェクト選択部１６３について説明する。オブジェクト選択部１６３は、オブジェクトデータリスト１７０に保存されているオブジェクトについて、当該オブジェクトが追跡対象とするのにふさわしい位置にいるか等を判断基準にして、当該オブジェクトを追跡するか否かを選択する。具体的には、オブジェクトデータリスト１７０のオブジェクト予測データに基づいて当該オブジェクトが位置すると予測される視差画像データ中の予測範囲を設定し、その予測範囲内における当該オブジェクトの高さを特定した後、オブジェクトデータリスト１７０のオブジェクト特徴量を参照して、特定した高さから当該オブジェクトの幅を特定し、特定した幅から視差画像データ上におけるオブジェクトの横方向位置を推定する。このようにして推定したオブジェクトの横方向位置が所定の追跡対象条件（当該オブジェクトが画像内に存在する確度が高い位置である場合、当該オブジェクトが追跡対象とするのにふさわしい位置である場合等）を満たせば、当該オブジェクトを追跡対象として選択する。なお、オブジェクト選択部１６３は、追跡対象として選択しなかったオブジェクトのデータを、オブジェクトデータリスト１７０から削除してもよい。
　《オブジェクトデータリスト》
　次に、オブジェクトデータリスト１７０について説明する。オブジェクトデータリスト１７０は、例えば、一のフレームから検出された各オブジェクトのデータを、それ以降の複数のフレームに渡って追跡するために使用される。
　オブジェクトデータリスト１７０は、図２３に示すように、「オブジェクトデータ」、「オブジェクト予測データ」、「オブジェクト特徴量」のデータを含む。
　「オブジェクトデータ」は、「位置」、「大きさ」、「距離」、「相対速度」、「実位置」、「実際の大きさ」のデータを含む。「位置」は、視差画像における当該オブジェクトの左上の座標である。「大きさ」は、視差画像における当該オブジェクトの大きさ（幅、及び高さの画素数）である。「距離」は、自車両から当該オブジェクトまでの実距離である。「相対速度」は、前回と今回のフレームに基づいて算出された、自車両と当該オブジェクトとの相対速度である。「相対速度」は、自車両の進行方向Ｚ（奥行き方向）及び水平方向Ｘ（横方向）の１フレーム当たりの移動量（ｍ：メートル）のデータを含む。「実位置」は、今回のフレームに基づいて算出された、自車両に対する当該オブジェクトの相対的な実際の位置である。「実位置」は、例えば、当該オブジェクトの左端と右端の中心の、横方向Ｚの位置（ｍ：メートル）と奥行きＺ方向の位置（ｍ：メートル）のデータを含む。「実際の大きさ」は、今回のフレームに基づいて算出された、自車両に対する当該オブジェクトの実際の大きさである。「実際の大きさ」は、当該オブジェクトの幅（ｍ：メートル）と高さ（ｍ：メートル）のデータを含む。
　「オブジェクト予測データ」は、「位置」、「大きさ」、「距離」、「相対速度」等のデータを含む。「オブジェクト予測データ」は、以前のフレーム（例えば直前のフレーム）に基づいて算出された、次回のフレームにおいて当該オブジェクトがどの位置にいるかを予測するデータである。
　「オブジェクト特徴量」は、「ヒストグラムピーク位置」、「ピーク間距離」のデータを含む。「ヒストグラムピーク位置」は、リアルＵマップにおける視差頻度の値が比較的大きい位置の座標である。「ピーク間距離」は、リアルＵマップにおける「ヒストグラムピーク位置」間の実距離である。
　なお、オブジェクトデータリスト１７０のデータは、画像解析ユニット１０２の解析結果として、表示モニタ１０３及び車両走行制御ユニット１０４に送られる。表示モニタ１０３は、解析結果であるオブジェクトデータリスト１７０のデータのうち、例えば、「オブジェクトデータ」の「位置」、「大きさ」に基づいて、今回のフレームにおけるオブジェクトの領域を、例えば緑の枠で表示する。ここで、「オブジェクトデータ」の「位置」、「大きさ」は、オブジェクトを含む領域を示すデータである。
　また、表示モニタ１０３は、解析結果であるオブジェクトデータリスト１７０のデータのうち、例えば、「オブジェクト予測データ」の「位置」、「大きさ」に基づいて、今回のフレームにおけるオブジェクトの予測位置に対応する領域（以下で「トラッキング枠」と称する）を、例えば赤の枠で表示する。
　＜まとめ＞
　ステレオカメラを用いて生成した視差画像において、自車両（ステレオカメラ）に近い距離に位置する物体に対する視差は大きいため、一方のカメラで撮像した画像における当該物体の画素の位置と、他方のカメラで撮像した画像における当該物体の画素の位置との距離は大きくなる。そのため、一方の画像の一の画素に対応する画素を他方の画像から探索する距離（当該一の画素の位置からの距離）が長くなり、視差画像を作る処理に時間がかかる。
　そのため、画素を探索する距離を所定範囲で区切ることにより、自車両から例えば２ｍ～８０ｍ程度（通常距離）の距離に位置する物体に対する視差画像を高速に生成して、物体の検出や追跡を行うことが考えられる。
　しかし、衝突等を防止するためには、自車両から例えば１ｍ～６ｍ程度（近距離）の距離に位置する物体の検出や追跡を行う必要がある。その場合、近距離の物体に対する視差画像を作る処理には時間がかかるため、それ以降の検出等の処理を、非常に高速で行う必要がある。また、近距離の物体に対する検出等は、例えばアクセルとブレーキの踏み間違え（誤踏み）等の際の、移動体の制御判断にも使用され得るため、高速かつ高精度に検出等を行う必要がある。
　近距離の物体を、視差画像におけるオブジェクトを含む最少の矩形等の領域により検出する場合、例えば、トンネル等の領域は、駐車場の出入り口のバー等とは異なり、当該領域全体の視差の密度は高いため、自車両が進行する領域は空いているにも関わらず、障害物として検知される場合がある。また、上述した近距離視差画像生成処理により、近距離の物体に対する視差画像を縮小する際、無効な画素の値を、周辺の画素値に基づいて補完するため、トンネル等の領域全体の視差の密度は、より高まる。
　上述した実施形態によれば、自車両の進行する進行領域における物体に応じた視差値を有する画素の数と、進行領域における当該物体の領域に含まれる画素の数に基づいて、検出された物体のデータを棄却する。それにより、精度の高い検出を高速に行うことができる。
　なお、距離の値（距離値）と視差値は等価に扱えることから、本実施形態においては距離画像の一例として視差画像を用いて説明しているが、これに限られない。例えば、ステレオカメラを用いて生成した視差画像に対して、ミリ波レーダやレーザレーダ等の検出装置を用いて生成した距離情報を統合して、距離画像を生成してもよい。
　上述した実施形態におけるシステム構成は一例であり、用途や目的に応じて様々なシステム構成例があることは言うまでもない。
　例えば、上述した近距離として、例えば、０．５ｍ～６０ｍ程度の距離に位置する物体の検出や追跡を行うようにしてもよい。
　また、ステレオカメラと、ミリ波レーダやレーザレーダ等の検出装置を併用し、上述したステレオカメラによる物体の検出結果と組み合わせることにより、検出の精度をさらに高める構成としてもよい。
　例えば、処理ハードウェア部１２０及び画像解析ユニット１０２の各機能部は、ハードウェアによって実現される構成としてもよいし、ＣＰＵが記憶装置に格納されたプログラムを実行することによって実現される構成としてもよい。このプログラムは、インストール可能な形式又は実行可能な形式のファイルによって、コンピュータで読み取り可能な記録メディアに記録されて流通されるようにしても良い。また、上記記録メディアの例として、ＣＤ－Ｒ(Compact Disc Recordable)、ＤＶＤ(Digital Versatile Disk)、ブルーレイディスク等が挙げられる。また、各プログラムが記憶されたＣＤ－ＲＯＭ等の記録メディア、並びに、これらプログラムが記憶されたＨＤ５０４は、プログラム製品(Program Product)として、国内又は国外へ提供されることができる。
　以上、本発明を実施例に基づいて説明したが、本発明は上記実施例に限定されるものではなく、特許請求の範囲に記載の範囲内で様々な変形が可能である。
　本願は、日本特許庁に２０１６年２月２３日に出願された基礎出願２０１６―０３２１１８号の優先権を主張するものであり、その全内容を参照によりここに援用する。
１　車載機器制御システム（「移動体機器制御システム」の一例）
１００　自車両
１０１　撮像ユニット
１０２　画像解析ユニット（「画像処理装置」の一例）
１０３　表示モニタ
１０４　車両走行制御ユニット（「制御部」の一例）
１１０ａ，１１０ｂ　撮像部
１２０　処理ハードウェア部
１４０　近距離処理部
１４１　近距離視差画像生成部（「生成部」の一例）
１４２　縮小視差画像生成部（「縮小部」の一例）
１４３　近距離物体検出部（「検出部」の一例）
１４４　近距離物体棄却部（「棄却部」の一例）
１４５　近距離物体追跡部
１５１　視差画像生成部
１５２　Ｖマップ生成部
１５３　路面形状検出部
１５４　路面高さテーブル算出部
１５５　Ｕマップ生成部
１５６　リアルＵマップ生成部
１５７　孤立領域検出部
１５８　対応領域検出部
１５９　オブジェクト領域抽出部
１６０　オブジェクトタイプ分類部
１６１　３次元位置決定部
１６２　オブジェクトトラッキング部
１６３　オブジェクト選択部
１７０　オブジェクトデータリスト
２　撮像装置

Claims (8)

  1. 　複数の撮像部で各々撮影されたフレームに応じた、前記複数の撮像部から所定距離内に位置する物体の距離に応じた画素値を有する距離画像の画素数を縮小する縮小部と、
    　前記縮小された距離画像に基づいて、前記物体を検出する検出部と、
    　前記複数の撮像部を備える移動体の進行する進行領域における前記物体に応じた距離の値を有する画素の数と、前記進行領域における前記物体の領域に含まれる画素の数に基づいて、前記検出された前記物体のデータを棄却する棄却部と、
    を備えることを特徴とする画像処理装置。
  2. 　前記棄却部は、前記移動体の高さ及び幅と、前記物体の前記移動体からの距離に基づいて、前記進行領域を算出することを特徴とする、請求項１記載の画像処理装置。
  3. 　前記検出部は、前記縮小された距離画像における前記物体を含む矩形または正方形の領域を、前記物体の領域として検出することを特徴とする、請求項１または２記載の画像処理装置。
  4. 　前記縮小部は、前記距離画像から所定の間隔で画素を抽出し、当該抽出した画素の値が無効である場合、当該抽出した画素の周辺の画素の値に基づいて、当該抽出した画素の値を決定することを特徴とする、請求項１乃至３のいずれか一項に記載の画像処理装置。
  5. 　複数の撮像部と、
    　前記複数の撮像部で各々撮影されたフレームに応じた、前記複数の撮像部から所定距離内に位置する物体の視差に応じた画素値を有する距離画像を生成する生成部と、
    　前記距離画像の画素数を縮小する縮小部と、
    　前記縮小された距離画像に基づいて、前記物体を検出する検出部と、
    　前記複数の撮像部を備える移動体の進行する進行領域における前記物体に応じた距離の値を有する画素の数と、前記進行領域における前記物体の領域に含まれる画素の数に基づいて、前記検出された前記物体のデータを棄却する棄却部と、
    を備えることを特徴とする撮像装置。
  6. 　移動体に搭載され、前記移動体の前方を撮像する複数の撮像部と、
    　前記複数の撮像部で各々撮影されたフレームに応じた、前記複数の撮像部から所定距離内に位置する物体の視差に応じた画素値を有する距離画像を生成する生成部と、
    　前記距離画像の画素数を縮小する縮小部と、
    　前記縮小された距離画像に基づいて、前記物体を検出する検出部と、
    　前記複数の撮像部を備える移動体の進行する進行領域における前記物体に応じた距離の値を有する画素の数と、前記進行領域における前記物体の領域に含まれる画素の数に基づいて、前記検出された前記物体のデータを棄却する棄却部と、
    　前記検出部及び前記棄却部による検出及び棄却結果に基づいて、前記移動体の制御を行う制御部と、
    を備える移動体機器制御システム。
  7. 　画像処理装置が、
    　複数の撮像部で各々撮影されたフレームに応じた、前記複数の撮像部から所定距離内に位置する物体の距離に応じた画素値を有する距離画像の画素数を縮小するステップと、
    　前記縮小された距離画像に基づいて、前記物体を検出するステップと、
    　前記複数の撮像部を備える移動体の進行する進行領域における前記物体に応じた距離の値を有する画素の数と、前記進行領域における前記物体の領域に含まれる画素の数に基づいて、前記検出された前記物体のデータを棄却するステップと、
    を実行する、画像処理方法。
  8. 　画像処理装置に、
    　複数の撮像部で各々撮影されたフレームに応じた、前記複数の撮像部から所定距離内に位置する物体の距離に応じた画素値を有する距離画像の画素数を縮小するステップと、
    　前記縮小された距離画像に基づいて、前記物体を検出するステップと、
    　前記複数の撮像部を備える移動体の進行する進行領域における前記物体に応じた距離の値を有する画素の数と、前記進行領域における前記物体の領域に含まれる画素の数に基づいて、前記検出された前記物体のデータを棄却するステップと、
    を実行させるプログラム。
PCT/JP2017/001914 2016-02-23 2017-01-20 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム WO2017145600A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018501055A JP6705496B2 (ja) 2016-02-23 2017-01-20 画像処理装置、撮像装置、移動体機器制御システム、移動体、画像処理方法、及びプログラム
EP17756042.2A EP3422289A4 (en) 2016-02-23 2017-01-20 IMAGE PROCESSING DEVICE, IMAGING DEVICE, MOBILE ENTITY DEVICE CONTROL SYSTEM, IMAGE PROCESSING METHOD, AND PROGRAM
US16/105,529 US10860867B2 (en) 2016-02-23 2018-08-20 Image processing apparatus, imaging apparatus, mobile device control system, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016032118 2016-02-23
JP2016-032118 2016-02-23

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/105,529 Continuation US10860867B2 (en) 2016-02-23 2018-08-20 Image processing apparatus, imaging apparatus, mobile device control system, and recording medium

Publications (1)

Publication Number Publication Date
WO2017145600A1 true WO2017145600A1 (ja) 2017-08-31

Family

ID=59686251

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/001914 WO2017145600A1 (ja) 2016-02-23 2017-01-20 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム

Country Status (4)

Country Link
US (1) US10860867B2 (ja)
EP (1) EP3422289A4 (ja)
JP (1) JP6705496B2 (ja)
WO (1) WO2017145600A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021054341A1 (ja) * 2019-09-19 2021-03-25 京セラ株式会社 物体検出装置、物体検出システム、移動体及び物体検出方法
JP2021051476A (ja) * 2019-09-24 2021-04-01 京セラ株式会社 物体検出装置、物体検出システム、移動体及び物体検出方法
JP2021086265A (ja) * 2019-11-26 2021-06-03 株式会社Ｓｕｂａｒｕ 画像処理装置
JP7138265B1 (ja) * 2021-06-17 2022-09-15 ヌヴォトンテクノロジージャパン株式会社 物体検知装置、物体検知方法およびプログラム
WO2022264894A1 (ja) * 2021-06-17 2022-12-22 ヌヴォトンテクノロジージャパン株式会社 物体検知装置、物体検知方法およびプログラム
WO2024121911A1 (ja) * 2022-12-05 2024-06-13 日立Astemo株式会社 画像処理装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6743882B2 (ja) * 2016-03-14 2020-08-19 株式会社リコー 画像処理装置、機器制御システム、撮像装置、画像処理方法及びプログラム
JP6795027B2 (ja) * 2016-03-15 2020-12-02 株式会社リコー 情報処理装置、物体認識装置、機器制御システム、移動体、画像処理方法およびプログラム
JP6904346B2 (ja) * 2016-06-22 2021-07-14 ソニーグループ株式会社 画像処理装置、画像処理システム、および画像処理方法、並びにプログラム
US10347030B2 (en) 2017-05-15 2019-07-09 Envisics Ltd Adjusting depth of augmented reality content on a heads up display
US10929986B2 (en) * 2018-12-19 2021-02-23 Fca Us Llc Techniques for using a simple neural network model and standard camera for image detection in autonomous driving
JP2020160914A (ja) * 2019-03-27 2020-10-01 株式会社豊田自動織機 物体検出装置
CN111192283A (zh) * 2019-12-26 2020-05-22 昆山伟宇慧创智能科技有限公司 一种限高杆检测和高度计算方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001319224A (ja) * 2000-05-08 2001-11-16 Fujitsu Ltd ３次元物体検出装置と３次元物体検出方法及び記録媒体
US20070071311A1 (en) * 2005-09-28 2007-03-29 Deere & Company, A Delaware Corporation Method for processing stereo vision data using image density
JP2011185664A (ja) * 2010-03-05 2011-09-22 Panasonic Electric Works Co Ltd 対象物検出装置
JP2013250907A (ja) * 2012-06-04 2013-12-12 Ricoh Co Ltd 視差算出装置、視差算出方法及び視差算出用プログラム
JP2015170306A (ja) * 2014-03-10 2015-09-28 サクサ株式会社 画像処理装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1139596A (ja) 1997-07-17 1999-02-12 Fuji Heavy Ind Ltd 車外監視装置
JP4624594B2 (ja) * 2000-06-28 2011-02-02 パナソニック株式会社 物体認識方法および物体認識装置
US7068815B2 (en) * 2003-06-13 2006-06-27 Sarnoff Corporation Method and apparatus for ground detection and removal in vision systems
EP1779295A4 (en) * 2004-07-26 2012-07-04 Automotive Systems Lab SYSTEM FOR PROTECTING USERS OF THE ROAD IN A DANGER SITUATION
JP4900103B2 (ja) * 2007-07-18 2012-03-21 マツダ株式会社 歩行者検出装置
US8774512B2 (en) * 2009-02-11 2014-07-08 Thomson Licensing Filling holes in depth maps
US8861842B2 (en) * 2010-02-05 2014-10-14 Sri International Method and apparatus for real-time pedestrian detection for urban driving
US9053562B1 (en) * 2010-06-24 2015-06-09 Gregory S. Rabin Two dimensional to three dimensional moving image converter
US8824733B2 (en) * 2012-03-26 2014-09-02 Tk Holdings Inc. Range-cued object segmentation system and method
US8768007B2 (en) * 2012-03-26 2014-07-01 Tk Holdings Inc. Method of filtering an image
EP2669846B1 (en) 2012-06-01 2017-11-01 Ricoh Company, Ltd. Target recognition system and target recognition method executed by the target recognition system, target recognition program executed on the target recognition system, and recording medium storing the target recognition program
EP2946336B1 (en) * 2013-01-15 2023-06-21 Mobileye Vision Technologies Ltd. Stereo assist with rolling shutters
JP6519262B2 (ja) * 2014-04-10 2019-05-29 株式会社リコー 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム
US10079827B2 (en) 2015-03-16 2018-09-18 Ricoh Company, Ltd. Information processing apparatus, information processing method, and information processing system
US9727793B2 (en) * 2015-12-15 2017-08-08 Honda Motor Co., Ltd. System and method for image based vehicle localization
JP6583527B2 (ja) 2016-02-22 2019-10-02 株式会社リコー 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
US10638109B2 (en) * 2017-09-15 2020-04-28 Elphel, Inc. Method for the FPGA-based long range multi-view stereo with differential image rectification

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001319224A (ja) * 2000-05-08 2001-11-16 Fujitsu Ltd ３次元物体検出装置と３次元物体検出方法及び記録媒体
US20070071311A1 (en) * 2005-09-28 2007-03-29 Deere & Company, A Delaware Corporation Method for processing stereo vision data using image density
JP2011185664A (ja) * 2010-03-05 2011-09-22 Panasonic Electric Works Co Ltd 対象物検出装置
JP2013250907A (ja) * 2012-06-04 2013-12-12 Ricoh Co Ltd 視差算出装置、視差算出方法及び視差算出用プログラム
JP2015170306A (ja) * 2014-03-10 2015-09-28 サクサ株式会社 画像処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3422289A4 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021054341A1 (ja) * 2019-09-19 2021-03-25 京セラ株式会社 物体検出装置、物体検出システム、移動体及び物体検出方法
JP2021047741A (ja) * 2019-09-19 2021-03-25 京セラ株式会社 物体検出装置、物体検出システム、移動体及び物体検出方法
JP7308112B2 (ja) 2019-09-19 2023-07-13 京セラ株式会社 物体検出装置、物体検出システム、移動体及び物体検出方法
JP2021051476A (ja) * 2019-09-24 2021-04-01 京セラ株式会社 物体検出装置、物体検出システム、移動体及び物体検出方法
WO2021060117A1 (ja) * 2019-09-24 2021-04-01 京セラ株式会社 物体検出装置、物体検出システム、移動体及び物体検出方法
JP7308115B2 (ja) 2019-09-24 2023-07-13 京セラ株式会社 物体検出装置、物体検出システム、移動体及び物体検出方法
JP2021086265A (ja) * 2019-11-26 2021-06-03 株式会社Ｓｕｂａｒｕ 画像処理装置
JP7406962B2 (ja) 2019-11-26 2023-12-28 株式会社Subaru 画像処理装置
JP7138265B1 (ja) * 2021-06-17 2022-09-15 ヌヴォトンテクノロジージャパン株式会社 物体検知装置、物体検知方法およびプログラム
WO2022264894A1 (ja) * 2021-06-17 2022-12-22 ヌヴォトンテクノロジージャパン株式会社 物体検知装置、物体検知方法およびプログラム
WO2024121911A1 (ja) * 2022-12-05 2024-06-13 日立Astemo株式会社 画像処理装置

Also Published As

Publication number Publication date
US20180357495A1 (en) 2018-12-13
JPWO2017145600A1 (ja) 2018-12-06
EP3422289A1 (en) 2019-01-02
EP3422289A4 (en) 2019-02-27
JP6705496B2 (ja) 2020-06-03
US10860867B2 (en) 2020-12-08

Similar Documents

Publication Publication Date Title
WO2017145600A1 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
US10984509B2 (en) Image processing apparatus, imaging device, moving body device control system, image information processing method, and program product
JP6657789B2 (ja) 画像処理装置、撮像装置、機器制御システム、頻度分布画像生成方法、及びプログラム
JP6662388B2 (ja) 画像処理装置、撮像装置、機器制御システム、分布データ生成方法、及びプログラム
JP6583527B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
US11004215B2 (en) Image processing apparatus, imaging device, moving body device control system, image information processing method, and program product
WO2017145634A1 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP6769477B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
US10628960B2 (en) Information processing apparatus, imaging apparatus, device control system, moving object, information processing method, and recording medium
JP2018088233A (ja) 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及びプログラム
JP6812701B2 (ja) 画像処理装置、移動体機器制御システム、画像処理方法、及びプログラム
JP2018088234A (ja) 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2018501055

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2017756042

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2017756042

Country of ref document: EP

Effective date: 20180924

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17756042

Country of ref document: EP

Kind code of ref document: A1