WO2011115142A1 - 画像処理装置、方法、プログラム及び記録媒体 - Google Patents

画像処理装置、方法、プログラム及び記録媒体 Download PDF

Info

Publication number
WO2011115142A1
WO2011115142A1 PCT/JP2011/056118 JP2011056118W WO2011115142A1 WO 2011115142 A1 WO2011115142 A1 WO 2011115142A1 JP 2011056118 W JP2011056118 W JP 2011056118W WO 2011115142 A1 WO2011115142 A1 WO 2011115142A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
difference
parallax
along
dimensional object
Prior art date
Application number
PCT/JP2011/056118
Other languages
English (en)
French (fr)
Inventor
高示 一森
Original Assignee
Ｏｋｉセミコンダクタ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｏｋｉセミコンダクタ株式会社 filed Critical Ｏｋｉセミコンダクタ株式会社
Priority to CN201180014515.1A priority Critical patent/CN102792333B/zh
Priority to US13/132,976 priority patent/US8917929B2/en
Priority to JP2012505712A priority patent/JP5792157B2/ja
Publication of WO2011115142A1 publication Critical patent/WO2011115142A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • space grasping such as detection of a three-dimensional object from images acquires a pair of images having a difference corresponding to parallax by photographing the same space with two photographing devices, and extracts the parallax from the pair of images Then, this is performed by associating the extracted parallax with the spatial information.
  • a block matching method is used to extract parallax from a pair of images having a difference corresponding to parallax.
  • the block matching method searches for corresponding points in two images, and a difference in position of corresponding points in a pair of images having a difference corresponding to parallax corresponds to parallax.
  • one of the pair of images is a reference image and the other is a comparison image, and an evaluation area of about 8 ⁇ 4 pixels, for example, is set around the pixel of interest in the reference image.
  • a similar evaluation region is set in the comparison image, the difference between the pair of evaluation regions is calculated for each pixel, and an evaluation function ( ⁇
  • ⁇ (Li ⁇ Ri) 2 ) that accumulates the values is repeated while moving the position of the evaluation area in the comparative image (raster scan), and the degree of coincidence Finds the position of the evaluation region on the comparative image that maximizes (the value of the evaluation function is minimum (minimum)).
  • This position is the position of the corresponding point on the comparison image with respect to the target pixel in the reference image, and the difference in position between the target pixel on the reference image and the corresponding point on the comparison image corresponds to parallax.
  • Patent Document 1 Japanese Patent Laid-Open No. 2001-92968
  • Patent Document 1 describes image data in a reference pixel area in one captured image and a reference pixel area in the other captured image.
  • the image data on the horizontal line corresponding to the vertical position is stored in the line memory, the image data in the reference pixel area and the image data in the set search range are read from the line memory, and stereo matching (block matching) is performed.
  • a technique for specifying a correlation destination of a reference pixel region and correcting the position of a search range related to the reference pixel region based on the degree of shift of an infinite point corresponding to the horizontal position of the reference pixel region is disclosed.
  • Patent Document 2 Japanese Patent Laid-Open No. 2007-235642 (hereinafter referred to as Patent Document 2) is obtained by projective transformation of a first image (an oblique overhead view) including a road surface imaged by a camera mounted on a vehicle.
  • a top view and a top view obtained by projective transformation of a second image captured by the same camera at a timing different from the first image are created, and the two top views are characteristic on the road surface.
  • Pattern matching based on the shape e.g. white line, road surface and solid object boundary, road surface texture, tire stop, etc.
  • Patent Document 3 Japanese Patent Application Laid-Open No. 2000-293893 accumulates left and right images respectively taken by two TV cameras that photograph a road plane, and stores the accumulated left and right images. Extract the multiple lines shown above, find the corresponding points between the left image and the right image based on the extracted multiple lines, the left image of any point on the road plane based on the calculated corresponding points, An obstacle detection device that calculates a parameter of a relational expression established between projection positions on the right image and detects an area having a different height from the road plane as an obstacle area based on the relational expression determined by the calculated parameter. Is disclosed.
  • the technique described in Patent Document 2 performs alignment of a pair of images by pattern matching.
  • a characteristic shape on the road surface that can be used for pattern matching a certain characteristic shape (for example, a white line) is used. Since it is not guaranteed to be always present in the image, various characteristic shapes that can be used for pattern matching are sequentially searched for the image, and pattern matching is performed using the detected characteristic shapes.
  • the processing time varies depending on the type of characteristic shape present in the image, and the processing time increases greatly depending on the type. For this reason, the technique described in Patent Document 2 is not suitable for applications that require high-speed operation, such as detecting a three-dimensional object in real time with respect to a captured moving image.
  • the technique described in Patent Document 3 is based on the fact that an arbitrary point P (u, v) on the left image exists on the road plane based on the relational expression established between the projection positions on the left image and the right image.
  • the corresponding point P ′ (u ′, v ′) on the right image when assumed is determined, and it is determined whether or not the point P corresponds to an obstacle based on the luminance difference between the point P and the corresponding point P ′. Therefore, the above relational expression requires high accuracy with an allowable error of less than one pixel. For this reason, the technique described in Patent Document 3 is easily affected by vehicle vibration, road inclination, and the like, and it is necessary to frequently recalculate the parameter h of the relational expression.
  • Patent Document 3 As described above, in order to calculate the parameter h of the relational expression, it is necessary to calculate eight unknown parameters by solving eight simultaneous equations, and the calculation load is very high. Therefore, the technique described in Patent Document 3 has a problem that it is difficult to achieve both high-speed operation and determination accuracy.
  • the present invention has been made in consideration of the above facts, and image processing that can realize in a short time the extraction of information corresponding to a three-dimensional object from images photographed by a plurality of photographing devices with a simple configuration and processing. It is an object to obtain an apparatus, an image processing method, and an image processing program.
  • the image processing apparatus is captured by a first image captured by the first imaging apparatus corresponding to parallax, and a second imaging apparatus having a horizontal position different from that of the first imaging apparatus.
  • a first image captured by the first imaging apparatus corresponding to parallax
  • a second imaging apparatus having a horizontal position different from that of the first imaging apparatus.
  • Storage means for storing each of the above, acquisition means for acquiring each of the first image taken by the first photographing apparatus and the second image photographed by the second photographing apparatus, and along the first direction in the image
  • the position of the pixel row on the image along the first direction is determined according to the amount of deviation represented by the amount of deviation information corresponding to the position of the pixel row on the image along the second direction.
  • Relative movement between one image and the second image Represents a difference between the processing unit that performs the parallax correction for each pixel column along the first direction in the image, and the first image and the second image that have undergone the parallax correction by the processing unit.
  • the first image is taken by the first photographing device and the second image is taken by the second photographing device having a horizontal position different from that of the first photographing device. Since the apparatus and the second photographing apparatus have different horizontal positions, a difference corresponding to parallax occurs between the first image and the second image.
  • the deviation amount information representing the deviation amount along the first direction on the image corresponding to the horizontal direction of the first image and the second image corresponding to the parallax is vertical. Each position on the image along the second direction on the image corresponding to the direction is stored in the storage means.
  • the acquisition unit acquires the first image captured by the first imaging device and the second image captured by the second imaging device, respectively, and the processing unit determines the pixel row along the first direction in the image.
  • the position on the image along the first direction is relative between the first image and the second image according to the amount of deviation represented by the amount of deviation information corresponding to the position on the image along the second direction of the pixel column.
  • the parallax correction is performed for each pixel column along the first direction in the image.
  • the difference information generated by the generation unit includes noise superimposed on the first image and the second image, and a change in the relative position between the first imaging device and the second imaging device.
  • noise due to various factors such as the accuracy of the deviation amount information stored in the storage unit, there is a possibility that a difference caused by other than a three-dimensional object, that is, noise may be mixed.
  • the generation unit when the generation unit generates a difference image representing the difference between the first image and the second image for each pixel as the difference information, there is a difference between the first image and the second image in the generated difference image.
  • the generation unit generates a difference image representing the difference between the first image and the second image for each pixel as difference information.
  • a difference pixel indicating that there is a difference between the first image and the second image, present in the difference image generated by the generation unit (this difference pixel may be a pixel having a difference greater than 0
  • the image processing apparatus further includes a removing unit that removes noise from the difference image by performing contraction processing on a pixel whose difference to be expressed may be a pixel having a threshold value or more (the same applies hereinafter).
  • a removing unit that removes noise from the difference image by performing contraction processing on a pixel whose difference to be expressed may be a pixel having a threshold value or more (the same applies hereinafter).
  • the bias amount represented by the bias amount information stored in the storage means is a bias amount that represents the bias amount by the number of pixels.
  • D is the deviation amount D
  • h_cam is the height of the photographing optical axis from the ground at the installation position of the first photographing device and the second photographing device
  • ⁇ is the inclination angle of the photographing optical axis with respect to the vertical direction
  • the focal point of the optical system The distance is f, the number of pixels along the first direction of the image is w, the number of pixels along the second direction is h, the imaging size along the first direction of the image is w_img, and the imaging size along the second direction is h_img, where P is the position (number of pixels) on the image along the second direction, and b is the baseline length, which is the distance between the imaging optical axes of the first imaging device and the second imaging device.
  • L_cam is a linear distance between an object located on the ground and imaged at a position (number of pixels) P on the image along the second direction and the first photographing device or the second photographing device, and L is the above-mentioned A distance between the object and the first imaging device or the second imaging device;
  • L_cam ⁇ (h_cam 2 + L 2 ) ⁇ cos (tan ⁇ 1 (L / h_cam) ⁇ ) (2)
  • L tan (tan ⁇ 1 ((P ⁇ (h / 2)) ⁇ (h_img / 2) / (h / 2) / f) + ⁇ ) ⁇ h_cam (3) It is derived in advance by performing the calculations of the above equations (1) to (3).
  • the deviation amount information includes the deviation amount at each position on the image along the first direction in terms of the number of pixels.
  • the processing means includes delay means for delaying the output of the first image or the second image in pixel units, and outputs the first image and the second image in parallel to the generation means in pixel units. Parallax correction in which the output of the first image or the output of the second image is relatively delayed by the delay means by the number of pixels represented by the deviation amount corresponding to the position on the image along the first direction of the target pixel row. Is performed while switching the number of delayed pixels by the delay means according to the change in the position on the image along the first direction of the pixel row to be output.
  • the above-described parallax correction is performed by relatively moving the storage position in units of pixel columns along the first direction. Compared with the aspect, the parallax correction can be completed in a short time.
  • the delay means comprises a plurality of delay units connected in series for delaying the output of the first image or the second image by one pixel.
  • the processing means outputs the data that has passed through the number of delay units corresponding to the number of pixels represented by the deviation amount corresponding to the position on the image along the first direction of the pixel row to be output as the first image or the first image.
  • the processing means corresponds to a position on the image along the first direction corresponding to a preset horizontal line.
  • a pixel row located in a range corresponding to the upper side in the vertical direction from the position is excluded from the parallax correction target.
  • the first photographing device and the second photographing are performed on the first image and the second image acquired by the acquiring unit.
  • the image processing apparatus further includes correction means for correcting at least one of a difference in photographing range along the horizontal direction of the apparatus, a difference in photographing magnification, a difference in rotation angle around the photographing optical axis, and a difference in luminance. Parallax correction is performed on the first image and the second image that have been subjected to the correction by the correction means.
  • the difference information at least one of a difference in the photographing range along the horizontal direction between the first photographing device and the second photographing device, a difference in photographing magnification, a difference in rotation angle around the photographing optical axis, and a difference in luminance. Information from which the difference due to one is removed is obtained.
  • the difference in the shooting range along the horizontal direction between the first shooting apparatus and the second shooting apparatus is configured to be corrected at the same time when the processing means performs the parallax correction instead of being corrected by the correction means. It is also possible.
  • the apparatus further includes a three-dimensional object detection means for detecting a three-dimensional object present in each of the three-dimensional objects.
  • the difference information generated by the generation unit is information corresponding to the three-dimensional object (information indicating the difference caused by the three-dimensional object)
  • by detecting the three-dimensional object using this difference information At least, the presence or absence of a three-dimensional object within the imaging range of the first imaging device and the second imaging device can be detected by a simple process.
  • the ninth aspect of the present invention further includes output means for outputting the detection result of the three-dimensional object by the three-dimensional object detection means in the eighth aspect of the present invention.
  • the output form of the detection result by the output means may be a form in which the detection result is output by displaying characters, images, figures, etc. representing the detection result of the three-dimensional object on the display means, or the detection result of the three-dimensional object is displayed.
  • the form which outputs with a sound may be sufficient.
  • the position of the image area corresponding to the three-dimensional object on the image is detected.
  • the position of the three-dimensional object (more specifically, the position of the image region corresponding to the three-dimensional object on the image) can be detected by a simple process.
  • the generation unit when the generation unit generates a difference image that represents the difference between the first image and the second image for each pixel as the difference information, the difference pixel that represents the difference caused by the three-dimensional object is the difference image on the difference image as described above.
  • the difference pixel that represents the difference caused by the three-dimensional object is the difference image on the difference image as described above.
  • This difference area is often a linear area along the edge of the three-dimensional object.
  • the width of the difference area changes in accordance with the distance between the imaging device and the three-dimensional object, and the width of the linear difference area decreases as the distance between the imaging device and the three-dimensional object increases.
  • the generation unit generates a difference image representing the difference between the first image and the second image as difference information for each pixel. Then, the three-dimensional object detection means extracts an image area corresponding to the three-dimensional object from the difference image generated by the generation means, and there is a difference between the first image and the second image existing in each extracted image area. Based on the width of a linear difference area composed of difference pixels representing the distance from the three-dimensional object corresponding to each image area. Thereby, detection of the distance with the solid object corresponding to each image area can be realized by simple processing.
  • the generation means generates a difference image representing the difference between the first image and the second image for each pixel as difference information
  • the object detection means performs contraction processing a plurality of times for a difference pixel that represents the presence of a difference between the first image and the second image and exists in the difference image, and a linear difference region including the difference pixels is the difference. It is determined whether or not the image has disappeared, and the output unit determines whether or not the number of times the contraction process is performed when the linear difference area disappears from the difference image is less than a threshold value or executes the contraction process a predetermined number of times.
  • the three-dimensional object detection signal or the type of the three-dimensional object detection signal to be output is switched.
  • each individual photographed as an image instead of detecting the distance to each three-dimensional object photographed as an image, each individual photographed as an image It is suitable for detecting the distance range (approximate distance) to the closest three-dimensional object among the three-dimensional objects, and the closest three-dimensional object is captured as an image.
  • a distance range (approximate distance) to an object can be detected by simple processing, and a three-dimensional object detection signal can be notified by the presence or absence of output or the type of three-dimensional object detection signal to be output.
  • the pixel number counting means counts the number of difference pixels existing in an area designated via the designation means in the difference image. Accordingly, it is possible to adjust the relative position between the first image capturing apparatus and the second image capturing apparatus and to adjust the parameters of the correction process by the correcting unit with an arbitrary region of the difference image as an evaluation target.
  • the generation unit includes a difference between the first image and the second image that has undergone the parallax correction by the processing unit. Is generated for each pixel, and the difference image generated by the generation unit is corrected for the geometric parallax by the parallax correction by the processing unit, and is set in the first direction by a preset shift amount. It is comprised so that it may become a difference image showing the difference of the 1st image and 2nd image in the state shifted relatively.
  • the difference image generated by the generation unit is corrected in the state where the geometric parallax is corrected by the parallax correction by the processing unit and is relatively shifted along the first direction by a preset shift amount.
  • Configuration to be a difference image representing a difference between the first image and the second image can be realized by any one of the seventeenth to nineteenth aspects described below, for example.
  • the seventeenth aspect of the present invention is the processing according to the sixteenth aspect of the present invention, wherein the deviation amount represented by the deviation amount information stored in the storage means is a deviation amount corresponding to the geometric parallax.
  • the means is configured to make the first image and the second image relative to each other in the first direction by a preset shift amount before or after performing the parallax correction on the first image and the second image. Shift to.
  • the shift amount can be changed and set depending on the application and the like. This has the advantage that it can be easily realized.
  • the deviation amount represented by the deviation amount information stored in the storage means is preset to a deviation amount corresponding to a geometric parallax.
  • the deviation amount corresponding to the shift amount is added to the deviation amount, or the deviation amount represented by the deviation amount information stored in the storage means is the deviation amount corresponding to the geometric parallax, and processing is performed.
  • a deviation amount corresponding to the shift amount is added before being used for parallax correction by the means.
  • a difference image representing the difference between is generated.
  • the shift amount between the first image and the second image is included in the deviation amount information used for the parallax correction by the processing unit, the first image and the first image are corrected by the parallax correction by the processing unit. Shifting with two images is also performed at the same time, and there is an advantage that it is not necessary to change the configuration of the generation means.
  • the deviation amount represented by the deviation amount information stored in the storage means is a deviation amount corresponding to a geometric parallax.
  • the distance between the photographing optical axis of the first photographing apparatus and the photographing optical axis of the second photographing apparatus is set to become larger as the distance from the first photographing apparatus and the second photographing apparatus increases.
  • the orientation is adjusted so that the one image and the second image are relatively shifted along the first direction by a preset shift amount.
  • the first image and the second image in a state where the geometric parallax is corrected by the parallax correction by the processing unit and the shift is relatively shifted along the first direction by a preset shift amount.
  • a difference image representing the difference between is generated.
  • the first image and the second image are relatively shifted along the first direction by adjusting the orientations of the first and second imaging devices. Therefore, although it is difficult to change and set the shift amount according to the application or the like, there is an advantage that it is not necessary to change the configuration of the generating means as in the eighteenth aspect of the present invention.
  • the first image and the second image present in the difference image generated by the generation unit For the difference pixel indicating that there is a difference, the contraction process along the second direction is executed a first number of times, and the contraction process along the first direction is performed a second time greater than the first number. Further provided is contraction processing means for executing the number of times.
  • the difference image generated by the generating unit is corrected by the parallax correction by the processing unit, the geometrical parallax is corrected, and is relatively shifted along the first direction by a preset shift amount.
  • the difference image is the difference between the first image and the second image including the difference component due to the three-dimensional object.
  • the first image and the second image are images that are emphasized in the first direction as compared with the state where the first image and the second image are not shifted.
  • the number of executions of the contraction process along the first direction is larger than the number of executions of the contraction process along the second direction.
  • the shift amount is not more than 1 ⁇ 2 of the maximum deviation amount corresponding to geometric parallax. Is set.
  • the storage means corresponds to the parallax, the first image captured by the first imaging device, and the second imaging that is different in horizontal position from the first imaging device.
  • An image along the second direction on the image corresponding to the vertical direction is obtained by using the second image captured by the apparatus and the deviation amount information indicating the amount of deviation along the first direction on the image corresponding to the horizontal direction.
  • the acquisition unit acquires the first image captured by the first imaging device and the second image captured by the second imaging device, respectively, and the processing unit The amount of deviation represented by the amount-of-bias information corresponding to the position of the pixel column on the image along the second direction of the pixel column along the first direction.
  • the parallax correction to be moved in the opposite direction is performed for each pixel column along the first direction in the image, and the generation unit is configured to generate the first image and the second image that have undergone the parallax correction by the processing unit. Since the difference information representing the difference between the two is generated, the information corresponding to the three-dimensional object can be extracted in a short time from the images photographed by the plurality of photographing devices, as in the first aspect of the present invention. It can be realized by configuration and processing.
  • a computer connected to the storage means for storing each of the acquisition means for acquiring the first image captured by the first imaging device and the second image captured by the second imaging device; According to the amount of deviation represented by the amount-of-bias information corresponding to the position on the image along the second direction of the pixel row, the position on the image along the first direction of the pixel row along one direction.
  • a recording medium according to a twenty-fifth aspect of the present invention was shot by a first image taken by the first shooting device corresponding to parallax and a second shooting device having a horizontal position different from that of the first shooting device. For each position on the image along the second direction on the image corresponding to the vertical direction, the bias amount information indicating the amount of deviation along the first direction on the image corresponding to the horizontal direction of the second image.
  • a computer connected to each storage means for storing, an acquisition means for respectively acquiring a first image photographed by the first photographing device and a second image photographed by the second photographing device, the first in the image A position on the image along the first direction of the pixel row along the direction is determined according to the amount of deviation represented by the bias amount information corresponding to the position on the image along the second direction of the pixel row.
  • the first image and the second image And a processing unit that performs the parallax correction to be relatively moved in each of the pixel columns along the first direction in the image, and the first image that has undergone the parallax correction by the processing unit and the first
  • An image processing program for functioning as a generation unit that generates difference information representing a difference between two images is recorded.
  • FIG. 9C It is a schematic block diagram which shows an example of the difference image generation part demonstrated in 2nd Embodiment. It is an image figure which shows an example of the image image
  • FIG. 1 shows imaging devices 10L and 10R according to the present embodiment and a three-dimensional object detection device 12 that is connected to the imaging devices 10L and 10R and detects a three-dimensional object in images taken by the imaging devices 10L and 10R. Has been.
  • the imaging devices 10L and 10R are imaging devices that can capture a moving image and have the same optical characteristics, and are installed at a location where the 3D object to be detected by the 3D object detection device 12 can be imaged in a direction in which the 3D object can be captured. Is done.
  • the specific installation location of the imaging devices 10L and 10R is determined according to the use of the three-dimensional object detection device 12.
  • the three-dimensional object detection device 12 detects a three-dimensional object (obstacle) existing in the space in front of the vehicle.
  • the photographing devices 10L and 10R are installed in a position where an image of the space ahead of the vehicle can be imaged in the direction of imaging the space ahead of the vehicle.
  • the height from the ground (the height h_cam of the photographing optical axis from the ground at the installation position) is equal (a straight line connecting the photographing devices 10L and 10R).
  • the relative position and orientation are adjusted so that each imaging optical axis is parallel with a predetermined interval (baseline length b: about 7 cm as in the case of both human eyes).
  • Calibration work is performed to roughly correct optical axis twist and magnification differences.
  • the imaging devices 10L and 10R that have undergone the above calibration work operate in synchronization, and image data (moving image data) obtained by imaging by the imaging devices 10L and 10R is sequentially output to the three-dimensional object detection device 12.
  • the three-dimensional object detection device 12 includes a front image processing unit 14, a parallax correction unit 16, a difference image generation unit 18, a rear image processing unit 20, a difference image analysis unit 22, and an analysis result output unit 24. Connected in order.
  • the parallax correction unit 16 is an example of a processing unit according to the present invention
  • the difference image generation unit 18 is an example of a generation unit according to the present invention
  • the post-image processing unit 20 is an example of a removal unit according to the second aspect of the present invention.
  • the previous image processing unit 14 is an example of a correction unit according to the seventh aspect of the present invention
  • the difference image analysis unit 22 is an example of a three-dimensional object detection unit according to the eighth aspect of the present invention
  • the analysis result output unit 24 is It is an example of the output means which concerns on the 9th aspect etc. of this invention
  • line which connects imaging device 10L, 10R and the solid-object detection apparatus 12 is an example of the acquisition means which concerns on this invention.
  • the three-dimensional object detection device 12 includes a device control unit 26 that incorporates a nonvolatile storage unit 28.
  • the apparatus control unit 26 is connected to the front image processing unit 14, the parallax correction unit 16, the difference image generation unit 18, the rear image processing unit 20, the difference image analysis unit 22, and the analysis result output unit 24, and these operations are performed. To control.
  • the parallax correction unit 16 receives image data input from the imaging devices 10 ⁇ / b> L and 10 ⁇ / b> R to the three-dimensional object detection device 12 and subjected to correction processing (described later) by the previous image processing unit 14.
  • the data is input in the raster scan order in units of 14 pixels.
  • the parallax correction unit 16 includes latch groups 34 and 36 in which a plurality of latches 32 that can hold data for one pixel are connected in series, and the latch group 34 has image data input from the imaging device 10L. Is input to the latch group 36, and the image data input from the photographing apparatus 10R is input to the latch group 36.
  • pixel clocks are respectively input to the individual latches 32, and at the timing synchronized with the pixel clocks, the held data for one pixel is output to the subsequent latch 32 and the previous latch 32 is provided. Repeatedly hold new data for one pixel input from.
  • the latch groups 34 and 36 are an example of delay means according to the fourth aspect of the present invention, and each latch 32 is an example of a delay unit according to the fifth aspect of the present invention.
  • each latch 32 of the latch group 34 is connected to the selector 38, and each latch 32 of the latch group 36 is connected to the selector 40.
  • the selectors 38 and 40 have a data output end connected to the difference image generation unit 18 and a control signal input end connected to the parallax correction control unit 42.
  • the parallax correction control unit 42 includes a parallax information storage unit 44 and a front end. It is connected to the image processing unit 14.
  • the parallax information storage unit 44 is connected to the device control unit 26, and parallax amount information is written by the device control unit 26.
  • the parallax amount information is an example of the bias amount information according to the present invention
  • the parallax information storage unit 44 that stores the parallax amount information written by the device control unit 26 is a memory according to the present invention. It is an example of a part.
  • the parallax correction control unit 42 outputs any of the data respectively input from the individual latches 32 of the latch group 34 to the selector 38 based on the parallax amount information stored in the parallax information storage unit 44.
  • the selection signal output to the selectors 38 and 40 is switched at a timing synchronized with the line synchronization signal input from the previous image processing unit 14.
  • the previous image processing unit 14 determines the difference in the photographing range along the horizontal direction (the left-right direction on the image) of the photographing devices 10L and 10R with respect to the image data input to the three-dimensional object detection device 12 from the photographing devices 10L and 10R.
  • Offset correction processing for correcting magnification correction processing for correcting a difference in imaging magnification of the imaging devices 10L and 10R, twist correction processing for correcting a difference in twist (rotation angle) around the imaging optical axis of the imaging devices 10L and 10R, and imaging device
  • one of the images input from the imaging devices 10 ⁇ / b> L and 10 ⁇ / b> R is used as the residual that has not been corrected by the adjustment by the calibration work. Correction is performed by shifting in the (X direction).
  • the offset correction process can be included in the parallax correction process performed by the parallax correction unit 16 (is performed collectively) without being performed by the previous image processing unit 14. Further, the device control unit 26 may select a correction process to be executed by the previous image processing unit 14 among the above-described correction processes in accordance with the required accuracy for the three-dimensional object detection by the three-dimensional object detection device 12. Good.
  • FIG. 3A shows an example of an image obtained by photographing with a monocular photographing device.
  • FIGS. 3B and 3C show the same photographing range by the photographing devices 10L and 10R according to the first embodiment.
  • An example of an image (however, an image after offset correction performed by the previous image processing unit 14) obtained by the above processing is shown.
  • the height of the photographing optical axis from the ground at the position is h_cam
  • the inclination angle of the photographing optical axis with respect to the vertical direction is ⁇
  • the focal length of the optical system of the photographing devices 10L and 10R is f
  • the number of pixels along the X direction of the image is determined by the installation of the photographing apparatuses 10L and 10R.
  • L_cam in the above equation (1) is a linear distance between the imaging devices 10L and 10R and an object that is located on the ground and forms an image at a position P on the image along the Y direction.
  • Distance f 35 mm
  • number of pixels along the X direction of the image w 640
  • number of pixels along the Y direction h 480
  • w_img 36 mm, Y direction FIG.
  • the parallax amount information is information indicating the parallax amount D at each position along the Y direction of the image (however, the range of the Y coordinate value or less of the vanishing point), and the device control unit 26 stores Based on each parameter (h_cam, ⁇ , f, w, h, w_img, h_img, b) stored in advance in the unit 28, each position along the Y direction of the image (however, the range below the Y coordinate value of the vanishing point)
  • the above-described parallax amount information is generated in advance by performing the calculations of equations (1) to (3) and associating the parallax amount D obtained by the calculation with the Y coordinate value.
  • the information is written in advance in the parallax information storage unit 44 of the correction unit 16.
  • the parallax correction control unit 42 of the parallax correction unit 16 receives the image data and the image data when the correction processing by the previous image processing unit 14 is input from the previous image processing unit 14 in a raster scan order in units of one pixel. Based on the line synchronization signal that is synchronously input from the previous image processing unit 14, the image data of one line (one pixel column along the X direction of the image) that is input from the previous image processing unit 14 is displayed on the image. And the parallax amount D associated with the recognized Y coordinate value is read out from the parallax amount information stored in the parallax information storage unit 44.
  • the parallax correction control unit 42 is closer to the infinity point than the image captured by the imaging device 10L (hereinafter referred to as the left image) and the image captured by the imaging device 10R (hereinafter referred to as the right image).
  • the selectors 38 and 40 are arranged so that the output of the image data in which the image of the same object located is biased to the upstream side in the raster scan direction due to the parallax is relatively delayed by the read parallax amount D.
  • the parallax correction control unit 42 receives the line coordinate signal from the previous image processing unit 14 for the recognition of the Y coordinate value, the reading of the corresponding parallax amount D, and the output of the selection signal to the selectors 38 and 40. Do it every time.
  • 4C for example, the image shown in FIG. 3C is converted into the image shown in FIG. 3E through the parallax correction shown in FIG. 3D.
  • the parallax correction described above is based on the parallax amount information stored in the parallax information storage unit 44, and the position on the image of the pixel column along the X direction is set to X for one of the left image and the right image. Since moving in the direction can be realized by an extremely simple process of switching the amount of movement (number of delayed pixels) according to the Y coordinate value of each pixel column, a high-performance arithmetic unit or the like is required. In addition, it is possible to perform processing on a moving image in real time, including each processing such as generation of a difference image and analysis on the difference image, which will be described later.
  • offset correction may be performed simultaneously with the above-described parallax correction.
  • This is a correction obtained by adding the offset correction amount to the parallax amount D read from the parallax information storage unit 44 as the number of delayed pixels.
  • the parallax correction control unit 42 is configured to apply the amount, or information in which the offset correction amount is uniformly added to the individual parallax amounts D set in the parallax amount information is written in the parallax information storage unit 44. This can be realized by configuring the device control unit 26.
  • the parallax amount information is updated according to the installation status of the photographing apparatuses 10L and 10R.
  • the installation status will change due to vibration or the like, and accordingly, a change in parameters such as the inclination angle ⁇ is expected.
  • an element for measuring the inclination such as a gyro sensor, is provided, and parallax amount information when the inclination measured by the element is each value is calculated and stored in advance.
  • the parallax amount D changes according to the optical conditions in photographing by the photographing devices 10L and 10R, for example, when the optical conditions such as the inclination angle ⁇ of the photographing optical axis and the height h_cam of the photographing optical axis are changed.
  • the apparatus control unit 26 detects the changed optical condition, performs the calculation of the parallax amount D and generates the parallax amount information again based on the detected changed optical condition, and the generated parallax amount information is stored in the parallax information storage unit.
  • the information on the amount of parallax stored in 44 is overwritten and written. Thereby, the parallax correction according to the changed optical condition is performed by the parallax correction unit 16.
  • the optical conditions after the change are, for example, that an operator who has changed the optical conditions performs operations such as inputting and setting the optical conditions after the change to the device control unit 26, so that the device control unit 26
  • the present invention is not limited to this.
  • an angle sensor for detecting the tilt angle ⁇ is provided for the tilt angle ⁇ of the photographing optical axis, and detection is performed based on the output of the angle sensor. Is also possible.
  • calculation of the parallax amount D and generation of parallax amount information are performed in advance and stored in the storage unit 28, and the device control unit 26 changes the optical conditions after the change when the optical conditions are changed. May be read from the storage unit 28 and written to the parallax information storage unit 44.
  • the image data of the left image and the right image that have undergone parallax correction is input in parallel to the difference image generation unit 18 in units of one pixel, and the difference image generation unit 18 receives data for one pixel of the left image and the right image.
  • ) of the difference between the data L for one pixel of the input left image and the data R for one pixel of the input right image is calculated.
  • a process of setting the absolute value of the difference as the luminance value of the pixel is performed.
  • FIG. 3E showing the result of performing the parallax correction on the image illustrated in FIG.
  • the image portion corresponding to the three-dimensional object that is standing upright is actually inclined on the image after the parallax correction.
  • pixels corresponding to a two-dimensional element are erased as pixels having a luminance of 0, and mainly pixels corresponding to a three-dimensional object in an image (particularly pixels corresponding to an edge of a three-dimensional object)
  • a difference image in which a set of difference pixels (difference area) having a large difference value (luminance value) is formed is obtained.
  • the difference image generation unit 18 generates the left image shown in FIG. 5A and the right image shown in FIG. 5B through the correction processing by the previous image processing unit 14 and the parallax correction processing by the parallax correction unit 16.
  • An example of a difference image is shown. It can be confirmed that a corresponding difference area is also generated on the difference image shown in FIG. 5C due to a three-dimensional object such as a person or a vehicle existing as a subject in the left and right images shown in FIGS. 5A and 5B.
  • the parallax increases as the distance between the imaging device and the three-dimensional object decreases.
  • the distance between the imaging device and the three-dimensional object corresponds to the corresponding linear difference region.
  • the difference area corresponding to the person who is closer to the imaging device is wider than the width of the linear difference area corresponding to the vehicle. ing).
  • the difference area corresponding to the background building or the white line of the parking lot is an error (noise) caused by the positional deviation or characteristic difference of the imaging devices 10L and 10R.
  • the post-image processing unit 20 performs noise removal processing on the difference image input from the difference image generation unit 18.
  • filtering processing such as a known smoothing filter may be applied as noise removal processing
  • the post-image processing unit 20 performs contraction processing as noise removal processing.
  • the contraction process is an image process in which the minimum value of all pixels in a peripheral region (for example, a region of 3 pixels ⁇ 3 pixels) centered on the target pixel is set as the value of the target pixel.
  • the isolated difference pixel in the difference image is removed, and the outermost pixel in the difference area in the difference image is removed with a width of one pixel.
  • noise superimposed on the difference image input from the difference image generation unit 18 for example, the difference area corresponding to the white line of the background building or the parking lot in the example of FIG. 6) is removed. Is done.
  • the contraction process in the post-image processing unit 20 may be combined with binarization, and the difference image input from the difference image generation unit 18 may be binarized first and then the contraction process may be performed. If the differential image analysis unit 22 in the subsequent stage performs processing on the binarized differential image, binarization may be performed after the contraction processing is performed on the differential image. Although details will be described later, when the difference image analysis unit 22 performs the process of detecting the distance range from the three-dimensional object, the contraction process is repeatedly performed on the difference image. The execution of noise removal processing (shrinkage processing) may be omitted.
  • the processing content in the analysis of the difference image by the difference image analysis unit 22 differs depending on the purpose of the three-dimensional object detection by the three-dimensional object detection device 12, the type of information to be provided to the user, and the like.
  • the difference image analysis unit 22 performs position detection processing for detecting the position and range of the image region corresponding to the three-dimensional object based on the difference image as the difference image analysis processing. This position detection process is also executed as a pre-process even when a distance range detection process, which will be described later, is performed by the difference image analysis unit 22.
  • an image region corresponding to the three-dimensional object is extracted by a known data analysis method such as a projection method. For example, extracting an image region corresponding to a three-dimensional object by the projection method counts the number of difference pixels in each pixel row for each pixel row along the X direction with respect to the binarized difference image. Then, a histogram of difference pixels in the Y direction is obtained, and a difference pixel histogram in the X direction is obtained by counting the number of difference pixels in each pixel row for each pixel row along the Y direction.
  • a known data analysis method such as a projection method. For example, extracting an image region corresponding to a three-dimensional object by the projection method counts the number of difference pixels in each pixel row for each pixel row along the X direction with respect to the binarized difference image. Then, a histogram of difference pixels in the Y direction is obtained, and a difference pixel histogram in the X direction is obtained by counting the number of difference pixels in each pixel row for each
  • the X coordinate value range in which the difference pixel number peak occurs in the difference pixel histogram in the X direction is extracted as the X coordinate value range of the image area corresponding to the three-dimensional object, and the difference pixel in the Y direction is extracted.
  • This can be realized by performing a process of extracting the range of Y coordinate values in which the peak of the difference pixel number is generated in the histogram as the range of Y coordinate values of the image area corresponding to the three-dimensional object.
  • the said process is an example of the process by the three-dimensional object detection means which concerns on the 10th aspect of this invention.
  • the difference image analysis unit 22 When notifying the user of the position of the three-dimensional object, the difference image analysis unit 22 outputs the X coordinate value and the Y coordinate value range of the image region corresponding to the three-dimensional object to the analysis result output unit 24 as the analysis result.
  • the analysis result output unit 24 outputs the analysis result based on the range of the X coordinate value and the Y coordinate value of the image region corresponding to the three-dimensional object input from the difference image analysis unit 22 or the image capturing device 10L or the image capturing.
  • FIG. 7A an image added with a frame-shaped figure that clearly shows the range of the image area corresponding to the three-dimensional object is generated from the image captured by the device 10R, and the generated image is displayed on a display or the like. It can comprise so that the process to make may be performed. Thereby, it is possible to notify the user of the position of the three-dimensional object existing within the imaging range of the imaging devices 10L and 10R.
  • an approximate distance distance range: for example, the distance is large / medium / small
  • the contraction process is repeatedly performed to detect the distance range with the existing three-dimensional object.
  • the width of the linear difference area corresponding to the three-dimensional object changes according to the distance between the imaging device and the three-dimensional object, and the distance between the imaging device and the three-dimensional object becomes smaller.
  • the width of the linear difference region corresponding to the three-dimensional object is increased. This is used in the repeated contraction process, and it is determined whether the difference area in each image area extracted by the position detection process has disappeared while repeating the above-described contraction process on the difference image a plurality of times (this Alternatively, it may be determined whether or not the number of difference pixels in each image area is equal to or less than a predetermined value).
  • an image region corresponding to a person and an image region corresponding to a vehicle are extracted as image regions corresponding to a three-dimensional object, while trees and white lines in the image are also captured by the photographing devices 10L, It is extracted as a difference area due to the influence of a 10R position shift, characteristic difference, and the like.
  • the contraction process is repeatedly performed on this difference image, when the contraction process is repeated n1 times as shown in FIG. 7B, the linear difference area corresponding to the person and the linear difference area corresponding to the vehicle have a width.
  • the difference area corresponding to the trees and white lines in the image disappears. Further, as shown in FIG.
  • a difference area that disappears when the contraction process is repeated n1 times is regarded as noise, and a three-dimensional object corresponding to the difference area that disappears when the contraction process is repeated n2 times (vehicle in the example of FIG. 7).
  • the three-dimensional object (a person in the example of FIG. 7) corresponding to the difference area that disappears when the contraction process is repeated n3 times is “distance range from the imaging device: If the difference area remains even after the contraction process is repeated n3 times, the three-dimensional object corresponding to the difference area can be determined as “distance range from the photographing apparatus: small”.
  • the said process is an example of the process by the three-dimensional object detection means which concerns on the 11th, 12th aspect of this invention.
  • the difference image analysis unit 22 adds, as an analysis result, the three-dimensional object in addition to the range of the X coordinate value and the Y coordinate value of the image region corresponding to the three-dimensional object. Is also output to the analysis result output unit 24, and the analysis result output unit 24 performs, for example, an image captured by the imaging device 10L or the imaging device 10R as a process of outputting the analysis result.
  • a frame-like figure that clearly indicates the range of the image area corresponding to the three-dimensional object is added, and an image in which the display color of the frame is switched according to the determination result of the distance range is generated. It is possible to configure to perform processing to be displayed on the screen. Thereby, it is possible to notify the user of the position and distance range of the three-dimensional object existing within the imaging range of the imaging devices 10L and 10R. Instead of switching the display color of the frame, the distance range may be displayed with characters or the like.
  • the search may be performed.
  • an image region corresponding to a person is extracted from a difference image (see FIG. 7C) with n ⁇ b> 2 repeated shrinkage processing, and this image region is a difference image with n ⁇ b> 1 repeated shrinkage processing (see FIG. 7). 7B)).
  • the image area corresponding to the three-dimensional object is searched for the difference image in a state where the difference area that can be regarded as noise is removed, so that the accuracy in searching for the image area corresponding to the three-dimensional object is improved. ⁇ A reduction in processing time can be realized.
  • the difference image analysis unit 22 performs, for example, the number of difference pixels in the difference image input from the post-image processing unit 20 or the difference pixels as the difference image analysis process.
  • the difference pixel represented by the difference pixel is processed to count the number of difference pixels greater than or equal to a predetermined value, and when the counting result is equal to or greater than a threshold value, a process of determining “there is a three-dimensional object” is performed.
  • the difference represented by the difference pixels can be accumulated over all the difference pixels, and a process of determining that “a solid object is present” can be performed when the accumulation result is equal to or greater than a threshold value.
  • the analysis result output unit 24 outputs, for example, a warning sound or a voice message such as “an obstacle has been detected” when the analysis result by the difference image analysis unit 22 is “solid object exists”. It can be configured to notify the analysis result by voice, for example, by outputting.
  • FIG. 8A shows a difference image generated from the combination of the left image L and the right image R ′
  • FIG. 8C shows a difference image generated from the combination of the left image L and the right image R ′′
  • FIG. 8B shows the difference image.
  • FIG. 8A shows a binary difference image obtained by binarizing the difference image with a certain threshold value
  • FIG. 8D shows a binarized difference image obtained by binarizing the difference image shown in FIG. 8C with a certain threshold value.
  • the right image R ′ and the right image R ′′ are images captured by the imaging device 10R in a state where the positional relationship with the imaging device 10L is different.
  • Whether or not the positional relationship between the imaging devices 10L and 10R is appropriate is determined by counting the number of difference pixels in the difference image.
  • the difference pixel corresponding to the three-dimensional object in the difference image is the position of the imaging devices 10L and 10R. Since the inclination of the change in the number of pixels with respect to the change in the relationship is small, for example, as indicated by a white frame in FIGS. 8B and 8D, a range excluding the image area corresponding to the three-dimensional object in the difference image is designated as the evaluation area by the operator It is desirable to count the number of difference pixels existing in the evaluation area designated by the operator.
  • the first person is present at a position relatively distant from the imaging devices 10L and 10R in the left region in the image.
  • the contour line corresponding to the first person does not appear clearly. For this reason, the first person may not be detected as a three-dimensional object.
  • the second person is also present in the right region of the image. In particular, the position of the second person is relatively far from the imaging devices 10L and 10R.
  • 9E and 9F corresponding to the images of FIG. 9B and FIG. 9C existing in FIG. 9B the outline corresponding to the second person is interrupted. There is a possibility that the distance to the second person is erroneously detected or that the second person is erroneously detected as a plurality of three-dimensional objects.
  • the imaging devices 10L and 10R are integrated as a single imaging module, an increase in the base line length b leads to an increase in the size of the imaging module, leading to an increase in weight and an increase in the cost of the entire system in order to ensure the rigidity of the imaging module.
  • problems such as difficulty in securing the installation location of the imaging module and a reduction in the degree of freedom in design also occur.
  • the parallax correction unit 16 performs the parallax correction after the left image and the right image are relatively shifted along the left-right direction (X direction) of the image by a preset shift amount. It is configured to do. That is, as shown in FIG. 10, the parallax correction unit 16 according to the second embodiment is arranged in a preceding stage (between the latch group 36 and the previous image processing unit 14) of the latch group 36 that transfers the image data of the right image.
  • a delay unit 50 is provided.
  • a pixel clock is input to the delay unit 50, and shift amount information representing the relative shift amount S between the left image and the right image in terms of the number of pixels is input from the device control unit 26.
  • the delay unit 50 delays the image data of the right image sequentially input for each pixel from the previous image processing unit 14 by the number of pixels represented by the shift amount information input from the device control unit 26, and then latches the group 36. To sequentially shift the left image and the right image in the left-right direction (X direction) of the image.
  • FIGS. 11A to 11C show the same images as FIGS. 3A to 3C.
  • the above image is displayed by the delay unit 50 of the parallax correction unit 16 on the right image shown in FIG. 11C.
  • the latch group 36 includes, as an example, a right side shifted in the left-right direction (X direction) of the image with respect to the left side image shown in FIG. An image is input. Accordingly, the right image shown in FIG. 11D is converted into an image shown in FIG. 11F through the parallax correction shown in FIG. 11E.
  • the line corresponding to the outline of the three-dimensional object on the difference image is shown as a line having a certain thickness, but the line corresponding to the outline of the three-dimensional object on the difference image is Although it also depends on the distance L, it actually has a certain thickness. Therefore, when a difference image is generated by performing image shift in addition to parallax correction, as shown in FIG. Among the lines corresponding to the outline of the image, the thickness of the line extending in the vertical direction (Y direction) of the image is increased.
  • the difference component due to the three-dimensional object is buried in noise on the difference image, a part of the line corresponding to the outline of the three-dimensional object on the difference image is interrupted, or the difference component due to the three-dimensional object is It is suppressed that it does not appear clearly on the difference image.
  • FIG. 12B shows the case where the image shift is not performed, among the lines corresponding to the outline of the three-dimensional object, particularly the lines extending in the vertical direction (Y direction) of the image.
  • the difference component due to the three-dimensional object on the difference image is not easily lost even if the contraction process is repeatedly performed. Therefore, it is possible to suppress the occurrence of detection failure or erroneous detection of a three-dimensional object without increasing the baseline length b.
  • the above aspect is an example of the sixteenth aspect of the present invention, more specifically, the seventeenth aspect of the present invention.
  • the difference image generated in the second embodiment is an image in which the difference between the left and right images in the left and right direction (X direction) is emphasized, and therefore the contraction process is performed in the left and right direction (X Direction) and shrinkage processing in the vertical direction (Y direction) of the image, and the number of executions of the shrinking processing in the vertical direction (Y direction) of the image is determined for the horizontal direction (X direction) of the image. It is preferable to make the number smaller than the number of executions of the contraction process. Thereby, it is suppressed that the line extended in the left-right direction (X direction) of the image among the lines on the difference image corresponding to the outline of the three-dimensional object disappears by repeatedly executing the contraction process.
  • the above item is an example of the twentieth aspect of the present invention.
  • the shift amount S in the second embodiment is the maximum value of the correction amount (geometric parallax (parallax amount D)) in the parallax correction based on an empirical rule obtained through experiments by the inventors of the present application. It is desirable that the size is 1/2 or less.
  • the maximum value of the correction amount (parallax amount D) in the parallax correction is 50 pixels, and thus the shift amount S is 25 pixels or less.
  • the shift amount S is defined by the shift amount information input from the device control unit 26 to the delay unit 50 of the parallax correction unit 16. The shift amount S can be easily changed and set within the range of “1 ⁇ 2 of the maximum value of the correction amount (parallax amount D) in the parallax correction” according to the distance range).
  • the delay unit 50 is provided in the preceding stage of the latch group 36 to shift the image (delay of output of image data) before performing the parallax correction.
  • the present invention is not limited to this.
  • the delay unit 50 is provided in the subsequent stage of the selector 40 (between the selector 40 and the difference image generation unit 18), so that the image shift after the parallax correction is performed. May be performed.
  • the delay unit 50 shifts the image (delay of output of image data) with respect to the right image.
  • the present invention is not limited to this. Alternatively, the image may be shifted.
  • Each of the above aspects is also an example of the sixteenth aspect of the present invention, more specifically, the seventeenth aspect of the present invention.
  • the delay unit 50 delays the output of the image data to realize the image shift.
  • the parallax correction amount (the number of delay pixels) in the parallax correction performed by the parallax correction unit 16. ) Is a value obtained by adding a correction amount corresponding to the shift amount S to a correction amount corresponding to the geometric parallax (parallax amount D), and geometric parallax (parallax amount D) by the parallax correction performed by the parallax correction unit 16.
  • Correction and image shift may be performed simultaneously.
  • the correction amount characteristic d shown in FIG. 14 represents a correction amount (the number of delayed pixels) corresponding to the geometric parallax (parallax amount D).
  • the correction amount represented by the correction amount characteristic d is changed to the shift amount S.
  • the parallax correction amount (the number of delayed pixels) in the parallax correction performed by the parallax correction unit 16 is a value obtained by adding a correction amount corresponding to the shift amount S to a correction amount corresponding to the geometric parallax (parallax amount D).
  • the apparatus control unit 26 calculates the parallax amount D
  • the shift amount S is added to the calculated parallax amount D
  • the added value is associated with the Y coordinate value to generate parallax amount information. This can be realized by performing a process of writing the generated parallax amount information in the parallax information storage unit 44 of the parallax correction unit 16.
  • the parallax correction control unit 42 of the parallax correction unit 16 adds the shift amount S to the parallax amount D read from the parallax information storage unit 44. Also, it can be realized by performing a process of outputting to the selectors 38 and 40 as a selection signal.
  • the above aspect is an example of the sixteenth aspect of the present invention, more specifically, the eighteenth aspect of the present invention.
  • the relative shifting of the left image and the right image in the left-right direction (X direction) of the image means that the photographing optical axes of the photographing device 10L and the photographing device 10R are separated from the photographing device 10L and the photographing device 10R. It can also be realized by arranging in a direction in which the interval of the distance increases.
  • FIG. 15 shows a mode in which the photographing optical axis of the photographing apparatus 10R is arranged outward from parallel with respect to the photographing optical axis of the photographing apparatus 10L. Note that the base line length b in FIG.
  • the photographing optical axis of the photographing apparatus 10R may be arranged outward from parallel, or the photographing light of the photographing apparatuses 10L and 10R. You may arrange
  • the parallax amount d 3 is a component that does not depend on the distance L, and is adjusted in advance according to the shift amount S.
  • the parallax correction unit 16 performs the parallax correction for correcting the geometric parallax (parallax amount D), so that the difference image generation unit 18 performs the left image.
  • a difference image in which the difference between the left and right images (X direction) between the right image and the right image is emphasized is generated.
  • the imaging light source is not particularly installed and the imaging apparatuses 10L and 10R are assumed to perform imaging using natural light as illumination light.
  • the present invention is not limited to this.
  • near-infrared light is used.
  • a light source that emits light may be installed as a photographing light source, and the photographing devices 10L and 10R may be configured to perform photographing with light emitted from the photographing light source and reflected from the subject.
  • the illumination light may be light in a wavelength range other than near infrared light.
  • the difference information (difference image) the luminance difference (or density or brightness in the HSV color space (where H is the hue and S is the saturation) as the first image and the second image.
  • the luminance difference or density or brightness in the HSV color space (where H is the hue and S is the saturation
  • the 1st image and the 2nd image are color images
  • difference information (difference image) representing a difference in hue or saturation (or saturation) between the first image and the second image may be generated.
  • contraction process independently was demonstrated above, it is different, such as combining arbitrary filter processes, for example, an expansion process, for example, performing an expansion process once every time a shrinkage process is performed several times, etc.
  • the contraction process and the expansion process may be executed alternately by the number of executions. Thereby, fragmentation of the difference image can be prevented.
  • other image processing such as a thinning process may be applied.
  • the imaging devices 10L and 10R and the three-dimensional object detection device 12 are mounted on a vehicle, and an example of detecting a three-dimensional object (obstacle) existing in a space in front of the vehicle has been described as an example.
  • the use of the processing apparatus is not limited to this, and it goes without saying that it can be applied to various uses such as detection of obstacles in a self-propelled robot.
  • all the processes by the three-dimensional object detection device 12 according to the present embodiment can be replaced with processes by a computer, and the above processes may be performed by a computer.
  • the program for causing the computer to perform the above process is an example of an image processing program according to the twenty-fourth aspect of the present invention.
  • the computer executes the program, the computer executes the first program of the present invention.
  • the image processing apparatus according to the aspect functions.
  • the above program can also be provided in a form recorded on a recording medium such as a CD-ROM or DVD-ROM.
  • the recording medium in this aspect is an example of the recording medium according to the twenty-fifth aspect of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

　複数の撮影装置によって撮影された画像から立体物に相当する情報を短時間で抽出することを、簡易な構成・処理で実現する。　水平方向位置の異なる一対の撮影装置で撮影された一対の画像におけるＸ方向に沿った視差量を表す視差情報を、画像のＹ方向に沿った各位置について記憶部44に記憶しておき、視差補正制御部42は、前画像処理部14から入力された１ライン分の画像データのＹ座標値に対応する視差量を記憶部44から読み出し、一方の画像データの出力が視差量分だけ遅延するように、セレクタ38,44へ選択信号を出力する。差分画像生成部18は、入力された一対の画像データの差分の絶対値を画素毎に演算し、立体物を検出するための差分画像として出力する。

Description

画像処理装置、方法、プログラム及び記録媒体
　本発明は画像処理装置、方法、プログラム及び記録媒体に係り、特に、複数の撮影装置によって撮影された画像から立体物に相当する情報を抽出する画像処理装置、該画像処理装置に適用可能な画像処理方法、コンピュータを前記画像処理装置として機能させるための画像処理プログラム、及び、前記画像処理プログラムが記録された記録媒体に関する。
　近年、撮影装置の小型化・高性能化・低価格化に伴い、撮影装置(によって撮影された画像)を利用可能な用途は広がってきており、その一例として、撮影装置を車両に搭載し、撮影装置が車両前方の空間を撮影することで得られた画像から、障害物等の立体物の有無や位置、距離等を検出し、必要に応じて警告を出力する等の用途に用いることも現実的となってきている。但し、撮影装置は撮影対象の三次元空間を二次元平面に画像として記録するため、撮影対象の空間に存在している立体物の三次元情報は画像上では失われる。このため、画像から立体物の検出等の空間把握は、２台の撮影装置で同一の空間を撮影することで視差に相当する差を有する一対の画像を取得し、一対の画像から視差を抽出し、抽出した視差を空間情報へ対応付けることによって行われる。
　視差に相当する差を有する一対の画像からの視差の抽出には、ブロックマッチング法を用いることが一般的である。ブロックマッチング法は２つの画像中の対応する点を探索するものであり、視差に相当する差を有する一対の画像における対応点の位置の差が視差に相当する。
　具体的には、一対の画像の一方を基準画像、他方を比較画像とし、基準画像中の注目画素の周囲に、例えば８×４画素程度の評価領域を設定する。また、比較画像内にも同様の評価領域を設定し、一対の評価領域の差分を画素毎に演算し、差分の絶対値を積算する評価関数(Σ|Ｌi－Ｒi|)や、差分の二乗値を積算する評価関数(Σ(Ｌi－Ｒi)2)を用いて一対の評価領域の一致度を評価することを、比較画像における評価領域の位置を移動(ラスタスキャン)させながら繰り返し、一致度が最大(評価関数の値が最小(極小))となる比較画像上の評価領域の位置を求める。この位置が基準画像中の注目画素に対する比較画像上の対応点の位置であり、基準画像上の注目画素と比較画像上の対応点との位置の差が視差に相当する。また、図１６に示すように、基準画像上の注目画素１００に対応する物体１０２との距離Ｌは、視差量Ｄ、撮影装置１０４Ｌ,１０４Ｒの焦点距離ｆ、撮影装置１０４Ｌ,１０４Ｒの距離(基線長)ｂから次の(１)式で求まる。
Ｌ＝ｂ×ｆ／Ｄ …(１)
以上の処理を、基準画像の全画素について行うことで、画像として撮影された個々の物体との距離を検出することができる。なお、図１６において、符号「１０６」は撮像面、符号「１０８」は比較画像上の対応点(対応画素)である。
　上記のブロックマッチングを適用した技術として、特開２００１－９２９６８号公報(以下、特許文献１という)には、一方の撮像画像における基準画素領域内の画像データと、他方の撮像画像における基準画素領域の垂直位置に対応した水平線上の画像データとをラインメモリに記憶し、基準画素領域内の画像データと設定された探索範囲内の画像データとをラインメモリから読み出し、ステレオマッチング(ブロックマッチング)により基準画素領域の相関先を特定し、基準画素領域の水平位置を基準とした無限遠対応点のずれの程度に基づいて、基準画素領域に関する探索範囲の位置を補正する技術が開示されている。
　また特開２００７－２３５６４２号公報(以下、特許文献２という)には、車両に搭載されたカメラで撮像された路面を含む第１の画像(斜方俯瞰図)を射影変換することで得られる上面図と、第１の画像とは異なるタイミングで同一のカメラで撮像された第２の画像を射影変換することで得られる上面図とを作成し、二枚の上面図を路面上の特徴的形状(例えば白線、路面と立体物との境界線、路面のテクスチャ、タイヤ止め等)に基づいてパターンマッチングにより対応させ、二枚の上面図の重複部分において差異が生じた領域を障害物と認識する技術が開示されている。
　また特開２０００－２９３６９３号公報(以下、特許文献３という)には、道路平面を撮影する２台のＴＶカメラによってそれぞれ撮影された左画像、右画像を蓄積し、蓄積した左画像、右画像上に表された複数の線を抽出し、抽出した複数の線に基づいて左画像、右画像間の対応点を求め、求めた対応点に基づいて道路平面上の任意の点の左画像、右画像への投影位置の間に成り立つ関係式のパラメータを計算し、計算したパラメータにより定まる関係式に基づいて道路平面に対して異なる高さを有する領域を障害物領域として検出する障害物検出装置が開示されている。
　上述したブロックマッチングは、１個の注目画素に対し、評価領域の全画素数と同数回の差分演算をラスタスキャンの回数繰り返す必要があり、この処理を基準画像の全画素について行うと演算の繰り返し回数は莫大なものとなり、演算負荷が非常に高い。特許文献１に記載の技術は、上記のブロックマッチングを行うことを前提としているので、動作周波数が高く高性能な演算装置が必要となり、装置構成が複雑でコストも嵩み、消費電力の低減も困難である、という問題がある。
　また、特許文献２に記載の技術は、一対の画像の位置合わせをパターンマッチングによって行っているが、パターンマッチングに利用可能な路面上の特徴的形状として、一定の特徴的形状(例えば白線)が画像中に常に存在していることは保証されていないことから、画像に対し、パターンマッチングに利用可能な各種の特徴的形状を順に探索し、検出できた特徴的形状を用いてパターンマッチングを行っており、画像中に存在する特徴的形状の種類に応じて処理時間が変動し、その種類によっては処理時間が大幅に増大する。このため、特許文献２に記載の技術は、例えば撮影された動画像に対して立体物の検出をリアルタイムで行う等のように高速動作が要求される用途には適していない。
　また、特許文献３に記載の技術は、左画像、右画像への投影位置の間に成り立つ関係式に基づいて、左画像上の任意の点Ｐ(ｕ,ｖ)が道路平面上に存在すると仮定した場合の右画像上の対応点Ｐ'(ｕ',ｖ')を求め、点Ｐと対応点Ｐ'との輝度差に基づいて点Ｐが障害物に対応するか否かを判定するものであり、上記の関係式に対しては、許容誤差１画素未満の高い精度が要求される。このため、特許文献３に記載の技術では、車両の振動や道路の傾斜等の影響を受け易く、関係式のパラメータｈを頻繁に算出し直す必要があるが、特許文献３にも記載されているように、関係式のパラメータｈを算出するためには８本の連立方程式を解いて８個の未知パラメータを算出する必要があり、非常に演算負荷が高い。従って、特許文献３に記載の技術は、高速動作と判定精度の維持を両立することが困難である、という問題がある。
　本発明は上記事実を考慮して成されたもので、複数の撮影装置によって撮影された画像から立体物に相当する情報を短時間で抽出することを、簡易な構成・処理で実現できる画像処理装置、画像処理方法及び画像処理プログラムを得ることが目的である。
　本発明の第１の態様に係る画像処理装置は、視差に相当する、第１撮影装置によって撮影された第１画像と、前記第１撮影装置と水平方向位置の異なる第２撮影装置によって撮影された第２画像と、の前記水平方向に対応する画像上の第１方向に沿った偏倚量を表す偏倚量情報を、鉛直方向に対応する画像上の第２方向に沿った画像上の各位置について各々記憶する記憶手段と、前記第１撮影装置によって撮影された第１画像及び前記第２撮影装置によって撮影された第２画像を各々取得する取得手段と、画像中の前記第１方向に沿った画素列の前記第１方向に沿った画像上の位置を、前記画素列の前記第２方向に沿った画像上の位置に対応する前記偏倚量情報が表す前記偏倚量に応じて、前記第１画像と前記第２画像とで相対的に移動させる視差補正を、画像中の前記第１方向に沿った各画素列に対して各々行う処理手段と、前記処理手段による前記視差補正を経た前記第１画像と前記第２画像との差分を表す差分情報を生成する生成手段と、を含んで構成されている。
　本発明の第１の態様では、第１撮影装置によって第１画像が撮影されると共に、第１撮影装置と水平方向位置の異なる第２撮影装置によって第２画像が撮影されるが、第１撮影装置と第２撮影装置は水平方向位置が異なっているので、第１画像と第２画像には視差に相当する差が生じる。ここで、本発明の第１の態様では、視差に相当する、第１画像と第２画像との水平方向に対応する画像上の第１方向に沿った偏倚量を表す偏倚量情報が、鉛直方向に対応する画像上の第２方向に沿った画像上の各位置について記憶手段に各々記憶されている。また、取得手段は、第１撮影装置によって撮影された第１画像及び第２撮影装置によって撮影された第２画像を各々取得し、処理手段は、画像中の第１方向に沿った画素列の第１方向に沿った画像上の位置を、画素列の第２方向に沿った画像上の位置に対応する偏倚量情報が表す偏倚量に応じて、第１画像と第２画像とで相対的に移動させる視差補正を、画像中の第１方向に沿った各画素列に対して各々行う。
　このように、本発明の第１の態様では、一対の画像上に各々設定した評価領域の一致度の演算を一方の画像上の評価領域の位置を移動させながら繰り返し、一致度が最大となる評価領域の位置を探索することで、一対の画像上の対応点を特定する、等の煩雑な処理を行うことなく、記憶手段に、鉛直方向に対応する画像上の第２方向に沿った画像上の各位置について各々記憶された偏倚量情報に応じて、水平方向に対応する画像中の第１方向に沿った画素列の第１方向に沿った画像上の位置を、前記第１画像と前記第２画像とで相対的に移動させる視差補正を、画像中の第１方向に沿った各画素列に対して各々行う、というごく簡単な処理によって視差に相当する差を補正することができる。
　そして生成手段は、処理手段による視差補正を経た第１画像と第２画像との差分を表す差分情報を生成する。上記の生成手段が処理対象とする第１画像及び第２画像は処理手段による視差補正を経た画像であるので、生成手段によって生成される差分情報が表す差分は、視差に相当する差以外の第１画像と第２画像との差、すなわち第１画像中及び第２画像中に各々存在する立体物に起因する差分とみなすことができる。このように、本発明に係る処理手段及び生成手段による処理は、何れも処理負荷の低い簡単な処理な処理であり、処理時間の長時間化や装置構成の複雑化を招くことはない。従って、本発明の第１の態様によれば、複数の撮影装置によって撮影された画像から立体物に相当する情報を短時間で抽出することを、簡易な構成・処理で実現することができる。
　なお、本発明の第１の態様において、生成手段によって生成される差分情報には、第１画像及び第２画像に重畳したノイズや、第１撮影装置と第２撮影装置との相対位置の変化や、記憶手段に記憶されている偏倚量情報の精度等の様々な要因により、立体物以外に起因する差分、すなわちノイズが混入する可能性がある。一方、生成手段が、差分情報として、第１画像と第２画像との差分を画素毎に表す差分画像を生成する場合、生成された差分画像中の第１画像と第２画像との差分有りを表す差分画素のうち、立体物に起因する差分に対応している差分画素は、差分画像上で纏まって分布し、或る程度の面積(＝画素数)の領域(以下、この領域を差分領域という)を形成することが殆どである。
　上記に基づき、本発明の第２の態様は、本発明の第１の態様において、生成手段は、差分情報として、第１画像と第２画像との差分を画素毎に表す差分画像を生成し、生成手段によって生成された差分画像中に存在する、第１画像と第２画像との差分有りを表す差分画素(この差分画素は、表す差分が０よりも大きい画素であってもよいし、表す差分が閾値以上の画素であってもよい：以下同様)を対象として収縮処理を行うことで、差分画像のノイズを除去する除去手段を更に備えている。これにより、立体物以外に起因する差分(ノイズ)を差分情報(差分画像)から除去することを、収縮処理という簡易な処理によって実現することができる。
　また、本発明の第３の態様は、本発明の第１の態様又は第２の態様において、記憶手段に記憶されている偏倚量情報が表す偏倚量は当該偏倚量を画素数で表す偏倚量Ｄであり、偏倚量Ｄは、第１撮影装置及び第２撮影装置の設置位置における地面からの撮影光軸の高さをｈ_cam、鉛直方向に対する撮影光軸の傾斜角度をθ、光学系の焦点距離をｆ、画像の第１方向に沿った画素数をｗ、第２方向に沿った画素数をｈ、画像の第１方向に沿った撮像サイズをｗ_img、第２方向に沿った撮像サイズをｈ_img、第２方向に沿った画像上の位置(画素数)をＰ、第１撮影装置と第２撮影装置の撮影光軸の距離である基線長をｂとしたときに、
Ｄ＝ｂ×ｆ／Ｌ_cam×(ｗ／２)／(ｗ_ing／２)　…(１)
但し、Ｌ_camは、地面上に位置しかつ第２方向に沿って画像上の位置(画素数)Ｐに結像する物体と、第１撮影装置又は第２撮影装置との直線距離、Ｌは前記物体と第１撮影装置又は第２撮影装置との距離であり、
Ｌ_cam＝√(ｈ_cam2＋Ｌ2)×cos(tan-1(Ｌ／ｈ_cam)－θ)　…(２)
Ｌ＝tan(tan-1((Ｐ－(ｈ／２))×(ｈ_img／２)／(ｈ／２)／ｆ)＋θ)×ｈ_cam　…(３)
上記(１)～(３)式の演算を行うことで予め導出される。
　上記の(１)～(３)式の演算は、例えば特許文献３に記載されている、８本の連立方程式を解いて８個の未知パラメータを算出する等の演算と比較して極めて簡単な演算であり、偏倚量Ｄを再演算して記憶手段に記憶されている偏倚量情報を更新する処理を行う場合にも、ごく短時間で処理を完了させることができる。
　また、本発明の第４の態様は、本発明の第１～第３の態様の何れかにおいて、偏倚量情報は、第１方向に沿った画像上の各位置における前記偏倚量を画素数で表す情報であり、処理手段は、第１画像又は第２画像の出力を画素単位で遅延させる遅延手段を備え、第１画像及び第２画像を画素単位で並列に生成手段へ出力するにあたり、出力対象の画素列の第１方向に沿った画像上の位置に対応する前記偏倚量が表す画素数分だけ、第１画像の出力又は第２画像の出力を遅延手段によって相対的に遅延させる視差補正を、出力対象の画素列の第１方向に沿った画像上の位置の変化に応じて遅延手段による遅延画素数を切替えながら行う。これにより、例えば第１画像及び第２画像のデータを一旦メモリ等に記憶させた後に、第１方向に沿った画素列単位で記憶位置を相対的に移動させて上記の視差補正を行う等の態様と比較して、視差補正を短時間で完了させることができる。
　また、本発明の第５の態様は、本発明の第４態様において、遅延手段は、第１画像又は第２画像の出力を１画素分遅延させる遅延部が直列に複数接続されて構成されており、処理手段は、出力対象の画素列の第１方向に沿った画像上の位置に対応する前記偏倚量が表す画素数に対応する数の遅延部を通過したデータを、第１画像又は第２画像として出力するデータとして選択することで、第１画像又は第２画像として出力するデータを前記画素数分だけ遅延させる。
　また、本発明の第６の態様は、本発明の第１～第５の態様の何れかにおいて、処理手段は、第１方向に沿った画像上の位置が、予め設定された水平線に相当する位置よりも鉛直方向上側に対応する範囲に位置している画素列を視差補正の対象から除外する。
　また、本発明の第７の態様は、本発明の第１～第６の態様の何れかにおいて、取得手段によって取得された第１画像及び第２画像に対し、第１撮影装置と第２撮影装置の水平方向に沿った撮影範囲の相違、撮影倍率の相違、撮影光軸回りの回転角の相違、及び、輝度の相違、の少なくとも１つを補正する補正手段を更に備え、処理手段は、補正手段による前記補正を経た第１画像及び第２画像に対して視差補正を行う。これにより、差分情報として、第１撮影装置と第２撮影装置の水平方向に沿った撮影範囲の相違、撮影倍率の相違、撮影光軸回りの回転角の相違、及び、輝度の相違、の少なくとも１つに起因する差分が除去された情報が得られる。なお、第１撮影装置と第２撮影装置の水平方向に沿った撮影範囲の相違については、補正手段で補正することに代えて、処理手段が視差補正を行う際に同時に補正するように構成することも可能である。
　また、本発明の第８の態様は、本発明の第１～第７の態様の何れかにおいて、生成手段によって生成された差分情報に基づいて、第１撮影装置及び第２撮影装置の撮影範囲内に各々存在している立体物を検出する立体物検出手段を更に備えている。前述のように、生成手段によって生成される差分情報は立体物に相当する情報(立体物に起因する差分を表す情報)であるので、この差分情報を用いて立体物の検出を行うことで、少なくとも、第１撮影装置及び第２撮影装置の撮影範囲内における立体物の有無を簡易な処理で検出することができる。
　また、本発明の第９の態様は、本発明の第８の態様において、立体物検出手段による立体物の検出結果を出力する出力手段を更に備えている。出力手段による検出結果の出力形態は、立体物の検出結果を表す文字や画像、図形等を表示手段に表示させることで検出結果を出力する形態であってもよいし、立体物の検出結果を音声で出力する形態であってもよい。
　また、生成手段が、差分情報として第１画像と第２画像との差分を画素毎に表す差分画像を生成する場合、前述のように、立体物に起因する差分を表す差分画素は差分画像上で纏まって分布し、或る程度の面積(＝画素数)の差分領域を形成する。このため、本発明の第１０の態様は、本発明の第８又は第９の態様において、生成手段は、差分情報として第１画像と第２画像との差分を画素毎に表す差分画像を生成し、立体物検出手段は、生成手段によって生成された前記差分画像中に存在する、第１画像と第２画像との差分有りを表す差分画素の差分画像上での分布に基づいて、差分画像から立体物に相当する画像領域を抽出することで、立体物に相当する画像領域の画像上での位置を検出する。これにより、立体物の位置(より詳しくは立体物に相当する画像領域の画像上での位置)の検出を簡易な処理によって実現することができる。
　また、生成手段が、差分情報として第１画像と第２画像との差分を画素毎に表す差分画像を生成する場合、前述のように、立体物に起因する差分を表す差分画素は差分画像上で纏まって分布し、或る程度の面積(＝画素数)の差分領域を形成するが、この差分領域は立体物のエッジに沿った線状の領域となることが多く、また、この線状の差分領域の幅は撮影装置と立体物との距離に応じて変化し、撮影装置と立体物との距離が大きくなるに従って線状の差分領域の幅は狭くなる。このため、本発明の第１１の態様は、本発明の第８又は第９の態様において、生成手段は、差分情報として第１画像と第２画像との差分を画素毎に表す差分画像を生成し、立体物検出手段は、生成手段によって生成された差分画像から立体物に相当する画像領域を抽出し、抽出した個々の画像領域内に存在する、第１画像と第２画像との差分有りを表す差分画素から成る線状の差分領域の幅に基づいて、個々の画像領域に対応する立体物との距離を検出する。これにより、個々の画像領域に対応する立体物との距離の検出を簡易な処理によって実現することができる。
　また、本発明の第１２の態様は、本発明の第８、第９及び第１１の態様の何れかにおいて、生成手段は、差分情報として、第１画像と第２画像との差分を画素毎に表す差分画像を生成し、立体物検出手段は、生成手段によって生成された差分画像から立体物に相当する画像領域を抽出し、差分画像中に存在する、第１画像と第２画像との差分有りを表す差分画素を対象として収縮処理を行うことを、抽出した個々の画像領域内に存在する差分画素から成る線状の差分領域が消滅したか否かを個々の画像領域毎に判定しながら繰り返し、線状の差分領域が個々の画像領域から消滅した時点での収縮処理の実行回数に基づいて、個々の画像領域に対応する立体物との距離を検出する。
　また、本発明の第１３の態様は、本発明の第９の態様において、生成手段は、差分情報として、第１画像と第２画像との差分を画素毎に表す差分画像を生成し、立体物検出手段は、差分画像中に存在する、第１画像と第２画像との差分有りを表す差分画素を対象として収縮処理を複数回行うと共に、差分画素から成る線状の差分領域が前記差分画像から消滅したか否かを判定し、出力手段は、線状の差分領域が差分画像から消滅した時点での収縮処理の実行回数が閾値未満か否か、又は、収縮処理を所定回実行した時点で線状の差分領域が差分画像から消滅したか否かに応じて、立体物検出信号を出力するか否か、又は、出力する立体物検出信号の種類を切り替える。本発明の第１３の態様は、本発明の第１１又は第１２の態様のように、画像として撮影された個々の立体物との距離を検出することに代えて、画像として撮影された個々の立体物のうち最も近くに存在している立体物との距離レンジ(およその距離)を検出する場合に好適であり、画像として撮影された個々の立体物のうち最も近くに存在している立体物との距離レンジ(およその距離)を簡易な処理で検出し、立体物検出信号を出力の有無、又は、出力する立体物検出信号の種類によって通知することができる。
　また、生成手段によって生成される差分情報は、第１撮影装置と第２撮影装置との相対位置の変化や、本発明の第７の態様における補正手段による補正処理の精度の変化に応じて、立体物以外に起因する差分(ノイズ)の混入量が変化する。これを考慮し、本発明の第１４の態様は、本発明の第１～第１３の態様の何れかにおいて、生成手段は、差分情報として第１画像と第２画像との差分を画素毎に表す差分画像を生成し、生成手段によって生成された差分画像中に存在する、第１画像と第２画像との差分有りを表す差分画素の数を計数し、計数結果を出力する画素数計数手段を更に備えている。これにより、第１撮影装置と第２撮影装置との相対位置の調整や、補正手段による補正処理のパラメータの調整を行うに際し、調整の都度、差分画素の数の計数結果を確認し、差分画素の数が極小となるように調整することで、第１撮影装置と第２撮影装置との相対位置や、補正手段による補正処理のパラメータが最適となるように調整することを容易に実現することができる。
　また、本発明の第１５の態様は、本発明の第１４の態様において、画素数計数手段は、差分画像のうち指定手段を介して指定された領域内に存在する差分画素の数を計数する。これにより、差分画像のうちの任意の領域を評価対象として第１撮影装置と第２撮影装置との相対位置の調整や、補正手段による補正処理のパラメータの調整を行うことが可能となる。
　ところで、生成手段が差分情報として差分画像の生成を行った場合、立体物に起因する差分成分は差分画像上で立体物の輪郭に相当する線として現れる。しかしながら、例えば撮影時の被写体に対する照明の照度が比較的低い等の理由で、第１撮影装置によって撮影された第１画像及び第２撮影装置によって撮影された第２画像における画像中の立体物と背景領域との輝度差が小さくなってくると、処理手段による視差補正で幾何学的な視差が補正された第１画像と第２画像に対して生成手段が差分画像の生成を行った場合、立体物に起因する差分成分に相当する線の一部がノイズに埋没して差分画像上で途切れる等のように、立体物に起因する差分成分が差分画像上に明瞭に現れなくなるという問題がある。
　上記を考慮し、本発明の第１６の態様は、本発明の第１～第１５の態様の何れかにおいて、生成手段は、処理手段による視差補正を経た第１画像と第２画像との差分を画素毎に表す差分画像を生成し、生成手段によって生成される差分画像が、処理手段による視差補正によって幾何学的な視差が補正され、かつ予め設定されたシフト量だけ第１方向に沿って相対的にシフトされた状態での第１画像と第２画像との差分を表す差分画像となるように構成されている。
　本発明の第１６の形態では、生成手段によって生成される差分画像が、幾何学的な視差が補正され、かつ予め設定されたシフト量だけ第１方向に沿って相対的にシフトされた状態での第１画像と第２画像との差分を表す差分画像となるように構成されているので、生成手段によって生成される差分画像は、第１画像と第２画像とがシフトされていない状態では差分が検出されない箇所でも差分が検出されることで、立体物に起因する差分成分を含む第１画像と第２画像との差分が、第１画像と第２画像とがシフトされていない状態よりも第１方向に強調された画像となる。これにより、立体物に起因する差分成分に相当する線の一部がノイズに埋没し、前記線の一部に途切れ等が生ずることが抑制されるので、立体物に相当する情報の抽出精度を向上させることができる。
　なお、生成手段によって生成される差分画像が、処理手段による視差補正によって幾何学的な視差が補正され、かつ予め設定されたシフト量だけ第１方向に沿って相対的にシフトされた状態での第１画像と第２画像との差分を表す差分画像となるように構成することは、例えば以下で説明する第１７～第１９の態様の何れかによって実現できる。
　すなわち、本発明の第１７の態様は、本発明の第１６の態様において、記憶手段に記憶されている偏倚量情報が表す偏倚量が前記幾何学的な視差に相当する偏倚量とされ、処理手段は、第１画像及び第２画像に対して視差補正を行う前又は視差補正を行った後に、第１画像と第２画像とを予め設定されたシフト量だけ第１方向に沿って相対的にシフトさせる。上記構成により、処理手段による視差補正によって幾何学的な視差が補正され、かつ予め設定されたシフト量だけ第１方向に沿って相対的にシフトされた状態での第１画像と第２画像との差分を表す差分画像が生成される。
　本発明の第１７の態様は、第１画像と第２画像とを第１方向に沿って相対的にシフトさせることを画像データに対する処理によって実現できるので、用途等に応じてシフト量を変更設定することを容易に実現できる、という利点を有する。
　また、本発明の第１８の態様は、本発明の第１６の態様において、記憶手段に記憶されている偏倚量情報が表す偏倚量が、幾何学的な視差に相当する偏倚量に予め設定されたシフト量に相当する偏倚量を加えた偏倚量とされているか、又は、記憶手段に記憶されている偏倚量情報が表す偏倚量が、幾何学的な視差に相当する偏倚量とされ、処理手段による視差補正に用いられる前にシフト量に相当する偏倚量が加えられる。上記構成によっても、処理手段による視差補正によって幾何学的な視差が補正され、かつ予め設定されたシフト量だけ第１方向に沿って相対的にシフトされた状態での第１画像と第２画像との差分を表す差分画像が生成される。
　本発明の第１８の態様は、処理手段による視差補正に用いられる偏倚量情報に第１画像と第２画像とのシフト量が含まれているので、処理手段による視差補正で第１画像と第２画像とのシフトも同時に行われ、生成手段の構成を変更する必要が無くなる、という利点を有する。
　また、本発明の第１９の態様は、本発明の第１６の態様において、記憶手段に記憶されている偏倚量情報が表す偏倚量が幾何学的な視差に相当する偏倚量とされ、第１撮影装置及び第２撮影装置は、第１撮影装置の撮影光軸と第２撮影装置の撮影光軸との間隔が、第１撮影装置及び第２撮影装置から離れるに従って大きくなる向きとされ、第１画像と第２画像とが、予め設定されたシフト量だけ第１方向に沿って相対的にシフトされた状態となるように向きが調整されている。上記構成によっても、処理手段による視差補正によって幾何学的な視差が補正され、かつ予め設定されたシフト量だけ第１方向に沿って相対的にシフトされた状態での第１画像と第２画像との差分を表す差分画像が生成される。
　本発明の第１９の態様は、第１画像と第２画像とを第１方向に沿って相対的にシフトさせることを、第１撮影装置及び第２撮影装置の向きを調整することで実現しているので、用途等に応じてシフト量を変更設定することは困難であるが、本発明の第１８の態様と同様に、生成手段の構成を変更する必要が無くなる、という利点を有する。
　また、本発明の第２０の態様は、本発明の第１６～第１９の態様の何れかにおいて、前記生成手段によって生成された前記差分画像中に存在する、前記第１画像と前記第２画像との差分有りを表す差分画素を対象として、前記第２方向に沿った収縮処理を第１回数だけ実行すると共に、前記第１方向に沿った収縮処理を、前記第１回数よりも多い第２回数実行する収縮処理手段を更に備えている。
　上記のように、生成手段によって生成される差分画像が、処理手段による視差補正によって幾何学的な視差が補正され、かつ予め設定されたシフト量だけ第１方向に沿って相対的にシフトされた状態での第１画像と第２画像との差分を表す差分画像となるように構成した場合、差分画像は、立体物に起因する差分成分を含む第１画像と第２画像との差分が、第１画像と第２画像とがシフトされていない状態よりも第１方向に強調された画像となる。これに対し、本発明の第２０の態様は、第１方向に沿った収縮処理の実行回数を第２方向に沿った収縮処理の実行回数よりも多くしているので、第１画像と第２画像との差分が未強調の第２方向について収縮処理が過度に実行されることで、立体物の検出精度の低下等を招くことを抑制することができる。なお、収縮処理手段による収縮処理は、本発明の第２、第１２、第１３の態様と同様に、ノイズ除去や立体物との距離検出に適用することができる。
　また、本発明の第２１の態様は、本発明の第１６～第１９の態様の何れかにおいて、シフト量は、幾何学的な視差に相当する偏倚量の最大値の１／２以下の大きさに設定されている。
　本発明の第２２の態様は、本発明の第１の態様において、前記記第１撮影装置及び前記第２撮影装置は、前記第１撮影装置の撮影光軸と前記第２撮影装置の撮影光軸との間隔が、前記第１撮影装置及び前記第２撮影装置から離れるに従って大きくなる向きとされている。これにより、本発明の第１９の態様と同様に、立体物に相当する情報の抽出精度を向上させることを、生成手段の構成を変更することなく実現できる。
　本発明の第２３の態様に係る画像処理方法は、記憶手段は、視差に相当する、第１撮影装置によって撮影された第１画像と、前記第１撮影装置と水平方向位置の異なる第２撮影装置によって撮影された第２画像と、の前記水平方向に対応する画像上の第１方向に沿った偏倚量を表す偏倚量情報を、鉛直方向に対応する画像上の第２方向に沿った画像上の各位置について各々記憶し、取得手段は、前記第１撮影装置によって撮影された第１画像及び前記第２撮影装置によって撮影された第２画像を各々取得し、処理手段は、画像中の前記第１方向に沿った画素列の前記第１方向に沿った画像上の位置を、前記画素列の前記第２方向に沿った画像上の位置に対応する前記偏倚量情報が表す前記偏倚量に応じて、前記第１画像と前記第２画像とで相対的に移動させる視差補正を、画像中の前記第１方向に沿った各画素列に対して各々行い、生成手段は、前記処理手段による前記視差補正を経た前記第１画像と前記第２画像との差分を表す差分情報を生成するので、本発明の第１の態様と同様に、複数の撮影装置によって撮影された画像から立体物に相当する情報を短時間で抽出することを、簡易な構成・処理で実現することができる。
　本発明の第２４の態様に係る画像処理プログラムは、視差に相当する、第１撮影装置によって撮影された第１画像と、前記第１撮影装置と水平方向位置の異なる第２撮影装置によって撮影された第２画像と、の前記水平方向に対応する画像上の第１方向に沿った偏倚量を表す偏倚量情報を、鉛直方向に対応する画像上の第２方向に沿った画像上の各位置について各々記憶する記憶手段と接続されたコンピュータを、前記第１撮影装置によって撮影された第１画像及び前記第２撮影装置によって撮影された第２画像を各々取得する取得手段、画像中の前記第１方向に沿った画素列の前記第１方向に沿った画像上の位置を、前記画素列の前記第２方向に沿った画像上の位置に対応する前記偏倚量情報が表す前記偏倚量に応じて、前記第１画像と前記第２画像とで相対的に移動させる視差補正を、画像中の前記第１方向に沿った各画素列に対して各々行う処理手段、及び、前記処理手段による前記視差補正を経た前記第１画像と前記第２画像との差分を表す差分情報を生成する生成手段として機能させる。
　本発明の第２４の態様に係る画像処理プログラムは、上記の記憶手段と接続されたコンピュータを、上記の取得手段、処理手段及び生成手段として機能させるためのプログラムであるので、上記コンピュータが本発明の第２４の態様に係る画像処理プログラムを実行することで、上記コンピュータが本発明の第１の態様に係る画像処理装置として機能することになり、本発明の第１の態様と同様に、複数の撮影装置によって撮影された画像から立体物に相当する情報を短時間で抽出することを、簡易な構成・処理で実現することができる。
　本発明の第２５の態様に係る記録媒体は、視差に相当する、第１撮影装置によって撮影された第１画像と、前記第１撮影装置と水平方向位置の異なる第２撮影装置によって撮影された第２画像と、の前記水平方向に対応する画像上の第１方向に沿った偏倚量を表す偏倚量情報を、鉛直方向に対応する画像上の第２方向に沿った画像上の各位置について各々記憶する記憶手段と接続されたコンピュータを、前記第１撮影装置によって撮影された第１画像及び前記第２撮影装置によって撮影された第２画像を各々取得する取得手段、画像中の前記第１方向に沿った画素列の前記第１方向に沿った画像上の位置を、前記画素列の前記第２方向に沿った画像上の位置に対応する前記偏倚量情報が表す前記偏倚量に応じて、前記第１画像と前記第２画像とで相対的に移動させる視差補正を、画像中の前記第１方向に沿った各画素列に対して各々行う処理手段、及び、前記処理手段による前記視差補正を経た前記第１画像と前記第２画像との差分を表す差分情報を生成する生成手段として機能させるための画像処理プログラムが記録されている。
　本発明の第２５の態様に係る記録媒体に記録された画像処理プログラムは、上記の記憶手段と接続されたコンピュータを、上記の取得手段、処理手段及び生成手段として機能させるためのプログラムであるので、上記コンピュータが本発明の第２５の態様に係る記録媒体から画像処理プログラムを読み出して実行することで、上記コンピュータが本発明の第１の態様に係る画像処理装置として機能することになり、本発明の第１の態様と同様に、複数の撮影装置によって撮影された画像から立体物に相当する情報を短時間で抽出することを、簡易な構成・処理で実現することができる。
　以上説明したように本発明は、視差に相当する、第１撮影装置によって撮影された第１画像と、第１撮影装置と水平方向位置の異なる第２撮影装置によって撮影された第２画像と、の水平方向に対応する画像上の第１方向に沿った偏倚量を表す偏倚量情報を、鉛直方向に対応する画像上の第２方向に沿った画像上の各位置について各々記憶しておき、第１画像及び第２画像を各々取得し、画像中の第１方向に沿った画素列の第１方向に沿った画像上の位置を、前記画素列の第２方向に沿った画像上の位置に対応する偏倚量情報が表す偏倚量に応じて、第１画像と第２画像とで相対的に移動させる視差補正を、画像中の第１方向に沿った各画素列に対して各々行い、視差補正を経た第１画像と第２画像との差分を表す差分情報を生成するようにしたので、複数の撮影装置によって撮影された画像から立体物に相当する情報を短時間で抽出することを、簡易な構成・処理で実現できる、という優れた効果を有する。
立体物検出装置の概略構成を示すブロック図である。 第１実施形態で説明した差分画像生成部の概略構成図である。 単眼の撮影装置で撮影される画像の一例を示すイメージ図である。 左側の撮影装置で撮影される画像の一例を示すイメージ図である。 右側の撮影装置で撮影される画像の一例を示すイメージ図である。 右側の画像に対する視差補正の一例を示すイメージ図である。 右側の画像に対する視差補正結果の一例を示すイメージ図である。 左側の画像と視差補正後の右側の画像との差分画像の一例を示すイメージ図である。 視差量情報を算出するための演算式を説明するために、撮影装置と撮影対象との幾何学的な位置関係を示す説明図である。 視差量情報を算出するための演算式を説明するために、撮影装置によって撮影される画像の一例を示すイメージ図である。 画像上のＹ座標値と視差量との関係の一例を示す線図である。 撮影画像(左側画像)の一例を示すイメージ図である。 撮影画像(右側画像)の一例を示すイメージ図である。 差分画像の一例を示すイメージ図である。 差分画像の一例を示すイメージ図である。 差分画像に対するノイズ除去結果の一例を示すイメージ図である。 距離検出用繰り返し収縮処理実行前の状態の一例を示すイメージ図である。 繰り返し収縮処理回数＝ｎ1の状態の一例を示すイメージ図である。 繰り返し収縮処理回数＝ｎ2（＞ｎ1)の状態の一例を示すイメージ図である。 繰り返し収縮処理回数＝ｎ3（＞ｎ2)の状態の一例を示すイメージ図である。 差分画像を用いたキャリブレーション作業の評価を説明するためのイメージ図である。 差分画像を用いたキャリブレーション作業の評価を説明するためのイメージ図である。 差分画像を用いたキャリブレーション作業の評価を説明するためのイメージ図である。 差分画像を用いたキャリブレーション作業の評価を説明するためのイメージ図である。 撮影画像の一例を示すイメージ図である。 撮影画像の一例を示すイメージ図である。 撮影画像の一例を示すイメージ図である。 図９Ａの撮影画像に対応する差分画像の一例を示すイメージ図である。 図９Ｂの撮影画像に対応する差分画像の一例を示すイメージ図である。 図９Ｃの撮影画像に対応する差分画像の一例を示すイメージ図である。 第２実施形態で説明した差分画像生成部の一例を示す概略構成図である。 単眼の撮影装置で撮影される画像の一例を示すイメージ図である。 左側の撮影装置で撮影される画像の一例を示すイメージ図である。 右側の撮影装置で撮影される画像の一例を示すイメージ図である。 右側画像に対するシフトの一例を示すイメージ図である。 シフト後の右側画像に対する視差補正の一例を示すイメージ図である。 シフト後の右側画像に対する視差補正結果の一例を示すイメージ図である。 左側画像とシフト及び視差補正後の右側画像との差分画像の一例を示すイメージ図である。 画像シフトを行わずに繰り返し収縮処理を行った場合の処理結果の推移の一例を示すイメージ図である。 画像シフト後に繰り返し収縮処理を行った場合の処理結果の推移の一例を示すイメージ図である。 第２実施形態で説明した差分画像生成部の他の例を示す概略構成図である。 視差補正で画像シフトも同時に行う態様における視差量情報の内容の一例を示す線図である。 撮影装置の向き調整によって画像シフトを実現する態様における視差量情報の内容の一例を示す線図である。 視差に基づく物体との距離の演算を説明するための概略図である。
　以下、図面を参照して本発明の実施形態の一例を詳細に説明する。
　〔第１実施形態〕
　図１には本実施形態に係る撮影装置１０Ｌ,１０Ｒと、撮影装置１０Ｌ,１０Ｒに接続され撮影装置１０Ｌ,１０Ｒによって撮影された画像中の立体物を検出する立体物検出装置１２と、が示されている。
　撮影装置１０Ｌ,１０Ｒは動画像を撮影可能で光学特性が揃った撮影装置であり、立体物検出装置１２による検出対象の立体物を撮影可能な箇所に、当該立体物を撮影可能な向きで設置される。なお、撮影装置１０Ｌ,１０Ｒの具体的な設置箇所は立体物検出装置１２の用途に応じて定まり、例えば、立体物検出装置１２が車両の前方の空間に存在する立体物(障害物)の検出に用いられる場合、撮影装置１０Ｌ,１０Ｒは、車両のうち、当該車両の前方の空間を撮像可能な箇所に、車両の前方の空間を撮像する向きで設置される。
　また撮影装置１０Ｌ,１０Ｒに対しては、所定箇所に設置された後、地面からの高さ(設置位置における地面からの撮影光軸の高さｈ_cam)が等しく(撮影装置１０Ｌ,１０Ｒを結ぶ直線が地面と平行)、かつ各々の撮影光軸が所定の間隔(基線長ｂ：例えば人間の両目と同様に７cm程度)を隔てて平行となるように、相対位置及び向きを調整すると共に、撮影光軸のねじれや倍率の相違を大まかに補正するキャリブレーション作業が行われる。上記のキャリブレーション作業を経た撮影装置１０Ｌ,１０Ｒは同期して動作し、撮影装置１０Ｌ,１０Ｒによる撮影によって得られた画像データ(動画像データ)は立体物検出装置１２へ順に出力される。
　なお、撮影装置１０Ｌ,１０Ｒは経時的に相対位置のずれ等が生じないように、互いに連結されて一体化されていることが望ましく、市販のステレオカメラ(例えば富士フイルム社製のFinePix 3D等)を撮影装置１０Ｌ,１０Ｒとして用いることも可能である。撮影装置１０Ｌ,１０Ｒは、第１撮影装置及び第２撮影装置の一例である。
　また、立体物検出装置１２は、前画像処理部１４、視差補正部１６、差分画像生成部１８、後画像処理部２０、差分画像解析部２２及び解析結果出力部２４を備えており、これらは順に接続されている。なお、視差補正部１６は本発明に係る処理手段の一例、差分画像生成部１８は本発明に係る生成手段の一例、後画像処理部２０は本発明の第２の態様に係る除去手段の一例、前画像処理部１４は本発明の第７の態様に係る補正手段の一例、差分画像解析部２２は本発明の第８の態様等に係る立体物検出手段の一例、解析結果出力部２４は本発明の第９の態様等に係る出力手段の一例であり、撮影装置１０Ｌ,１０Ｒと立体物検出装置１２を接続する信号線は本発明に係る取得手段の一例である。
　また、立体物検出装置１２は、不揮発性の記憶部２８を内蔵した装置制御部２６を備えている。装置制御部２６は、前画像処理部１４、視差補正部１６、差分画像生成部１８、後画像処理部２０、差分画像解析部２２及び解析結果出力部２４と各々接続されており、これらの動作を制御する。
　図２に示すように、視差補正部１６には、撮影装置１０Ｌ,１０Ｒから立体物検出装置１２に入力され、前画像処理部１４による補正処理(後述)を経た画像データが、前画像処理部１４から１画素単位でラスタスキャン順に入力される。視差補正部１６は、１画素分のデータを保持可能な複数のラッチ３２が直列に接続されて成るラッチ群３４,３６を備えており、ラッチ群３４には撮影装置１０Ｌから入力された画像データが入力され、ラッチ群３６には撮影装置１０Ｒから入力された画像データが入力される。図示は省略するが、個々のラッチ３２には画素クロックが各々入力され、画素クロックと同期したタイミングで、保持している１画素分のデータを後段のラッチ３２へ出力すると共に、前段のラッチ３２から入力された１画素分の新たなデータを保持することを繰り返す。なお、ラッチ群３４,３６は本発明の第４の態様に係る遅延手段の一例であり、個々のラッチ３２は本発明の第５の態様に係る遅延部の一例である。
　また、ラッチ群３４の個々のラッチ３２はセレクタ３８に各々接続されており、ラッチ群３６の個々のラッチ３２はセレクタ４０に各々接続されている。セレクタ３８,４０はデータ出力端が差分画像生成部１８に接続されていると共に、制御信号入力端が視差補正制御部４２に接続されており、視差補正制御部４２は視差情報記憶部４４及び前画像処理部１４に接続されている。視差情報記憶部４４は装置制御部２６に接続されており、装置制御部２６によって視差量情報が書き込まれる。なお、詳細は後述するが、この視差量情報は本発明に係る偏倚量情報の一例であり、装置制御部２６によって書き込まれた視差量情報を記憶する視差情報記憶部４４は本発明に係る記憶部の一例である。
　視差補正制御部４２は、視差情報記憶部４４に記憶されている視差量情報に基づき、セレクタ３８に対し、ラッチ群３４の個々のラッチ３２から各々入力されるデータのうちの何れのデータを出力するか選択する選択信号を出力し、セレクタ４０に対しても、ラッチ群３６の個々のラッチ３２から各々入力されるデータのうちの何れのデータを出力するか選択する選択信号を出力すると共に、前画像処理部１４から入力されるライン同期信号に同期したタイミングで、セレクタ３８,４０へ出力する選択信号を切り替える。
　次に本第１実施形態の作用として、立体物検出装置１２の各ブロックにおける処理を順に説明する。前画像処理部１４は、撮影装置１０Ｌ,１０Ｒから立体物検出装置１２に入力された画像データに対し、撮影装置１０Ｌ,１０Ｒの水平方向(画像上の左右方向)に沿った撮影範囲の相違を補正するオフセット補正処理、撮影装置１０Ｌ,１０Ｒの撮影倍率の相違を補正する倍率補正処理、撮影装置１０Ｌ,１０Ｒの撮影光軸回りのねじれ(回転角)の相違を補正するねじれ補正処理、撮影装置１０Ｌ,１０Ｒによって撮影された画像の輝度の相違を補正する輝度補正処理、広角レンズを用いて撮影された場合の歪みの相違を補正する歪み補正処理、及び、ノイズを低減するノイズ低減補正処理、の少なくとも１つを行う。
　上記各補正処理のうち、後段の視差補正処理に関連するオフセット補正処理について説明する。撮影装置によって撮影される画像上では、図３Ａ～図３Ｃにも示すように、平行線が幾何学的な無限遠点(消失点)で交わるので、撮影装置１０Ｌ,１０Ｒによって撮影された画像を重ね合わせると、無限遠(消失点より画像の上下方向(Ｙ方向)で上側の範囲) に位置する被写体は理論上は一致するが、実際にはずれが生ずる。これは、撮影装置１０Ｌ,１０Ｒの撮影光軸が平行でないことを主因として、撮影装置１０Ｌ,１０Ｒの水平方向に沿った撮影範囲が相違しているためであり、キャリブレーション作業による機械的な調整で解消可能であるが、前画像処理部１４のオフセット補正処理では、キャリブレーション作業による調整で補正し切れなかった残差を、撮影装置１０Ｌ,１０Ｒから入力された画像の一方を画像の左右方向(Ｘ方向)にシフトさせることによって補正する。
　このオフセット補正処理により、撮影装置１０Ｌ,１０Ｒの撮影光軸が平行から若干ずれていたとしても、無限遠の距離における撮影装置１０Ｌ,１０Ｒの水平方向に沿った撮影範囲を見掛け上一致させることができ、撮影装置１０Ｌ,１０Ｒによって撮影された画像は、両画像を重ね合わせたときに、無限遠(消失点より画像の上下方向(Ｙ方向)で上側の範囲)に位置する被写体は精度良く一致し、撮影装置との距離が小さい被写体ほど(画像上の位置が上下方向の下側へ偏倚している被写体ほど)位置ずれが大きくなる、幾何学的に正しい画像となるように補正されることになる。
　なお、オフセット補正処理は、前画像処理部１４では行わずに、視差補正部１６で行われる視差補正処理に含める(一括して行う)ことも可能である。また、立体物検出装置１２による立体物検出に対する要求精度等に応じて、先に挙げた各補正処理のうち前画像処理部１４で実行させる補正処理を装置制御部２６が選択するようにしてもよい。
　続いて、視差補正部１６による視差補正について説明する。図３Ａには単眼の撮影装置によって撮影されることで得られる画像の一例を示し、図３Ｂ,図３Ｃには、本第１実施形態に係る撮影装置１０Ｌ,１０Ｒによって同一の撮影範囲が撮影されることで得られる画像(但し、前画像処理部１４によるオフセット補正後の画像)の一例を各々示す。
　図３Ｂ,図３Ｃに示す画像を比較しても明らかなように、撮影装置１０Ｌによって撮影された画像と撮影装置１０Ｒによって撮影された画像との間には視差に相当する差が生じるが、この視差に相当する差は、撮影装置１０Ｌ,１０Ｒの幾何学的な位置関係(設置位置が基線長ｂだけ離れていること)に起因して生じるので、一方の画像に幾何学的な変換を行うことで視差に相当する差をキャンセルする(例えば撮影装置１０Ｒによって撮影された画像を、撮影装置１０Ｌによって撮影されたかのような画像に変換する)ことは可能である。
　この変換(視差補正)は、例えば図３Ｃに示す画像に対し、例として図３Ｄに示すように、画像のＸ方向（左右方向)に沿った個々の画素列のＸ座標値の変更量(画像の左右方向の移動量)を、消失点(無限遠点)より上の範囲ではゼロ、消失点より下の範囲では画像のＹ方向に沿った消失点との距離に比例して大きくすることにより実現することができるが、このＸ座標値の変更量(図３Ｄに示す破線の矢印の長さ)は、視差量Ｄ(本発明における偏倚量Ｄ)に等しい。
　図４Ａ,図４Ｂにも示すように、画像中のＹ座標値(画素数)＝Ｐの位置(図４Ａ,図４Ｂに黒丸で示す位置)における視差量Ｄは、撮影装置１０Ｌ,１０Ｒの設置位置における地面からの撮影光軸の高さをｈ_cam、鉛直方向に対する撮影光軸の傾斜角度をθ、撮影装置１０Ｌ,１０Ｒの光学系の焦点距離をｆ、画像のＸ方向に沿った画素数をｗ、Ｙ方向に沿った画素数をｈ、画像のＸ方向に沿った撮像サイズをｗ_img、Ｙ方向に沿った撮像サイズをｈ_img、撮影装置１０Ｌ,１０Ｒの基線長をｂとしたときに、
Ｄ＝ｂ×ｆ／Ｌ_cam×(ｗ／２)／(ｗ_ing／２)　…(１)
で求まり、上記(１)式におけるＬ_camは、地面上に位置しかつＹ方向に沿って画像上の位置Ｐに結像する物体と、撮影装置１０Ｌ,１０Ｒとの直線距離であり、
Ｌ_cam＝√(ｈ_cam2＋Ｌ2)×cos(tan-1(Ｌ／ｈ_cam)－θ)　…(２)
で求まる。また、上記(２)式におけるＬは前記物体と撮影装置１０Ｌ,１０Ｒとの距離であり、撮影光軸と地面との交点(図４Ａ,図４Ｂに星印で示す位置)は、画像上でのＹ座標値が"ｈ／２"となることから(図４Ｂ参照)、
Ｌ＝tan(tan-1((Ｐ－(ｈ／２))×(ｈ_img／２)／(ｈ／２)／ｆ)＋θ)×ｈ_cam　…(３)
で求まる。
　一例として、撮影装置１０Ｌ,１０Ｒの設置位置における地面からの撮影光軸の高さｈ_cam＝0.6ｍ、鉛直方向に対する撮影光軸の傾斜角度θ＝75°、撮影装置１０Ｌ,１０Ｒの光学系の焦点距離ｆ＝35mm、画像のＸ方向に沿った画素数ｗ＝640、Ｙ方向に沿った画素数ｈ＝480、画像のＸ方向に沿った撮像サイズ(35mm写真フイルム換算)ｗ_img＝36mm、Ｙ方向に沿った撮像サイズ(35mm写真フイルム換算)ｈ_img＝27mmの条件で、上記(１)～(３)式から求まるＹ座標値Ｐと視差量Ｄとの関係を図４Ｃに示す。この例では、Ｙ座標値Ｐが無限遠点(消失点)のＹ座標値405以下の範囲において、視差量Ｄが、無限遠点(消失点)のＹ座標値405とＹ座標値Ｐとの偏差に比例している。
　本第１実施形態に係る視差量情報は、画像のＹ方向に沿った各位置(但し消失点のＹ座標値以下の範囲)における視差量Ｄを表す情報であり、装置制御部２６は、記憶部２８に予め記憶された各パラメータ(ｈ_cam,θ,ｆ,ｗ,ｈ,ｗ_img,ｈ_img,ｂ)に基づき、画像のＹ方向に沿った各位置(但し消失点のＹ座標値以下の範囲)について(１)～(３)式の演算を各々行い、演算によって得られた視差量ＤをＹ座標値と対応付けることで、上記の視差量情報を事前に生成し、生成した視差量情報を視差補正部１６の視差情報記憶部４４に事前に書き込む。
　また、視差補正部１６の視差補正制御部４２は、前画像処理部１４による補正処理を経た画像データが前画像処理部１４から１画素単位でラスタスキャン順に入力される際に、当該画像データと同期して前画像処理部１４から入力されるライン同期信号に基づいて、これから前画像処理部１４より入力される１ライン(画像のＸ方向に沿った１画素列)分の画像データの画像上でのＹ座標値を認識し、視差情報記憶部４４に記憶されている視差量情報から、認識したＹ座標値と対応付けられた視差量Ｄを読み出す。
　そして視差補正制御部４２は、撮影装置１０Ｌによって撮影された画像(以下、左側画像という)と撮影装置１０Ｒによって撮影された画像(以下、右側画像という)のうち、無限遠点よりも近距離に位置している同一の物体の像が、視差によりラスタスキャン方向の上流側に偏倚している画像のデータの出力が、読み出した視差量Ｄだけ相対的に遅延するように、セレクタ３８,４０の一方には遅延画素数＝視差量Ｄを表す選択信号を出力し、他方には遅延画素数＝０を表す選択信号を出力する。図３Ｂ,図３Ｃを比較しても明らかなように、本第１実施形態において、無限遠点よりも近距離に位置している同一の物体の像が、視差によりラスタスキャン方向の上流側に偏倚している画像は、撮影装置１０Ｒによって撮影された右側画像であり、本第１実施形態では、左側画像の画像データを出力するセレクタ３８には遅延画素数＝０の選択信号が出力され、右側画像の画像データを出力するセレクタ４０には遅延画素数＝視差量Ｄの選択信号が出力されることになる。
　選択信号が入力されたセレクタ３８,４０は、入力された選択信号が表す遅延画素数が０であれば、最前段のラッチ３２から出力された画像データを差分画像生成部１８へ出力し、入力された選択信号が表す遅延画素数が１以上(＝視差量Ｄ)であれば、Ｄ＋１番目のラッチ３２から出力された画像データを差分画像生成部１８へ出力する。これにより、遅延画素数＝視差量Ｄを表す選択信号が入力されたセレクタに対応する画像データの１ラインは、画像上の位置がラスタスキャン方向下流側へ画素数Ｄだけ相対的に移動される。
　更に、視差補正制御部４２は、上記のＹ座標値の認識、対応する視差量Ｄの読み出し、セレクタ３８,４０への選択信号の出力を、前画像処理部１４からライン同期信号が入力される毎に行う。これにより、セレクタ４０に選択信号として入力される遅延画素数(＝視差量Ｄ)は、前画像処理部１４から入力される１ライン分の画像データの画像上でのＹ座標値の変化に対し、図４Ｃに示すように変化することになり、例として図３Ｃに示す画像は、図３Ｄに示す視差補正を経て図３Ｅに示すような画像に変換されることになる。上記の視差補正は、視差情報記憶部４４に記憶された視差量情報に基づいて、左側画像及び右側画像のうちの一方の画像に対し、Ｘ方向に沿った画素列の画像上の位置をＸ方向に移動させることを、各画素列のＹ座標値に応じて移動量(遅延画素数)を切り替えながら行う、という極めて簡単な処理によって実現できるので、高性能な演算装置等を必要とすることなく、後述する差分画像の生成や差分画像に対する解析等の各処理を含め、動画像に対してもリアルタイムで処理を行うことができる。
　なお、前述のように、上記の視差補正と同時にオフセット補正も行うようしてもよく、これは、遅延画素数として、視差情報記憶部４４から読み出した視差量Ｄにオフセット補正量を加えた補正量を適用するように視差補正制御部４２を構成するか、又は、視差量情報に設定されている個々の視差量Ｄにオフセット補正量を一律に加えた情報を視差情報記憶部４４に書き込むように装置制御部２６を構成することによって実現できる。
　また、視差量情報は、撮影装置１０Ｌ,１０Ｒの設置状況に応じて更新されることが望ましい。特に車両等に設置される場合は、振動等により設置状況が変化することが予想され、これに伴い、特に傾斜角度θ等のパラメータの変動が予想される。このような、パラメータの変動への対策として、例えばジャイロセンサ等の傾きを測定する素子を設けると共に、当該素子によって測定された傾きが各値のときの視差量情報を予め各々演算して記憶しておき、前記素子によって測定された傾きに対応する視差量情報を選択的に読み出して用いる(視差情報記憶部４４に記憶されている視差量情報に上書きして書き込む)ように構成することが望ましい。これにより、ジャイロセンサ等の素子によって測定された傾きに応じた視差補正が視差補正部１６で行われることになる。
　また、視差量Ｄは、撮影装置１０Ｌ,１０Ｒによる撮影における光学条件に応じて変化するので、例えば撮影光軸の傾斜角度θや撮影光軸の高さｈ_cam等の光学条件が変更された場合、装置制御部２６は、変更後の光学条件を検知し、検知した変更後の光学条件に基づいて視差量Ｄの演算・視差量情報の生成を再度行い、生成した視差量情報を視差情報記憶部４４に記憶されている視差量情報に上書きして書き込む。これにより、変更後の光学条件に応じた視差補正が視差補正部１６で行われることになる。(１)～(３)式による視差量Ｄの演算についても、複数の連立方程式を解く等の演算やブロックマッチングにおける繰り返し演算と比較して、極めて簡単かつ演算回数も非常に少ないので、高性能な演算装置を必要とすることなく、短時間で演算を完了させることができる。
　また、変更後の光学条件は、例えば光学条件の変更作業を行った作業者が、変更後の光学条件を装置制御部２６に入力・設定する等の作業を行うことで、装置制御部２６が検知することができるが、これに限られるものではなく、例えば撮影光軸の傾斜角度θについては、傾斜角度θを検出する角度センサを設けておき、この角度センサの出力に基づいて検知することも可能である。また、複数種の光学条件について、視差量Ｄの演算・視差量情報の生成を予め行って記憶部２８に記憶させておき、装置制御部２６は、光学条件の変更時に、変更後の光学条件に対応する視差量情報を記憶部２８から読み出して視差情報記憶部４４に書き込むようにしてもよい。
　次に、差分画像生成部１８による差分画像の生成について説明する。差分画像生成部１８には、視差補正を経た左側画像及び右側画像の画像データが１画素単位で並列に入力され、差分画像生成部１８は、左側画像及び右側画像の１画素分のデータが入力される毎に、入力された左側画像の１画素分のデータＬと、入力された右側画像の１画素分のデータＲとの差分の絶対値(|Ｌ－Ｒ|)を演算し、演算した差分の絶対値をその画素の輝度値とする処理を行う。
　被写体として立体物が撮影されている画像において、立体物に相当する画像部の画像上での位置は、立体物の上部へ向かうに従って(地面からの高さが高くなるに従って)、視差量Ｄから算出される位置とのずれが大きくなるため、立体物が撮影されている画像に対して前述の視差補正を行うと、図３Ｃに示す画像に対して視差補正を行った結果を示す図３Ｅを参照しても明らかなように、実際には直立している立体物に相当する画像部が、視差補正後の画像上では傾斜された状態となる。
　このため、差分画像生成部１８に対し、例えば左側画像の画像データとして図３Ｂに示す画像の画像データが入力され、右側画像の画像データとして、図３Ｅに示す画像の画像データが入力された場合、例として図３Ｆに示すように、二次元の要素に対応する画素は輝度０の画素として消去され、主に、画像中の立体物に相当する画素(特に立体物のエッジに相当する画素)により、大きな差分値(輝度値)を有する差分画素の集合(差分領域)が形成された差分画像が得られることになる。
　また図５Ｃには、図５Ａに示す左側画像と図５Ｂに示す右側画像から、前画像処理部１４による補正処理、視差補正部１６による視差補正処理を経て、差分画像生成部１８で生成された差分画像の一例を示す。図５Ａ,図５Ｂに示す左側画像及び右側画像に被写体として存在している人物や車両等の立体物により、図５Ｃに示す差分画像上にも対応する差分領域が生じていることが確認できる。また原理的には、撮影装置と立体物との距離が小さくなるに従って視差が大きくなるが、図５Ｃに示す差分画像上では、撮影装置と立体物との距離が、対応する線状の差分領域の幅として現れていることが確認できる(撮影装置との距離がより近い人物に対応する差分領域は、線状の差分領域の幅が車両に対応する線状の差分領域の幅よりも広くなっている)。なお、図５Ｃに示す差分画像において、背景の建物や駐車場の白線に対応する差分領域は、撮影装置１０Ｌ,１０Ｒの位置ずれや特性差等に起因する誤差(ノイズ)である。
　次に、後画像処理部２０による後処理について説明する。上述のように、差分画像生成部１８によって生成される差分画像には、撮影装置１０Ｌ,１０Ｒの位置ずれや特性差等を原因とするノイズが重畳されている。このため、後画像処理部２０は、差分画像生成部１８から入力された差分画像に対してノイズ除去処理を行う。ノイズ除去処理としては、公知の平滑化フィルタ等のフィルタリング処理を適用してもよいが、後画像処理部２０ではノイズ除去処理として収縮処理を行う。
　収縮処理は、注目画素を中心とする周辺領域(例えば３画素×３画素の領域)内の全画素の最小値を注目画素の値として設定する画像処理であり、この収縮処理を差分画像に対して１回行うことで、差分画像中の孤立している差分画素は除去され、差分画像中の差分領域は最外周の画素が１画素幅で除去される。この収縮処理を１回以上(ノイズの混入度合いにもよるが、数回程度繰り返すことが望ましい)行うことで、図６Ａに示す差分画像に対して収縮処理によるノイズ除去を行った結果の一例を示す図６Ｂからも明らかなように、差分画像生成部１８から入力された差分画像に重畳されているノイズ(例えば図６の例では背景の建物や駐車場の白線に対応する差分領域)が除去される。
　幾何学的な視差は原理的に数～数十画素程度となるのに対し、キャリブレーションの誤差は主に撮影装置１０Ｌ,１０Ｒの位置ずれであり、撮影装置１０Ｌ,１０Ｒの位置ずれ量が視差量よりも小さければ、ノイズ除去処理として収縮処理を複数回繰り返すことで、撮影装置１０Ｌ,１０Ｒの位置ずれに起因する差分画素が完全に消去され、立体物に対応する差分領域が残存している状態にすることが可能である。従って、上記のノイズ除去処理により、撮影装置１０Ｌ,１０Ｒの位置ずれや特性差が或る程度許容されるので、キャリブレーションの簡略化や装置コストの低減を実現できる。
　なお、後画像処理部２０における収縮処理を二値化と組み合わせ、差分画像生成部１８から入力された差分画像に対し、まず二値化を行った後に収縮処理を行うようにしてもよいし、後段の差分画像解析部２２が二値化された差分画像を対象として処理を行う構成であれば、差分画像に対して収縮処理を行った後に二値化を行うようにしてもよい。また、詳細は後述するが、差分画像解析部２２が立体物との距離レンジを検出する処理を行う場合、差分画像に対して収縮処理が繰り返し行われるので、この場合は後画像処理部２０によるノイズ除去処理(収縮処理)の実行を省略してもよい。
　続いて、差分画像解析部２２による差分画像の解析と、解析結果出力部２４による解析結果の出力について説明する。差分画像解析部２２による差分画像の解析における処理内容は、立体物検出装置１２による立体物検出の目的や、利用者に対して提供すべき情報の種類等に応じて相違する。
　例えば、立体物検出装置１２による立体物検出に対し、例えば撮影装置１０Ｌ,１０Ｒの撮影範囲内に存在している立体物(例えば障害物等)の位置を利用者へ通知することが求められている場合、差分画像解析部２２では、差分画像の解析処理として、差分画像に基づいて立体物に対応する画像領域の位置及び範囲を検出する位置検出処理が行われる。なお、この位置検出処理は、差分画像解析部２２で後述する距離レンジ検出処理が行われる場合にも、その前処理として実行される。
　上記の位置検出処理では、まず差分画像の二値化が行われた後に、投影法等の公知のデータ解析方法により立体物に対応する画像領域の抽出を行う。例えば立体物に対応する画像領域を投影法によって抽出することは、二値化後の差分画像に対し、Ｘ方向に沿った各画素列について、画素列中の差分画素の数を各々計数することで、Ｙ方向についての差分画素のヒストグラムを求めると共に、Ｙ方向に沿った各画素列について、画素列中の差分画素の数を各々計数することで、Ｘ方向についての差分画素のヒストグラムを求め、Ｘ方向についての差分画素のヒストグラムで差分画素数のピークが生じているＸ座標値の範囲を、立体物に対応する画像領域のＸ座標値の範囲として抽出すると共に、Ｙ方向についての差分画素のヒストグラムで差分画素数のピークが生じているＹ座標値の範囲を、立体物に対応する画像領域のＹ座標値の範囲として抽出する処理を行うことで実現できる。なお、上記処理は本発明の第１０の態様に係る立体物検出手段による処理の一例である。
　立体物の位置を利用者へ通知する場合、差分画像解析部２２からは、解析結果として、立体物に対応する画像領域のＸ座標値及びＹ座標値の範囲が解析結果出力部２４へ出力され、解析結果出力部２４は、解析結果を出力する処理として、差分画像解析部２２から入力された立体物に対応する画像領域のＸ座標値及びＹ座標値の範囲に基づき、撮影装置１０Ｌ又は撮影装置１０Ｒによって撮影された画像に対し、例えば図７Ａに示すように、立体物に対応する画像領域の範囲を明示する枠状の図形を付加した画像を生成し、生成した画像をディスプレイ等に表示させる処理を行うように構成することができる。これにより、撮影装置１０Ｌ,１０Ｒの撮影範囲内に存在している立体物の位置を利用者へ通知することができる。
　また、立体物検出装置１２による立体物検出に対し、例えば撮影装置１０Ｌ,１０Ｒの撮影範囲内に存在している個々の立体物とのおおよその距離(距離レンジ：例えば距離が大／中／小の何れか等)を利用者へ通知することが求められている場合、差分画像解析部２２では、前処理として上記の位置検出処理を行った後に、位置検出処理で抽出された画像領域中に存在している立体物との距離レンジを検出するために繰り返し収縮処理が行われる。
　先に説明したように、差分画像において、立体物に対応する線状の差分領域の幅は撮影装置と立体物との距離に応じて変化し、撮影装置と立体物との距離が小さくなるに従って、当該立体物に対応する線状の差分領域の幅は広くなる。繰り返し収縮処理ではこれを利用し、差分画像に対して前述の収縮処理を複数回繰り返しながら、位置検出処理で抽出された個々の画像領域内の差分領域が消失したか否かを判定する(これに代えて個々の画像領域内の差分画素の数が所定値以下になったか否かを判定してもよい)。
　例えば図７Ａに示す差分画像は、立体物に対応する画像領域として、人物に対応する画像領域及び車両に対応する画像領域が各々抽出されている一方、画像中の樹木や白線も撮影装置１０Ｌ,１０Ｒの位置ずれや特性差等の影響で差分領域として抽出されている。この差分画像に対して繰り返し収縮処理を行った場合、図７Ｂに示すように収縮処理をｎ1回繰り返すと、人物に対応する線状の差分領域及び車両に対応する線状の差分領域はそれぞれ幅が狭くなる一方、画像中の樹木や白線に対応する差分領域は消失する。更に、図７Ｃに示すように収縮処理の繰り返し回数がｎ2回に達すると(ｎ2＞ｎ1)、車両に対応する差分領域も消失し、人物に対応する差分領域のみが残存している。また、図７Ｄに示すように収縮処理をｎ3回迄繰り返したとすると(ｎ3＞ｎ2)、人物に対応する差分領域も消失することになる。
　以上の結果から、例えば収縮処理をｎ1回繰り返した時点で消失する差分領域はノイズとみなし、収縮処理をｎ2回繰り返した時点で消失する差分領域に対応する立体物(図７の例では車両)は「撮影装置との距離レンジ：大」と判定し、収縮処理をｎ3回繰り返した時点で消失する差分領域に対応する立体物(図７の例では人物)は「撮影装置との距離レンジ：中」と判定し、収縮処理をｎ3回繰り返しても差分領域が残存していた場合には、当該差分領域に対応する立体物は「撮影装置との距離レンジ：小」と判定することができる。なお、上記処理は本発明の第１１、第１２の態様に係る立体物検出手段による処理の一例である。
　個々の立体物との距離レンジを利用者へ通知する場合、差分画像解析部２２からは、解析結果として、立体物に対応する画像領域のＸ座標値及びＹ座標値の範囲に加え、立体物に対応する画像領域毎の距離レンジの判定結果も解析結果出力部２４へ出力され、解析結果出力部２４は、解析結果を出力する処理として、例えば撮影装置１０Ｌ又は撮影装置１０Ｒによって撮影された画像に対し、立体物に対応する画像領域の範囲を明示する枠状の図形を付加すると共に、枠の表示色を距離レンジの判定結果に応じて切り替えた画像を生成し、生成した画像をディスプレイ等に表示させる処理を行うように構成することができる。これにより、撮影装置１０Ｌ,１０Ｒの撮影範囲内に存在している立体物の位置及び距離レンジを利用者へ通知することができる。なお、枠の表示色を切り替えることに代えて、距離レンジを文字等で表示するようにしてもよい。
　なお、上記のように位置検出処理を行った後に繰り返し収縮処理を行うことに代えて、繰り返し収縮処理を行った後に位置検出処理を行うようにしてもよい。具体的には、例えば差分画像に対して収縮処理をｎ3回繰り返すと共に、収縮処理の繰り返し回数がｎ1回、ｎ2回の時点での差分画像を保存しておき、まず収縮処理の繰り返し回数がｎ3回の差分画像に対して立体物に対応する画像領域の探索を行い、次に、既に抽出された画像領域は探索対象から除外して、収縮処理の繰り返し回数がｎ2回の差分画像に対して立体物に対応する画像領域の探索を行い、続いて、既に抽出された画像領域は探索対象から除外して、収縮処理の繰り返し回数がｎ1回の差分画像に対して立体物に対応する画像領域の探索を行うようにしてもよい。図７の例では、収縮処理の繰り返し回数がｎ2回の差分画像(図７Ｃ参照)から人物に対応する画像領域が抽出され、この画像領域は収縮処理の繰り返し回数がｎ1回の差分画像(図７Ｂ参照)に対する処理における探索対象から除外される。上記処理では、ノイズとみなすことができる差分領域が除去されている状態の差分画像に対して立体物に対応する画像領域の探索を行うので、立体物に対応する画像領域の探索における精度の向上・処理時間の短縮を実現することができる。
　また、立体物検出装置１２による立体物検出に対し、例えば撮影装置１０Ｌ,１０Ｒの撮影範囲内に存在している立体物のうち撮影装置１０Ｌ,１０Ｒとの距離が最も小さい立体物との距離レンジを利用者へ通知することが求められている場合、差分画像解析部２２は、前処理として位置検出処理を行うことなく上記で説明した繰り返し収縮処理を行い、例えば収縮処理をｎ1回繰り返した時点で全ての差分領域が消失した場合は「立体物無し」と判定し、収縮処理をｎ2回繰り返した時点で全ての差分領域が消失した場合は「撮影装置との距離レンジ：大の立体物有り」と判定し、収縮処理をｎ3回繰り返した時点で全ての差分領域が消失した場合は「撮影装置との距離レンジ：中の立体物有り」と判定し、収縮処理をｎ3回繰り返しても差分領域が残存していた場合には「撮影装置との距離レンジ：小の立体物有り」と判定することができる。なお、上記処理は本発明の第１３の態様に係る立体物検出手段による処理の一例である。
　撮影装置１０Ｌ,１０Ｒとの距離が最も小さい立体物との距離レンジを利用者へ通知する場合、差分画像解析部２２からは上記の判定結果が解析結果出力部２４へ出力され、解析結果出力部２４は、解析結果を出力する処理として、立体物有りの場合にのみ警告音を出力すると共に、立体物との距離レンジに応じて、例えば警告音の音量、警告音の出力時間間隔、警告音の種類(例えば周波数や音色等)の少なくとも１つを切り替えるように構成することができる。これにより、撮影装置１０Ｌ,１０Ｒとの距離が最も小さい立体物との距離レンジを利用者へ通知することができる。なお、上記処理は本発明の第１３の態様に係る出力手段による処理の一例である。
　なお、立体物検出装置１２による立体物検出に対し、例えば撮影装置１０Ｌ,１０Ｒの撮影範囲内における立体物(例えば障害物等)の有無を検出し、障害物等が存在している場合は利用者に通知することが求められている場合は、差分画像解析部２２は、差分画像の解析処理として、例えば後画像処理部２０から入力された差分画像中の差分画素の数、又は、差分画素のうち当該差分画素が表す差分の大きさが所定値以上の差分画素の数を計数する処理を行い、計数結果が閾値以上の場合に「立体物有り」と判定する処理を行うか、個々の差分画素が表す差分を全ての差分画素に亘って積算し、積算結果が閾値以上の場合に「立体物有り」と判定する処理を行うように構成することができる。この場合、解析結果出力部２４は、差分画像解析部２２による解析結果が「立体物有り」の場合に、例えば警告音を出力したり、「障害物が検出されました」等の音声メッセージを出力する等により、解析結果を音声で通知するように構成することができる。
　なお、上記では差分画像生成部１８によって生成された差分画像を立体物の検出に用いた態様を説明したが、本発明はこれに限定されるものではなく、撮影装置１０Ｌ,１０Ｒの位置ずれ等に起因して差分画像に混入する差分画素(ノイズ)は、撮影装置１０Ｌ,１０Ｒの位置ずれ量に応じてその混入量が変化するので、これを利用し、差分画像をキャリブレーション作業の適否(撮影装置１０Ｌ,１０Ｒの位置関係の適否)の判定に用いることも可能である。図８Ａには左側画像Ｌと右側画像Ｒ'の組み合わせから生成された差分画像を、図８Ｃには左側画像Ｌと右側画像Ｒ"の組み合わせから生成された差分画像を各々示し、図８Ｂには、図８Ａに示す差分画像を或る閾値で二値化した二値化差分画像を、図８Ｄには、図８Ｃに示す差分画像を或る閾値で二値化した二値化差分画像を各々示す。なお、右側画像Ｒ'及び右側画像Ｒ"は、撮影装置１０Ｌとの位置関係が異なる状態の撮影装置１０Ｒに撮影された画像である。
　撮影装置１０Ｌ,１０Ｒの位置関係の適否の判定は、差分画像中の差分画素の数を計数することによって行うが、差分画像中の立体物に対応する差分画素は、撮影装置１０Ｌ,１０Ｒの位置関係の変化に対する画素数の変化の傾きが小さいので、例えば図８Ｂ,図８Ｄに白枠で示すように、差分画像中の立体物に対応する画像領域を除外した範囲をオペレータによって評価領域として指定させ、オペレータによって指定された評価領域内に存在している差分画素の数を計数することが望ましい。撮影装置１０Ｌ,１０Ｒの最適な位置関係は、評価領域内の差分画素の数が最小となる位置関係であり、オペレータは、キャリブレーション作業において、撮影装置１０Ｌ,１０Ｒの位置関係を調整する度に評価領域内の差分画素の数を計数・出力する処理を行わせ、出力された差分画素の数の変化方向(差分画素の数が増加したか減少したか)及び変化量に基づいて、評価領域内の差分画素の数が最小となる撮影装置１０Ｌ,１０Ｒの最適な位置関係を認識し、認識した最適な位置関係へ調整することが可能となる。
　なお、評価領域内の差分画素の数は、前画像処理部１４による補正処理の処理条件の適否に応じても変化するので、上記の評価領域内の差分画素の数の計数・出力は、前画像処理部１４による補正処理の処理条件を最適な処理条件へ調整する際にも利用可能である。上記の各態様は本発明の第１４、第１５の態様に対応している。
　また、上記では差分画像に対して繰り返し収縮処理を行うことで、立体物の距離レンジを検出する態様を説明したが、本発明はこれに限定されるものではなく、前述のように、差分画像において、立体物に対応する線状の差分領域の幅は撮影装置と立体物との距離に応じて変化し、撮影装置と立体物との距離が小さくなるに従って、当該立体物に対応する線状の差分領域の幅は広くなるので、線状の差分領域の幅を検出(画素数を計数)し、検出した幅に基づいて立体物の距離レンジを判定するようにしてもよい。本発明の第１１の態様には上記態様も含まれる。
　〔第２実施形態〕
　次に本発明の第２実施形態を説明する。なお、第１実施形態と同一の部分には同一の符号を付し、説明を省略する。
　図９Ａ～図９Ｃには、第１実施形態で説明した撮影装置１０Ｌ,１０Ｒで撮影された左側画像及び右側画像の一方の一例を各々示し、図９Ｄ～図９Ｆには、図９Ａ～図９Ｃに示す画像から第１実施形態で説明した立体物検出装置１２によって生成された差分画像(前画像処理部１４による補正処理、視差補正部１６による視差補正処理を経て、差分画像生成部１８で生成された差分画像)の一例を各々示す。
　図９Ａ～図９Ｃに示す画像は屋内のシーンを撮影した画像であり、撮影時の被写体に対する照明の照度が比較的低いるので、これに伴い画像のコントラストが低下し、画像中の立体物と背景領域との輝度差も小さくなっている。このような画像に対して第１実施形態で説明した立体物検出装置１２で差分画像の生成を行った場合、例えば立体物に起因する差分成分に相当する輪郭線の一部が差分画像上でノイズに埋没する等により、立体物に起因する差分成分が差分画像上に明瞭に現れなくなり、立体物の検出漏れ等が生じる可能性がある。
　例えば図９の例において、図９Ａ～図９Ｃに示す画像では、画像中の左側の領域内で、撮影装置１０Ｌ,１０Ｒから比較的離れた位置に第１の人物が存在しているが、図９Ｄ～図９Ｆに示す差分画像では、第１の人物に相当する輪郭線が明瞭には現れていない。このため、第１の人物が立体物として検出されない可能性がある。また、図９Ａ～図９Ｃに示す画像は、画像中の右側の領域内にも第２の人物が存在しているが、特に、第２の人物が撮影装置１０Ｌ,１０Ｒから比較的離れた位置に存在している図９Ｂ,図９Ｃの画像に対応する図９Ｅ,図９Ｆの差分画像では、第２の人物に相当する輪郭線に途切れ等が発生しており、この輪郭線の途切れにより、第２の人物との距離を誤検出したり、第２の人物を複数の立体物と誤検出する可能性が生ずる。
　なお、前出の(１)式から明らかなように、基線長ｂを増大させれば視差量Ｄが増大するので、立体物の検出精度を向上させることができるが、例えば撮影装置１０Ｌ,１０Ｒを単一の撮影モジュールとして一体化していた場合、基線長ｂの増大は撮影モジュールの大型化を招き、撮影モジュールの剛性を確保するために重量の増加やシステム全体のコストの増大に繋がる。また、撮影モジュールの設置箇所の確保が困難になったり、デザインの自由度の低下する等の問題も生ずる。
　このため、本第２実施形態では、視差補正部１６を、左側画像及び右側画像を予め設定されたシフト量だけ画像の左右方向(Ｘ方向)に沿って相対的にシフトさせた後に視差補正を行う構成としている。すなわち、図１０に示すように、本第２実施形態に係る視差補正部１６は、右側画像の画像データを転送するラッチ群３６の前段(ラッチ群３６と前画像処理部１４との間)に遅延部５０が設けられている。遅延部５０には画素クロックが入力されると共に、左側画像と右側画像との相対的なシフト量Ｓを画素数で表すシフト量情報が装置制御部２６から入力される。そして遅延部５０は、前画像処理部１４から画素毎に順次入力される右側画像の画像データを、装置制御部２６から入力されたシフト量情報が表す画素数分だけ遅延させた後にラッチ群３６へ順次出力することで、左側画像と右側画像とを画像の左右方向(Ｘ方向)に相対的にシフトさせる。
　例として図１１Ａ～図１１Ｃには、図３Ａ～図３Ｃと同一の画像を示すが、これらの画像のうち、図１１Ｃに示す右側画像に対し、視差補正部１６の遅延部５０によって上記の画像データの出力を遅延させる処理が行われた場合、ラッチ群３６には、例として図１１Ｄに示すように、図１１Ｂに示す左側画像に対して画像の左右方向(Ｘ方向)にシフトされた右側画像が入力される。これにより、図１１Ｄに示す右側画像は、図１１Ｅに示す視差補正を経て図１１Ｆに示すような画像に変換される。そして、差分画像生成部１８によって生成される差分画像は、例として図１１Ｇに示すように、視差補正によって幾何学的な視差が補正され、かつ予め設定されたシフト量だけ第１方向に沿って相対的にシフトされた状態での左側画像と右側画像との差分を表す画像、すなわち遅延部５０による画像のシフトを行わない場合よりも、左側画像と右側画像との画像の左右方向(Ｘ方向)の差分が強調された画像となる。
　なお、図１１Ｇでは差分画像上での立体物の輪郭に相当する線を一定の太さの線として示しているが、差分画像上での立体物の輪郭に相当する線は、立体物との距離Ｌにも依存するものの実際には或る程度の太さを有しているので、視差補正に加えて画像のシフトも行って差分画像を生成した場合、図１２Ｂに示すように、立体物の輪郭に相当する線のうち、特に画像の上下方向(Ｙ方向)に延びる線の太さが増大される。
　これにより、立体物に起因する差分成分が差分画像上でノイズに埋没したり、差分画像上の立体物の輪郭に相当する線の一部に途切れが生じたり、立体物に起因する差分成分が差分画像上に明瞭に現れなくなることが抑制される。また、図１２Ｂを、画像シフトを行わない場合を示す図１２Ａと比較しても明らかなように、立体物の輪郭に相当する線のうち、特に画像の上下方向(Ｙ方向)に延びる線の太さが増大されることで、繰り返し収縮処理を行ったとしても差分画像上の立体物に起因する差分成分が消失しにくくなる。従って、基線長ｂを増大させることなく、立体物の検出漏れや誤検出が生ずることを抑制することができる。上記態様は本発明の第１６の態様、より詳しくは本発明の第１７の態様の一例である。
　なお、本第２実施形態で生成される差分画像は、左側画像と右側画像との画像の左右方向(Ｘ方向)の差分が強調された画像であるので、収縮処理を画像の左右方向(Ｘ方向)についての収縮処理と画像の上下方向(Ｙ方向)についての収縮処理とに分け、画像の上下方向(Ｙ方向)についての収縮処理の実行回数を、画像の左右方向(Ｘ方向)についての収縮処理の実行回数よりも少なくすることが好ましい。これにより、立体物の輪郭に相当する差分画像上の線のうち画像の左右方向(Ｘ方向)に延びる線が、収縮処理を繰り返し実行することで消失してしまうことが抑制される。上記事項は本発明の第２０の態様の一例である。
　なお、本第２実施形態におけるシフト量Ｓは、本願発明者が実験を行うことで得られた経験則に基づき、視差補正における補正量(幾何学的な視差(視差量Ｄ))の最大値の１／２以下の大きさとすることが望ましい。例えば、図４Ｃに示した例では、視差補正における補正量(視差量Ｄ)の最大値が５０画素であるので、シフト量Ｓは２５画素以下となる。上記事項は本発明の第２１の態様の一例である。図１０に示す態様では、装置制御部２６から視差補正部１６の遅延部５０に入力されるシフト量情報によってシフト量Ｓが規定されるので、用途等(例えば重点的な検出対象とする立体物の距離レンジ等)に応じて、「視差補正における補正量(視差量Ｄ)の最大値の１／２」の範囲内でシフト量Ｓを変更設定することも容易に実現できる。
　なお、図１０に示した構成では、遅延部５０をラッチ群３６の前段に設けることで、視差補正を行う前に画像のシフト(画像データの出力の遅延)を行っているが、これに限定されるものではなく、例として図１３に示すように、セレクタ４０の後段(セレクタ４０と差分画像生成部１８との間)に遅延部５０を設けることで、視差補正を行った後に画像のシフトを行うようにしてもよい。また、図１０,１３に示した構成では、遅延部５０が右側画像に対して画像のシフト(画像データの出力の遅延)を行っているが、これに限定されるものではなく、左側画像に対して画像のシフトを行うようにしてもよい。上記各態様も本発明の第１６の態様、より詳しくは本発明の第１７の態様の一例である。
　また、図１０,１３に示した構成では、遅延部５０で画像データの出力を遅延させることで画像のシフトを実現しているが、視差補正部１６による視差補正における視差補正量(遅延画素数)を、幾何学的な視差(視差量Ｄ)に相当する補正量にシフト量Ｓに相当する補正量を加えた値とし、視差補正部１６による視差補正によって幾何学的な視差(視差量Ｄ)の補正と画像のシフトを同時に行わせるようにしてもよい。例えば図１４に示す補正量特性ｄは幾何学的な視差(視差量Ｄ)に相当する補正量(遅延画素数)を表しているが、この補正量特性ｄが表す補正量にシフト量Ｓに相当する補正量(図１４ではシフト量Ｓに相当する補正量(遅延画素数)＝５としている)を加算した場合、図１４に示す補正量特性ｄ'が得られる。この補正量特性ｄ'に従って視差補正部１６が視差補正を行うことで、遅延部５０等を設けることなく、幾何学的な視差(視差量Ｄ)とシフト量＝５画素分の画像シフトが同時に実現される。これにより、差分画像生成部１８によって左側画像と右側画像との画像の左右方向(Ｘ方向)の差分が強調された差分画像が生成される。
　なお、視差補正部１６による視差補正における視差補正量(遅延画素数)を、幾何学的な視差(視差量Ｄ)に相当する補正量にシフト量Ｓに相当する補正量を加えた値とすることは、例えば装置制御部２６が、視差量Ｄを演算した際に、演算した視差量Ｄにシフト量Ｓを加算し、加算後の値をＹ座標値と対応付けて視差量情報を生成し、生成した視差量情報を視差補正部１６の視差情報記憶部４４に書き込む処理を行うことで実現できる。また、シフト量Ｓが装置制御部２６から視差補正部１６に通知され、視差補正部１６の視差補正制御部４２が、視差情報記憶部４４から読み出した視差量Ｄにシフト量Ｓを加算した後に、選択信号としてセレクタ３８,４０へ出力する処理を行うことによっても実現することができる。上記の態様は本発明の第１６の態様、より詳しくは本発明の第１８の態様の一例である。
　また、左側画像と右側画像とを画像の左右方向(Ｘ方向)に相対的にシフトさせることは、撮影装置１０Ｌ及び撮影装置１０Ｒを、撮影装置１０Ｌ及び撮影装置１０Ｒから離れるに従って各々の撮影光軸の間隔が大きくなる向きに配置することによっても実現することができる。例えば図１５には、撮影装置１０Ｌの撮影光軸に対し、撮影装置１０Ｒの撮影光軸を平行より外向きに配置した態様を示す。なお、図１５における基線長ｂは従来通りである。また、撮影装置１０Ｒの撮影光軸を平行より外向きに配置することに代えて、撮影装置１０Ｌの撮影光軸を平行より外向きに配置してもよいし、撮影装置１０Ｌ,１０Ｒの撮影光軸を各々並行より外向きに配置してもよい。
　図１５の配置で得られる全視差量ｄ'は、撮影装置１０Ｌ,１０Ｒの撮影光軸が平行の場合に得られる視差量ｄ(＝ｄ1＋ｄ2)と、撮影装置１０Ｒの撮影光軸を平行より外向きに配置したことで生じた視差量ｄ3と、の和で与えられる。視差量ｄ3は距離Ｌに依存しない成分であり、シフト量Ｓに応じて予め調整される。例えば視差量ｄ3が５画素分である場合、他の条件が同一であれば、視差量ｄは図１４に示す補正量特性ｄが表す遅延画素数(＝視差量Ｄ)に一致し、全視差量ｄ'は図１４に示す補正量特性ｄ'が表す遅延画素数(＝視差量Ｄ＋シフト量Ｓ)に一致する。
　この態様は、図１０,１３に示した態様と同様に、視差補正部１６において、幾何学的な視差(視差量Ｄ)を補正する視差補正を行うことで、差分画像生成部１８によって左側画像と右側画像との画像の左右方向(Ｘ方向)の差分が強調された差分画像が生成される。上記の態様では、シフト量Ｓを変更するためには撮影装置１０Ｌ,１０Ｒの少なくとも一方の向きを調整する必要があるので、実質的にシフト量Ｓの変更が困難であるが、第１実施形態に対して立体物検出装置１２の構成を変更することなく、左側画像と右側画像との画像の左右方向(Ｘ方向)の差分が強調された差分画像を生成できる、という利点を有する。なお、上記の態様は本発明の第１６の態様、より詳しくは本発明の第１９の態様の一例である。
　また、上記では撮影光源を特に設置せず、撮影装置１０Ｌ,１０Ｒが自然光を照明光として撮影を行う態様を想定して説明したが、これに限定されるものではなく、例えば近赤外光を発する光源を撮影光源として設置し、撮影装置１０Ｌ,１０Ｒを、撮影光源から発せられて被写体で反射した光で撮影を行うように構成してもよい。また、照明光は近赤外光以外の波長域の光であってもよい。
　また、上記では本発明におかる差分情報(差分画像)の一例として、第１画像と第２画像との輝度の差分(或いは濃度、或いはＨＳＶ色空間における明度(但し、Ｈは色相、Ｓは彩度(又は飽和度)、Ｖは明度)を表す差分情報(差分画像)を生成する態様を説明したが、これに限定されるものではなく、第１画像及び第２画像がカラー画像であれば、差分情報(差分画像)として、例えば第１画像と第２画像との色相、或いは彩度(又は飽和度)の差分を表す差分情報(差分画像)を生成するようにしてもよい。また、複数のパラメータを組み合わせ、例えば第１画像と第２画像との輝度の差分と、第１画像と第２画像との色相(或いは彩度)の差分と、の論理和に相当する画像を、差分情報(差分画像)として生成するようにしてもよい。また、第１画像及び第２画像に対してエッジ抽出等のフィルタ処理を各々行って得られた画像から、両画像の輝度等の差分を表す差分情報(差分画像)を生成するようにしてもよい。
　また、上記では収縮処理を単独で行う態様を説明したが、任意のフィルタ処理、例えば膨張処理と組み合わせ、例えば収縮処理を複数回実行する度に膨張処理を１回実行する等のように、異なる実行回数で収縮処理と膨張処理を交互に実行するようにしてもよい。これにより、差分画像の断片化を防止することができる。また、収縮処理と膨張処理を組み合わせることに代えて、細線化処理等の他の画像処理を適用してもよい。
　また、上記では撮影装置１０Ｌ,１０Ｒ及び立体物検出装置１２が車両に搭載され、車両前方の空間に存在する立体物(障害物)を検出する態様を例に説明したが、本発明に係る画像処理装置の用途はこれに限られるものではなく、例えば自走式のロボットにおける障害物の検出等、様々な用途に適用可能であることは言うまでもない。
　更に、本実施形態に係る立体物検出装置１２による処理は、全てコンピュータによる処理に置き換え可能であり、上記処理をコンピュータによって行わせるようにしてもよい。この場合、上記処理をコンピュータによって行わせるためのプログラムは、本発明の第２４の態様に係る画像処理プログラムの一例であり、コンピュータが上記プログラムを実行することで、コンピュータが本発明の第１の態様に係る画像処理装置として機能することになる。また、上記のプログラムは、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等の記録媒体に記録されている形態で提供することも可能である。この態様における記録媒体は本発明の第２５の態様に係る記録媒体の一例である。
　なお、日本出願（特願２０１０－０６５１６６号）の開示はその全体が参照により本明細書に取り込まれる。
　また、本明細書に記載された全ての文献、特許出願、および技術規格は、個々の文献、特許出願、および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (25)

  1. 　視差に相当する、第１撮影装置によって撮影された第１画像と、前記第１撮影装置と水平方向位置の異なる第２撮影装置によって撮影された第２画像と、の前記水平方向に対応する画像上の第１方向に沿った偏倚量を表す偏倚量情報を、鉛直方向に対応する画像上の第２方向に沿った画像上の各位置について各々記憶する記憶手段と、
    　前記第１撮影装置によって撮影された第１画像及び前記第２撮影装置によって撮影された第２画像を各々取得する取得手段と、
    　画像中の前記第１方向に沿った画素列の前記第１方向に沿った画像上の位置を、前記画素列の前記第２方向に沿った画像上の位置に対応する前記偏倚量情報が表す前記偏倚量に応じて、前記第１画像と前記第２画像とで相対的に移動させる視差補正を、画像中の前記第１方向に沿った各画素列に対して各々行う処理手段と、
    　前記処理手段による前記視差補正を経た前記第１画像と前記第２画像との差分を表す差分情報を生成する生成手段と、
    　を含む画像処理装置。
  2. 　前記生成手段は、前記差分情報として、前記第１画像と前記第２画像との差分を画素毎に表す差分画像を生成し、
    　前記生成手段によって生成された前記差分画像中に存在する、前記第１画像と前記第２画像との差分有りを表す差分画素を対象として収縮処理を行うことで、前記差分画像のノイズを除去する除去手段を更に備えた請求項１記載の画像処理装置。
  3. 　前記記憶手段に記憶されている偏倚量情報が表す偏倚量は当該偏倚量を画素数で表す偏倚量Ｄであり、偏倚量Ｄは、前記第１撮影装置及び前記第２撮影装置の設置位置における地面からの撮影光軸の高さをｈ_cam、鉛直方向に対する撮影光軸の傾斜角度をθ、光学系の焦点距離をｆ、画像の前記第１方向に沿った画素数をｗ、前記第２方向に沿った画素数をｈ、画像の前記第１方向に沿った撮像サイズをｗ_img、前記第２方向に沿った撮像サイズをｈ_img、前記第２方向に沿った画像上の位置(画素数)をＰ、前記第１撮影装置と前記第２撮影装置の撮影光軸の距離である基線長をｂとしたときに、
    Ｄ＝ｂ×ｆ／Ｌ_cam×(ｗ／２)／(ｗ_ing／２)　…(１)
    但し、Ｌ_camは、地面上に位置しかつ第２方向に沿って画像上の位置(画素数)Ｐに結像する物体と、前記第１撮影装置又は前記第２撮影装置との直線距離、Ｌは前記物体と前記第１撮影装置又は前記第２撮影装置との距離であり、
    Ｌ_cam＝√(ｈ_cam2＋Ｌ2)×cos(tan-1(Ｌ／ｈ_cam)－θ)　…(２)
    Ｌ＝tan(tan-1((Ｐ－(ｈ／２))×(ｈ_img／２)／(ｈ／２)／ｆ)＋θ)×ｈ_cam　…(３)
    上記(１)～(３)式の演算を行うことで予め導出される請求項１又は請求項２記載の画像処理装置。
  4. 　前記偏倚量情報は、前記第１方向に沿った画像上の各位置における前記偏倚量を画素数で表す情報であり、
    　前記処理手段は、前記第１画像又は前記第２画像の出力を画素単位で遅延させる遅延手段を備え、前記第１画像及び前記第２画像を画素単位で並列に前記生成手段へ出力するにあたり、出力対象の前記画素列の前記第１方向に沿った画像上の位置に対応する前記偏倚量が表す画素数分だけ、前記第１画像の出力又は前記第２画像の出力を前記遅延手段によって相対的に遅延させる前記視差補正を、出力対象の前記画素列の前記第１方向に沿った画像上の位置の変化に応じて前記遅延手段による遅延画素数を切替えながら行う請求項１～請求項３の何れか１項記載の画像処理装置。
  5. 　前記遅延手段は、前記第１画像又は前記第２画像の出力を１画素分遅延させる遅延部が直列に複数接続されて構成されており、
    　前記処理手段は、出力対象の前記画素列の前記第１方向に沿った画像上の位置に対応する前記偏倚量が表す画素数に対応する数の前記遅延部を通過したデータを、前記第１画像又は前記第２画像として出力するデータとして選択することで、前記第１画像又は前記第２画像として出力するデータを前記画素数分だけ遅延させる請求項４記載の画像処理装置。
  6. 　前記処理手段は、前記第１方向に沿った画像上の位置が、予め設定された水平線に相当する位置よりも鉛直方向上側に対応する範囲に位置している前記画素列を前記視差補正の対象から除外する請求項１～請求項５の何れか１項記載の画像処理装置。
  7. 　前記取得手段によって取得された前記第１画像及び前記第２画像に対し、前記第１撮影装置と前記第２撮影装置の前記水平方向に沿った撮影範囲の相違、撮影倍率の相違、撮影光軸回りの回転角の相違、及び、輝度の相違、の少なくとも１つを補正する補正手段を更に備え、
    　前記処理手段は、前記補正手段による前記補正を経た前記第１画像及び前記第２画像に対して前記視差補正を行う請求項１～請求項６の何れか１項記載の画像処理装置。
  8. 　前記生成手段によって生成された差分情報に基づいて、前記第１撮影装置及び前記第２撮影装置の撮影範囲内に各々存在している立体物を検出する立体物検出手段を更に備えた請求項１～請求項７の何れか１項記載の画像処理装置。
  9. 　前記立体物検出手段による前記立体物の検出結果を出力する出力手段を更に備えた請求項８記載の画像処理装置。
  10. 　前記生成手段は、前記差分情報として、前記第１画像と前記第２画像との差分を画素毎に表す差分画像を生成し、
    　前記立体物検出手段は、前記生成手段によって生成された前記差分画像中に存在する、前記第１画像と前記第２画像との差分有りを表す差分画素の前記差分画像上での分布に基づいて、前記差分画像から前記立体物に相当する画像領域を抽出することで、前記立体物に相当する画像領域の画像上での位置を検出する請求項８又は請求項９記載の画像処理装置。
  11. 　前記生成手段は、前記差分情報として、前記第１画像と前記第２画像との差分を画素毎に表す差分画像を生成し、
    　前記立体物検出手段は、前記生成手段によって生成された前記差分画像から前記立体物に相当する画像領域を抽出し、抽出した個々の前記画像領域内に存在する、前記第１画像と前記第２画像との差分有りを表す差分画素から成る線状の差分領域の幅に基づいて、個々の画像領域に対応する立体物との距離を検出する請求項８又は請求項９記載の画像処理装置。
  12. 　前記生成手段は、前記差分情報として、前記第１画像と前記第２画像との差分を画素毎に表す差分画像を生成し、
    　前記立体物検出手段は、前記生成手段によって生成された前記差分画像から前記立体物に相当する画像領域を抽出し、前記差分画像中に存在する、前記第１画像と前記第２画像との差分有りを表す差分画素を対象として収縮処理を行うことを、抽出した個々の前記画像領域内に存在する前記差分画素から成る線状の差分領域が消滅したか否かを個々の前記画像領域毎に判定しながら繰り返し、前記線状の差分領域が個々の前記画像領域から消滅した時点での前記収縮処理の実行回数に基づいて、個々の画像領域に対応する立体物との距離を検出する請求項８、請求項９及び請求項１１の何れか１項記載の画像処理装置。
  13. 　前記生成手段は、前記差分情報として、前記第１画像と前記第２画像との差分を画素毎に表す差分画像を生成し、
    　前記立体物検出手段は、前記差分画像中に存在する、前記第１画像と前記第２画像との差分有りを表す差分画素を対象として収縮処理を複数回行うと共に、前記差分画素から成る線状の差分領域が前記差分画像から消滅したか否かを判定し、
    　前記出力手段は、前記線状の差分領域が前記差分画像から消滅した時点での前記収縮処理の実行回数が閾値未満か否か、又は、前記収縮処理を所定回実行した時点で前記線状の差分領域が前記差分画像から消滅したか否かに応じて、立体物検出信号を出力するか否か、又は、出力する立体物検出信号の種類を切り替える請求項９記載の画像処理装置。
  14. 　前記生成手段は、前記差分情報として、前記第１画像と前記第２画像との差分を画素毎に表す差分画像を生成し、
    　前記生成手段によって生成された前記差分画像中に存在する、前記第１画像と前記第２画像との差分有りを表す差分画素の数を計数し、計数結果を出力する画素数計数手段を更に備えた請求項１～請求項１３の何れか１項記載の画像処理装置。
  15. 　前記画素数計数手段は、前記差分画像のうち指定手段を介して指定された領域内に存在する前記差分画素の数を計数する請求項１４記載の画像処理装置。
  16. 　前記生成手段は、前記処理手段による前記視差補正を経た前記第１画像と前記第２画像との差分を画素毎に表す差分画像を生成し、
    　前記生成手段によって生成される前記差分画像が、前記処理手段による前記視差補正によって幾何学的な視差が補正され、かつ予め設定されたシフト量だけ前記第１方向に沿って相対的にシフトされた状態での前記第１画像と前記第２画像との差分を表す差分画像となるように構成された請求項１～請求項１５の何れか１項記載の画像処理装置。
  17. 　前記記憶手段に記憶されている前記偏倚量情報が表す偏倚量が前記幾何学的な視差に相当する偏倚量とされ、
    　前記処理手段は、前記第１画像及び前記第２画像に対して前記視差補正を行う前又は前記視差補正を行った後に、前記第１画像と前記第２画像とを予め設定されたシフト量だけ前記第１方向に沿って相対的にシフトさせる請求項１６記載の画像処理装置。
  18. 　前記記憶手段に記憶されている前記偏倚量情報が表す偏倚量が、前記幾何学的な視差に相当する偏倚量に予め設定された前記シフト量に相当する偏倚量を加えた偏倚量とされているか、又は、前記記憶手段に記憶されている前記偏倚量情報が表す偏倚量が、前記幾何学的な視差に相当する偏倚量とされ、前記処理手段による前記視差補正に用いられる前に前記シフト量に相当する偏倚量が加えられる請求項１６記載の画像処理装置。
  19. 　前記記憶手段に記憶されている前記偏倚量情報が表す偏倚量が前記幾何学的な視差に相当する偏倚量とされ、
    　前記第１撮影装置及び前記第２撮影装置は、前記第１撮影装置の撮影光軸と前記第２撮影装置の撮影光軸との間隔が、前記第１撮影装置及び前記第２撮影装置から離れるに従って大きくなる向きとされ、前記第１画像と前記第２画像とが、予め設定されたシフト量だけ前記第１方向に沿って相対的にシフトされた状態となるように前記向きが調整されている請求項１６記載の画像処理装置。
  20. 　前記生成手段によって生成された前記差分画像中に存在する、前記第１画像と前記第２画像との差分有りを表す差分画素を対象として、前記第２方向に沿った収縮処理を第１回数だけ実行すると共に、前記第１方向に沿った収縮処理を、前記第１回数よりも多い第２回数実行する収縮処理手段を更に備えた請求項１６～請求項１９の何れか１項記載の画像処理装置。
  21. 　前記シフト量は、前記幾何学的な視差に相当する偏倚量の最大値の１／２以下の大きさに設定されている請求項１６～請求項１９の何れか１項記載の画像処理装置。
  22. 　前記第１撮影装置及び前記第２撮影装置は、前記第１撮影装置の撮影光軸と前記第２撮影装置の撮影光軸との間隔が、前記第１撮影装置及び前記第２撮影装置から離れるに従って大きくなる向きとされている請求項１記載の画像処理装置。
  23. 　記憶手段は、視差に相当する、第１撮影装置によって撮影された第１画像と、前記第１撮影装置と水平方向位置の異なる第２撮影装置によって撮影された第２画像と、の前記水平方向に対応する画像上の第１方向に沿った偏倚量を表す偏倚量情報を、鉛直方向に対応する画像上の第２方向に沿った画像上の各位置について各々記憶し、
    　取得手段は、前記第１撮影装置によって撮影された第１画像及び前記第２撮影装置によって撮影された第２画像を各々取得し、
    　処理手段は、画像中の前記第１方向に沿った画素列の前記第１方向に沿った画像上の位置を、前記画素列の前記第２方向に沿った画像上の位置に対応する前記偏倚量情報が表す前記偏倚量に応じて、前記第１画像と前記第２画像とで相対的に移動させる視差補正を、画像中の前記第１方向に沿った各画素列に対して各々行い、
    　生成手段は、前記処理手段による前記視差補正を経た前記第１画像と前記第２画像との差分を表す差分情報を生成する
    　画像処理方法。
  24. 　視差に相当する、第１撮影装置によって撮影された第１画像と、前記第１撮影装置と水平方向位置の異なる第２撮影装置によって撮影された第２画像と、の前記水平方向に対応する画像上の第１方向に沿った偏倚量を表す偏倚量情報を、鉛直方向に対応する画像上の第２方向に沿った画像上の各位置について各々記憶する記憶手段と接続されたコンピュータを、
    　前記第１撮影装置によって撮影された第１画像及び前記第２撮影装置によって撮影された第２画像を各々取得する取得手段、
    　画像中の前記第１方向に沿った画素列の前記第１方向に沿った画像上の位置を、前記画素列の前記第２方向に沿った画像上の位置に対応する前記偏倚量情報が表す前記偏倚量に応じて、前記第１画像と前記第２画像とで相対的に移動させる視差補正を、画像中の前記第１方向に沿った各画素列に対して各々行う処理手段、
    　及び、前記処理手段による前記視差補正を経た前記第１画像と前記第２画像との差分を表す差分情報を生成する生成手段
    　として機能させるための画像処理プログラム。
  25. 　視差に相当する、第１撮影装置によって撮影された第１画像と、前記第１撮影装置と水平方向位置の異なる第２撮影装置によって撮影された第２画像と、の前記水平方向に対応する画像上の第１方向に沿った偏倚量を表す偏倚量情報を、鉛直方向に対応する画像上の第２方向に沿った画像上の各位置について各々記憶する記憶手段と接続されたコンピュータを、
    　前記第１撮影装置によって撮影された第１画像及び前記第２撮影装置によって撮影された第２画像を各々取得する取得手段、
    　画像中の前記第１方向に沿った画素列の前記第１方向に沿った画像上の位置を、前記画素列の前記第２方向に沿った画像上の位置に対応する前記偏倚量情報が表す前記偏倚量に応じて、前記第１画像と前記第２画像とで相対的に移動させる視差補正を、画像中の前記第１方向に沿った各画素列に対して各々行う処理手段、
    　及び、前記処理手段による前記視差補正を経た前記第１画像と前記第２画像との差分を表す差分情報を生成する生成手段
    　として機能させるための画像処理プログラムが記録された記録媒体。
PCT/JP2011/056118 2010-03-19 2011-03-15 画像処理装置、方法、プログラム及び記録媒体 WO2011115142A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201180014515.1A CN102792333B (zh) 2010-03-19 2011-03-15 图像处理装置、方法、程序以及记录介质
US13/132,976 US8917929B2 (en) 2010-03-19 2011-03-15 Image processing apparatus, method, program, and recording medium
JP2012505712A JP5792157B2 (ja) 2010-03-19 2011-03-15 画像処理装置、方法、プログラム及び記録媒体

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-065166 2010-03-19
JP2010065166 2010-03-19

Publications (1)

Publication Number Publication Date
WO2011115142A1 true WO2011115142A1 (ja) 2011-09-22

Family

ID=44649226

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/056118 WO2011115142A1 (ja) 2010-03-19 2011-03-15 画像処理装置、方法、プログラム及び記録媒体

Country Status (4)

Country Link
US (1) US8917929B2 (ja)
JP (1) JP5792157B2 (ja)
CN (1) CN102792333B (ja)
WO (1) WO2011115142A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014089548A (ja) * 2012-10-30 2014-05-15 Sharp Corp 路面段差検出方法、路面段差検出装置、路面段差検出装置を備えた車両
CN103843333A (zh) * 2011-09-29 2014-06-04 富士胶片株式会社 控制立体图像的显示的方法、控制立体图像显示的装置以及成像装置
JP7015078B1 (ja) 2020-12-01 2022-02-02 勇祐 鈴木 検査方法および検査システム

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011115142A1 (ja) * 2010-03-19 2011-09-22 Ｏｋｉセミコンダクタ株式会社 画像処理装置、方法、プログラム及び記録媒体
DE102011011929A1 (de) * 2011-02-18 2012-08-23 Hella Kgaa Hueck & Co. Verfahren zum Detektieren von Zielobjekten in einem Überwachungsbereich
JP5367749B2 (ja) * 2011-03-25 2013-12-11 株式会社東芝 サーバ装置、通信方法およびプログラム
KR101850386B1 (ko) * 2011-04-19 2018-04-19 엘지전자 주식회사 로봇 청소기 및 이의 제어 방법
DE102012002321B4 (de) * 2012-02-06 2022-04-28 Airbus Defence and Space GmbH Verfahren zur Erkennung eines vorgegebenen Musters in einem Bilddatensatz
JP5773944B2 (ja) * 2012-05-22 2015-09-02 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法
US9544574B2 (en) * 2013-12-06 2017-01-10 Google Inc. Selecting camera pairs for stereoscopic imaging
US9565416B1 (en) 2013-09-30 2017-02-07 Google Inc. Depth-assisted focus in multi-camera systems
JP6151150B2 (ja) * 2013-10-07 2017-06-21 日立オートモティブシステムズ株式会社 物体検出装置及びそれを用いた車両
CN104506842A (zh) 2015-01-15 2015-04-08 京东方科技集团股份有限公司 三维摄像头模组、终端设备以及测距方法
JP6452585B2 (ja) 2015-10-01 2019-01-16 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および位置情報取得方法
CN108541305A (zh) 2015-12-21 2018-09-14 株式会社小糸制作所 车辆用图像获取装置和包括该装置的车辆
EP3396410A4 (en) 2015-12-21 2019-08-21 Koito Manufacturing Co., Ltd. IMAGE ACQUISITION DEVICE FOR VEHICLES, CONTROL DEVICE, VEHICLE HAVING IMAGE ACQUISITION DEVICE FOR VEHICLES AND CONTROL DEVICE, AND IMAGE ACQUISITION METHOD FOR VEHICLES
US11194023B2 (en) 2015-12-21 2021-12-07 Koito Manufacturing Co., Ltd. Image acquiring apparatus for vehicle, control device, vehicle having image acquiring apparatus for vehicle or control device, and image acquiring method for vehicle
EP3396414A4 (en) 2015-12-21 2019-08-21 Koito Manufacturing Co., Ltd. IMAGING APPARATUS FOR USE BY A VEHICLE, CONTROL DEVICE, VEHICLE WITH THE CONTROL DEVICE OR IMAGING DEVICE FOR USE BY A VEHICLE AND IMAGE RECORDING FOR USE BY A VEHICLE
KR102565485B1 (ko) * 2016-01-11 2023-08-14 한국전자통신연구원 도시 거리 검색 서비스 제공 서버 및 방법
JP6780983B2 (ja) * 2016-08-18 2020-11-04 マクセル株式会社 画像処理システム
US11361380B2 (en) * 2016-09-21 2022-06-14 Allstate Insurance Company Enhanced image capture and analysis of damaged tangible objects
JP6794243B2 (ja) * 2016-12-19 2020-12-02 日立オートモティブシステムズ株式会社 物体検出装置
US10984555B2 (en) * 2017-03-30 2021-04-20 Mitsubishi Electric Corporation Object detection device and vehicle
JP6953247B2 (ja) * 2017-09-08 2021-10-27 ラピスセミコンダクタ株式会社 ゴーグル型表示装置、視線検出方法及び視線検出システム
US11158088B2 (en) * 2017-09-11 2021-10-26 Tusimple, Inc. Vanishing point computation and online alignment system and method for image guided stereo camera optical axes alignment
US11089288B2 (en) 2017-09-11 2021-08-10 Tusimple, Inc. Corner point extraction system and method for image guided stereo camera optical axes alignment
JP2019145571A (ja) * 2018-02-16 2019-08-29 株式会社東芝 半導体装置
WO2020263498A1 (en) * 2019-06-25 2020-12-30 Snap Inc. Vanishing point stereoscopic image correction
CN111914764B (zh) * 2020-08-05 2023-09-15 杭州睿琪软件有限公司 图像处理方法、图像处理装置、电子设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07306037A (ja) * 1994-05-11 1995-11-21 Nippon Soken Inc 立体物領域検出装置及び立体物領域迄の距離測定装置及びそれらの検出、測定方法
JP2009088840A (ja) * 2007-09-28 2009-04-23 Saxa Inc ステレオ画像処理装置及び同画像処理用プログラム

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5963664A (en) * 1995-06-22 1999-10-05 Sarnoff Corporation Method and system for image combination using a parallax-based technique
US5825915A (en) * 1995-09-12 1998-10-20 Matsushita Electric Industrial Co., Ltd. Object detecting apparatus in which the position of a planar object is estimated by using hough transform
US6108440A (en) * 1996-06-28 2000-08-22 Sony Corporation Image data converting method
WO1998004087A1 (fr) * 1996-07-18 1998-01-29 Sanyo Electric Co., Ltd. Dispositif et procede pour convertir des signaux video bidimensionnels en signaux video tridimensionnels
JPH10178564A (ja) * 1996-10-17 1998-06-30 Sharp Corp パノラマ画像作成装置及び記録媒体
US6512857B1 (en) * 1997-05-09 2003-01-28 Sarnoff Corporation Method and apparatus for performing geo-spatial registration
US6597818B2 (en) * 1997-05-09 2003-07-22 Sarnoff Corporation Method and apparatus for performing geo-spatial registration of imagery
US6269175B1 (en) * 1998-08-28 2001-07-31 Sarnoff Corporation Method and apparatus for enhancing regions of aligned images using flow estimation
JP3798161B2 (ja) * 1998-10-29 2006-07-19 株式会社ニデック 眼底計測装置及び眼底計測プログラムを記録した記録媒体
JP2000293693A (ja) 1999-03-31 2000-10-20 Toshiba Corp 障害物検出方法および装置
JP3867883B2 (ja) * 1999-06-01 2007-01-17 株式会社リコー 画像合成処理方法、画像合成処理装置及び記録媒体
JP3263931B2 (ja) 1999-09-22 2002-03-11 富士重工業株式会社 ステレオマッチング装置
US6829383B1 (en) * 2000-04-28 2004-12-07 Canon Kabushiki Kaisha Stochastic adjustment of differently-illuminated images
US6714672B1 (en) * 1999-10-27 2004-03-30 Canon Kabushiki Kaisha Automated stereo fundus evaluation
US6862364B1 (en) * 1999-10-27 2005-03-01 Canon Kabushiki Kaisha Stereo image processing for radiography
ATE278298T1 (de) * 1999-11-26 2004-10-15 Sanyo Electric Co Verfahren zur 2d/3d videoumwandlung
JP4610799B2 (ja) * 2001-06-25 2011-01-12 オリンパス株式会社 立体観察システム、及び内視鏡装置
CN1675937B (zh) * 2002-08-20 2011-08-24 江良一成 生成立体图像的方法和装置
JP4095491B2 (ja) * 2003-05-19 2008-06-04 本田技研工業株式会社 距離測定装置、距離測定方法、及び距離測定プログラム
JP2004363758A (ja) * 2003-06-03 2004-12-24 Konica Minolta Photo Imaging Inc 画像処理方法、撮像装置、画像処理装置及び画像記録装置
US7593597B2 (en) * 2003-08-06 2009-09-22 Eastman Kodak Company Alignment of lens array images using autocorrelation
JP4069855B2 (ja) * 2003-11-27 2008-04-02 ソニー株式会社 画像処理装置及び方法
US7376250B2 (en) * 2004-01-05 2008-05-20 Honda Motor Co., Ltd. Apparatus, method and program for moving object detection
WO2005081178A1 (en) * 2004-02-17 2005-09-01 Yeda Research & Development Co., Ltd. Method and apparatus for matching portions of input images
US7617022B1 (en) * 2004-07-01 2009-11-10 Rockwell Collins, Inc. Dual wavelength enhanced vision system optimized for visual landing light alignment
US7742634B2 (en) * 2005-03-15 2010-06-22 Omron Corporation Image processing method, three-dimensional position measuring method and image processing apparatus
JP2007235642A (ja) 2006-03-02 2007-09-13 Hitachi Ltd 障害物検知システム
JP5234894B2 (ja) * 2007-06-28 2013-07-10 富士重工業株式会社 ステレオ画像処理装置
JP4856611B2 (ja) * 2007-10-29 2012-01-18 富士重工業株式会社 物体検出装置
JP4956452B2 (ja) * 2008-01-25 2012-06-20 富士重工業株式会社 車両用環境認識装置
JP4886716B2 (ja) * 2008-02-26 2012-02-29 富士フイルム株式会社 画像処理装置および方法並びにプログラム
JP2010011441A (ja) * 2008-05-26 2010-01-14 Sanyo Electric Co Ltd 撮像装置及び画像再生装置
US8600193B2 (en) * 2008-07-16 2013-12-03 Varian Medical Systems, Inc. Image stitching and related method therefor
WO2010035443A1 (ja) * 2008-09-26 2010-04-01 パナソニック株式会社 映像信号処理装置及び映像信号処理方法
JP5402715B2 (ja) * 2009-06-29 2014-01-29 ソニー株式会社 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
WO2011115142A1 (ja) * 2010-03-19 2011-09-22 Ｏｋｉセミコンダクタ株式会社 画像処理装置、方法、プログラム及び記録媒体
US8878950B2 (en) * 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
JP2012186781A (ja) * 2011-02-18 2012-09-27 Sony Corp 画像処理装置および画像処理方法
JP2012198075A (ja) * 2011-03-18 2012-10-18 Ricoh Co Ltd ステレオカメラ装置、画像補整方法
JP2013114517A (ja) * 2011-11-29 2013-06-10 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07306037A (ja) * 1994-05-11 1995-11-21 Nippon Soken Inc 立体物領域検出装置及び立体物領域迄の距離測定装置及びそれらの検出、測定方法
JP2009088840A (ja) * 2007-09-28 2009-04-23 Saxa Inc ステレオ画像処理装置及び同画像処理用プログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103843333A (zh) * 2011-09-29 2014-06-04 富士胶片株式会社 控制立体图像的显示的方法、控制立体图像显示的装置以及成像装置
JP2014089548A (ja) * 2012-10-30 2014-05-15 Sharp Corp 路面段差検出方法、路面段差検出装置、路面段差検出装置を備えた車両
JP7015078B1 (ja) 2020-12-01 2022-02-02 勇祐 鈴木 検査方法および検査システム
JP2022087382A (ja) * 2020-12-01 2022-06-13 勇祐 鈴木 検査方法および検査システム

Also Published As

Publication number Publication date
US8917929B2 (en) 2014-12-23
US20110311130A1 (en) 2011-12-22
CN102792333A (zh) 2012-11-21
JPWO2011115142A1 (ja) 2013-06-27
CN102792333B (zh) 2016-11-23
JP5792157B2 (ja) 2015-10-07

Similar Documents

Publication Publication Date Title
JP5792157B2 (ja) 画像処理装置、方法、プログラム及び記録媒体
KR101121034B1 (ko) 복수의 이미지들로부터 카메라 파라미터를 얻기 위한 시스템과 방법 및 이들의 컴퓨터 프로그램 제품
CN111566437B (zh) 三维测量系统以及三维测量方法
US11039121B2 (en) Calibration apparatus, chart for calibration, chart pattern generation apparatus, and calibration method
KR101666959B1 (ko) 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
WO2014061372A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN111462503B (zh) 车辆测速方法、装置及计算机可读存储介质
WO2014002849A1 (ja) ３次元測定方法、装置及びシステム、並びに画像処理装置
US20200068186A1 (en) Stereo camera
JP2006252473A (ja) 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
JP2004117078A (ja) 障害物検出装置及び方法
JP5156601B2 (ja) 形状測定装置およびプログラム
JP2008082870A (ja) 画像処理プログラム及びこれを用いた路面状態計測システム
JP4055998B2 (ja) 距離検出装置、距離検出方法、及び距離検出プログラム
US9530240B2 (en) Method and system for rendering virtual views
JP4701848B2 (ja) 画像マッチング装置、画像マッチング方法および画像マッチング用プログラム
CN112184793B (zh) 深度数据的处理方法、装置及可读存储介质
KR101453143B1 (ko) 스테레오 매칭 처리 시스템, 스테레오 매칭 처리 방법, 및 기록 매체
JP2012185712A (ja) 画像照合装置または画像照合方法
Kruger et al. In-factory calibration of multiocular camera systems
JP6429483B2 (ja) 情報処理装置、撮像装置、情報処理システム、情報処理方法およびプログラム
JP2008224323A (ja) ステレオ写真計測装置、ステレオ写真計測方法及びステレオ写真計測用プログラム
CN106303501B (zh) 基于图像稀疏特征匹配的立体图像重构方法及装置
JP5891751B2 (ja) 画像間差分装置および画像間差分方法
JPH07306037A (ja) 立体物領域検出装置及び立体物領域迄の距離測定装置及びそれらの検出、測定方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180014515.1

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 13132976

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11756326

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012505712

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11756326

Country of ref document: EP

Kind code of ref document: A1