WO2019058729A1 - ステレオカメラ - Google Patents

ステレオカメラ Download PDF

Info

Publication number
WO2019058729A1
WO2019058729A1 PCT/JP2018/026817 JP2018026817W WO2019058729A1 WO 2019058729 A1 WO2019058729 A1 WO 2019058729A1 JP 2018026817 W JP2018026817 W JP 2018026817W WO 2019058729 A1 WO2019058729 A1 WO 2019058729A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
entrance pupil
pupil center
unit
reference image
Prior art date
Application number
PCT/JP2018/026817
Other languages
English (en)
French (fr)
Inventor
青木　利幸
別井　圭一
伊知郎 久住
Original Assignee
日立オートモティブシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立オートモティブシステムズ株式会社 filed Critical 日立オートモティブシステムズ株式会社
Priority to US16/643,675 priority Critical patent/US11346663B2/en
Publication of WO2019058729A1 publication Critical patent/WO2019058729A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G01C3/085—Use of electric radiation detectors with electronic parallax measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/14—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0129—Head-up displays characterised by optical features comprising devices for correcting parallax
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording

Definitions

  • the present invention relates to stereo cameras.
  • Patent Document 1 stores correction information for correcting distortion of images of two imaging units, and geometrically corrects two images using the correction information of the images to obtain two images. After calculating the disparity between them, the distance is calculated.
  • the distortion of the first optical element is smaller than that of the second optical element, in the two imaging units, the transmittance of the first optical element on the image side used for recognition is higher than that of the other second optical element,
  • the recognition performance is improved. Reduce the variation.
  • FIG. Information that sets up a chart in front of a stereo camera, captures a chart in which patterns of multiple feature points are drawn on the chart, detects feature point positions on the image, and corrects image distortion Create The image is taken at different distances from the chart, the manufacturing error and the installation error are estimated by the difference in the feature point position, the deviation of the correction information of the image due to the manufacturing error and the installation error is corrected, and the image correction information Improve the accuracy of
  • Patent Document 3 performs geometric correction processing of two images, extracts features from the two images, correlates the same features on the two images, and converts these features and their correspondences. Based on this, the camera parameter deviation is corrected.
  • the intersection point of the chief ray with the optical axis does not depend on the incidence angle of the chief ray, and is located at a constant location.
  • the distance is measured on the premise of a pinhole camera model in which the entrance pupil center does not move independently of the incident angle of the chief ray.
  • the intersection of the chief ray and the optical axis differs depending on the incidence angle of the chief ray.
  • the entrance pupil center moves forward. Therefore, the incident angle of the chief ray from the same object is different from that of the pinhole camera model, and the position deviates from the pinhole camera model around the image. Since the deviation around the image differs depending on the distance of the object, it can not be corrected only by giving a certain correction amount, and an error occurs in the calculated distance.
  • Patent Document 2 creates correction information of an image using a pattern of feature points on a chart installed at a position relatively near to a camera. Since the prior art of Patent Document 1 uses the correction information of the image, the shift on the image is small at a position close to the camera, and the shift on the image is large at a distance from the camera. Since the parallax of a distant object is small, if a parallax error occurs there, the distance error becomes large.
  • Patent Document 3 does not take into consideration the movement of the entrance pupil center for each incident angle of the chief ray, so that it is not possible to correct the displacement on the image which varies depending on the distance, and a distance error occurs.
  • An object of the present invention is to provide a stereo camera capable of reducing a distance error caused by movement of an entrance pupil center at each incident angle of a chief ray.
  • the present invention provides a first imaging unit for imaging a first image of an object, a second imaging unit for imaging a second image of the object, and a chief ray. It is assumed that the position of the first image of the object when the entrance pupil center indicating the intersection of the optical axes moves according to the incident angle, and that the entrance pupil center does not move according to the incident angle.
  • a geometric correction information storage unit that stores a difference between the position of the first image of the object and the position of the first image as geometric correction information, and geometrically processing the first image and the second image using the geometric correction information.
  • a parallax calculation unit that calculates parallax from the geometrically corrected first image and the second image.
  • FIG. 1 shows a configuration of a stereo camera according to an embodiment of the present invention. It is a figure which shows operation
  • FIG. 9 is a diagram showing an example of parallax correction operation taking into consideration the movement of the entrance pupil center shown in FIG. 2; It is a figure which shows a reference
  • FIG. 9 is a diagram showing a modification of the operation of parallax correction taking into consideration the movement of the entrance pupil center shown in FIG. 2. It is a figure which shows an example of the table of an entrance pupil center movement information storage part. It is a figure which shows another example of the table of an entrance pupil center movement information storage part. It is a figure which shows another example of the table of an entrance pupil center movement information storage part.
  • FIG. 1 shows the configuration of a stereo camera 1 according to an embodiment of the present invention.
  • the stereo camera 1 is a wide-angle camera with an angle of view of 40 ° or more.
  • the stereo camera 1 includes an imaging system unit 100a, an imaging system unit 100b, an arithmetic unit 110, a screen sound output unit 130, and a control unit 140.
  • An imaging system unit 100a such as a camera includes an optical element unit 101a and an imaging element unit 102a.
  • An optical element unit 101a such as a lens refracts light to form an image on the imaging element unit 102a.
  • the imaging element unit 102a such as an imaging element receives an image of light refracted by the optical element unit 101a, and generates an image according to the intensity of the light.
  • An imaging system unit 100b such as a camera includes an optical element unit 101b and an imaging element unit 102b. Further, the design values of the focal lengths of the imaging system unit 100a and the imaging system unit 100b are the same. The directions of the optical axes of the imaging system unit 100a and the imaging system unit 100b are substantially the same.
  • the optical element unit 101b such as a lens refracts light to form an image on the imaging element unit 102b.
  • the imaging element unit 102b such as an imaging element receives an image of light refracted by the optical element unit 101b, and generates an image according to the intensity of the light.
  • the image captured by the imaging system unit 100a is referred to as a reference image because the image is a reference when creating parallax images.
  • the imaging system unit 100a first imaging unit captures a reference image (first image) of the object.
  • the image captured by the imaging system unit 100b is an image to be searched for an area matching the area extracted from the reference image when creating a parallax image, and is referred to as a reference image.
  • the imaging system unit 100b (second imaging unit) captures a reference image (second image) of the target.
  • An arithmetic unit 110 including a CPU (central processing unit, central processing unit), a memory, and the like includes a captured image storage unit 111, a geometry correction image storage unit 112, a parallax image storage unit 113, a geometry correction information storage unit 114, and geometry.
  • Correction change information storage unit 115 entrance pupil center movement information storage unit 116, synchronization signal generation unit 117, reference image capture unit 118a, reference image capture unit 118b, geometry correction unit 119, disparity calculation unit 120, disparity correction unit 121 , The recognition unit 122, and the geometric calibration unit 123.
  • a captured image storage unit 111 such as a memory stores images output from the imaging system unit 100a and the imaging system unit 100b.
  • a geometrically corrected image storage unit 112 such as a memory or the like corrects the geometrically corrected reference image (reference image after imaging) and reference image (reference image after imaging) (reference image after geometrical correction) and The reference image (reference image after geometric correction) is stored.
  • the parallax image storage unit 113 such as a memory stores parallax images.
  • a geometric correction information storage unit 114 such as a memory stores two-dimensional coordinates (geometric correction information) on the image after imaging with distortion corresponding to each pixel on the image without distortion in the reference image and the reference image. .
  • the geometric correction information is used in processing for correcting lens distortion and optical axis deviation of the reference image and the reference image after imaging by the geometric correction unit 119. That is, the geometric correction unit 119 geometrically corrects the reference image (first image) and the reference image (second image) using the geometric correction information.
  • Geometric correction information is obtained from the pinhole camera model by the value of positional deviation on the image when an object of a certain distance is projected between the case where the entrance pupil center moves and the case where it does not move (pinhole camera model) It is off.
  • the geometric correction information storage unit 114 determines the position of the reference image (first image) of the object when the entrance pupil center indicating the intersection of the chief ray and the optical axis moves according to the incident angle, and the entrance Geometric correction information having an error corresponding to the position of the reference image of the object when assuming that the pupil center does not move in accordance with the incident angle is stored.
  • the geometric correction information storage unit 114 also detects the position of the reference image (second image) of the object when the entrance pupil center indicating the intersection of the chief ray and the optical axis moves according to the incident angle, and the entrance pupil center Stores the geometric correction information having an error by the difference between the position of the reference image of the object and the position of the reference image of the object when assuming that it does not move according to the incident angle.
  • the geometric correction change information storage unit 115 such as a memory or the like horizontally moves the reference image and the reference image for further moving in the horizontal direction and the vertical direction from the geometric correction information when the geometric correction unit 119 performs geometric correction processing of the image.
  • the amount and the vertical movement amount are stored.
  • the initial values of the horizontal movement amount and the vertical movement amount of the reference image and the reference image are zero.
  • the horizontal movement amount and vertical movement amount of the reference image and the reference image are calculated by the geometric calibration unit 123, and are used to correct vertical and horizontal displacement caused by mechanical displacement such as secular change, thermal change and impact vibration. It is.
  • the entrance pupil center movement information storage unit 116 such as a memory stores values of the amount of movement of the entrance pupil center up to each incident angle on the basis of zero incident angle in the imaging system unit 100a and the imaging system unit 100b. In other words, as shown in FIG. 13, the entrance pupil center movement information storage unit 116 calculates the respective incident angles ( ⁇ 1, ⁇ 2,%) And the corresponding amounts of movement of the entrance pupil ( ⁇ L 1, ⁇ L 2,. And are stored in the table T1301.
  • the synchronization signal generator 117 generates and transmits a synchronization signal.
  • the reference image capturing unit 118a After sending the synchronization signal and the information of the exposure time to the imaging device unit 102a in synchronization with the synchronization signal of the synchronization signal generation unit 117, the reference image capturing unit 118a acquires an image generated by the imaging device unit 102a, The image is stored in the captured image storage unit 111.
  • the reference image capture unit 118b transmits the synchronization signal and the information of the exposure time to the imaging device unit 102b in accordance with the synchronization signal of the synchronization signal generation unit 117, and acquires an image generated by the imaging device unit 102b.
  • the image is stored in the captured image storage unit 111.
  • the geometry correction unit 119 reads the geometry correction information from the geometry correction information storage unit 114, and reads the horizontal movement amount and the vertical movement amount of the reference image and the reference image from the geometry correction change information storage unit 115.
  • the amount of horizontal movement and verticality of the reference image and the reference image on the two-dimensional coordinates (geometric correction information) on the distorted image corresponding to each pixel on the undistorted image in the reference image and the reference image which are geometric correction information Add up the movement amount.
  • a geometric correction process is performed based on the reference image and the reference image after imaging, and the geometric correction information added up to calculate an image without distortion.
  • the reference image and the reference image after the geometric correction are stored in the geometric corrected image storage unit 112.
  • the parallax calculating unit 120 reads the reference image and the reference image after geometric correction from the geometrically corrected image storage unit 112, and the same height on the reference image corresponding to the area (template image) of a predetermined size extracted from the reference image. Search the area in The difference between the position of the region on the reference image that matches the template image and the position of the template image on the reference image, that is, the parallax is calculated.
  • the parallax image is calculated by calculating the parallax for each area.
  • the parallax calculating unit 120 calculates the parallax from the geometrically corrected reference image (first image) and the reference image (second image).
  • the parallax correction unit 121 receives the parallax image from the parallax image storage unit 113, the incident pupil center movement information storage unit 116, the imaging system unit 100a and the imaging system unit 100b with respect to the incident angle center up to each incident angle up to each incident angle. Read the movement amount.
  • the parallax correction unit 121 calculates the distance of each area on the image using the parallax image, the focal lengths of the imaging system unit 100a and the imaging system unit 100b, the pixel pitch, and the base length.
  • the positions on the reference image and the reference image of each area are positions after geometric correction when the entrance pupil center is moved. Therefore, when the entrance pupil center is not moved using the movement amount of the entrance pupil center up to each incident angle based on the position, parallax and distance on the reference image, the optical axis position, the parallax image and the incident angle zero on each area. After calculating the positions of the respective areas on the reference image and the reference image after the geometric correction, the differences are calculated, and these are used as the corrected parallaxes of the respective areas.
  • the parallax correction unit 121 moves the amount of movement of the entrance pupil center according to the incident angle of the chief ray of the object, and the parallax calculated by the parallax calculation unit (when the entrance pupil center moves according to the incident angle
  • the parallax (parallax of the pinhole camera model) in the case where it is assumed that the entrance pupil center does not move according to the incident angle is calculated based on the parallax of and the parallax after the correction. Thereby, the parallax error due to the movement of the entrance pupil center can be reduced.
  • the parallax correction unit 121 stores the parallax image after correction in the parallax image storage unit.
  • the parallax calculated by the parallax calculation unit 120 is parallax when the entrance pupil center moves.
  • the parallax correction unit 121 corrects the parallax when the entrance pupil center moves to the parallax of the pinhole camera model (when the entrance pupil center does not move), which is a precondition for the distance measurement of the stereo camera 1, by the above processing. Do.
  • the recognition unit 122 reads a parallax image from the parallax image storage unit 113, and performs imaging based on the parallax, the distance (base length) of the focal point between the imaging system unit 100a and the imaging system unit 100b, and the focal length and one pixel size
  • the distance from the stereo camera 1 to the object on the image is calculated in the optical axis direction of the system unit 100a and the imaging system unit 100b.
  • a distance image is calculated by calculating the distance for each area.
  • the recognition unit 122 reads the reference image after the geometric correction from the geometric correction image storage unit 112, and uses the reference image and the distance image after the geometric correction to display the object and the reference image in the reference image.
  • the position of the object is recognized, and the three-dimensional relative position and relative velocity of the object with respect to the stereo camera 1 are calculated.
  • the three-dimensional relative position coordinate system with respect to the stereo camera 1 has x coordinates in the right direction and y coordinates in the lower direction with respect to the imaging system unit 100a with the entrance pupil center of the imaging system unit 100a as the origin. Take the z coordinate to.
  • the recognition unit 122 calculates the time until the collision based on the relative position and relative velocity of the stereo camera 1 and the object, and determines whether or not the collision occurs within a predetermined time.
  • the relative position between the stereo camera 1 and the object, the relative velocity, the collision determination result, and the collision time are sent to the screen sound output unit 130 and the control unit 140.
  • the geometry calibration unit 123 reads the parallax image from the parallax image storage unit 113 and the reference image and the reference image after the geometry correction from the geometry correction image storage unit 112, and based on these information, on the reference image after the geometry correction. To calculate the horizontal movement amount and vertical movement amount of the reference image so that the position of the optical axis (disappearing point) of the image becomes the design value, and the parallax becomes zero at the optical axis (disappearing point) position on the reference image after geometric correction The amount of horizontal movement and the amount of vertical movement of the reference image are calculated. Those results are stored in the geometric correction change information storage unit 115.
  • the screen sound output unit 130 such as a monitor and a speaker displays a reference image, a parallax image, and a distance image on the screen. Also, a frame or marker is displayed at the position of the object. At this time, it is assumed that the color of the frame or marker of the object, which is the determination that the collision determination result from the recognition unit 122 collides, is different from that of the object that does not collide.
  • the screen sound output unit 130 outputs a warning sound.
  • the control unit 140 such as a CPU generates a control signal based on the relative position between the stereo camera 1 and the object, the relative velocity, the collision time, and the collision determination result, and outputs the control signal to the outside of the stereo camera 1.
  • FIG. 1 The operation procedure of the stereo camera 1 according to the embodiment of the present invention shown in FIG. 1 will be described using FIGS. 2 and 3. The principal of each step is the same in principle unless otherwise stated.
  • Step 201 The synchronization signal generation unit 117 generates a synchronization signal and sends it to the reference image capture unit 118a and the reference image capture unit 118b.
  • the reference image acquisition unit 118a sends information on the synchronization signal and the exposure time to the image pickup device unit 102a.
  • the imaging device unit 102a receives an image of the light refracted by the optical device unit 101a for the exposure time, and the intensity of the light is determined. A corresponding image is generated and sent to the reference image capture unit 118a.
  • the reference image capture unit 118 a receives an image from the image sensor unit 102 a and stores the image in the captured image storage unit 111.
  • the reference image acquisition unit 118b Immediately after receiving the synchronization signal from the synchronization signal generation unit 117, the reference image acquisition unit 118b sends information on the synchronization signal and the exposure time to the imaging device unit 102b. Immediately after receiving the synchronization signal and the information on the exposure time from the reference image capturing unit 118b, the imaging device unit 102b receives an image of the light refracted by the optical device unit 101b for the exposure time, and determines the intensity of the light. A corresponding image is generated and sent to the reference image capture unit 118b. The reference image capture unit 118 b receives an image from the image sensor unit 102 b and stores the image in the captured image storage unit 111.
  • Step 202 The geometry correction unit 119 reads the reference image and the reference image after imaging from the captured image storage unit 111.
  • the geometric correction information of the reference image and the reference image is read from the geometric correction information storage unit 114, and the horizontal movement amount and the vertical movement amount of the reference image and the reference image are read from the geometric correction change information storage unit 115.
  • the luminance values of the pixel (X2, Y2) of the reference image after geometric correction are calculated.
  • the above procedure is performed for each pixel of the reference image after geometric correction to calculate the luminance value of the reference image after geometric correction.
  • the above procedure is performed for the reference image to calculate the luminance value of the geometrically corrected image of the reference image.
  • the geometrically corrected reference image and reference image are stored in the geometrically corrected image storage unit 112.
  • Step 203 The disparity calculating unit 120 reads the geometrically corrected image of the reference image and the reference image from the geometrically corrected image storage unit 112. As shown in FIG. 4, the image 403 (template image) of the area
  • An image 404 (searched image) of a region of a predetermined size of the reference image 402 at the same height as the template image 403 is extracted, and the absolute value of the difference between the luminance value of the template image 403 and the luminance value of the searched image 404 Sum of Absolute Difference (SAD) is calculated.
  • SAD Sum of Absolute Difference
  • the equiangular straight line fitting is performed using the SAD of the search image 405 and the SAD of the search image adjacent to one pixel from the search image 405, and the search image 405 on the reference image that most closely matches the template image 403. Calculate subpixels. By adding subpixels to the difference between the positions of the template image 403 and the search target image 405, the parallax of the template image 403 on the reference image 401 after geometric correction is calculated.
  • the parallax is valid or invalid by the following two determination methods. Assuming that the minimum value of SAD obtained using the search images 404 on the reference image 402 at the same height as the template image 403 is equal to or greater than the threshold, it is assumed that the template 403 and the search image 405 do not match. The parallax of the area is determined to be invalid, and when the minimum value of SAD is less than the threshold value, it is determined to be effective.
  • the difference between the SAD with the next is calculated. Detect the places where the value of these differences changes from negative to positive, and detect the places where the SAD in those places is smallest and the second smallest place, and the difference between those SADs is less than the threshold If there is a pattern similar to the template image and there is a possibility of mismatching, the parallax of the area is determined to be invalid, and if not, it is determined to be effective. Here, when there is only one place where the difference between adjacent SADs changes from negative to positive, it is determined that the parallax is valid. An area determined to be valid by both of the two determination methods is determined to be valid, and when it is determined to be invalid by one of the determination methods, the area is determined to be invalid.
  • Such processing is performed on all regions on the reference image after geometric correction to calculate the parallax of the entire reference image 401.
  • the parallax image calculated in this manner is stored in the parallax image storage unit 113.
  • Step 204 The parallax correction unit 121 receives the parallax image from the parallax image storage unit 113, the incident pupil center movement information storage unit 116, the imaging system unit 100a and the imaging system unit 100b with respect to the incident angle center up to each incident angle up to each incident angle. Read the movement amount.
  • the parallax correction unit 121 calculates the distance of each area on the image using the parallax image, the focal lengths of the imaging system unit 100a and the imaging system unit 100b, the pixel pitch, and the base length.
  • the positions on the reference image and the reference image of each area are positions after geometric correction when the entrance pupil center is moved.
  • the entrance pupil center is not moved using the movement amount of the entrance pupil center up to each incident angle based on the position, parallax and distance on the reference image, the optical axis position, the parallax image and the incident angle zero on each area.
  • the differences are calculated, and these are used as the corrected parallaxes of the respective areas.
  • the parallax image after correction is stored in the parallax image storage unit. The operation procedure of this step is shown in FIG.
  • Step 205 The recognition unit 122 reads a parallax image from the parallax image storage unit 113 and reads a geometric correction image from the geometric correction image storage unit 112.
  • the distance L in the optical axis direction with the stereo camera 1 in the region on the parallax image is calculated using Expression (3).
  • f is a design value of the focal length of the imaging system unit 100a and the imaging system unit 100b
  • B is a distance (base length) between principal points of the imaging system unit 100a and the imaging system unit 100b
  • d is parallax
  • c is imaging
  • This process is performed on the entire area of the parallax image to calculate the distance in the optical axis direction with the stereo camera 1 in the entire parallax image, and a distance image is created.
  • the recognition unit 122 calculates the position of the vanishing point on the processed image of the reference image, determines the object such as a car or a pedestrian, calculates the relative position and the relative velocity of the object with respect to the stereo camera 1, and the object And the collision determination with the stereo camera 1 are performed.
  • the recognition unit 122 calculates the position of the vanishing point on the reference image in the following procedure.
  • White lines on both sides of the lane boundary on the reference image are detected to calculate the inclination of the white line on the reference image. Assuming that the white lines on both sides are straight lines, the position on the reference image of the point where the white lines on both sides intersect is calculated by the calculated inclination. This is the position of the vanishing point.
  • the recognition unit 122 detects an object such as a car or a pedestrian according to the following procedure.
  • an area 1 where pixels whose distances are within a predetermined range are connected is determined.
  • the predetermined range a plurality of ranges which are 5 to 10 m, 7.5 to 12.5 m, 10 to 15 m, etc. and which have a width of 5 m and which overlap every 2.5 m are set.
  • the lengths in the vertical and horizontal directions on the reference image of each area 1 in which pixels having a distance within a predetermined range are connected are determined.
  • the three-dimensional longitudinal length of each area 1 is calculated by dividing the length in the vertical direction on the reference image of each area 1 and the distance multiplied by the pixel pitch by the focal length.
  • each area 1 is calculated by dividing the horizontal length, the distance, and the pixel pitch on the reference image of each area 1 by the focal length.
  • the vertical position Vg on the reference image with respect to the ground of each region 1 is approximately calculated using Expression (4).
  • Vv is the height of the vanishing point
  • Hi is the mounting height of the stereo camera 1
  • Lr is the average distance of the region 1.
  • it is a calculation formula when assuming that the optical axes of the imaging system unit 100a and the imaging system unit 100b are substantially horizontal.
  • the three-dimensional longitudinal and lateral lengths of the region 1 are within the predetermined range of the automobile, and the vertical position on the reference image at the lower limit of the region 1 and the region 1 calculated by equation (2) If the difference in vertical position on the ground reference image is within the threshold value, it is determined that the object in area 1 is a car. Similarly, the three-dimensional longitudinal and lateral lengths of the area 1 are within the predetermined range of the pedestrian, and the position of the lower limit of the area 1 on the reference image in the vertical direction is calculated by Equation (2) If the difference between the vertical position of the area 1 on the ground reference image on the ground is within the threshold, it is determined that the object in the area 1 is a pedestrian. These processes are performed on all the areas 1 to determine whether they are a car or a pedestrian.
  • the relative position (Xo, Yo, Zo) of the object with respect to the stereo camera 1 is calculated using Expressions (5) to (7).
  • (Uo, Vo) is a position on the reference image with respect to the center of the area 1 determined to be a car or a pedestrian.
  • steps 202 to 208 are repeatedly performed in a predetermined cycle. If the difference between the position of the area 1 detected in step 205 of the previous and current processes on the reference image is within the threshold, it is determined that the objects are the same object, and the stereo camera 1 calculated in the current process The value obtained by subtracting the relative position calculated in step 205 of the previous process from the relative position of the object is divided by the time interval of the processing cycle of steps 202 to 208 to obtain the relative velocity (Vx) of the object relative to the stereo camera 1 , Vy, Vz).
  • the collision determination between the object and the stereo camera 1 is performed in the following procedure.
  • the relative velocity Vz of the object with respect to the stereo camera 1 is 0 or more, it is determined that the vehicle or the object in the area 1 determined to be a pedestrian does not collide.
  • the relative position Zo of the object relative to the stereo camera 1 calculated in this process is divided by the absolute value of the relative velocity Vz relative to the stereo camera 1 Calculate the time to collision (collision time).
  • the relative position Xo of the object is added to the value obtained by multiplying the relative velocity Vx of the object relative to the stereo camera 1 by the collision time, and the relative position Xo of the object relative to the stereo camera 1 at the time of collision is calculated.
  • the relative velocity Vz of the object to the stereo camera 1 is negative, and the collision time is within the threshold, and the absolute value of the relative position Xo of the object to the stereo camera 1 at the time of collision is within the threshold In this case, it is determined that the vehicle 1 collides with an object in the area 1 determined to be a car or a pedestrian. Otherwise, it is determined that there is no collision.
  • the recognition unit 122 detects the positions of the four corners on the reference image for the area 1 determined to be a car or a pedestrian, the relative position and relative velocity of the object with respect to the stereo camera 1, the collision determination result, and the collision time It is sent to the control unit 140.
  • Step 206 The geometry calibration unit 123 reads the parallax image from the parallax image storage unit 113 and the reference image and the reference image after the geometric correction from the geometry correction image storage unit 112.
  • the left and right white lines on the road on the reference image after geometric correction are detected, and approximate straight lines of the left and right white lines are calculated.
  • the position of the point of intersection of the approximate straight line of the left and right white lines is calculated, and the position of this point of intersection is the vanishing point, assuming that it coincides with the position of the optical axis on the reference image.
  • the difference is calculated to be the horizontal and vertical correction amounts of the reference image. These correction amounts are taken as the horizontal movement amount and vertical movement amount of the reference image.
  • the geometric calibration unit 123 extracts parallaxes corresponding to positions in the vertical direction on the image of the left and right white lines, and calculates an approximate straight line of the position in the vertical direction on the image of the left and right white lines and the parallax. From this approximate straight line, the parallax of the white line corresponding to the design value of the position in the direction perpendicular to the optical axis of the reference image is calculated. Essentially, the parallax of the white line corresponding to the design value of the position in the vertical direction of the optical axis of the reference image is zero, so the parallax of the white line corresponds to the correction amount in the horizontal direction of the reference image. Amount of horizontal movement.
  • the geometric calibration unit 123 similarly detects the left and right white lines on the road on the reference image after geometric correction and calculates an approximate straight line of the left and right white lines.
  • the position of the point of intersection of the approximate straight line of the left and right white lines is calculated, and the position of this point of intersection is the vanishing point, assuming that it matches the position of the optical axis on the reference image.
  • the difference is calculated to be the correction amount in the horizontal direction of the reference image. These correction amounts are set as the vertical movement amount of the reference image.
  • the horizontal movement amount and the vertical movement amount of the reference image and the reference image calculated by the above processing are sent to the geometric correction change information storage unit 115, and the geometric correction change information storage unit 115 performs the horizontal movement amount and the vertical movement of the reference image and the reference image Store the quantity.
  • Step 207 The screen sound output unit 130 detects the positions of the four corners of the reference image regarding the area 1 determined to be a car or a pedestrian by the recognition unit 122, the relative position and relative velocity of the object with respect to the stereo camera 1, the collision determination result, and the collision time. receive.
  • the reference image after geometric correction is read from the geometric correction image storage unit 112.
  • the reference image is displayed on the screen, and the area 1 determined to be a car or a pedestrian is displayed as a frame. Further, the color of the frame of the area 1 which is the determination result that the collision determination result is a collision is changed to the color of the frame of the area 1 of the target object of the determination result and displayed on the screen. If there is a determination result that the collision determination results in collision in the area 1, a warning sound is output.
  • Step 208 The control unit 140 receives from the recognition unit 122 the positions of the four corners on the reference image regarding the area 1 determined to be a car or a pedestrian, the relative position and relative velocity of the object with respect to the stereo camera 1, the collision determination result and the collision time.
  • a control signal for avoiding the collision is generated and output to the outside of the stereo camera 1.
  • Step 301 The parallax correction unit 121 receives the parallax images from the parallax image storage unit 113, the incident pupil center movement information storage unit 116, and the incident angles ( ⁇ 1, ⁇ 2,%) With reference to zero incident angles in the imaging system unit 100 a and the imaging system unit 100 b. ⁇ ⁇ ⁇ Load the movement amount ( ⁇ L1, ⁇ L2, ...) of the entrance pupil center up to.
  • Step 302 Based on the focal length f, the pixel pitch c, and the base length B common to the parallax image, the imaging system unit 100a and the imaging system unit 100b, the parallax correction unit 121 uses the equation (3). The distance L of the area is calculated.
  • Step 303 The parallax correction unit 121 uses the equations (8) to (10) to determine the position (U, V) and distance L of each area on the reference image, and the focal distance common to the imaging system unit 100 a and the imaging system unit 100 b. Based on f and pixel pitch c, a three-dimensional position (X, Y, Z) is calculated with the entrance pupil center of the imaging system unit 100a corresponding to each region when the entrance pupil moves as the origin.
  • (U0, V0) is the optical axis position on the reference image.
  • Step 304 The parallax correction unit 121 calculates the position (U, V) of each area on the reference image, the focal length f common to the imaging system unit 100 a and the imaging system unit 100 b, and the pixel pitch c using Equation (11). Then, the incident angle ⁇ of each area on the reference image is calculated.
  • Step 305 The parallax correction unit 121 performs steps of the movement amount ( ⁇ L1, ⁇ L2,%) Of the entrance pupil center to each incident angle ( ⁇ 1, ⁇ 2,%) Based on the incident angle zero in the imaging system unit 100a.
  • the amount of movement (for example, ⁇ L1 and ⁇ L2) of the entrance pupil center corresponding to two incident angles (for example, ⁇ 1 and ⁇ 2) close to the incident angle ⁇ of a certain area calculated in 304 is extracted and linear interpolation is performed The amount of movement ⁇ L of the center of the entrance pupil of the area is calculated. The above processing is performed for each area.
  • the parallax correction unit 121 responds to the incident angle of the chief ray of the object based on each incident angle stored in the incident pupil center movement information storage unit 116 and the corresponding moving amount of the incident pupil center.
  • the movement amount of the entrance pupil center is calculated. Thereby, the amount of movement of the entrance pupil center can be easily estimated.
  • Step 306 The parallax correction unit 121 calculates the three-dimensional position (X, Y, Z) of each area when the entrance pupil center calculated in step 303 moves in step 305 using equation (12) and equation (13). Based on the movement amount ⁇ L of the entrance pupil center, the position (U ′, V ′) on the reference image of each area when the entrance pupil center does not move is calculated.
  • the parallax correction unit 121 is an imaging system according to the three-dimensional position (X, Y, Z) of the imaging system unit 100a (first imaging unit) of the object and the incident angle of the chief ray of the object Based on the movement amount ⁇ L of the entrance pupil center of the unit 100a, the position (U ′, V ′) of the object in the reference image when the entrance pupil center is not moved is calculated.
  • Step 307 The parallax correction unit 121 subtracts the parallax d from the position U in the horizontal direction on the reference image of each area, and calculates the position Uref in the horizontal direction on the reference image of each area.
  • the positions (Uref, Vref) and distances L on the reference image of each region, the focal distance f common to the imaging system unit 100a and the imaging system unit 100b, and the pixel pitch c The three-dimensional position (Xref, Yref, Zref) is calculated based on the origin of the entrance pupil center of the imaging system unit 100b corresponding to each region when the entrance pupil moves.
  • Step 308 The parallax correction unit 121 calculates the position (Uref, Vref) of each region on the reference image, the focal length f common to the imaging system unit 100 a and the imaging system unit 100 b, and the pixel pitch c using Equation (11). Then, the incident angle ⁇ ref of each area on the reference image is calculated.
  • Step 309 The parallax correction unit 121 determines the incident angle of a certain area calculated in step 308 among the movement amounts ( ⁇ 1, ⁇ 2,...) Of the entrance pupil center to each incident angle on the basis of zero incident angle in the imaging system unit 100 b.
  • the amount of movement (e.g., .DELTA.L1, .DELTA.L2) of the entrance pupil center corresponding to two incident angles (e.g., .theta.1, .theta.2) close to .theta.ref is extracted, linear interpolation is performed, and the movement amount .DELTA.Lref of the entrance pupil center in a certain area Calculate The above processing is performed for each area.
  • Step 310 The parallax correction unit 121 calculates the three-dimensional position (Xref, Yref, Zref) of each area in step 309 when the entrance pupil center calculated in step 307 moves using equation (12) and equation (13). Based on the movement amount ⁇ Lref of the entrance pupil center, the position (U′ref, V′ref) on the reference image of each area when the entrance pupil center does not move is calculated.
  • the parallax correction unit 121 is an imaging system according to the three-dimensional position (Xref, Yref, Zref) of the imaging system unit 100b (second imaging unit) of the object and the incident angle of the chief ray of the object
  • the position (U′ref, V′ref) of the object in the reference image (second image) when assuming that the entrance pupil center does not move based on the movement amount ⁇ Lref of the entrance pupil center of the unit 100b calculate.
  • Step 311 Calculate the difference (
  • the parallax correction unit 121 assumes that the position (U ′, V ′) of the object and the entrance pupil center in the reference image (first image) when the entrance pupil center does not move does not move.
  • the difference in the horizontal direction from the position (U′ref, V′ref) of the object in the reference image (second image) is taken as the parallax after correction.
  • the problem of the present embodiment will be described in detail with reference to FIG.
  • the intersection point (center of entrance pupil) of the chief ray and the optical axis 1101 does not move at every incident angle of the chief ray (principal ray 1105, 1108 etc. described later) (pinhole camera There is a model).
  • the incident angle of the chief ray increases, the position of the entrance pupil center moves forward.
  • the incident angle of the chief ray 1106 incident on the position 1104 of the entrance pupil center when the entrance pupil center moves from the object 1102
  • the incident angle of the chief ray 1105 incident on the position 1103 of the entrance pupil center when the entrance pupil center does not move from 1102 is largely different
  • the position 1112 on the image 1110 when the entrance pupil center is moved and not moved The position 1111 is largely deviated.
  • the incident angle of the chief ray 1109 incident on the position 1107 of the entrance pupil center when the entrance pupil center moves from the object 1107 and the entrance pupil center moves from the object 1107 Since the difference between the incident angles of the chief ray 1108 incident on the position 1103 at the center of the entrance pupil in the case of not being moved is small, the shift between the position 1114 and the position 1115 on the image 1113 is small when the entrance pupil center moves and does not move.
  • the model of the optical system is different from the pinhole camera model, and therefore the image can not be geometrically corrected so that the parallax can be accurately calculated at any distance.
  • the stereo camera 1 according to the embodiment of the present invention shown in FIG. 1 is geometrical correction information in which the deviation from the geometrical correction information assuming a pinhole camera model becomes zero at infinity.
  • the geometry correction unit 119 uses the geometry correction information having the above-mentioned features to correct distortions of the reference image and the reference image. There is no misalignment on the reference image and reference image with the pinhole camera model at a distance, and the parallax error is reduced.
  • step 204 (FIG. 3) of the operation procedure of the stereo camera 1 according to the embodiment of the present invention shown in FIG. 1 (FIG. 2), the parallax correction unit 121 measures the parallax when the entrance pupil center moves. In order to correct to the parallax of the case (pinhole camera model) when the lens does not move, the parallax error due to the movement of the entrance pupil center is reduced.
  • the recognition unit 122 can calculate the distance based on the corrected parallax image and can accurately calculate the collision time to the target, so that the collision prevention function can operate normally.
  • step 206 of the operation procedure (FIG. 2) of the stereo camera 1 according to the embodiment of the present invention shown in FIG. 1 the geometry corrected using the parallax correctly corrected in step 204, the reference image after geometric correction and the reference image
  • the horizontal movement amount (horizontal correction amount) of the reference image and the reference image calculated by the calibration unit 123 is also accurate.
  • the geometric correction unit 119 corrects the image geometrically using the horizontal movement amount of the reference image and the reference image accurately obtained in step 206, so that the image distortion is correctly corrected.
  • step 203 the parallax image is accurately calculated using the reference image and the reference image which are accurately geometrically corrected in step 202.
  • the stereo camera 1 of the present invention is not limited to the embodiment as described above, and can be variously modified and applied. Below, the modification of the stereo camera 1 of this invention is demonstrated.
  • the entrance pupil center movement information storage unit 116 moves the center of the entrance pupil at each incident angle ⁇ of chief rays of the imaging system unit 100a and the imaging system unit 100b.
  • the coefficients (a n , a n -1) of polynomials of the incident angle ⁇ of the chief ray of the imaging system unit 100 a and the imaging system unit 100 b and the movement amount ⁇ L of the entrance pupil center ,..., A 0 ) are stored in table T 1401.
  • the parallax correction unit 121 reads the coefficient of the polynomial of the incident angle of the chief ray and the movement amount of the entrance pupil center from the entrance pupil center movement information storage unit 116. In the above, the parallax correction unit 121 calculates the movement amount of the entrance pupil center from the incident angle of each region using the polynomial of the incident angle of the chief ray and the movement amount of the entrance pupil center. In other words, the parallax correction unit 121 calculates the movement amount of the entrance pupil center according to the incident angle of the chief ray of the object using a polynomial. Thereby, the amount of movement of the entrance pupil center can be easily estimated.
  • the entrance pupil center movement information storage unit 116 moves the center of the entrance pupil at each incident angle ⁇ of chief rays of the imaging system unit 100a and the imaging system unit 100b.
  • the imaging system unit 100a and the imaging system unit instead of storing ⁇ L, as shown in FIG. 15, the imaging system unit 100a and the imaging system unit to the case where the entrance pupil center of each predetermined distance L and each predetermined incident angle ⁇ of the chief ray is not moved
  • the correction amount Cx of the geometric correction information 100b is stored in the table T1501.
  • the entrance pupil center movement information storage unit 116 stores the correction amount Cx of the geometrical correction information corresponding to the combination of each distance L of the object and each incident angle ⁇ .
  • Step 1201 The parallax correction unit 121 does not move the parallax image from the parallax image storage unit 113 and the entrance pupil center of each of the predetermined distance L and the predetermined chief ray incident angle ⁇ from the entrance pupil center movement information storage unit 116.
  • the correction amount of the geometric correction information of the imaging system unit 100a and the imaging system unit 100b for the case is read.
  • Step 1202 The parallax correction unit 121 performs the step 302 and the step among the correction amount of the geometric correction information of the imaging system unit 100a in the case where the entrance pupil center of each predetermined distance and each predetermined incident angle of the chief ray moves.
  • the distance and incident angle of a region on the reference image are searched by searching for the distance of the region on the reference image and the correction amounts of the four pieces of geometric correction information close to the incident angle respectively calculated in 304 and interpolating these values.
  • a position obtained by changing the position of a certain area on the reference image in the optical axis direction by the correction amount is calculated. The above processing is performed for all areas on the reference image.
  • the parallax correction unit 121 is based on the correction amount Cx of the geometric correction information corresponding to the combination of each distance L of the object stored in the entrance pupil center movement information storage unit 116 and each incident angle ⁇ . Then, the position (first position) of the object in the reference image (first image) when it is assumed that the entrance pupil center does not move is calculated.
  • Step 1203 The parallax correction unit 121 performs the step 302 and the step among the correction amount of the geometric correction information of the imaging system unit 100b in the case where the entrance pupil center for each predetermined distance and each predetermined incident angle of the chief ray moves
  • the distance and the incident angle of the certain area on the reference image The correction amount of the geometric correction information is calculated.
  • a position obtained by changing the position of a certain area on the reference image in the optical axis direction by the correction amount is calculated. The above processing is performed for all the regions on the reference image.
  • the parallax correction unit 121 is based on the correction amount Cx of the geometric correction information corresponding to the combination of each distance L of the object stored in the entrance pupil center movement information storage unit 116 and each incident angle ⁇ . Then, the position (second position) of the object in the reference image (second image) when it is assumed that the entrance pupil center does not move is calculated.
  • step 206 of the operation procedure (FIG. 2) of the stereo camera 1 according to the embodiment of the present invention shown in FIG. 1 the geometry calibration unit 123 stores the parallax corrected reference image from the geometry corrected image storage unit 112
  • the parallax image is read from the unit 113, and the geometric calibration unit 123 extracts parallax corresponding to each position in the vertical direction on the left and right white line images, and approximates the position and parallax in the vertical direction on the left and right white lines in the image. Calculate a straight line. From this approximate straight line, the parallax of the white line corresponding to the design value of the position in the direction perpendicular to the optical axis of the reference image is calculated.
  • the parallax of the white line corresponding to the design value of the position in the vertical direction of the optical axis of the reference image is zero, so the parallax of the white line corresponds to the correction amount in the horizontal direction of the reference image.
  • the horizontal movement amount of the reference image is sent to the geometric correction change information storage unit 115 as the horizontal movement amount of the reference image, and even if the geometric correction change information storage unit 115 stores the horizontal movement amount of the reference image, the parallax can be corrected accurately.
  • the sign of the correction amount may be reversed to correct the horizontal movement amount of the reference image.
  • each of the configurations, functions, and the like described above may be realized by hardware by designing part or all of them, for example, by an integrated circuit.
  • each configuration, function, etc. described above may be realized by software by the processor interpreting and executing a program that realizes each function.
  • Information such as a program, a table, and a file for realizing each function can be placed in a memory, a hard disk, a recording device such as an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, or a DVD.
  • the embodiment of the present invention may have the following aspects.
  • Two imaging units for capturing a reference image and a reference image, and the reference image and the reference image when the intersection point of the chief ray and the optical axis (center of entrance pupil) moves for each incident angle A storage unit having geometric correction information (correction amount of each pixel) of the reference image and the reference image having an error by the difference between the position, the reference image when not moving, and the position on the reference image; An image correction unit that geometrically corrects the reference image and the reference image using the reference image and geometric correction information on the reference image; and a parallax image generation unit that generates a parallax image Equipped stereo camera.
  • a parallax correction unit that corrects the parallax image by calculating an amount of movement of the entrance pupil center for each incident angle, and calculating the image shift when the entrance pupil center moves and does not move using the parallax image.
  • the stereo camera according to (2) further including: a geometric calibration unit that corrects the horizontal movement amount of the reference image or the reference image using the reference image and the parallax image corrected by the parallax correction unit.
  • the image correction information in which the position on the image of the pinhole camera model matches at infinity it is possible to move the center of the entrance pupil for each incident angle of the chief ray.
  • the image shift is reduced at infinity to reduce distance error at a distance where large errors occur even with small parallax errors.
  • the parallax shift is calculated for each distance using the movement amount of the entrance pupil center for each incident angle of the chief ray and the parallax image, and correction is performed by the movement of the entrance pupil center for each chief ray incident angle. Reduce distance error.
  • Template image of reference image 404 search target image of reference image 405: search target image 1101 that most closely matches the template image, optical axis 1102,.
  • Moving entrance pupil center 1108 From the object when the entrance pupil center does not move to the principal ray 1109 from the entrance pupil center: From the object when the entrance pupil center moves to the entrance pupil center
  • Principal ray 1110 of the image 1111 Position of the object on the image when the entrance pupil center does not move 1112: Position of the object on the image when the entrance pupil center moves 1113: Image 1114: the entrance pupil center moves Position of the object on the image in the case of not moving 1 1 ... position of the object on the image when the entrance pupil center moves

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)
  • Geometry (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

主光線の入射角ごとに入射瞳中心が移動することにより発生する距離誤差を低減することができるステレオカメラを提供する。　撮像系部１００ａは、対象物の基準画像を撮像する。撮像系部１００ｂは、対象物の参照画像を撮像する。幾何補正情報記憶部１１４は、主光線と光軸の交点を示す入射瞳中心が入射角に応じて移動する場合の対象物の基準画像及び参照画像の位置と、入射瞳中心が入射角に応じて移動しないと仮定する場合の対象物の基準画像及び参照画像の位置と、の差だけ誤差をそれぞれ持つ基準画像及び参照画像の幾何補正情報を記憶する。幾何補正部１１９は、幾何補正情報を用いて基準画像及び参照画像を幾何的に補正する。

Description

ステレオカメラ
　本発明は、ステレオカメラに関する。
　特許文献１の従来技術は、２つの撮像部の画像の歪を補正する補正情報を記憶しておき、その画像の補正情報を用いて、２つの画像を幾何的に補正して、２つの画像間の視差を算出した後に、距離を算出する。２つの撮像部のうち、認識に用いる画像側の第１の光学素子の透過率が他方の第２の光学素子より高い、第１の光学素子の歪が第２の光学素子に比べて小さい、第１の撮像素子の感度特性が第２の撮像素子に比べて高い、第１の撮像素子のノイズが第２の撮像素子に比べて小さい、の少なくとも１つを満足することにより、認識性能のばらつきを低減する。
　特許文献２の従来技術は、特許文献１の従来技術で記憶されている２つの撮像部の画像の補正情報を作成する。ステレオカメラの前にチャートが設置され、そのチャートには複数の特徴点の模様が描かれているチャートを撮影して、その画像上の特徴点位置を検出して、画像の歪を補正する情報を作成する。チャートから異なる距離で画像を撮影し、それらの特徴点位置の違いにより、製造誤差及び設備誤差を推定して、製造誤差及び設備誤差による画像の補正情報のずれを補正して、画像の補正情報の精度を向上させる。
　特許文献３の従来技術は、２つの画像の幾何的な補正処理を行い、２つの画像から特徴を抽出して、２つの画像上の同じ特徴を対応させて、これらの特徴及びその対応関係をもとに、カメラパラメータのずれを補正する。
特開2014-72592号公報
国際公開第2014/181581号
特開2004-354257号公報
　画角が約４０°以下と比較的狭いカメラでは、主光線と光軸の交点（入射瞳中心）が主光線の入射角に依存せず、一定の場所に位置する。ステレオカメラでは、このように、主光線の入射角に依存せず、入射瞳中心が移動しないピンホールカメラモデルを前提に、距離を計測する。
　しかし、広角カメラでは、主光線と光軸の交点（入射瞳中心）が主光線の入射角によって異なる。具体的には、主光線の入射角が大きくなると、入射瞳中心が前に移動する。このため、同じ対象物からの主光線の入射角がピンホールカメラモデルとは異なり、画像の周辺で位置がピンホールカメラモデルからずれる。この画像周辺のずれは、対象物の距離によって異なるため、ある一定の補正量を与えただけでは、補正できず、算出した距離に誤差が生じる。
　特許文献２の従来技術は、カメラから比較的近い場所に設置されたチャート上の特徴点の模様を用いて、画像の補正情報を作成する。特許文献１の従来技術は、この画像の補正情報を用いるため、カメラから近い位置では画像上のずれが小さく、遠くなると、画像上のずれが大きくなる。遠い対象物の視差は小さいため、そこに視差誤差が発生すると、距離誤差が大きくなる。
　特許文献３の従来技術は、主光線の入射角ごとの入射瞳中心の移動を考慮しないため、距離によって異なる画像上のずれを補正できず、距離誤差が発生する。
　本発明の目的は、主光線の入射角ごとに入射瞳中心が移動することにより発生する距離誤差を低減することができるステレオカメラを提供することにある。
　上記目的を達成するために、本発明は、対象物の第１の画像を撮像する第１の撮像部と、前記対象物の第２の画像を撮像する第２の撮像部と、主光線と光軸の交点を示す入射瞳中心が入射角に応じて移動する場合の前記対象物の前記第１の画像の位置と、前記入射瞳中心が前記入射角に応じて移動しないと仮定する場合の前記対象物の前記第１の画像の位置と、の差を幾何補正情報として記憶する幾何補正情報記憶部と、前記幾何補正情報を用いて前記第１の画像及び前記第２の画像を幾何的に補正する幾何補正部と、幾何的に補正された前記第１の画像及び前記第２の画像から視差を算出する視差算出部と、を備える。
　本発明によれば、主光線の入射角ごとに入射瞳中心が移動することにより発生する距離誤差を低減することができる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
本発明の一実施形態によるステレオカメラの構成を示す図である。 図１に示すステレオカメラの動作を示す図である。 図２に示す入射瞳中心の移動を考慮した視差の補正の動作の一例を示す図である。 基準画像及び参照画像を示す図である。 本発明の一実施形態における距離及び入射角ごとのピンホールカメラモデルとの画像補正情報のずれの一例を示す図である。 本発明の一実施形態におけるある距離での画像上のピンホールカメラモデルとの画像補正情報のずれ分布の一例を示す図である。 近い位置で画像補正情報を作成したときの距離及び入射角ごとのピンホールカメラモデルとの画像補正情報のずれの一例を示す図である。 近い位置で画像補正情報を作成したときの無限遠での画像上のピンホールカメラモデルとの画像補正情報のずれ分布の一例を示す図である。 近い位置で画像補正情報を作成したときの距離誤差の一例を示す図である。 本発明の画像補正情報を用いたときの距離誤差の一例を示す図である。 入射瞳中心が移動するモデルとピンホールカメラモデルの主光線の入射角及び画像ずれを示す図である。 図２に示す入射瞳中心の移動を考慮した視差の補正の動作の変形例を示す図である。 入射瞳中心移動情報記憶部のテーブルの一例を示す図である。 入射瞳中心移動情報記憶部のテーブルの別の例を示す図である。 入射瞳中心移動情報記憶部のテーブルの別の例を示す図である。
　図１に本発明の一実施形態によるステレオカメラ１の構成を示す。なお、ステレオカメラ１は、画角が４０°以上の広角カメラである。
　本発明の一実施形態によるステレオカメラ１は、撮像系部１００ａ、撮像系部１００ｂ、演算部１１０、画面音声出力部１３０、制御部１４０とを備えている。
　カメラなどの撮像系部１００ａは、光学素子部１０１ａ、撮像素子部１０２ａとを備えている。
　レンズなどの光学素子部１０１ａは、光を屈折させて、撮像素子部１０２ａ上に像を結ぶ。
　撮像素子などの撮像素子部１０２ａは、光学素子部１０１ａにより屈折した光の像を受光し、その光の強さに応じた画像を生成する。
　カメラなどの撮像系部１００ｂは、光学素子部１０１ｂ、撮像素子部１０２ｂとを備えている。また、撮像系部１００ａと撮像系部１００ｂの焦点距離の設計値は同じである。撮像系部１００ａと撮像系部１００ｂの光軸の方向は、おおむね同じである。
　レンズなどの光学素子部１０１ｂは、光を屈折させて、撮像素子部１０２ｂ上に像を結ぶ。
　撮像素子などの撮像素子部１０２ｂは、光学素子部１０１ｂにより屈折した光の像を受光し、その光の強さに応じた画像を生成する。
　撮像系部１００ａが撮像した画像は、視差画像を作成するときに基準となる画像であるため、基準画像と呼ぶ。換言すれば、撮像系部１００ａ（第１の撮像部）は、対象物の基準画像（第１の画像）を撮像する。また、撮像系部１００ｂが撮像した画像は、視差画像を作成するときに、基準画像から抽出した領域と一致する領域を探索される画像であり、参照画像と呼ぶ。換言すれば、撮像系部１００ｂ（第２の撮像部）は、対象物の参照画像（第２の画像）を撮像する。
　ＣＰＵ（ｃｅｎｔｒａｌ　ｐｒｏｃｅｓｓｉｎｇ　ｕｎｉｔ、中央演算処理装置）及びメモリなどから構成される演算部１１０は、撮像画像記憶部１１１、幾何補正画像記憶部１１２、視差画像記憶部１１３、幾何補正情報記憶部１１４、幾何補正変更情報記憶部１１５、入射瞳中心移動情報記憶部１１６、同期信号発生部１１７、基準画像取込部１１８ａ、参照画像取込部１１８ｂ、幾何補正部１１９、視差算出部１２０、視差補正部１２１、認識部１２２、幾何校正部１２３を備えている。
　メモリなどの撮像画像記憶部１１１は、撮像系部１００ａ及び撮像系部１００ｂから出力される画像を格納する。
　メモリなどの幾何補正画像記憶部１１２は、撮像された基準画像（撮像後の基準画像）及び参照画像（撮像後の参照画像）を幾何的に補正した基準画像（幾何補正後の基準画像）及び参照画像（幾何補正後の参照画像）を格納する。
　メモリなどの視差画像記憶部１１３は、視差画像を格納する。
　メモリなどの幾何補正情報記憶部１１４は、基準画像及び参照画像において、歪がない画像上の各画素に対応する、歪がある撮像後の画像上の２次元座標（幾何補正情報）を格納する。この幾何補正情報は、幾何補正部１１９で撮像後の基準画像及び参照画像のレンズ歪みや光軸ずれを補正する処理に用いられる。すなわち、幾何補正部１１９は、幾何補正情報を用いて基準画像（第１の画像）及び参照画像（第２の画像）を幾何的に補正する。
　幾何補正情報は、入射瞳中心が移動する場合としない場合（ピンホールカメラモデル）との間で、ある距離の対象物を投影したときの画像上の位置ずれの値だけ、ピンホールカメラモデルからずれている。
　換言すれば、幾何補正情報記憶部１１４は、主光線と光軸の交点を示す入射瞳中心が入射角に応じて移動する場合の対象物の基準画像（第１の画像）の位置と、入射瞳中心が入射角に応じて移動しないと仮定する場合の対象物の基準画像の位置と、の差だけ誤差を持つ幾何補正情報を記憶する。また，幾何補正情報記憶部１１４は、主光線と光軸の交点を示す入射瞳中心が入射角に応じて移動する場合の対象物の参照画像（第２の画像）の位置と、入射瞳中心が入射角に応じて移動しないと仮定する場合の対象物の参照画像の位置と、の差だけ誤差を持つ幾何補正情報を記憶する。
　つまり、図５に示すように、無限遠の対象物を投影したときには、ピンホールカメラモデルの幾何補正情報の値と一致し、距離が短くなり、主光線の入射角が大きくなると、ピンホールカメラモデルを想定した幾何補正情報の値とずれが生じる。
　メモリなどの幾何補正変更情報記憶部１１５は、幾何補正部１１９が画像の幾何補正処理を実施するときに幾何補正情報から更に水平方向及び垂直方向に移動させるための基準画像及び参照画像の水平移動量及び垂直移動量が格納されている。ここで、基準画像及び参照画像の水平移動量及び垂直移動量の初期値はゼロである。基準画像及び参照画像の水平移動量及び垂直移動量は幾何校正部１２３で算出され、経年変化、熱変化や衝撃振動などの機械ずれによって発生した垂直方向及び水平方向のずれを補正するためのものである。
　メモリなどの入射瞳中心移動情報記憶部１１６は、撮像系部１００ａ及び撮像系部１００ｂにおける入射角ゼロを基準として各入射角までの入射瞳中心の移動量の値を格納している。換言すれば、入射瞳中心移動情報記憶部１１６は、図１３に示すように、それぞれの入射角（θ１、θ２、・・・）とそれに対応する入射瞳中心の移動量（ΔＬ１、ΔＬ２、・・・）とをテーブルＴ１３０１に記憶する。
　同期信号発生部１１７は、同期信号を生成し、発信する。
　基準画像取込部１１８ａは、同期信号発生部１１７の同期信号に合わせて、撮像素子部１０２ａに同期信号及び露光時間の情報を送った後に、撮像素子部１０２ａが生成する画像を取得して、画像を撮像画像記憶部１１１に格納する。
　参照画像取込部１１８ｂは、同期信号発生部１１７の同期信号に合わせて、撮像素子部１０２ｂに同期信号及び露光時間の情報を送った後に、撮像素子部１０２ｂが生成する画像を取得して、画像を撮像画像記憶部１１１に格納する。
　幾何補正部１１９は、幾何補正情報記憶部１１４から幾何補正情報を読み込み、幾何補正変更情報記憶部１１５から基準画像及び参照画像の水平移動量及び垂直移動量を読み込む。幾何補正情報である基準画像及び参照画像における歪のない画像上の各画素に対応する、歪のある画像上の２次元座標（幾何補正情報）にそれぞれ基準画像及び参照画像の水平移動量及び垂直移動量を足し合わせる。撮像後の基準画像及び参照画像、足し合わせた幾何補正情報をもとに、幾何補正処理を行い、歪のない画像を算出する。これらの幾何補正後の基準画像及び参照画像を幾何補正画像記憶部１１２に格納する。
　視差算出部１２０は、幾何補正画像記憶部１１２から幾何補正後の基準画像及び参照画像を読み込み、基準画像上から抽出した所定のサイズの領域（テンプレート画像）に対応する参照画像上の同じ高さにある領域を探索する。テンプレート画像と一致する参照画像上の領域の位置と、基準画像上のテンプレート画像の位置の差すなわち視差を算出する。各領域について視差を算出することにより、視差画像を算出する。
　換言すれば、視差算出部１２０は、幾何的に補正された基準画像（第１の画像）及び参照画像（第２の画像）から視差を算出する。
　視差補正部１２１は、視差画像記憶部１１３から視差画像を、入射瞳中心移動情報記憶部１１６から撮像系部１００ａ及び撮像系部１００ｂにおける入射角ゼロを基準として各入射角までの入射瞳中心の移動量を読み込む。視差補正部１２１は、視差画像、撮像系部１００ａ及び撮像系部１００ｂの焦点距離、画素ピッチ及び基線長を用いて、画像上の各領域の距離を算出する。
　各領域の基準画像及び参照画像上の位置は、入射瞳中心が移動した場合の幾何補正後の位置である。そこで、各領域の基準画像上の位置、視差及び距離、光軸位置、視差画像及び入射角ゼロを基準として各入射角までの入射瞳中心の移動量を用いて、入射瞳中心が移動しない場合の幾何補正後の基準画像及び参照画像上の各領域の位置を算出した後、その差を算出し、それらを各領域の補正後の視差とする。
　換言すれば、視差補正部１２１は、対象物の主光線の入射角に応じた入射瞳中心の移動量と、視差算出部によって算出される視差（入射瞳中心が入射角に応じて移動する場合の視差）と、に基づいて、入射瞳中心が入射角に応じて移動しないと仮定する場合の視差（ピンホールカメラモデルの視差）を算出し、補正後の視差とする。これにより、入射瞳中心の移動による視差誤差を低減することができる。
　視差補正部１２１は、補正後の視差画像を視差画像記憶手段に格納する。視差算出部１２０が算出した視差は、入射瞳中心が移動した場合の視差である。視差補正部１２１は、上記の処理により、入射瞳中心が移動する場合の視差を、ステレオカメラ１の距離測定の前提条件であるピンホールカメラモデル（入射瞳中心が移動しない場合）の視差に補正する。
　認識部１２２は、視差画像記憶部１１３から視差画像を読み込み、視差、撮像系部１００ａと撮像系部１００ｂの焦点の距離（基線長）、焦点距離及びの１画素のサイズをもとに、撮像系部１００ａ及び撮像系部１００ｂの光軸方向にステレオカメラ１から画像上の対象物までの距離を算出する。各領域について距離を算出することにより、距離画像を算出する。
　次に、認識部１２２は、幾何補正画像記憶部１１２から幾何補正後の基準画像を読み込み、幾何補正後の基準画像及び距離画像を用いて、基準画像に写っている対象物及び基準画像上の対象物の位置を認識し、ステレオカメラ１に対する対象物の３次元の相対位置及び相対速度を算出する。ここで、ステレオカメラ１に対する３次元の相対位置座標系は、撮像系部１００ａの入射瞳中心を原点として、撮像系部１００ａに対して右方向にｘ座標、下方向にｙ座標、光軸方向にｚ座標をとる。また、認識部１２２は、ステレオカメラ１と対象物の相対位置及び相対速度をもとに衝突までに時間を算出して、所定の時間内に衝突するかどうかを判定する。ステレオカメラ１と対象物の相対位置、相対速度、衝突判定結果及び衝突時間を画面音声出力部１３０及び制御部１４０に送る。
　幾何校正部１２３は、幾何補正画像記憶部１１２から幾何補正後の基準画像及び参照画像を、視差画像記憶部１１３から視差画像を読み込み、これらの情報をもとに、幾何補正後の基準画像上の光軸（消失点）位置が設計値になるような基準画像の水平移動量及び垂直移動量を算出するとともに、幾何補正後の基準画像上の光軸（消失点）位置で視差がゼロになるような参照画像の水平移動量及び垂直移動量を算出する。それらの結果を幾何補正変更情報記憶部１１５に格納する。
　モニタ及びスピーカなどの画面音声出力部１３０は、基準画像、あるいは、視差画像、距離画像を画面に表示する。また、対象物の位置に枠あるいはマーカを表示する。このとき、認識部１２２からの衝突判定結果が衝突するという判定である対象物の枠あるいはマーカの色を、衝突しない対象物と異なるものとする。認識部１２２からの衝突判定結果が衝突するという判定である対象物がある場合、画面音声出力部１３０は、警告音を出力する。
　ＣＰＵなどの制御部１４０は、ステレオカメラ１と対象物の相対位置、相対速度、衝突時間及び衝突判定結果をもとに制御信号を生成して、ステレオカメラ１の外部に出力する。
　図１に示す本発明の一実施形態によるステレオカメラ１の動作手順を、図２及び図３を用いて説明する。なお、各ステップの主体は、明記しない限り、原則として同じである。
　ステップ２０１：
　同期信号発生部１１７は、同期信号を生成して、基準画像取込部１１８ａ及び参照画像取込部１１８ｂに送る。基準画像取込部１１８ａは、同期信号発生部１１７からの同期信号を受け取った直後に、撮像素子部１０２ａに同期信号及び露光時間の情報を送る。撮像素子部１０２ａは、基準画像取込部１１８ａからの同期信号及び露光時間の情報を受け取った直後に、光学素子部１０１ａにより屈折した光の像を露光時間だけ受光し、その光の強さに応じた画像を生成して、基準画像取込部１１８ａに画像を送る。基準画像取込部１１８ａは、撮像素子部１０２ａから画像を受け取るとともに、画像を撮像画像記憶部１１１に格納する。
　参照画像取込部１１８ｂは、同期信号発生部１１７からの同期信号を受け取った直後に、撮像素子部１０２ｂに同期信号及び露光時間の情報を送る。撮像素子部１０２ｂは、参照画像取込部１１８ｂからの同期信号及び露光時間の情報を受け取った直後に、光学素子部１０１ｂにより屈折した光の像を露光時間だけ受光し、その光の強さに応じた画像を生成して、参照画像取込部１１８ｂに画像を送る。参照画像取込部１１８ｂは、撮像素子部１０２ｂから画像を受け取るとともに、画像を撮像画像記憶部１１１に格納する。
　ステップ２０２：
　幾何補正部１１９は、撮像画像記憶部１１１から撮像後の基準画像及び参照画像を読み込む。幾何補正情報記憶部１１４から基準画像及び参照画像の幾何補正情報を読み込み、幾何補正変更情報記憶部１１５から基準画像及び参照画像の水平移動量及び垂直移動量を読み込む。
　数式（１）及び数式（２）を用いて、幾何補正後の基準画像上の各画素に対応する撮像後の画像上の座標（Ｆｘ（Ｘ２，Ｙ２），Ｆｙ（Ｘ２，Ｙ２））、基準画像の水平移動量ΔＸ２及び垂直移動量ΔＸ２をもとに、幾何補正後の基準画像の画素（Ｘ２，Ｙ２）に対応する撮像前の基準画像の位置（Ｘ１，Ｙ１）を算出する。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
　基準画像の位置（Ｘ１，Ｙ１）の周辺４画素の輝度値を２次元線形補間を実施することにより、幾何補正後の基準画像の画素（Ｘ２，Ｙ２）の輝度値を算出する。幾何補正後の基準画像の各画素について上記の手順を実施して、幾何補正後の基準画像の輝度値を算出する。また、参照画像についても上記の手順を実施して、参照画像の幾何補正画像の輝度値を算出する。幾何補正後の基準画像及び参照画像を幾何補正画像記憶部１１２に格納する。
　ステップ２０３：
　視差算出部１２０は、幾何補正画像記憶部１１２から基準画像及び参照画像の幾何補正画像を読み込む。図４に示すように、幾何補正後の基準画像４０１の所定のサイズの領域の画像４０３（テンプレート画像）を抽出する。幾何補正後の参照画像４０２でテンプレート画像４０３と同じ対象物が写っている領域の画像を以下のテンプレートマッチングで探索する。
　テンプレート画像４０３と同じ高さにある参照画像４０２の所定のサイズの領域の画像４０４（被探索画像）を抽出して、テンプレート画像４０３の輝度値と被探索画像４０４の輝度値の差の絶対値の和（ＳＡＤ，Ｓｕｍ　ｏｆ　Ａｂｓｏｌｕｔｅ　Ｄｉｆｆｅｒｅｎｃｅ）を算出する。テンプレート画像４０３と同じ高さにある参照画像４０２上の各被探索画像４０４についてＳＡＤを算出して、ＳＡＤが最も小さい値の被探索画像４０５を探索する。
　被探索画像４０５のＳＡＤ及び被探索画像４０５から１画素の左右隣の被探索画像のＳＡＤを用いて、等角直線フィッティングを行い、テンプレート画像４０３と最も一致する参照画像上の被探索画像４０５のサブピクセルを算出する。テンプレート画像４０３と被探索画像４０５の位置の差にサブピクセルを加算することにより、幾何補正後の基準画像４０１上のテンプレート画像４０３の視差を算出する。
　次に、以下の２つの判定方法で視差が有効であるか無効であるかを判定する。テンプレート画像４０３と同じ高さにある参照画像４０２上の各被探索画像４０４を用いて、求めたＳＡＤの最小値が閾値以上である場合、テンプレート４０３と被探索画像４０５が一致していないとして、その領域の視差を無効であると判定し、ＳＡＤの最小値が閾値未満である場合、有効であると判定する。
　また、パターンの一致度を表すＳＡＤにおいて、隣とのＳＡＤの差を算出する。これらの差の値が負から正に変化する箇所を検出して、それらの箇所のＳＡＤが最も小さい箇所と、２番目に小さい箇所を検出して、それらのＳＡＤの差が閾値未満である場合、テンプレート画像と似たパターンがあり、ミスマッチングの可能性があるとして、その領域の視差は無効であると判定し、そうでない場合、有効であると判定する。ここで、隣のＳＡＤの差が負から正に変化する箇所が１箇所しかない場合、その視差は有効であると判定する。２つの判定方法でともに有効と判定された領域を有効とし、どちらか一方の判定方法で無効と判定された場合、その領域を無効とする。
　このような処理を幾何補正後の基準画像上の全ての領域について実施して、基準画像４０１の全体での視差を算出する。このようにして算出した視差画像を視差画像記憶部１１３に格納する。
　ステップ２０４：
　視差補正部１２１は、視差画像記憶部１１３から視差画像を、入射瞳中心移動情報記憶部１１６から撮像系部１００ａ及び撮像系部１００ｂにおける入射角ゼロを基準として各入射角までの入射瞳中心の移動量を読み込む。視差補正部１２１は、視差画像、撮像系部１００ａ及び撮像系部１００ｂの焦点距離、画素ピッチ及び基線長を用いて、画像上の各領域の距離を算出する。各領域の基準画像及び参照画像上の位置は、入射瞳中心が移動した場合の幾何補正後の位置である。
　そこで、各領域の基準画像上の位置、視差及び距離、光軸位置、視差画像及び入射角ゼロを基準として各入射角までの入射瞳中心の移動量を用いて、入射瞳中心が移動しない場合の幾何補正後の基準画像及び参照画像上の各領域の位置を算出した後、その差を算出し、それらを各領域の補正後の視差とする。補正後の視差画像を視差画像記憶手段に格納する。このステップの動作手順を図３に示す。
　ステップ２０５：
　認識部１２２は、視差画像記憶部１１３から視差画像を、幾何補正画像記憶部１１２から幾何補正画像を読み込む。
　数式（３）を用いて、視差画像上の領域におけるステレオカメラ１との光軸方向の距離Ｌを算出する。ここで、ｆは撮像系部１００ａ及び撮像系部１００ｂの焦点距離の設計値、Ｂは撮像系部１００ａと撮像系部１００ｂの主点間の距離（基線長）、ｄは視差、ｃは撮像素子部１０２ａ及び撮像素子部１０２ｂの画素ピッチである。
Figure JPOXMLDOC01-appb-M000003
　この処理を視差画像の全ての領域について実施して、視差画像全体におけるステレオカメラ１との光軸方向の距離を算出して、距離画像を作成する。
　次に、認識部１２２は、基準画像の処理画像上の消失点の位置の算出、自動車や歩行者などの対象物の判定、ステレオカメラ１に対する対象物の相対位置及び相対速度の算出、対象物とステレオカメラ１との衝突判定を行う。
　先ず、認識部１２２は、基準画像上の消失点の位置の算出を以下の手順で実施する。基準画像上の車線の境界にある両側の白線を検出して、基準画像上の白線の傾きを算出する。両側の白線が直線であるとして、算出した傾きにより、両側の白線が交わる点の基準画像上の位置を算出する。これが消失点の位置である。
　次に、認識部１２２は、自動車や歩行者などの対象物の検出を以下の手順で実施する。距離画像において、距離が所定の範囲内にある画素が連結している領域１を求める。所定の範囲の例として、５～１０ｍ、７．５～１２．５ｍ、１０～１５ｍなどと幅５ｍので２．５ｍごとに範囲が重複する複数の範囲を設定する。距離が所定の範囲内にある画素が連結している各領域１の基準画像上の縦及び横方向の長さを求める。各領域１の基準画像上の縦方向の長さ、距離と画素ピッチをかけた値を焦点距離で割って、各領域１の３次元の縦方向の長さを算出する。同様に、各領域１の基準画像上の横方向の長さ、距離と画素ピッチをかけた値を焦点距離で割って、各領域１の３次元の横方向の長さを算出する。数式（４）を用いて、各領域１の地面に関する基準画像上の縦方向の位置Ｖｇを近似的に算出する。ここで、Ｖｖは消失点の高さ、Ｈｉはステレオカメラ１の取付高さ、Ｌｒは領域１の平均距離である。また、撮像系部１００ａ及び撮像系部１００ｂの光軸はおおむね水平方向であるという仮定を設定したときの計算式である。
Figure JPOXMLDOC01-appb-M000004
　領域１の３次元の縦及び横方向の長さが自動車の所定の範囲内であり、かつ、領域１の下限の基準画像上の縦方向の位置と、数式（２）で算出した領域１の地面の基準画像上の縦方向の位置の差が閾値以内である場合、領域１の対象物は自動車であると判定する。同様に、領域１の３次元の縦及び横方向の長さが歩行者の所定の範囲内であり、かつ、領域１の下限の基準画像上の縦方向の位置と、数式（２）で算出した領域１の地面の基準画像上の縦方向の位置の差が閾値以内である場合、領域１の対象物は歩行者であると判定する。これらの処理を全ての領域１について実施して、自動車、歩行者であるかを判定する。
　次に、ステレオカメラ１に対する対象物の相対位置及び相対速度の算出を以下の手順で実施する。自動車あるいは歩行者と判定された領域１について、数式（５）～数式（７）を用いて、ステレオカメラ１に対する対象物の相対位置（Ｘｏ、Ｙｏ，Ｚｏ）を算出する。ここで、（Ｕｏ，Ｖｏ）は自動車あるいは歩行者と判定された領域１の中央に関する基準画像上の位置である。
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
Figure JPOXMLDOC01-appb-M000007
　ステップ２０２～２０８の処理は、所定の周期で繰り返し実施される。前回と今回の処理のステップ２０５で検出された領域１の基準画像上の位置の差が閾値以内である場合、同じ対象物であると判定して、今回の処理で算出されたステレオカメラ１に対する対象物の相対位置から、前回の処理のステップ２０５で算出された相対位置を引いた値を、ステップ２０２～２０８の処理周期の時間間隔で割って、ステレオカメラ１に対する対象物の相対速度（Ｖｘ，Ｖｙ，Ｖｚ）を算出する。
　最後に、対象物とステレオカメラ１との衝突判定を以下の手順で実施する。ステレオカメラ１に対する対象物の相対速度Ｖｚが０以上である場合、自動車あるいは歩行者と判定された領域１の対象物に衝突しないと判定する。ステレオカメラ１に対する対象物の相対速度Ｖｚが負である場合、今回の処理で算出したステレオカメラ１に対する対象物の相対位置Ｚｏを、ステレオカメラ１に対する対象物の相対速度Ｖｚの絶対値で割り、衝突までの時間（衝突時間）を算出する。また、ステレオカメラ１に対する対象物の相対速度Ｖｘに衝突時間をかけた値に対象物の相対位置Ｘｏを足して、衝突時におけるステレオカメラ１に対する対象物の相対位置Ｘｏを算出する。
　そこで、ステレオカメラ１に対する対象物の相対速度Ｖｚが負であり、かつ、衝突時間が閾値以内であり、かつ、衝突時におけるステレオカメラ１に対する対象物の相対位置Ｘｏの絶対値が閾値内である場合、自動車あるいは歩行者と判定された領域１の対象物に衝突すると判定する。それ以外の場合、衝突しないと判定する。認識部１２２は、自動車あるいは歩行者と判定された領域１に関する基準画像上の四隅の位置、ステレオカメラ１に対する対象物の相対位置及び相対速度、衝突判定結果及び衝突時間を画面音声出力部１３０及び制御部１４０に送る。
　ステップ２０６：
　幾何校正部１２３は、幾何補正画像記憶部１１２から幾何補正後の基準画像及び参照画像を、視差画像記憶部１１３から視差画像を読み込む。幾何補正後の基準画像上の道路上の左右の白線を検出して、左右の白線の近似直線を算出する。左右の白線の近似直線の交点の位置を算出して、この交点の位置が消失点であり、基準画像上の光軸の位置と一致するとして、交点の位置と光軸の位置の設計値の差を算出して、基準画像の水平方向及び垂直方向の補正量とする。これらの補正量を基準画像の水平移動量及び垂直移動量とする。
　幾何校正部１２３は、左右の白線の画像上の垂直方向の各位置に対応する視差を抽出して、左右の白線の画像上の垂直方向の位置と視差の近似直線を算出する。この近似直線から、基準画像の光軸の垂直方向の位置の設計値に対応する白線の視差を算出する。本来、基準画像の光軸の垂直方向の位置の設計値に対応する白線の視差はゼロであるため、その白線の視差は参照画像の水平方向の補正量に相当し、この補正量を参照画像の水平移動量とする。
　幾何校正部１２３は、参照画像についても同様に、幾何補正後の参照画像上の道路上の左右の白線を検出して、左右の白線の近似直線を算出する。左右の白線の近似直線の交点の位置を算出して、この交点の位置が消失点であり、参照画像上の光軸の位置と一致するとして、交点の位置と光軸の位置の設計値の差を算出して、参照画像の水平方向の補正量とする。これらの補正量を参照画像の垂直移動量とする。
　以上の処理で算出した基準画像及び参照画像の水平移動量及び垂直移動量を幾何補正変更情報記憶部１１５に送り、幾何補正変更情報記憶部１１５は基準画像及び参照画像の水平移動量及び垂直移動量を格納する。
　ステップ２０７：
　画面音声出力部１３０は、認識部１２２から自動車あるいは歩行者と判定された領域１に関する基準画像上の四隅の位置、ステレオカメラ１に対する対象物の相対位置及び相対速度、衝突判定結果及び衝突時間を受け取る。幾何補正画像記憶部１１２から幾何補正後の基準画像を読み込む。画面に基準画像を表示し、自動車あるいは歩行者と判定された領域１を枠として表示する。また、衝突判定結果が衝突するという判定結果である領域１の枠の色を衝突しないという判定結果の対象物の領域１の枠の色と変えて、画面に表示する。領域１の中に、衝突判定結果が衝突するという判定結果がある場合、警告音を出力する。
　ステップ２０８：
　制御部１４０は、認識部１２２から自動車あるいは歩行者と判定された領域１に関する基準画像上の四隅の位置、ステレオカメラ１に対する対象物の相対位置及び相対速度、衝突判定結果及び衝突時間を受け取る。自動車あるいは歩行者と判定された領域１の中に、衝突判定結果が衝突するという判定結果がある場合、衝突を回避する制御信号を生成して、ステレオカメラ１の外部に出力する。
　本発明の一実施形態によるステレオカメラ１の動作手順のステップ２０４の入射瞳中心の移動を考慮した視差の補正の動作手順を、図３を用いて説明する。
　ステップ３０１：
　視差補正部１２１は、視差画像記憶部１１３から視差画像を、入射瞳中心移動情報記憶部１１６から撮像系部１００ａ及び撮像系部１００ｂにおける入射角ゼロを基準として各入射角（θ１、θ２、・・・）までの入射瞳中心の移動量（ΔＬ１、ΔＬ２、・・・）を読み込む。
　ステップ３０２：
　視差補正部１２１は、数式（３）を用いて、視差画像、撮像系部１００ａ及び撮像系部１００ｂに共通の焦点距離ｆ、画素ピッチｃ及び基線長Ｂをもとに、基準画像上の各領域の距離Ｌを算出する。
　ステップ３０３：
　視差補正部１２１は、数式（８）～数式（１０）を用いて、各領域の基準画像上の位置（Ｕ，Ｖ）及び距離Ｌ、撮像系部１００ａ及び撮像系部１００ｂに共通の焦点距離ｆ、画素ピッチｃをもとに、入射瞳が移動する場合の各領域に対応する撮像系部１００ａの入射瞳中心を原点とした３次元位置（Ｘ，Ｙ，Ｚ）を算出する。ここで、（Ｕ０，Ｖ０）は基準画像上の光軸位置である。
Figure JPOXMLDOC01-appb-M000008
Figure JPOXMLDOC01-appb-M000009
Figure JPOXMLDOC01-appb-M000010
　ステップ３０４：
　視差補正部１２１は、数式（１１）を用いて、各領域の基準画像上の位置（Ｕ，Ｖ）、撮像系部１００ａ及び撮像系部１００ｂに共通の焦点距離ｆ、画素ピッチｃをもとに、基準画像上の各領域の入射角θを算出する。
Figure JPOXMLDOC01-appb-M000011
　ステップ３０５：
　視差補正部１２１は、撮像系部１００ａにおける入射角ゼロを基準として各入射角（θ１、θ２、・・・）までの入射瞳中心の移動量（ΔＬ１、ΔＬ２、・・・）のうち、ステップ３０４で算出したある領域の入射角θに近い２つの入射角（例えば、θ１、θ２）に対応する入射瞳中心の移動量（例えば、ΔＬ１、ΔＬ２）を抽出して、線形補間を行い、ある領域の入射瞳中心の移動量ΔＬを算出する。以上の処理を各領域について行う。
　換言すれば、視差補正部１２１は、入射瞳中心移動情報記憶部１１６に記憶されるそれぞれの入射角とそれに対応する入射瞳中心の移動量に基づいて、対象物の主光線の入射角に応じた入射瞳中心の移動量を算出する。これにより、入射瞳中心の移動量を容易に推定することができる。
　ステップ３０６：
　視差補正部１２１は、数式（１２）及び数式（１３）を用いて、ステップ３０３で算出した入射瞳中心が移動する場合の各領域の３次元位置（Ｘ，Ｙ，Ｚ）、ステップ３０５で算出した入射瞳中心の移動量ΔＬをもとに、入射瞳中心が移動しない場合の各領域の基準画像上の位置（Ｕ’，Ｖ’）を算出する。
　換言すれば、視差補正部１２１は、対象物の撮像系部１００ａ（第１の撮像部）の３次元位置（Ｘ，Ｙ，Ｚ）と、対象物の主光線の入射角に応じた撮像系部１００ａの入射瞳中心の移動量ΔＬと、に基づいて、入射瞳中心が移動しない場合の基準画像における対象物の位置（Ｕ’，Ｖ’）を算出する。
Figure JPOXMLDOC01-appb-M000012
Figure JPOXMLDOC01-appb-M000013
　ステップ３０７：
　視差補正部１２１は、各領域の基準画像上の水平方向の位置Ｕから視差ｄを引き、各領域の参照画像上の水平方向の位置Ｕrefを算出する。数式（８）～数式（１０）を用いて、各領域の参照画像上の位置（Ｕref，Ｖref）及び距離Ｌ、撮像系部１００ａ及び撮像系部１００ｂに共通の焦点距離ｆ、画素ピッチｃをもとに、入射瞳が移動する場合の各領域に対応する撮像系部１００ｂの入射瞳中心を原点とした３次元位置（Ｘref，Ｙref，Ｚref）を算出する。ここで、各領域の参照画像上の垂直方向の位置は、基準画像と同じである（Ｖref＝Ｖ）。
　ステップ３０８：
　視差補正部１２１は、数式（１１）を用いて、各領域の参照画像上の位置（Ｕref，Ｖref）、撮像系部１００ａ及び撮像系部１００ｂに共通の焦点距離ｆ、画素ピッチｃをもとに、参照画像上の各領域の入射角θrefを算出する。
　ステップ３０９：
　視差補正部１２１は、撮像系部１００ｂにおける入射角ゼロを基準として各入射角までの入射瞳中心の移動量（θ１、θ２、・・・）のうち、ステップ３０８で算出したある領域の入射角θrefに近い２つの入射角（例えば、θ１、θ２）に対応する入射瞳中心の移動量（例えば、ΔＬ１、ΔＬ２）を抽出して、線形補間を行い、ある領域の入射瞳中心の移動量ΔＬrefを算出する。以上の処理を各領域について行う。
　ステップ３１０：
　視差補正部１２１は、数式（１２）及び数式（１３）を用いて、ステップ３０７で算出した入射瞳中心が移動する場合の各領域の３次元位置（Ｘref，Ｙref，Ｚref）、ステップ３０９で算出した入射瞳中心の移動量ΔＬrefをもとに、入射瞳中心が移動しない場合の各領域の参照画像上の位置（Ｕ’ref，Ｖ’ref）を算出する。
　換言すれば、視差補正部１２１は、対象物の撮像系部１００ｂ（第２の撮像部）の３次元位置（Ｘref，Ｙref，Ｚref）と、対象物の主光線の入射角に応じた撮像系部１００ｂの入射瞳中心の移動量ΔＬrefと、に基づいて、入射瞳中心が移動しないと仮定する場合の参照画像（第２の画像）における対象物の位置（Ｕ’ref，Ｖ’ref）を算出する。
　ステップ３１１：
　ステップ３０６及びステップ３１０で算出した入射瞳中心が移動しない場合の各領域の基準画像及び参照画像上の水平方向の位置の差（｜Ｕ’－Ｕ’ref｜）を算出して、これらを入射瞳中心が移動しない場合の各領域の視差とする。
　換言すれば、視差補正部１２１は、入射瞳中心が移動しない場合の基準画像（第１の画像）における対象物の位置（Ｕ’，Ｖ’）と入射瞳中心が移動しないと仮定する場合の参照画像（第２の画像）における対象物の位置（Ｕ’ref，Ｖ’ref）との水平方向の差を補正後の視差とする。
　ここで、図１１を参照しつつ、本実施形態の課題を詳細に説明する。ステレオカメラの距離測定の前提条件のひとつに、主光線（後述する主光線１１０５、１１０８等）の入射角ごとに主光線と光軸１１０１の交点（入射瞳中心）は移動しないこと（ピンホールカメラモデル）がある。しかし、広角カメラでは、主光線の入射角が大きくなると、入射瞳中心の位置が前に移動する。
　例えば、図１１に示すように、対象物１１０２までの距離が短い場合、対象物１１０２から入射瞳中心が移動する場合の入射瞳中心の位置１１０４に入射する主光線１１０６の入射角と、対象物１１０２から入射瞳中心が移動しない場合の入射瞳中心の位置１１０３に入射する主光線１１０５の入射角が大きく異なるため、入射瞳中心が移動する場合と移動しない場合の画像上１１１０上の位置１１１２と位置１１１１が大きくずれる。
　一方、対象物１１０７までの距離が長い場合、対象物１１０７から入射瞳中心が移動する場合の入射瞳中心の位置１１０７に入射する主光線１１０９の入射角と、対象物１１０７から入射瞳中心が移動しない場合の入射瞳中心の位置１１０３に入射する主光線１１０８の入射角の差が小さいため、入射瞳中心が移動する場合と移動しない場合の画像１１１３上の位置１１１４と位置１１１５のずれは小さい。
　このように、入射瞳中心が移動する広角カメラでは、光学系のモデルがピンホールカメラモデルと異なるため、どの距離でも正確に視差を算出できるように、画像を幾何補正することはできない。
　特許文献２の従来技術は、比較的短い距離に設置されたチャートを撮影して、そのチャート上の模様をもとに、画像の幾何補正情報を作成する。このため、図７に示すように、近い距離では、入射角が大きいと、画像の幾何補正情報がピンホールカメラモデルと大きくずれ、図８に示すように、画像の端領域で、無限遠での画像の幾何補正情報のピンホールカメラモデルとのずれが大きくなる。これにより、図９に示すように、短い距離では、正確な距離を算出できるものの、遠い距離では、距離誤差が大きくなる。
　図１に示す本発明の一実施形態によるステレオカメラ１は、図５に示すように、ピンホールカメラモデルを想定した幾何補正情報とのずれが無限遠でゼロになる幾何補正情報を幾何補正情報記憶部１１４に記憶して、動作手順（図２）のステップ２０２で、幾何補正部１１９が、前述の特徴を持つ幾何補正情報を用いて、基準画像及び参照画像の歪を補正するため、無限遠でピンホールカメラモデルとの基準画像及び参照画像上の位置ずれがなく、視差誤差が低減される。近い距離では、ピンホールカメラモデルとの基準画像及び参照画像上の位置ずれが大きくなるものの、視差が大きいため、図１０に示すように、距離誤差は従来技術よりも小さく抑えられる。ここで、無限遠における幾何補正情報とピンホールカメラモデルとのずれを図６に示す。
　図１に示す本発明の一実施形態によるステレオカメラ１の動作手順（図２）のステップ２０４（図３）において、視差補正部１２１が、入射瞳中心が移動した場合の視差を、入射瞳中心が移動しない場合（ピンホールカメラモデル）の視差に補正するため、入射瞳中心の移動による視差誤差を低減する。また、ステップ２０５において、認識部１２２が、補正された視差画像をもとに、距離を算出するとともに、対象物までの衝突時間を正確に算出できるため、衝突防止機能が正常に動作できる。
　図１に示す本発明の一実施形態によるステレオカメラ１の動作手順（図２）のステップ２０６において、ステップ２０４で正確に補正された視差、幾何補正後の基準画像及び参照画像を用いて、幾何校正部１２３によって算出された基準画像及び参照画像の水平移動量（水平方向の補正量）も正確である。また、ステップ２０２において、幾何補正部１１９は、ステップ２０６で正確に求められた基準画像及び参照画像の水平移動量を用いて、画像を幾何的に補正するため、画像歪が正確に補正され、ステップ２０３において、ステップ２０２で正確に幾何補正された基準画像及び参照画像を用いて、視差画像が正確に算出される。
　以上説明したように、本実施形態によれば、主光線の入射角ごとに入射瞳中心が移動することにより発生する距離誤差を低減することができる。
　なお、本発明のステレオカメラ１は、上記で説明したような実施の形態に限定されるものではなく、様々に変形して適用することができる。以下では、本発明のステレオカメラ１の変形例について説明する。
　（変形例１－１）
　図１に示す本発明の一実施形態によるステレオカメラ１において、入射瞳中心移動情報記憶部１１６は、撮像系部１００ａ及び撮像系部１００ｂの主光線の入射角θごとに入射瞳中心の移動量ΔＬを記憶する代わりに、図１４に示すように、撮像系部１００ａ及び撮像系部１００ｂの主光線の入射角θと入射瞳中心の移動量ΔＬの多項式の係数（ａｎ、ａｎ－１、・・・、ａ０）をテーブルＴ１４０１に記憶する。
　動作手順（図３）のステップ３０１において、視差補正部１２１は、入射瞳中心移動情報記憶部１１６から主光線の入射角と入射瞳中心の移動量の多項式の係数を読み込み、ステップ３０４及びステップ３０８において、視差補正部１２１は、主光線の入射角と入射瞳中心の移動量の多項式を用いて、各領域の入射角から入射瞳中心の移動量を算出する。換言すれば、視差補正部１２１は、多項式を用いて、対象物の主光線の入射角に応じた入射瞳中心の移動量を算出する。これにより、入射瞳中心の移動量を容易に推定することができる。
　このようにしても、入射瞳中心が移動する場合の視差から、入射瞳中心が移動しない場合の視差に補正できるため、入射瞳中心が移動することによる視差誤差を低減できる。
　（変形例１－２）
　図１に示す本発明の一実施形態によるステレオカメラ１において、入射瞳中心移動情報記憶部１１６は、撮像系部１００ａ及び撮像系部１００ｂの主光線の入射角θごとに入射瞳中心の移動量ΔＬを記憶する代わりに、図１５に示すように、所定の距離Ｌごと及び所定の主光線の入射角θごとの入射瞳中心が移動する場合からしない場合への撮像系部１００ａ及び撮像系部１００ｂの幾何補正情報の補正量ＣｘをテーブルＴ１５０１に記憶する。
　換言すれば、入射瞳中心移動情報記憶部１１６は、対象物のそれぞれの距離Ｌとそれぞれの入射角θとの組合せに対応する幾何補正情報の補正量Ｃｘを記憶する。
　図１に示す本発明の一実施形態によるステレオカメラ１の動作手順（図２）のステップ２０４の入射瞳中心の移動を考慮した視差の補正の動作手順を図３の代わりに、図１２を実施しても、入射瞳中心が移動する場合の視差から、入射瞳中心が移動しない場合の視差に補正できるため、入射瞳中心が移動することによる視差誤差を低減できる。
　図１に示す本発明の一実施形態によるステレオカメラ１の動作手順（図２）のステップ２０４の入射瞳中心の移動を考慮した視差の補正の動作手順を図１２を用いて説明する。ここで、既に説明したステップ３０２～ステップ３０４、ステップ３０７、ステップ３０８、ステップ３１１の記述を省く。
　ステップ１２０１：
　視差補正部１２１は、視差画像記憶部１１３から視差画像を、入射瞳中心移動情報記憶部１１６から所定の距離Ｌごと及び所定の主光線の入射角θごとの入射瞳中心が移動する場合からしない場合への撮像系部１００ａ及び撮像系部１００ｂの幾何補正情報の補正量を読み込む。
　ステップ１２０２：
　視差補正部１２１は、所定の距離ごと及び所定の主光線の入射角ごとの入射瞳中心が移動する場合からしない場合への撮像系部１００ａの幾何補正情報の補正量のうち、ステップ３０２及びステップ３０４でそれぞれ算出した基準画像上のある領域の距離及び入射角に近い４つの幾何補正情報の補正量を探索し、それらの値を補間することにより、基準画像上のある領域の距離及び入射角における幾何補正情報の補正量を算出する。基準画像上のある領域の位置を光軸方向に補正量だけ変更した位置を算出する。以上の処理を全ての基準画像上の領域について実施する。
　換言すれば、視差補正部１２１は、入射瞳中心移動情報記憶部１１６に記憶される対象物のそれぞれの距離Ｌとそれぞれの入射角θとの組合せに対応する幾何補正情報の補正量Ｃｘに基づいて、入射瞳中心が移動しないと仮定する場合の基準画像（第１の画像）における対象物の位置（第１の位置）を算出する。
　ステップ１２０３：
　視差補正部１２１は、所定の距離ごと及び所定の主光線の入射角ごとの入射瞳中心が移動する場合からしない場合への撮像系部１００ｂの幾何補正情報の補正量のうち、ステップ３０２及びステップ３０８でそれぞれ算出した画像上のある領域の距離及び入射角に近い４つの幾何補正情報の補正量を探索し、それらの値を補間することにより、参照画像上のある領域の距離及び入射角における幾何補正情報の補正量を算出する。参照画像上のある領域の位置を光軸方向に補正量だけ変更した位置を算出する。以上の処理を全ての参照画像上の領域について実施する。
　換言すれば、視差補正部１２１は、入射瞳中心移動情報記憶部１１６に記憶される対象物のそれぞれの距離Ｌとそれぞれの入射角θとの組合せに対応する幾何補正情報の補正量Ｃｘに基づいて、入射瞳中心が移動しないと仮定する場合の参照画像（第２の画像）における対象物の位置（第２の位置）を算出する。
　（変形例１－３）
　図１に示す本発明の一実施形態によるステレオカメラ１の動作手順（図２）のステップ２０６において、幾何校正部１２３は、幾何補正画像記憶部１１２から幾何補正後の基準画像を、視差画像記憶部１１３から視差画像を読み込み、幾何校正部１２３は、左右の白線の画像上の垂直方向の各位置に対応する視差を抽出して、左右の白線の画像上の垂直方向の位置と視差の近似直線を算出する。この近似直線から、基準画像の光軸の垂直方向の位置の設計値に対応する白線の視差を算出する。
　本来、基準画像の光軸の垂直方向の位置の設計値に対応する白線の視差はゼロであるため、その白線の視差は参照画像の水平方向の補正量に相当し、この補正量を参照画像の水平移動量として、参照画像の水平移動量を幾何補正変更情報記憶部１１５に送り、幾何補正変更情報記憶部１１５は参照画像の水平移動量を格納しても、正確に視差を補正できる。ここで、参照画像の水平移動量の代わりに、補正量の符号を逆にして、基準画像の水平移動量を補正してもよい。
　なお、上述した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　また、上記の各構成、機能等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD（Solid State Drive）等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。
　なお、本発明の実施形態は、以下の態様であってもよい。
　（１）基準画像と参照画像とを撮影する２つの撮像部と、入射角ごとに主光線と光軸の交点（入射瞳中心）が移動する場合の前記の基準画像及び前記の参照画像上の位置と、移動しない場合の前記の基準画像及び前記の参照画像上の位置の差だけ誤差を持つ前記の基準画像及び前記の参照画像の幾何補正情報（各画素の補正量）をもつ記憶部と、前記の基準画像と前記の参照画像の幾何補正情報を用いて、前記の基準画像と前記の参照画像を幾何的に補正する画像補正部と、視差画像を生成する視差画像生成部と、を備えるステレオカメラ。
　（２）入射角ごとの入射瞳中心の移動量、前記の視差画像を用いて、入射瞳中心が移動する場合としない場合の画像ずれを算出して、視差画像を補正する視差補正部と、を備える（１）のステレオカメラ。
　（３）前記の基準画像、視差補正部が補正した前記の視差画像を用いて、基準画像あるいは参照画像の水平移動量を補正する幾何校正部と、を備える（２）のステレオカメラ。
　上記（１）～（３）によれば、無限遠でピンホールカメラモデルの画像上の位置が一致する画像補正情報を用いることにより、主光線の入射角ごとに入射瞳中心の移動することによる画像ずれを無限遠で小さくして、小さな視差誤差でも大きな誤差が発生する遠方での距離誤差を低減する。
　また、主光線の入射角ごとの入射瞳中心の移動量及び視差画像を用いて、距離ごとに視差ずれを算出して、補正することにより、主光線の入射角ごとの入射瞳中心の移動による距離誤差を低減する。
１…ステレオカメラ
１００ａ…撮像系部
１００ｂ…撮像系部
１０１ａ…光学素子部
１０１ｂ…光学素子部
１０２ａ…撮像素子部
１０２ｂ…撮像素子部
１１０…演算部
１１１…撮像画像記憶部
１１２…幾何補正画像記憶部
１１３…視差画像記憶部
１１４…幾何補正情報記憶部
１１５…幾何補正変更情報記憶部
１１６…入射瞳中心移動情報記憶部
１１１７…同期信号発生部
１１８ａ…基準画像取込部
１１８ｂ…参照画像取込部
１１９…幾何補正部
１２０…視差算出部
１２１…視差補正部
１２２…認識部
１２３…幾何校正部
１３０…画面音声出力部
１４０…制御部
４０１…基準画像
４０２…参照画像
４０３…基準画像のテンプレート画像
４０４…参照画像の被探索画像
４０５…テンプレート画像に最も一致する被探索画像
１１０１…光軸
１１０２…対象物
１１０３…移動しない入射瞳中心
１１０４…移動する入射瞳中心
１１０５…入射瞳中心が移動しない場合の対象物から入射瞳中心への主光線
１１０６…入射瞳中心が移動する場合の対象物から入射瞳中心への主光線
１１０７…移動する入射瞳中心
１１０８…入射瞳中心が移動しない場合の対象物から入射瞳中心への主光線
１１０９…入射瞳中心が移動する場合の対象物から入射瞳中心への主光線
１１１０…画像
１１１１…入射瞳中心が移動しない場合の画像上の対象物の位置
１１１２…入射瞳中心が移動する場合の画像上の対象物の位置
１１１３…画像
１１１４…入射瞳中心が移動しない場合の画像上の対象物の位置
１１１５…入射瞳中心が移動する場合の画像上の対象物の位置

Claims (7)

  1. 　対象物の第１の画像を撮像する第１の撮像部と、
    　前記対象物の第２の画像を撮像する第２の撮像部と、
    　主光線と光軸の交点を示す入射瞳中心が入射角に応じて移動する場合の前記対象物の前記第１の画像の位置と、前記入射瞳中心が前記入射角に応じて移動しないと仮定する場合の前記対象物の前記第１の画像の位置と、の差だけ誤差を持つ前記第１の画像の幾何補正情報を記憶して、
    　主光線と光軸の交点を示す入射瞳中心が入射角に応じて移動する場合の前記対象物の前記第２の画像の位置と、前記入射瞳中心が前記入射角に応じて移動しないと仮定する場合の前記対象物の前記第２の画像の位置と、の差だけ誤差を持つ前記第２の画像の幾何補正情報を、記憶する幾何補正情報記憶部と、
    　前記幾何補正情報を用いて前記第１の画像及び前記第２の画像を幾何的に補正する幾何補正部と、
    　幾何的に補正された前記第１の画像及び前記第２の画像から視差を算出する視差算出部と、
    　を備えることを特徴とするステレオカメラ。
  2. 　請求項１に記載のステレオカメラであって、
    　前記対象物の前記主光線の前記入射角に応じた前記入射瞳中心の移動量と、前記視差算出部によって算出される視差と、に基づいて、前記入射瞳中心が前記入射角に応じて移動しないと仮定する場合の視差を算出し、補正後の視差とする視差補正部を備える
    　ことを特徴とするステレオカメラ。
  3. 　請求項２に記載のステレオカメラであって、
    　それぞれの前記入射角とそれに対応する前記入射瞳中心の移動量とを記憶する入射瞳中心移動情報記憶部を備え、
    　前記視差補正部は、
    　前記入射瞳中心移動情報記憶部に記憶されるそれぞれの前記入射角とそれに対応する前記入射瞳中心の移動量に基づいて、前記対象物の前記主光線の前記入射角に応じた前記入射瞳中心の移動量を算出する
    　ことを特徴とするステレオカメラ。
  4. 　請求項３に記載のステレオカメラであって、
    　前記視差補正部は、
    　前記対象物の前記第１の撮像部の３次元位置と、前記対象物の前記主光線の前記入射角に応じた前記第１の撮像部の前記入射瞳中心の移動量と、に基づいて、入射瞳中心が移動しない場合の前記第１の画像における前記対象物の第１の位置を算出し、
    　前記対象物の前記第２の撮像部の３次元位置と、前記対象物の前記主光線の前記入射角に応じた前記第２の撮像部の前記入射瞳中心の移動量と、に基づいて、入射瞳中心が移動しないと仮定する場合の前記第２の画像における前記対象物の第２の位置を算出し、
    　前記第１の位置と前記第２の位置との水平方向の差を補正後の視差とする
    　ことを特徴とするステレオカメラ。
  5. 　請求項２に記載のステレオカメラであって、
    　前記入射角と前記入射瞳中心の移動量との多項式の係数を記憶する入射瞳中心移動情報記憶部を備え、
    　前記視差補正部は、
    　前記多項式を用いて、前記対象物の前記主光線の前記入射角に応じた前記入射瞳中心の移動量を算出する
    　ことを特徴とするステレオカメラ。
  6. 　請求項２に記載のステレオカメラであって、
    　前記対象物のそれぞれの距離とそれぞれの前記入射角との組合せに対応する前記幾何補正情報の補正量を記憶する入射瞳中心移動情報記憶部を備え、
    　前記視差補正部は、
    　前記入射瞳中心移動情報記憶部に記憶される前記対象物のそれぞれの距離とそれぞれの前記入射角との組合せに対応する前記幾何補正情報の補正量に基づいて、入射瞳中心が移動しないと仮定する場合の前記第１の画像における前記対象物の第１の位置と、入射瞳中心が移動しないと仮定する場合の前記第２の画像における前記対象物の第２の位置と、を算出し、
    　前記第１の位置と前記第２の位置との水平方向の差を補正後の視差とする
    　ことを特徴とするステレオカメラ。
  7. 　請求項１に記載のステレオカメラであって、
    　画角が４０°以上である
    　ことを特徴とするステレオカメラ。
PCT/JP2018/026817 2017-09-20 2018-07-18 ステレオカメラ WO2019058729A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/643,675 US11346663B2 (en) 2017-09-20 2018-07-18 Stereo camera

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017180648A JP6838225B2 (ja) 2017-09-20 2017-09-20 ステレオカメラ
JP2017-180648 2017-09-20

Publications (1)

Publication Number Publication Date
WO2019058729A1 true WO2019058729A1 (ja) 2019-03-28

Family

ID=65809648

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/026817 WO2019058729A1 (ja) 2017-09-20 2018-07-18 ステレオカメラ

Country Status (3)

Country Link
US (1) US11346663B2 (ja)
JP (1) JP6838225B2 (ja)
WO (1) WO2019058729A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111006591A (zh) * 2019-10-29 2020-04-14 国网浙江省电力有限公司电力科学研究院 一种非接触测量gis设备位移反演应力的方法
JP2021067657A (ja) * 2019-10-28 2021-04-30 オムロン株式会社 位置測定方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7269130B2 (ja) * 2019-08-14 2023-05-08 日立Astemo株式会社 画像処理装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012075060A (ja) * 2010-09-30 2012-04-12 Hitachi Automotive Systems Ltd 画像処理装置及びそれを用いた撮像装置
JP2013224920A (ja) * 2012-03-21 2013-10-31 Ricoh Co Ltd 距離計測装置及び車両
WO2014091877A1 (ja) * 2012-12-12 2014-06-19 日産自動車株式会社 移動物体位置姿勢角推定装置及び移動物体位置姿勢角推定方法
JP2015197421A (ja) * 2014-04-03 2015-11-09 キヤノン株式会社 三次元形状計測システムに用いられる投影装置および撮像装置
JP2017020971A (ja) * 2015-07-14 2017-01-26 株式会社リコー パターン画像投射装置、視差情報生成装置、パターン画像生成プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004354257A (ja) 2003-05-29 2004-12-16 Olympus Corp キャリブレーションずれ補正装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステム
JP5984013B2 (ja) * 2011-12-27 2016-09-06 ウシオ電機株式会社 コヒーレント光源装置およびプロジェクタ
JP5672254B2 (ja) * 2012-02-21 2015-02-18 ウシオ電機株式会社 コヒーレント光源装置およびプロジェクタ
JP2014002176A (ja) * 2012-06-15 2014-01-09 Ushio Inc 光源装置およびプロジェクタ
JP6082556B2 (ja) 2012-09-28 2017-02-15 日立オートモティブシステムズ株式会社 撮像装置
US9392129B2 (en) * 2013-03-15 2016-07-12 John Castle Simmons Light management for image and data control
JP6186431B2 (ja) 2013-05-07 2017-08-23 日立オートモティブシステムズ株式会社 キャリブレーション装置、キャリブレーションシステム、及び撮像装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012075060A (ja) * 2010-09-30 2012-04-12 Hitachi Automotive Systems Ltd 画像処理装置及びそれを用いた撮像装置
JP2013224920A (ja) * 2012-03-21 2013-10-31 Ricoh Co Ltd 距離計測装置及び車両
WO2014091877A1 (ja) * 2012-12-12 2014-06-19 日産自動車株式会社 移動物体位置姿勢角推定装置及び移動物体位置姿勢角推定方法
JP2015197421A (ja) * 2014-04-03 2015-11-09 キヤノン株式会社 三次元形状計測システムに用いられる投影装置および撮像装置
JP2017020971A (ja) * 2015-07-14 2017-01-26 株式会社リコー パターン画像投射装置、視差情報生成装置、パターン画像生成プログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021067657A (ja) * 2019-10-28 2021-04-30 オムロン株式会社 位置測定方法
WO2021084772A1 (ja) * 2019-10-28 2021-05-06 オムロン株式会社 位置測定方法
JP7310541B2 (ja) 2019-10-28 2023-07-19 オムロン株式会社 位置測定方法
US11709050B2 (en) 2019-10-28 2023-07-25 Omron Corporation Position measurement method using a calibration plate to correct a detection value from the position detector
CN111006591A (zh) * 2019-10-29 2020-04-14 国网浙江省电力有限公司电力科学研究院 一种非接触测量gis设备位移反演应力的方法

Also Published As

Publication number Publication date
JP6838225B2 (ja) 2021-03-03
US11346663B2 (en) 2022-05-31
JP2019056606A (ja) 2019-04-11
US20200271447A1 (en) 2020-08-27

Similar Documents

Publication Publication Date Title
US10659762B2 (en) Stereo camera
US8295587B2 (en) Image processing apparatus, image processing method, image processing program and position detecting apparatus as well as mobile object having the same
JP5906272B2 (ja) 車両用ステレオ画像処理装置
JP6427900B2 (ja) 校正方法、校正システム、プログラム及び移動体
US20200177866A1 (en) Calibration apparatus, chart for calibration, chart pattern generation apparatus, and calibration method
JP2006252473A (ja) 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
JP6209833B2 (ja) 検査用具、検査方法、ステレオカメラの生産方法及びシステム
CN107808398B (zh) 摄像头参数算出装置以及算出方法、程序、记录介质
JP2008039491A (ja) ステレオ画像処理装置
JP6515650B2 (ja) 校正装置、距離計測装置及び校正方法
US11346663B2 (en) Stereo camera
JP6186431B2 (ja) キャリブレーション装置、キャリブレーションシステム、及び撮像装置
JP6582683B2 (ja) 角度算出システム、角度算出装置、プログラム、および角度算出方法
KR101597163B1 (ko) 스테레오 카메라 교정 방법 및 장치
JP2013257244A (ja) 距離測定装置、距離測定方法、及び距離測定プログラム
WO2018074302A1 (ja) 車載カメラのキャリブレーション装置及び車載カメラのキャリブレーション方法
JP7308227B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
CN116105600B (zh) 基于双目相机的瞄准目标的方法、处理装置及激光跟踪仪
JP2018044942A (ja) カメラパラメータ算出装置、カメラパラメータ算出方法、プログラム、及び記録媒体
JP6241083B2 (ja) 撮像装置及び視差検出方法
Fasogbon et al. Calibration of fisheye camera using entrance pupil
JP7083014B2 (ja) ステレオカメラ
WO2022050279A1 (ja) 三次元計測装置
CN114814865A (zh) 用于车辆测距的方法和系统、车辆及程序产品
JP6680335B2 (ja) ステレオカメラ、車両、算出方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18858784

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18858784

Country of ref document: EP

Kind code of ref document: A1