WO2022107530A1 - 信号処理装置と信号処理方法およびプログラム - Google Patents

信号処理装置と信号処理方法およびプログラム Download PDF

Info

Publication number
WO2022107530A1
WO2022107530A1 PCT/JP2021/038544 JP2021038544W WO2022107530A1 WO 2022107530 A1 WO2022107530 A1 WO 2022107530A1 JP 2021038544 W JP2021038544 W JP 2021038544W WO 2022107530 A1 WO2022107530 A1 WO 2022107530A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
polarized
polarization
polarization direction
parallax
Prior art date
Application number
PCT/JP2021/038544
Other languages
English (en)
French (fr)
Inventor
楽公 孫
雄飛 近藤
大志 大野
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to US18/252,401 priority Critical patent/US20230316708A1/en
Priority to CN202180076466.8A priority patent/CN116457626A/zh
Publication of WO2022107530A1 publication Critical patent/WO2022107530A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • G02B5/3083—Birefringent or phase retarding elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching

Definitions

  • This technique makes it easy to obtain high-resolution distance information regarding signal processing devices, signal processing methods and programs.
  • subject distance various methods for measuring the distance from the image pickup device to the subject (hereinafter referred to as "subject distance") in a non-contact manner.
  • subject distance an active method of irradiating infrared rays, ultrasonic waves, lasers, etc. and calculating the subject distance based on the time until the reflected wave returns, the angle of the reflected wave, etc., or for irradiating infrared rays, etc.
  • a passive method is used to calculate the distance to the subject based on the stereo image of the subject without the need for a device.
  • Non-Patent Document 1 and Non-Patent Document 2 it is based on an image based on normal light rays obtained by performing imaging through a birefringent material having a birefringent effect and anomalous light rays. An edge image is generated using the image, and the subject distance is calculated based on the matching result of the corresponding points in the edge image.
  • the purpose of this technique is to provide a signal processing device, a signal processing method, and a program that can easily obtain high-resolution distance information.
  • the first aspect of this technique is A polarized image pickup unit that generates a polarized image based on the subject light incident through the birefringent substance, and A parallax image generation unit that separates images having different polarization angles using the polarization image generated by the polarization imaging unit and generates a normal ray image and an abnormal ray image as a parallax image.
  • the signal processing device includes a distance measuring unit that calculates the distance to the distance measuring position based on the parallax of the distance measuring position of the subject in the normal ray image and the abnormal ray image generated by the parallax image generation unit.
  • the polarized image pickup unit generates a polarized image based on the subject light incident through the birefringent substance.
  • the polarization imaging unit makes the imaging surface perpendicular to the optical axis of the birefringent substance.
  • the polarization imaging unit is configured by using polarized pixels having a phase difference of 90 degrees in the polarization direction, and makes the polarization direction equal to the horizontal direction and the vertical direction of the birefringent material.
  • the parallax image generation unit separates images having different polarization angles using the polarized images generated by the polarization imaging unit, and generates a normal ray image and an abnormal ray image as a parallax image.
  • the parallax image generator generates a normal ray image using polarized pixels in the same polarization direction as one of the horizontal or vertical directions of the birefringent material, and anomalous light rays using the polarized pixels in the same polarization direction as the other. Generate an image.
  • the polarization imaging unit is configured by using polarized pixels in a predetermined polarization direction and unpolarized unpolarized pixels, and the polarization direction is made equal to the horizontal direction or the vertical direction of the birefringent material.
  • the parallax image generator generates one of a normal ray image or an abnormal ray image using polarized pixels, and the other image is based on an image generated using polarized pixels and an image generated using unpolarized pixels. Generate.
  • the polarization imaging unit is configured by using polarized pixels in three or more directions having different polarization directions, and the parallax image generation unit calculates a polarization model from the pixel values of the polarized pixels in three or more directions having different polarization directions. , Generate a parallax image based on the calculated polarization model. For example, the parallax image generator searches for a polarization direction that minimizes the other image included in one of the normal ray image and the abnormal ray image, and has a phase difference of 90 degrees from the searched image in the polarization direction. Generate an image as a disparity image.
  • the parallax image generation unit searches for a polarization direction in which the edge component of the polarized image based on the polarization model is minimized.
  • the disparity image generation unit is a polarized image based on a polarization model, and the polarization of one of the two polarized images in which the total difference for each pixel in the two polarized images having a phase difference of 90 degrees in the polarization direction is maximized.
  • the direction may be searched, and the two polarized images having a phase difference of 90 degrees have a phase difference of 45 degrees with respect to the polarization direction of one of the two polarized images in which the total difference for each pixel is minimized. You may search for the polarization direction.
  • the parallax image generation unit is a polarized image based on a polarization model, and is pixel-by-pixel of an additive image of two polarized images having a phase difference of 90 degrees in the polarization direction and a polarized image having a phase difference of 45 degrees. You may search for the polarization direction of one of the two polarized images that minimizes the sum of the differences between the two.
  • the parallax image generation unit uses a preset image parallelization function to generate a normal ray image having a horizontal parallax and an abnormal ray image as a parallax image.
  • the distance measurement unit calculates the distance to the distance measurement position based on the parallax of the distance measurement position of the subject in the normal ray image and the abnormal ray image generated by the parallax image generation unit.
  • the second aspect of this technique is
  • the polarization image pickup unit generates a polarized image based on the subject light incident through the birefringent substance, and Using the polarized image generated by the polarized image pickup unit, images having different polarization angles are separated, and a normal ray image and an abnormal ray image are generated as a parallax image by the parallax image generation unit.
  • a signal processing method including calculating the distance to the distance measuring position by the distance measuring unit based on the parallax of the distance measuring position of the subject in the normal ray image and the abnormal ray image generated by the parallax image generation unit. be.
  • the third aspect of this technique is A program that allows a computer to perform distance measurement using polarized images.
  • the computer executes a procedure for calculating the distance to the distance measuring position based on the parallax of the distance measuring position of the subject in the generated normal ray image and the abnormal ray image.
  • the program of the present technology provides, for example, a storage medium, a communication medium, for example, a storage medium such as an optical disk, a magnetic disk, or a semiconductor memory, which is provided in a computer-readable format to a general-purpose computer capable of executing various program codes. It is a program that can be provided by a medium or a communication medium such as a network. By providing such a program in a computer-readable format, processing according to the program can be realized on the computer.
  • This technique captures an image of a distance-measured object via a birefringent substance and generates a polarized image.
  • this technique separates images with different polarization angles using the generated polarized images, generates a normal ray image and an abnormal ray image as a parallax image, and determines the distance measurement position in the normal ray image and the abnormal ray image. The distance to the distance measuring position is calculated based on the parallax.
  • FIG. 1 illustrates the configuration of the embodiment.
  • the measurement system 10 includes a birefringence image pickup unit 20, a parallax image generation unit 30, and a distance measurement unit 40.
  • FIG. 2 illustrates the configuration of the birefringence imaging unit.
  • the birefringence image pickup unit 20 includes a birefringence substance 21, an image pickup optical system 22, and a polarization image pickup unit 25.
  • the birefringent substance 21 is a substance having the effect of birefringence, and the transmitted incident light rays are divided into normal rays and abnormal rays by the birefringence substance 21.
  • the birefringent substance 21 is a substance such as ⁇ -BBO crystal, yttrium vanadate crystal, calcite, and quartz.
  • the image pickup optical system 22 is configured by using a focus lens, a zoom lens, or the like.
  • the image pickup optical system 22 drives a focus lens, a zoom lens, or the like to form an optical image of a subject to be distanced on the image pickup surface of the birefringence image pickup unit 20.
  • the image pickup optical system 22 may be provided with an iris (aperture) mechanism, a shutter mechanism, or the like.
  • the polarized light imaging unit 25 is configured by using a polarizing element and an image sensor, and generates a polarized image.
  • FIG. 3 illustrates the configuration of the polarization imaging unit.
  • the polarization image pickup unit 25 is an image sensor 251 such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge Coupled Device), and a polarization filter composed of one or a plurality of polarization pixels in the polarization direction, or a polarization pixel and a non-polarization pixel. 252 is arranged to acquire a polarized image.
  • CMOS Complementary Metal Oxide Semiconductor
  • CCD Charge Coupled Device
  • linearly polarized light may be extracted from the subject light, and for example, a wire grid, a photonic liquid crystal, or the like is used.
  • the arrow of the polarization filter 252 indicates, for example, the polarization direction for each pixel or each of a plurality of pixels, and FIG. 3 illustrates a case where the polarization directions are four directions.
  • the birefringence imaging unit 20 configured in this way generates a first polarized image based on normal light rays and a second polarized image based on abnormal light rays as a parallax image.
  • FIG. 4 is a diagram for explaining the operation of the birefringence imaging unit. Note that FIG. 4 illustrates a case where the distance to the distance measuring position P in the subject OB is measured.
  • the subject light indicating the subject OB When the subject light indicating the subject OB is incident on the birefringent substance 21, the subject light is divided into a normal ray Rx and an abnormal ray Ry and emitted to the polarized light imaging unit 25. That is, a light beam indicating an image Gc in which an image based on the normal light ray Rx and an image based on the abnormal light ray Ry are mixed is incident on the polarization imaging unit 25.
  • the image sensor of the polarization imaging unit 25 performs photoelectric conversion of the light rays incident on the polarization filter 252 to generate a polarized image.
  • the polarized images are a normal light image Go generated by using a polarized pixel in which the normal light Rx is transmitted by the polarizing filter 252 and a polarized pixel in which the abnormal light Ry is transmitted by the polarizing filter 252.
  • the range-finding position in the normal ray image Go is the range-finding position Po
  • the range-finding position in the abnormal ray image Ge is the range-finding position Pe.
  • the parallax image generation unit 30 separates the normal ray image Go and the abnormal ray image Ge from the mixed image generated by the birefringence image pickup unit 20 to generate a parallax image. Further, the parallax image generation unit 30 gains according to the polarization filter with respect to the polarized image for each polarization direction and the unpolarized image generated by using the unpolarized pixel (not shown) provided with no polarizing filter. Adjustments may be made to generate an average image, and a disparity image may be generated based on the polarized image for each polarization direction, or based on the polarized image and the average image.
  • the average image is an image showing the average change in luminance when the polarization direction is changed.
  • the parallax image generation unit 30 performs image size (number of pixels in the horizontal direction and the vertical direction) of the polarized image and the average image for each polarization direction by interpolation processing or the like. ) Are equal.
  • the distance measuring unit 40 performs matching processing of corresponding points using the parallax image generated by the parallax image generation unit 30, and calculates the parallax at the distance measuring position P. Further, the distance measuring unit 40 calculates the distance to the distance measuring position P in the subject OB based on the calculated parallax.
  • the polarization imaging unit 25 has at least two polarization pixels in orthogonal directions.
  • FIG. 5 illustrates the configuration of the first embodiment, and the polarization imaging unit 25 has a polarization pixel having a polarization direction of 0 degrees and a polarization pixel having a polarization direction of 90 degrees.
  • the pixels other than the polarized pixel having a polarization direction of 0 degree and the polarized pixel having a polarization direction of 90 degrees may be polarized pixels having different polarization directions or non-polarized pixels.
  • the parallax image generation unit 30 generates a normal ray image based on normal light rays and an abnormal light ray image based on abnormal light rays as a disparity image from the polarized image acquired by the birefringence imaging unit 20.
  • FIG. 6 illustrates a parallax image generated by a parallax image generation unit.
  • FIG. 6A shows a normal ray image Go showing an optical image of a normal ray
  • FIG. 6B shows an abnormal ray.
  • the anomalous ray image Ge showing the optical image of is shown.
  • the range-finding position in the normal ray image Go is the range-finding position Po
  • the range-finding position in the abnormal ray image Ge is the range-finding position Pe.
  • the pixel value of the normal ray image Go is "I 0 "
  • the pixel value of the abnormal ray image Ge is "I e ".
  • the distance measuring unit 40 performs matching processing of corresponding points using the normal ray image Go generated by the parallax image generation unit 30 and the abnormal ray image Ge, and calculates the parallax at the distance measuring position P. Further, the distance measuring unit 40 calculates the distance Z (P) to the distance measuring position P in the subject OB based on the calculated parallax.
  • the baseline length B which is the acquisition position and the interval between the acquisition position of the normal ray image Go and the acquisition position of the abnormal ray image Ge, which causes the parallax between the distance measurement position Po and the distance measurement position Pe, is measured in advance.
  • the focal length f is defined as the time when the focal length P of the subject OB is in focus.
  • the pixel value based on the normal light beam transmitted through the birefringent material is obtained from the distance measuring position P in the subject OB, and in the case of the polarized pixel having the polarization direction of 90 degrees, the subject OB. Calibration is performed so that a pixel value based on the abnormal light beam transmitted through the birefringent material can be obtained from the position P at.
  • the parallax image generation unit 30 uses a polarized pixel having a polarization direction of 0 degrees to show an optical image of a normal ray and an optical image of an abnormal ray using a polarized pixel having a polarization direction of 90 degrees.
  • the anomalous ray image Ge shown is generated.
  • the distance measuring unit 40 performs matching processing of the distance measuring position P using the normal ray image Go generated by the parallax image generation unit 30 and the abnormal ray image Ge, and the distance measuring position Po and the abnormal ray image in the normal ray image Go.
  • which is the difference between the distance measurement positions Pe in Ge, is calculated. Further, the distance measuring unit 40 calculates the distance Z (P) to the distance measuring position P in the subject OB based on the calculated parallax
  • the measurement system 10 calibrates the mixed image generated by the birefringence imaging unit 20 so that the normal ray image based on the normal light ray and the abnormal light ray image based on the abnormal light ray can be separated.
  • FIG. 7 is a flowchart showing the calibration operation.
  • step ST1 the measurement system calculates the focal length.
  • the measurement system 10 calibrates using the internal parameters as in the conventional calibration method, calculates the focal length f, and proceeds to step ST2.
  • step ST2 the measurement system adjusts the position of the birefringent substance and the image sensor.
  • the measurement system 10 adjusts the positions of the birefringent substance and the image sensor so that the z-axis (optical axis) of the birefringent substance is perpendicular to the image pickup surface of the image sensor of the polarization imaging unit.
  • FIG. 8 is a diagram for explaining calibration in which the z-axis of the birefringent substance is in the direction perpendicular to the image pickup surface of the image sensor.
  • the calibration method described in Non-Patent Document 1 is used for calibration in which the z-axis of the birefringent substance is perpendicular to the image sensor. Note that the image pickup optical system 22 is omitted in FIG.
  • the checkerboard 50 is imaged by the polarization imaging unit 25 without using the birefringent substance 21, and the reference image Gd shown in FIG. 8B is obtained. get.
  • the checkerboard 50 is imaged by the polarization imaging unit 25 via the polarizing plate 51 and the birefringent substance 21.
  • the polarizing plate 51 incidents a linearly polarized light ray in the same polarization direction as the y-axis of the birefringent material 21 on the birefringent material 21 and causes the polarized light imaging unit 25 to observe only the normal light ray.
  • the normal ray image Go shown in d) is acquired.
  • the circles shown in FIGS. 8 (b) and 8 (d) indicate key points on the checkerboard 50.
  • the equation (2) is an equation showing a straight line Li connecting the corresponding key points of the key point group Pdi and the key point group Po i .
  • the position of the intersection E is adjusted by rotating the birefringent substance 21 around the y-axis and the x-axis as the rotation axis, and the intersection E is set as the position of the image center C.
  • the measurement system adjusts the birefringent substance 21 so that the intersection E is at the position of the image center C, so that the z-axis of the birefringent substance is perpendicular to the image pickup surface of the image sensor, and the process proceeds to step ST3.
  • the measurement system adjusts the positions of the birefringent material and the polarizing filter.
  • the polarized image generated by using the polarized pixel having the polarization direction of 0 degree is a normal ray image
  • the polarized image generated by using the polarized pixel having the polarization direction of 90 degrees is an abnormal ray image.
  • the y-axis of the birefringent material and the 0-degree direction of the polarization filter in the polarization imaging unit are aligned with each other.
  • step ST3 the y-axis of the birefringent substance and the 90-degree direction of the polarizing filter may be aligned so that the 90-degree polarized image indicates a normal ray image and the 0-degree polarized image indicates an abnormal ray image.
  • FIG. 9 is a diagram for explaining calibration in which the y-axis of the birefringent substance is set to a predetermined polarization direction (for example, 0 degree or 90 degree) of the polarizing filter.
  • a predetermined polarization direction for example, 0 degree or 90 degree
  • the calibration method described in Non-Patent Document 1 is used for calibration in which the y-axis of the birefringent substance is set to a predetermined polarization direction of the polarizing filter.
  • the image pickup optical system 22 is omitted in FIG.
  • the checkerboard 50 is imaged by the polarization imaging unit 25 without using the birefringent substance 21, and the reference image Gd shown in FIG. 9B is obtained. get.
  • the checkerboard 50 is imaged by the polarization imaging unit 25 via the polarizing plate 51 and the birefringent substance 21.
  • the polarizing plate 51 incidents a linearly polarized light ray in a polarization direction orthogonal to the y-axis of the birefringent material 21 onto the birefringent material 21, and causes the polarization imaging unit 25 to observe only the abnormal light ray, and FIG.
  • the abnormal ray image Ge shown in (d) is acquired.
  • the circles shown in FIGS. 9 (b) and 9 (d) indicate the positions of the key points on the checkerboard 50.
  • the key point pair at the same position on the checkerboard is used, and the circle Cri passing through the corresponding key point of the key point group Pe i is centered on the key point of the key point group P di .
  • the circle Cr1 passing through the key point Pe 1 centered on the key point Pd 1 a circle Cr2 passing through the key point Po 2 centered on the key point Pd 2 , and a circle Cr passing through the key point Po 3 centered on the key point Pd 3 . calculate.
  • the z-axis of the birefringent material 21 is rotated as the rotation axis to adjust the position of the intersection point A, and the vector connecting the intersection point A and the image center C is in the vertical direction of the image (for example, upward vertical).
  • the birefringent substance 21 is adjusted so that the vector connecting the intersection point A and the image center C is in the vertical direction of the image, so that the y-axis of the birefringent substance is polarized at 0 degrees by the polarizing filter. The direction.
  • the measurement system calibrates the y-axis of the birefringent substance in the predetermined polarization direction of the polarizing filter, and proceeds to step ST4.
  • step ST4 the measurement system calculates the image parallelization function.
  • the measurement system 10 calculates an image parallelization function T that makes a polarized image generated by the birefringence image pickup unit 20 a stereo mixed image in which an image of a right viewpoint and an image of a left viewpoint are mixed.
  • the image parallelization function T is calculated using, for example, the method described in Non-Patent Document 2.
  • This method calculates the image parallelization function T using the preset baseline length B.
  • the image parallelization function T is the coordinates (u, v) of the image Ir in which the coordinates t (u, v) of the image I before the parallelization process are mixed with the images of the right viewpoint and the left viewpoint. ) Is a corresponding function.
  • the image parallelization function T can be calculated using, for example, the recursive method. Specifically, as shown in the equation (4), the coordinates t (u, v) are calculated from the leftmost coordinate (0, v) to the rightmost coordinate (u, v). Here, the baseline b (u, v) of the pixel (u, v) is calculated based on the equation (5). In the equation (5), the focal length f and the distance Zcb to the checkerboard are set in advance before the calculation of the image parallelization function. Further,
  • FIG. 10 illustrates a case where the pixel position conversion process is performed using the image parallelization function.
  • FIG. 10A exemplifies the image before conversion, and the key point Po of the normal ray image and the corresponding key point Pe in the abnormal ray image are not parallel.
  • FIG. 10B shows the converted image, and by performing the pixel position conversion processing using the image parallelization function T, the key point Po of the normal ray image and the corresponding key in the abnormal ray image are shown.
  • the points Pe are parallel. That is, in the converted image, the normal ray image and the abnormal ray image are images of the right viewpoint and the left viewpoint, and the key point is a stereo mixed image having parallax according to the distance.
  • the measurement system 10 performs a distance measurement operation at a distance measurement position after performing the calibration shown in FIG. 7.
  • FIG. 11 is a flowchart illustrating the operation of the first embodiment.
  • the measurement system acquires the captured image.
  • the birefringence image pickup unit 20 of the measurement system 10 takes an image so that the distance measurement position P of the subject OB to be distance measurement is included in the angle of view, acquires a polarized image, and proceeds to step ST12.
  • step ST12 the measurement system performs image parallelization processing.
  • the parallax image generation unit 30 of the measurement system 10 performs image parallelization processing of the polarized image acquired by the birefringence image pickup unit 20 using the image parallelization function T calculated by calibration.
  • the parallax image generation unit 30 performs image parallelization processing to obtain a polarized image, a normal ray image and an abnormal ray image are images of the right viewpoint and the left viewpoint, and the ranging position is a stereo having a parallax according to a distance. Convert to a mixed image and proceed to step ST13.
  • step ST13 the measurement system acquires a 0 degree polarized image.
  • the parallax image generation unit 30 of the measurement system 10 uses a zero-degree polarized image (normal light beam) generated from the stereo mixed image generated in step ST12 using polarized pixels having a polarization direction of 0 degree as an image of one viewpoint. Image) is acquired and the process proceeds to step ST14.
  • step ST14 the measurement system acquires a 90-degree polarized image.
  • the parallax image generation unit 30 of the measurement system 10 uses a 90-degree polarized image (abnormal light beam) generated from the stereo mixed image generated in step ST12 using polarized pixels having a polarization direction of 90 degrees as an image of the other viewpoint. Image) is acquired and the process proceeds to step ST15.
  • a 90-degree polarized image abnormal light beam
  • step ST15 the measurement system matches the corresponding points.
  • the distance measurement unit 40 of the measurement system 10 has a 0-degree polarized image (normal ray image) which is an image of one viewpoint acquired in step ST13 and a 90-degree polarized image (normal ray image) which is an image of the other viewpoint acquired in step ST14.
  • Corresponding point matching is performed using the anomalous ray image)
  • the positional difference between the ranging position Po in the normal ray image and the ranging position Pe in the abnormal ray image is calculated, and the process proceeds to step ST16.
  • FIG. 12 is a diagram for explaining correspondence point matching.
  • FIG. 12A shows a first image used for corresponding point matching
  • FIG. 12B shows a second image used for corresponding point matching.
  • the first image is a normal ray image and the second image is an abnormal ray image
  • the first image may be an abnormal ray image and the second image may be a normal ray image.
  • FIG. 12 (c) shows a template image.
  • the template image is, for example, an image of a region ARo having a size of M ⁇ N pixels and a center set as a distance measuring position Po in the first image (normal ray image Go).
  • the key point Po of the normal ray image and the corresponding key point Pe in the abnormal ray image are located at positions separated in the horizontal direction according to the distance to the distance measuring position. It becomes. Therefore, the search range ARs are the size of W ⁇ M pixels and are located at the same position in the vertical direction as the template image in the second image (abnormal ray image Ge).
  • the distance measuring unit 40 moves the center position (x s , y s ) of the reference image, which has the same area size as the template image, within the range represented by the equations (7) and (8), and refers to the template image and the search range ARs. Calculate the center position (x st , y st ) that minimizes the error from the image.
  • the distance measuring unit 40 sets the position corresponding to the distance measuring position Po when the error is the smallest as the distance measuring position Pe.
  • the coordinates (x Pe , y Pe ) of the distance measuring position Pe are the coordinates shown in the equation (9).
  • the evaluation value H shown in the equation (10) is obtained as the coordinates (x st , y st ) at which the error is minimized. It becomes the coordinates (x s , y s ) when it is done.
  • the SAD is defined as shown in the equation (11).
  • the distance measuring unit 40 performs such point matching and calculates the parallax
  • the measurement system calculates the distance in step ST16.
  • the distance measurement unit 40 of the measurement system performs the calculation of the equation (1) using the preset focal length f, the baseline length B, and the parallax calculated in step ST15
  • the distance Z (P) to is calculated.
  • a polarized image showing an optical image based on normal light rays and a polarized image showing an optical image based on abnormal light rays are generated, and the difference in distance measurement position between the two polarized images is generated.
  • the distance to the ranging position can be measured based on the quantity. Therefore, corresponding point matching is possible even in a portion where an edge is not detected, and distance information having a higher resolution can be obtained as compared with the case of using an edge image.
  • FIG. 13 illustrates the configuration of the second embodiment, and the polarized light imaging unit 25 has a polarized pixel having a polarization direction of 0 degrees and a non-polarized pixel. Further, in the second embodiment, the baseline length B and the focal length f are measured in advance as in the first embodiment. When the polarization direction is 0 degrees, calibration is performed so that, for example, a pixel value based on a normal light ray transmitted through a birefringent substance from a distance measuring position P in the subject OB can be obtained.
  • the parallax image generation unit 30 generates a polarized image based on normal light rays and an average image using unpolarized pixels from the polarized image acquired by the birefringence imaging unit 20.
  • FIG. 14 illustrates an image generated by the parallax image generation unit
  • FIG. 14A shows a normal ray image Go showing an optical image of a normal light ray.
  • FIG. 14B shows an average image Gmean generated by using unpolarized pixels, and the pixel value of the average image shows the average pixel value of the normal ray image and the abnormal ray image.
  • the parallax image generation unit 30 generates the abnormal ray image Ge shown in FIG. 14 (c) from the normal ray image Go and the average image Gmean.
  • the range-finding position in the normal ray image Go is the range-finding position Po
  • the range-finding position in the abnormal ray image Ge is the range-finding position Pe.
  • the distance measuring unit 40 performs matching processing of corresponding points using the normal ray image Go generated by the parallax image generation unit 30 and the abnormal ray image Ge, and calculates the parallax at the distance measuring position P. Further, the distance measuring unit 40 calculates the distance Z (P) to the distance measuring position P in the subject OB based on the calculated parallax.
  • FIG. 15 is a flowchart illustrating the operation of the second embodiment.
  • the measurement system acquires the captured image.
  • the birefringence image pickup unit 20 of the measurement system 10 takes an image so that the distance measurement position P of the subject OB to be distance measurement is included in the angle of view, acquires a polarized image, and proceeds to step ST22.
  • step ST22 the measurement system performs image parallelization processing.
  • the parallax image generation unit 30 of the measurement system 10 performs image parallelization processing of the polarized image acquired by the birefringence image pickup unit 20 using the image parallelization function T calculated by calibration, and performs image parallelization processing with the normal ray image and an abnormality.
  • the ray image is an image of the right viewpoint and the image of the left viewpoint, and the distance measuring position is converted into a stereo mixed image having a birefringence according to the distance, and the process proceeds to step ST23.
  • step ST23 the measurement system acquires a 0 degree polarized image.
  • the parallax image generation unit 30 of the measurement system 10 uses a zero-degree average image (normal light beam) generated from the stereo mixed image generated in step ST22 using polarized pixels having a polarization direction of 0 degrees as an image of one viewpoint. Image Go) is acquired and the process proceeds to step ST24.
  • step ST24 the measurement system acquires an average image.
  • the parallax image generation unit 30 of the measurement system 10 acquires the average image Gmean generated by using the unpolarized pixels in the stereo mixed image generated in step ST22, and proceeds to step ST25.
  • step ST25 the measurement system acquires a 90 degree polarized image.
  • the parallax image generation unit 30 of the measurement system 10 performs the calculation of the equation (13) using the pixel value I 0 of the normal ray image Go acquired in step ST23 and the pixel value I mean of the average image Gmean acquired in step ST24.
  • the pixel value Ie of the 90-degree polarized image, that is, the abnormal light image Ge is calculated, and the process proceeds to step ST26.
  • step ST26 the measurement system matches the corresponding points.
  • the distance measurement unit 40 of the measurement system 10 has a 0-degree polarized image (normal ray image) which is an image of one viewpoint acquired in step ST23 and a 90-degree polarized image (normal ray image) which is an image of the other viewpoint acquired in step ST25.
  • Corresponding point matching is performed using the anomalous ray image)
  • the positional difference between the ranging position Po in the normal ray image and the ranging position Pe in the abnormal ray image is calculated, and the process proceeds to step ST27.
  • step ST27 the measurement system calculates the distance.
  • the distance measurement unit 40 of the measurement system performs the calculation of the equation (1) using the preset focal length f, the baseline length B, and the parallax calculated in step ST26
  • the distance Z (P) to is calculated.
  • the measurement system may acquire a 90-degree polarized image in step ST23 and calculate a 0-degree polarized image in step ST25.
  • the 0-degree polarized image is an abnormal ray image
  • the 90-degree polarized image is a normal ray image. There may be.
  • the distance information having a higher resolution can be obtained as compared with the case where the edge image is used, as in the first embodiment. Further, the polarization direction of the polarized pixel can be reduced as compared with the first embodiment.
  • the polarizing plate When the polarizing plate is installed perpendicular to the observation direction and partially polarized light is observed through the polarizing plate, the brightness of the transmitted light changes each time the polarizing plate is rotated.
  • the highest brightness is Imax and the lowest brightness is Imin
  • the two-dimensional coordinate system x-axis and y-axis
  • the polarization angle ⁇ which is the angle at which the polarizing plate is formed, is defined as the angle formed by the polarizing axis of the polarizing plate and the x-axis, and is expressed as the angle from the x-axis to the y-axis.
  • the polarization axis is an axis indicating the direction in which light is transmitted and polarized in the polarizing plate.
  • the polarization direction has a periodicity of 180 °, and the polarization angle takes a value from 0 ° to 180 °.
  • the polarization angle ⁇ pol when the maximum luminance Imax is observed is defined as the phase angle ⁇
  • the luminance I observed when the polarizing plate is rotated can be expressed by the polarization model shown in the equation (14). It is known that it can be done.
  • the equation (14) can be converted into the equation (15), the observed value (luminance) of the polarized pixel having the polarization direction of 0 degree is "I0", and the observation of the polarized pixel having the polarization direction of 45 degrees.
  • the value (luminance) is "I1”
  • the observed value (luminance) of the polarized pixel having a polarization direction of 90 degrees is "I2”
  • the observed value (luminance) when the polarization direction is 135 degrees is "I3”.
  • the coefficient a in the equation (15) is a value shown in the equation (16).
  • the coefficients b and c in the equation (15) are the values shown in the equations (17) and (18).
  • the formula (18) shows the above-mentioned average image.
  • FIG. 16 exemplifies the relationship between the polarization direction and the pixel value of the polarization pixel
  • FIG. 16A exemplifies the pixel configuration of the polarization imaging unit 25, and the polarization directions are 0 degrees and 45 degrees. It is composed of 90 degree and 135 degree polarized pixels.
  • FIG. 16B exemplifies a pixel value (luminance) in a polarized pixel block composed of 2 ⁇ 2 polarized pixels.
  • the third embodiment describes a case where a normal ray image and an abnormal ray image are generated as a parallax image from a polarization model based on the pixel values of three or more polarized pixels.
  • FIG. 17 illustrates the configuration of the third embodiment
  • the polarization imaging unit 25 includes a polarization pixel having a polarization direction of 0 degrees, a polarization pixel of 45 degrees, a polarization pixel of 90 degrees, and a polarization pixel of 135 degrees.
  • the baseline length B and the focal length f are measured in advance as in the first embodiment and the second embodiment.
  • the parallax image generation unit 30 calculates the polarization model represented by the equation (14) or the equation (15) for each pixel using the pixel value of the polarized image for each polarization direction, and acquires the clearest parallax image.
  • FIG. 18 illustrates an image generated by the parallax image generation unit.
  • FIG. 18A illustrates the relationship between the polarization direction and the brightness.
  • the polarization direction ⁇ s is the polarization direction in which the polarized image becomes the clearest.
  • FIG. 18B shows a 0 -degree polarized image G0 generated by using a polarized pixel having a polarization direction of 0 degrees
  • FIG. 18C shows a polarized pixel having a polarization direction of 45 degrees.
  • the generated 45-degree polarized image G 45 is a 90-degree polarized image G 90 generated using polarized pixels having a polarization direction of 90 degrees
  • FIG. 18 (e) is a polarization direction. Shows the 135 degree polarized image G 135 generated using the polarized pixels having a degree of 135 degrees.
  • the pixel value of the 0-degree polarized image G 0 is the pixel value I 0
  • the pixel value of the 45-degree polarized image G 45 is the pixel value I 45
  • the pixel value of the 90-degree polarized image G 90 is the pixel value I 90 , 135-degree polarized light.
  • the pixel value of the image G 135 is the pixel value I 135 .
  • the parallax image generation unit 30 shows the clearest polarized image G ⁇ s in the polarization direction shown in FIG. 18 (f) and FIG. 18 (g) having a phase difference of 90 degrees between the polarized image and the polarization direction.
  • a polarized image G ⁇ s + 90 is generated as a disparity image.
  • the polarized image G ⁇ s has a pixel value I ⁇ s
  • the polarized image G ⁇ s + 90 has a pixel value I ⁇ s + 90 .
  • the distance measuring unit 40 performs matching processing of corresponding points using the parallax image generated by the parallax image generation unit 30, and calculates the parallax at the distance measuring position P. Further, the distance measuring unit 40 calculates the distance Z (P) to the distance measuring position P in the subject OB based on the calculated parallax.
  • the baseline length B and the focal length f are measured in advance. Further, since the pixel value in the desired polarization direction can be estimated by using three or more types of polarization pixels having different polarization directions, the process of matching the y-axis direction of the polarization filter and the birefringent substance in the calibration is performed. You do not have to do.
  • FIG. 19 is a flowchart showing the calibration operation in the third embodiment.
  • step ST31 the measurement system calculates the focal length.
  • the measurement system 10 performs the same processing as the conventional calibration method and step ST1 in FIG. 7, calibrates using the internal parameters, calculates the focal length f, and proceeds to step ST32.
  • step ST32 the measurement system adjusts the position of the birefringent substance and the image sensor.
  • the measurement system 10 adjusts the positions of the birefringent substance and the image sensor so that the z-axis (optical axis) of the birefringent substance is perpendicular to the image pickup surface of the image sensor of the polarizing image pickup unit, and steps ST33. Proceed to.
  • the measurement system calculates the image parallelization function.
  • the measurement system 10 calculates an image parallelization function T that makes a polarized image generated by the birefringence image pickup unit 20 a stereo mixed image in which an image of a right viewpoint and an image of a left viewpoint are mixed.
  • the image parallelization function T is calculated using, for example, the method described in Non-Patent Document 2.
  • the measurement system 10 performs the distance measurement operation of the distance measurement target after performing the calibration shown in FIG.
  • FIG. 20 is a flowchart illustrating the operation of the third embodiment.
  • the measurement system acquires the captured image.
  • the birefringence image pickup unit 20 of the measurement system 10 takes an image so that the distance measurement position P of the subject OB to be distance measurement is within the angle of view, acquires a polarized image, and proceeds to step ST42.
  • step ST42 the measurement system performs image parallelization processing.
  • the parallax image generation unit 30 of the measurement system 10 performs image parallelization processing of the polarized image acquired by the birefringence image pickup unit 20 using the image parallelization function T calculated by calibration, and an image based on normal light rays. And the image based on the abnormal light beam generates a stereo mixed image having a birefringence according to the distance, and proceeds to step ST43.
  • the measurement system acquires three or more types of polarized images.
  • the parallax image generation unit 30 of the measurement system 10 acquires polarized images for each of three or more types of polarization directions from the stereo mixed image generated in step ST42. For example, when the polarization imaging unit 25 has a polarization pixel having a polarization direction of 0 degrees, a polarization pixel of 45 degrees, a polarization pixel of 90 degrees, and a polarization pixel of 135 degrees, the disparity image generation unit 30 has a polarization direction. Acquires a polarized image generated by using 0 degree polarized pixels.
  • the parallax image generation unit 30 is a polarized image generated by using polarized pixels having a polarization direction of 45 degrees, a polarized image generated by using polarized pixels having a polarization direction of 90 degrees, and a polarization having a polarization direction of 135 degrees.
  • Each of the polarized images generated by using the pixels is acquired, and the process proceeds to step ST44.
  • step ST44 the measurement system performs cosine fitting.
  • the parallax image generation unit 30 of the measurement system 10 calculates a polarization model for each polarization pixel block using the pixel values of the polarization image for each polarization direction. Further, when the pixel value of the polarized image for each polarization direction is obtained by interpolation processing for each pixel, the parallax image generation unit 30 calculates the polarization model for each pixel and proceeds to step ST45.
  • step ST45 the measurement system searches for the polarization direction in which the polarized image is the clearest.
  • the parallax image generation unit 30 of the measurement system 10 uses a function e for edge extraction such as the Sobel method, the Laplacian method, or the Canny method. The operation of the equation (19) is performed.
  • the parallax image generation unit 30 sets the angle ⁇ when the evaluation value H indicating that the edge component is the minimum is the polarization direction ⁇ s at which the polarized image becomes the clearest, that is, the mixing of the abnormal light image with the normal light image.
  • the polarization direction ⁇ s is such that a polarized image having the least amount or the least mixture of normal ray images with respect to the abnormal ray image can be obtained.
  • e (I ⁇ ) i is the pixel value (luminance) of the i-th pixel in the edge image.
  • "1 to K" indicates a predetermined image range used for searching the polarization direction, and the predetermined image range may be a full screen area and is an image preset so as to include a subject to be distanced. It may be a range.
  • FIG. 21 is a diagram illustrating the first search method.
  • FIG. 21 (a) illustrates the relationship between the polarization direction and the brightness.
  • FIG. 21B illustrates a polarized image G ⁇ s and an edge image EG ⁇ s in the polarization direction ⁇ s in which the polarized image is the clearest, and the polarized image G ⁇ s corresponds to, for example, a normal ray image Go. ..
  • FIG. 21 (c) shows a case where the angle is larger than the polarization direction ⁇ s.
  • the normal ray image contains an abnormal ray image, and the edge component is increased as compared with the edge image EG ⁇ s shown in FIG. 21 (b).
  • FIG. 21 (d) shows a case where it is 90 degrees larger than the polarization direction ⁇ s.
  • the polarized image becomes an abnormal ray image, and the edge component is reduced as compared with FIG. 21 (b).
  • FIG. 21D shows a case where the angle is larger than the polarization direction ⁇ s + 90.
  • the abnormal ray image includes a normal ray image, and the edge component is increased as compared with FIG. 21 (c).
  • the parallax image generation unit 30 sets the polarization direction in which the edge component is the minimum as the polarization direction ⁇ s in which the polarized image is the clearest.
  • the parallax image generation unit 30 may search for the clearest polarized image in the polarization direction by using another search method.
  • the search is performed using a polarized image having a phase difference of 90 degrees in the polarization direction.
  • the parallax image generation unit 30 uses the pixel value I ⁇ of the polarized image in the polarization direction ⁇ and the pixel value I ⁇ - 90 of the polarized image in the polarization direction ( ⁇ -90) to make a difference value
  • the parallax image generation unit 30 performs the calculation shown in the equation (20), and the evaluation value H indicating the total difference for each pixel in a predetermined image range of the polarized image having a phase difference of 90 degrees in the polarization direction is the maximum.
  • the angle ⁇ be the polarization direction ⁇ s at which the polarized image becomes clearest.
  • FIG. 22 is a diagram illustrating the second search method.
  • FIG. 22A illustrates the relationship between the polarization direction and the brightness.
  • (B) of FIG. 22 exemplifies a polarized image in the polarization direction ( ⁇ -90), and
  • FIG. 22 (d) exemplifies a polarized image in the polarization direction ⁇ .
  • the polarized image in the polarization direction ⁇ corresponds to, for example, a normal ray image Go.
  • FIG. 22 (C) of FIG. 22 shows a case where the angle is smaller than the polarization direction ⁇ .
  • the normal ray image since the angle is smaller than the polarization direction ⁇ , the normal ray image includes an abnormal ray image, and the difference value is smaller than that in the case of FIG. 22 (d).
  • FIG. 22 (e) shows a case where the angle is larger than the polarization direction ⁇ . In this case, since the angle is larger than the polarization direction ⁇ , the normal ray image includes an abnormal ray image, and the difference value is smaller than that in the case of FIG. 22 (d).
  • the parallax image generation unit 30 sets the polarization direction ⁇ , which maximizes the difference between the polarized images having a phase difference of 90 degrees in the polarization direction, as the polarization direction ⁇ s, which makes the polarized image clearest.
  • the parallax image generation unit 30 performs the calculation shown in the equation (21), and the polarized image having the phase difference in the polarization direction of 90 degrees.
  • the angle having a phase difference of 45 degrees with respect to the angle ⁇ at which the evaluation value H indicating the total difference of the differences for each pixel in the predetermined image range is the minimum may be the polarization direction ⁇ s at which the polarized image is the clearest.
  • the search may be performed using three polarized images having a phase difference of 45 degrees in the polarization direction.
  • the parallax image generation unit 30 uses the pixel value I ⁇ of the polarized image in the polarization direction ⁇ and the pixel value I ⁇ + 45 of the polarized image in the polarization direction ( ⁇ + 45) and the polarized image in the polarization direction ( ⁇ -90).
  • the calculation shown in Equation (22) is performed using the pixel value I ⁇ -90 , and a predetermined image range between the added image of the polarized image having a phase difference of 90 degrees in the polarization direction and the polarized image having a phase difference of 45 degrees is performed.
  • the polarization direction ⁇ at which the evaluation value H indicating the total difference between the two is the smallest is defined as the polarization direction ⁇ s at which the polarized image is the clearest.
  • FIG. 23 is a diagram illustrating the third search method.
  • FIG. 23 (a) illustrates the relationship between the polarization direction and the brightness.
  • FIG. 23 (b) exemplifies a polarized image in the polarization direction ( ⁇ -90)
  • FIG. 23 (d) exemplifies a polarized image in the polarization direction ⁇ .
  • the polarized image in the polarization direction ⁇ corresponds to, for example, a normal ray image Go.
  • FIG. 23 (c) shows a case where the angle is smaller than the polarization direction ⁇ . In this case, since the angle is smaller than the polarization direction ⁇ , the normal ray image includes an abnormal ray image.
  • FIG. 23 (e) shows a polarized image in the polarization direction ( ⁇ + 45), which is an image in which an abnormal ray image is included in a normal ray image.
  • the parallax image generation unit 30 adds the pixel value I ⁇ of the polarized image in the polarization direction ⁇ and the pixel value I ⁇ -90 of the polarized image in the polarization direction ( ⁇ -90) to show a normal ray image and an abnormal ray image. Generate an additive image. Further, the parallax image generation unit 30 subtracts the pixel value I ⁇ + 45 of the polarized image in the polarization direction ( ⁇ + 45) from the pixel value of the added image.
  • the parallax image generation unit 30 sets the polarization direction ⁇ , which minimizes the difference between the added image and the polarized image in the polarization direction ( ⁇ + 45), as the polarization direction ⁇ s, which makes the polarized image clearest.
  • the parallax image generation unit 30 performs a search using three polarized images having a phase difference of 45 degrees in the polarization direction.
  • the parallax image generation unit 30 has the pixel value I ⁇ of the polarized image in the polarization direction ⁇ and the pixel value I ⁇ -45 and the polarization direction ( ⁇ -90) of the polarized image in the polarization direction ( ⁇ -45).
  • the calculation shown in the equation (23) is performed using the pixel value I ⁇ -90 of the polarized image of the above, and the added image of the polarized image having a phase difference of 90 degrees in the polarization direction and the polarized image having a phase difference of 45 degrees are used.
  • the polarization direction ⁇ that minimizes the evaluation value H indicating the total difference of the predetermined image range is defined as the polarization direction ⁇ s that makes the polarized image clearest.
  • FIG. 24 is a diagram illustrating the fourth search method.
  • FIG. 24A illustrates the relationship between the polarization direction and the brightness.
  • FIG. 24 (b) exemplifies a polarized image in the polarization direction ( ⁇ -90), and
  • FIG. 24 (d) exemplifies a polarized image in the polarization direction ⁇ .
  • the polarized image in the polarization direction ⁇ corresponds to, for example, a normal ray image Go.
  • FIG. 24 (c) shows a polarized image in the polarization direction ( ⁇ -45)
  • FIG. 24 (e) shows a polarized image in the polarization direction ( ⁇ + 45)
  • the polarized images are a normal ray image and an abnormal ray image. Is an image containing.
  • the parallax image generation unit 30 subtracts the pixel value I ⁇ of the polarized image in the polarization direction ⁇ from the pixel value I ⁇ - 45 of the polarized image in the polarization direction ( ⁇ -45), and includes a normal ray image and an abnormal ray image. Generates a differential image in which the normal ray image in the image is attenuated. Further, the parallax image generation unit 30 subtracts the pixel value I ⁇ -90 of the polarized image in the polarization direction ( ⁇ -90) from the pixel value of the difference image.
  • the parallax image generation unit 30 sets the polarization direction ⁇ , which minimizes the difference between the difference image and the polarized image in the polarization direction ( ⁇ -90), as the polarization direction ⁇ s, which makes the polarized image clearest.
  • the parallax image generation unit 30 searches for the polarization direction in which the polarized image becomes the clearest based on any of the first to fourth search methods, and proceeds to step ST46. note that.
  • the parallax image generation unit 30 may use another search method when the polarization direction cannot be searched by any of the first to fourth search methods, and the polarized image using the search results of the plurality of search methods. May determine the direction of polarization that is most vivid.
  • step ST46 the measurement system generates a polarized image based on the search result.
  • the parallax image generation unit 30 of the measurement system 10 uses the polarized image in the polarization direction ⁇ s searched in step ST45 and the polarized image in the polarization direction ( ⁇ s + 90) or the polarization direction ( ⁇ s-90) in the equation (14) or the equation (15). ) Is generated based on the polarization model, and the process proceeds to step ST47.
  • step ST47 the measurement system matches the corresponding points.
  • the distance measuring unit 40 of the measurement system 10 has a polarized image in the polarization direction ⁇ s (corresponding to either a normal ray image or an abnormal ray image) generated in step ST46, and a polarization direction ( ⁇ s + 90) or a polarization direction ( ⁇ s-90). ) Polarized image (corresponding to either the normal ray image or the abnormal ray image) is used to perform corresponding point matching, and the position Po of the distance measurement target in the normal ray image and the position Pe of the distance measurement target in the abnormal ray image The position difference from
  • is calculated and the process proceeds to step ST48.
  • the measurement system calculates the distance in step ST48.
  • the distance measurement unit 40 of the measurement system performs the calculation of the equation (1) using the preset focal length f, the baseline length B, and the parallax calculated in step ST45
  • the distance Z (P) to is calculated.
  • the third embodiment as in the first embodiment and the second embodiment, corresponding point matching is possible even in the portion where the edge is not detected, and when the edge image is used. It will be possible to obtain distance information with a higher resolution than that. In addition, high-resolution distance information can be obtained based on the polarization characteristics of the subject.
  • the pixel configuration of the polarization imaging unit is not limited to the configuration of the first embodiment to the third embodiment, and may be the configuration of FIGS. 25, 26, and 27, and the configuration shown in the figure is in the horizontal direction. And is repeated vertically.
  • (A) and (b) of FIG. 25 exemplify the pixel configuration in the case of acquiring a black-and-white image.
  • FIG. 25A illustrates a case where a 2 ⁇ 2 pixel polarized pixel block is composed of polarized pixels having, for example, 0 degree, 45 degree, 90 degree, and 135 degree polarization directions (polarization angle). .. Further, in FIG.
  • a 4 ⁇ 4 pixel polarization pixel block is composed of, for example, 0 degree, 45 degree, 90 degree, and 135 degree polarization pixels with 2 ⁇ 2 pixels as a unit of the polarization direction. This is an example of the case.
  • the polarization component unit of the polarization filter is 2 ⁇ 2 pixels as shown in FIG. 25 (b)
  • the polarization component obtained for each polarization component unit is from the region of different adjacent polarization component units.
  • the proportion of the leakage of the polarization component of FIG. 25 is smaller than that of the 1 ⁇ 1 pixel shown in FIG. 25 (a).
  • the polarizing filter uses a wire grid
  • polarized light whose electric field component is perpendicular to the grid direction (wire direction) is transmitted, and the longer the wire, the higher the transmittance. Therefore, when the unit of the polarization component is 2 ⁇ 2 pixels, the transmittance is higher than that of 1 ⁇ 1 pixel. Therefore, when the unit of the polarization component is 2 ⁇ 2 pixels, the transmittance is higher than that of 1 ⁇ 1 pixel, and the extinction ratio can be improved.
  • FIG. 25 (c) shows a case where the 2 ⁇ 2 pixel polarized pixel block shown in FIG. 25 (a) is used as one color unit and the three primary color pixels (red pixel, green pixel, and red pixel) are arranged in a bayer. Shows.
  • FIG. 25 (d) illustrates a case where the three primary color pixels are provided in a bayer array for each pixel block of 2 ⁇ 2 pixels shown in FIG. 25 (b) in the same polarization direction.
  • FIG. 25 (e) shows a case where three primary color pixels are provided in a bayer array for each pixel block of 2 ⁇ 2 pixels in the same polarization direction, and blocks of 2 ⁇ 2 pixels having different polarization directions are pixels of the same color. Illustrate.
  • the pixel blocks of the Bayer arrangement in the same polarization direction of 2 ⁇ 2 pixels have a phase difference of 90 in the polarization direction from the pixel blocks adjacent in the horizontal direction, and are adjacent to the pixel blocks in the vertical direction.
  • the case where the phase difference in the polarization direction of is ⁇ 45 degrees is shown.
  • the pixel blocks of the Bayer arrangement in the same polarization direction of 2 ⁇ 2 pixels have a phase difference of 90 in the polarization direction from the pixel blocks adjacent in the vertical direction, and are adjacent to the pixel blocks in the horizontal direction.
  • the case where the phase difference in the polarization direction of is ⁇ 45 degrees is shown.
  • FIG. 26 illustrates the case where the three primary color pixels and the white pixel are provided.
  • FIG. 26A illustrates a case where one green pixel is a white pixel in a pixel block of a bayer array in the same polarization direction of 2 ⁇ 2 pixels shown in FIG. 25D.
  • FIG. 26 is a block of 2 ⁇ 2 pixels having different polarization directions, with one green pixel as a white pixel in a pixel block of a bayer array having the same polarization direction of 2 ⁇ 2 pixels shown in FIG. 25 (e). Is illustrated as a case where pixels of the same color are used.
  • the dynamic range in the generation of normal information is expanded as compared with the case where the white pixels are not provided. can. Further, since the white pixel has a good S / N ratio, it is less susceptible to noise in the calculation of color difference and the like.
  • FIGS. 27A to 27D are black-and-white images
  • FIGS. 27E and 27B are color images. is doing.
  • the polarization direction and the display of the color pixels are the same as those in FIG. 25.
  • FIG. 27 (a) illustrates a case where the polarized pixels located in the diagonal direction are unpolarized pixels in the pixel block of 2 ⁇ 2 pixels shown in FIG. 25 (b) in the same polarization direction.
  • polarized pixels having a phase difference of 45 degrees are provided in a pixel block of 2 ⁇ 2 pixels in an oblique direction so that the polarized pixels have a phase difference of 90 degrees from the adjacent pixel block. The case where it is done is illustrated.
  • polarized pixels having the same polarization direction are provided in the pixel block of 2 ⁇ 2 pixels in an oblique direction, and the polarized pixels have a phase difference of 45 degrees from the adjacent pixel block.
  • the case where the polarization direction of the polarized pixel is two directions having a phase difference of 45 degrees is illustrated.
  • the technique disclosed in, for example, Patent Document "International Publication No. 2018/0740664" may be used to acquire the polarization information from the unpolarized pixel and the polarized pixel in the two polarization directions.
  • polarized pixels having a phase difference of 45 degrees are provided in a pixel block of 2 ⁇ 2 pixels in an oblique direction, and the polarization directions of the polarized pixels are set to two directions having a phase difference of 45 degrees. The case is illustrated.
  • FIG. 27 (e) shows a pixel block of 4 ⁇ 4 pixels using two pixel blocks of 2 ⁇ 2 pixels having four different polarization directions and two pixel blocks of 2 ⁇ 2 pixels composed of unpolarized pixels.
  • the polarized pixels are provided in the same manner as in FIG. 27 (d), and the three primary colors have a pixel block composed of two polarized images in different polarization directions and two unpolarized pixels as a color unit.
  • FIG. 27 (g) shows a case where a pixel block of 2 ⁇ 2 pixels is used as a color unit, a pixel block of three primary colors is provided as a bayer arrangement, and a pixel block of green pixels is provided with two polarized pixels in different polarization directions. Illustrate.
  • polarized pixels are provided in the same manner as in FIG. 27 (d), and a pixel block composed of two polarized images in different polarization directions and two unpolarized pixels has three green pixels.
  • An example is an example in which one unpolarized pixel is a red pixel and one unpolarized pixel is a blue pixel in an adjacent pixel block.
  • FIGS. 27 (I) and (j) of FIG. 27 show a case where non-polarized pixels are used as color pixels and pixels of the three primary colors are provided in a pixel block of 4 ⁇ 4 pixels. Further, FIGS. 27 (k) and 27 (l) show a case where a part of the unpolarized pixel is used as a color pixel and pixels of the three primary colors are provided in a pixel block of 4 ⁇ 4 pixels.
  • an infrared (IR) pixel may be mixed and repeated.
  • the technique according to the present disclosure can be applied to various fields.
  • the technology according to the present disclosure is realized as a device mounted on a moving body of any kind such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, and a robot. You may. Further, it may be realized as a device mounted on a device used in a production process in a factory or a device used in a construction field.
  • distance information can be obtained with high resolution without using multiple image pickup devices even for subjects with few edges. Therefore, the surrounding environment can be grasped accurately in three dimensions, and the fatigue of the driver and the operator can be reduced. In addition, automatic driving and the like can be performed more safely.
  • the series of processes described in the specification can be executed by hardware, software, or a composite configuration of both.
  • the program that records the processing sequence is installed in the memory in the computer built in the dedicated hardware and executed.
  • the program can be recorded in advance on a hard disk as a recording medium, an SSD (Solid State Drive), or a ROM (Read Only Memory).
  • the program is a flexible disc, CD-ROM (Compact Disc Read Only Memory), MO (Magneto optical) disc, DVD (Digital Versatile Disc), BD (Blu-Ray Disc (registered trademark)), magnetic disc, semiconductor memory card. It can be temporarily or permanently stored (recorded) on a removable recording medium such as an optical disc.
  • Such removable recording media can be provided as so-called package software.
  • the program may be transferred from the download site to the computer wirelessly or by wire via a network such as a LAN (Local Area Network) or the Internet.
  • the computer can receive the program transferred in this way and install it on a recording medium such as a built-in hard disk.
  • the signal processing device of the present technology can also have the following configurations.
  • a polarized image pickup unit that generates a polarized image based on subject light incident through a birefringent substance, and a polarized image pickup unit.
  • a parallax image generation unit that separates images having different polarization angles using the polarization image generated by the polarization imaging unit and generates a normal ray image and an abnormal ray image as a parallax image.
  • a signal processing device including a distance measuring unit that calculates the distance to the distance measuring position based on the parallax of the distance measuring position of the subject in the normal ray image and the abnormal ray image generated by the parallax image generation unit.
  • the signal processing device wherein the polarized light imaging unit has an imaging surface perpendicular to the optical axis of the birefringent substance.
  • the polarization imaging unit is provided with polarization pixels having a phase difference of 90 degrees in the polarization direction, and the polarization direction is made equal to the horizontal direction and the vertical direction of the birefringent material.
  • the parallax image generator generates the normal ray image using polarized pixels having a polarization direction equal to one of the horizontal or vertical directions of the birefringent material, and using polarized pixels having a polarization direction equal to the other.
  • the signal processing apparatus which generates an abnormal ray image.
  • the polarized light imaging unit is configured by using polarized pixels in a predetermined polarization direction and unpolarized unpolarized pixels, and the polarization direction is made equal to the horizontal direction or the vertical direction of the birefringent material.
  • the parallax image generation unit uses the polarized pixels to generate one of the normal ray image or the abnormal ray image, and the other image uses the image generated using the polarized pixels and the unpolarized pixels.
  • the signal processing apparatus according to (2) which is generated based on the generated image.
  • the polarized light imaging unit is configured by using polarized pixels in three or more directions having different polarization directions.
  • the signal according to (2) wherein the parallax image generation unit calculates a polarization model based on the pixel values of three or more polarized pixels having different polarization directions, and generates the parallax image based on the calculated polarization model.
  • the parallax image generation unit searches for a polarization direction that minimizes the other image included in one of the normal ray image and the abnormal light image, and 90 degrees with the searched image in the polarization direction.
  • the signal processing apparatus according to (5) which generates an image having a phase difference as the parallax image.
  • the signal processing device wherein the parallax image generation unit searches for a polarization direction in which the edge component of the polarized image based on the polarization model is minimized.
  • the disparity image generation unit is a polarized image based on the polarization model, and the total of the differences between the two polarized images having a phase difference of 90 degrees in the polarization direction for each pixel is maximized.
  • the signal processing apparatus according to (6) or (7), which searches for one of the polarization directions of a polarized image.
  • the disparity image generation unit is a polarized image based on the polarization model, and the total difference between two polarized images having a phase difference of 90 degrees in the polarization direction for each pixel is minimized.
  • the signal processing apparatus according to any one of (6) to (8), which searches for a polarization direction having a phase difference of 45 degrees with respect to one polarization direction of a polarized image.
  • the disparity image generation unit is a polarized image based on the polarization model, and includes an additive image of two polarized images having a phase difference of 90 degrees in the polarization direction and a polarized image having a phase difference of 45 degrees.
  • the signal processing apparatus according to any one of (6) to (9), which searches for the polarization direction of one of the two polarized images that minimizes the total difference of each pixel.
  • the parallax image generation unit generates a normal ray image having a horizontal parallax and an abnormal ray image as a parallax image by using a preset image parallelization function (2) to (10).
  • the signal processing device described in the horizontal is described in the horizontal.
  • the present technology also includes the following imaging devices.
  • a birefringent substance is provided with the optical axis perpendicular to the imaging surface.
  • the image pickup surface on which the subject light is incident through the birefringent material is a polarized image and an unpolarized image in one polarization direction, a polarized image and an unpolarized image for each of a plurality of different polarization directions, or three or more different polarizations.
  • An image pickup device with a pixel configuration that can generate a polarized image for each direction.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

複屈折撮像部２０は、複屈折物質と偏光撮像部を有しており、偏光撮像部は、複屈折物質を介して入射された被写体光に基づいた偏光画像を生成する。視差画像生成部３０は、複屈折撮像部２０の偏光撮像部で生成された偏光画像を用いて偏光角度の異なる画像の分離を行い、通常光線画像と異常光線画像を視差画像として生成する。距離計測部４０は、視差画像生成部３０で生成された通常光線画像と異常光線画像における被写体の測距位置の視差に基づいて、測距位置までの距離を算出する。偏光画像を用いることでエッジ以外の部分でも測距が可能となり、エッジ画像における対応点のマッチングを行って距離を計測する場合に比べて、容易に解像度の高い距離情報を得られるようになる。

Description

信号処理装置と信号処理方法およびプログラム
　この技術は、信号処理装置と信号処理方法およびプログラムに関し、容易に解像度の高い距離情報を得られるようにする。
　従来、撮像装置から被写体までの距離（以下、「被写体距離」とする。）を、非接触で計測するための様々な方法が提案されている。例えば、赤外線、超音波、レーザーなどを照射し、その反射波が戻ってくるまでの時間、反射波の角度などをもとに被写体距離を算出する能動的手法や、赤外線などを照射するための装置を必要とすることなく被写体のステレオ画像に基づいて被写体までの距離を算出する受動的手法が用いられている。
　また、受動的手法では、非特許文献１や非特許文献２に示すように、複屈折の効果を有する複屈折物質を介して撮像を行うことにより得た通常光線に基づく画像と異常光線に基づく画像を用いてエッジ画像を生成して、エッジ画像における対応点のマッチング結果に基づき被写体距離を算出することが行われている。
Seung-Hwan Baek,et al.(2016)"Birefractive stereo imaging for single-shot depth acquisition"，ACM Trans. Graphics (Proc. SIGGRAPH Asia 2016), vol. 35, no. 6, pp. 194, 2016. Andreas Meuleman,et al,(2020)"Single-shot Monocular RGB-D Imaging using Uneven Double Refraction", Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2020, pp. 2465-2474.
　ところで、赤外線などを照射するための装置を必要とすることなく被写体までの距離を算出するため受動的手法を用いた場合、例えばエッジ画像においてエッジが検出されない部分は対応点のマッチング結果を得られないことから距離を算出できないため、解像度の高い距離情報を得ることが困難となる。
　そこで、この技術では容易に解像度の高い距離情報を得ることができる信号処理装置と信号処理方法およびプログラムを提供することを目的とする。
　この技術の第１の側面は、
　複屈折物質を介して入射された被写体光に基づいた偏光画像を生成する偏光撮像部と、
　前記偏光撮像部で生成された偏光画像を用いて偏光角度の異なる画像の分離を行い、通常光線画像と異常光線画像を視差画像として生成する視差画像生成部と、
　前記視差画像生成部で生成された通常光線画像と異常光線画像における被写体の測距位置の視差に基づいて、前記測距位置までの距離を算出する距離計測部と
を有する信号処理装置にある。
　この技術において、偏光撮像部は、複屈折物質を介して入射された被写体光に基づいた偏光画像を生成する。また、偏光撮像部は、撮像面を複屈折物質の光軸に対して垂直とする。また、偏光撮像部は、偏光方向が９０度の位相差を有す偏光画素を用いて構成して、偏光方向を複屈折物質の水平方向と垂直方向と等しくする。視差画像生成部は、偏光撮像部で生成された偏光画像を用いて偏光角度の異なる画像の分離を行い、通常光線画像と異常光線画像を視差画像として生成する。例えば、視差画像生成部は、複屈折物質の水平方向または垂直方向の一方と等しい偏光方向の偏光画素を用いて通常光線画像を生成して、他方と等しい偏光方向の偏光画素を用いて異常光線画像を生成する。
　また、偏光撮像部は、所定の偏光方向の偏光画素と無偏光の無偏光画素を用いて構成して、偏光方向を前記複屈折物質の水平方向または垂直方向と等しくする。視差画像生成部は、偏光画素を用いて通常光線画像または異常光線画像の一方を生成して、他方の画像は偏光画素を用いて生成した画像と無偏光画素を用いて生成した画像に基づいて生成する。
　また、偏光撮像部は、偏光方向が異なる３方向以上の偏光画素を用いて構成して、視差画像生成部は、偏光方向が異なる３方向以上の偏光画素の画素値から偏光モデルを算出して、算出した偏光モデルに基づいて視差画像を生成する。例えば、視差画像生成部は、通常光線画像と異常光線画像の一方の画像に含まれる他方の画像が最小となる偏光方向を探索して、探索した偏光方向の画像と９０度の位相差を有する画像を視差画像として生成する。視差画像生成部は、偏光モデルに基づいた偏光画像のエッジ成分が最小となる偏光方向を探索する。視差画像生成部は、偏光モデルに基づいた偏光画像であって、偏光方向が９０度の位相差を有する２つの偏光画像における画素毎の差分の合計が最大となる２つの偏光画像の一方の偏光方向を探索してもよく、偏光方向が９０度の位相差を有する２つの偏光画像における画素毎の差分の合計が最小となる２つの偏光画像の一方の偏光方向に対する４５度の位相差を有する偏光方向を探索してもよい。また、視差画像生成部は、偏光モデルに基づいた偏光画像であって、偏光方向が９０度の位相差を有する２つの偏光画像の加算画像と４５度の位相差を有する偏光画像との画素毎の差分の合計が最小となる２つの偏光画像の一方の偏光方向を探索してもよい。
　さらに、視差画像生成部は、予め設定された画像平行化関数を用いて、水平方向の視差を有する通常光線画像と異常光線画像を視差画像として生成する。
　距離計測部は、視差画像生成部で生成された通常光線画像と異常光線画像における被写体の測距位置の視差に基づいて、測距位置までの距離を算出する。
　この技術の第２の側面は、
　複屈折物質を介して入射された被写体光に基づいた偏光画像を偏光撮像部で生成することと、
　前記偏光撮像部で生成された偏光画像を用いて偏光角度の異なる画像の分離を行い、通常光線画像と異常光線画像を視差画像として視差画像生成部で生成することと、
　前記視差画像生成部で生成された通常光線画像と異常光線画像における被写体の測距位置の視差に基づいて、前記測距位置までの距離を距離計測部で計算することと
を含む信号処理方法にある。
　この技術の第３の側面は、
　偏光画像を用いた測距をコンピュータで実行させるプログラムであって、
　複屈折物質を介して入射された被写体光に基づいた偏光画像を用いて偏光角度の異なる画像の分離を行い、通常光線画像と異常光線画像を視差画像として生成する手順と、
　前記生成された通常光線画像と異常光線画像における被写体の測距位置の視差に基づいて、前記測距位置までの距離を算出する手順と
を前記コンピュータで実行させるプログラムにある。
　なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。
実施の形態の構成を例示した図である。 複屈折撮像部の構成を例示した図である。 偏光撮像部の構成を例示した図である。 複屈折撮像部の動作を説明するための図である。 第１の実施の形態の構成を例示した図である。 視差画像生成部で生成された視差画像を例示した図である。 キャリブレーション動作を示すフローチャートである。 複屈折物質のｚ軸をイメージセンサに対して垂直方向とするキャリブレーションを説明するための図である。 複屈折物質のｙ軸を偏光フィルタの所定の偏光方向とするキャリブレーションを説明するための図である。 画像平行化関数を用いて画素位置の変換処理を行った場合を例示した図である。 第１の実施の形態の動作を例示したフローチャートである。 対応点マッチングを説明するための図である。 第２の実施の形態の構成を例示した図である。 視差画像生成部で生成された画像を例示した図である。 第２の実施の形態の動作を例示したフローチャートである。 偏光方向と偏光画素の画素値の関係を例示した図である。 第３の実施の形態の構成を例示した図である。 視差画像生成部で生成される画像を例示した図である。 第３の実施の形態におけるキャリブレーション動作を示すフローチャートである。 第３の実施の形態の動作を例示したフローチャートである。 第１の探索方法を示した図である。 第２の探索方法を示した図である。 第３の探索方法を示した図である。 第４の探索方法を示した図である。 偏光撮像部の他の画素構成（その１）を示した図である。 偏光撮像部の他の画素構成（その２）を示した図である。 偏光撮像部の他の画素構成（その３）を示した図である。
　以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
　１．実施の形態の構成と動作
　２．第１の実施の形態の構成と動作
　３．第２の実施の形態の構成と動作
　４．第３の実施の形態の構成と動作
　５．変形例
　６．応用例
　＜１．実施の形態の構成と動作＞
　本技術は、複屈折物質を介して測距対象の撮像を行い、偏光画像を生成する。また、本技術は、生成した偏光画像を用いて偏光角度の異なる画像の分離を行い、通常光線画像と異常光線画像を視差画像として生成して、通常光線画像と異常光線画像における測距位置の視差に基づいて、測距位置までの距離を算出する。
　図１は、実施の形態の構成を例示している。計測システム１０は、複屈折撮像部２０と視差画像生成部３０および距離計測部４０を有している。
　図２は、複屈折撮像部の構成を例示している。複屈折撮像部２０は、複屈折物質２１と撮像光学系２２および偏光撮像部２５を有している。
　複屈折物質２１は、複屈折の効果を有する物質であり、透過する入射光線は複屈折物質２１によって通常光線と異常光線に分けられる。複屈折物質２１は、例えばα－ＢＢＯ結晶、イットリウム・バナデート結晶、方解石、石英などの物質である。
　撮像光学系２２は、フォーカスレンズやズームレンズ等を用いて構成されている。撮像光学系２２は、フォーカスレンズやズームレンズ等を駆動して、測距対象である被写体の光学像を複屈折撮像部２０の撮像面に結像させる。また、撮像光学系２２には、アイリス（絞り）機構やシャッタ機構等が設けられていてもよい。
　偏光撮像部２５は、偏光素子とイメージセンサを用いて構成されており、偏光画像を生成する。図３は偏光撮像部の構成を例示している。偏光撮像部２５は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）等のイメージセンサ２５１に、１または複数の偏光方向の偏光画素、あるいは偏光画素と無偏光画素で構成された偏光フィルタ２５２を配置して偏光画像を取得する。偏光フィルタ２５２は、被写体光から直線偏光光を取り出せればよく、例えばワイヤーグリッドやフォトニック液晶等を用いる。なお、偏光フィルタ２５２の矢印は、例えば１画素毎または複数画素単位毎の偏光方向を示しており、図３では偏光方向が４方向である場合を例示している。
　このように構成された複屈折撮像部２０は、通常光線に基づく第１偏光画像と異常光線に基づく第２偏光画像を視差画像として生成する。
　図４は、複屈折撮像部の動作を説明するための図である。なお、図４は、被写体ＯＢにおける測距位置Ｐまでの距離を計測する場合を例示している。
　被写体ＯＢを示す被写体光が複屈折物質２１に入射すると、被写体光は通常光線Ｒｘと異常光線Ｒｙに分けられて偏光撮像部２５へ出射される。すなわち、偏光撮像部２５には、通常光線Ｒｘに基づく画像と異常光線Ｒｙに基づく画像が混合された画像Ｇｃを示す光線が入射される。
　偏光撮像部２５のイメージセンサは、偏光フィルタ２５２を介して入射された光線の光電変換を行い、偏光画像を生成する。例えば図４の場合、偏光画像は、偏光フィルタ２５２で通常光線Ｒｘが透過されている偏光画素を用いて生成された通常光線画像Ｇｏと、偏光フィルタ２５２で異常光線Ｒｙが透過されている偏光画素を用いて生成された異常光線画像Ｇｅとを含む。なお、通常光線画像Ｇｏにおける測距位置は測距位置Ｐｏ、異常光線画像Ｇｅにおける測距位置は測距位置Ｐｅである。
　視差画像生成部３０は、複屈折撮像部２０で生成された混合画像に基づき、通常光線画像Ｇｏと異常光線画像Ｇｅを分離して視差画像を生成する。また、視差画像生成部３０は、偏光方向ごとの偏光画像や、偏光フィルタが設けられていない無偏光画素（図示せず）を用いて生成された無偏光画像に対して偏光フィルタに応じた利得調整を行い平均画像を生成して、偏光方向ごとの偏光画像に基づき、あるいは偏光画像と平均画像に基づき視差画像を生成してもよい。なお、平均画像は、偏光方向を変化させたときの輝度変化の平均を示す画像である。また、視差画像生成部３０は、偏光方向毎の偏光画像や平均画像の画像サイズが異なる場合、補間処理等によって偏光方向毎の偏光画像や平均画像の画像サイズ（水平方向および垂直方向の画素数）を等しくする。
　距離計測部４０は、視差画像生成部３０で生成された視差画像を用いて対応点のマッチング処理を行い、測距位置Ｐの視差を算出する。さらに、距離計測部４０は、算出した視差に基づき被写体ＯＢにおける測距位置Ｐまでの距離を算出する。
　＜２．第１の実施の形態の構成と動作＞
　次に、第１の実施の形態の構成と動作について説明する。第１の実施の形態では、偏光撮像部２５が少なくとも直交する２つの偏光方向の偏光画素を有している。図５は、第１の実施の形態の構成を例示しており、偏光撮像部２５は、偏光方向が０度の偏光画素と９０度の偏光画素を有している。なお、偏光方向が０度の偏光画素と９０度の偏光画素を除く他の画素は偏光方向が異なる偏光画素であってもよく無偏光画素であってもよい。
　視差画像生成部３０は、複屈折撮像部２０で取得された偏光画像から、通常光線に基づく通常光線画像と異常光線に基づく異常光線画像を視差画像として生成する。図６は、視差画像生成部で生成された視差画像を例示しており、図６の（ａ）は、通常光線の光学像を示す通常光線画像Ｇｏ、図６の（ｂ）は、異常光線の光学像を示す異常光線画像Ｇｅを示している。なお、通常光線画像Ｇｏにおける測距位置は測距位置Ｐｏ、異常光線画像Ｇｅにおける測距位置は測距位置Ｐｅである。また、通常光線画像Ｇｏの画素値を「Ｉ０」、異常光線画像Ｇｅの画素値を「Ｉｅ」とする。
　距離計測部４０は、視差画像生成部３０で生成された通常光線画像Ｇｏと異常光線画像Ｇｅを用いて対応点のマッチング処理を行い、測距位置Ｐの視差を算出する。さらに、距離計測部４０は、算出した視差に基づき被写体ＯＢにおける測距位置Ｐまでの距離Ｚ（Ｐ）を算出する。
　次に、第１の実施の形態の動作を説明する。測距位置Ｐｏと測距位置Ｐｅとの視差を生じる通常光線画像Ｇｏの取得位置と異常光線画像Ｇｅの取得位置と間隔であるベースライン長Ｂは、予め測定されている。また、複屈折撮像部２０において、被写体ＯＢの測距位置Ｐに焦点が会っているときを焦点距離ｆとする。
　ここで、偏光方向が０度の偏光画素では、被写体ＯＢにおける測距位置Ｐから複屈折物質を透過した通常光線に基づく画素値が得られて、偏光方向が９０度の偏光画素では、被写体ＯＢにおける位置Ｐから複屈折物質を透過した異常光線に基づく画素値が得られるようにキャリブレーションが行われている。
　視差画像生成部３０は、偏光方向が０度である偏光画素を用いて通常光線の光学像を示す通常光線画像Ｇｏと、偏光方向が９０度である偏光画素を用いて異常光線の光学像を示す異常光線画像Ｇｅを生成する。
　距離計測部４０は、視差画像生成部３０で生成された通常光線画像Ｇｏと異常光線画像Ｇｅを用いて測距位置Ｐのマッチング処理を行い、通常光線画像Ｇｏにおける測距位置Ｐｏと異常光線画像Ｇｅにおける測距位置Ｐｅの差である視差||ＰｏＰｅ||を算出する。さらに、距離計測部４０は、式（１）に基づき、算出した視差||ＰｏＰｅ||とベースライン長Ｂおよび焦点距離ｆに基づき被写体ＯＢにおける測距位置Ｐまでの距離Ｚ(Ｐ)を算出する。
Figure JPOXMLDOC01-appb-M000001
　計測システム１０は、複屈折撮像部２０で生成された混合画像から、通常光線に基づいた通常光線画像と異常光線に基づいた異常光線画像を分離できるようにキャリブレーションを行う。図７は、キャリブレーション動作を示すフローチャートである。
　ステップＳＴ１で計測システムは焦点距離を算出する。計測システム１０は、従来のキャリブレーション手法と同様に、内部パラメータを用いてキャリブレーションを行い、焦点距離ｆを算出してステップＳＴ２に進む。
　ステップＳＴ２で計測システムは、複屈折物質とイメージセンサとの位置を調整する。計測システム１０は、複屈折物質のｚ軸（光軸）が偏光撮像部のイメージセンサの撮像面に対して垂直方向となるように、複屈折物質とイメージセンサとの位置を調整する。
　図８は、複屈折物質のｚ軸をイメージセンサの撮像面に対して垂直方向とするキャリブレーションを説明するための図である。複屈折物質のｚ軸をイメージセンサに対して垂直方向とするキャリブレーションは、例えば非特許文献１に記載されているキャリブレーション手法を用いる。なお、図８では撮像光学系２２を省略している。
　このキャリブレーション手法では、図８の（ａ）に示すように、複屈折物質２１を介することなく偏光撮像部２５でチェッカーボード５０の撮像を行い、図８の（ｂ）に示す基準画像Ｇｄを取得する。また、図８の（ｃ）に示すように偏光板５１と複屈折物質２１を介して偏光撮像部２５でチェッカーボード５０の撮像を行う。ここで、偏光板５１は、複屈折物質２１のｙ軸と同じ偏光方向の直線偏光光線を複屈折物質２１に入射して、偏光撮像部２５で通常光線のみを観測させて、図８の（ｄ）に示す通常光線画像Ｇｏを取得させる。なお、図８の（ｂ）（ｄ）に示す丸印は、チェッカーボード５０におけるキーポイントを示している。
　図８の（ｅ）は、基準画像Ｇｄにおけるキーポイント群Ｐｄｉ（ｉ＝１，2，3，・・・Ｌ、なお、図８ではＬ＝３）と、通常光線画像Ｇｏにおけるキーポイント群Ｐｏｉ（ｉ＝１，2，3，・・・Ｌ、なお、図８ではＬ＝３）を示している。
　上述のキャリブレーション手法では、チェッカーボード上で等しい位置のキーポイントペアを結ぶ直線Ｌｉをキーポイントペア毎に算出する。例えば、キーポイントＰｄ１とキーポイントＰｏ１を結ぶ直線Ｌ１、キーポイントＰｄ２とキーポイントＰｏ２を結ぶ直線Ｌ２、キーポイントＰｄ３とキーポイントＰｏ３を結ぶ直線Ｌ３を算出する。さらに複数の直線Ｌｉ（ｉ＝１，2，3，・・・Ｌ、なお、図８ではＬ＝３）の交点Ｅを算出する。なお、式（２）は、キーポイント群Ｐｄｉとキーポイント群Ｐｏｉの対応するキーポイント結ぶ直線Ｌｉを示す方程式である。
Figure JPOXMLDOC01-appb-M000002
　さらに、このキャリブレーション手法では、複屈折物質２１のｙ軸とｘ軸を回転軸として回転させて交点Ｅの位置調整を行い、交点Ｅを画像中心Ｃの位置とする。
　計測システムは、交点Ｅが画像中心Ｃの位置となるように、複屈折物質２１を調整することで、複屈折物質のｚ軸をイメージセンサの撮像面に対して垂直方向としてステップＳＴ３に進む。
　ステップＳＴ３で計測システムは、複屈折物質と偏光フィルタとの位置を調整する。計測システム１０は、偏光方向が０度である偏光画素を用いて生成された偏光画像は通常光線画像、偏光方向が９０度である偏光画素を用いて生成された偏光画像は異常光線画像となるように、複屈折物質のｙ軸と偏光撮像部における偏光フィルタの０度方向を一致させる。なお、ステップＳＴ３では、９０度偏光画像が通常光線画像、０度偏光画像が異常光線画像を示すように、複屈折物質のｙ軸と偏光フィルタの９０度方向を一致させてもよい。
　図９は、複屈折物質のｙ軸を偏光フィルタの所定の偏光方向（例えば０度または９０度）とするキャリブレーションを説明するための図である。複屈折物質のｙ軸を偏光フィルタの所定の偏光方向とするキャリブレーションは、例えば非特許文献１に記載されているキャリブレーション手法を用いる。なお、図９では撮像光学系２２を省略している。
　このキャリブレーション手法では、図９の（ａ）に示すように、複屈折物質２１を介することなく偏光撮像部２５でチェッカーボード５０の撮像を行い、図９の（ｂ）に示す基準画像Ｇｄを取得する。また、図９（ｃ）に示すように偏光板５１と複屈折物質２１を介して偏光撮像部２５でチェッカーボード５０の撮像を行う。ここで、偏光板５１は、複屈折物質２１のｙ軸と直交する偏光方向の直線偏光光線を複屈折物質２１に入射して、偏光撮像部２５で異常光線のみを観測させて、図９の（ｄ）に示す異常光線画像Ｇｅを取得させる。なお、図９の（ｂ）（ｄ）に示す丸印は、チェッカーボード５０におけるキーポイントの位置を示している。
　図９の（ｅ）は、基準画像Ｇｄにおけるキーポイント群Ｐｄｉ（ｉ＝１，2，3，・・・Ｌ、なお、図９ではＬ＝３）と、異常光線画像Ｇｅにおけるキーポイント群Ｐｅｉ（ｉ＝１，2，3，・・・Ｌ、なお、図９ではＬ＝３）を示している。
　上述のキャリブレーション手法では、チェッカーボード上で等しい位置のキーポイントペアを用いて、キーポイント群Ｐｄｉのキーポイントを中心としてキーポイント群Ｐｅｉの対応するキーポイントを通る円Ｃｒｉをキーポイントペア毎に算出する。例えば、キーポイントＰｄ１を中心としてキーポイントＰｅ１を通る円Ｃｒ１、キーポイントＰｄ２を中心としてキーポイントＰｏ２を通る円Ｃｒ２、キーポイントＰｄ３を中心としてキーポイントＰｏ３を通る円Ｃｒを算出する。さらに複数の円Ｃｒｉ（ｉ＝１，2，3，・・・Ｌ、なお、図９ではＬ＝３）の交点Ａを算出する。
　さらに、このキャリブレーション手法では、複屈折物質２１のｚ軸を回転軸として回転させて交点Ａの位置を調整して、交点Ａと画像中心Ｃを結ぶベクトルが画像の垂直方向（例えば上向きの垂直方向）となる位置とする。また、このキャリブレーション手法では、交点Ａと画像中心Ｃを結ぶベクトルが画像の垂直方向となるように、複屈折物質２１を調整することで、複屈折物質のｙ軸を偏光フィルタの０度偏光方向とする。
　計測システムは、複屈折物質のｙ軸を偏光フィルタの所定の偏光方向とするキャリブレーションを行いステップＳＴ４に進む。
　ステップＳＴ４で計測システムは画像平行化関数を算出する。計測システム１０は、複屈折撮像部２０で生成される偏光画像を右視点と左視点の画像を混合したステレオ混合画像とする画像平行化関数Ｔを算出する。画像平行化関数Ｔは、例えば非特許文献２に記載されている手法を用いて算出する。
　この手法は、予め設定されているベースライン長Ｂを用いて画像平行化関数Ｔの算出を行う。画像平行化関数Ｔは、式（３）に示すように、平行化処理前の画像Ｉの座標ｔ(u,v)を右視点と左視点の画像を混合した画像Ｉｒの座標(u,v)を対応させる関数である。
Figure JPOXMLDOC01-appb-M000003
　画像平行化関数Ｔは、例えば再帰法を用いて算出できる。具体的には式（４）に示すように、左端の座標（０，ｖ）から右端の（ｕ，ｖ）まで、座標ｔ（ｕ，ｖ）を算出する。ここで、画素（ｕ，ｖ）のベースラインｂ（ｕ，ｖ）を式（５）に基づいて算出する。なお、式（５）において焦点距離ｆとチェッカーボードまでの距離Ｚcbは画像平行化関数の算出前に予め設定されている。また、||ＰｏＰｅ||は、チェッカーボードのキーポイントで定義しておき、キーポイントでない画素は近傍に位置するキーポイントでの値を用いた補間によって算出する。
Figure JPOXMLDOC01-appb-M000004
　図１０は、画像平行化関数を用いて画素位置の変換処理を行った場合を例示している。図１０の（ａ）は変換前の画像を例示しており、通常光線画像のキーポイントＰｏと異常光線画像において対応するキーポイントＰｅは平行でない。図１０の（ｂ）は、変換後の画像を示しており、画像平行化関数Ｔを用いた画素位置の変換処理を行うことで、通常光線画像のキーポイントＰｏと異常光線画像において対応するキーポイントＰｅは平行となる。すなわち、変換後の画像は、通常光線画像と異常光線画像が右視点と左視点の画像であり、キーポイントは距離に応じた視差を有するステレオ混合画像となる。
　計測システム１０は、図７のキャリブレーションを行ったのち、測距位置の測距動作を行う。
　図１１は、第１の実施の形態の動作を例示したフローチャートである。ステップＳＴ１１で計測システムは撮像画像を取得する。計測システム１０の複屈折撮像部２０は、測距対象である被写体ＯＢの測距位置Ｐが画角内に含まれるように撮像を行い、偏光画像を取得してステップＳＴ１２に進む。
　ステップＳＴ１２で計測システムは画像平行化処理を行う。計測システム１０の視差画像生成部３０は、キャリブレーションによって算出されている画像平行化関数Ｔを用いて複屈折撮像部２０で取得された偏光画像の画像平行化処理を行う。視差画像生成部３０は、画像平行化処理を行うことで、偏光画像を、通常光線画像と異常光線画像が右視点と左視点の画像であり、測距位置は距離に応じた視差を有するステレオ混合画像に変換してステップＳＴ１３に進む。
　ステップＳＴ１３で計測システムは０度偏光画像を取得する。計測システム１０の視差画像生成部３０は、ステップＳＴ１２で生成されたステレオ混合画像から、一方の視点の画像として、偏光方向が０度の偏光画素を用いて生成された０度偏光画像（通常光線画像）を取得してステップＳＴ１４に進む。
　ステップＳＴ１４で計測システムは９０度偏光画像を取得する。計測システム１０の視差画像生成部３０は、ステップＳＴ１２で生成されたステレオ混合画像から、他方の視点の画像として、偏光方向が９０度の偏光画素を用いて生成された９０度偏光画像(異常光線画像)を取得してステップＳＴ１５に進む。
　ステップＳＴ１５で計測システムは対応点マッチングを行う。計測システム１０の距離計測部４０は、ステップＳＴ１３で取得した一方の視点の画像である０度偏光画像（通常光線画像）と、ステップＳＴ１４で取得した他方の視点の画像である９０度偏光画像（異常光線画像）とを用いて、対応点マッチングを行い、通常光線画像における測距位置Ｐｏと異常光線画像における測距位置Ｐｅとの位置差||ＰｏＰｅ||を算出してステップＳＴ１６に進む。
　図１２は、対応点マッチングを説明するための図である。図１２の（ａ）は対応点マッチングに用いる第１画像、図１２の（ｂ）は対応点マッチングに用いる第２画像を示している。なお、以下の説明では第１画像を通常光線画像、第２画像を異常光線画像とするが、第１画像を異常光線画像、第２画像を通常光線画像としてもよい。
　図１２の（ｃ）は、テンプレート画像を示している。テンプレート画像は、Ｍ×Ｎ画素のサイズで中心を第１画像（通常光線画像Ｇｏ）における測距位置Ｐｏとする例えば領域ＡＲｏの画像である。また、画像平行化関数Ｔを用いて変換処理を行うと、通常光線画像のキーポイントＰｏと異常光線画像において対応するキーポイントＰｅは、測距位置までの距離に応じて水平方向に離れた位置となる。したがって、サーチ範囲ＡＲｓは、Ｗ×Ｍ画素のサイズで、第２画像（異常光線画像Ｇｅ）におけるテンプレート画像と垂直方向が等しい位置とする。すなわち、測距位置Ｐｏが座標（ｘＰｏ，ｙＰｏ）である場合、図１２の（ｄ）に示すサーチ範囲ＡＲｓの基準位置の座標（ｘｏｆｆｓｅｔ，ｙｏｆｆｓｅｔ）は、式（６）に示す位置とする。
Figure JPOXMLDOC01-appb-M000005
　距離計測部４０は、テンプレート画像と等しい領域サイズである参照画像の中心位置（ｘｓ，ｙｓ）を式（７）（８）で示す範囲で移動して、テンプレート画像とサーチ範囲ＡＲｓの参照画像との誤差が最も小さくなる中心位置（ｘｓｔ，ｙｓｔ）を算出する。距離計測部４０は、誤差が最も小さくなるときの測距位置Ｐｏと対応する位置を測距位置Ｐｅとする。この場合、測距位置Ｐｅの座標（ｘＰｅ，ｙＰｅ）は、式（９）に示す座標となる。
Figure JPOXMLDOC01-appb-M000006
　また、距離計測部４０は、テンプレート画像とサーチ画像との誤差として例えばＳＡＤを用いた場合、誤差が最小となる座標（ｘｓｔ，ｙｓｔ）は、式（１０）に示す評価値Ｈが得られるときの座標（ｘｓ，ｙｓ）となる。なお、ＳＡＤは式（１１）に示すように定義されている。
Figure JPOXMLDOC01-appb-M000007
　距離計測部４０は、このような応点マッチングを行い、式（１２）に基づき視差||ＰｏＰｅ||を算出する。
Figure JPOXMLDOC01-appb-M000008
　ステップＳＴ１６で計測システムは距離を算出する。計測システムの距離計測部４０は、予め設定されている焦点距離ｆとベースライン長ＢおよびステップＳＴ１５で算出した視差||ＰｏＰｅ||を用いて式（１）の演算を行い、測距位置Ｐまでの距離Ｚ（Ｐ）を算出する。
　このように、第１の実施の形態によれば、通常光線に基づく光学像を示す偏光画像と異常光線に基づく光学像を示す偏光画像を生成して、２つの偏光画像における測距位置の視差量に基づき測距位置までの距離を計測できる。したがって、エッジが検出されない部分でも対応点マッチングが可能となり、エッジ画像を用いる場合に比べて解像度の高い距離情報を得られるようになる。
　＜３．第２の実施の形態の構成と動作＞
　次に、第２の実施の形態について説明する。上述の第１の実施の形態では、偏光方向が直交する偏光画素を用いて偏光撮像部２５が構成されている場合について説明したが、第２の実施の形態では、１つの偏光方向の偏光画素と無偏光画素を用いて偏光撮像部２５が構成されている場合について説明する。
　図１３は、第２の実施の形態の構成を例示しており、偏光撮像部２５は、偏光方向が０度の偏光画素と無偏光画素を有している。また、第２の実施の形態では、第１の実施の形態と同様に、ベースライン長Ｂと焦点距離ｆは予め測定されている。なお、偏光方向が０度では、例えば被写体ＯＢにおける測距位置Ｐからの複屈折物質を透過した通常光線に基づく画素値が得られるようにキャリブレーションが行われている。
　視差画像生成部３０は、複屈折撮像部２０で取得された偏光画像から、通常光線に基づく偏光画像と、無偏光画素を用いて平均画像を生成する。図１４は、視差画像生成部で生成された画像を例示しており、図１４の（ａ）は、通常光線の光学像を示す通常光線画像Ｇｏを示している。また、図１４の（ｂ）は、無偏光画素を用いて生成された平均画像Ｇmeanを示しており、平均画像の画素値は通常光線画像と異常光線画像の平均画素値を示している。視差画像生成部３０は、後述するように通常光線画像Ｇｏと平均画像Ｇmeanから図１４の（ｃ）に示す異常光線画像Ｇｅを生成する。なお、通常光線画像Ｇｏにおける測距位置は測距位置Ｐｏ、異常光線画像Ｇｅにおける測距位置は測距位置Ｐｅである。
　距離計測部４０は、視差画像生成部３０で生成された通常光線画像Ｇｏと異常光線画像Ｇｅを用いて対応点のマッチング処理を行い、測距位置Ｐの視差を算出する。さらに、距離計測部４０は、算出した視差に基づき被写体ＯＢにおける測距位置Ｐまでの距離Ｚ（Ｐ）を算出する。
　図１５は、第２の実施の形態の動作を例示したフローチャートである。ステップＳＴ２１で計測システムは撮像画像を取得する。計測システム１０の複屈折撮像部２０は、測距対象である被写体ＯＢの測距位置Ｐが画角内に含まれるように撮像を行い、偏光画像を取得してステップＳＴ２２に進む。
　ステップＳＴ２２で計測システムは画像平行化処理を行う。計測システム１０の視差画像生成部３０は、キャリブレーションによって算出されている画像平行化関数Ｔを用いて複屈折撮像部２０で取得された偏光画像の画像平行化処理を行い、通常光線画像と異常光線画像が右視点と左視点の画像であり、測距位置は距離に応じた視差を有するステレオ混合画像に変換してステップＳＴ２３に進む。
　ステップＳＴ２３で計測システムは０度偏光画像を取得する。計測システム１０の視差画像生成部３０は、ステップＳＴ２２で生成されたステレオ混合画像から、一方の視点の画像として、偏光方向が０度の偏光画素を用いて生成された０度平均画像（通常光線画像Ｇｏ）を取得してステップＳＴ２４に進む。
　ステップＳＴ２４で計測システムは平均画像を取得する。計測システム１０の視差画像生成部３０は、ステップＳＴ２２で生成されたステレオ混合画像における無偏光画素を用いて生成された平均画像Ｇmeanを取得してステップＳＴ２５に進む。
　ステップＳＴ２５で計測システムは９０度偏光画像を取得する。計測システム１０の視差画像生成部３０は、ステップＳＴ２３で取得した通常光線画像Ｇｏの画素値Ｉ０とステップＳＴ２４で取得した平均画像Ｇmeanの画素値Ｉｍｅａｎを用いて式（１３）の演算を行い、９０度偏光画像すなわち異常光線画像Ｇｅの画素値Ｉｅを算出してステップＳＴ２６に進む。
Figure JPOXMLDOC01-appb-M000009
　ステップＳＴ２６で計測システムは対応点マッチングを行う。計測システム１０の距離計測部４０は、ステップＳＴ２３で取得した一方の視点の画像である０度偏光画像（通常光線画像）と、ステップＳＴ２５で取得した他方の視点の画像である９０度偏光画像（異常光線画像）とを用いて、対応点マッチングを行い、通常光線画像における測距位置Ｐｏと異常光線画像における測距位置Ｐｅとの位置差||ＰｏＰｅ||を算出してステップＳＴ２７に進む。
　ステップＳＴ２７で計測システムは距離を算出する。計測システムの距離計測部４０は、予め設定されている焦点距離ｆとベースライン長ＢおよびステップＳＴ２６で算出した視差||ＰｏＰｅ||を用いて式（１）の演算を行い、測距位置Ｐまでの距離Ｚ（Ｐ）を算出する。
　なお、計測システムは、ステップＳＴ２３で９０度偏光画像を取得して、ステップＳＴ２５で０度偏光画像を算出してもよく、０度偏光画像は異常光線画像、９０度偏光画像は通常光線画像であってもよい。
　このように、第２の実施の形態によれば、第１の実施の形態と同様に、エッジ画像を用いる場合に比べて解像度の高い距離情報を得られるようになる。また、第１の実施の形態に比べて偏光画素の偏光方向を少なくできる。
　＜４．第３の実施の形態の構成と動作＞
　次に、第３の実施の形態について説明する。上述の第１の実施の形態や第２の実施の形態では、偏光方向が直交する偏光画素を用いて偏光撮像部２５が構成されている場合や１つの偏光方向の偏光画素と無偏光画素を用いて偏光撮像部２５が構成されている場合について説明したが、第３の実施の形態では、３種類以上の偏光画素を用いて偏光撮像部２５が構成されている場合について説明する。
　偏光板を観測方向に対して垂直に設置して、部分偏光した光を偏光板を通して観測する場合、偏光板を回転させるごとに透過光の輝度が変化する。ここで、偏光板を回転させたとき，最も高い輝度をImax，最も低い輝度をIminとして、２次元座標系（ｘ軸とｙ軸）を偏光板の平面上に定義したとき，偏光板を回転させたときの角度である偏光角υは，偏光板の偏光軸とｘ軸のなす角として定義され、ｘ軸からｙ軸に向かう角度として表現される。なお、偏光軸は、偏光板において光が透過して偏光する向きを表す軸である。偏光板を回転させると偏光方向は１８０°の周期性を有しており、偏光角は０°から１８０°までの値をとる。ここで、最大輝度Imaxが観測されたときの偏光角θpolを位相角φと定義すると、偏光板を回転させたときに観測される輝度Ｉは、式（１４）に示す偏光モデルで表すことができることが知られている。
　また、式（１４）は、式（１５）に変換することができ、偏光方向が０度である偏光画素の観測値（輝度）を「Ｉ0」、偏光方向が４５度である偏光画素の観測値（輝度）を「Ｉ1」、偏光方向が９０度である偏光画素の観測値（輝度）を「Ｉ2」、偏光方向が１３５度であるときの観測値（輝度）を「Ｉ3」とした場合、式（１５）における係数ａは、式（１６）に示す値となる。また、式（１５）における係数ｂ，ｃは、式（１７），（１８）に示す値となる。なお、式（１８）は上述の平均画像を示している。
Figure JPOXMLDOC01-appb-M000010
　図１６は、偏光方向と偏光画素の画素値の関係を例示しており、図１６の（ａ）は、偏光撮像部２５の画素構成を例示しており、偏光方向が０度と４５度と９０度と１３５度の偏光画素で構成されている。また、図１６の（ｂ）は、２×２画素の偏光画素で構成された偏光画素ブロックにおける画素値（輝度）を例示している。
　第３の実施の形態は、３以上の偏光画素の画素値に基づく偏光モデルから、視差画像として通常光線画像と異常光線画像を生成する場合について説明する。
　図１７は、第３の実施の形態の構成を例示しており、偏光撮像部２５は、偏光方向が０度の偏光画素、４５度の偏光画素、９０度の偏光画素および１３５度の偏光画素を有している。また、第３の実施の形態では、第１の実施の形態や第２の実施の形態と同様に、ベースライン長Ｂと焦点距離ｆは予め測定されている。
　視差画像生成部３０は、偏光方向毎の偏光画像の画素値を用いて画素毎に式（１４）または式（１５）に示す偏光モデルを算出して、最も鮮明である視差画像を取得する。図１８は、視差画像生成部で生成される画像を例示している。図１８の（ａ）は、偏光方向と輝度の関係を例示している。なお、偏光方向θｓは、偏光画像が最も鮮明となる偏光方向である。図１８の（ｂ）は、偏光方向が０度である偏光画素を用いて生成された０度偏光画像Ｇ０、図１８の（ｃ）は、偏光方向が４５度である偏光画素を用いて生成された４５度偏光画像Ｇ４５、図１８の（ｄ）は、偏光方向が９０度である偏光画素を用いて生成された９０度偏光画像Ｇ９０、図１８の（ｅ）は、偏光方向が１３５度である偏光画素を用いて生成された１３５度偏光画像Ｇ１３５を示している。なお、０度偏光画像Ｇ０の画素値は画素値Ｉ０、４５度偏光画像Ｇ４５の画素値は画素値Ｉ４５、９０度偏光画像Ｇ９０の画素値は画素値Ｉ９０、１３５度偏光画像Ｇ１３５の画素値は画素値Ｉ１３５とする。
　視差画像生成部３０は、図１８の（ｆ）に示す最も鮮明である偏光方向の偏光画像Ｇθｓと、この偏光画像と偏光方向が９０度の位相差を有する図１８の（ｇ）に示す偏光画像Ｇθｓ＋９０を、視差画像として生成する。なお、偏光画像Ｇθｓは画素値Ｉθｓ、偏光画像Ｇθｓ＋９０は画素値Ｉθｓ＋９０とする。
　距離計測部４０は、視差画像生成部３０で生成された視差画像を用いて対応点のマッチング処理を行い、測距位置Ｐの視差を算出する。さらに、距離計測部４０は、算出した視差に基づき被写体ＯＢにおける測距位置Ｐまでの距離Ｚ（Ｐ）を算出する。
　次に、第３の実施の形態の動作を説明する。ベースライン長Ｂと焦点距離ｆは予め測定されている。また、偏光方向が異なる３種類以上の偏光画素を用いることで、後述するように所望の偏光方向の画素値を推定できることから、キャリブレーションでは偏光フィルタと複屈折物質のｙ軸方向を一致させる処理を行わなくともよい。
　図１９は、第３の実施の形態におけるキャリブレーション動作を示すフローチャートである。
　ステップＳＴ３１で計測システムは焦点距離を算出する。計測システム１０は、従来のキャリブレーション手法や図７のステップＳＴ１と同様な処理を行い、内部パラメータを用いてキャリブレーションを行い、焦点距離ｆを算出してステップＳＴ３２に進む。
　ステップＳＴ３２で計測システムは、複屈折物質とイメージセンサとの位置を調整する。計測システム１０は、複屈折物質のｚ軸（光軸）が偏光撮像部のイメージセンサの撮像面に対して垂直方向となるように、複屈折物質とイメージセンサとの位置を調整してステップＳＴ３３に進む。
　ステップＳＴ３３で計測システムは画像平行化関数を算出する。計測システム１０は、複屈折撮像部２０で生成される偏光画像を右視点と左視点の画像を混合したステレオ混合画像とする画像平行化関数Ｔを算出する。画像平行化関数Ｔは、例えば非特許文献２に記載されている手法を用いて算出する。
　計測システム１０は、図１９のキャリブレーションを行ったのち、測距対象の測距動作を行う。
　図２０は、第３の実施の形態の動作を例示したフローチャートである。ステップＳＴ４１で計測システムは撮像画像を取得する。計測システム１０の複屈折撮像部２０は、測距対象である被写体ＯＢの測距位置Ｐが画角内となるように撮像を行い、偏光画像を取得してステップＳＴ４２に進む。
　ステップＳＴ４２で計測システムは画像平行化処理を行う。計測システム１０の視差画像生成部３０は、キャリブレーションによって算出されている画像平行化関数Ｔを用いて複屈折撮像部２０で取得された偏光画像の画像平行化処理を行い、通常光線に基づく画像と異常光線に基づく画像が距離に応じた視差を有するステレオ混合画像を生成してステップＳＴ４３に進む。
　ステップＳＴ４３で計測システムは３種類以上の偏光画像を取得する。計測システム１０の視差画像生成部３０は、ステップＳＴ４２で生成されたステレオ混合画像から、３種類以上の偏光方向毎の偏光画像を取得する。例えば、偏光撮像部２５は、偏光方向が０度の偏光画素、４５度の偏光画素、９０度の偏光画素および１３５度の偏光画素を有している場合、視差画像生成部３０は、偏光方向が０度の偏光画素を用いて生成された偏光画像を取得する。また、視差画像生成部３０は、偏光方向が４５度の偏光画素を用いて生成された偏光画像、偏光方向が９０度の偏光画素を用いて生成された偏光画像、偏光方向が１３５度の偏光画素を用いて生成された偏光画像をそれぞれ取得してステップＳＴ４４に進む。
　ステップＳＴ４４で計測システムはコサインフィッティングを行う。計測システム１０の視差画像生成部３０は、偏光方向毎の偏光画像の画素値を用いて偏光画素ブロック毎に偏光モデルを算出する。また、視差画像生成部３０は、画素毎に偏光方向毎の偏光画像の画素値が補間処理によって得られている場合、画素毎に偏光モデルを算出してステップＳＴ４５に進む。
　ステップＳＴ４５で計測システムは偏光画像が最も鮮明となる偏光方向を探索する。偏光画像が最も鮮明となる偏光方向を探索する第１の探索方法において、計測システム１０の視差画像生成部３０は、例えばソーベル法やラプラシアン法あるいはキャニー法等のエッジ抽出用の関数ｅを用いて式（１９）の演算を行う。視差画像生成部３０は、エッジ成分が最小であることを示す評価値Ｈが得られるときの角度βを偏光画像が最も鮮明となる偏光方向θｓ、すなわち通常光線画像に対して異常光線画像の混合が最も少ないあるいは異常光線画像に対して通常光線画像の混合が最も少ない偏光画像が得られる偏光方向θｓとする。なお、式（１９）において、ｅ（Ｉβ）ｉは、エッジ画像におけるｉ番目の画素の画素値（輝度）である。また、「１～Ｋ」は偏光方向の探索に用いる所定の画像範囲を示しており、所定の画像範囲は全画面領域であってもよく測距対象の被写体を含むように予め設定された画像範囲であってもよい。
Figure JPOXMLDOC01-appb-M000011
　図２１は、第１の探索方法を例示した図である。図２１の（ａ）は偏光方向と輝度の関係を例示している。図２１の（ｂ）は、偏光画像が最も鮮明となる偏光方向θｓの偏光画像Ｇθｓとエッジ画像ＥＧθｓを例示しており、偏光画像Ｇθｓは、例えば通常光線画像Ｇｏに相当している。
　図２１の（ｃ）は、偏光方向θｓよりも角度が大きい場合を示している。この場合、偏光方向θｓよりも角度が大きいことから通常光線画像に異常光線画像が含まれた画像となり、エッジ成分は図２１の（ｂ）に示すエッジ画像ＥＧθｓよりも増加する。図２１の（ｄ）は、偏光方向θｓよりも９０度大きい場合を示している。この場合、偏光方向θｓよりも９０度が大きいことから偏光画像は異常光線画像となり、エッジ成分は図２１の（ｂ）に比べて減少する。図２１の（ｄ）は、偏光方向θｓ＋９０よりも角度が大きい場合を示している。この場合、偏光方向θｓ＋９０よりも角度が大きいことから異常光線画像に通常光線画像が含まれた画像となり、エッジ成分は図２１の（ｃ）に比べて増加する。
　このように、視差画像生成部３０は、エッジ成分が最小となる偏光方向を偏光画像が最も鮮明となる偏光方向θｓとする。
　また、視差画像生成部３０は、他の探索方法を用いて最も鮮明である偏光方向の偏光画像を探索してもよい。第２の探索方法では、偏光方向が９０度の位相差を有する偏光画像を用いて探索を行う。第２の探索方法において、視差画像生成部３０は、偏光方向βの偏光画像の画素値Ｉβと偏光方向（β－９０）の偏光画像の画素値Ｉβ－９０を用いて差分値|Ｉβ－Ｉβ－９０)|を算出する。偏光方向が９０度の位相差を有する２つの偏光画像では、通常光線画像（異常光線画像）に異常光線画像（通常光線画像）が含まれていない場合、差分値が最大となり、通常光線画像（異常光線画像）に異常光線画像（通常光線画像）が含まれるに伴い差分値が減少する。したがって、視差画像生成部３０は、式（２０）に示す演算を行い、偏光方向が９０度の位相差を有する偏光画像の所定の画像範囲における画素毎の差分の合計を示す評価値Ｈが最大となる角度βを、偏光画像が最も鮮明となる偏光方向θｓとする。
Figure JPOXMLDOC01-appb-M000012
　図２２は、第２の探索方法を例示した図である。図２２の（ａ）は偏光方向と輝度の関係を例示している。図２２の（ｂ）は、偏光方向（β－９０）の偏光画像を例示しており、図２２の（ｄ）は、偏光方向βの偏光画像を例示している。なお、偏光方向βの偏光画像は、例えば通常光線画像Ｇｏに相当している。
　図２２の（ｃ）は、偏光方向βよりも角度が小さい場合を示している。この場合、偏光方向βよりも角度が小さいことから通常光線画像に異常光線画像が含まれた画像となり、差分値は図２２の（ｄ）の場合よりも減少する。図２２の（ｅ）は、偏光方向βよりも角度が大きい場合を示している。この場合、偏光方向βよりも角度が大きいことから通常光線画像に異常光線画像が含まれた画像となり、差分値は図２２の（ｄ）の場合よりも減少する。
　このように、視差画像生成部３０は、偏光方向が９０度の位相差を有する偏光画像の差分が最大となる偏光方向βを偏光画像が最も鮮明となる偏光方向θｓとする。
　また、鮮明となる偏光方向の偏光画像は９０度の位相差を有することから、視差画像生成部３０は、式（２１）に示す演算を行い、偏光方向が９０度の位相差を有する偏光画像の所定の画像範囲における画素毎の差分の合計を示す評価値Ｈが最小となる角度βに対して４５度の位相差を有する角度を、偏光画像が最も鮮明である偏光方向θｓとしてもよい。
Figure JPOXMLDOC01-appb-M000013
　次に、第３の方法として、偏光方向が４５度の位相差を有する３つの偏光画像を用いて探索を行ってもよい。第３の方法において、視差画像生成部３０は、偏光方向βの偏光画像の画素値Ｉβと偏光方向（β＋４５）の偏光画像の画素値Ｉβ＋４５と偏光方向（β－９０）の偏光画像の画素値Ｉβ－９０を用いて式（２２）に示す演算を行い、偏光方向が９０度の位相差を有する偏光画像の加算画像と４５度の位相差を有する偏光画像との所定の画像範囲の差分の合計を示す評価値Ｈが最小となる偏光方向βを、偏光画像が最も鮮明となる偏光方向θｓとする。
Figure JPOXMLDOC01-appb-M000014
　図２３は、第３の探索方法を例示した図である。図２３の（ａ）は偏光方向と輝度の関係を例示している。図２３の（ｂ）は、偏光方向（β－９０）の偏光画像を例示しており、図２３の（ｄ）は、偏光方向βの偏光画像を例示している。なお、偏光方向βの偏光画像は、例えば通常光線画像Ｇｏに相当している。図２３の（ｃ）は、偏光方向βよりも角度が小さい場合を示している。この場合、偏光方向βよりも角度が小さいことから通常光線画像に異常光線画像が含まれた画像である。図２３の（ｅ）は、偏光方向（β＋４５）の偏光画像を示しており、通常光線画像に異常光線画像が含まれた画像である。
　視差画像生成部３０は、偏光方向βの偏光画像の画素値Ｉβと偏光方向（β－９０）の偏光画像の画素値Ｉβ－９０を加算して、通常光線画像と異常光線画像を示す加算画像を生成する。さらに、視差画像生成部３０は、加算画像の画素値から偏光方向（β＋４５）の偏光画像の画素値Ｉβ＋４５を減算する。
　視差画像生成部３０は、加算画像と偏光方向（β＋４５）の偏光画像の差分が最小となる偏光方向βを偏光画像が最も鮮明となる偏光方向θｓとする。
　次に、視差画像生成部３０は、第４の方法として、偏光方向が４５度の位相差を有する３つの偏光画像を用いて探索を行う。第４の方法において、視差画像生成部３０は、偏光方向βの偏光画像の画素値Ｉβと偏光方向（β－４５）の偏光画像の画素値Ｉβ－４５と偏光方向（β－９０）の偏光画像の画素値Ｉβ－９０を用いて式（２３）に示す演算を行い、偏光方向が９０度の位相差を有する偏光画像の加算画像と４５度の位相差を有する偏光画像との所定の画像範囲の差分の合計を示す評価値Ｈが最小となる偏光方向βを、偏光画像が最も鮮明となる偏光方向θｓとする。
Figure JPOXMLDOC01-appb-M000015
　図２４は、第４の探索方法を例示した図である。図２４の（ａ）は偏光方向と輝度の関係を例示している。図２４の（ｂ）は、偏光方向（β－９０）の偏光画像を例示しており、図２４の（ｄ）は、偏光方向βの偏光画像を例示している。なお、偏光方向βの偏光画像は、例えば通常光線画像Ｇｏに相当している。
　図２４の（ｃ）は、偏光方向（β－４５）の偏光画像、図２４の（ｅ）は、偏光方向（β＋４５）の偏光画像を示しており、偏光画像は通常光線画像と異常光線画像が含まれた画像である。
　視差画像生成部３０は、偏光方向βの偏光画像の画素値Ｉβを偏光方向（β－４５）の偏光画像の画素値Ｉβ－４５から減算して、通常光線画像と異常光線画像を含む画像における通常光線画像を減衰させた差分画像を生成する。さらに、視差画像生成部３０は、差分画像の画素値から偏光方向（β－９０）の偏光画像の画素値Ｉβ－９０を減算する。
　視差画像生成部３０は、差分画像と偏光方向（β－９０）の偏光画像の差分が最小となる偏光方向βを偏光画像が最も鮮明となる偏光方向θｓとする。
　視差画像生成部３０は、第１乃至第４の探索方法のいずれかに基づいて偏光画像が最も鮮明となる偏光方向を探索してステップＳＴ４６に進む。なお。視差画像生成部３０は、第１乃至第４の探索方法のいずれかの方法で偏光方向を探索できない場合は他の探索方法を用いてもよく、複数の探索方法の探索結果を用いて偏光画像が最も鮮明となる偏光方向を決定してもよい。
　ステップＳＴ４６で計測システムは探索結果に基づいて偏光画像を生成する。計測システム１０の視差画像生成部３０は、ステップＳＴ４５で探索した偏光方向θｓの偏光画像と、偏光方向（θｓ＋９０）または偏光方向（θｓ－９０）の偏光画像を、式（１４）または式（１５）に示す偏光モデルに基づいて生成してステップＳＴ４７に進む。
　ステップＳＴ４７で計測システムは対応点マッチングを行う。計測システム１０の距離計測部４０は、ステップＳＴ４６で生成した偏光方向θｓの偏光画像（通常光線画像と異常光線画像のいずれか一方に相当）と、偏光方向（θｓ＋９０）または偏光方向（θｓ－９０）の偏光画像（通常光線画像と異常光線画像のいずれか他方に相当）を用いて、対応点マッチングを行い、通常光線画像における測距対象の位置Ｐｏと異常光線画像における測距対象の位置Ｐｅとの位置差||ＰｏＰｅ||を算出してステップＳＴ４８に進む。
　ステップＳＴ４８で計測システムは距離を算出する。計測システムの距離計測部４０は、予め設定されている焦点距離ｆとベースライン長ＢおよびステップＳＴ４５で算出した視差||ＰｏＰｅ||を用いて式（１）の演算を行い、測距位置Ｐまでの距離Ｚ（Ｐ）を算出する。
　このように、第３の実施の形態によれば、第１の実施の形態や第２の実施の形態と同様に、エッジが検出されない部分でも対応点マッチングが可能となり、エッジ画像を用いる場合に比べて解像度の高い距離情報を得られるようになる。また、被写体の偏光特性に基づいて、解像度の高い距離情報を得られるようになる。
　＜５．変形例＞
　偏光撮像部の画素構成は、第１の実施の形態乃至第３の実施の形態の構成に限らず、図２５、図２６、図２７の構成であってもよく、図に示す構成が水平方向及び垂直方向に繰り返されている。図２５の（ａ）、（ｂ）は白黒画像を取得する場合の画素構成を例示している。なお、図２５の（ａ）は２×２画素の偏光画素ブロックを、例えば偏光方向（偏光角）が０度、４５度、９０度、１３５度の偏光画素で構成した場合を例示している。また、図２５の（ｂ）は２×２画素を偏光方向の単位として、４×４画素の偏光画素ブロックを、例えば偏光方向が０度、４５度、９０度、１３５度の偏光画素で構成した場合を例示している。なお、偏光フィルタの偏光成分単位が図２５の（ｂ）に示すように２×２画素である場合、偏光成分単位毎に得られた偏光成分に対して、隣接する異なる偏光成分単位の領域からの偏光成分の漏れ込み分の割合は、図２５の（ａ）に示す１×１画素に比べて少なくなる。また、偏光フィルタがワイヤーグリッドを用いている場合、格子の方向（ワイヤー方向）に対して電場成分が垂直方向である偏光光が透過されて、透過率はワイヤーが長いほど高くなる。このため、偏光成分単位が２×２画素である場合は、１×１画素に比べて透過率が高くなる。このため、偏光成分単位が２×２画素である場合は１×１画素に比べて透過率が高くなり、消光比を良くすることができる。
　図２５の（ｃ）乃至（ｇ）はカラー画像を取得する場合の画素構成を例示している。図２５の（ｃ）は、図２５の（ａ）に示す２×２画素の偏光画素ブロックを１つの色単位として、三原色画素（赤色画素と緑色画素と赤色画素）をベイヤ配列とした場合を示している。
　図２５の（ｄ）は、図２５の（ｂ）に示す２×２画素の同一偏光方向の画素ブロック毎に、三原色画素をベイヤ配列で設けた場合を例示している。
　図２５の（ｅ）は、２×２画素の同一偏光方向の画素ブロック毎に、三原色画素をベイヤ配列で設けて、偏光方向が異なる２×２画素のブロックを同一色の画素とした場合を例示している。
　図２５の（ｆ）は、２×２画素の同一偏光方向でベイヤ配列の画素ブロックについて、水平方向に隣接する画素ブロックとの偏光方向の位相差が９０で、垂直方向に隣接する画素ブロックとの偏光方向の位相差が±４５度である場合を示している。
　図２５の（ｇ）は、２×２画素の同一偏光方向でベイヤ配列の画素ブロックについて、垂直方向に隣接する画素ブロックとの偏光方向の位相差が９０で、水平方向に隣接する画素ブロックとの偏光方向の位相差が±４５度である場合を示している。
　図２６は三原色画素と白色画素を設けた場合を例示している。例えば、図２６の（ａ）は、図２５の（ｄ）に示す２×２画素の同一偏光方向でベイヤ配列の画素ブロックにおいて１つの緑色画素を白色画素とした場合を例示している。
　図２６の（ｂ）は、図２５の（ｅ）に示す２×２画素の同一偏光方向でベイヤ配列の画素ブロックにおいて１つの緑色画素を白色画素として、偏光方向が異なる２×２画素のブロックを同一色の画素とした場合を例示している。
　このように白色画素を設けることで、特許文献「国際公開第２０１６／１３６０８５号」で開示されているように、法線情報の生成におけるダイナミックレンジを、白色画素を設けていない場合に比べて拡大できる。また、白色画素はＳ／Ｎ比が良好であることから、色差の算出等においてノイズの影響を受けにくくなる。
　図２７は、無偏光画素を設けた場合を例示しており、図２７の（ａ）乃至（ｄ）は白黒画像、図２７の（ｅ）乃至（ｌ）はカラー画像を取得する場合を例示している。なお、偏光方向と色画素の表示は、図２５と同様である。
　図２７の（ａ）は、図２５の（ｂ）に示す２×２画素の同一偏光方向の画素ブロックにおいて、斜め方向に位置する偏光画素を無偏光画素とした場合を例示している。
　図２７の（ｂ）は２×２画素の画素ブロック内に位相差が４５度の偏光画素を斜め方向に設けて、隣接する画素ブロックとは偏光画素が９０度の位相差を有するように構成した場合を例示している。
　図２７の（ｃ）は、２×２画素の画素ブロック内に等しい偏光方向の偏光画素を斜め方向に設けて、隣接する画素ブロックとは偏光画素が４５度の位相差を有しており、偏光画素の偏光方向は４５度の位相差を有する２方向とした場合を例示している。なお、無偏光画素と２つの偏光方向の偏光画素からの偏光情報の取得は、例えば特許文献「国際公開第２０１８／０７４０６４号」で開示された技術を用いればよい。
　図２７の（ｄ）は、２×２画素の画素ブロック内に４５度の位相差を有する偏光画素を斜め方向に設けて、偏光画素の偏光方向は４５度の位相差を有する２方向とした場合を例示している。
　図２７の（ｅ）は、４つ異なる偏光方向である２×２画素の画素ブロックと、無偏光画素からなる２×２画素の画素ブロックをそれぞれ２つ用いて、４×４画素の画素ブロックを構成して、偏光画素の画素ブロックは緑色画素、無偏光画素の画素ブロックは赤色画素または青色画素として、同一色の画素ブロック（２×２画素）をベイヤ配列として設けた場合を例示している。
　図２７の（ｆ）は、偏光画素が図２７の（ｄ）と同様に設けられており、２つの異なる偏光方向の偏光画像と２つの無偏光画素からなる画素ブロックを色単位として、三原色の画素ブロックをベイヤ配列として設けた場合を例示している。
　図２７の（ｇ）は、２×２画素の画素ブロックを色単位として、三原色の画素ブロックをベイヤ配列として設けて、緑色画素の画素ブロックに２つの異なる偏光方向の偏光画素を設けた場合を例示している。
　図２７の（ｈ）は、偏光画素が図２７の（ｄ）と同様に設けられており、２つの異なる偏光方向の偏光画像と２つの無偏光画素からなる画素ブロックは３つの緑色画素と、１つの無偏光画素を赤色画素として、隣接ずる画素ブロックでは１つの無偏光画素を青色画素とした場合を例示している。
　図２７の（ｉ）（ｊ）は、無偏光画素を色画素として、４×４画素の画素ブロックに三原色の画素を設けた場合を示している。また、図２７の（ｋ），（ｌ）は、無偏光画素の一部を色画素として、４×４画素の画素ブロックに三原色の画素を設けた場合を示している。
　なお、図２５乃至図２７に示す構成は例示であって、他の構成を用いてもよい。また、夜間等でも高感度な撮像を可能するため、赤外（ＩＲ）画素を混在して繰り返した構成であってもよい。
　このような画素構成とすれば、偏光画像に基づき測距位置までの距離を測定できるだけでなく画素毎の偏光特性を取得することが可能となる。また、無偏光のカラー画像を得ることもできる。
　＜５．応用例＞
　本開示に係る技術は、様々な分野へ適用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。また、工場における生産工程で用いられる機器や建設分野で用いられる機器に搭載される装置として実現されてもよい。
　このような分野に適用すれば、エッジの少ない被写体であっても複数の撮像装置を用いることなく高解像度で距離情報を得られる。したがって、周辺環境を３次元で精度よく把握できるようになり、運転者や作業者の疲労を軽減できる。また、自動運転等をより安全に行うことが可能となる。
　明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
　また、本技術の信号処理装置は以下のような構成も取ることができる。
　（１）　複屈折物質を介して入射された被写体光に基づいた偏光画像を生成する偏光撮像部と、
　前記偏光撮像部で生成された偏光画像を用いて偏光角度の異なる画像の分離を行い、通常光線画像と異常光線画像を視差画像として生成する視差画像生成部と、
　前記視差画像生成部で生成された通常光線画像と異常光線画像における被写体の測距位置の視差に基づいて、前記測距位置までの距離を算出する距離計測部と
を有する信号処理装置。
　（２）　前記偏光撮像部は、撮像面を前記複屈折物質の光軸に対して垂直とする（１）に記載の信号処理装置。
　（３）　前記偏光撮像部は、偏光方向が９０度の位相差を有す偏光画素を設けて、前記偏光方向を前記複屈折物質の水平方向と垂直方向と等しくして、
　前記視差画像生成部は、前記複屈折物質の水平方向または垂直方向の一方と等しい偏光方向の偏光画素を用いて前記通常光線画像を生成して、他方と等しい偏光方向の偏光画素を用いて前記異常光線画像を生成する（２）に記載の信号処理装置。
　（４）　前記偏光撮像部は、所定の偏光方向の偏光画素と無偏光である無偏光画素を用いて構成して、前記偏光方向を前記複屈折物質の水平方向または垂直方向と等しくして、
　前記視差画像生成部は、前記偏光画素を用いて前記通常光線画像または前記異常光線画像の一方を生成して、他方の画像は前記偏光画素を用いて生成した画像と前記無偏光画素を用いて生成した画像とに基づいて生成する（２）に記載の信号処理装置。
　（５）　前記偏光撮像部は、偏光方向が異なる３方向以上の偏光画素を用いて構成して、
　前記視差画像生成部は、前記偏光方向が異なる３方向以上の偏光画素の画素値に基づき偏光モデルを算出して、算出した偏光モデルに基づいて前記視差画像を生成する（２）に記載の信号処理装置。
　（６）　前記視差画像生成部は、前記通常光線画像と前記異常光線画像の一方の画像に含まれる他方の画像が最小となる偏光方向を探索して、探索した偏光方向の画像と９０度の位相差を有する画像を前記視差画像として生成する（５）に記載の信号処理装置。
　（７）　前記視差画像生成部は、前記偏光モデルに基づいた偏光画像のエッジ成分が最小となる偏光方向を探索する（６）に記載の信号処理装置。
　（８）　前記視差画像生成部は、前記偏光モデルに基づいた偏光画像であって、偏光方向が９０度の位相差を有する２つの偏光画像の画素毎の差分の合計が最大となる前記２つの偏光画像の一方の偏光方向を探索する（６）または（７）に記載の信号処理装置。
　（９）　前記視差画像生成部は、前記偏光モデルに基づいた偏光画像であって、偏光方向が９０度の位相差を有する２つの偏光画像の画素毎の差分の合計が最小となる前記２つの偏光画像の一方の偏光方向に対する４５度の位相差を有する偏光方向を探索する（６）乃至（８）のいずれかに記載の信号処理装置。
　（１０）　前記視差画像生成部は、前記偏光モデルに基づいた偏光画像であって、偏光方向が９０度の位相差を有する２つの偏光画像の加算画像と４５度の位相差を有する偏光画像との画素毎の差分の合計が最小となる前記２つの偏光画像の一方の偏光方向を探索する（６）乃至（９）のいずれかに記載の信号処理装置。
　（１１）　前記視差画像生成部は、予め設定された画像平行化関数を用いて、水平方向の視差を有する通常光線画像と異常光線画像を視差画像として生成する（２）乃至（１０）のいずれかに記載の信号処理装置。
　また、本技術は以下の撮像装置を含む。
　（１）　撮像面に対して光軸を垂直として複屈折物質を設けて、
　前記複屈折物質を介した被写体光が入射される前記撮像面は、１偏光方向の偏光画像と無偏光画像、または複数の異なる偏光方向毎の偏光画像と無偏光画像、あるいは３以上の異なる偏光方向毎の偏光画像を生成できる画素構成とした撮像装置。
　（２）　前記偏光方向が１方向である場合、前記偏光方向は前記複屈折物質の通常光線偏光方向または異常光線偏光方向と等しくした（１）に記載の撮像装置。
　（３）　前記偏光方向が２方向である場合、前記偏光方向の一方は前記複屈折物質の通常光線偏光方向と等しく、前記偏光方向の他方は前記複屈折物質の異常光線偏光方向と等しくした（１）に記載の撮像装置。
　１０・・・計測システム
　２０・・・複屈折撮像部
　２１・・・複屈折物質
　２２・・・撮像光学系
　２５・・・偏光撮像部
　３０・・・視差画像生成部
　４０・・・距離計測部
　５０・・・チェッカーボード
　５１・・・偏光板
　２５１・・・イメージセンサ
　２５２・・・偏光フィルタ

Claims (13)

  1. 　複屈折物質を介して入射された被写体光に基づいた偏光画像を生成する偏光撮像部と、
    　前記偏光撮像部で生成された偏光画像を用いて偏光角度の異なる画像の分離を行い、通常光線画像と異常光線画像を視差画像として生成する視差画像生成部と、
    　前記視差画像生成部で生成された通常光線画像と異常光線画像における被写体の測距位置の視差に基づいて、前記測距位置までの距離を算出する距離計測部と
    を有する信号処理装置。
  2. 　前記偏光撮像部は、撮像面を前記複屈折物質の光軸に対して垂直とする
    請求項１に記載の信号処理装置。
  3. 　前記偏光撮像部は、偏光方向が９０度の位相差を有す偏光画素を設けて、前記偏光方向を前記複屈折物質の水平方向と垂直方向と等しくして、
    　前記視差画像生成部は、前記複屈折物質の水平方向または垂直方向の一方と等しい偏光方向の偏光画素を用いて前記通常光線画像を生成して、他方と等しい偏光方向の偏光画素を用いて前記異常光線画像を生成する
    請求項２に記載の信号処理装置。
  4. 　前記偏光撮像部は、所定の偏光方向の偏光画素と無偏光である無偏光画素を用いて構成して、前記偏光方向を前記複屈折物質の水平方向または垂直方向と等しくして、
    　前記視差画像生成部は、前記偏光画素を用いて前記通常光線画像または前記異常光線画像の一方を生成して、他方の画像は前記偏光画素を用いて生成した画像と前記無偏光画素を用いて生成した画像とに基づいて生成する
    請求項２に記載の信号処理装置。
  5. 　前記偏光撮像部は、偏光方向が異なる３方向以上の偏光画素を用いて構成して、
    　前記視差画像生成部は、前記偏光方向が異なる３方向以上の偏光画素の画素値に基づき偏光モデルを算出して、算出した偏光モデルに基づいて前記視差画像を生成する
    請求項２に記載の信号処理装置。
  6. 　前記視差画像生成部は、前記通常光線画像と前記異常光線画像の一方の画像に含まれる他方の画像が最小となる偏光方向を探索して、探索した偏光方向の画像と９０度の位相差を有する画像を前記視差画像として生成する
    請求項５に記載の信号処理装置。
  7. 　前記視差画像生成部は、前記偏光モデルに基づいた偏光画像のエッジ成分が最小となる偏光方向を探索する
    請求項６に記載の信号処理装置。
  8. 　前記視差画像生成部は、前記偏光モデルに基づいた偏光画像であって、偏光方向が９０度の位相差を有する２つの偏光画像の画素毎の差分の合計が最大となる前記２つの偏光画像の一方の偏光方向を探索する
    請求項６に記載の信号処理装置。
  9. 　前記視差画像生成部は、前記偏光モデルに基づいた偏光画像であって、偏光方向が９０度の位相差を有する２つの偏光画像の画素毎の差分の合計が最小となる前記２つの偏光画像の一方の偏光方向に対する４５度の位相差を有する偏光方向を探索する
    請求項６に記載の信号処理装置。
  10. 　前記視差画像生成部は、前記偏光モデルに基づいた偏光画像であって、偏光方向が９０度の位相差を有する２つの偏光画像の加算画像と４５度の位相差を有する偏光画像との画素毎の差分の合計が最小となる前記２つの偏光画像の一方の偏光方向を探索する
    請求項６に記載の信号処理装置。
  11. 　前記視差画像生成部は、予め設定された画像平行化関数を用いて、水平方向の視差を有する通常光線画像と異常光線画像を視差画像として生成する
    請求項２に記載の信号処理装置。
  12. 　複屈折物質を介して入射された被写体光に基づいた偏光画像を偏光撮像部で生成することと、
    　前記偏光撮像部で生成された偏光画像を用いて偏光角度の異なる画像の分離を行い、通常光線画像と異常光線画像を視差画像として視差画像生成部で生成することと、
    　前記視差画像生成部で生成された通常光線画像と異常光線画像における被写体の測距位置の視差に基づいて、前記測距位置までの距離を距離計測部で計算することと
    を含む信号処理方法。
  13. 　偏光画像を用いた測距をコンピュータで実行させるプログラムであって、
    　複屈折物質を介して入射された被写体光に基づいた偏光画像を用いて偏光角度の異なる画像の分離を行い、通常光線画像と異常光線画像を視差画像として生成する手順と、
    　前記生成された通常光線画像と異常光線画像における被写体の測距位置の視差に基づいて、前記測距位置までの距離を算出する手順と
    を前記コンピュータで実行させるプログラム。
PCT/JP2021/038544 2020-11-20 2021-10-19 信号処理装置と信号処理方法およびプログラム WO2022107530A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US18/252,401 US20230316708A1 (en) 2020-11-20 2021-10-19 Signal processing device, signal processing method, and program
CN202180076466.8A CN116457626A (zh) 2020-11-20 2021-10-19 信号处理设备、信号处理方法和程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-193172 2020-11-20
JP2020193172A JP2022081926A (ja) 2020-11-20 2020-11-20 信号処理装置と信号処理方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2022107530A1 true WO2022107530A1 (ja) 2022-05-27

Family

ID=81709031

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/038544 WO2022107530A1 (ja) 2020-11-20 2021-10-19 信号処理装置と信号処理方法およびプログラム

Country Status (4)

Country Link
US (1) US20230316708A1 (ja)
JP (1) JP2022081926A (ja)
CN (1) CN116457626A (ja)
WO (1) WO2022107530A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014127771A (ja) * 2012-12-25 2014-07-07 Ricoh Co Ltd 撮像装置及びステレオカメラ
JP2015215264A (ja) * 2014-05-12 2015-12-03 日本電信電話株式会社 位置関係検出装置及び位置関係検出方法
US20180005398A1 (en) * 2016-06-29 2018-01-04 Korea Advanced Institute Of Science And Technology Method of estimating image depth using birefringent medium and apparatus thereof
JP2018026032A (ja) * 2016-08-12 2018-02-15 ヤマハ株式会社 画像処理装置、および画像処理装置の制御方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014127771A (ja) * 2012-12-25 2014-07-07 Ricoh Co Ltd 撮像装置及びステレオカメラ
JP2015215264A (ja) * 2014-05-12 2015-12-03 日本電信電話株式会社 位置関係検出装置及び位置関係検出方法
US20180005398A1 (en) * 2016-06-29 2018-01-04 Korea Advanced Institute Of Science And Technology Method of estimating image depth using birefringent medium and apparatus thereof
JP2018026032A (ja) * 2016-08-12 2018-02-15 ヤマハ株式会社 画像処理装置、および画像処理装置の制御方法

Also Published As

Publication number Publication date
JP2022081926A (ja) 2022-06-01
CN116457626A (zh) 2023-07-18
US20230316708A1 (en) 2023-10-05

Similar Documents

Publication Publication Date Title
US11272161B2 (en) System and methods for calibration of an array camera
US10574972B2 (en) Image processing device, image processing method, and imaging device
CN106412426B (zh) 全聚焦摄影装置及方法
JP5929553B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
US20220210322A1 (en) Imaging apparatus, image processing apparatus, and image processing method
WO2018061508A1 (ja) 撮像素子、画像処理装置、および画像処理方法、並びにプログラム
JP2017220780A (ja) 撮影装置および車両
JPWO2006064770A1 (ja) 撮像装置
CN106170086B (zh) 绘制三维图像的方法及其装置、系统
US9544570B2 (en) Three-dimensional image pickup apparatus, light-transparent unit, image processing apparatus, and program
JP2012212978A (ja) 撮像素子および撮像装置
US20210377432A1 (en) Information processing apparatus, information processing method, program, and interchangeable lens
WO2019198287A1 (ja) 情報処理装置と情報処理方法とプログラムおよびキャリブレーション装置
CN112106350A (zh) 固态成像装置、用于信息处理的装置和方法以及校准方法
JP2011182237A (ja) 複眼撮像装置及び該装置における画像処理方法
JP2015081846A (ja) 撮像装置及び位相差検出方法
WO2014064875A1 (ja) 画像処理装置および画像処理方法
JP2013044597A (ja) 画像処理装置および方法、プログラム
WO2022107530A1 (ja) 信号処理装置と信号処理方法およびプログラム
US20150062399A1 (en) Imaging apparatus and method for controlling imaging apparatus
JP2006184065A (ja) 物体検出装置
JP2015148498A (ja) 測距装置および測距方法
JP6234366B2 (ja) グリッド変調された単一レンズ３−ｄカメラ
WO2020049816A1 (ja) 情報処理装置と情報処理方法およびプログラム
US20230239580A1 (en) Image processing apparatus, image processing method, and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21894404

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202180076466.8

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21894404

Country of ref document: EP

Kind code of ref document: A1