WO2016088483A1 - 画像処理装置と画像処理方法 - Google Patents

画像処理装置と画像処理方法 Download PDF

Info

Publication number
WO2016088483A1
WO2016088483A1 PCT/JP2015/080380 JP2015080380W WO2016088483A1 WO 2016088483 A1 WO2016088483 A1 WO 2016088483A1 JP 2015080380 W JP2015080380 W JP 2015080380W WO 2016088483 A1 WO2016088483 A1 WO 2016088483A1
Authority
WO
WIPO (PCT)
Prior art keywords
polarization
image
unit
depth map
imaging
Prior art date
Application number
PCT/JP2015/080380
Other languages
English (en)
French (fr)
Inventor
雄飛 近藤
康孝 平澤
健吾 早坂
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201580064243.4A priority Critical patent/CN107003110B/zh
Priority to US15/515,260 priority patent/US11206388B2/en
Priority to JP2016562351A priority patent/JP6652065B2/ja
Priority to EP15865560.5A priority patent/EP3228977A4/en
Publication of WO2016088483A1 publication Critical patent/WO2016088483A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/214—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spectral multiplexing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G01C3/085—Use of electric radiation detectors with electronic parallax measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J4/00—Measuring polarisation of light
    • G01J4/04—Polarimeters using electric detection means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/229—Image signal generators using stereoscopic image cameras using a single 2D image sensor using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • This technology relates to an image processing apparatus and an image processing method, and makes it possible to acquire the polarization characteristics of a subject with high accuracy.
  • Patent Document 1 discloses a method in which a polarization filter is arranged in front of an imaging unit, and a polarization image in a plurality of polarization directions is acquired by rotating the polarization filter and photographing.
  • a method is disclosed in which a polarization filter having a different polarization direction is provided for each pixel, thereby obtaining a polarization image having a plurality of different polarization directions in one imaging.
  • the normal information of the subject is acquired from the polarization images of a plurality of polarization directions.
  • normal information is calculated by fitting polarization images of a plurality of polarization directions to a model equation.
  • a polarization filter in a different direction for each pixel of the image sensor, when acquiring a polarization image of a plurality of polarization directions in one shooting, a polarization filter in a different direction is provided for each pixel of the image sensor.
  • the spatial resolution of the polarization image is degraded. For this reason, it is difficult to acquire the polarization characteristics of the subject with high resolution.
  • an object of this technique is to provide an image processing apparatus and an image processing method that can acquire the polarization characteristics of a subject with high accuracy.
  • a first aspect of this technique is a polarization image obtained by imaging the subject at a plurality of viewpoint positions via a polarization filter having a polarization direction different for each viewpoint position based on a depth map indicating distance information of the subject.
  • an image processing apparatus having an alignment unit that performs alignment of the image and a polarization characteristic acquisition unit that acquires a polarization characteristic of the subject from a desired viewpoint position using the polarization image aligned by the alignment unit.
  • the alignment unit is configured to capture a polarization image obtained by capturing an image of a subject at a plurality of viewpoint positions via a polarization filter having a polarization direction different for each viewpoint position based on a depth map indicating distance information of the subject.
  • Perform alignment The depth map is generated by the depth map generation unit based on images obtained by imaging the subject from different viewpoint positions.
  • the depth map generator may be a polarization image obtained by imaging a subject at a plurality of viewpoint positions via a polarization filter having a different polarization direction for each viewpoint position, or a polarization filter having the same polarization direction without using a polarization filter.
  • a depth map is generated based on the parallax between images from the image captured via the.
  • the depth map generation unit generates and integrates a depth map for each combination of images in the images at a plurality of viewpoint positions.
  • the alignment unit determines the parallax based on, for example, the integrated depth map and the positional relationship of the imaging unit that generated the polarization image, and performs alignment of the polarization image so that the parallax is eliminated.
  • the polarization characteristic acquisition unit acquires the polarization characteristic of the subject from a desired viewpoint position using the aligned polarization image.
  • the polarization characteristic acquisition unit for example, the polarization characteristics of the subject from the desired viewpoint position based on the luminance and polarization direction of the plurality of polarization images after alignment, the positional relationship between the viewpoint position of the polarization image and the desired viewpoint position, etc. To get.
  • the normal map generation unit when the normal map generation unit is provided, the normal map generation unit generates a normal map of the subject at a desired viewpoint position based on the polarization characteristic calculated by the polarization characteristic acquisition unit. In the generation of the normal map, the generation unit removes the 180 degree indefiniteness in the polarization analysis based on the depth map used in the alignment unit.
  • the high-precision depth map generation unit integrates the depth map used by the alignment unit and the normal map generated by the normal map generation unit to obtain the depth used by the alignment unit. Generate a depth map with higher spatial resolution than the map.
  • the polarization characteristic utilization unit calculates the image processing using the polarization characteristic calculated by the polarization characteristic acquisition unit, for example, adjustment of the reflection component of the image at a desired viewpoint position and the polarization characteristic. Matching processing or the like is performed using the image feature amount.
  • the imaging unit when an imaging unit for generating a polarization image is provided, the imaging unit generates a polarization image for each of the plurality of viewpoint positions by providing a polarization filter having a different polarization direction in an imaging unit provided for each of the plurality of viewpoint positions.
  • the imaging unit includes a plurality of lenses arranged on the light incident surface side of the imaging element in a direction orthogonal to the optical axis direction, and a polarizing filter having a different polarization direction is provided for each lens, and a polarization image for each of a plurality of viewpoint positions. Is generated.
  • the alignment unit is configured to image the subject at a plurality of viewpoint positions via a polarization filter having a polarization direction different for each viewpoint position based on a depth map indicating distance information of the subject.
  • An image processing method comprising: aligning the obtained polarization image; and obtaining a polarization characteristic of a subject from a desired viewpoint position using the aligned polarization image in the polarization characteristic acquisition unit. is there.
  • FIG. 1 is a diagram illustrating a functional configuration according to the first embodiment of the present technology.
  • the image processing apparatus 10 includes an imaging unit 21, a depth map generation unit 22, an alignment unit 23, a polarization characteristic acquisition unit 24, and a normal map generation unit 25.
  • the imaging unit 21 images a subject at a plurality of viewpoint positions via a polarization filter (for example, a polarizing plate) whose polarization direction is different for each viewpoint position, and generates a polarization image.
  • the imaging unit 21 includes a plurality of imaging units 211-1 to 211-4 so that a plurality of imaging units, for example, polarization images in three or more directions having different polarization directions can be acquired.
  • a polarizing plate 210-1 is provided on the front surface of the imaging unit 211-1.
  • polarizing plates 210-2 to 210-4 are provided in front of the imaging units 211-2 to 211-4.
  • the polarizing plates 210-1 to 210-4 have different polarization directions, and the imaging units 211-1 to 211-4 generate polarized images having different polarization directions.
  • the imaging unit 21 outputs the image data of the polarization image generated by the imaging units 211-1 to 211-4 to the depth map generation unit 22 and the alignment unit 23.
  • FIG. 2 is a diagram illustrating the arrangement of the imaging units in the imaging unit 21.
  • the imaging unit 21 may have a configuration in which imaging units 211-1 to 211-4 are arranged at four corners of a rectangle as shown in FIG. 2A, and as shown in FIG. 2B, the imaging unit 211 is arranged. -1 to 211-4 may be arranged in a straight line. Further, when the imaging unit 21 includes three imaging units 211-1 to 211-3, the imaging units 211-1 to 211-3 are arranged at the vertices of a triangle as shown in FIG. A configuration may be employed, and as illustrated in FIG. 2D, the imaging units 211-1 to 211-3 may be linearly arranged.
  • the imaging unit is arranged so that the polarization characteristic acquisition position in the subject can be captured by three or more imaging units.
  • the imaging unit 21 may generate a plurality of polarized images having different polarization directions as a configuration using a multi-lens array.
  • a plurality (four in the figure) of lenses 222 are provided on the front surface of the image sensor 221 in a direction orthogonal to the optical axis direction, and an optical image of a subject is formed on the imaging surface of the image sensor 221 by each lens 222.
  • a polarizing plate 223 is provided in front of each lens 222, and the polarizing direction of the polarizing plate 223 is set to a different direction. With such a configuration, polarized images with different polarization directions can be generated by the image sensor 221.
  • the spatial resolution of the polarized image is lower than when a polarized image is generated for each imaging unit. Therefore, when acquiring polarization characteristics with high spatial resolution, a polarization image is generated for each imaging unit. In addition, since there is less parallax than when a polarization image is generated for each imaging unit, when acquiring polarization characteristics with little parallax effect, a polarization image is generated with a configuration using a multi-lens array.
  • the imaging unit 21 is configured in this way, it is not necessary to use a special imaging unit as in the case of generating four polarization images having different polarization directions with one sub-pixel having four types of polarization directions as one pixel.
  • the imaging unit 21 can be easily configured at a low cost.
  • the imaging unit 21 uses, for example, a linear polarizing plate as a polarizing filter. Further, the imaging unit 21 is not limited to a linear polarizing plate, and a circular polarizing plate made of a linear polarizing plate and a quarter wavelength plate may be used. Furthermore, the imaging unit 21 may provide a depolarization plate between the linearly polarizing plate and the imaging unit. For example, when exposure control or the like is performed based on an optical image via a half mirror in the imaging unit, the reflectance or transmittance at the half mirror varies depending on the direction of linearly polarized light, and thus exposure control or the like cannot be performed correctly. There is a fear.
  • the linearly polarized optical image is converted to a non-polarized optical image, and an optical image indicating the non-polarized and linearly polarized component is incident on the imaging unit.
  • exposure control and the like can be correctly performed based on the optical image.
  • the imaging unit 21 sets the polarization direction so that a plurality of polarization images having different polarization directions can be generated.
  • the polarization direction of the linear polarizing plate is rotated by 180 degrees, the components passing through the linear polarizing plate become equal. Therefore, the polarization directions are set to be different from each other in the range of 0 to 180 degrees.
  • the image processing apparatus 10 calculates a polarization model formula based on the luminance and the polarization direction of the polarization image generated by the plurality of imaging units, as will be described later. Therefore, it is preferable to set the polarization direction to have an equal angular difference, for example, so that the polarization model formula can be calculated with high accuracy.
  • FIG. 3 illustrates the polarization direction in the imaging unit 21.
  • FIG. 3A illustrates the polarization direction when using four imaging units.
  • the imaging unit 21 generates, for example, four polarization images with the same angle difference (45 degrees) in the polarization direction by the four imaging units with the polarization directions being 0 degrees, 45 degrees, 90 degrees, and 135 degrees.
  • FIG. 3B illustrates the polarization direction when three imaging units are used.
  • the imaging unit 21 generates, for example, three polarization images with the same angle difference (60 degrees) in the polarization direction by three imaging units, with the polarization directions being 0 degrees, 60 degrees, and 120 degrees.
  • the depth map generation unit 22 generates a depth map indicating distance information of the subject from images generated by the imaging unit 21 with different viewpoint positions.
  • the depth map generation unit 22 performs a stereo matching process for each pair of polarized images in the polarized images at different viewpoint positions generated by the imaging unit 21. Further, the depth map generation unit 22 generates a depth map indicating the depth for each pixel, for example, based on the stereo matching processing result and the calibration information acquired in advance for the imaging unit.
  • the calibration information has position information indicating the positional relationship between the imaging units. In addition, if the calibration information includes parameters related to optical distortion generated in each imaging unit, even if optical distortion occurs in the image generated by the imaging unit, this optical distortion can be removed. Stereo matching processing and the like can be performed with high accuracy.
  • the depth map generation unit 22 integrates the depth maps generated for each pair of polarization images, and generates a depth map with higher accuracy than before the integration.
  • the depth map generation unit 22 outputs the integrated depth map to the alignment unit 23 and the normal map generation
  • the alignment unit 23 aligns the polarization image generated by the imaging unit 21 based on the depth map generated by the depth map generation unit 22.
  • the alignment unit 23 determines the parallax based on, for example, the depth map of the integrated depth map generated by the depth map generation unit 22 and the positional relationship between the imaging units indicated by the calibration information acquired in advance.
  • the polarization image is aligned for each pixel so that the parallax is “0”, that is, the subject matches.
  • the alignment unit 23 outputs the polarization image after alignment to the polarization characteristic acquisition unit 24.
  • the polarization characteristics acquisition unit 24 acquires the polarization characteristics of the subject from a desired viewpoint position using the polarization image after alignment.
  • the polarization characteristic acquisition unit 24 calculates a rotation matrix having the imaging unit as a desired viewpoint position based on the positional relationship of the imaging unit and the depth map indicated by the calibration information.
  • the polarization characteristic acquisition unit 24 determines the subject from the desired viewpoint position based on the polarization direction and brightness of the plurality of polarization images, the rotation matrix indicating the positional relationship between the imaging unit that generated the polarization image and the desired viewpoint position, and the like.
  • a polarization model equation indicating the polarization characteristics of the light is calculated.
  • the polarization characteristic acquisition unit 24 outputs the polarization model formula that is the acquired polarization characteristic to the normal map generation unit 25.
  • the normal map generation unit 25 generates a normal map of the subject based on the polarization characteristics of the subject from the desired viewpoint position acquired by the polarization characteristic acquisition unit 24.
  • the normal map generation unit 25 obtains the zenith angle for each pixel based on the azimuth angle and the polarization degree that give the highest luminance from the polarization characteristic acquired by the polarization characteristic acquisition unit 24, that is, the polarization model formula, and calculates the normal direction.
  • a normal map storing normal information (azimuth angle and zenith angle) is generated.
  • the normal map generation unit 25 uses the depth map output from the depth map generation unit 22 to the alignment unit 23 and the normal map generation unit 25 to remove 180 degree indefiniteness in the normal map.
  • FIG. 4 is a flowchart showing the operation of the first embodiment, and exemplifies a case where the imaging unit 21 includes four imaging units 211-1 to 211-4.
  • step ST1 to step ST4 the imaging unit 21 generates a polarization image.
  • the imaging unit 211-1 of the imaging unit 21 generates a first polarization image.
  • the imaging unit 211-2 generates a second polarization image.
  • the imaging unit 211-3 generates a third polarization image.
  • the imaging unit 211-4 generates a fourth polarization image.
  • the image processing apparatus 10 generates the polarization images having different polarization directions for each viewpoint position by the imaging units 211-1 to 211-4, and proceeds to step ST11 to step ST14.
  • the depth map generator 22 In steps ST11 to ST14, the depth map generator 22 generates a depth map. For example, in step ST11, the depth map generation unit 22 generates a depth map from the first polarization image and the second polarization image.
  • FIG. 5 is a flowchart showing the operation of the depth map generator.
  • the depth map generation unit 22 acquires two polarization images.
  • the depth map generation unit 22 acquires the first polarization image generated by the imaging unit 211-1 and the second polarization image generated by the imaging unit 211-2, and proceeds to step ST102.
  • step ST102 the depth map generation unit 22 performs edge extraction processing on each polarization image.
  • images generated by the imaging unit are images having different luminances depending on the polarization direction. Therefore, the depth map generation unit 22 performs edge extraction processing on the polarization image to generate an edge image so that stereo matching processing can be performed even if a luminance change occurs due to a difference in polarization direction.
  • the depth map generation unit 22 performs edge extraction processing, generates a first edge image from the first polarization image and a second edge image from the second polarization image, and proceeds to step ST103.
  • the depth map generating unit 22 performs a stereo matching process using the edge image.
  • the depth map generation unit 22 performs a stereo matching process between the first edge image and the second edge image.
  • the depth map generation unit 22 detects a phase difference (a pixel position difference based on parallax) between the target pixel in the first edge image and the second edge image corresponding to the target pixel.
  • a phase difference a pixel position difference based on parallax
  • the stereo matching processing for example, a template matching method for detecting a most similar image region from the second edge image with respect to a template image set to include the target pixel is used.
  • the stereo matching process is not limited to the template matching method, and other methods (for example, a graph cut method or the like) may be used.
  • the depth map generation unit 22 performs a stereo matching process to calculate a phase difference, and proceeds to step ST105.
  • the depth map generation unit 22 performs a depth map generation process.
  • the depth map generation unit 22 calculates the depth, which is the distance to the subject of the target pixel, based on the phase difference detected by the stereo matching process and the calibration information acquired in advance. Further, the depth map generating unit 22 generates a depth map by associating the calculated depth with the pixels of the polarization image.
  • FIG. 6 is a diagram for explaining the depth calculation process.
  • FIG. 6 illustrates a case where two imaging units are arranged on the left and right with the same posture.
  • the imaging unit 211-1 is used as a reference imaging unit
  • the imaging unit 211-2 is used as a reference imaging unit.
  • the reference position interval (base length) of the imaging unit is “LB”
  • the focal length of the imaging unit is “f”.
  • the depth map generation unit is not limited to the case of using the edge image, and may generate the depth map using another method.
  • FIG. 7 is a flowchart showing another operation of the depth map generation unit, and illustrates the case of using stereo matching processing that is resistant to changes in luminance.
  • the depth map generation unit 22 captures two polarized images.
  • the depth map generation unit 22 takes in the first polarization image generated by the imaging unit 211-1 and the second polarization image generated by the imaging unit 211-2, and proceeds to step ST104.
  • step ST ⁇ b> 104 the depth map generation unit 22 performs a stereo matching process that is resistant to luminance changes.
  • the depth map generation unit 22 performs a stereo matching process that is resistant to changes in luminance using the first polarization image and the second polarization image, and a pixel of interest in the first polarization image and a pixel of the second polarization image corresponding to the pixel of interest.
  • the amount of position movement is detected.
  • zero-mean normalized cross correlation ZNCC
  • Formula (2) is a formula for calculating the zero-average normalized cross-correlation RZNCC , and enables strong matching to the difference in luminance by subtracting the average value of luminance values from the luminance value and normalizing.
  • T (i, j) is the luminance value of the pixel at the coordinate (i, j) in the base image (template)
  • I (i, j) is the coordinate (i, j) in the reference image.
  • the luminance value of the pixel of j) is shown.
  • M is the number of pixels indicating the width of the template
  • “N” is the number of pixels indicating the height of the template. Note that stereo matching processing that is resistant to luminance changes is not limited to zero-average normalized cross-correlation, and other methods may be used.
  • the depth map generator 22 performs a stereo matching process that is resistant to changes in luminance, calculates a phase difference, and proceeds to step ST105.
  • the depth map generation unit 22 performs a depth map generation process.
  • the depth map generation unit 22 calculates the depth, which is the distance to the subject of the target pixel, based on the phase difference detected by the stereo matching process and the calibration information acquired in advance. Further, the depth map generating unit 22 generates a depth map by associating the calculated depth with the pixels of the polarization image.
  • step ST12 the depth map generation unit 22 generates a depth map from the second polarization image and the third polarization image.
  • step ST ⁇ b> 13 the depth map generation unit 22 generates a depth map from the third polarization image and the fourth polarization image.
  • step ST14 the depth map generation unit 22 generates a depth map from the fourth polarization image and the first polarization image. Note that the depth map generation unit 22 can generate a depth map having the maximum number of image pairs of “J (J ⁇ 1) / 2” when the number of polarization images is “J”.
  • the pair of polarization images is not limited to the combination shown in FIG.
  • the depth map generation unit 22 may generate a plurality of depth maps for each image pair of this polarization image and another polarization image with any polarization image as a reference. For example, on the basis of the first polarization image, the first polarization image and the second polarization image, the first polarization image and the third polarization image, and the first polarization image and the fourth polarization image, respectively. A depth map may be generated.
  • the depth map generation unit 22 performs depth map integration processing.
  • the depth map generation unit 22 integrates the depth maps generated for each pair of polarization images, and generates a depth map with higher accuracy than before the integration.
  • the depth map generation unit 22 integrates depth maps by a method similar to, for example, Japanese Patent No. 5387856 “Image processing apparatus, image processing method, image processing program, and imaging apparatus”. That is, the depth map generation unit 22 performs the reliability determination process based on the shape of the correlation characteristic line indicating the relationship between the correlation value indicating the similarity calculated in the stereo matching process and the pixel position. In the determination of the reliability, the determination using the kurtosis which is an index indicating the degree of sharpness in the shape of the correlation characteristic line is performed.
  • the determination using the difference value of the correlation value between the vertex in the correlation characteristic line and the surrounding points, or the integrated value (integrated value) of the differential value of the correlation value at each pixel position is used. A determination or the like may be performed.
  • the depth map generation unit 22 performs the process of adopting the depth with the highest reliability in the pixels indicating the same position of the subject for each pixel based on the determination result of the reliability for each depth map. Generate a depth map of. When a plurality of depth maps are generated based on any polarization image, the same pixel position indicates the same position of the subject in each depth map. Therefore, the depth maps can be easily integrated by adopting the depth with the highest reliability from the reliability of each depth map for each pixel position.
  • the depth map generation unit 22 performs depth map integration processing, generates a combined depth map, and proceeds to step ST30.
  • the alignment unit 23 performs polarization image alignment processing.
  • the alignment unit 23 determines the parallax with respect to the desired viewpoint position based on the positional information between the imaging units indicated by the integrated depth map and the calibration information, and the parallax is “0”, that is, the subject matches.
  • the plurality of polarization images are aligned so as to do so.
  • the desired viewpoint position is not limited to any of the positions of the imaging units 211-1 to 211-4, for example, a rectangular shape when the imaging units 211-1 to 211-4 are provided at four rectangular corners. It may be an internal position or the like.
  • the alignment unit 23 performs alignment of the polarization image and proceeds to step ST40.
  • step ST40 the polarization characteristic acquisition unit 24 performs a polarization characteristic acquisition process.
  • the polarization characteristic acquisition unit 24 acquires the polarization characteristic at a desired viewpoint position using the polarization image after alignment.
  • FIG. 8 is a flowchart showing the polarization characteristic acquisition process.
  • the polarization characteristic acquisition unit 24 acquires position information between the imaging units.
  • the polarization characteristic acquisition unit 24 acquires position information between the imaging units included in preset calibration information.
  • the polarization characteristic acquisition unit 24 acquires a polarization image after alignment.
  • the polarization characteristic acquisition unit 24 acquires the aligned polarization image output from the alignment unit 23.
  • the polarization characteristic acquisition unit 24 acquires a depth map.
  • the polarization characteristic acquisition unit 24 acquires the depth map generated by the depth map generation unit 22.
  • step ST404 the polarization characteristic acquisition unit 24 calculates a rotation matrix to a desired viewpoint position.
  • the polarization characteristic acquisition unit 24 calculates a rotation matrix R with the imaging unit that generates the polarization image as a viewpoint position desired by the user or the like based on the calibration information and the depth map, and the process proceeds to step ST405.
  • Expression (3) illustrates the rotation matrix R.
  • step ST405 the polarization characteristic acquisition unit 24 calculates a polarization model formula for a desired viewpoint position.
  • the imaging unit 211-p at a desired viewpoint position with respect to the imaging unit 211-n has the positional relationship illustrated in FIG.
  • FIG. 10 is a diagram for explaining a subject surface shape and a polarization image.
  • the light source LT is used to illuminate the subject OB
  • the imaging unit 211-n images the subject OB via the polarizing plate 210-n.
  • the luminance of the subject OB changes according to the polarization direction of the polarizing plate 210-n, and the highest luminance is Imax and the lowest luminance is Imin.
  • the x-axis and y-axis in the two-dimensional coordinates are on the plane of the polarizing plate 210-n, and the polarization direction of the polarizing plate 210-n is the angle in the y-axis direction with respect to the x-axis.
  • the polarizing plate 210-n returns to the original polarization state when the polarization direction is rotated by 180 degrees, and has a period of 180 degrees.
  • the polarization angle ⁇ when the maximum luminance Imax is observed is defined as an azimuth angle ⁇ . With such a definition, if the polarization direction of the polarizing plate 210-n is changed, the observed luminance I can be expressed by the polarization model equation of Equation (4).
  • FIG. 11 illustrates the relationship between the luminance and the polarization angle.
  • the polarization angle ⁇ is clear when the polarization image is generated, and the maximum luminance Imax, the minimum luminance Imin, and the azimuth angle ⁇ are variables.
  • the object surface normal is expressed in a polar coordinate system, and the normal information is defined as an azimuth angle ⁇ and a zenith angle ⁇ .
  • the zenith angle ⁇ is an angle from the z axis toward the normal
  • the azimuth angle ⁇ is an angle in the y axis direction with respect to the x axis as described above.
  • the degree of polarization ⁇ can be calculated based on the equation (5).
  • the degree of polarization ⁇ can be calculated using the relative refractive index n of the subject OB and the zenith angle ⁇ as shown in the equation (5).
  • the relationship between the degree of polarization and the zenith angle is, for example, the characteristic shown in FIG. 12.
  • the zenith angle ⁇ is determined based on the degree of polarization ⁇ .
  • the characteristic shown in FIG. 12 depends on the relative refractive index n as is apparent from the equation (5), and the degree of polarization increases as the relative refractive index n increases.
  • the normal line of the imaging unit 211-n is the direction of the azimuth angle ⁇ and the zenith angle ⁇ , and the normal line N detected by the imaging unit 211-n can be expressed as Expression (12). Further, since the normal line N ′ detected by the imaging unit 211-p can be expressed as Expression (13) using the rotation matrix R shown in Expression (3), the relationship of Expression (14) is established.
  • the azimuth angle ⁇ ′ can be calculated from the component of the rotation matrix R, the zenith angle ⁇ , and the azimuth angle ⁇ based on the equation (15).
  • the zenith angle ⁇ ′ can be calculated from the component of the rotation matrix R, the zenith angle ⁇ , and the azimuth angle ⁇ based on the equation (16).
  • the polarization model equation (8) indicating the polarization characteristic of the imaging unit 211-p uses the equations (11), (15), and (16), and the luminance addition value A and the zenith as shown in the equation (17). It is expressed as a function using three variables of the angle ⁇ and the azimuth angle ⁇ .
  • the same modeling is performed for three or more imaging units, and the luminance and calibration of a polarization image obtained by imaging a subject at three or more viewpoint positions via a polarization filter whose polarization direction differs for each viewpoint position.
  • the luminance addition value A, the azimuth angle ⁇ , and the zenith angle ⁇ which are three variables, are calculated.
  • a polarization model expression indicating the polarization characteristics at a desired viewpoint position can be calculated based on three or more polarization images generated by the imaging unit 21 and calibration information.
  • the luminance addition value A, the azimuth angle ⁇ , and the zenith angle ⁇ which are three variables, are the luminance and polarization model formulas for three or more imaging units (a polarization model formula using a rotation matrix between imaging units based on calibration information). ) Analytically. Further, three variables may be calculated using an optimization method such as the LM method or the steepest descent method so that the error is minimized. Further, the three variables may be approximately calculated assuming that the interval between the imaging units is smaller than the depth and the rotation matrix can be ignored.
  • the polarization characteristic acquisition unit 24 performs the above processing, calculates the polarization model formula for the desired viewpoint position, that is, the polarization model formula for the imaging unit 211-p, and sets it as the polarization characteristic.
  • FIG. 13 is a flowchart showing normal map generation processing.
  • the normal map generator 25 calculates a normal.
  • the normal map generation unit 25 determines the azimuth angle ⁇ ′ at which the maximum luminance is obtained by using a polarization model expression indicating the polarization characteristic at a desired viewpoint position, that is, Expression (17). Note that the degree of polarization ⁇ ′ may be calculated based on Expression (11).
  • the normal map generation unit 25 obtains the zenith angle ⁇ ′ for each pixel based on the azimuth angle ⁇ ′ and the polarization degree ⁇ ′ at which the maximum luminance is obtained, and obtains normal information of the subject (azimuth angle ⁇ ′ and zenith angle ⁇ ′). Information) is calculated, and the process proceeds to step ST502.
  • the normal map generation unit 25 removes the indefiniteness of 180 degrees.
  • FIG. 14 is a diagram for explaining the removal of 180 degrees of ambiguity.
  • the imaging unit 211 captures an image of the subject OB.
  • the normal direction (indicated by an arrow) is correct in the upper half area GA of the subject OB.
  • the normal direction may be reversed, and has an indefiniteness of 180 degrees.
  • the normal map generation unit 25 determines the gradient direction of the subject OB based on the depth map
  • the normal map generation unit 25 can determine that the subject OB has a shape protruding in the direction of the imaging unit. .
  • the normal direction of the lower half region GB shown in FIG. Can be determined. Accordingly, the normal map generation unit 25 removes the indefiniteness of 180 degrees as shown in FIG. 14C by setting the normal direction of the lower half region GB to the reverse direction. In this manner, the normal map generation unit 25 removes 180 degrees of indefiniteness from the normal map calculated in step ST501 and generates a normal map that correctly indicates the surface shape of the subject. Generate.
  • the image processing apparatus is not limited to performing the above-described processing in the order of steps, and for example, processing such as image and information acquisition and depth map generation may be performed in parallel processing. Further, if the above-described processing is performed by pipeline processing, it is possible to sequentially calculate the polarization characteristics at a desired viewpoint position and generate a normal map for each frame, for example.
  • the normal information of the subject can be generated from the polarization characteristic at a desired viewpoint position.
  • the polarization images generated by combining the polarization images having different polarization directions for the respective viewpoint positions are integrated, and the polarization images are aligned using the integrated depth map. Since the polarization characteristic is acquired using, the polarization characteristic can be acquired with high accuracy.
  • a normal map can be generated based on the polarization characteristic at a desired viewpoint position, a normal map corresponding to the desired viewpoint position can be generated. Since this normal map corresponds to a feature amount corresponding to the surface shape of the subject, it is possible to accurately perform subject recognition, subject matching processing, and the like using this normal map.
  • the depth map is generated using the polarization image, it is not necessary to provide an imaging unit used only for generating the depth map.
  • Second Embodiment> Next, a second embodiment will be described. In the second embodiment, a case will be described in which a depth map having a high spatial resolution is generated using the generated normal map.
  • FIG. 15 is a diagram illustrating a functional configuration according to the second embodiment of the present technology.
  • the image processing apparatus 10 includes an imaging unit 21, a depth map generation unit 22, a positioning unit 23, a polarization characteristic acquisition unit 24, and a normal map generation unit 25. Further, the image processing apparatus 10 according to the second embodiment includes a high-precision depth map generation unit 26.
  • the imaging unit 21 images a subject at a plurality of viewpoint positions via a polarization filter (for example, a polarizing plate) whose polarization direction is different for each viewpoint position, and generates a polarization image.
  • the imaging unit 21 includes a plurality of imaging units 211-1 to 211-4 so that a plurality of imaging units, for example, polarized images in three or more directions having different polarization directions can be generated.
  • a polarizing plate 210-1 is provided on the front surface of the imaging unit 211-1.
  • polarizing plates 210-2 to 210-4 are provided in front of the imaging units 211-2 to 211-4.
  • the polarizing plates 210-1 to 210-4 have different polarization directions, and the imaging units 211-1 to 211-4 generate polarized images having different polarization directions.
  • the imaging unit 21 outputs the image data of the polarization image generated by the imaging units 211-1 to 211-4 to the depth map generation unit 22 and the alignment unit 23.
  • the imaging unit 21 uses, for example, a linear polarizing plate as a polarizing filter. Note that the imaging unit 21 may generate polarized images of three or more directions having different polarization directions in other configurations as in the first embodiment.
  • the depth map generation unit 22 generates a depth map indicating distance information of a subject from polarized images generated by the imaging unit 21 and having different viewpoint positions.
  • the depth map generation unit 22 performs stereo matching processing using polarized images with different viewpoint positions, and generates a depth map indicating the depth for each pixel. Further, the depth map generation unit 22 generates a depth map for each pair of polarization images at different viewpoint positions, integrates the generated depth maps, and generates a depth map with higher accuracy than before the integration.
  • the depth map generation unit 22 outputs the integrated depth map to the alignment unit 23 and the normal map generation unit 25.
  • the alignment unit 23 aligns the polarization image generated by the imaging unit 21 based on the depth map generated by the depth map generation unit 22.
  • the alignment unit 23 determines the parallax between polarized images based on the depth map generated by the depth map generation unit 22 and the positional relationship between the imaging units indicated by the calibration information acquired in advance.
  • the polarization image is aligned for each pixel.
  • the alignment unit 23 outputs the polarization image after alignment to the polarization characteristic acquisition unit 24.
  • the polarization characteristics acquisition unit 24 acquires the polarization characteristics of the subject from a desired viewpoint position using the polarization image after alignment.
  • the polarization characteristic acquisition unit 24 calculates a rotation matrix having the imaging unit as a desired viewpoint position based on the positional relationship of the imaging unit and the depth map indicated by the calibration information.
  • the polarization characteristic acquisition unit 24 determines the subject from the desired viewpoint position based on the polarization direction and brightness of the plurality of polarization images, the rotation matrix indicating the positional relationship between the imaging unit that generated the polarization image and the desired viewpoint position, and the like.
  • a polarization model equation indicating the polarization characteristics of the light is calculated.
  • the polarization characteristic acquisition unit 24 outputs the polarization model formula that is the acquired polarization characteristic to the normal map generation unit 25.
  • the normal map generation unit 25 generates a normal map of the subject based on the polarization characteristics of the subject from the desired viewpoint position acquired by the polarization characteristic acquisition unit 24.
  • the normal map generation unit 25 obtains the zenith angle for each pixel based on the azimuth angle and the polarization degree that gives the highest luminance from the polarization model equation acquired by the polarization characteristic acquisition unit 24, and indicates the normal direction.
  • a normal map storing information (azimuth angle and zenith angle) is generated.
  • the normal map generation unit 25 uses the depth map to remove the 180 degree indeterminacy in the normal map, and sends the normal map from which the 180 degree indefiniteness has been removed to the high-precision depth map generation unit 26. Output.
  • the high-precision depth map generation unit 26 performs high-precision depth map processing using the normal map.
  • the high-precision depth map generator 26 is based on the subject surface shape indicated by the normal map generated by the normal map generator 25 and the depth indicated by the depth map output from the depth map generator 22.
  • the surface shape of the subject is traced starting from the pixel in which is obtained. In this way, the surface shape of the subject is traced starting from the pixel where the depth is obtained, and the normal map generation unit 25 estimates the depth corresponding to the pixel where the depth is not obtained.
  • the high-precision depth map generation unit 26 includes the estimated depth in the depth map output from the depth map generation unit 22, so that the depth map has a higher spatial resolution than the depth map output from the depth map generation unit 22. Is generated.
  • FIG. 16 is a flowchart showing the operation of the second embodiment. Similar to the first embodiment, the imaging unit 21 generates a polarization image in steps ST1 to ST4. For example, in step ST1, the imaging unit 211-1 of the imaging unit 21 generates a first polarization image. In step ST2, the imaging unit 211-2 generates a second polarization image. In step ST3, the imaging unit 211-3 generates a third polarization image. In step ST4, the imaging unit 211-4 generates a fourth polarization image. As described above, the image processing apparatus 10 generates the polarization images having different polarization directions for each viewpoint position by the imaging units 211-1 to 211-4, and proceeds to step ST11 to step ST14.
  • the depth map generator 22 In steps ST11 to ST14, the depth map generator 22 generates a depth map.
  • the depth map generation unit 22 generates a depth map from two polarized images with different viewpoint positions, and proceeds to step ST20.
  • the pair of polarization images is not limited to the combination shown in FIG.
  • step ST20 the depth map generation unit 22 performs depth map integration processing.
  • the depth map generator 22 integrates the depth maps generated in steps ST11 to ST14 and proceeds to step ST30.
  • step ST30 the alignment unit 23 performs polarization image alignment processing.
  • the alignment unit 23 performs alignment of the polarization image using the integrated depth map and proceeds to step ST40.
  • step ST40 the polarization characteristic acquisition unit 24 performs a polarization characteristic acquisition process.
  • the polarization characteristic acquisition unit 24 calculates a polarization model expression for a desired viewpoint position using the aligned polarization image, and proceeds to step ST50.
  • step ST50 the normal map generation unit 25 performs normal map generation processing.
  • the normal map generation unit 25 generates a normal map indicating the surface normal of the subject for each pixel based on the polarization characteristics at the desired viewpoint position, and the process proceeds to step ST60.
  • step ST60 the high accuracy depth map generation unit 26 performs high accuracy depth map generation processing.
  • the high-precision depth map generation unit 26 generates a depth map with a high spatial resolution from the depth map generated in step ST20 and the normal map generated in step ST50.
  • FIG. 17 is a diagram for explaining high-precision depth map generation processing. For the sake of simplicity, for example, processing for one line will be described.
  • the imaging unit 211 images the subject OB
  • the depth map generation unit 22 uses the depth map and normal map generation unit 25 shown in FIG. It is assumed that the normal map shown in c) is obtained.
  • the depth map for example, the depth for the leftmost pixel is “2 (meters)”, and the depth is not stored in other pixels indicated by “x”.
  • the high-precision depth map generator 26 estimates the surface shape of the subject OB based on the normal map.
  • the second pixel from the left end can be determined to correspond to an inclined surface that approaches the direction of the imaging unit 21 from the subject surface corresponding to the leftmost pixel. Accordingly, the high-precision depth map generation unit 26 estimates the depth of the second pixel from the left end by tracing the surface shape of the subject OB starting from the left end pixel, and sets it to “1.5 (meters)”, for example. . In addition, the high-precision depth map generation unit 26 stores the estimated depth in the depth map. It can be determined that the third pixel from the left end corresponds to the surface facing the imaging unit 21 based on the normal direction of this pixel.
  • the high-precision depth map generation unit 26 estimates the depth of the third pixel from the left end by tracing the surface shape of the subject OB starting from the left end pixel, and sets it to “1 (meter)”, for example.
  • the high-precision depth map generation unit 26 stores the estimated depth in the depth map. It can be determined that the fourth pixel from the left end corresponds to an inclined surface in a direction away from the imaging unit 21 from the subject surface corresponding to the third pixel from the left end. Therefore, the high-precision depth map generation unit 26 estimates the depth of the fourth pixel from the left end by tracing the surface shape of the subject OB starting from the left end pixel, and sets it to “1.5 (meters)”, for example. . In addition, the high-precision depth map generation unit 26 stores the estimated depth in the depth map. Similarly, the depth of the fifth pixel from the left end is estimated and stored in the depth map as “2 (meters)”, for example.
  • the high-precision depth map generation unit 26 performs the depth map high-precision processing using the depth map and the normal map, and traces the surface shape based on the normal map starting from the depth of the depth map. Then, the depth is estimated. Accordingly, the high-precision depth map generation unit 26 compensates for the missing depth even if some of the depths are missing in the depth map shown in FIG. 17B generated by the depth map generation unit 22. Is possible. Accordingly, the depth map shown in FIG. 17D, which has a spatial resolution higher than the depth map shown in FIG. 17B, can be generated.
  • the second embodiment not only the effects of the first embodiment can be obtained, but also a plurality of polarized images can be obtained for a subject region where it is difficult to obtain the depth by stereo matching processing.
  • the depth can be estimated using the normal map generated based on the above. Therefore, a depth map having a spatial resolution equal to or higher than the depth map generated by the depth map generation unit 22 can be generated.
  • a depth map is generated without being affected by a luminance difference of a polarization image by generating a depth map using an image captured without passing through a polarization filter.
  • FIG. 18 is a diagram illustrating a functional configuration according to the third embodiment.
  • the image processing apparatus 10 includes an imaging unit 21a, a depth map generation unit 22a, and an alignment unit 23, a polarization characteristic acquisition unit 24, and a normal map generation unit 25, as in the first embodiment.
  • the imaging unit 21a captures a subject at a plurality of viewpoint positions via a polarizing filter (polarizing plate) having a different polarization direction for each viewpoint position, and generates a polarization image.
  • the imaging unit 21a includes a plurality of imaging units 211-1 to 211-4 so as to generate a plurality of imaging units, for example, polarization images in three or more directions having different polarization directions.
  • a polarizing plate 210-1 is provided on the front surface of the imaging unit 211-1.
  • polarizing plates 210-2 to 210-4 are provided in front of the imaging units 211-2 to 211-4.
  • the polarizing plates 210-1 to 210-4 have different polarization directions, and the imaging units 211-1 to 211-4 generate polarized images having different polarization directions.
  • the imaging unit 21a outputs the image data of the polarization image generated by the imaging units 211-1 to 211-4 to the alignment unit 23.
  • the imaging unit 21a uses, for example, a linear polarizing plate as a polarizing filter. Note that the imaging unit 21a may generate polarization images of three or more directions with different polarization directions in other configurations as in the first embodiment described above.
  • the imaging unit 21a has an imaging unit that performs imaging without using a polarizing filter or through a polarizing filter having the same polarization direction.
  • FIG. 18 illustrates a configuration including imaging units 211-5 and 211-6 that perform imaging without using a polarizing filter.
  • a polarizing filter is not provided in front of the imaging units 211-5 and 211-6, and the imaging units 211-5 and 211-6 generate non-polarized images.
  • the imaging unit 21a outputs the non-polarized images generated by the imaging units 211-5 and 211-6 to the depth map generation unit 22a.
  • FIG. 19 is a diagram illustrating an arrangement of the imaging units in the imaging unit 21a.
  • the imaging unit 21a has imaging units 211-1 to 211-4 arranged at the four corners of a rectangle, and the left side of the imaging units 211-1 to 211-4 arranged in a rectangular shape.
  • the imaging unit 211-5 is arranged on the right side and the imaging unit 211-6 is arranged on the right side.
  • FIG. 19 illustrates that an imaging unit without an arrow indicating the polarization direction is an imaging unit that generates a non-polarized image.
  • the imaging unit 21a arranges the imaging units for generating the polarization image in a straight line as shown in FIGS. 19B and 19C, and there is no image on the left and right sides of the linearly arranged imaging units. It is good also as a structure which has arrange
  • the imaging unit 21a may be configured to further provide an imaging unit that generates a non-polarized image, and to integrate a depth map generated for each pair of non-polarized images to generate a more accurate depth map.
  • an imaging unit that generates a non-polarized image is provided so as to surround the imaging unit that is arranged in a rectangular shape and generates a polarized image.
  • a plurality of depth maps generated may be integrated to generate a highly accurate depth map.
  • the imaging unit that generates a non-polarized image is not limited to the arrangement shown in FIGS. 19D and 19E as long as a plurality of depth maps can be integrated to generate a highly accurate depth map. .
  • the depth map generation unit 22a generates a depth map indicating distance information of the subject from the non-polarized image generated by the imaging unit 21a.
  • the depth map generation unit 22a performs stereo matching processing using non-polarized images at different viewpoint positions, and generates a depth map indicating the depth for each pixel.
  • the depth map generation unit 22 a outputs the generated depth map to the alignment unit 23 and the normal map generation unit 25.
  • the depth map generation unit 22a when there are a plurality of pairs of non-polarized images, the depth map generation unit 22a generates a depth map for each pair and performs the depth map integration processing as described above, thereby generating a high-precision depth map. May be.
  • the alignment unit 23 aligns the polarization image generated by the imaging unit 21a based on the depth map generated by the depth map generation unit 22a.
  • the alignment unit 23 determines the parallax between the polarization images based on the depth map generated by the depth map generation unit 22a and the positional relationship between the imaging units indicated by the calibration information acquired in advance.
  • the polarization image is aligned for each pixel.
  • the alignment unit 23 outputs the polarization image after alignment to the polarization characteristic acquisition unit 24.
  • the polarization characteristics acquisition unit 24 acquires the polarization characteristics of the subject from a desired viewpoint position using the polarization image after alignment.
  • the polarization characteristic acquisition unit 24 calculates a rotation matrix having the imaging unit as a desired viewpoint position based on the positional relationship of the imaging unit and the depth map indicated by the calibration information.
  • the polarization characteristic acquisition unit 24 determines the subject from the desired viewpoint position based on the polarization direction and brightness of the plurality of polarization images, the rotation matrix indicating the positional relationship between the imaging unit that generated the polarization image and the desired viewpoint position, and the like.
  • a polarization model equation indicating the polarization characteristics of the light is calculated.
  • the polarization characteristic acquisition unit 24 outputs the polarization model formula that is the acquired polarization characteristic to the normal map generation unit 25.
  • the normal map generation unit 25 generates a normal map of the subject based on the polarization characteristics of the subject from the desired viewpoint position acquired by the polarization characteristic acquisition unit 24.
  • the normal map generation unit 25 obtains the zenith angle for each pixel based on the azimuth angle and the polarization degree that gives the highest luminance from the polarization model equation acquired by the polarization characteristic acquisition unit 24, and indicates the normal direction.
  • a normal map storing information (azimuth angle and zenith angle) is generated. Further, the normal map generation unit 25 uses the depth map to remove the 180 degree indefiniteness in the normal map, and generates a normal map from which the 180 degree indefiniteness has been removed.
  • FIG. 20 is a flowchart showing the operation of the third embodiment. Similar to the first embodiment, the imaging unit 21a generates a polarization image in steps ST1 to ST4. For example, in step ST1, the imaging unit 211-1 of the imaging unit 21a generates a first polarization image. In step ST2, the imaging unit 211-2 generates a second polarization image. In step ST3, the imaging unit 211-3 generates a third polarization image. In step ST4, the imaging unit 211-4 generates a fourth polarization image. In steps ST5 to ST6, the imaging unit 21a generates a non-polarized image that does not pass through the polarizing filter.
  • step ST5 the imaging unit 211-5 of the imaging unit 21a generates a first non-polarized image.
  • step ST6 the imaging unit 211-6 generates a second non-polarized image.
  • the image processing apparatus 10 uses the imaging units 211-1 to 211-6 to generate a plurality of polarized images having different polarization directions for each viewpoint position and non-polarized images having different viewpoint positions, and proceeds to step ST15.
  • step ST15 the depth map generator 22a generates a depth map.
  • the depth map generation unit 22a performs a stereo matching process using the first non-polarized image and the second non-polarized image having different viewpoint positions, generates a depth map, and proceeds to step ST30.
  • step ST30 the alignment unit 23 performs polarization image alignment processing.
  • the alignment unit 23 aligns each polarization image using the depth map generated in step ST15, and proceeds to step ST40.
  • step ST40 the polarization characteristic acquisition unit 24 performs a polarization characteristic acquisition process.
  • the polarization characteristic acquisition unit 24 calculates a polarization model expression for a desired viewpoint position using the aligned polarization image, and proceeds to step ST50.
  • step ST50 the normal map generation unit 25 performs normal map generation processing.
  • the normal map generation unit 25 generates a normal map indicating the surface normal of the subject for each pixel based on the polarization characteristic at a desired viewpoint position.
  • the depth map is generated using the non-polarized image
  • the depth map is compared with the case of using the polarized image that may cause a difference in luminance depending on the polarization direction.
  • Generation can be easily performed with high accuracy.
  • the polarization characteristic at a desired viewpoint position can be obtained with high accuracy for each pixel without causing a decrease in temporal resolution and spatial resolution.
  • FIG. 21 is a diagram illustrating a functional configuration according to the fourth embodiment.
  • the image processing apparatus 10 includes an imaging unit 21, a depth map generation unit 22, a positioning unit 23, and a polarization characteristic acquisition unit 24. Further, the image processing apparatus 10 according to the fourth embodiment includes a polarization characteristic using unit 27.
  • the imaging unit 21 images a subject at a plurality of viewpoint positions via a polarization filter (for example, a polarizing plate) whose polarization direction is different for each viewpoint position, and generates a polarization image.
  • the imaging unit 21 includes a plurality of imaging units 211-1 to 211-4 so that a plurality of imaging units, for example, polarized images in three or more directions having different polarization directions can be generated.
  • a polarizing plate 210-1 is provided on the front surface of the imaging unit 211-1.
  • polarizing plates 210-2 to 210-4 are provided in front of the imaging units 211-2 to 211-4.
  • the polarizing plates 210-1 to 210-4 have different polarization directions, and the imaging units 211-1 to 211-4 generate polarized images having different polarization directions.
  • the imaging unit 21 outputs the image data of the polarization image generated by the imaging units 211-1 to 211-4 to the depth map generation unit 22 and the alignment unit 23.
  • the imaging unit 21 uses, for example, a linear polarizing plate as a polarizing filter. Note that the imaging unit 21 may generate polarized images of three or more directions having different polarization directions in other configurations as in the first embodiment.
  • the depth map generation unit 22 generates a depth map indicating distance information of a subject from polarized images generated by the imaging unit 21 and having different viewpoint positions.
  • the depth map generation unit 22 performs stereo matching processing using polarized images with different viewpoint positions, and generates a depth map indicating the depth for each pixel. Further, the depth map generation unit 22 generates a depth map for each pair of polarization images at different viewpoint positions, integrates the generated depth maps, and generates a depth map with higher accuracy than before the integration.
  • the depth map generation unit 22 outputs the integrated depth map to the alignment unit 23 and the normal map generation unit 25.
  • the alignment unit 23 aligns the polarization image generated by the imaging unit 21 based on the depth map generated by the depth map generation unit 22.
  • the alignment unit 23 determines the parallax between polarized images based on the depth map generated by the depth map generation unit 22 and the positional relationship between the imaging units indicated by the calibration information acquired in advance.
  • the polarization image is aligned for each pixel.
  • the alignment unit 23 outputs the polarization image after alignment to the polarization characteristic acquisition unit 24.
  • the polarization characteristics acquisition unit 24 acquires the polarization characteristics of the subject from a desired viewpoint position using the polarization image after alignment.
  • the polarization characteristic acquisition unit 24 calculates a rotation matrix having the imaging unit as a desired viewpoint position based on the positional relationship of the imaging unit and the depth map indicated by the calibration information.
  • the polarization characteristic acquisition unit 24 determines the subject from the desired viewpoint position based on the polarization direction and brightness of the plurality of polarization images, the rotation matrix indicating the positional relationship between the imaging unit that generated the polarization image and the desired viewpoint position, and the like.
  • a polarization model equation indicating the polarization characteristics of the light is calculated.
  • the polarization characteristic acquisition unit 24 outputs the polarization model formula that is the acquired polarization characteristic to the polarization characteristic utilization unit 27.
  • the polarization characteristic utilization unit 27 uses the polarization characteristic acquired by the polarization characteristic acquisition unit 24 to perform processing on the image generated by the imaging unit 21, for example, adjustment of the reflection component of the image at a desired viewpoint position. Specifically, processing such as processing for generating a polarization image of an arbitrary azimuth, processing for removing a reflection component, processing for adjusting a specular reflection component to adjust glossiness, and the like are performed. In addition, the polarization characteristic using unit 27 may perform processing in consideration of the surface shape of the subject, recognition of a three-dimensional subject, and the like using the polarization property according to the surface shape of the subject as an image feature amount.
  • FIG. 22 is a flowchart showing the operation of the fourth embodiment. Similar to the first embodiment, the imaging unit 21 generates a polarization image in steps ST1 to ST4. For example, in step ST1, the imaging unit 211-1 of the imaging unit 21 generates a first polarization image. In step ST2, the imaging unit 211-2 generates a second polarization image. In step ST3, the imaging unit 211-3 generates a third polarization image. In step ST4, the imaging unit 211-4 generates a fourth polarization image. As described above, the image processing apparatus 10 generates the polarization images having different polarization directions for each viewpoint position by the imaging units 211-1 to 211-4, and proceeds to step ST11 to step ST14.
  • the depth map generator 22 In steps ST11 to ST14, the depth map generator 22 generates a depth map.
  • the depth map generation unit 22 generates a depth map from two polarized images with different viewpoint positions, and proceeds to step ST20.
  • the pair of polarization images is not limited to the combination shown in FIG.
  • step ST20 the depth map generation unit 22 performs depth map integration processing.
  • the depth map generator 22 integrates the depth maps generated in steps ST11 to ST14 and proceeds to step ST30.
  • step ST30 the alignment unit 23 performs polarization image alignment processing.
  • the alignment unit 23 performs alignment of the polarization image using the integrated depth map and proceeds to step ST40.
  • step ST40 the polarization characteristic acquisition unit 24 performs a polarization characteristic acquisition process.
  • the polarization characteristic acquisition unit 24 calculates a polarization model formula for a desired viewpoint position using the aligned polarization image, and proceeds to step ST70.
  • the polarization characteristic utilization unit 27 performs polarization characteristic utilization processing.
  • the polarization characteristic utilization unit 27 performs, for example, image processing using the obtained polarization characteristic.
  • FIG. 23 to FIG. 25 exemplify the case where the reflection component of the image is adjusted as the processing using the polarization characteristic.
  • FIG. 23A, FIG. 24A, and FIG. 25A illustrate the relationship between the azimuth angle and the luminance based on the polarization model equation calculated in step ST40.
  • the range from the minimum luminance Imin to the maximum luminance Imax is a range in which the luminance changes depending on the polarization state.
  • the luminance is controlled according to the azimuth angle, it is possible to obtain a filter effect equivalent to a PL filter in a pseudo manner, and the polarization in a desired polarization direction from the normal captured image as shown in FIG. A polarized image can be generated through the filter.
  • the range from the minimum luminance Imin to the maximum luminance Imax is a component in which the luminance does not change regardless of the polarization state and corresponds to a non-polarization component.
  • the luminance range from the minimum luminance Imin to the maximum luminance Imax is a range in which the luminance changes depending on the polarization state. It corresponds to the polarization component. Therefore, as shown in (b) of FIG. 24, a captured image from which the reflection component is removed can be generated by removing the luminance component corresponding to the polarization component from the normal captured image.
  • the range up to the minimum luminance Imin is a component that does not change in luminance regardless of the polarization state, corresponds to a non-polarized component, and can be regarded as a diffuse reflection component.
  • the luminance range from the minimum luminance Imin to the maximum luminance Imax can be regarded as a specular reflection component. Therefore, as shown in FIG. 25 (b), if the specular reflection component is suppressed, a captured image with suppressed glossiness can be generated. Further, if the specular reflection component is enhanced, a captured image with enhanced glossiness can be generated.
  • the polarization characteristic using unit 27 calculates an image feature amount using the polarization characteristic calculated by the polarization property acquisition unit, and performs processing that considers the surface shape of the subject using the image feature amount, for example, three-dimensional Subject matching processing, stereoscopic subject recognition processing, and the like may be performed. Next, an operation when performing a three-dimensional subject matching process as a process considering the surface shape of the subject will be described.
  • the polarization characteristic using unit 27 uses the polarization characteristic to calculate, for example, an image feature amount corresponding to the surface shape of the subject in the polarization image for each pixel.
  • FIG. 26 is a diagram for explaining the calculation of the image feature amount. 26A and 26B illustrate the relationship between the angle of the polarization direction and the luminance in the feature amount calculation target pixel (hereinafter simply referred to as “target pixel”) of the image feature amount in the polarization image. (B) has shown the case where illumination light is bright compared with (a) of FIG. FIG. 26 exemplifies a case where the polarization angle is 0 degree, 45 degrees, 90 degrees, and 135 degrees.
  • the polarization characteristic using unit 27 normalizes the luminance so that it can be determined whether or not the polarization characteristic has the same characteristic even when the luminance is different.
  • the polarization characteristic using unit 27 calculates the average luminance of each polarization angle, divides the luminance of each polarization angle by the calculated average luminance, and calculates normalized luminance.
  • FIG. 26C shows the luminance after normalization, and the normalization reference level corresponds to the average luminance.
  • the polarization characteristic utilization unit 27 uses the luminance of each polarization angle after normalization as an image feature amount.
  • Expression (18) exemplifies an image feature amount when a polarization image having a polarization angle of 0 degrees, 45 degrees, 90 degrees, and 135 degrees is acquired.
  • the image feature amount calculated in this way is information indicating the surface shape of the subject position corresponding to the target pixel.
  • the polarization characteristic utilization unit 27 performs a three-dimensional subject matching process using the calculated image feature amount.
  • FIG. 27 exemplifies an operation when matching processing is performed in the polarization characteristic using unit.
  • the polarization characteristic using unit 27 uses the image feature amount to determine which of the feature points detected in the other image matches the feature point of the matching target detected in one image (hereinafter referred to as “target feature point”). Determine.
  • the feature point is detected based on the image feature amount calculated based on the luminance of the polarization angle ⁇ of 0 degrees, 45 degrees, 90 degrees, and 135 degrees, for example.
  • the image feature amount of the target feature point TP0 is [F o 0 ° , F o 45 ° , F o 90 ° , F o 135 ° ].
  • the image feature quantity of the other feature point TQj is set to [F j 0 ° , F j 45 ° , F j 90 ° , F j 135 ° ].
  • J is a variable indicating the jth feature point in the other feature point.
  • the polarization characteristic using unit 27 determines a point where the distance between the vector of the image feature amount is minimum and sets it as a matching point. For example, the polarization characteristic utilization unit 27 performs the calculation of Expression (19) to determine the feature point j that minimizes the sum of squared differences from the image feature amount of the target feature point from the other feature point and perform matching. Let it be a point.
  • the fourth embodiment by using the calculated polarization characteristics, various processing processes, processes considering the surface shape of the subject, and the like can be easily performed. Further, as in the first embodiment, the polarization characteristic at a desired viewpoint position can be obtained with high accuracy for each pixel without causing a decrease in temporal resolution and spatial resolution.
  • FIG. 28 is a diagram showing a functional configuration of another embodiment.
  • the image processing apparatus 10 includes an imaging unit 21, a positioning unit 23a, and a normal map generation unit 25a.
  • the imaging unit 21 captures a subject at a plurality of viewpoint positions via a polarization filter whose polarization direction differs for each viewpoint position, and generates a polarization image.
  • the imaging unit 21 includes a plurality of imaging units 211-1 to 211-4 so that a plurality of imaging units, for example, polarized images in three or more directions having different polarization directions can be generated.
  • a polarizing plate 210-1 is provided on the front surface of the imaging unit 211-1.
  • polarizing plates 210-2 to 210-4 are provided in front of the imaging units 211-2 to 211-4.
  • the polarizing plates 210-1 to 210-4 have different polarization directions, and the imaging units 211-1 to 211-4 generate polarized images having different polarization directions.
  • the imaging unit 21 outputs the image data of the polarization image generated by the imaging units 211-1 to 211-4 to the depth map generation unit 22 and the alignment unit 23a.
  • the imaging unit 21 uses, for example, a linear polarizing plate as a polarizing plate. Further, the imaging unit 21 is not limited to a linear polarizing plate, and a circular polarizing plate made of a linear polarizing plate and a quarter wavelength plate may be used. Furthermore, the imaging unit 21 may provide a depolarization plate between the linearly polarizing plate and the imaging unit. Note that the imaging unit 21 may generate polarized images of three or more directions having different polarization directions in other configurations as in the first embodiment.
  • the alignment unit 23a aligns the polarization image generated by the imaging unit 21.
  • the alignment unit 23a uses the feature of the image to align the polarization image without using the depth map.
  • the alignment unit 23a approximately models movement between images by homography, for example, over the entire screen, and performs alignment of the polarization image based on this model. Further, for example, when a stationary subject is imaged from different viewpoint positions, the subject is moved between the captured images, so that the alignment unit 23a detects an optical flow or the like, and based on the detection result.
  • the polarization image may be aligned. For example, as shown in FIG.
  • the normal map generation unit 25a obtains the relationship between the luminance and the polarization angle from the polarization direction and the luminance of the polarization image based on the polarization image after the alignment in which the polarization direction is three directions or more, and determines the azimuth angle ⁇ that is the maximum luminance. Determine. Further, the normal map generation unit 25a calculates the degree of polarization ⁇ using the highest luminance and the lowest luminance obtained from the relationship between the luminance and the polarization angle, and calculates based on the characteristic curve indicating the relationship between the polarization degree and the zenith angle. The zenith angle ⁇ corresponding to the polarization degree ⁇ is determined.
  • the normal map generation unit 25a calculates the normal information (azimuth angle ⁇ and zenith angle ⁇ ) of the subject for each pixel position based on the polarization image after alignment in which the polarization directions are three or more. Generate a line map.
  • a normal map since it is not necessary to generate a depth map, a normal map can be easily generated. Since the depth map has not been generated, the generated normal map has an indefiniteness of 180 degrees.
  • FIG. 30 is a block diagram illustrating a schematic configuration of a vehicle control system using the image processing apparatus of this technology.
  • the vehicle control system 90 includes a plurality of control units and detection units connected via a communication network 920.
  • the vehicle control system 90 includes a drive system control unit 931, a body system control unit 932, a battery control unit 933, a vehicle exterior information detection unit 934, a wireless communication unit 935, and an integrated control unit 940.
  • the communication network 920 may be an in-vehicle communication network that conforms to an arbitrary standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark).
  • CAN Controller Area Network
  • LIN Local Interconnect Network
  • LAN Local Area Network
  • FlexRay registered trademark
  • an input unit 951, an audio output unit 952, and a display unit 953 are connected to the integrated control unit 940.
  • Each control unit includes a microcomputer that performs arithmetic processing according to various programs, a storage unit that stores programs executed by the microcomputer or parameters used for various calculations, and a drive circuit that drives devices to be controlled. Is provided.
  • the drive system control part 931 controls the operation
  • the drive system controller 931 includes a driving force generator for generating a driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. Functions as a steering mechanism to adjust.
  • the drive system control unit 931 has a function as a control device such as a braking device that generates a braking force of the vehicle, and a function as a control device such as ABS (Antilock Brake System) or ESC (Electronic Stability Control). Also good.
  • a vehicle state detection unit 9311 is connected to the drive system control unit 931.
  • the vehicle state detection unit 9311 includes, for example, a gyro sensor that detects the angular velocity of the axial rotation motion of the vehicle body, an acceleration sensor that detects the acceleration of the vehicle, or an accelerator pedal operation amount, a brake pedal operation amount, and a steering wheel steering. At least one of sensors for detecting an angle, an engine speed, a traveling speed, or the like is included.
  • the drive system control unit 931 performs arithmetic processing using a signal input from the vehicle state detection unit 9311 to control the internal combustion engine, the drive motor, the electric power steering device, the brake device, or the like.
  • the body system control unit 932 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body control unit 932 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a blinker, or a fog lamp.
  • the body control unit 932 can be input with radio waves transmitted from a portable device that substitutes for a key or signals from various switches.
  • the body system control unit 932 receives input of these radio waves or signals, and controls a door lock device, a power window device, a lamp, and the like of the vehicle.
  • the battery control unit 933 controls the secondary battery 9331 that is a power supply source of the drive motor according to various programs. For example, information such as battery temperature, battery output voltage, or battery remaining capacity is input to the battery control unit 933 from a battery device including the secondary battery 9331. The battery control unit 933 performs arithmetic processing using these signals, and controls the temperature adjustment control of the secondary battery 9331 or the cooling device provided in the battery device.
  • the outside information detection unit 934 detects information outside the vehicle on which the vehicle control system 90 is mounted.
  • the outside image detection unit 934 uses the image processing apparatus 10 of this technology.
  • FIG. 31 is a diagram showing an installation example of the imaging unit.
  • the imaging unit 21 of the image processing apparatus 10 is provided, for example, at at least one position among a front nose of the vehicle 80, a side mirror, a rear bumper, a back door, and an upper portion of a windshield in the vehicle interior.
  • the imaging unit 21-A provided in the front nose and the imaging unit 21-B provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 80.
  • the imaging units 21-C and 21-D provided in the side mirror mainly acquire images on the side of the vehicle 80.
  • the imaging unit 21-E provided in the rear bumper or the back door mainly acquires an image behind the vehicle 80.
  • the imaging range AR-a indicates the imaging range of the imaging unit 21-A provided in the front nose
  • the imaging ranges AR-c and AR-d are imaging units 21-C and 21- provided in the side mirrors, respectively.
  • the imaging range AR-e indicates the imaging range of the imaging unit 21-E provided on the rear bumper or the back door.
  • the vehicle exterior information detection unit 934 captures an area around the vehicle and acquires a polarization image. Further, the vehicle exterior information detection unit 934 acquires the polarization characteristics of the subject from the acquired polarization image. Furthermore, the vehicle exterior information detection unit 934 generates information that can be used for vehicle control or the like using the acquired polarization characteristics.
  • the wireless communication unit 935 communicates with a management center that manages other vehicles, road conditions, etc. outside the vehicle via a wireless communication network such as DSRC (registered trademark) (Dedicated Short Range Communication), and performs integrated control of the received information Output to the unit 940.
  • a wireless communication network such as DSRC (registered trademark) (Dedicated Short Range Communication)
  • the wireless communication unit 935 transmits the polarization characteristics and the like acquired by the outside information detection unit 934 to other vehicles, the management center, and the like.
  • the wireless communication unit 935 may communicate with the management center via a wireless communication network such as a wireless communication network for wireless LAN, a wireless communication network for mobile phones such as 3G, LTE, and 4G.
  • the wireless communication unit 935 may perform positioning by receiving a global positioning system (GNSS) signal or the like, and may output a positioning result to the integrated control unit 940.
  • GNSS global positioning system
  • the integrated control unit 940 is connected to an input unit 951, an audio output unit 952, and a display unit 953.
  • the input unit 951 is realized by a device that can be input by a passenger, such as a touch panel, a button, a microphone, a switch, or a lever.
  • the input unit 951 generates an input signal based on information input by a passenger or the like and outputs the input signal to the integrated control unit 940.
  • the audio output unit 952 outputs information based on the audio signal from the integrated control unit 940, thereby audibly notifying the vehicle passengers of the information.
  • the display unit 953 displays an image based on the image signal from the integrated control unit 940 and visually notifies the vehicle occupant of the information.
  • the integrated control unit 940 includes a CPU (Central Processing Unit), ROM (Read Only Memory), RAM (Random Access Memory), and the like.
  • ROM Read Only Memory stores various programs executed by CPU (Central Processing Unit).
  • RAM Random Access Memory stores information such as various parameters, calculation results or sensor values.
  • the CPU executes various programs stored in the ROM, and acquires information obtained by communication with an input signal from the input unit 951 and each control unit, the vehicle outside information detection unit, and the wireless communication unit via the communication network 920, The overall operation in the vehicle control system 90 is controlled in accordance with information stored in the RAM.
  • the integrated control unit 940 generates an audio signal indicating information to be audibly notified to a vehicle occupant, outputs the audio signal to the audio output unit 952, and generates an image signal for visually notifying the information. And output to the display portion 953.
  • the integrated control unit 940 communicates with various devices existing outside the vehicle such as other vehicles and a management center using the wireless communication unit 935.
  • the integrated control unit 940 performs driving support for the vehicle based on the map information stored in the ROM or RAM and the positioning result acquired from the wireless communication unit 935.
  • At least two control units connected via the communication network 920 may be integrated as one control unit.
  • each control unit may be configured by a plurality of control units.
  • the vehicle control system 90 may include another control unit not shown.
  • some or all of the functions of any one of the control units may be provided to another control unit. That is, as long as information is transmitted and received via the communication network 920, a predetermined calculation process may be performed by any of the control units.
  • the outside vehicle information detection unit when the image processing apparatus of the present technology is applied to, for example, an outside vehicle information detection unit, the outside vehicle information detection unit accurately performs subject recognition or the like, and has a high spatial resolution and a high accuracy depth. A map can be generated. Further, by performing various processing processes such as filter processing corresponding to a PL filter, removal of reflection components, adjustment of glossiness, and the like, it is possible to generate a captured image with reduced reflection and glare. For this reason, it becomes possible to accurately detect obstacles and grasp the distance to the obstacles using the depth map generated by the outside information detection unit and the processed image, etc. It is possible to construct a vehicle control system that enables smooth running.
  • the above-described image processing apparatus may be an imaging apparatus or an electronic device having an imaging function.
  • the series of processing described in the specification can be executed by hardware, software, or a combined configuration of both.
  • a program in which a processing sequence is recorded is installed and executed in a memory in a computer incorporated in dedicated hardware.
  • the program can be recorded in advance on a hard disk, SSD (Solid State Drive), or ROM (Read Only Memory) as a recording medium.
  • the program is a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto optical disc), a DVD (Digital Versatile Disc), a BD (Blu-Ray Disc (registered trademark)), a magnetic disk, or a semiconductor memory card. It can be stored (recorded) in a removable recording medium such as temporarily or permanently. Such a removable recording medium can be provided as so-called package software.
  • the program may be transferred from the download site to the computer wirelessly or by wire via a network such as LAN (Local Area Network) or the Internet.
  • the computer can receive the program transferred in this way and install it on a recording medium such as a built-in hard disk.
  • the effect described in this specification is an illustration to the last, and is not limited, There may be an additional effect which is not described.
  • the present technology should not be construed as being limited to the above-described embodiments, and for example, the above-described embodiments may be combined.
  • the embodiments of this technology disclose the present technology in the form of examples, and it is obvious that those skilled in the art can make modifications and substitutions of the embodiments without departing from the gist of the present technology. In other words, the scope of the claims should be considered in order to determine the gist of the present technology.
  • the image processing apparatus may have the following configuration.
  • An image processing apparatus comprising: a polarization characteristic acquisition unit configured to acquire a polarization characteristic of the subject from a desired viewpoint position using the polarization image aligned by the alignment unit.
  • the image processing apparatus further including a depth map generation unit that generates the depth map from images obtained by imaging the subject at a plurality of viewpoint positions.
  • the depth map generation unit generates a depth map for each combination of images in the images at the plurality of viewpoint positions, and integrates the generated depth maps.
  • the depth map generation unit uses, as an image obtained by imaging a subject at the plurality of viewpoint positions, an image captured without passing through the polarization filter or through a polarization filter having the same polarization direction.
  • the polarization characteristics acquisition unit acquires the polarization characteristics of the subject from a desired viewpoint position based on polarization directions and luminances of the aligned polarization images.
  • An image processing apparatus according to 1.
  • An image processing apparatus according to 1.
  • the depth map used in the alignment unit and the normal map generated in the normal map generation unit are integrated to generate a depth map with higher accuracy than the depth map used in the alignment unit.
  • a plurality of lenses are arranged on the light incident surface side of the imaging element in a direction orthogonal to the optical axis direction, and each of the plurality of viewpoints is provided with a polarizing filter having a different polarization direction.
  • the imaging unit further includes an imaging unit that generates an image by imaging the subject at a plurality of viewpoint positions without using the polarizing filter or through a polarizing filter having the same polarization direction.
  • Image processing apparatus (14)
  • the image processing apparatus and the image processing method according to this technology are obtained by imaging a subject at a plurality of viewpoint positions via a polarization filter whose polarization direction differs for each viewpoint position based on a depth map indicating distance information of the subject.
  • the polarization image is aligned.
  • the polarization characteristics of the subject from a desired viewpoint position are acquired using the aligned polarization image. For this reason, if the normal is calculated based on this polarization characteristic, the surface shape of the subject can be accurately detected from the desired position.
  • the acquired polarization characteristics it is possible to acquire a desired polarization image without performing imaging at a desired viewpoint position while adjusting the polarization direction of the polarization filter. Therefore, a device that acquires the three-dimensional shape of the subject, a processing of processing a captured image, and the like are suitable for the device.
  • DESCRIPTION OF SYMBOLS 10 ... Image processing apparatus 21, 21a, 21-A-21-E ... Imaging unit 22, 22a ... Depth map production

Abstract

　デプスマップ生成部２２は、撮像ユニット２１で複数の視点位置で被写体を撮像して得られた画像からデプスマップを生成するデプスマップを生成する。位置合わせ部２３は、デプスマップ生成部２２で生成されたデプスマップに基づき、撮像ユニット２１において偏光方向が視点位置毎に異なる偏光フィルタを介して複数の視点位置で被写体を撮像して得られた偏光画像の位置合わせを行う。偏光特性取得部２４は、位置合わせ部２３で位置合わせした偏光画像を用いて、所望の視点位置からの被写体の偏光特性の取得を行い、時間解像度や空間解像度の劣化の少ない高精度な偏光特性を得る。所望の視点位置における被写体の偏光特性を取得できるようになる。

Description

画像処理装置と画像処理方法
　この技術は、画像処理装置と画像処理方法に関し、被写体の偏光特性を高精度に取得できるようにする。
　従来、撮像部と偏光フィルタを用いて偏光画像を取得する方法が開示されている。例えば、特許文献１では、撮像部の前に偏光フィルタを配置して、この偏光フィルタを回して撮影することで複数偏光方向の偏光画像が取得する方法が開示されている。また、画素毎に異なる偏光方向の偏光フィルタを設けることで、１回の撮像で異なる複数の偏光方向の偏光画像を取得する方法が開示されている。
　また、複数の偏光方向の偏光画像から被写体の法線情報を取得することが行われている。例えば、非特許文献１や非特許文献２では、複数の偏光方向の偏光画像をモデル式にあてはめることによって法線情報の算出が行われている。
国際公開第２００８／０９９５８９号
Lawrence B.Wolff and Terrance E.Boult :"Constraining Object Features Using a Polarization Reflectance Model",IEEE Transaction on pattern analysis and machine intelligence,Vol.13,No.7,July 1991 Gary A. Atkinson and Edwin R. Hancock :"Recovery of surface orientation from diffuse polarization",IEEE Transactions of Image Processing, Vol.15, Issue.6, pp.1653-1664, 2006
　ところで、被写体の高精度な法線情報等を取得するためには、偏光画像から被写体の偏光特性を高精度に取得する必要がある。しかし、撮像装置の前に偏光フィルタを配置して、この偏光フィルタの偏光方向を順次切り替えながら撮影することで複数偏光方向の画像を取得する場合、偏光画像が時系列の画像となるため偏光画像の時間解像度の劣化を招く。このため、例えば動きを生じている被写体の偏光特性を取得することが困難である。また、撮像素子の画素毎に異なる方向の偏光フィルタを設けることで、一回の撮影で複数の偏光方向の偏光画像を取得する場合、撮像素子の画素毎に異なる方向の偏光フィルタを設けることから偏光画像の空間解像度が劣化する。このため、高解像度で被写体の偏光特性を取得することが困難である。
　そこで、この技術では、被写体の偏光特性を高精度に取得できる画像処理装置と画像処理方法を提供することを目的とする。
　この技術の第１の側面は、被写体の距離情報を示すデプスマップに基づいて、偏光方向が視点位置毎に異なる偏光フィルタを介して複数の視点位置で前記被写体を撮像して得られた偏光画像の位置合わせを行う位置合わせ部と、前記位置合わせ部で位置合わせした偏光画像を用いて、所望の視点位置からの前記被写体の偏光特性を取得する偏光特性取得部とを有する画像処理装置にある。
　この技術において、位置合わせ部は、被写体の距離情報を示すデプスマップに基づいて、偏光方向が視点位置毎に異なる偏光フィルタを介して複数の視点位置で被写体を撮像して得られた偏光画像の位置合わせを行う。デプスマップは、被写体を異なる視点位置から撮像した画像に基づきデプスマップ生成部で生成する。デプスマップ生成部は、例えば偏光方向が視点位置毎に異なる偏光フィルタを介して複数の視点位置で被写体を撮像して得られた偏光画像、または偏光フィルタを介することなくあるいは偏光方向が等しい偏光フィルタを介して撮像された画像から、画像間の視差に基づきデプスマップを生成する。また、デプスマップ生成部は、複数の視点位置の画像における画像の組み合わせ毎にデプスマップを生成して統合する。位置合わせ部は、例えば統合後のデプスマップと偏光画像を生成した撮像部の位置関係とに基づき視差を判別して、視差が無くなるように偏光画像の位置合わせを行う。偏光特性取得部は、位置合わせ後の偏光画像を用いて、所望の視点位置からの被写体の偏光特性を取得する。偏光特性取得部は、例えば位置合わせ後の複数の偏光画像の輝度と偏光方向、および偏光画像の視点位置と所望の視点位置の位置関係等に基づいて、所望の視点位置からの被写体の偏光特性を取得する。
　また、法線マップ生成部を設ける場合、法線マップ生成部は、偏光特性取得部で算出された偏光特性に基づき、所望の視点位置における被写体の法線マップを生成する、また、法線マップ生成部は、法線マップの生成において、位置合わせ部で用いたデプスマップに基づき偏光解析における１８０度の不定性を除去する。高精度デプスマップ生成部を設ける場合、高精度デプスマップ生成部は、位置合わせ部で用いたデプスマップと法線マップ生成部で生成した法線マップを統合して、位置合わせ部で用いたデプスマップよりも空間解像度の高いデプスマップを生成する。偏光特性利用部を設ける場合、偏光特性利用部は、偏光特性取得部で算出された偏光特性を利用して画像の処理、例えば所望の視点位置における画像の反射成分の調整や偏光特性から算出した画像特徴量を用いてマッチング処理等を行う。
　さらに、偏光画像を生成する撮像ユニットを設ける場合、撮像ユニットは、複数の視点位置毎に設けた撮像部に偏光方向が異なる偏光フィルタを設けて複数の視点位置毎の偏光画像を生成する。または撮像ユニットは、光軸方向に対して直交する方向にレンズを撮像素子の光入射面側に複数配置して、各レンズに偏光方向が異なる偏光フィルタを設けて複数の視点位置毎の偏光画像を生成する。
　この技術の第２の側面は、位置合わせ部で、被写体の距離情報を示すデプスマップに基づいて、偏光方向が視点位置毎に異なる偏光フィルタを介して複数の視点位置で前記被写体を撮像して得られた偏光画像の位置合わせを行う工程と、偏光特性取得部で、前記位置合わせした偏光画像を用いて、所望の視点位置からの被写体の偏光特性を取得する工程とを含む画像処理方法にある。
　この技術によれば、被写体の距離情報を示すデプスマップに基づいて、偏光方向が視点位置毎に異なる偏光フィルタを介して複数の視点位置で被写体を撮像して得られた偏光画像の位置合わせが行われる。さらに位置合わせした偏光画像を用いて、所望の視点位置からの被写体の偏光特性が取得される。したがって、時間解像度や空間解像度の劣化の少ない高精度な偏光特性を取得できる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
第１の実施の形態の機能構成を示す図である。 撮像部の配置を例示した図である。 撮像ユニットにおける偏光方向を例示した図である。 第１の実施の形態の動作を示すフローチャートである。 デプスマップ生成部の動作を示すフローチャートである。 デプスの算出処理を説明するための図である。 デプスマップ生成部の他の動作を示すフローチャートである。 偏光特性取得処理を示すフローチャートである。 撮像部の位置関係を示す図である。 被写体表面形状と偏光画像について説明するための図である。 輝度と偏光角との関係を例示した図である。 偏光度と天頂角の関係を示す図である。 法線マップ生成処理を示すフローチャートである。 １８０度の不定性の除去を説明するための図である。 第２の実施の形態の機能構成を示す図である。 第２の実施の形態の動作を示すフローチャートである。 高精度デプスマップ生成処理を説明するための図である。 第３の実施の形態の機能構成を示す図である。 撮像部の配置を例示した図である。 第３の実施の形態の動作を示すフローチャートである。 第４の実施の形態の機能構成を示す図である。 第４の実施の形態の動作を示すフローチャートである。 偏光特性を利用した画像処理の第１の例を示す図である。 偏光特性を利用した画像処理の第２の例を示す図である。 偏光特性を利用した画像処理の第３の例を示す図である。 画像特徴量の算出を説明するための図である。 マッチング処理を行う場合の動作を例示した図である。 他の実施の形態の機能構成を示す図である。 オプティカルフローを検出する場合を示す図である。 車両制御システムの概略構成を例示したブロック図である。 撮像ユニットの設置例を示した図である。
　以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
　１．第１の実施の形態
　　１－１．第１の実施の形態の構成
　　１－２．第１の実施の形態の動作
　２．第２の実施の形態
　　２－１．第２の実施の形態の構成
　　２－２．第２の実施の形態の動作
　３．第３の実施の形態
　　３－１．第３の実施の形態の構成
　　３－２．第３の実施の形態の動作
　４．第４の実施の形態
　　４－１．第４の実施の形態の構成
　　４－２．第４の実施の形態の動作
　５．他の実施の形態
　６．適用例
　＜１．第１の実施の形態＞
　　［１－１．第１の実施の形態の構成］
　図１は、本技術の第１の実施の形態の機能構成を示す図である。画像処理装置１０は、撮像ユニット２１、デプスマップ生成部２２、位置合わせ部２３、偏光特性取得部２４、法線マップ生成部２５を有している。
　撮像ユニット２１は、偏光方向が視点位置毎に異なる偏光フィルタ（例えば偏光板）を介して複数の視点位置で被写体を撮像して偏光画像を生成する。撮像ユニット２１は、複数の撮像部例えば偏光方向が異なる３方向以上の偏光画像を取得できるように４台の撮像部２１１-1～２１１-4で構成されている。撮像部２１１-1の前面には偏光板２１０-1が設けられている。同様に、撮像部２１１-2～２１１-4の前面には、偏光板２１０-2～２１０-4が設けられている。偏光板２１０-1～２１０-4は互いに偏光方向が異なる方向とされており、撮像部２１１-1～２１１-4は互いに偏光方向が異なる偏光画像を生成する。撮像ユニット２１は、撮像部２１１-1～２１１-4で生成した偏光画像の画像データをデプスマップ生成部２２と位置合わせ部２３に出力する。
　図２は撮像ユニット２１における撮像部の配置を例示した図である。撮像ユニット２１では、図２の（ａ）に示すように矩形の四隅に撮像部２１１-1～２１１-4を配置した構成としてもよく、図２の（ｂ）に示すように、撮像部２１１-1～２１１-4を直線状に配置した構成としてもよい。また、撮像ユニット２１が３台の撮像部２１１-1～２１１-3で構成される場合、図２の（ｃ）に示すように三角形の頂点に撮像部２１１-1～２１１-3を配置した構成としてもよく、図２の（ｄ）に示すように、撮像部２１１-1～２１１-3を直線状に配置した構成としてもよい。なお、撮像部が離れた位置に設けられて視差が大きくなると、被写体における偏光特性の取得位置を３以上の撮像部で撮像することができない場合が生じる。したがって、撮像部は、被写体における偏光特性の取得位置を３以上の撮像部で撮像できるように配置する。
　また、撮像ユニット２１は、図２の（ｅ）に示すように、マルチレンズアレイを用いた構成として、偏光方向が異なる複数の偏光画像を生成してもよい。例えばイメージセンサ２２１の前面にレンズ２２２を光軸方向に対して直交する方向に複数（図では４個）設けて、各レンズ２２２によって被写体の光学像をイメージセンサ２２１の撮像面にそれぞれ結像させる。また、各レンズ２２２の前面に偏光板２２３を設けて、偏光板２２３の偏光方向を異なる方向とする。このような構成とすれば、偏光方向が異なる偏光画像をイメージセンサ２２１で生成できる。なお、各レンズ２２２によって被写体の光学像をイメージセンサ２２１の撮像面にそれぞれ結像させる場合、撮像部毎に偏光画像を生成する場合に比べて偏光画像の空間解像度が低下する。したがって、空間解像度の高い偏光特性を取得する場合は、撮像部毎に偏光画像を生成する。また、撮像部毎に偏光画像を生成する場合に比べて視差が少ないことから、視差の影響の少ない偏光特性を取得する場合は、マルチレンズアレイを用いた構成で偏光画像を生成する。
　このように撮像ユニット２１を構成すれば、４種類の偏光方向のサブ画素を１画素として偏光方向が異なる４つの偏光画像を生成する場合のように、特殊な撮像部を用いる必要がないので、撮像ユニット２１を安価で容易に構成できる。
　撮像ユニット２１は、偏光フィルタとして例えば直線偏光板を用いる。また、撮像ユニット２１は、直線偏光板に限らず直線偏光板と１／４波長版からなる円偏光板を用いるようにしてもよい。さらに、撮像ユニット２１は、直線偏光板と撮像部との間に偏光解消板を設けてもよい。例えば撮像部において、ハーフミラーを介した光学像に基づき露出制御等が行われる場合、ハーフミラーでの反射率や透過率が直線偏光の向きによって変化して、露出制御等を正しく行うことができないおそれがある。ここで、偏光解消板を設けると、直線偏光の光学像が無偏光の光学像に変換されて、無偏光で直線偏光後の成分を示す光学像が撮像部に入射されるので、ハーフミラーを介した光学像に基づき露出制御等を正しく行うことができる。
　また、撮像ユニット２１では、偏光方向が異なる複数の偏光画像を生成できるように偏光方向を設定する。直線偏光板は、偏光方向が１８０度回転すると直線偏光板を通過成分が等しくなる。したがって、偏光方向は、０度から１８０度の範囲において、互いに異なるように設定する。ここで、画像処理装置１０は、後述するように複数の撮像部で生成された偏光画像の輝度と偏光方向に基づいて偏光モデル式を算出する。したがって、精度よく偏光モデル式を算出できるように、偏光方向は例えば等しい角度差を有するように設定することが好ましい。図３は、撮像ユニット２１における偏光方向を例示している。図３の（ａ）は４台の撮像部を用いる場合の偏光方向を例示している。撮像ユニット２１は、例えば偏光方向を０度，４５度，９０度，１３５度として、４台の撮像部によって偏光方向が等しい角度差（４５度）である４つの偏光画像を生成する。また、図３の（ｂ）は３台の撮像部を用いる場合の偏光方向を例示している。撮像ユニット２１は、例えば偏光方向を０度，６０度，１２０度として、３台の撮像部によって偏光方向が等しい角度差（６０度）の３つの偏光画像を生成する。
　デプスマップ生成部２２は、撮像ユニット２１で生成された視点位置が異なる画像から被写体の距離情報を示すデプスマップを生成する。デプスマップ生成部２２は、撮像ユニット２１で生成された異なる複数の視点位置の偏光画像における偏光画像のペア毎にステレオマッチング処理を行う。また、デプスマップ生成部２２は、ステレオマッチング処理結果と、撮像部について予め取得されているキャリブレーション情報に基づき、例えば画素毎にデプスを示すデプスマップを生成する。キャリブレーション情報は、撮像部間の位置関係を示す位置情報を有している。また、キャリブレーション情報に、各撮像部で生じる光学的な歪みに関するパラメータ等を含めるようにすれば、撮像部で生成された画像に光学的歪みが生じても、この光学的歪みを除去することが可能となり、ステレオマッチング処理等を精度よく行える。デプスマップ生成部２２は、偏光画像のペア毎に生成したデプスマップを統合して、統合前よりも精度の高いデプスマップを生成する。デプスマップ生成部２２は、統合後のデプスマップを位置合わせ部２３と法線マップ生成部２５に出力する。
　位置合わせ部２３は、デプスマップ生成部２２で生成されたデプスマップに基づいて、撮像ユニット２１で生成された偏光画像の位置合わせを行う。位置合わせ部２３は、デプスマップ生成部２２で生成された例えば統合後のデプスマップのデプスと、予め取得されているキャリブレーション情報で示された撮像部の位置関係に基づき視差を判別して、視差が「０」すなわち被写体が一致するように偏光画像の位置合わせを画素毎に行う。位置合わせ部２３は、位置合わせ後の偏光画像を偏光特性取得部２４に出力する。
　偏光特性取得部２４は、位置合わせ後の偏光画像を用いて、所望の視点位置からの被写体の偏光特性を取得する。偏光特性取得部２４は、キャリブレーション情報で示された撮像部の位置関係とデプスマップに基づき、撮像部を所望の視点位置とする回転行列を算出する。また、偏光特性取得部２４は、複数の偏光画像の偏光方向と輝度、この偏光画像を生成した撮像部と所望の視点位置との位置関係を示す回転行列等から、所望の視点位置からの被写体の偏光特性を示す偏光モデル式を算出する。偏光特性取得部２４は、取得した偏光特性である偏光モデル式を法線マップ生成部２５に出力する。
　法線マップ生成部２５は、偏光特性取得部２４で取得された所望の視点位置からの被写体の偏光特性に基づき被写体の法線マップを生成する。法線マップ生成部２５は、偏光特性取得部２４で取得された偏光特性すなわち偏光モデル式から、最高輝度となる方位角と偏光度に基づいて天頂角を画素毎に求めて、法線方向を示す法線情報（方位角と天頂角）を格納した法線マップを生成する。なお、偏光解析による法線マップの法線情報は、偏光板が０度と１８０度や４５度と２２５度の区別がないため、後述するように原理的に１８０度の不定性を有する。したがって、法線マップ生成部２５は、デプスマップ生成部２２から位置合わせ部２３と法線マップ生成部２５に出力されたデプスマップを用いて法線マップにおける１８０度の不定性を除去する。
　　［１－２．第１の実施の形態の動作］
　次に第１の実施の形態の動作について説明する。図４は、第１の実施の形態の動作を示すフローチャートであり、撮像ユニット２１が４台の撮像部２１１-1～２１１-4で構成されている場合を例示している。
　ステップＳＴ１～ステップＳＴ４で撮像ユニット２１は偏光画像を生成する。例えばステップＳＴ１で撮像ユニット２１の撮像部２１１-1は、第１偏光画像を生成する。ステップＳＴ２で撮像部２１１-2は、第２偏光画像を生成する。ステップＳＴ３で撮像部２１１-3は、第３偏光画像を生成する。ステップＳＴ４で撮像部２１１-4は、第４偏光画像を生成する。このように、画像処理装置１０は、視点位置毎に偏光方向が異なる偏光画像を撮像部２１１-1～２１１-4によって生成してステップＳＴ１１～ステップＳＴ１４に進む。
　ステップＳＴ１１～ステップＳＴ１４でデプスマップ生成部２２は、デプスマップを生成する。例えばステップＳＴ１１でデプスマップ生成部２２は、第１偏光画像と第２偏光画像からデプスマップを生成する。
　図５は、デプスマップ生成部の動作を示すフローチャートである。ステップＳＴ１０１でデプスマップ生成部２２は、２つの偏光画像を取得する。デプスマップ生成部２２は撮像部２１１-1で生成された第１偏光画像と撮像部２１１-2で生成された第２偏光画像を取得してステップＳＴ１０２に進む。
　ステップＳＴ１０２でデプスマップ生成部２２は、各偏光画像に対してエッジ抽出処理を行う。撮像部の前面に偏光フィルタを設けて同一被写体を撮像した場合、撮像部で生成される画像は偏光方向の違いによって輝度の異なる画像となる。したがって、デプスマップ生成部２２は、偏光方向の違いによって輝度変化が生じてもステレオマッチング処理を行えるように、偏光画像に対してエッジ抽出処理を行い、エッジ画像を生成する。デプスマップ生成部２２は、エッジ抽出処理を行い、第１偏光画像から第１エッジ画像と、第２偏光画像から第２エッジ画像を生成してステップＳＴ１０３に進む。
　ステップＳＴ１０３でデプスマップ生成部２２はエッジ画像を用いたステレオマッチング処理を行う。デプスマップ生成部２２は、第１エッジ画像と第２エッジ画像のステレオマッチング処理を行う。ステレオマッチング処理において、デプスマップ生成部２２は、第１エッジ画像における注目画素と、この注目画素に対応する第２エッジ画像の位相差（視差に基づく画素位置の差）を検出する。ステレオマッチング処理としては、例えば注目画素を含むように設定したテンプレート画像に対して、第２エッジ画像から最も類似した画像領域を検出するテンプレートマッチング手法を用いる。また、ステレオマッチング処理は、テンプレートマッチング手法に限らず他の手法（例えばグラフカット手法等）を用いてもよい。デプスマップ生成部２２はステレオマッチング処理を行うことで位相差を算出してステップＳＴ１０５に進む。
　ステップＳＴ１０５でデプスマップ生成部２２は、デプスマップ生成処理を行う。デプスマップ生成部２２は、ステレオマッチング処理によって検出した位相差と、予め取得されているキャリブレーション情報等に基づき、注目画素の被写体までの距離であるデプスを算出する。また、デプスマップ生成部２２は、算出したデプスを偏光画像の画素に対応付けてデプスマップを生成する。
　図６はデプスの算出処理を説明するための図である。なお、図６は、２台の撮像部を同じ姿勢で左右に配置した場合を例示している。ここで、例えば撮像部２１１-1を基準撮像部として撮像部２１１-2を参照撮像部とする。また、撮像部の基準位置の間隔（ベース長）を「ＬＢ」、撮像部の焦点距離を「ｆ」とする。基準撮像部における被写体ＯＢの位置ＸＬに対して、参照撮像部における被写体ＯＢの位置ＸＲが位相差「Ｌｄ」だけずれていることがステレオマッチング処理で明らかとなったとすると、被写体までの距離「Ｚｐ」は、式（１）に基づいて算出できる。
Figure JPOXMLDOC01-appb-M000001
　また、デプスマップ生成部は、エッジ画像を用いる場合に限らず他の方法を用いてデプスマップを生成してもよい。図７はデプスマップ生成部の他の動作を示すフローチャートであり、輝度変化に強いステレオマッチング処理を用いる場合を例示している。ステップＳＴ１０１でデプスマップ生成部２２は、２つの偏光画像を取り込む。デプスマップ生成部２２は撮像部２１１-1で生成された第１偏光画像と撮像部２１１-2で生成された第２偏光画像を取り込みステップＳＴ１０４に進む。
　ステップＳＴ１０４でデプスマップ生成部２２は輝度変化に強いステレオマッチング処理を行う。デプスマップ生成部２２は、第１偏光画像と第２偏光画像を用いて輝度変化に強いステレオマッチング処理を行い、第１偏光画像における注目画素と、この注目画素に対応する第２偏光画像の画素位置の移動量（視差画像間の位相差）を検出する。輝度変化に強いステレオマッチング処理では、例えばゼロ平均正規化相互相関（ZNCC：Zero-mean Normalized Cross Correlation）を用いる。式（２）は、ゼロ平均正規化相互相関ＲＺＮＣＣの算出式であり、輝度値の平均値を輝度値から減算して正規化することで輝度の違いに強いマッチングを可能とする。式（２）において、「Ｔ（ｉ，ｊ）」は、基準画像（テンプレート）における座標（ｉ，ｊ）の画素の輝度値、「Ｉ（ｉ，ｊ）」は参照画像における座標（ｉ，ｊ）の画素の輝度値を示している。また、「Ｍ」はテンプレートの幅を示す画素数、「Ｎ」はテンプレートの高さを示す画素数である。なお、輝度変化に強いステレオマッチング処理は、ゼロ平均正規化相互相関に限らず他の方法を用いてもよい。
Figure JPOXMLDOC01-appb-M000002
　デプスマップ生成部２２は輝度変化に強いステレオマッチング処理を行い、位相差を算出してステップＳＴ１０５に進む。
　ステップＳＴ１０５でデプスマップ生成部２２は、デプスマップ生成処理を行う。デプスマップ生成部２２は、ステレオマッチング処理によって検出した位相差と、予め取得されているキャリブレーション情報等に基づき、注目画素の被写体までの距離であるデプスを算出する。また、デプスマップ生成部２２は、算出したデプスを偏光画像の画素に対応付けてデプスマップを生成する。
　図４に戻り、ステップＳＴ１２でデプスマップ生成部２２は、第２偏光画像と第３偏光画像からデプスマップを生成する。ステップＳＴ１３でデプスマップ生成部２２は、第３偏光画像と第４偏光画像からデプスマップを生成する。ステップＳＴ１４でデプスマップ生成部２２は、第４偏光画像と第１偏光画像からデプスマップを生成する。なお、デプスマップ生成部２２では、偏光画像の数が「Ｊ」であるとき、最大「Ｊ（Ｊ－１）／２」の画像ペア数のデプスマップを生成することが可能である。また、偏光画像のペアは図４に示す組み合わせに限られない。例えば、デプスマップ生成部２２は、いずれかの偏光画像を基準として、この偏光画像と他の偏光画像との画像ペア毎にデプスマップを複数生成してもよい。例えば第１偏光画像を基準として、第１偏光画像と第２偏光画像、第１偏光画像と第３偏光画像、第１偏光画像と第４偏光画像を用いてそれぞれ第１偏光画像についての３つのデプスマップを生成してもよい。
　ステップＳＴ２０でデプスマップ生成部２２はデプスマップ統合処理を行う。デプスマップ生成部２２は、偏光画像のペア毎に生成したデプスマップを統合して、統合前よりも精度の高いデプスマップを生成する。デプスマップ生成部２２は、例えば日本特許第５３８７８５６号「画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置」と同様な手法でデプスマップを統合する。すなわち、デプスマップ生成部２２は、ステレオマッチング処理において算出された類似度を示す相関値と画素位置の関係を示す相関特性線の形状に基づいて、信頼度判定処理を行う。信頼度の判定では、相関特性線の形状における尖っている度合いを示す指標である尖度を用いた判定を行う。また信頼度の判定では、相関特性線における頂点とその周辺の点とでの相関値の差分値を用いた判定、あるいは各画素位置における相関値の微分値の積算値（積分値）を用いた判定等を行うようにしてもよい。さらに、デプスマップ生成部２２は、デプスマップ毎の信頼度の判定結果に基づいて、被写体の同一位置を示す画素における信頼度が最も高いデプスを採用する処理を画素毎に行うことで、統合後のデプスマップを生成する。なお、いずれかの偏光画像を基準としてデプスマップを複数生成した場合、各デプスマップは同一画素位置が被写体の同一位置を示している。したがって、画素位置毎に各デプスマップの信頼度から最も信頼度の高いデプスを採用することで、容易にデプスマップを統合できる。デプスマップ生成部２２は、デプスマップ統合処理を行い、統合後のデプスマップを生成してステップＳＴ３０に進む。
　ステップＳＴ３０で位置合わせ部２３は、偏光画像位置合わせ処理を行う。位置合わせ部２３は、例え統合後のデプスマップとキャリブレーション情報で示されている撮像部間の位置情報に基づき、所望の視点位置に対する視差を判別して、視差が「０」すなわち被写体が一致するよう複数の偏光画像の位置合わせを行う。なお、所望の視点位置は、撮像部２１１-1～２１１-4のいずれかの位置に限らず、例えば撮像部２１１-1～２１１-4を矩形状の４隅に設けた場合の矩形状の内部の位置等であってもよい。また、所望の視点位置がデプスマップの生成時に基準とした偏光画像の視点位置であると、所望の視点位置の統合後のデプスマップが生成されているので偏光画像の位置合わせを画素毎に容易に行うことができる。このように、位置合わせ部２３は、偏光画像の位置合わせを行ってステップＳＴ４０に進む。
　ステップＳＴ４０で偏光特性取得部２４は、偏光特性取得処理を行う。偏光特性取得部２４は、位置合わせ後の偏光画像を用いて、所望の視点位置の偏光特性を取得する。図８は、偏光特性取得処理を示すフローチャートである。
　ステップＳＴ４０１で偏光特性取得部２４は、撮像部間の位置情報を取得する。偏光特性取得部２４は、予め設定されているキャリブレーション情報に含まれている撮像部間の位置情報を取得する。ステップＳＴ４０２で偏光特性取得部２４は、位置合わせ後の偏光画像を取得する。偏光特性取得部２４は、位置合わせ部２３から出力された位置合わせ後の偏光画像を取得する。ステップＳＴ４０３で偏光特性取得部２４はデプスマップを取得する。偏光特性取得部２４は、デプスマップ生成部２２で生成されたデプスマップを取得する。
　ステップＳＴ４０４で偏光特性取得部２４は、所望の視点位置への回転行列を算出する。偏光特性取得部２４は、偏光画像を生成する撮像部を、ユーザ等が所望する視点位置とする回転行列Ｒを、キャリブレーション情報とデプスマップに基づいて算出してステップＳＴ４０５に進む。なお、式（３）は回転行列Ｒを例示している。
Figure JPOXMLDOC01-appb-M000003
　ステップＳＴ４０５で偏光特性取得部２４は、所望の視点位置に対する偏光モデル式を算出する。ここで、例えば撮像部２１１-nに対して所望の視点位置の撮像部２１１-pが、図９に示す位置関係であるとする。
　図１０は、被写体表面形状と偏光画像について説明するための図である。図１０に示すように、例えば光源ＬＴを用いて被写体ＯＢの照明を行い、撮像部２１１-nは偏光板２１０-nを介して被写体ＯＢの撮像を行う。この場合、撮像画像は、偏光板２１０-nの偏光方向に応じて被写体ＯＢの輝度が変化して、最も高い輝度をＩmax，最も低い輝度をＩminとする。また、２次元座標におけるｘ軸とｙ軸を偏光板２１０-nの平面上として、偏光板２１０-nの偏光方向をｘ軸に対するｙ軸方向の角度を偏光角υとする。偏光板２１０-nは、偏光方向が１８０度回転させると元の偏光状態に戻り１８０度の周期を有している。また、最高輝度Ｉmaxが観測されたときの偏光角υを方位角αとする。このような定義を行うと、偏光板２１０-nの偏光方向を仮に変化させると、観測される輝度Ｉは式（４）の偏光モデル式であらわすことができる。なお、図１１は、輝度と偏光角との関係を例示している。
Figure JPOXMLDOC01-appb-M000004
　式（４）では、偏光角υが偏光画像の生成時に明らかであり、最高輝度Ｉmaxと最低輝度Ｉminおよび方位角αが変数となる。
　また、物体表面法線を極座標系で表現して、法線情報を方位角αと天頂角θとする。なお、天頂角θはｚ軸から法線に向かう角度、方位角αは、上述のようにｘ軸に対するｙ軸方向の角度とする。ここで、偏光板２１０-nの偏光方向を仮に変化させて最低輝度Ｉminと最高輝度Ｉmaxが得られたとき、式（５）に基づき偏光度ρを算出できる。また偏光度ρは、式（５）に示すように被写体ＯＢの相対屈折率ｎと天頂角θを用いて算出できる。偏光度と天頂角の関係は、例えば図１２に示す特性となり、この特性を利用して、偏光度ρに基づき天頂角θを判別する。なお、図１２に示す特性は、式（５）から明らかなように相対屈折率ｎに依存しており、相対屈折率ｎが大きくなるに伴い偏光度が大きくなる。
Figure JPOXMLDOC01-appb-M000005
　撮像部２１１-nと同様に、図９に示す撮像部２１１-pにおける輝度と偏光角の関係を示す偏光特性のモデル式は、式（６）となる。したがって、（Ｉmax＋Ｉmin）＝（Ｉ’max＋Ｉ’min）＝Ａとすると、式（４），（６）は式（７），（８）となる。
Figure JPOXMLDOC01-appb-M000006
　また、撮像部２１１-pについて偏光度ρは式（９）となる。したがって、（Ｉmax＋Ｉmin）＝（Ｉ’max＋Ｉ’min）＝Ａとすると、式（５），（９）は式（１０），（１１）となる。
Figure JPOXMLDOC01-appb-M000007
　撮像部２１１-nの法線は方位角αおよび天頂角θの方向であり、撮像部２１１-nで検出される法線Ｎは式（１２）として示すことができる。また、撮像部２１１-pで検出される法線Ｎ’は、式（３）に示す回転行列Ｒを用いて式（１３）として示すことができることから、式（１４）の関係が成り立つ。
Figure JPOXMLDOC01-appb-M000008
　したがって、方位角α’は式（１５）に基づき回転行列Ｒの成分と天頂角θと方位角αから算出できる。また天頂角θ’は式（１６）に基づき回転行列Ｒの成分と天頂角θと方位角αから算出できる。
Figure JPOXMLDOC01-appb-M000009
　ここで、撮像部２１１-pの偏光特性を示す偏光モデル式（８）は、式（１１）（１５）（１６）を用いることで、式（１７）に示すように輝度加算値Ａと天頂角θと方位角αの３変数を用いた関数としてあらわされる。
Figure JPOXMLDOC01-appb-M000010
　したがって、３つ以上の撮像部について同様なモデル化を行い、偏光方向が視点位置毎に異なる偏光フィルタを介して３以上の視点位置で被写体を撮像して得られた偏光画像の輝度とキャリブレーション情報（撮像部間の位置情報）に基づく回転行列を用いて、３つの変数である輝度加算値Ａと方位角αおよび天頂角θを算出する。このように、３つの変数の値を求めれば、撮像ユニット２１で生成された３以上の偏光画像とキャリブレーション情報等に基づき、所望の視点位置の偏光特性を示す偏光モデル式を算出できる。
　３つの変数である輝度加算値Ａと方位角αおよび天頂角θは、３つ以上の撮像部についての輝度と偏光モデル式（キャリブレーション情報に基づく撮像部間の回転行列を用いた偏光モデル式）から解析的に算出する。また、最適化手法例えばＬＭ法や最急降下法等を用いて、誤差が最も少なくなるように３つの変数を算出してもよい。さらに、デプスに比べて撮像部間の間隔が小さく回転行列を無視できるとして、３つの変数を近似的に算出してもよい。
　偏光特性取得部２４は、以上のような処理を行い、所望の視点位置に対する偏光モデル式すなわち撮像部２１１-pについての偏光モデル式を算出して偏光特性とする。
　図４に戻り、ステップＳＴ５０で法線マップ生成部２５は法線マップ生成処理を行う。図１３は、法線マップ生成処理を示すフローチャートである。ステップＳＴ５０１で法線マップ生成部２５は法線を算出する。法線マップ生成部２５は、所望の視点位置における偏光特性を示す偏光モデル式すなわち式（１７）を利用して、最高輝度となる方位角α’を判別する。なお、偏光度ρ’は、式（１１）に基づいて算出すればよい。法線マップ生成部２５は、最高輝度となる方位角α’と偏光度ρ’に基づき天頂角θ’を画素毎に求めて、被写体の法線情報（方位角α’と天頂角θ’を示す情報）を算出してステップＳＴ５０２に進む。
　ステップＳＴ５０２で法線マップ生成部２５は１８０度の不定性を除去する。図１４は１８０度の不定性の除去を説明するための図である。図１４の（ａ）に示すように、撮像部２１１で被写体ＯＢを撮像する。ここで偏光板の偏光方向を１８０度回転させると元の偏光状態に戻り、例えば図１４の（ｂ）に示すように被写体ＯＢの上半分の領域ＧＡでは法線方向（矢印で示す）が正しい方向となる。また、下半分の領域ＧＢでは法線方向が逆方向となるおそれがあり１８０度の不定性を有する。ここで、デプスマップに基づき被写体ＯＢの勾配方向の判別を法線マップ生成部２５で行うと、法線マップ生成部２５は、被写体ＯＢが撮像部の方向に突出した形状であることを判別できる。また、法線マップ生成部２５は、被写体ＯＢが撮像部の方向に突出した形状であることから、図１４の（ｂ）に示す下半分の領域ＧＢの法線方向は逆方向であることを判別できる。したがって、法線マップ生成部２５は、下半分の領域ＧＢの法線方向を逆方向とすることで、図１４の（ｃ）に示すように、１８０度の不定性を除去する。このようにして、法線マップ生成部２５は、ステップＳＴ５０１で算出された法線に対して、デプスマップに基づき１８０度の不定性を除去して、被写体の表面形状を正しく示す法線マップを生成する。
　なお、画像処理装置では、上述の処理をステップ順に行う場合に限らず、例えば画像や情報の取得およびデプスマップの生成等の処理を並列処理で行うようにしてもよい。また、上述の処理をパイプライン処理で行うようにすれば、所望の視点位置における偏光特性の算出や法線マップの生成を例えばフレーム毎に順次行うことも可能となる。
　第１の実施の形態では、以上のような処理を行うことで、時間解像度および空間解像度の低下を招くことなく、所望の視点位置における偏光特性を画素毎に取得できる。また、第１の実施の形態では、所望の視点位置における偏光特性から被写体の法線情報を生成できる。さらに、第１の実施の形態では、偏光方向が視点位置毎に異なる偏光画像を組み合わせて用いることにより生成されたデプスマップを統合して、統合後のデプスマップを用いて位置合わせされた偏光画像を用いて偏光特性が取得されるので、偏光特性を精度よく取得できる。
　また、第１の実施の形態では、所望の視点位置における偏光特性に基づいて法線マップを生成できることから、所望の視点位置に応じた法線マップを生成できる。この法線マップは、被写体表面形状に応じた特徴量に相当することから、この法線マップを利用して、被写体認識や被写体のマッチング処理等を精度よく行うことが可能となる。
　なお、第１の実施の形態では、偏光画像を用いてデプスマップを生成することから、デプスマップの生成のみに用いる撮像部を設ける必要がない。
　＜２．第２の実施の形態＞
　次に、第２の実施の形態について説明する。第２の実施の形態では、生成した法線マップを用いて空間解像度の高いデプスマップを生成する場合について説明する。
　　［２－１．第２の実施の形態の構成］
　図１５は、本技術の第２の実施の形態の機能構成を示す図である。画像処理装置１０は、第１の実施の形態と同様に、撮像ユニット２１、デプスマップ生成部２２、位置合わせ部２３、偏光特性取得部２４、法線マップ生成部２５を有している。また、第２の実施の形態の画像処理装置１０は、高精度デプスマップ生成部２６を有している。
　撮像ユニット２１は、偏光方向が視点位置毎に異なる偏光フィルタ（例えば偏光板）を介して複数の視点位置で被写体を撮像して偏光画像を生成する。撮像ユニット２１は、複数の撮像部例えば偏光方向が異なる３方向以上の偏光画像を生成できるように４台の撮像部２１１-1～２１１-4で構成されている。撮像部２１１-1の前面には偏光板２１０-1が設けられている。同様に、撮像部２１１-2～２１１-4の前面には、偏光板２１０-2～２１０-4が設けられている。偏光板２１０-1～２１０-4は互いに偏光方向が異なる方向とされており、撮像部２１１-1～２１１-4は互いに偏光方向が異なる偏光画像を生成する。撮像ユニット２１は、撮像部２１１-1～２１１-4で生成した偏光画像の画像データをデプスマップ生成部２２と位置合わせ部２３に出力する。撮像ユニット２１は、偏光フィルタとして例えば直線偏光板等を用いる。なお、撮像ユニット２１は、上述の第１の実施の形態と同様に他の構成で偏光方向が異なる３方向以上の偏光画像を生成してもよい。
　デプスマップ生成部２２は、撮像ユニット２１で生成された視点位置が異なる偏光画像から被写体の距離情報を示すデプスマップを生成する。デプスマップ生成部２２は、視点位置が異なる偏光画像を用いてステレオマッチング処理を行い、画素毎にデプスを示すデプスマップを生成する。また、デプスマップ生成部２２は、異なる視点位置の偏光画像のペア毎にデプスマップを生成して、生成したデプスマップを統合して、統合前よりも高精度なデプスマップを生成する。デプスマップ生成部２２は、統合後のデプスマップを位置合わせ部２３と法線マップ生成部２５に出力する。
　位置合わせ部２３は、デプスマップ生成部２２で生成されたデプスマップに基づいて、撮像ユニット２１で生成された偏光画像の位置合わせを行う。位置合わせ部２３は、デプスマップ生成部２２で生成されたデプスマップのデプスと、予め取得されているキャリブレーション情報で示された撮像部の位置関係に基づき、偏光画像間の視差を判別して画素毎に偏光画像の位置合わせを行う。位置合わせ部２３は、位置合わせ後の偏光画像を偏光特性取得部２４に出力する。
　偏光特性取得部２４は、位置合わせ後の偏光画像を用いて、所望の視点位置からの被写体の偏光特性を取得する。偏光特性取得部２４は、キャリブレーション情報で示された撮像部の位置関係とデプスマップに基づき、撮像部を所望の視点位置とする回転行列を算出する。また、偏光特性取得部２４は、複数の偏光画像の偏光方向と輝度、この偏光画像を生成した撮像部と所望の視点位置との位置関係を示す回転行列等から、所望の視点位置からの被写体の偏光特性を示す偏光モデル式を算出する。偏光特性取得部２４は、取得した偏光特性である偏光モデル式を法線マップ生成部２５に出力する。
　法線マップ生成部２５は、偏光特性取得部２４で取得された所望の視点位置からの被写体の偏光特性に基づき被写体の法線マップを生成する。法線マップ生成部２５は、偏光特性取得部２４で取得された偏光モデル式から、最高輝度となる方位角と偏光度に基づいて天頂角を画素毎に求めて、法線方向を示す法線情報（方位角と天頂角）を格納した法線マップを生成する。さらに、法線マップ生成部２５は、デプスマップを用いて法線マップにおける１８０度の不定性を除去して、１８０度の不定性が除去された法線マップを高精度デプスマップ生成部２６に出力する。
　高精度デプスマップ生成部２６は、法線マップを用いてデプスマップの高精度化処理を行う。高精度デプスマップ生成部２６は、法線マップ生成部２５で生成された法線マップが示す被写体表面形状と、デプスマップ生成部２２から出力されたデプスマップで示されたデプスとに基づき、デプスが得られている画素を起点として被写体表面形状を辿る。このように、デプスが得られている画素を起点として被写体表面形状を辿り、法線マップ生成部２５はデプスが得られていない画素に対応するデプスを推定する。また、高精度デプスマップ生成部２６は、推定したデプスをデプスマップ生成部２２から出力されたデプスマップに含めることで、デプスマップ生成部２２から出力されたデプスマップよりも空間解像度が高いデプスマップを生成する。
　　［２－２．第２の実施の形態の動作］
　次に第２の実施の形態の動作について説明する。図１６は、第２の実施の形態の動作を示すフローチャートである。第１の実施の形態と同様に、ステップＳＴ１～ステップＳＴ４で撮像ユニット２１は偏光画像を生成する。例えばステップＳＴ１で撮像ユニット２１の撮像部２１１-1は、第１偏光画像を生成する。ステップＳＴ２で撮像部２１１-2は、第２偏光画像を生成する。ステップＳＴ３で撮像部２１１-3は、第３偏光画像を生成する。ステップＳＴ４で撮像部２１１-4は、第４偏光画像を生成する。このように、画像処理装置１０は、視点位置毎に偏光方向が異なる偏光画像を撮像部２１１-1～２１１-4によって生成してステップＳＴ１１～ステップＳＴ１４に進む。
　ステップＳＴ１１～ステップＳＴ１４でデプスマップ生成部２２は、デプスマップを生成する。デプスマップ生成部２２は、視点位置が異なる２つの偏光画像からデプスマップを生成してステップＳＴ２０に進む。なお、偏光画像のペアは図１６に示す組み合わせに限られない。
　ステップＳＴ２０でデプスマップ生成部２２はデプスマップ統合処理を行う。デプスマップ生成部２２は、ステップＳＴ１１～ステップＳＴ１４で生成したデプスマップを統合してステップＳＴ３０に進む。
　ステップＳＴ３０で位置合わせ部２３は、偏光画像位置合わせ処理を行う。位置合わせ部２３は、統合後のデプスマップを利用して偏光画像の位置合わせを行ってステップＳＴ４０に進む。
　ステップＳＴ４０で偏光特性取得部２４は、偏光特性取得処理を行う。偏光特性取得部２４は、位置合わせ後の偏光画像を用いて所望の視点位置に対する偏光モデル式を算出してステップＳＴ５０に進む。
　ステップＳＴ５０で法線マップ生成部２５は法線マップ生成処理を行う。法線マップ生成部２５は、所望の視点位置における偏光特性に基づき被写体の表面法線を画素毎に示す法線マップを生成してステップＳＴ６０に進む。
　ステップＳＴ６０で高精度デプスマップ生成部２６は高精度デプスマップ生成処理を行う。高精度デプスマップ生成部２６は、ステップＳＴ２０で生成したデプスマップとステップＳＴ５０で生成した法線マップから、空間解像度の高いデプスマップを生成する。
　図１７は、高精度デプスマップ生成処理を説明するための図である。なお、説明を簡単とするため、例えば１ラインについての処理について説明する。図１７の（ａ）に示すように、撮像部２１１によって被写体ＯＢの撮像を行い、デプスマップ生成部２２で図１７の（ｂ）に示すデプスマップ、法線マップ生成部２５で図１７の（ｃ）に示す法線マップが得られたとする。また、デプスマップでは、例えば左端の画素に対するデプスが「２（メートル）」であり、「×」で示す他の画素ではデプスが格納されていないとする。高精度デプスマップ生成部２６は、法線マップに基づき、被写体ＯＢの表面形状を推定する。ここで、左端から２番目の画素は、この画素の法線方向に基づき、左端の画素に対応する被写体面から撮像ユニット２１の方向に近づく傾斜面に相当していることが判別できる。したがって、高精度デプスマップ生成部２６は、左端の画素を起点として被写体ＯＢの表面形状を辿ることにより左端から２番目の画素のデプスを推定して、例えば「１．５（メートル）」とする。また、高精度デプスマップ生成部２６は、推定したデプスをデプスマップに格納する。左端から３番目の画素は、この画素の法線方向に基づき撮像ユニット２１と対向する面に相当していることが判別できる。したがって、高精度デプスマップ生成部２６は、左端の画素を起点として被写体ＯＢの表面形状を辿ることにより左端から３番目の画素のデプスを推定して、例えば「１（メートル）」とする。また、高精度デプスマップ生成部２６は、推定したデプスをデプスマップに格納する。左端から４番目の画素は、左端から３番目の画素に対応する被写体面から撮像ユニット２１と離れる方向の傾斜面に相当していることが判別できる。したがって、高精度デプスマップ生成部２６は、左端の画素を起点として被写体ＯＢの表面形状を辿ることにより左端から４番目の画素のデプスを推定して、例えば「１．５（メートル）」とする。また、高精度デプスマップ生成部２６は、推定したデプスをデプスマップに格納する。同様に左端から５番目の画素のデプスを推定して、例えば「２（メートル）」としてデプスマップに格納する。
　このように、高精度デプスマップ生成部２６は、デプスマップと法線マップを用いてデプスマップの高精度化処理を行い、デプスマップの持つデプスを起点として法線マップに基づき表面形状を辿ることで、デプスを推定する。したがって、高精度デプスマップ生成部２６は、デプスマップ生成部２２で生成された図１７の（ｂ）に示すデプスマップで一部のデプスが欠損していても、欠損しているデプスを補うことが可能となる。したがって、図１７の（ｂ）に示すデプスマップ以上の空間解像度である図１７の（ｄ）に示すデプスマップを生成できる。
　以上のように、第２の実施の形態によれば、第１の実施の形態の作用効果を得られるだけでなく、ステレオマッチング処理ではデプスの取得が困難な被写体領域についても、複数の偏光画像に基づいて生成された法線マップを用いてデプスの推定が可能となる。したがって、デプスマップ生成部２２で生成されたデプスマップ以上の空間解像度を有するデプスマップを生成できる。
　＜３．第３の実施の形態＞
　次に、第３の実施の形態について説明する。第３の実施の形態では、偏光フィルタを介することなく撮像された画像を用いてデプスマップの生成を行うことで、偏光画像の輝度差による影響を受けることなくデプスマップを生成する。
　　［３－１．第３の実施の形態の構成］
　図１８は、第３の実施の形態の機能構成を示す図である。画像処理装置１０は、撮像ユニット２１ａとデプスマップ生成部２２ａ、および第１の実施の形態と同様に、位置合わせ部２３、偏光特性取得部２４、法線マップ生成部２５を有している。
　撮像ユニット２１ａは、偏光方向が視点位置毎に異なる偏光フィルタ（偏光板）を介して複数の視点位置で被写体を撮像して偏光画像を生成する。撮像ユニット２１ａは、複数の撮像部例えば偏光方向が異なる３方向以上の偏光画像を生成できるように４台の撮像部２１１-1～２１１-4で構成されている。撮像部２１１-1の前面には偏光板２１０-1が設けられている。同様に、撮像部２１１-2～２１１-4の前面には、偏光板２１０-2～２１０-4が設けられている。偏光板２１０-1～２１０-4は互いに偏光方向が異なる方向とされており、撮像部２１１-1～２１１-4は互いに偏光方向が異なる偏光画像を生成する。撮像ユニット２１ａは、撮像部２１１-1～２１１-4で生成した偏光画像の画像データを位置合わせ部２３に出力する。撮像ユニット２１ａは、偏光フィルタとして例えば直線偏光板等を用いる。なお、撮像ユニット２１ａは、上述の第１の実施の形態と同様に他の構成で偏光方向が異なる３方向以上の偏光画像を生成してもよい。
　さらに撮像ユニット２１ａは、偏光フィルタを介することなくまたは偏光方向が等しい偏光フィルタを介して撮像を行う撮像部を有している。なお、図１８では、偏光フィルタを介することなく撮像を行う撮像部２１１-5，２１１-6を有する構成を示している。撮像部２１１-5，２１１-6の前面には偏光フィルタが設けられておらず、撮像部２１１-5，２１１-6は、無偏光画像を生成する。撮像ユニット２１ａは、撮像部２１１-5，２１１-6で生成した無偏光画像をデプスマップ生成部２２ａに出力する。
　図１９は撮像ユニット２１ａにおける撮像部の配置を例示した図である。撮像ユニット２１ａは、図１９の（ａ）に示すように矩形の四隅に撮像部２１１-1～２１１-4を配置して、矩形状に配された撮像部２１１-1～２１１-4の左側に撮像部２１１-5、右側に撮像部２１１-6を配置した構成とする。なお、図１９では、偏光方向を示す矢印のない撮像部が無偏光画像を生成する撮像部であることを示している。
　また、撮像ユニット２１ａは、偏光画像を生成する撮像部を図１９の（ｂ），（ｃ）に示すように直線状に配置して、直線状に配された撮像部の左側と右側に無偏光画像を生成する撮像部を配置した構成としてもよい。
　さらに、撮像ユニット２１ａは、無偏光画像を生成する撮像部をさらに多く設けて、無偏光画像のペア毎に生成したデプスマップを統合して、さらに高精度のデプスマップを生成可能な構成としてもよい。例えば、図１９の（ｄ）のように、矩形状に配された偏光画像を生成する撮像部の左右のそれぞれに、無偏光画像を生成する撮像部を上下方向に２つ設けて、無偏光画像のペア毎に生成した複数のデプスマップを統合して高精度のデプスマップの生成が可能な構成する。さらに、図１９の（ｅ）に示すように、矩形状に配されて偏光画像を生成する撮像部を囲むように、無偏光画像を生成する撮像部を設けて、無偏光画像のペア毎に生成した複数のデプスマップを統合して高精度のデプスマップの生成が可能な構成としてもよい。なお、無偏光画像を生成する撮像部は、複数のデプスマップを統合して高精度のデプスマップの生成が可能であれば、図１９の（ｄ），（ｅ）に示す配置に限られない。
　デプスマップ生成部２２ａは、撮像ユニット２１ａで生成された無偏光画像から被写体の距離情報を示すデプスマップを生成する。デプスマップ生成部２２ａは、異なる視点位置の無偏光画像を用いてステレオマッチング処理を行い、画素毎にデプスを示すデプスマップを生成する。デプスマップ生成部２２ａは、生成したデプスマップを位置合わせ部２３と法線マップ生成部２５に出力する。また、デプスマップ生成部２２ａは、無偏光画像のペアが複数である場合、ペア毎にデプスマップを生成して上述のようにデプスマップ統合処理を行うことで、高精度のデプスマップを生成してもよい。
　位置合わせ部２３は、デプスマップ生成部２２ａで生成されたデプスマップに基づいて、撮像ユニット２１ａで生成された偏光画像の位置合わせを行う。位置合わせ部２３は、デプスマップ生成部２２ａで生成されたデプスマップのデプスと、予め取得されているキャリブレーション情報で示された撮像部の位置関係に基づき、偏光画像間の視差を判別して画素毎に偏光画像の位置合わせを行う。位置合わせ部２３は、位置合わせ後の偏光画像を偏光特性取得部２４に出力する。
　偏光特性取得部２４は、位置合わせ後の偏光画像を用いて、所望の視点位置からの被写体の偏光特性を取得する。偏光特性取得部２４は、キャリブレーション情報で示された撮像部の位置関係とデプスマップに基づき、撮像部を所望の視点位置とする回転行列を算出する。また、偏光特性取得部２４は、複数の偏光画像の偏光方向と輝度、この偏光画像を生成した撮像部と所望の視点位置との位置関係を示す回転行列等から、所望の視点位置からの被写体の偏光特性を示す偏光モデル式を算出する。偏光特性取得部２４は、取得した偏光特性である偏光モデル式を法線マップ生成部２５に出力する。
　法線マップ生成部２５は、偏光特性取得部２４で取得された所望の視点位置からの被写体の偏光特性に基づき被写体の法線マップを生成する。法線マップ生成部２５は、偏光特性取得部２４で取得された偏光モデル式から、最高輝度となる方位角と偏光度に基づいて天頂角を画素毎に求めて、法線方向を示す法線情報（方位角と天頂角）を格納した法線マップを生成する。さらに、法線マップ生成部２５は、デプスマップを用いて法線マップにおける１８０度の不定性を除去して、１８０度の不定性が除去された法線マップを生成する。
　　［３－２．第３の実施の形態の動作］
　次に第３の実施の形態の動作について説明する。図２０は、第３の実施の形態の動作を示すフローチャートである。第１の実施の形態と同様に、ステップＳＴ１～ステップＳＴ４で撮像ユニット２１ａは偏光画像を生成する。例えばステップＳＴ１で撮像ユニット２１ａの撮像部２１１-1は、第１偏光画像を生成する。ステップＳＴ２で撮像部２１１-2は、第２偏光画像を生成する。ステップＳＴ３で撮像部２１１-3は、第３偏光画像を生成する。ステップＳＴ４で撮像部２１１-4は、第４偏光画像を生成する。また、ステップＳＴ５～ステップＳＴ６で撮像ユニット２１ａは偏光フィルタを介していない無偏光画像を生成する。例えばステップＳＴ５で撮像ユニット２１ａの撮像部２１１-5は、第１無偏光画像を生成する。ステップＳＴ６で撮像部２１１-6は、第２無偏光画像を生成する。このように、画像処理装置１０は、視点位置毎に偏光方向が異なる複数の偏光画像と視点位置が異なる無偏光画像を撮像部２１１-1～２１１-6によって生成してステップＳＴ１５に進む。
　ステップＳＴ１５でデプスマップ生成部２２ａは、デプスマップを生成する。デプスマップ生成部２２ａは、視点位置が異なる第１無偏光画像と第２無偏光画像を用いてステレオマッチング処理を行い、デプスマップを生成してステップＳＴ３０に進む。
　ステップＳＴ３０で位置合わせ部２３は、偏光画像位置合わせ処理を行う。位置合わせ部２３は、ステップＳＴ１５で生成したデプスマップを利用して各偏光画像の位置合わせを行ってステップＳＴ４０に進む。
　ステップＳＴ４０で偏光特性取得部２４は、偏光特性取得処理を行う。偏光特性取得部２４は、位置合わせ後の偏光画像を用いて所望の視点位置に対する偏光モデル式を算出してステップＳＴ５０に進む。
　ステップＳＴ５０で法線マップ生成部２５は法線マップ生成処理を行う。法線マップ生成部２５は、所望の視点位置における偏光特性に基づき被写体の表面法線を画素毎に示す法線マップを生成する。
　以上のように、第３の実施の形態によれば、無偏光画像を用いてデプスマップを生成することから、偏光方向によって輝度の違いを生じ得る偏光画像を用いる場合に比べて、デプスマップの生成を精度よく容易に行うことが可能となる。また、第１の実施の形態の同様に、時間解像度および空間解像度の低下を招くことなく、所望の視点位置における偏光特性を画素毎に高精度に取得できる。
　＜４．第４の実施の形態＞
　次に、第４の実施の形態について説明する。第４の実施の形態では、取得した所望の視点位置の偏光特性を利用した処理を行う場合について説明する。
　　［４－１．第４の実施の形態の構成］
　図２１は、第４の実施の形態の機能構成を示す図である。画像処理装置１０は、第１の実施の形態と同様に、撮像ユニット２１、デプスマップ生成部２２、位置合わせ部２３、偏光特性取得部２４を有している。また、第４の実施の形態の画像処理装置１０は、偏光特性利用部２７を有している。
　撮像ユニット２１は、偏光方向が視点位置毎に異なる偏光フィルタ（例えば偏光板）を介して複数の視点位置で被写体を撮像して偏光画像を生成する。撮像ユニット２１は、複数の撮像部例えば偏光方向が異なる３方向以上の偏光画像を生成できるように４台の撮像部２１１-1～２１１-4で構成されている。撮像部２１１-1の前面には偏光板２１０-1が設けられている。同様に、撮像部２１１-2～２１１-4の前面には、偏光板２１０-2～２１０-4が設けられている。偏光板２１０-1～２１０-4は互いに偏光方向が異なる方向とされており、撮像部２１１-1～２１１-4は互いに偏光方向が異なる偏光画像を生成する。撮像ユニット２１は、撮像部２１１-1～２１１-4で生成した偏光画像の画像データをデプスマップ生成部２２と位置合わせ部２３に出力する。撮像ユニット２１は、偏光フィルタとして例えば直線偏光板等を用いる。なお、撮像ユニット２１は、上述の第１の実施の形態と同様に他の構成で偏光方向が異なる３方向以上の偏光画像を生成してもよい。
　デプスマップ生成部２２は、撮像ユニット２１で生成された視点位置が異なる偏光画像から被写体の距離情報を示すデプスマップを生成する。デプスマップ生成部２２は、視点位置が異なる偏光画像を用いてステレオマッチング処理を行い、画素毎にデプスを示すデプスマップを生成する。また、デプスマップ生成部２２は、異なる視点位置の偏光画像のペア毎にデプスマップを生成して、生成したデプスマップを統合して、統合前よりも高精度なデプスマップを生成する。デプスマップ生成部２２は、統合後のデプスマップを位置合わせ部２３と法線マップ生成部２５に出力する。
　位置合わせ部２３は、デプスマップ生成部２２で生成されたデプスマップに基づいて、撮像ユニット２１で生成された偏光画像の位置合わせを行う。位置合わせ部２３は、デプスマップ生成部２２で生成されたデプスマップのデプスと、予め取得されているキャリブレーション情報で示された撮像部の位置関係に基づき、偏光画像間の視差を判別して画素毎に偏光画像の位置合わせを行う。位置合わせ部２３は、位置合わせ後の偏光画像を偏光特性取得部２４に出力する。
　偏光特性取得部２４は、位置合わせ後の偏光画像を用いて、所望の視点位置からの被写体の偏光特性を取得する。偏光特性取得部２４は、キャリブレーション情報で示された撮像部の位置関係とデプスマップに基づき、撮像部を所望の視点位置とする回転行列を算出する。また、偏光特性取得部２４は、複数の偏光画像の偏光方向と輝度、この偏光画像を生成した撮像部と所望の視点位置との位置関係を示す回転行列等から、所望の視点位置からの被写体の偏光特性を示す偏光モデル式を算出する。偏光特性取得部２４は、取得した偏光特性である偏光モデル式を偏光特性利用部２７に出力する。
　偏光特性利用部２７は、偏光特性取得部２４で取得した偏光特性を利用して、撮像ユニット２１で生成された画像に対する加工処理、例えば所望の視点位置における画像の反射成分の調整等を行う。具体的には、任意の方位角の偏光画像を生成する処理、反射成分を除去する処理、鏡面反射成分を調整して光沢感を調整する処理等の加工処理を行う。また、偏光特性利用部２７は、被写体の表面形状に応じた偏光特性を画像特徴量として用いて、被写体の表面形状を考慮した処理や立体的な被写体の認識等を行うようにしてもよい。
　　［４－２．第４の実施の形態の動作］
　次に第４の実施の形態の動作について説明する。図２２は、第４の実施の形態の動作を示すフローチャートである。第１の実施の形態と同様に、ステップＳＴ１～ステップＳＴ４で撮像ユニット２１は偏光画像を生成する。例えばステップＳＴ１で撮像ユニット２１の撮像部２１１-1は、第１偏光画像を生成する。ステップＳＴ２で撮像部２１１-2は、第２偏光画像を生成する。ステップＳＴ３で撮像部２１１-3は、第３偏光画像を生成する。ステップＳＴ４で撮像部２１１-4は、第４偏光画像を生成する。このように、画像処理装置１０は、視点位置毎に偏光方向が異なる偏光画像を撮像部２１１-1～２１１-4によって生成してステップＳＴ１１～ステップＳＴ１４に進む。
　ステップＳＴ１１～ステップＳＴ１４でデプスマップ生成部２２は、デプスマップを生成する。デプスマップ生成部２２は、視点位置が異なる２つの偏光画像からデプスマップを生成してステップＳＴ２０に進む。なお、偏光画像のペアは図２２に示す組み合わせに限られない。
　ステップＳＴ２０でデプスマップ生成部２２はデプスマップ統合処理を行う。デプスマップ生成部２２は、ステップＳＴ１１～ステップＳＴ１４で生成したデプスマップを統合してステップＳＴ３０に進む。
　ステップＳＴ３０で位置合わせ部２３は、偏光画像位置合わせ処理を行う。位置合わせ部２３は、統合後のデプスマップを利用して偏光画像の位置合わせを行ってステップＳＴ４０に進む。
　ステップＳＴ４０で偏光特性取得部２４は、偏光特性取得処理を行う。偏光特性取得部２４は、位置合わせ後の偏光画像を用いて所望の視点位置に対する偏光モデル式を算出してステップＳＴ７０に進む。
　ステップＳＴ７０で偏光特性利用部２７は偏光特性利用処理を行う。偏光特性利用部２７は取得した偏光特性を利用して例えば画像の加工処理を行う。図２３～図２５は、偏光特性を利用した加工処理として、画像の反射成分の調整を行う場合を例示している。図２３の（ａ），図２４の（ａ），図２５の（ａ）は、ステップＳＴ４０で算出された偏光モデル式に基づき、方位角と輝度の関係を例示している。ここで、最低輝度Ｉminまでの範囲は偏光状態にかかわらず輝度変化が生じない成分であり、最低輝度Ｉminから最高輝度Ｉmaxまでの輝度範囲は偏光状態によって輝度が変化する範囲である。したがって、方位角に応じた輝度に制御すれば、擬似的にＰＬフィルタに相当するフィルタ効果を得ることが可能となり、図２３の（ｂ）に示すように通常撮像画像から所望の偏光方向の偏光フィルタを介した偏光画像を生成できる。
　また、最低輝度Ｉminまでの範囲は偏光状態にかかわらず輝度変化が生じない成分であり無偏光成分に相当し、最低輝度Ｉminから最高輝度Ｉmaxまでの輝度範囲は偏光状態によって輝度が変化する範囲であり偏光成分に相当する。したがって、図２４の（ｂ）に示すように、通常撮像画像から偏光成分に相当する輝度成分を除去することで、反射成分が除去された撮像画像を生成できる。
　さらに、最低輝度Ｉminまでの範囲は偏光状態にかかわらず輝度変化が生じない成分であり無偏光成分に相当しており、ほぼ拡散反射成分と見なせることができる。また、最低輝度Ｉminから最高輝度Ｉmaxまでの輝度範囲はほぼ鏡面反射成分と見なすことができる。したがって、したがって、図２５の（ｂ）に示すように、鏡面反射成分を抑制すれば光沢感の抑制された撮像画像を生成できる。また、鏡面反射成分を強調すれば光沢感の強調された撮像画像を生成できる。
　また、偏光特性利用部２７は、偏光特性取得部で算出された偏光特性を利用して画像特徴量の算出を行い、画像特徴量を用いて被写体の表面形状を考慮した処理、例えば立体的な被写体同士のマッチング処理や立体的な被写体の認識処理等を行うようにしてもよい。次に、被写体の表面形状を考慮した処理として立体的な被写体のマッチング処理を行う場合の動作について説明する。
　偏光特性利用部２７は、偏光特性を利用して、例えば画素毎に偏光画像における被写体の表面形状に応じた画像特徴量を算出する。図２６は、画像特徴量の算出を説明するための図である。図２６の（ａ）（ｂ）は、偏光画像における画像特徴量の特徴量算出対象画素（以下単に「対象画素」という）における偏光方向の角度と輝度の関係を例示しており、図２６の（ｂ）は、図２６の（ａ）に比べて例えば照明光が明るい場合を示している。なお、図２６は、偏光角を０度，４５度，９０度，１３５度とした場合を例示している。また、対象画素における偏光角が０度の時の輝度をＩ０°，Ｉ'０°、偏光角が４５度の時の輝度をＩ４５°，Ｉ'４５°、偏光角が９０度の時の輝度をＩ９０°，Ｉ'９０°、偏光角が１３５度の時の輝度をＩ１３５°，Ｉ'１３５°とする。このように、偏光画像の輝度は照明等によって変化する。したがって、偏光特性利用部２７は、輝度が異なる場合でも偏光特性が同じ特徴を持つか否かを判別可能となるように、輝度の正規化を行う。偏光特性利用部２７は、各偏光角の輝度の平均を算出して、算出された平均輝度で各偏光角の輝度を除算して、正規化された輝度を算出する。なお、図２６の（ｃ）は、正規化後の輝度を示しており、正規化基準レベルは平均輝度に相当する。
　偏光特性利用部２７は、正規化後の各偏光角の輝度を画像特徴量とする。なお、式（１８）は、偏光角が０度，４５度，９０度，１３５度の偏光画像を取得した場合の画像特徴量を例示している。
Figure JPOXMLDOC01-appb-M000011
　このようにして算出される画像特徴量は、対象画素に対応する被写体位置の表面形状を示す情報となる。また、偏光特性利用部２７は、算出した画像特徴量を用いて立体的な被写体のマッチング処理を行う。図２７は、偏光特性利用部でマッチング処理を行う場合の動作を例示している。
　偏光特性利用部２７は、一方の画像で検出されたマッチング対象の特徴点（以下「対象特徴点」という）が他方の画像で検出された特徴点の何れと一致するか画像特徴量を用いて判別する。特徴点の検出は、例えば偏光角υが０度，４５度，９０度，１３５度の輝度に基づいて算出された画像特徴量に基づいて特徴点を検出する。ここで、対象特徴点ＴＰ０の画像特徴量を［Ｆｏ ０°，Ｆｏ ４５°，Ｆｏ ９０°，Ｆｏ １３５°］とする。また、他方の特徴点ＴＱｊの画像特徴量を［Ｆｊ ０°，Ｆｊ ４５°，Ｆｊ ９０°，Ｆｊ １３５°］とする。なお、「ｊ」は他方の特徴点におけるｊ番目の特徴点を示す変数である。
　偏光特性利用部２７は、画像特徴量のベクトル同士の距離が最小となる点を判別してマッチング点とする。例えば、偏光特性利用部２７は、式（１９）の演算を行うことで、対象特徴点の画像特徴量との差分二乗和が最小となる特徴点ｊを、他方の特徴点から判別してマッチング点とする。
Figure JPOXMLDOC01-appb-M000012
　以上のように、第４の実施の形態によれば、算出された偏光特性を利用することで、種々の加工処理や被写体の表面形状を考慮した処理等を容易に行うことができる。また、第１の実施の形態の同様に、時間解像度および空間解像度の低下を招くことなく、所望の視点位置における偏光特性を画素毎に高精度に取得できる。
　＜５．他の実施の形態＞
　次に、他の実施の形態について説明する。他の実施の形態では、デプスマップを生成することなく法線マップを生成する場合を例示している。
　図２８は、他の実施の形態の機能構成を示す図である。画像処理装置１０は、撮像ユニット２１、位置合わせ部２３ａ、法線マップ生成部２５ａを有している。
　撮像ユニット２１は、偏光方向が視点位置毎に異なる偏光フィルタを介して複数の視点位置で被写体を撮像して偏光画像を生成する。撮像ユニット２１は、複数の撮像部例えば偏光方向が異なる３方向以上の偏光画像を生成できるように４台の撮像部２１１-1～２１１-4で構成されている。撮像部２１１-1の前面には偏光板２１０-1が設けられている。同様に、撮像部２１１-2～２１１-4の前面には、偏光板２１０-2～２１０-4が設けられている。偏光板２１０-1～２１０-4は互いに偏光方向が異なる方向とされており、撮像部２１１-1～２１１-4は互いに偏光方向が異なる偏光画像を生成する。撮像ユニット２１は、撮像部２１１-1～２１１-4で生成した偏光画像の画像データをデプスマップ生成部２２と位置合わせ部２３ａに出力する。
　撮像ユニット２１は、偏光板として例えば直線偏光板を用いる。また、撮像ユニット２１は、直線偏光板に限らず直線偏光板と１／４波長版からなる円偏光板を用いるようにしてもよい。さらに、撮像ユニット２１は、直線偏光板と撮像部との間に偏光解消板を設けてもよい。なお、撮像ユニット２１は、上述の第１の実施の形態と同様に他の構成で偏光方向が異なる３方向以上の偏光画像を生成してもよい。
　位置合わせ部２３ａは、撮像ユニット２１で生成された偏光画像の位置合わせを行う。位置合わせ部２３ａは、画像の特徴を利用することで、デプスマップを用いることなく偏光画像の位置合わせを行う。位置合わせ部２３ａは、例えば画面全体に対してホモグラフィにより画像間の移動等を近似的にモデル化して、このモデルに基づき偏光画像の位置合わせを行う。また、例えば静止している被写体を異なる視点位置から撮像すると、撮像画像間では被写体が動きを生じた画像となることから、位置合わせ部２３ａは、オプティカルフローなどを検出して、検出結果に基づき偏光画像の位置合わせを行うようにしてもよい。例えば、図２９に示すように近接した被写体（例えば車）と離れている被写体（例えば木々）が同一画面内に混在すると、図２９の（ａ）に示すように画面全体でオプティカルフローの検出を行った場合、精度よくオプティカルフローを検出することが困難である。したがって、図２９の（ｂ）に示すように画面を複数ブロックに分割して、ブロック毎にオプティカルフローの検出を行えば、近接した被写体と離れている被写体のそれぞれに対して精度よくオプティカルフローを検出できる。したがって、ブロック毎に検出したオプティカルフローを用いるようにすれば、偏光画像の位置合わせを精度よく行うことができる。
　法線マップ生成部２５ａは、偏光方向が３方向以上の位置合わせ後の偏光画像に基づき、偏光方向と偏光画像の輝度から輝度と偏光角の関係を求めて、最高輝度となる方位角αを判別する。また、法線マップ生成部２５ａは、輝度と偏光角の関係から得た最高輝度と最低輝度を用いて偏光度ρを算出して、偏光度と天頂角の関係を示す特性曲線に基づき、算出した偏光度ρに対応する天頂角θを判別する。このように、法線マップ生成部２５ａは、偏光方向が３方向以上の位置合わせ後の偏光画像に基づき、被写体の法線情報（方位角αと天頂角θ）を画素位置毎に求めて法線マップを生成する。
　このような他の実施の形態では、デプスマップを生成する必要がないことから法線マップを容易に生成できる。なお、デプスマップが生成されていないので、生成された法線マップは１８０度の不定性を有する。
　＜６．適用例＞
　次に、画像処理装置（画像処理方法）の適用例について説明する。図３０は、この技術の画像処理装置を用いた車両制御システムの概略構成を例示したブロック図である。車両制御システム９０は、通信ネットワーク９２０を介して接続された複数の制御部や検出部を備える。図３０に示した例では、車両制御システム９０は、駆動系制御部９３１、ボディ系制御部９３２、バッテリ制御部９３３、車外情報検出部９３４、無線通信部９３５および統合制御部９４０を備える。通信ネットワーク９２０は、例えば、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＬＡＮ（Local　Area　Network）またはＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。また、統合制御部９４０には、入力部９５１、音声出力部９５２、表示部９５３が接続されている。
　各制御部は、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラムまたは各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。
　駆動系制御部９３１は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御部９３１は、内燃機関または駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構として機能する。また、駆動系制御部９３１は、車両の制動力を発生させる制動装置等の制御装置としての機能、ＡＢＳ（Antilock　Brake　System）またはＥＳＣ（Electronic　Stability　Control）等の制御装置としての機能を有してもよい。
　駆動系制御部９３１には、車両状態検出部９３１１が接続される。車両状態検出部９３１１には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数または走行速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御部９３１は、車両状態検出部９３１１から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置またはブレーキ装置等を制御する。
　ボディ系制御部９３２は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御部９３２は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカーまたはフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御部９３２には、鍵を代替する携帯機から発信される電波または各種スイッチの信号が入力され得る。ボディ系制御部９３２は、これらの電波または信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　バッテリ制御部９３３は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池９３３１を制御する。例えば、バッテリ制御部９３３には、二次電池９３３１を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧またはバッテリの残存容量等の情報が入力される。バッテリ制御部９３３は、これらの信号を用いて演算処理を行い、二次電池９３３１の温度調節制御またはバッテリ装置に備えられた冷却装置等の制御を行う。
　車外情報検出部９３４は、車両制御システム９０を搭載した車両の外部の情報を検出する。車外情報検出部９３４には、この技術の画像処理装置１０を利用する。
　図３１は、撮像ユニットの設置例を示した図である。画像処理装置１０の撮像ユニット２１は、例えば、車両８０のフロントノーズ、サイドミラー、リアバンパ、バックドアおよび車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像ユニット２１-Ａおよび車室内のフロントガラスの上部に備えられる撮像ユニット２１-Ｂは、主として車両８０の前方の画像を取得する。サイドミラーに備えられる撮像ユニット２１-Ｃ，２１-Ｄは、主として車両８０の側方の画像を取得する。リアバンパまたはバックドアに備えられる撮像ユニット２１-Ｅは、主として車両８０の後方の画像を取得する。なお、図２６には、それぞれの撮像ユニット２１-Ａ乃至２１-Ｅの撮影範囲の一例を示している。撮像範囲ＡＲ-ａは、フロントノーズに設けられた撮像ユニット２１-Ａの撮像範囲を示し、撮像範囲ＡＲ-ｃ，ＡＲ-ｄは、それぞれサイドミラーに設けられた撮像ユニット２１-Ｃ，２１-Ｄの撮像範囲を示し、撮像範囲ＡＲ-ｅは、リアバンパまたはバックドアに設けられた撮像ユニット２１-Ｅの撮像範囲を示す。
　図３０に戻り、車外情報検出部９３４は、車両の周辺領域を撮像して偏光画像を取得する。また、車外情報検出部９３４は、取得した偏光画像から被写体の偏光特性を取得する。さらに、車外情報検出部９３４は、取得した偏光特性を利用して、車両制御等に利用可能な情報の生成等を行う。
　無線通信部９３５は、ＤＳＲＣ（登録商標）（Dedicated Short Range Communication）等の無線通信網を介して車外、例えば他車両や道路状況等を管理する管理センタと通信を行い、受信した情報を統合制御部９４０に出力する。また、無線通信部９３５は車外情報検出部９３４で取得した偏光特性等を他車両や管理センタ等へ送信する。なお、無線通信部９３５は、無線ＬＡＮの無線通信網、３Ｇ，ＬＴＥ，４Ｇなどの携帯電話用の無線通信網等の無線通信網を介して管理センタとの通信を行ってもよい。また、無線通信部９３５は、全地球測位システム（GNSS：Global Navigation Satellite System）の信号等を受信して測位を行い、測位結果を統合制御部９４０へ出力してもよい。
　統合制御部９４０には、入力部９５１、音声出力部９５２、表示部９５３が接続されている。入力部９５１は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチまたはレバー等、搭乗者によって入力操作され得る装置によって実現される。入力部９５１は、搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御部９４０に出力する。
　音声出力部９５２は、統合制御部９４０からの音声信号に基づいた音声を出力することで、車両の搭乗者に対して聴覚的に情報を通知する。表示部９５３は、統合制御部９４０からの画像信号に基づいて画像表示を行い、車両の搭乗者に対して視覚的に情報を通知する。
　統合制御部９４０は、ＣＰＵ(Central Processing Unit)，ＲＯＭ(Read Only Memory)，ＲＡＭ(Random Access Memory)等を有している。ＲＯＭ（Read　Only　Memory）は、ＣＰＵ(Central Processing Unit)により実行される各種プログラムを記憶する。ＲＡＭ（Random　Access　Memory）は、各種パラメータ、演算結果またはセンサ値等の情報を記憶する。ＣＰＵは、ＲＯＭに記憶されている各種プログラムを実行して、入力部９５１からの入力信号および通信ネットワーク９２０を介した各制御部や車外情報検出部および無線通信部との通信によって取得した情報、およびＲＡＭに記憶されている情報等に応じて車両制御システム９０内の動作全般を制御する。また、統合制御部９４０は、車両の搭乗者に対して、聴覚的に通知する情報を示す音声信号を生成して音声出力部９５２へ出力して、視覚的に情報を通知する画像信号を生成して表示部９５３へ出力する。また、統合制御部９４０は、無線通信部９３５を用いて他車両や管理センタ等の車外に存在する様々な機器と通信を行う。また、統合制御部９４０は、ＲＯＭまたはＲＡＭに記憶されている地図情報と無線通信部９３５から取得した測位結果に基づき、車両の走行支援を行う。
　なお、図３０に示した例において、通信ネットワーク９２０を介して接続された少なくとも二つの制御部が一つの制御部として一体化されてもよい。あるいは、個々の制御部が、複数の制御部により構成されてもよい。さらに、車両制御システム９０が、図示されていない別の制御部を備えてもよい。また、上記の説明において、いずれかの制御部が担う機能の一部または全部を、他の制御部に持たせてもよい。つまり、通信ネットワーク９２０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御部で行われるようになってもよい。
　このような車両制御システムにおいて、本技術の画像処理装置を例えば車外情報検出部に適用した場合、車外情報検出部では、被写体認識等を精度よく行うことや、空間解像度が高く精度の良好なデプスマップを生成することが可能となる。また、種々の加工処理、例えばＰＬフィルタに相当するフィルタ処理、反射成分の除去、光沢感の調整等を行うことで、反射や眩しさを抑えた撮像画像を生成することが可能となる。このため、車外情報検出部で生成されたデプスマップや加工処理後の画像等を用いて、障害物の検出や障害物までの距離の把握等を精度良く行うことができるようになり、より安全な走行を可能とする車両制御システムを構築できる。
　また、上述の画像処理装置は、撮像装置や撮像機能を有した電子機器等であってもよい。さらに、明細書中において説明した一連の処理は、ハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータに、上述の処理を行うプログラムをインストールして実行させることが可能である。
　例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述の実施の形態に限定して解釈されるべきではなく、例えば上述の実施の形態を組み合わせてもよい。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
　また、本技術の画像処理装置は以下のような構成も取ることができる。
　（１）　被写体の距離情報を示すデプスマップに基づいて、偏光方向が視点位置毎に異なる偏光フィルタを介して複数の視点位置で前記被写体を撮像して得られた偏光画像の位置合わせを行う位置合わせ部と、
　前記位置合わせ部で位置合わせした偏光画像を用いて、所望の視点位置からの前記被写体の偏光特性を取得する偏光特性取得部と
を有する画像処理装置。
　（２）　複数の視点位置で前記被写体を撮像して得られた画像から前記デプスマップを生成するデプスマップ生成部をさらに有する（１）に記載の画像処理装置。
　（３）　前記デプスマップ生成部は、前記複数の視点位置の画像における画像の組み合わせ毎にデプスマップを生成して、生成したデプスマップの統合を行い、
　前記位置合わせ部は、前記デプスマップ生成部で得られた統合後のデプスマップに基づいて前記偏光画像の位置合わせを行う（２）に記載の画像処理装置。
　（４）　前記デプスマップ生成部は、前記複数の視点位置で被写体を撮像して得られた画像として前記偏光画像を用いる（２）または（３）に記載の画像処理装置。
　（５）　前記デプスマップ生成部は、前記複数の視点位置で被写体を撮像して得られた画像として、前記偏光フィルタを介することなくまたは偏光方向が等しい偏光フィルタを介して撮像された画像を用いる（２）または（３）に記載の画像処理装置。
　（６）　前記偏光特性取得部は、前記位置合わせした複数の偏光画像の偏光方向と輝度に基づいて、所望の視点位置からの被写体の偏光特性を取得する（１）乃至（５）のいずれかに記載の画像処理装置。
　（７）　前記偏光特性取得部で算出された偏光特性に基づき、前記所望の視点位置における前記被写体の法線マップを生成する法線マップ生成部をさらに有する（１）乃至（６）のいずれかに記載の画像処理装置。
　（８）　前記法線マップ生成部は、前記位置合わせ部で用いたデプスマップに基づき偏光解析における１８０度の不定性を除去した法線マップを生成する（７）に記載の画像処理装置。
　（９）　前記位置合わせ部で用いたデプスマップと前記法線マップ生成部で生成した法線マップを統合して、前記位置合わせ部で用いたデプスマップよりも高精度なデプスマップを生成する高精度デプスマップ生成部をさらに有する（７）または（８）に記載の画像処理装置。
　（１０）　前記偏光方向が視点位置毎に異なる偏光フィルタを介して複数の視点位置で前記被写体を撮像して偏光画像を生成する撮像ユニットをさらに有する（１）乃至（９）のいずれかに記載の画像処理装置。
　（１１）　前記撮像ユニットでは、前記複数の視点位置毎に撮像部が設けられており、前記撮像部に偏光方向が異なる偏光フィルタを設けて前記複数の視点位置毎の偏光画像を生成する（１０）に記載の画像処理装置。
　（１２）　前記撮像ユニットでは、光軸方向に対して直交する方向にレンズが撮像素子の光入射面側に複数配置されており、各レンズに偏光方向が異なる偏光フィルタを設けて前記複数の視点位置毎の偏光画像を生成する（１０）に記載の画像処理装置。
　（１３）　前記撮像ユニットは、前記偏光フィルタを介することなくまたは偏光方向が等しい偏光フィルタを介して複数の視点位置で前記被写体を撮像して画像を生成する撮像部をさらに有する（１０）に記載の画像処理装置。
　（１４）　前記偏光特性取得部で算出された偏光特性を利用して画像の処理を行う偏光特性利用部をさらに有する（１）乃至（１２）のいずれかに記載の画像処理装置。
　（１５）　前記偏光特性利用部は、前記偏光特性取得部で算出された偏光特性を利用して、前記所望の視点位置における画像の反射成分を調整した画像を生成する（１４）に記載の画像処理装置。
　（１６）　前記偏光特性利用部は、前記偏光特性取得部で算出された偏光特性を利用して画像特徴量の算出を行い、画像特徴量を用いて前記被写体の表面形状を考慮した処理を行う（１４）または（１５）に記載の画像処理装置。
　この技術の画像処理装置と画像処理方法では、被写体の距離情報を示すデプスマップに基づいて、偏光方向が視点位置毎に異なる偏光フィルタを介して複数の視点位置で被写体を撮像して得られた偏光画像の位置合わせが行われる。さらに位置合わせした偏光画像を用いて、所望の視点位置からの被写体の偏光特性が取得される。このため、この偏光特性に基づき法線の算出を行えば、所望の位置から被写体の表面形状を精度よく検出できる。また、取得した偏光特性を利用することで、偏光フィルタの偏光方向を調整しながら所望の視点位置で撮像を行わなくとも、所望の偏光画像を取得できるようになる。したがって、被写体の３次元形状を取得する機器や撮像画の加工処理等を機器等に適している。
　１０・・・画像処理装置
　２１，２１ａ，２１－Ａ～２１－Ｅ・・・撮像ユニット
　２２，２２ａ・・・デプスマップ生成部
　２３，２３ａ・・・位置合わせ部
　２４・・・偏光特性取得部
　２５，２５ａ・・・法線マップ生成部
　２６・・・高精度デプスマップ生成部
　２７・・・加工処理部
　９０・・・車両制御システム
　２１０-1～２１０-4，２１０-n、２１０-p，２２３・・・偏光板
　２１１-1～２１１-6，２１１-n，２１１-p，２１１-p・・・撮像部
　２２１・・・イメージセンサ
　２２２・・・レンズ

Claims (17)

  1. 　被写体の距離情報を示すデプスマップに基づいて、偏光方向が視点位置毎に異なる偏光フィルタを介して複数の視点位置で前記被写体を撮像して得られた偏光画像の位置合わせを行う位置合わせ部と、
    　前記位置合わせ部で位置合わせした偏光画像を用いて、所望の視点位置からの前記被写体の偏光特性を取得する偏光特性取得部と
    を有する画像処理装置。
  2. 　複数の視点位置で前記被写体を撮像して得られた画像から前記デプスマップを生成するデプスマップ生成部をさらに有する
    請求項１に記載の画像処理装置。
  3. 　前記デプスマップ生成部は、前記複数の視点位置の画像における画像の組み合わせ毎にデプスマップを生成して、生成したデプスマップの統合を行い、
    　前記位置合わせ部は、前記デプスマップ生成部で得られた統合後のデプスマップに基づいて前記偏光画像の位置合わせを行う
    請求項２に記載の画像処理装置。
  4. 　前記デプスマップ生成部は、前記複数の視点位置で被写体を撮像して得られた画像として前記偏光画像を用いる
    請求項２に記載の画像処理装置。
  5. 　前記デプスマップ生成部は、前記複数の視点位置で被写体を撮像して得られた画像として、前記偏光フィルタを介することなくまたは偏光方向が等しい偏光フィルタを介して撮像された画像を用いる
    請求項２に記載の画像処理装置。
  6. 　前記偏光特性取得部は、前記位置合わせした複数の偏光画像の偏光方向と輝度に基づいて、所望の視点位置からの被写体の偏光特性を取得する
    請求項１に記載の画像処理装置。
  7. 　前記偏光特性取得部で算出された偏光特性に基づき、前記所望の視点位置における前記被写体の法線マップを生成する法線マップ生成部をさらに有する
    請求項１に記載の画像処理装置。
  8. 　前記法線マップ生成部は、前記位置合わせ部で用いたデプスマップに基づき偏光解析における１８０度の不定性を除去した法線マップを生成する
    請求項７に記載の画像処理装置。
  9. 　前記位置合わせ部で用いたデプスマップと前記法線マップ生成部で生成した法線マップを統合して、前記位置合わせ部で用いたデプスマップよりも高精度なデプスマップを生成する高精度デプスマップ生成部をさらに有する
    請求項７に記載の画像処理装置。
  10. 　前記偏光方向が視点位置毎に異なる偏光フィルタを介して複数の視点位置で前記被写体を撮像して偏光画像を生成する撮像ユニットをさらに有する
    請求項１に記載の画像処理装置。
  11. 　前記撮像ユニットでは、前記複数の視点位置毎に撮像部が設けられており、前記撮像部に偏光方向が異なる偏光フィルタを設けて前記複数の視点位置毎の偏光画像を生成する
    請求項１０に記載の画像処理装置。
  12. 　前記撮像ユニットでは、光軸方向に対して直交する方向にレンズが撮像素子の光入射面側に複数配置されており、各レンズに偏光方向が異なる偏光フィルタを設けて前記複数の視点位置毎の偏光画像を生成する
    請求項１０に記載の画像処理装置。
  13. 　前記撮像ユニットは、前記偏光フィルタを介することなくまたは偏光方向が等しい偏光フィルタを介して複数の視点位置で前記被写体を撮像して画像を生成する撮像部をさらに有する
    請求項１０に記載の画像処理装置。
  14. 　前記偏光特性取得部で算出された偏光特性を利用して画像の処理を行う偏光特性利用部をさらに有する
    請求項１に記載の画像処理装置。
  15. 　前記偏光特性利用部は、前記偏光特性取得部で算出された偏光特性を利用して、前記所望の視点位置における画像の反射成分を調整した画像を生成する
    請求項１４に記載の画像処理装置。
  16. 　前記偏光特性利用部は、前記偏光特性取得部で算出された偏光特性を利用して画像特徴量の算出を行い、画像特徴量を用いて前記被写体の表面形状を考慮した処理を行う
    請求項１４に記載の画像処理装置。
  17. 　位置合わせ部で、被写体の距離情報を示すデプスマップに基づいて、偏光方向が視点位置毎に異なる偏光フィルタを介して複数の視点位置で前記被写体を撮像して得られた偏光画像の位置合わせを行う工程と、
    　偏光特性取得部で、前記位置合わせした偏光画像を用いて、所望の視点位置からの前記被写体の偏光特性を取得する工程と
    を含む画像処理方法。
PCT/JP2015/080380 2014-12-01 2015-10-28 画像処理装置と画像処理方法 WO2016088483A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201580064243.4A CN107003110B (zh) 2014-12-01 2015-10-28 图像处理装置和图像处理方法
US15/515,260 US11206388B2 (en) 2014-12-01 2015-10-28 Image processing apparatus and image processing method for aligning polarized images based on a depth map and acquiring a polarization characteristic using the aligned polarized images
JP2016562351A JP6652065B2 (ja) 2014-12-01 2015-10-28 画像処理装置と画像処理方法
EP15865560.5A EP3228977A4 (en) 2014-12-01 2015-10-28 Image-processing device and image-processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-243299 2014-12-01
JP2014243299 2014-12-01

Publications (1)

Publication Number Publication Date
WO2016088483A1 true WO2016088483A1 (ja) 2016-06-09

Family

ID=56091438

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/080380 WO2016088483A1 (ja) 2014-12-01 2015-10-28 画像処理装置と画像処理方法

Country Status (5)

Country Link
US (1) US11206388B2 (ja)
EP (1) EP3228977A4 (ja)
JP (1) JP6652065B2 (ja)
CN (1) CN107003110B (ja)
WO (1) WO2016088483A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018207661A1 (ja) * 2017-05-11 2018-11-15 ソニー株式会社 光センサ、及び、電子機器
WO2019044123A1 (ja) * 2017-08-30 2019-03-07 ソニー株式会社 情報処理装置、情報処理方法、及び記録媒体
WO2019138678A1 (ja) * 2018-01-15 2019-07-18 キヤノン株式会社 情報処理装置及びその制御方法及びプログラム、並びに、車両の運転支援システム
JP2019534515A (ja) * 2016-11-03 2019-11-28 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ 移動体デバイスのための向上した深度マップ画像
WO2019235019A1 (ja) 2018-06-05 2019-12-12 ソニー株式会社 情報生成装置と情報生成方法およびプログラム
CN111465818A (zh) * 2017-12-12 2020-07-28 索尼公司 图像处理设备、图像处理方法、程序和信息处理系统
CN112954281A (zh) * 2019-12-10 2021-06-11 通用汽车环球科技运作有限责任公司 在配备有驾驶辅助系统的车辆中使用偏振相机生成三维点云
JP2022513847A (ja) * 2018-12-14 2022-02-09 スペクトラル エムディー，インコーポレイテッド 高精度マルチアパーチャスペクトルイメージングのためのシステムおよび方法
US11676245B2 (en) 2018-05-24 2023-06-13 Sony Corporation Information processing apparatus and method for processing information
US11948300B2 (en) 2018-12-14 2024-04-02 Spectral Md, Inc. Machine learning systems and methods for assessment, healing prediction, and treatment of wounds

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI694604B (zh) 2015-07-23 2020-05-21 光澄科技股份有限公司 光偵測器
US10761599B2 (en) 2015-08-04 2020-09-01 Artilux, Inc. Eye gesture tracking
US10861888B2 (en) 2015-08-04 2020-12-08 Artilux, Inc. Silicon germanium imager with photodiode in trench
WO2017024121A1 (en) 2015-08-04 2017-02-09 Artilux Corporation Germanium-silicon light sensing apparatus
US10707260B2 (en) 2015-08-04 2020-07-07 Artilux, Inc. Circuit for operating a multi-gate VIS/IR photodiode
EP3783656B1 (en) 2015-08-27 2023-08-23 Artilux Inc. Wide spectrum optical sensor
US10739443B2 (en) 2015-11-06 2020-08-11 Artilux, Inc. High-speed light sensing apparatus II
US10418407B2 (en) 2015-11-06 2019-09-17 Artilux, Inc. High-speed light sensing apparatus III
US10886309B2 (en) 2015-11-06 2021-01-05 Artilux, Inc. High-speed light sensing apparatus II
US10254389B2 (en) 2015-11-06 2019-04-09 Artilux Corporation High-speed light sensing apparatus
US10741598B2 (en) 2015-11-06 2020-08-11 Atrilux, Inc. High-speed light sensing apparatus II
JP2018029280A (ja) * 2016-08-18 2018-02-22 ソニー株式会社 撮像装置と撮像方法
JP2019015575A (ja) * 2017-07-05 2019-01-31 株式会社東芝 画像処理装置、測距装置および処理システム
WO2019125427A1 (en) * 2017-12-20 2019-06-27 Olympus Corporation System and method for hybrid depth estimation
US11105928B2 (en) 2018-02-23 2021-08-31 Artilux, Inc. Light-sensing apparatus and light-sensing method thereof
TWI788246B (zh) 2018-02-23 2022-12-21 美商光程研創股份有限公司 光偵測裝置
TWI780007B (zh) 2018-04-08 2022-10-01 美商光程研創股份有限公司 光偵測裝置及其系統
TWI795562B (zh) 2018-05-07 2023-03-11 美商光程研創股份有限公司 雪崩式之光電晶體
US10969877B2 (en) 2018-05-08 2021-04-06 Artilux, Inc. Display apparatus
CN110971889A (zh) * 2018-09-30 2020-04-07 华为技术有限公司 一种获取深度图像的方法、摄像装置以及终端
EP3863278B1 (en) * 2018-10-03 2023-04-19 FUJIFILM Corporation Imaging device
KR20200097865A (ko) * 2019-02-08 2020-08-20 삼성전자주식회사 깊이 측정을 위한 이미지 처리 시스템 및 이의 동작 방법
US20220375125A1 (en) * 2021-05-07 2022-11-24 Intrinsic Innovation Llc Systems and methods for using computer vision to pick up small objects

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5028138A (en) * 1989-05-23 1991-07-02 Wolff Lawrence B Method of and apparatus for obtaining object data by machine vision form polarization information
WO2009147814A1 (ja) * 2008-06-02 2009-12-10 パナソニック株式会社 法線情報を生成する画像処理装置、方法、コンピュータプログラム、および、視点変換画像生成装置
JP2010256138A (ja) * 2009-04-23 2010-11-11 Canon Inc 撮像装置及びその制御方法
JP2011171858A (ja) * 2010-02-16 2011-09-01 Sony Corp 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置
JP2013030889A (ja) * 2011-07-27 2013-02-07 Dainippon Printing Co Ltd 個体識別装置、個体識別対象物、個体識別方法、及びプログラム
JP2013044597A (ja) * 2011-08-23 2013-03-04 Canon Inc 画像処理装置および方法、プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1706725B1 (en) * 2003-12-03 2019-12-25 FPInnovations Circularly polarized light method for determining wall thickness and orientations of fibrils of cellulosic fibres
EP2120007A4 (en) 2007-02-13 2010-12-01 Panasonic Corp IMAGE PROCESSING SYSTEM, METHOD AND APPARATUS AND IMAGE FORMAT
WO2010131436A1 (ja) * 2009-05-15 2010-11-18 株式会社ニコン 測距装置および撮像装置
JP5440927B2 (ja) * 2009-10-19 2014-03-12 株式会社リコー 測距カメラ装置
US8760517B2 (en) * 2010-09-27 2014-06-24 Apple Inc. Polarized images for security
JP5831024B2 (ja) * 2011-08-04 2015-12-09 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP6516429B2 (ja) * 2014-09-16 2019-05-22 キヤノン株式会社 距離計測装置、撮像装置、および距離計測方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5028138A (en) * 1989-05-23 1991-07-02 Wolff Lawrence B Method of and apparatus for obtaining object data by machine vision form polarization information
WO2009147814A1 (ja) * 2008-06-02 2009-12-10 パナソニック株式会社 法線情報を生成する画像処理装置、方法、コンピュータプログラム、および、視点変換画像生成装置
JP2010256138A (ja) * 2009-04-23 2010-11-11 Canon Inc 撮像装置及びその制御方法
JP2011171858A (ja) * 2010-02-16 2011-09-01 Sony Corp 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置
JP2013030889A (ja) * 2011-07-27 2013-02-07 Dainippon Printing Co Ltd 個体識別装置、個体識別対象物、個体識別方法、及びプログラム
JP2013044597A (ja) * 2011-08-23 2013-03-04 Canon Inc 画像処理装置および方法、プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3228977A4 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019534515A (ja) * 2016-11-03 2019-11-28 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ 移動体デバイスのための向上した深度マップ画像
JP7044107B2 (ja) 2017-05-11 2022-03-30 ソニーグループ株式会社 光センサ、及び、電子機器
JPWO2018207661A1 (ja) * 2017-05-11 2020-06-18 ソニー株式会社 光センサ、及び、電子機器
WO2018207661A1 (ja) * 2017-05-11 2018-11-15 ソニー株式会社 光センサ、及び、電子機器
WO2019044123A1 (ja) * 2017-08-30 2019-03-07 ソニー株式会社 情報処理装置、情報処理方法、及び記録媒体
CN111465818A (zh) * 2017-12-12 2020-07-28 索尼公司 图像处理设备、图像处理方法、程序和信息处理系统
WO2019138678A1 (ja) * 2018-01-15 2019-07-18 キヤノン株式会社 情報処理装置及びその制御方法及びプログラム、並びに、車両の運転支援システム
US11676245B2 (en) 2018-05-24 2023-06-13 Sony Corporation Information processing apparatus and method for processing information
WO2019235019A1 (ja) 2018-06-05 2019-12-12 ソニー株式会社 情報生成装置と情報生成方法およびプログラム
JP2022513847A (ja) * 2018-12-14 2022-02-09 スペクトラル エムディー，インコーポレイテッド 高精度マルチアパーチャスペクトルイメージングのためのシステムおよび方法
JP7186298B2 (ja) 2018-12-14 2022-12-08 スペクトラル エムディー，インコーポレイテッド 高精度マルチアパーチャスペクトルイメージングのためのシステムおよび方法
US11631164B2 (en) 2018-12-14 2023-04-18 Spectral Md, Inc. System and method for high precision multi-aperture spectral imaging
US11948300B2 (en) 2018-12-14 2024-04-02 Spectral Md, Inc. Machine learning systems and methods for assessment, healing prediction, and treatment of wounds
CN112954281A (zh) * 2019-12-10 2021-06-11 通用汽车环球科技运作有限责任公司 在配备有驾驶辅助系统的车辆中使用偏振相机生成三维点云

Also Published As

Publication number Publication date
EP3228977A1 (en) 2017-10-11
JP6652065B2 (ja) 2020-02-19
US20170223339A1 (en) 2017-08-03
EP3228977A4 (en) 2018-07-04
CN107003110B (zh) 2020-09-15
US11206388B2 (en) 2021-12-21
JPWO2016088483A1 (ja) 2017-09-07
CN107003110A (zh) 2017-08-01

Similar Documents

Publication Publication Date Title
WO2016088483A1 (ja) 画像処理装置と画像処理方法
JP6708199B2 (ja) 撮像装置と画像処理装置と画像処理方法
WO2021004548A1 (zh) 一种基于双目立体视觉系统的车辆智能测速方法
US10460422B2 (en) Image processing device and image processing method
WO2017159382A1 (ja) 信号処理装置および信号処理方法
US11302022B2 (en) Three-dimensional measurement system and three-dimensional measurement method
WO2017057042A1 (ja) 信号処理装置、信号処理方法、プログラム、および、物体検出システム
JP7040447B2 (ja) 画像処理装置および情報生成装置と情報生成方法
WO2017056821A1 (ja) 情報取得装置と情報取得方法
CN105551020B (zh) 一种检测目标物尺寸的方法及装置
JP2011007794A (ja) デュアルステレオカメラを備えた距離測定装置
JP2020506487A (ja) シーンから深度情報を取得するための装置および方法
JP6701532B2 (ja) 画像処理装置および画像処理方法
JP2016175586A (ja) 車両周辺監視装置、車両周辺監視方法、及びプログラム
CN112455502B (zh) 基于激光雷达的列车定位方法及装置
US11663831B2 (en) Image processing device and image processing method
JP2019074535A (ja) 校正方法、校正装置、及びプログラム
JP6801666B2 (ja) 画像処理装置と画像処理方法および車両制御システム
Gehrig et al. 6D vision goes fisheye for intersection assistance
WO2021056185A1 (en) Systems and methods for partially updating high-definition map based on sensor data matching
CN111465818B (zh) 图像处理设备、图像处理方法、程序和信息处理系统
Huang et al. Wide-angle vision for road views
CN115523929B (zh) 一种基于slam的车载组合导航方法、装置、设备及介质
CN116362020A (zh) 一种基于多模态信息的场景流估计方法、系统及应用

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15865560

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016562351

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15515260

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2015865560

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015865560

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE