WO2019026287A1 - 撮像装置および情報処理方法 - Google Patents

撮像装置および情報処理方法 Download PDF

Info

Publication number
WO2019026287A1
WO2019026287A1 PCT/JP2017/028461 JP2017028461W WO2019026287A1 WO 2019026287 A1 WO2019026287 A1 WO 2019026287A1 JP 2017028461 W JP2017028461 W JP 2017028461W WO 2019026287 A1 WO2019026287 A1 WO 2019026287A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
polarizer
distance
imaging device
pixel
Prior art date
Application number
PCT/JP2017/028461
Other languages
English (en)
French (fr)
Inventor
征志 中田
Original Assignee
株式会社ソニー・インタラクティブエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・インタラクティブエンタテインメント filed Critical 株式会社ソニー・インタラクティブエンタテインメント
Priority to JP2019533870A priority Critical patent/JP6821028B2/ja
Priority to PCT/JP2017/028461 priority patent/WO2019026287A1/ja
Priority to US16/631,545 priority patent/US11252315B2/en
Publication of WO2019026287A1 publication Critical patent/WO2019026287A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets

Definitions

  • the present invention relates to a technique for acquiring information related to the state of a subject space by photographing.
  • Patent Document 1 There is known a game in which a user's body or marker is photographed by a camera, and the image area is replaced with another image and displayed on a display (see, for example, Patent Document 1).
  • the technology for acquiring the position and movement of the subject and the camera itself and recognizing the attributes of the subject by detecting and analyzing the image in the photographed image is not only the camera mounted on the game device and the information terminal but also the crime prevention It is widely introduced in systems including cameras, on-board cameras, cameras with robots, etc.
  • TOF Time Of Flight
  • This imaging device is a photoelectric conversion that is a unit for converting light transmitted through the polarizer layer into a charge, and a polarizer layer that includes a microlens and a polarizer that transmits a polarization component of a predetermined direction among light transmitted through the microlens.
  • an image sensor including pixels in which the photoelectric conversion units are arranged in each of a plurality of partial regions formed by dividing a pixel region corresponding to one of the microlenses in the arrangement of pixels including the conversion unit. It is characterized by
  • Yet another aspect of the present invention relates to an information processing method.
  • the information processing apparatus acquires, from the imaging apparatus, data of distance images acquired respectively from photographed images of multiple viewpoints, and integrates the distance images of multiple viewpoints in a three-dimensional space of the subject. And generating output data using the information on the position in the three-dimensional space.
  • the present invention it is possible to easily and accurately acquire information on a subject by using a photographed image.
  • acquisition of various information from the photographed image can be performed with stable accuracy.
  • FIG. 1 It is a figure which shows notionally the structure of the imaging device in this Embodiment. It is a figure which shows the structural example of the pixel with which the imaging device of this Embodiment is provided. It is a figure which illustrates the pixel arrangement in the image sensor of this embodiment. It is a figure which shows the outline of the structure of the image sensor in this Embodiment. In this embodiment, it is a figure for demonstrating the principle which acquires distance information by phase difference. It is a figure for demonstrating the relationship between the image acquired by this Embodiment, and a focal distance. It is a figure which shows typically the relationship of the focal distance in the case of FIG. 6, and a phase difference. It is a figure which shows the functional block of the image processing part in this Embodiment.
  • FIG. 16 is a diagram showing a variation of a photodiode provided in one pixel in this embodiment.
  • FIG. 13 is a diagram for describing processing in which a subject information generation unit integrates distance images of left and right viewpoints in the present embodiment.
  • FIG. 7 is a diagram for describing a method of acquiring state information of an object in a three-dimensional space by capturing an image while moving an imaging device in the present embodiment. It is a figure which shows the functional block of the imaging device which has the function to focus using the phase difference of polarization in this Embodiment.
  • FIG. 1 is a diagram conceptually showing the structure of the imaging device in the present embodiment.
  • the imaging device 12 includes an imaging optical system 14, an aperture 18, an imaging element 20, and an image processing unit 22.
  • the imaging optical system 14 has a general configuration including a focusing lens for forming an image of a subject on an imaging surface of the imaging device 20. In the drawing, one lens is shown as representative.
  • the diaphragm 18 has an opening and has a general configuration for adjusting the amount of incident light by changing its aperture.
  • the imaging device 20 includes a two-dimensional array of pixels, converts the intensity of incident light into a charge, and outputs the charge to the image processing unit 22.
  • the pixel in this embodiment mode has a structure in which at least a microlens, a polarizer, and a photodiode are integrally stacked.
  • a phase difference image obtained by dividing incident light into two images is obtained.
  • a region corresponding to one microlens is referred to as one pixel region.
  • a plurality of photodiodes are provided for one pixel.
  • the photodiode is a representative example of a mechanism for converting the intensity of incident light into charge
  • the present invention is not limited to this. That is, even if any photoelectric conversion mechanism is employed instead of the photodiode, the present embodiment can be realized similarly, and one unit mechanism for converting light into charge can be used instead of each photodiode.
  • the polarizer may be provided to all the pixels, or may be provided discretely to some of the pixels.
  • the image processing unit 22 performs image processing using the two-dimensional distribution of the luminance of light output from the imaging device 20, and generates a general color image and a distance image representing the distance to the subject as a pixel value.
  • the imaging device 12 may be further provided with an operation unit by the user and a mechanism for executing an imaging operation, an adjustment operation of imaging conditions, and the like according to the content of the operation.
  • the imaging device 12 establishes a communication with an external information processing device such as a game machine by wire or wireless, and has a mechanism for transmitting generated data and receiving control signals such as a data transmission request. Good. However, since these mechanisms may be similar to those of a general imaging device, the description thereof is omitted.
  • FIG. 2 shows an example of the structure of a pixel included in the imaging device 12.
  • the figure schematically shows the functional structure of the element cross section, and detailed structures such as interlayer insulating films and wirings are omitted. Further, in the drawing, the cross-sectional structure of two adjacent pixels is illustrated.
  • the pixel 110 includes a microlens layer 112, a color filter layer 114, a polarizer layer 116, and a photoelectric conversion layer 118.
  • the microlens layer 112 is provided for each pixel and condenses the light incident through the diaphragm 18.
  • the color filter layer 114 transmits light of a different color for each pixel.
  • the polarizer layer 116 includes a wire grid type polarizer in which a plurality of linear conductor members, for example, members (wires) such as tungsten and aluminum are arranged in stripes at intervals smaller than the wavelength of incident light.
  • Polarized luminance is obtained by converting the transmitted polarization component into a charge in the photoelectric conversion layer 118.
  • An image acquisition technique using a wire grid type polarizer as illustrated is disclosed, for example, in Japanese Patent Application Laid-Open No. 2012-80065 and the like.
  • the element structure of the imaging device 12 in the present embodiment is not limited to that illustrated.
  • the polarizer is not limited to the wire grid type, and may be any practical one such as a linear dichroism polarizer.
  • a cross section of the wire extending in the depth direction of the drawing is shown as a polarizer, but the principal axis angle of the polarizer is four, and the direction of the wire is different accordingly.
  • the polarizer layer 116 may have regions with and without a polarizer depending on the pixel. In the region where the polarizer is not provided, the light transmitted through the color filter layer 114 is incident on the photoelectric conversion layer 118 as it is.
  • the photoelectric conversion layer 118 includes a general photodiode and outputs incident light as a charge. As described above, in this embodiment, by providing a plurality of photodiodes for one microlens, light transmitted through different regions of the focusing lens is separately converted into charges.
  • a technique for performing focus detection based on the phase difference of light detected in this manner is put to practical use as a method of phase difference autofocus (see, for example, Japanese Patent Application Laid-Open No. 2013-106194).
  • the distance to the subject is acquired using the phase difference. If the detection values of a plurality of photodiodes provided in one pixel are summed, the luminance for one pixel in a general imaging device can be obtained. That is, according to the configuration of the pixels shown in FIG. 2, a general color image, a distance image, and a polarization image can be obtained simultaneously.
  • FIG. 3 exemplifies a pixel array in the imaging device 20.
  • the figure schematically shows a combination of layers when a partial region of the imaging device 20 is viewed from the top, and a vertically long rectangle indicates one photodiode (for example, the photodiode 120).
  • the pair of left and right two photodiodes correspond to one pixel (for example, pixel 122).
  • the color filters in the color filter layer 114 are arranged in a Bayer pattern, and any of red, green and blue light is detected for each pixel. In the figure, they are indicated by the letters "R", "G” and "B" respectively.
  • polarizers are provided in the pixels 124 a and 124 b shown by thick lines.
  • the thick diagonal lines in these pixels 124a and 124b indicate the wires that make up the polarizer. That is, the pixels 124a, 124b are provided with polarizers of different principal axis angles. Although two types of polarizers whose main axis angles are orthogonal to each other are illustrated in the figure, another pixel is used to provide four types of polarizers having main axis angles every 45 degrees.
  • Each polarizer transmits polarization components in a direction orthogonal to the direction of the wire.
  • the photodiode provided in the lower layer outputs a charge representing the luminance of the polarized light component in four directions at 45 ° intervals.
  • detection values from two photodiodes provided in one pixel may be summed.
  • the pixel provided with the polarizer is a green pixel.
  • the pixels provided with the polarizer can be made relatively close to each other, and it is possible to obtain polarization luminance of a plurality of azimuths of the same color with high resolution.
  • a polarization image of four directions can be obtained by separating and interpolating this for each polarization direction.
  • the polarization image it is possible to obtain the normal vector of the object surface.
  • the normal vector represents the inclination of a minute area on the surface of the subject, and this can be used to interpolate the distance value at the feature point obtained based on the phase difference. Since the distance value and the normal vector due to the phase difference are simultaneously obtained from the photographed images of the same viewpoint by the same imaging device 12, accurate interpolation can be realized without the need for alignment and the like.
  • the color filter layer 114 may be removed from the pixel 110.
  • the color filter may be a dye-based filter such as cyan or magenta.
  • the arrangement shown in FIG. 3 is merely an example, and the pixel arrangement of this embodiment is not limited to this.
  • the density of pixels provided with a polarizer may be further increased, or polarizers may be provided in all the pixels.
  • FIG. 4 shows the outline of the structure of the image sensor in the present embodiment.
  • the image sensor 170 includes a pixel unit 172, a row scanning unit 174 as a peripheral circuit, a horizontal selection unit 176, a column scanning unit 180, and a control unit 178.
  • the pixel section 172 is formed by arranging the pixels as shown in FIG. 2 in a matrix.
  • Each photodiode in the photoelectric conversion layer 118 is connected to the row scanning unit 174 for each row, the horizontal selection unit 176 for each column, and the column scanning unit 180.
  • the row scanning unit 174 is configured by a shift register, an address decoder, and the like, and drives each pixel row by row.
  • the signal output from the pixel selectively scanned by the row scanning unit 174 is supplied to the horizontal selection unit 176.
  • the horizontal selection unit 176 is configured by an amplifier, a horizontal selection switch, and the like.
  • the column scanning unit 180 is configured of a shift register, an address decoder, and the like, and drives in order while operating each horizontal selection switch of the horizontal selection unit 176.
  • the signal from each pixel supplied to the horizontal selection unit 176 is output to the outside by the selective scanning by the column scanning unit 180.
  • the control unit 178 generates a timing signal, and controls the drive timing of the horizontal selection unit 176, the column scanning unit 180, and the like.
  • the peripheral circuit as illustrated may be divided into two depending on the presence or absence of a polarizer so that the timing and interval of data reading can be controlled independently.
  • the frame rate of the pixel including the polarizer may be increased.
  • it is possible to increase the detection sensitivity of the movement of the surface of the subject by obtaining the distribution of the normal vector at a high frequency using the luminance distribution of polarized light output at a high rate. How to control the timing of data reading may be determined according to the processing content of the subsequent stage, the required detection sensitivity, and the like.
  • FIG. 5 is a diagram for explaining the principle of acquiring distance information by phase difference.
  • This figure shows a state in which the light from the subject 130 enters the imaging surface 134 of the imaging device 20 through the focusing lens 132 of the imaging optical system 14 as viewed from the upper side of the imaging space.
  • the states (a), (b) and (c) it is assumed that the distances from the imaging surface 134 to the subject 130 are different, and the subject 130 in the state (b) is at the in-focus position, that is, the focusing surface 138.
  • the light emitted from one point of the subject 130 forms an image at one point on the imaging surface 134 as illustrated. Therefore, one point of the subject 130 corresponds to one pixel, and even if two photodiodes are provided in one pixel, the luminous flux detected by them is from substantially the same point of the subject 130.
  • the position where the light forms an image is the imaging surface 134 It slips away.
  • the photodiode on the left side for example, the photodiode 138a
  • the photodiode on the right side for example, the photodiode 138b
  • phase difference images two images in which the luminances detected by the left photodiode and the right photodiode are pixel values are referred to as “phase difference images”, and the shift amount of the image of the same object in both is referred to as “phase difference”.
  • FIG. 6 is a diagram for explaining the relationship between an image acquired in the present embodiment and a focal length.
  • the figure schematically shows a phase difference image when the space in which the face and the cube exist is photographed.
  • the left and right images the left is detected by the left photodiode and the right is detected by the right photodiode.
  • a phase difference of (A'-A) occurs in the cube image.
  • (B) is the case where the cube is in focus. In this case, the cube image is at a distance A from the left edge of the image in both of the phase difference images, and there is no phase difference.
  • there is a B'-B phase difference in the image of the face there is a B'-B phase difference in the image of the face.
  • the phase difference may take a negative value because the direction in which the object deviates is reversed depending on whether the object is closer or farther than the focal distance.
  • FIG. 7 schematically shows the relationship between the focal length and the phase difference in the case of FIG.
  • the solid line in the figure shows the phase difference of the face, and the broken line shows the phase difference of the cube as a change with respect to the focal length.
  • the characteristics of the phase difference are not limited to those illustrated, due to various factors of the optical system.
  • the focal length is F1
  • the phase difference of the face is 0, and the cube has a phase difference of A'-A.
  • the focal length is F2
  • the phase difference of the cube is 0, and the face has a phase difference of B'-B.
  • the phase difference is uniquely determined by the focal length.
  • the focal length can be obtained similarly to the focusing function in a general imaging device.
  • the relationship between the distance of the subject from the focal distance (focus plane) and the phase difference is prepared in advance as a table that is experimentally obtained from an image obtained by actually shooting a subject at a known distance.
  • the distance from the imaging surface to the subject can be calculated by obtaining the distance from the focal plane based on the observed phase difference and further adding the focal length.
  • the brightness of light observed through the polarizer changes with the main axis angle ⁇ pol of the polarizer as in the following equation.
  • I max and I min are the maximum value and the minimum value of the observed luminance, respectively, and ⁇ is the polarization phase. If to shaft angle theta pol four types as described above were obtained polarization image, the brightness I of pixels at the same position will satisfy the formula 1 for each spindle angle theta pol. Therefore, I max , I min , and ⁇ can be obtained by approximating a curve passing through those coordinates (I, ⁇ pol ) to a cosine function using a least squares method or the like. The degree of polarization ⁇ is determined by the following equation using I max and I min thus determined.
  • the normal to the object surface can be expressed by an azimuth angle ⁇ that represents the angle of the light incident surface (emission surface in the case of diffuse reflection) and a zenith angle ⁇ that represents the angle on the surface.
  • the spectrum of reflected light is represented by a linear sum of the spectrum of specular reflection and diffuse reflection.
  • specular reflection is light that is specularly reflected on the surface of an object
  • diffuse reflection is light that is scattered by pigment particles that make up the object.
  • the above-mentioned azimuth angle ⁇ is a principal axis angle that gives the minimum luminance I min in Equation 1 in the case of specular reflection, and is a principal axis angle that gives the maximum luminance I max in Equation 1 in the case of diffuse reflection.
  • the zenith angle ⁇ has the following relationship with the degree of polarization s s in the case of specular reflection and the degree of polarization d d in the case of diffuse reflection, respectively.
  • n is the refractive index of the object.
  • the zenith angle ⁇ can be obtained by substituting the degree of polarization ⁇ obtained in Equation 2 into either ⁇ s or d d in Equation 3. From the azimuth angle ⁇ and the zenith angle ⁇ thus obtained, the normal vectors (p x , p y , p z ) are obtained as follows.
  • the normal vector of the object shown in the pixel can be determined from the relationship between the luminance I represented by each pixel of the polarization image and the principal axis angle ⁇ pol of the polarizer, and the normal vector distribution can be obtained as the entire image it can.
  • the normal can be determined with higher accuracy by adopting an appropriate model of specular reflection and diffuse reflection based on the color and material.
  • specular reflection and diffuse reflection since various techniques for separating specular reflection and diffuse reflection have been proposed, such techniques may be applied to obtain the normal more strictly.
  • FIG. 8 shows functional blocks of the image processing unit 22 in the present embodiment.
  • the functional blocks shown in FIG. 17 and FIG. 17 and FIG. 20 described later can be realized as hardware in the configuration of an imaging device, various arithmetic circuits, a microprocessor, a buffer memory, etc. Is realized by the program to be Therefore, it is understood by those skilled in the art that these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof, and is not limited to any of them.
  • the image processing unit 22 acquires two-dimensional data of luminance from the imaging device 20 and performs predetermined preprocessing, a focal length acquisition unit 30 which acquires an actual focal length, and a distance image based on the phase difference.
  • Feature point acquiring unit 34 that generates the normal point image generating unit 36 that generates a normal image from polarization luminance of a plurality of azimuths, and complements the distance value based on the phase difference using a normal vector to generate a distance image
  • the pixel value acquisition unit 32 acquires the luminance signal detected by the imaging device 20 as two-dimensional data, and performs predetermined preprocessing such as A / D conversion and clamping processing.
  • the focal length acquisition unit 30 reads out from the memory the focal length acquired in a focusing function (not shown) included in the imaging device 2 and the like. In an environment where focal length adjustment is possible, the data is read out each time the focal length changes. In an apparatus in which the focal length is fixed, the setting value is obtained in the beginning.
  • the feature point distance acquisition unit 34 includes a phase difference detection unit 46, a distance value acquisition unit 48, and a distance correspondence table 50.
  • the phase difference detection unit 46 separates pixel values detected by the left photodiode and the right photodiode among the pixel values acquired by the pixel value acquisition unit 32, and generates a phase difference image. At this time, all pixels in the Bayer arrangement may be processed, or only green pixels may be processed. Then, the feature points of both are extracted, and the phase difference is acquired for each feature point by specifying the position representing the same feature point in the subject.
  • the distance correspondence table 50 stores a distance correspondence table in which the distance from the focus plane is associated with the phase difference.
  • the distance value acquisition unit 48 refers to the distance correspondence table based on the phase difference acquired by the phase difference detection unit 46, and acquires a distance value corresponding to the phase difference. Then, the absolute value of the distance from the imaging surface is acquired for each feature point by adding to the focal length acquired from the focal length acquisition unit 30.
  • the normal-line image generation unit 36 extracts the value of the pixel provided with the polarizer among the pixel values acquired by the pixel value acquisition unit 32, and further separates and interpolates for each principal axis angle of the polarizer to obtain a plurality of azimuths. Generate a polarized image of At this time, detection values by two photodiodes provided in one pixel are summed up to form one pixel value. Further, by interpolating the polarization luminance of each azimuth, polarization luminances of a plurality of azimuths are acquired for the same position coordinate on the image plane. Then, the normal vector is calculated using Equations 1 to 4 based on the change in polarization luminance with respect to the azimuth.
  • the normal image generation unit 36 generates a normal image having three elements of the normal vector obtained for each pixel as pixel values. This image can basically have the same resolution as the captured image. On the other hand, depending on the normal vector and the resolution required for the subsequent distance image, the normal image may be generated at a lower resolution than the captured image.
  • the distance image generation unit 38 complements the distance value to the feature point generated by the feature point distance acquisition unit 34 using the normal image generated by the normal image generation unit 36 to obtain the pixel of the distance of the object surface. Generate a distance image represented as a value. That is, although the feature point distance acquiring unit 34 can acquire distance values for feature points such as the contour of the image of the subject and the surface pattern whose phase difference is known, it extracts feature points such as a monochrome smooth object surface. It is difficult to calculate the distance of the difficult area.
  • the normal image generation unit 36 can obtain the inclination of the object surface in detail for each minute area. Therefore, the normal vector is obtained by sequentially giving the slope based on the normal vector acquired by the normal image generation unit 36, starting from the distance value at the feature point acquired by the feature point distance acquisition unit 34. The distance can be determined with the same resolution as in.
  • the defect correction unit 40 corrects the pixel value of the pixel provided with the polarizer among the pixel values acquired by the pixel value acquisition unit 32.
  • a pixel provided with a polarizer reflects a polarization component in the same direction as the principal axis angle of the polarizer, light reaching the photodiode has lower intensity than light incident on the imaging surface. Therefore, by correcting the luminance of the pixel to a level similar to that of the surrounding pixels, it is possible to prevent some pixels of the color image from becoming a black point.
  • interpolation may be performed using peripheral pixel values, or the reduction rate of the light amount due to the polarizer may be obtained by experiment etc., and a constant based on that may be multiplied by the corresponding pixel value.
  • the detection values of the pair of photodiodes are summed and handled as one pixel value.
  • the color image generation unit 42 demosaic-processes the image after defect correction to generate a color image in which one pixel has three color values. That is, by interpolating the pixel values obtained in the Bayer arrangement as shown in FIG. 3 for each color, all the pixels have three elements. General demosaicing techniques can be applied to this process.
  • the output unit 44 acquires at least the data of the distance image generated by the distance image generation unit 38 and the data of the color image generated by the color image generation unit 42, and sequentially transmits the data to an external device.
  • the output unit 44 may temporarily store the data in a memory, a recording medium, or the like, and transmit the data to an external device at an appropriate timing according to a user operation or the like, or the user can carry it out.
  • various information processing can be performed accurately using them. For example, since the position of the subject in the three-dimensional space is known along with the color, they can be once arranged in the virtual space, and the display image can be reconstructed according to the viewpoint of the user wearing the head mounted display. At this time, virtual reality and augmented reality can be realized by generating an image for the left viewpoint and an image for the right viewpoint and displaying the display screen of the head mounted display in the left and right areas divided into two.
  • the output unit 44 may further output the normal image generated by the normal image generation unit 36.
  • the information on the normal line can be used for motion detection because it represents a change in the posture of the subject with higher sensitivity than the image of the subject itself.
  • the image processing unit 22 of the imaging device 12 can generate the distance image together with the color image, the load of the information processing apparatus that performs various processes using it can be suppressed, and Power consumption can be reduced.
  • At least one of the distance image generation unit 38, the feature point distance acquisition unit 34, and the normal image generation unit 36 may be provided in an information processing apparatus other than the imaging apparatus 12.
  • a logic circuit having at least a part of the functions as illustrated may be provided in the lower layer of the pixel array to be a stacked image sensor.
  • FIG. 9 schematically shows the transition of a photographed image in the image processing unit 22.
  • the pixel value acquisition unit 32 acquires data of a captured image such as the image 220.
  • a cube is shown as a subject.
  • the data to be acquired strictly includes information on the brightness of natural light or polarized light detected by the left photodiode and the right photodiode.
  • the feature point distance acquisition unit 34 acquires the phase difference of the feature point as described above, and generates data 222 of the distance value for the feature point from it and the focal length.
  • the data 222 shown in the figure is expressed in the form of a distance image in which the higher the distance value is, the higher the brightness is, and the place where the distance value is not obtained is the lowest brightness.
  • FIG. 3 when a pair of photodiodes are disposed on the left and right with respect to the area of one pixel, the phase difference appears in the horizontal direction of the image plane. Therefore, as shown in data 222, an accurate phase difference can not be specified for the edge in the horizontal direction, and the distance value is also indefinite.
  • the normal image generation unit 36 generates a normal image 224 using polarization images of a plurality of directions.
  • a part of the distribution of normal vectors of the cube surface is indicated by arrows, but in practice the normal vectors can be determined in pixel units.
  • the distance image generation unit 38 applies the inclination of the surface based on the normal vector in pixel units, starting from the distance of the edge portion obtained by the data 222 of the distance value based on the phase difference.
  • the distance between the edges in the data 222 is a plane, and the distance value of the surface including the horizontal edge portion where the distance value can not be obtained.
  • position information 226 in the world coordinate system can be acquired for a portion of the cube surface that is viewed as a captured image.
  • the distance image generation unit 38 may generate information related to the position coordinates of the object surface in such a three-dimensional space, or may generate a distance image in which the distance value is represented on the image plane.
  • FIG. 10 is a flowchart showing a processing procedure in which the image processing unit 22 in the present embodiment generates and outputs various data from the captured image.
  • the pixel value acquisition unit 32 acquires, from the imaging device 20, data of luminance detected by each photodiode (S10).
  • the obtained luminance data is supplied to the feature point distance acquisition unit 34, the normal image generation unit 36, and the defect correction unit 40.
  • the feature point distance acquisition unit 34 separates the luminance detected by the left photodiode and the right photodiode to generate a phase difference image, and acquires the phase difference by correlating the feature points (S14). Then, based on the phase difference and the focal length, the distance value for the pixels constituting the feature point is specified (S16).
  • the normal image generation unit 36 generates polarization images of a plurality of azimuths by extracting values of pixels detecting polarization and separating and interpolating the values for each principal axis angle of the polarizer (S18). Then, by acquiring the azimuth dependency of the polarization luminance at the same position, a normal vector is calculated for each pixel or in a unit larger than that, and a normal image is generated (S20).
  • the distance image generation unit 38 generates a distance image in which the distance value is complemented by obtaining the distance value using the normal image at a position where the distance value is not obtained by the phase difference (S22).
  • the defect correction unit 40 performs defect correction to amplify the luminance level of the pixel whose polarization is detected so as to be the same level as the other pixels (S24).
  • the color image generation unit 42 generates a color image by demosaicing the image of the corrected Bayer array (S26).
  • the output unit 44 sequentially outputs the data of the color image and the distance image to an external device or a memory (S28). At this time, data of the normal image may be output simultaneously.
  • the output target may be switched according to the request from the output destination device. If it is not necessary to end photographing or data output by a user operation or the like, the processing from S10 to S28 is repeated for each image frame (N in S30). If it is necessary to end the process, all the processes are ended (Y in S30).
  • the distance image generation unit 38 When the distance image generation unit 38 generates a distance image in S22, the distance images generated for a predetermined number of plural image frames are accumulated, and data obtained by averaging them is used as the distance image at that time.
  • the output may be performed at time intervals corresponding to a plurality of image frames. As a result, the ratio of noise components included in the distance image generated from one image frame can be reduced, and a distance image with high accuracy can be output.
  • the optimum number of frames for storing the distance image is determined by experiment or the like in consideration of the required accuracy and time resolution. Alternatively, the number of frames may be adaptively changed according to the luminance level of the actual captured image or the like.
  • the imaging device of this embodiment includes a structure in which a polarizer is provided on the upper layer of the pair of photodiodes.
  • a polarizer is provided on the upper layer of the pair of photodiodes.
  • FIG. 11 is a diagram for explaining the positional relationship between the polarizer and the photodiode. The figure shows a cross section of the laminated structure of the polarizer layers 230a, 230b, 230c and the photodiode pairs 232a, 232b, 232c and their positional relationship 234a, 234b, 234c viewed from the top.
  • FIG. 12 schematically shows a wire arrangement of polarizers at different positions on the imaging surface.
  • the shape of the polarizer is changed according to the position on the imaging device 20 to make the detection sensitivity in the photodiode uniform.
  • the loss of incident light is reduced by narrowing the wire width of the polarizer of the pixels 240b and 240c in the peripheral portion as compared to the pixel 240a in the central portion.
  • the wire width is gradually narrowed according to the distance from the center.
  • the wire height may be lowered or both the width and height may be changed according to the distance from the center.
  • the entire arrangement of the wires may be shifted by a small amount in line symmetry with respect to the center line.
  • the pixel 240b on the left side on the imaging device 20 shifts the entire wire array to the left
  • the pixel 240c on the right side shifts the entire wire array to the right.
  • the amount of incident light can be increased according to the angle.
  • the width, height, and shift amount of the wire optimize the values so as to minimize the in-plane distribution in the actual photographed image. At this time, as described in FIG. 11, the sensitivity difference between the pair of photodiodes is also minimized.
  • FIG. 13 and FIG. 14 are diagrams for explaining the unit of data and the generation path of various information in the case of making the reading unit different depending on the presence or absence of the polarizer.
  • each detection value is summed up and used as a pixel unit value 266 (S54) to be used for generating a polarized image or to determine the color value of the pixel in a color image (S56, S58) ).
  • polarization information and phase difference information are acquired only from the pixel provided with the polarizer.
  • the detection values summed up in the pixel 262 provided with a polarizer are used as they are for generating a polarization image or for determining the color value of the pixel in a color image (S66, S68).
  • the phase difference information is acquired from other than the pixel provided with the polarizer.
  • the sensitivity of the phase difference information can be increased as compared with the case of FIG. 13, the accuracy can be maintained even in an environment where the illuminance is low. By thus changing the reading unit depending on the presence or absence of the polarizer, it is possible to reduce the reading time while acquiring necessary information.
  • the value of a pixel provided with a polarizer may not be used to generate a color image, and pixel values in the periphery without a polarizer may be interpolated.
  • the reading unit and the data generation path may be optimized according to the accuracy and resolution required for various data, the surrounding illumination environment, the limitation of processing time, and the like.
  • the illuminance may be measured or the communication environment for data transmission may be measured, and switching may be performed according to the result.
  • FIG. 15 shows variations of polarizers at pixel values for which polarizers are provided.
  • polarizers with one main axis angle are provided for one pixel as described above. And, by changing the main axis angle every 45 °, four types of pixels as illustrated are obtained. These pixels are arranged at equal intervals or in proximity to each other on the imaging device 20. Since dispersing pixels where a polarizer is provided disperses pixels whose luminance level is lowered due to reflection, when a phase difference image or a color image is generated by pixels which are not provided with a polarizer, holes are accurately filled by interpolation. Can.
  • the entire imaging device 20 with pixels as shown in (b).
  • polarizers having different principal axis angles are provided in each of the regions corresponding to the pair of photodiodes.
  • two types of pixels are illustrated, each of which is a pair of polarizers whose principal axis angles differ by 90 °.
  • the process of acquiring the distance value from the phase difference is based on comparing the distributions of detection values by the left and right photodiodes.
  • the process of acquiring a normal vector from polarization information includes a process of comparing detected values of light transmitted through polarizers having different principal axis angles. Therefore, in the case of using a polarizer as shown in (c), the processing for acquiring the phase difference and the processing for acquiring the normal can be shared in that the detection values of the left and right photodiodes are compared.
  • FIG. 16 shows a variation of the photodiode provided in one pixel.
  • the photodiodes are arranged one by one in the left and right areas obtained by dividing the pixel area in the vertical direction.
  • the phase difference appears only in the horizontal direction of the image plane. Therefore, as described in FIG. 9, the phase difference becomes indeterminate with respect to some feature points such as an edge in the horizontal direction, and the distance value can not be obtained. Therefore, as illustrated, one photodiode may be disposed in each of four regions formed by dividing one pixel (for example, the pixel 280) into two in the vertical and horizontal directions.
  • the detection values of two vertically adjacent photodiodes are summed, the same phase difference image as that of the left photodiode and the right photodiode described above can be obtained, and the phase difference of the horizontal direction component can be acquired.
  • the detection values of two adjacent photodiodes are summed, a phase difference image can be obtained by the upper photodiode and the lower photodiode, and the phase difference of the vertical direction component can be acquired. As a result, the distance value can be obtained regardless of the direction of the feature point.
  • a polarizer with one principal axis angle is provided in each pixel, but as shown in FIG. 15, the principal axis angle of the polarizer is made different for each photodiode, and the presence or absence of the polarizer is controlled.
  • a photodiode may be provided for each of the four divided regions also for the pixel without a polarizer. Such non-polarizer pixels and certain pixels may be periodically arranged.
  • the color of the color filter may be the same in the pixel, or may be different for each photodiode.
  • one photodiode may be provided in each of the upper and lower areas divided in the lateral direction, or the pixel area may be divided into smaller than two rows and two columns, and the photodiodes may be arranged in each area.
  • FIG. 17 shows the configuration of functional blocks of the system when the imaging device is configured by a stereo camera.
  • This system includes an imaging device 300 and an information processing device 302.
  • the imaging device 300 includes a first imaging unit 12a and a second imaging unit 12b.
  • the first imaging unit 12a and the second imaging unit 12b correspond to the imaging device 12 shown in FIG. 1, respectively, and arrange them in the left and right so as to have a predetermined interval, thereby forming an imaging device 300.
  • the first imaging unit 12a is a left viewpoint
  • the second imaging unit 12b is a right viewpoint camera.
  • Each of the first imaging unit 12a and the second imaging unit 12b includes an image processing unit having the function shown in FIG. Therefore, the first imaging unit 12a of the imaging device 300 outputs the data of the distance image and the color image of the left viewpoint, and the second imaging unit 12b outputs the data of the distance image and the color image of the right viewpoint.
  • the information processing apparatus 302 acquires an image data acquisition unit 304 that acquires image data from the imaging apparatus 300, a subject information generation unit 306 that integrates the information to generate comprehensive information related to the position and orientation of the subject, and the information And an output data generation unit 308 that generates output data using the
  • the image data acquisition unit 304 acquires, from the imaging device 300, data of distance images and color images acquired for at least each of the left and right viewpoints.
  • the subject information generation unit 306 generates final information on the position, posture, shape, and the like of the subject by integrating the distance images acquired from the imaging device 300. That is, with respect to a portion of the subject which can not be seen from one of the viewpoints of the first imaging unit 12a and the second imaging unit 12b, data is compensated using the other distance image to minimize the portion where the distance is indefinite. .
  • the subject information generation unit 306 may further generate and integrate a distance image separately according to the principle of triangulation using color images of left and right viewpoints or luminance images of left and right viewpoints.
  • the output data generation unit 308 generates data to be output, such as a display image, using the color image and the distance image of the left and right viewpoints.
  • general processing such as linear matrix (color matrix) and gamma correction is performed at the time of output, and output to the display device.
  • FIG. 18 is a diagram for describing processing in which the subject information generation unit 306 integrates distance images of left and right viewpoints. As shown in the upper part of the figure, when the three-dimensional space 320 in which two cubes 322a and 322b exist is photographed from the left and right viewpoints L and R, a left viewpoint image 324a and a right viewpoint image 324b are obtained.
  • the area where the first imaging unit 12a and the second imaging unit 12b can independently obtain distance values is limited to a portion appearing as an image in the left viewpoint image 324a and the right viewpoint image 324b, respectively.
  • the left side of the cube 322b is seen only from the left viewpoint L
  • the right side of the cube 322a is seen only from the right viewpoint R, so their distance values are included in only one of the distance images. Therefore, the subject information generation unit 306 reduces the area where the distance value is indeterminate by applying the value of the other distance image to the area on the subject whose value is not obtained in one of the distance images.
  • the subject information generation unit 306 can generate information related to the position of the subject in the world coordinate system whose number of viewpoints is not limited to one by integrating the distance images of the plurality of viewpoints. The position is obtained for each minute area on the surface of the subject, and as a result, the posture and the shape of the subject are also obtained.
  • the accuracy can be enhanced by using the average value of them as the distance value.
  • the subject information generation unit 306 may itself generate a distance image using color images of left and right viewpoints, and may further integrate the results. In this case, further distance values can be obtained for regions viewed from both viewpoints, and as a result, three distance values can be obtained for the regions. If the average value of them is used as the distance value, the accuracy can be further improved. However, depending on the required accuracy, the processing time can be shortened by omitting the generation of a distance image using a color image.
  • the subject information generation unit 306 may further fill in the hole of the distance value by another means or further improve the accuracy.
  • a deep learning technique is being put to practical use as machine learning using a neural network.
  • the subject information generation unit 306 is made to learn so that the distance value and the change thereof can be derived from the color in the color image and the change thereof, the shape of the image, and the like. Then, using the color image that is actually acquired, the distance value of the region that can not be seen from the viewpoint of the imaging device may be estimated, or the distance value of the viewed region may be corrected to improve the accuracy.
  • this method is provided with a subject information generation unit having the same function in an information processing apparatus (not shown) connected to the imaging device 12. It is also good. This function is particularly effective in expanding the area where the distance value can be obtained or enhancing the accuracy in the case where the viewpoint of the imaging device is limited or the photographing environment where the luminance is not sufficient.
  • the function of the information processing apparatus 302 including the subject information generation unit 306 or a part of the functions of the imaging apparatus 300 may be provided to another apparatus connected to the network or a plurality of apparatuses may share the operation. You may do it. At this time, the information processing apparatus 302 or a display apparatus (not shown) may sequentially acquire the results, and appropriately perform its own processing or display an image accordingly.
  • FIG. 19 is a diagram for describing a method of acquiring state information such as the position, posture, and shape of a subject in a three-dimensional space by shooting while moving the imaging device 12.
  • the illustrated example shows how the imaging device 12 is moved along a circular orbit centered on a cube that is a subject.
  • an acceleration sensor is provided in the imaging device 12, and the imaging time, the captured image, and the position and orientation of the imaging device 12 in a three-dimensional space are associated with each other and recorded. Then, based on the color image and the distance image obtained for the viewpoint at each shooting time of a predetermined rate, a model space such as the three-dimensional space 320 of FIG. 18 is filled with the acquired data.
  • Such processing may be performed by the distance image generation unit 38 inside the imaging device 12 or may be performed by the subject information generation unit 306 of the information processing device 302.
  • the processing load on the information processing apparatus 302 can be reduced, and an increase in processing time can be suppressed.
  • how to move the imaging device 12 is not limited to that illustrated.
  • the imaging device 12 may be moved in a range corresponding to the movable range of the virtual viewpoint with respect to the image to be finally displayed.
  • the photographed image may be obtained in all directions by rotating the imaging device 12. Further, among the data acquired while moving the imaging device 12 as described above, memory consumption can be suppressed by devising that only the value for the feature point is accumulated for the distance value.
  • the imaging device 12 instead of moving the imaging device 12, similar information can be obtained by arranging three or more photographed images. Also in this case, the plurality of imaging devices 12 are installed to face each other so that the optical axis converges in the vicinity of the subject, as illustrated. Alternatively, the imaging device 12 may be installed in the opposite direction so that the optical axis diverges outward. In these cases, color images and range images at the same time can be obtained in a plurality of fields of view. It may be connected by stitching processing to obtain wide-angle information. At this time, only a part of the plurality of installed imaging devices may be the imaging device 12 having the functional block shown in FIG.
  • a function of generating a distance image is provided, and the other imaging apparatuses generate only a color image.
  • processing resources can be concentrated on necessary targets, such as processing at a later stage such as processing and superimposing virtual objects with high accuracy.
  • FIG. 20 shows functional blocks of an imaging apparatus having a function of focusing using a phase difference of polarization.
  • the imaging device 400 includes a pixel value acquisition unit 402 for acquiring detection values by each photodiode, a polarization phase difference detection unit 404 for detecting a phase difference of a polarization image from detection values by two photodiodes of pixels provided with a polarizer. And a focusing unit 406 that adjusts the position of the lens based on the phase difference of polarization and focuses on the appropriate position.
  • the pixel value acquisition unit 402 reads out a detection value by a photodiode in at least a pixel provided with a polarizer, and performs predetermined preprocessing such as A / D conversion and clamping processing.
  • the polarization phase difference detection unit 404 separates the polarization luminance distribution detected by the left photodiode and the right photodiode, and generates polarization images of four directions for each. Then, a polarization degree image representing the polarization degree obtained using Expression 2 on the image plane or a normal image representing the normal vector obtained from the polarization degree on the image plane are generated as a phase difference image.
  • the figure shows the phase contrast images 410a, 410b with polarization generated as such.
  • general natural light phase difference images 412 a and 412 b are shown for comparison.
  • a disk-shaped object is shown.
  • the outlines of the subject are obtained as feature points in the general natural light phase difference images 412a and 412b, while the information on the subject surface is scarce.
  • the change in luminance may be small and may not be regarded as a feature point. Therefore, when specifying the position of the feature point of these images 412a and 412b as shown by the arrow and focusing from the phase difference, it is conceivable that accurate adjustment can not be performed due to the lack of information.
  • the phase difference images 410a and 410b representing the degree of polarization or the normal vector represent the unevenness of the object surface, so they have higher sensitivity to the shape than the image of natural light and are less susceptible to illumination. Therefore, even if it looks like a uniform image, changes corresponding to the shape appear as an image as shown. Therefore, as indicated by the arrows, more positions of feature points on which the phase difference is based can be obtained. If these positional relationships are integrated to derive a phase difference and focusing is performed based thereon, more accurate and quick adjustment can be realized.
  • the focusing unit 406 derives an appropriate position of the lens based on the phase difference and performs adjustment, as in general focusing processing.
  • the illustrated imaging device 400 shows a functional block focusing only on the focusing function, but by combining with the image processing unit 22 shown in FIG. 8, a distance based on luminance data obtained by focusing with high accuracy It may be possible to output an image or a color image.
  • the image pickup device a plurality of photodiodes are provided for one microlens, and a polarizer is provided in an intermediate layer of at least a part of the microlens and the photodiode. Do. Thereby, the polarization image and the phase difference image can be simultaneously acquired. Then, the distance at the feature point of the subject is obtained based on the phase difference, and the distance between the feature points is complemented using the normal vector obtained from the polarization to obtain a distance value with respect to a wide area of the photographed image You can get
  • the distance on the object on the subject which is captured in the image of one viewpoint but not captured in the image of the other viewpoint becomes indefinite.
  • the distance can be derived if it appears in the captured image, so in some cases more distance data can be obtained using a stereo camera. Therefore, it can be used as a substitute for a stereo camera, and the imaging device having a distance measuring function can be miniaturized.
  • the results of the left and right photographed images can be integrated, so that a wider range of distance values can be obtained, and the position and orientation of the subject in three-dimensional space can be accurately reproduced.
  • the accuracy of distance information can be further improved by obtaining and integrating distance images as in the prior art using color images of left and right viewpoints. Since these methods do not depend on light of a specific wavelength band such as infrared light, information can be similarly obtained outdoors.
  • the present invention can be applied to all types of information processing without restriction on the processing of the latter stage.
  • acquisition of distance values based on phase difference generation of a normal image based on polarization, and processing of integrating them to generate a distance image can basically be performed in row units or several units of image planes.
  • the line buffer can be implemented by an arithmetic circuit in the imaging apparatus. Therefore, it is possible to share the function with an apparatus that performs information processing and display processing using various data, and to cope with photographing and display at a high frame rate.
  • phase difference of polarization since it is possible to acquire the phase difference of polarization, it is possible to extract the change of the shape as the feature point with high sensitivity even if the object surface is a rough surface that is not extracted as the feature point in the natural light image. Therefore, it is possible to obtain much information as the basis of the phase difference, and it is possible to further improve the accuracy of the conventional focusing function. Even in the case of a stereo camera, more feature points can be obtained than the luminance image of natural light by using the polarization degree image and the normal image, and thus a distance image by acquiring corresponding points from images of left and right viewpoints The generation accuracy of can also be enhanced.
  • the detection subject is not limited to the photodiode as long as it is a mechanism for converting light into charge.
  • some or all of the photodiodes may be used as the organic photoelectric conversion film.
  • the material and structure of the organic photoelectric conversion film can be appropriately determined by using a known technique described in WO 2014/156659 and the like.
  • a distance measurement technology by irradiating light of a predetermined wavelength band such as infrared light. That is, a mechanism for irradiating the reference light to the imaging device 12 is provided, and the reflected light is detected by the photodiode. By irradiating the reference light in a random pattern, it is possible to create feature points even on the surface of an object with a few feature points.
  • the processing in the image processing unit is the same as that of the present embodiment, but there are many feature points that are the basis of the phase difference, so distance values based on the phase difference can be acquired at more locations. Therefore, the accuracy of the complementation using the normal vector is improved, and the distance information can be obtained more accurately.
  • An illuminance sensor may be further provided in the imaging device 12 to irradiate the reference light when the illuminance is lower than a predetermined value to prevent the deterioration of analysis accuracy due to the illuminance decrease.
  • the imaging device in the present embodiment may be realized by a general camera whose main function is acquisition of a color image, or may be provided in another device having an imaging function.
  • it may be provided in a high-performance mobile phone, a portable terminal, a personal computer, a capsule endoscope, a wearable terminal and the like.
  • the functions of the defect correction unit 40 and the color image generation unit 42 may be omitted, and only the distance image may be output.
  • the color filter layer of the imaging device may be omitted.
  • all pixel regions are divided into partial regions, and photodiodes are arranged respectively.
  • one photodiode is made to correspond to one microlens. May be included.
  • one photodiode may be provided for a pixel provided with a polarizer. In this case, the phase difference image is acquired from the other pixels.
  • a plurality of photodiodes may be provided only for pixels provided with a polarizer. In any case, it is possible to obtain the same effect by omitting the process of summing the detection values described in the present embodiment.
  • imaging device 20 imaging element 22 image processing unit 30 focal length acquisition unit 32 pixel value acquisition unit 34 feature point distance acquisition unit 36 normal image generation unit 38 distance image generation unit 40 defect correction unit 42 color image generation unit 44 output unit 46 phase difference detection unit 48 distance value acquisition unit 110 pixels 112 micro lens layer 114 color filter layer 116 polarizer layer 118 photoelectric conversion layer 300 imaging device 302 Information processing apparatus, 304 image data acquisition unit, 306 subject information generation unit, 308 output data generation unit, 400 imaging device, 402 pixel value acquisition unit, 404 polarization phase difference detection unit, 406 focusing unit.
  • the present invention is applicable to various electronic devices such as an imaging device, a game device, a portable terminal, a personal computer, a wearable terminal, and a system including the same.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

画素１１０においてマイクロレンズ層１１２は画素領域ごとにマイクロレンズを備える。カラーフィルタ層１１４は所定色の光を透過する。偏光子層１１６は一部または全ての画素領域に所定方位の偏光成分を透過する偏光子を備え、その検出値により被写体の法線ベクトルを取得する。光電変換層１１８は、画素領域に複数のフォトダイオードを備える。その検出値に基づく位相差により被写体の特徴点の距離を取得する。

Description

撮像装置および情報処理方法
　本発明は撮影により被写空間の状態に係る情報を取得する技術に関する。
　ユーザの体やマーカーをカメラで撮影し、その像の領域を別の画像で置換してディスプレイに表示するゲームが知られている（例えば、特許文献１参照）。撮影画像における像を検出し解析することにより、被写体やカメラ自体の位置や動きを取得したり被写体の属性を認識したりする技術は、ゲーム装置や情報端末に搭載されたカメラのみならず、防犯カメラ、車載カメラ、ロボット搭載カメラなどを含むシステムにおいても広く導入されている。
欧州特許出願公開第０９９９５１８号明細書
　上述のような技術において、被写体までの距離を正確に特定することは常に重要な課題である。しかしながら一般に距離の情報を得るには、複雑なカメラシステムや多大な信号処理時間が必要となる。画像撮影とともに距離値を取得する代表的な技術として、ステレオカメラにより左右の視点から同時に撮影したステレオ画像を用い、その対応点の視差から三角測量の原理で距離を求める手法がある。この手法はステレオ画像から特徴点が検出できることが前提となるため、単色で平坦な面など特徴点が乏しい被写体の場合、精度が悪化したり距離が求められなかったりすることがある。
　またステレオ画像の双方に同じ特徴点が表れている必要があるため、左右の視点の一方からのみ見える箇所についても距離値を得ることができない。さらにステレオカメラの出力データをそれぞれ処理する必要があり、単眼のカメラと比較し多くの処理リソースや消費電力を要する。
　赤外線を照射し反射光を検出するまでの時間に基づき距離値を算出するＴＯＦ（Time Of Flight）や、ドット状の赤外線をパターン照射し、それを特徴点としてステレオ画像から距離を求めるなど参照光を用いた技術では、太陽光下で検出精度が悪化するという課題がある。参照光を利用しない場合も、室内か屋外か、照明の数や明るさなど、撮影環境における光の状態によって撮影画像が変化し、画像解析の精度に影響を与えることがある。
　本発明はこうした課題に鑑みてなされたものであり、その目的は、撮影画像を用いて、被写体に係る情報を容易かつ精度よく取得できる技術を提供することにある。本発明の別の目的は、撮影画像からの各種情報の取得を安定した精度で行える技術を提供することにある。
　本発明のある態様は撮像装置に関する。この撮像装置は、マイクロレンズと、マイクロレンズを透過した光のうち所定方位の偏光成分を透過させる偏光子を含む偏光子層と、偏光子層を透過した光を電荷に変換する単位である光電変換部と、を含む画素の配列において、１つの前記マイクロレンズに対応する画素領域を分割してなる複数の部分領域のそれぞれに、前記光電変換部を配置した画素を含む撮像素子を備えたことを特徴とする。
　本発明のさらに別の態様は情報処理方法に関する。この情報処理方法は情報処理装置が、複数視点の撮影画像からそれぞれ取得された距離画像のデータを撮像装置から取得するステップと、複数視点の距離画像を統合することにより、被写体の３次元空間での位置に係る情報を生成するステップと、３次元空間での位置に係る情報を用いて出力データを生成し出力するステップと、を含むことを特徴とする。
　なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置などの間で変換したものもまた、本発明の態様として有効である。
　本発明によると、撮影画像を用いて、被写体に係る情報を容易かつ精度よく取得できる。また、撮影画像からの各種情報の取得を安定した精度で行える。
本実施の形態における撮像装置の構成を概念的に示す図である。 本実施の形態の撮像装置が備える画素の構造例を示す図である。 本実施の形態の撮像素子における画素配列を例示する図である。 本実施の形態におけるイメージセンサの構造の概略を示す図である。 本実施の形態において、位相差により距離情報を取得する原理を説明するための図である。 本実施の形態で取得される画像と焦点距離の関係を説明するための図である。 図６のケースにおける焦点距離と位相差の関係を模式的に示す図である。 本実施の形態における画像処理部の機能ブロックを示す図である。 本実施の形態の画像処理部における撮影画像の変遷を模式的に示す図である。 本実施の形態における画像処理部が、撮影された画像から各種データを生成、出力する処理手順を示すフローチャートである。 本実施の形態における偏光子とフォトダイオードの位置的関係を説明するための図である。 本実施の形態における撮像面上の異なる位置における偏光子のワイヤ配列を模式的に示す図である。 本実施の形態において偏光子の有無によって読み出し単位を異ならせる場合の、データの単位と各種情報の生成経路を説明するための図である。 本実施の形態において偏光子の有無によって読み出し単位を異ならせる場合の、データの単位と各種情報の生成経路を説明するための図である。 本実施の形態において、偏光子を設ける画素値における偏光子のバリエーションを示す図である。 本実施の形態において、一画素に設けるフォトダイオードのバリエーションを示す図である。 本実施の形態において、撮像装置をステレオカメラで構成したときの、システムの機能ブロックの構成を示す図である。 本実施の形態において、被写体情報生成部が左右視点の距離画像を統合する処理を説明するための図である。 本実施の形態において、撮像装置を移動させながら撮影することにより、３次元空間における被写体の状態情報を取得する手法を説明するための図である。 本実施の形態における、偏光の位相差を利用して合焦する機能を有する撮像装置の機能ブロックを示す図である。
　図１は、本実施の形態における撮像装置の構成を概念的に示す図である。撮像装置１２は、結像光学系１４、絞り１８、撮像素子２０、および画像処理部２２を含む。結像光学系１４は被写体の像を撮像素子２０の撮像面に結像させる合焦レンズを含む一般的な構成を有する。なお図では１枚のレンズで代表させて示している。絞り１８は開口部を有し、その口径を変化させることにより、入射する光の量を調整する一般的な構成を有する。
　撮像素子２０は画素の２次元配列を含み、入射した光の強さを電荷に変換して画像処理部２２に出力する。本実施の形態における画素は少なくとも、マイクロレンズ、偏光子、フォトダイオードを一体的に積層させた構造を有する。ここで１つのマイクロレンズに対し複数のフォトダイオードを設けることにより、入射光を２つの画像に分割してなる位相差画像を取得する。以後の説明では１つのマイクロレンズに対応する領域を１つの画素領域とする。
　つまり１画素に対し複数のフォトダイオードを設ける。なおフォトダイオードは入射した光の強度を電荷に変換する機構の代表例であるが、本実施の形態をこれに限る趣旨ではない。すなわちフォトダイオードの代わりにいかなる光電変換機構を採用しても、本実施の形態を同様に実現でき、光を電荷に変換する１単位の機構を各フォトダイオードの代わりに用いることができる。また偏光子は全ての画素に設けてもよいし、一部の画素に離散的に設けてもよい。
　画像処理部２２は、撮像素子２０から出力された光の輝度の２次元分布を用いて画像処理を行い、一般的なカラー画像と、被写体までの距離を画素値として表した距離画像を生成する。なお撮像装置１２にはさらに、ユーザによる操作手段と、操作内容に応じて撮影動作や撮影条件の調整動作などを実行する機構が設けられていてよい。また撮像装置１２は、ゲーム機など外部の情報処理装置と、有線または無線により通信を確立し、生成したデータを送信したりデータ送信要求などの制御信号を受信したりする機構を有していてよい。ただしこれらの機構は一般的な撮像装置と同様でよいため説明は省略する。
　図２は撮像装置１２が備える画素の構造例を示している。なお同図は素子断面の機能的な構造を模式的に示しており、層間絶縁膜や配線などの詳細な構造は省略している。また同図では隣接した２画素分の断面構造を例示している。画素１１０はマイクロレンズ層１１２、カラーフィルタ層１１４、偏光子層１１６、および光電変換層１１８を含む。マイクロレンズ層１１２は画素ごとに設けられ、絞り１８を経て入射した光を集光する。
　カラーフィルタ層１１４は、画素ごとに異なる色の光を透過する。偏光子層１１６は、複数の線状の導体部材、例えばタングステンやアルミなどの部材（ワイヤ）を入射光の波長より小さい間隔でストライプ状に配列させたワイヤグリッド型偏光子を含む。マイクロレンズ層１１２により集光されカラーフィルタ層１１４を透過した光が偏光子層１１６に入射すると、偏光子のラインと平行な方向の偏光成分は反射され、垂直な偏光成分のみが透過する。
　透過した偏光成分を光電変換層１１８で電荷に変換することにより偏光輝度が取得される。図示するようなワイヤグリッド型偏光子を用いた画像取得技術については、例えば特開２０１２－８００６５号公報などに開示されている。ただし本実施の形態における撮像装置１２の素子構造は図示するものに限らない。例えば偏光子はワイヤグリッド型に限らず、線二色性偏光子など実用化されているもののいずれでもよい。なお同図では偏光子として、図面の奥行き方向に伸張するワイヤの断面を表しているが、偏光子の主軸角度は４通りとし、それに応じてワイヤの向きも異なる。
　また図示するように偏光子層１１６には、画素によって偏光子を備える領域と備えない領域があってよい。偏光子を設けない領域では、カラーフィルタ層１１４を透過した光がそのまま光電変換層１１８に入射する。光電変換層１１８は一般的なフォトダイオードを含み、入射した光を電荷として出力する。上述したように本実施の形態では、１つのマイクロレンズに対しフォトダイオードを複数設けることにより、合焦レンズの異なる領域を透過した光を別々に電荷に変換する。
　そのようにして検出した光の位相差に基づき焦点検出を行う技術は位相差オートフォーカスの一手法として実用化されている（例えば特開２０１３－１０６１９４号公報参照）。本実施の形態では当該位相差を利用して被写体までの距離を取得する。１画素に設けた複数のフォトダイオードによる検出値を合計すれば、一般的な撮像装置における１画素分の輝度が得られる。すなわち図２に示した画素の構成によれば、一般的なカラー画像、距離画像、偏光画像を同時に得ることができる。
　図３は、撮像素子２０における画素配列を例示している。同図は撮像素子２０の一部の領域を上面から見たときの各層の組み合わせを模式的に示しており、縦長の長方形が１つのフォトダイオード（例えばフォトダイオード１２０）を示している。左右２つのフォトダイオードの対が１画素（例えば画素１２２）に対応する。またカラーフィルタ層１１４におけるカラーフィルタはベイヤ配列とし、画素ごとに赤、緑、青のいずれかの光を検出する。図ではそれぞれ「Ｒ」、「Ｇ」、「Ｂ」の文字で示している。
　また太線枠で示した画素１２４ａ、１２４ｂには偏光子を設ける。これらの画素１２４ａ、１２４ｂにおける太い斜線は偏光子を構成するワイヤを示している。すなわち画素１２４ａ、１２４ｂは、異なる主軸角度の偏光子を備えている。図では主軸角度が互いに直交する２種類の偏光子が例示されているが、さらに別の画素を利用して、４５°おきの主軸角度を有する４種類の偏光子を設ける。
　各偏光子は、ワイヤの方向に直交する方向の偏光成分を透過する。これにより下層に設けたフォトダイオードは、４５°おきの４方向の偏光成分の輝度を表す電荷を出力する。当該画素から偏光輝度のみを得る場合は、１画素に設けた２つのフォトダイオードからの検出値を合計してよい。ベイヤ配列においては緑（Ｇ）に割り当てられる画素の密度が最も高いため、この例では、偏光子を設ける画素を緑の画素としている。
　これにより、偏光子を設ける画素を比較的近接させることができ、同じ色の複数方位の偏光輝度を高い分解能で得ることができる。これを偏光方位ごとに分離して補間することにより４方向の偏光画像が得られる。当該偏光画像を利用すれば、被写体表面の法線ベクトルを求めることができる。法線ベクトルは被写体表面の微小面積の傾斜を表していため、これを利用すれば、位相差に基づき取得される、特徴点における距離値を補間できる。同じ撮像装置１２による同一視点の撮影画像から、位相差による距離値と法線ベクトルが同時に得られるため、位置合わせ等の必要なく正確な補間を実現できる。
　なお画像表示などの目的でカラー画像を用いることがない場合、画素１１０からカラーフィルタ層１１４を除いた構成としてもよい。この場合、輝度画像、距離画像、および法線画像を得ることができる。あるいはカラーフィルタを、シアンやマゼンダなどの染料系フィルタとしてもよい。また図３に示した配列はあくまで例示であり、本実施の形態の画素配列をこれに限る趣旨ではない。例えば偏光子を設ける画素の密度をさらに高くしてもよいし、全ての画素に偏光子を設けてもよい。
　図４は本実施の形態におけるイメージセンサの構造の概略を示している。イメージセンサ１７０は画素部１７２と、周辺回路としての行走査部１７４、水平選択部１７６、列走査部１８０、制御部１７８を含む。画素部１７２は図２で示したような画素をマトリクス状に配列させてなる。
　光電変換層１１８における各フォトダイオードは、行ごとに行走査部１７４、列ごとに水平選択部１７６および列走査部１８０に接続されている。行走査部１７４はシフトレジスタやアドレスデコーダなどによって構成され、各画素を行単位で駆動する。行走査部１７４によって選択走査された画素から出力される信号は水平選択部１７６に供給される。水平選択部１７６は、アンプや水平選択スイッチなどによって構成される。
　列走査部１８０はシフトレジスタやアドレスデコーダなどによって構成され、水平選択部１７６の各水平選択スイッチを操作しつつ順番に駆動する。列走査部１８０による選択走査により、水平選択部１７６に供給された各画素からの信号が外部へ出力される。制御部１７８は、タイミング信号を生成し、水平選択部１７６および列走査部１８０などの駆動タイミングを制御する。
　本実施の形態のある態様では、偏光子を含む画素と含まない画素が存在する。この場合、偏光子を含む画素は入射光の一部を反射するため、偏光子を含まない画素よりフォトダイオードに到達する光の強度が小さくなる。また、偏光子を含む画素と含まない画素とでは、前者の方が得られる情報が多くなる。これらのことを考慮し、図示するような周辺回路を偏光子の有無によって２つに分け、データ読み出しのタイミングや間隔を独立に制御できるようにしてもよい。
　例えば偏光子を含む画素のフレームレートを小さくし、電荷の蓄積時間を他の画素より長くすることにより、画像平面全体で同レベルの輝度が得られるようにする。このようにすると、偏光子の有無にかかわらず画像全体を均一に扱える。あるいは逆に、偏光子を含む画素のフレームレートを高くしてもよい。この場合、高レートで出力される偏光の輝度分布を用いて、法線ベクトルの分布を高い頻度で求めることにより、被写体の面の動きの検出感度を上げることができる。データ読み出しのタイミングをどのように制御するかは、後段の処理内容や求められる検出感度などに応じて決定してよい。
　図５は、位相差により距離情報を取得する原理を説明するための図である。同図は被写体１３０からの光が、結像光学系１４の合焦レンズ１３２を経て撮像素子２０の撮像面１３４に入射する経路を、撮像空間の上側から見た状態を示している。状態（ａ）、（ｂ）、（ｃ）は、撮像面１３４から被写体１３０までの距離が異なり、状態（ｂ）における被写体１３０が、ピントが合った位置、すなわちピント面１３８にあるとする。
　つまり状態（ｂ）では、図示するように、被写体１３０の一点から出た光が、撮像面１３４において一点に結像する。したがって被写体１３０の一点は１つの画素に対応し、１画素に２つのフォトダイオードを設けても、それらにより検出される光束は被写体１３０の略同一の点からのものである。一方、被写体１３０が状態（ａ）のようにピント面１３８より奥にあったり、状態（ｃ）のようにピント面１３８より手前にあったりすると、光が一点に結像する位置が撮像面１３４からずれる。
　その結果、合焦レンズ１３２を左右（図の上下）に２分割してなる領域のどちらを通過したかで、その光束を捉える画素にずれが生じる。図の右側に拡大して示すように、マイクロレンズ１３６を透過した光のうち図の上側からの光は図の下側のフォトダイオード１３８ｂを介して、図の下側からの光は図の上側のフォトダイオード１３８ａを介して検出される。以後、フォトダイオードの対のうち、撮像面から見て左側のフォトダイオード（例えばフォトダイオード１３８ａ）を左フォトダイオード、右側のフォトダイオード（例えばフォトダイオード１３８ｂ）を右フォトダイオードとも呼ぶ。
　結果として、各画素のうち左フォトダイオードにより検出された輝度のみを抽出してなる画像と、右フォトダイオードにより検出された輝度のみを抽出してなる画像とでは、光束を捉える画素のずれに応じたずれが生じる。当該ずれ量は、被写体１３０とピント面１３８との距離に依存する。また被写体１３０がピント面１３８より撮像面１３４に近いか遠いかで、ずれる方向が逆転する。以後、左フォトダイオードおよび右フォトダイオードにより検出された輝度をそれぞれ画素値とする２つの画像を「位相差画像」、両者における同じ被写体の像のずれ量を「位相差」と呼ぶ。
　図６は、本実施の形態で取得される画像と焦点距離の関係を説明するための図である。同図は、顔と立方体が存在する空間を撮影したときの位相差画像を模式的に示しており、左右の画像のうち左が左フォトダイオードにより検出された画像、右が右フォトダイオードにより検出された画像である。このうち（ａ）は、顔に焦点が合っている場合である。この場合、顔の像は位相差画像の双方において左端からＢの距離にあり位相差が生じていない。一方、立方体の像には（Ａ’－Ａ）の位相差が生じている。（ｂ）は立方体に焦点が合っている場合である。この場合、立方体の像は位相差画像の双方において画像の左端からＡの距離にあり位相差が生じていない。一方、顔の像にはＢ’－Ｂの位相差が生じている。
　上述のとおり、被写体が焦点距離より近いか遠いかでずれる方向が逆になるため、位相差は負の値をとり得る。図７は、図６のケースにおける焦点距離と位相差の関係を模式的に示している。図の実線は顔の位相差、破線は立方体の位相差を、焦点距離に対する変化として示している。ただし実際には光学系の様々な要因により、位相差の特性は図示するものに限らない。焦点距離がＦ１のとき、図６の（ａ）で示したように顔の位相差は０であり、立方体にはＡ’－Ａの位相差が生じる。焦点距離がＦ２のときは、図６の（ｂ）で示したように立方体の位相差は０であり、顔にはＢ’－Ｂの位相差が生じる。
　すなわち被写体までの距離が固定値のとき、焦点距離によって位相差が一意に定まる。換言すれば、焦点距離と位相差が定まれば、被写体までの距離を特定できる。焦点距離は、一般的な撮像装置における合焦機能と同様に取得できる。また焦点距離（ピント面）からの被写体の距離と位相差との関係は、既知の距離にある被写体を実際に撮影した画像から実験的に求めたものをテーブルとして準備しておく。これにより、観測された位相差に基づきピント面からの距離を求め、さらに焦点距離を加算することで、撮像面から被写体までの距離を算出できる。
　次に、偏光画像から法線ベクトルを得る手法について説明する。複数方向の偏光成分の画像を利用して被写体の様々な情報を取得する技術は従来、研究が進められている。被写体表面の法線ベクトルを求める方法についても、例えば、Gary Atkinson and Edwin R. Hancock, "Recovery of Surface Orientation from Diffuse Polarization", IEEE Transactions on Image Processing, June 2006, 15(6), pp.1653-1664、特開２００９－５８５３３号公報などに開示されており、本実施の形態ではそれらを適宜採用してよい。以下、概要を説明する。
　まず偏光子を介して観察される光の輝度は、偏光子の主軸角度θｐｏｌに対し次の式のように変化する。
Figure JPOXMLDOC01-appb-M000001
　ここでＩｍａｘ、Ｉｍｉｎはそれぞれ、観測される輝度の最大値、最小値であり、φは偏光位相である。上述のとおり４通りの主軸角度θｐｏｌに対し偏光画像を取得した場合、同じ位置にある画素の輝度Ｉは、各主軸角度θｐｏｌに対し式１を満たすことになる。したがって、それらの座標（Ｉ，θｐｏｌ）を通る曲線を、最小二乗法等を用いて余弦関数に近似することにより、Ｉｍａｘ、Ｉｍｉｎ、φを求めることができる。そのように求めたＩｍａｘ、Ｉｍｉｎを用いて、次の式により偏光度ρが求められる。
Figure JPOXMLDOC01-appb-M000002
　対象物表面の法線は、光の入射面（拡散反射の場合は出射面）の角度を表す方位角αと、当該面上での角度を表す天頂角θで表現できる。また二色性反射モデルによれば、反射光のスペクトルは、鏡面反射と拡散反射のスペクトルの線形和で表される。ここで鏡面反射は物体の表面で正反射する光であり、拡散反射は物体を構成する色素粒子により散乱された光である。上述の方位角αは、鏡面反射の場合は式１において最小輝度Ｉｍｉｎを与える主軸角度であり、拡散反射の場合は式１において最大輝度Ｉｍａｘを与える主軸角度である。
　天頂角θは、鏡面反射の場合の偏光度ρｓ、拡散反射の場合の偏光度ρｄと、それぞれ次のような関係にある。
Figure JPOXMLDOC01-appb-M000003
　ここでｎは対象物の屈折率である。式２で得られる偏光度ρを式３のρｓ、ρｄのどちらかに代入することにより天頂角θが得られる。こうして得られた方位角α、天頂角θにより、法線ベクトル（ｐｘ，ｐｙ，ｐｚ）は次のように得られる。
Figure JPOXMLDOC01-appb-M000004
　このように偏光画像の各画素が表す輝度Ｉと偏光子の主軸角度θｐｏｌとの関係から、当該画素に写る対象物の法線ベクトルが求められ、像全体として法線ベクトル分布を得ることができる。例えばゲームのコントローラなど対象物を限定できる態様においては、その色や材質に基づき鏡面反射と拡散反射のうち適切なモデルを採用することにより、より高い精度で法線を求めることができる。一方、鏡面反射と拡散反射を分離する手法が様々に提案されているため、そのような技術を適用してより厳密に法線を求めてもよい。
　図８は、本実施の形態における画像処理部２２の機能ブロックを示している。同図及び後述する図１７、図２０に示す各機能ブロックは、ハードウェア的には、撮像素子、各種演算回路、マイクロプロセッサ、バッファメモリなどの構成で実現でき、ソフトウェア的には、メモリに格納されるプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
　画像処理部２２は、撮像素子２０から輝度の２次元データを取得し所定の前処理を実施する画素値取得部３２、実際の焦点距離を取得する焦点距離取得部３０、位相差に基づき距離画像を生成する特徴点距離取得部３４、複数方位の偏光輝度から法線画像を生成する法線画像生成部３６、位相差に基づく距離値を、法線ベクトルを用いて補完し距離画像を生成する距離画像生成部３８、画素値の欠陥を補正する欠陥補正部４０、デモザイク処理によりカラー画像を生成するカラー画像生成部４２、および、距離画像とカラー画像のデータを出力する出力部４４を備える。
　画素値取得部３２は、撮像素子２０が検出した輝度信号を２次元データとして取得し、Ａ／Ｄ変換、クランプ処理など所定の前処理を施す。焦点距離取得部３０は、撮像装置２が備える図示しない合焦機能などにおいて取得されている焦点距離をメモリから読み出す。焦点距離の調整が可能な環境においては、焦点距離が変化する都度、そのデータを読み出す。焦点距離を固定とする装置においては、その設定値を初期に取得しておく。
　特徴点距離取得部３４は、位相差検出部４６、距離値取得部４８、および距離対応テーブル５０を含む。位相差検出部４６は、画素値取得部３２が取得した画素値のうち、左フォトダイオードおよび右フォトダイオードにより検出された画素値を分離して位相差画像を生成する。このとき、ベイヤ配列のまま全ての画素を処理対象としてもよいし、緑の画素のみを処理対象とするなどでもよい。そして両者の特徴点を抽出し、被写体における同じ特徴点を表す位置を特定することにより、特徴点ごとに位相差を取得する。
　距離対応テーブル５０は、ピント面からの距離と位相差とを対応づけた距離対応テーブルを格納する。距離値取得部４８は、位相差検出部４６が取得した位相差に基づき距離対応テーブルを参照し、位相差に対応する距離値を取得する。そして焦点距離取得部３０から取得した焦点距離に加算することにより、撮像面からの距離の絶対値を特徴点ごとに取得する。
　法線画像生成部３６は、画素値取得部３２が取得した画素値のうち、偏光子を備えた画素の値を抽出し、さらに偏光子の主軸角度ごとに分離、補間することにより、複数方位の偏光画像を生成する。このとき、一つの画素に設けられた２つのフォトダイオードによる検出値を合計して１つの画素値とする。また各方位の偏光輝度を補間することにより、画像平面上の同じ位置座標に対し複数方位の偏光輝度を取得する。そして方位に対する偏光輝度の変化に基づき、式１から式４を用いて法線ベクトルを算出する。
　法線画像生成部３６は、画素ごとに得られた法線ベクトルの３要素を画素値とする法線画像を生成する。この画像は基本的には、撮影画像と同じ解像度を持つことができる。一方、法線ベクトルや後段の距離画像に求められる解像度によっては、撮影画像より低い解像度で法線画像を生成してもよい。
　距離画像生成部３８は、特徴点距離取得部３４が生成した、特徴点に対する距離値を、法線画像生成部３６が生成した法線画像を用いて補完することにより、被写体表面の距離を画素値として表した距離画像を生成する。すなわち特徴点距離取得部３４は、位相差が判明するような被写体の像の輪郭や表面の模様などの特徴点については距離値を取得できるものの、単色で滑らかな物体表面など特徴点が抽出しづらい領域の距離を算出することが難しい。
　一方、法線画像生成部３６は、物体表面の傾きを微小面積ごとに詳細に取得できる。したがって、特徴点距離取得部３４が取得した特徴点における距離値を始点として、法線画像生成部３６が取得した法線ベクトルに基づく傾斜を順次与えていくことで、法線ベクトルを得たのと同様の解像度で距離を求めることができる。欠陥補正部４０は、画素値取得部３２が取得した画素値のうち、偏光子を備える画素の画素値を補正する。
　偏光子を備える画素は、偏光子の主軸角度と同じ方位の偏光成分を反射するため、フォトダイオードへ到達する光は、撮像面へ入射した光より強度が低くなっている。したがって当該画素の輝度を、周囲の画素と同程度のレベルになるように補正することで、カラー画像の一部の画素が黒点となるのを防ぐ。補正処理として、周辺の画素値を用いて補間してもよいし、偏光子による光量の低下割合を実験などにより求めておき、それに基づく定数を該当する画素値に乗算するようにしてもよい。なお欠陥補正部４０においても、一対のフォトダイオードによる検出値を合計し１つの画素値として扱う。
　カラー画像生成部４２は、欠陥補正後の画像をデモザイク処理することにより、１画素が色の３要素の値を有するカラー画像を生成する。すなわち図３で示すようなベイヤ配列で得られている画素値を色ごとに補間することで、全ての画素が３要素を有するようにする。この処理には一般的なデモザイクの手法を適用できる。出力部４４は、少なくとも距離画像生成部３８が生成した距離画像のデータと、カラー画像生成部４２が生成したカラー画像のデータを取得し、順次外部の装置に送信する。
　あるいは出力部４４は、メモリや記録媒体などにそれらのデータを一旦格納し、ユーザ操作などに応じた適切なタイミングで外部の装置に送信したり、ユーザが持ち出したりできるようにしてもよい。本実施の形態では、同程度の解像度でカラー画像と距離画像を同時に取得できるため、それらを用いて様々な情報処理を精度よく行える。例えば被写体の３次元空間での位置が、その色と共に判明するため、それらを一旦、仮想空間に配置し、ヘッドマウントディスプレイを装着したユーザの視点に応じて表示画像を再構成できる。このとき左視点用の画像と右視点用の画像を生成し、ヘッドマウントディスプレイの表示画面を２分割してなる左右の領域に表示すれば、仮想現実や拡張現実を実現できる。
　なお出力部４４は、法線画像生成部３６が生成した法線画像をさらに出力してもよい。法線の情報は被写体の像そのものより高い感度で被写体の姿勢の変化を表すため、動き検出に用いることができる。なお図示するように撮像装置１２の画像処理部２２において、カラー画像とともに距離画像を生成できるようにすると、それを用いて各種処理を実施する情報処理装置の負荷を抑えられるとともに、当該装置での消費電力を抑えることができる。
　一方、距離画像生成部３８や、特徴点距離取得部３４、法線画像生成部３６の少なくともいずれかを、撮像装置１２以外の情報処理装置に設けるようにしてもよい。あるいは図示するような機能の少なくとも一部の機能を有するロジック回路を画素配列の下層に設け、積層型のイメージセンサとしてもよい。これにより、当該イメージセンサ内で多くの画像処理が完結するため、処理を高速化できるとともに、後段の処理が軽量化され大型の演算器を設ける必要がなくなる。
　図９は、画像処理部２２における撮影画像の変遷を模式的に示している。まず画素値取得部３２は画像２２０のような撮影画像のデータを取得する。図示する例では被写体として立方体が写っている。取得するデータは厳密には、左フォトダイオードおよび右フォトダイオードにより検出した、自然光あるいは偏光の輝度の情報を含む。特徴点距離取得部３４は上述のとおり特徴点の位相差を取得し、それと焦点距離とから特徴点に対する距離値のデータ２２２を生成する。
　図示するデータ２２２は、距離値が小さいほど高い輝度とし、距離値が得られない箇所は最低輝度とする距離画像の形式で表している。この場合、被写体である立方体のうち輝度勾配の高いエッジ部分が特徴点として抽出され、さらに位相差画像における位相差が判明する部分のみ、距離値を得ることができる。図３で示すように、一対のフォトダイオードを、１画素の領域に対し左右に配置すると、位相差は画像平面の水平方向に表れる。そのためデータ２２２に示すように、水平方向のエッジについては正確な位相差が特定できず、距離値も不定となる。
　一方、法線画像生成部３６は、複数方位の偏光画像を用いて法線画像２２４を生成する。図では立方体表面の法線ベクトルの分布の一部を矢印で示しているが、実際には法線ベクトルを画素単位で求めることができる。距離画像生成部３８は、位相差に基づく距離値のデータ２２２で得られているエッジ部分の距離を始点として、法線ベクトルに基づく表面の傾斜を画素単位で適用していく。その結果、データ２２２におけるエッジの間が平面であることや、距離値が得られなかった水平方向のエッジ部分を含めた表面の距離値が判明する。
　これにより、立方体表面のうち撮影画像として見えている部分について、ワールド座標系における位置情報２２６を取得することができる。距離画像生成部３８は、このような３次元空間での被写体表面の位置座標に係る情報を生成してもよいし、画像平面に距離値を表した距離画像を生成してもよい。
　次に、これまで述べた構成によって実現できる画像処理部２２の動作について説明する。図１０は、本実施の形態における画像処理部２２が、撮影された画像から各種データを生成、出力する処理手順を示すフローチャートである。まず画素値取得部３２は、撮像素子２０から、各フォトダイオードにより検出された輝度のデータを取得する（Ｓ１０）。得られた輝度データは、特徴点距離取得部３４、法線画像生成部３６、欠陥補正部４０に供給される。
　特徴点距離取得部３４は、左フォトダイオードおよび右フォトダイオードにより検出された輝度を分離して位相差画像を生成し、特徴点の対応をとることで位相差を取得する（Ｓ１４）。そして位相差と焦点距離に基づき特徴点を構成する画素に対する距離値を特定する（Ｓ１６）。法線画像生成部３６は、偏光を検出している画素の値を抽出するとともにそれを偏光子の主軸角度ごとに分離し補間することで、複数方位の偏光画像を生成する（Ｓ１８）。そして同じ位置における偏光輝度の方位依存性を取得することにより、法線ベクトルを画素ごと、あるいはそれより大きい単位で算出し、法線画像を生成する（Ｓ２０）。
　距離画像生成部３８は、位相差によって距離値が求められない箇所について、法線画像を用いて距離値を求めることにより、距離値が補完された距離画像を生成する（Ｓ２２）。一方、欠陥補正部４０は、偏光を検出している画素の輝度レベルを、その他の画素と同レベルとなるように増幅させる欠陥補正を行う（Ｓ２４）。カラー画像生成部４２は、補正されたベイヤ配列の画像をデモザイク処理することによりカラー画像を生成する（Ｓ２６）。
　出力部４４は、カラー画像と距離画像のデータを順次、外部の装置あるいはメモリなどに出力する（Ｓ２８）。このとき同時に法線画像のデータも出力してよい。出力先の装置からの要求に従って出力対象を切り替えてもよい。ユーザ操作などにより撮影やデータ出力を終了させる必要がなければ、Ｓ１０からＳ２８までの処理を画像フレーム単位で繰り返す（Ｓ３０のＮ）。処理を終了させる必要が生じたら全ての処理を終了させる（Ｓ３０のＹ）。
　なお距離画像生成部３８がＳ２２において距離画像を生成する際は、所定数の複数の画像フレームに対し生成した距離画像を蓄積し、それらを平均化したデータをその時点での距離画像として、当該複数の画像フレームに対応する時間間隔で出力するようにしてもよい。これにより、１つの画像フレームから生成した距離画像に含まれるノイズ成分の割合を軽減でき、精度の高い距離画像を出力できる。距離画像を蓄積するフレーム数は、求められる精度や時間分解能などに鑑み実験などにより最適値を求めておく。あるいは実際の撮影画像の輝度レベルなどに応じて、フレーム数を適応的に変化させてもよい。
　本実施の形態の撮像素子には、一対のフォトダイオードの上層に偏光子を設けた構造が含まれる。位相差を正確に求めるには一対のフォトダイオードで同等の輝度レベルを検出していることが前提となるが、偏光子のレイアウトによってはそのバランスが崩れることが考えられる。図１１は、偏光子とフォトダイオードの位置的関係を説明するための図である。図は偏光子層２３０ａ、２３０ｂ、２３０ｃとフォトダイオードの対２３２ａ、２３２ｂ、２３２ｃの積層構造の断面と、上面から見たそれらの位置関係２３４ａ、２３４ｂ、２３４ｃを示している。
　まず（ａ）のように偏光子層２３０ａに偏光子を設けない画素の場合、入射光が損失なくフォトダイオードに到達する。したがってフォトダイオードの対により検出する輝度レベルは同等である。（ｂ）や（ｃ）のように偏光子層２３０ｂ、２３０ｃに偏光子が存在する画素では、偏光子のワイヤでの反射によりフォトダイオードに到達する光は入射光の５割ほどになる。２つのフォトダイオードによる検出値を合計して画素値とし、カラー画像を生成する際は、上述のとおり所定値を乗算したり周囲の検出値を用いて補間したりすることにより、周囲の画素と同等の輝度レベルにできる。
　一方、（ｂ）のように偏光子のワイヤ配列が、画素の縦方向の中心線２３６に対し非対称となっていると、一対のフォトダイオード２３２ｂに相対するワイヤによる被覆面積が左右で異なってしまう。これにより、一対のフォトダイオード間で検出感度に差が生じることになる。このような画素を含めて位相差画像を生成すると、正確に位相差を検出できない可能性がある。ワイヤの面積比に基づく所定値を、感度が低い方のフォトダイオードによる検出値に乗算することによりレベルを均質化することも考えられるが、ノイズをも増幅してしまい位相差の精度が向上するとは限らない。
　したがって（ｃ）に示すように、画素の縦方向の中心線２３６に対し対称となるように偏光子のワイヤを配列させることが望ましい。これにより、１つの画素内でフォトダイオードにより検出される輝度レベルへの偏光子による影響を軽減できる。偏光子による光の検出感度差は、撮像素子２０の面内における画素の位置によっても生じる。図１２は、撮像面上の異なる位置における偏光子のワイヤ配列を模式的に示している。
　上段の側面図に示すように、撮像素子２０中心近傍の画素２４０ａでは、光がほぼ垂直に入射する一方、中心からの距離が大きくなるほど入射角度（ＣＲＡ；チーフレイアングル）が大きくなる。そのため周辺部ほど偏光子のワイヤによる実効的な遮蔽効果が大きくなり、光が入射しづらくなる結果、中心部と比較し光の検出感度が低くなる。このことは、上述した位相差画像における輝度レベルのバランスのみならず、偏光を用いた法線画像や、偏光輝度を補正して生成するカラー画像においても面内分布を生じさせる。
　そのため好適には、撮像素子２０上の位置によって偏光子の形状を変化させ、フォトダイオードにおける検出感度を均一にする。図示する例では中心部の画素２４０ａと比較し、周辺部の画素２４０ｂ、２４０ｃの偏光子のワイヤの幅を細くすることで入射光の損失を少なくしている。実際には中心部からの距離に応じてワイヤ幅を徐々に細くしていく。あるいは中心からの距離に応じてワイヤ高を低くしたり、幅と高さの双方を変化させたりしてもよい。
　またはワイヤの配列全体を、中心線に対し線対称に微小量だけシフトさせてもよい。例えば撮像素子２０上の左側の画素２４０ｂはワイヤ配列全体を左側へ、右側の画素２４０ｃはワイヤ配列全体を右側へシフトさせる。このようにしても光の入射量を角度に応じて高めることができる。ワイヤの幅、高さ、配列のシフト量は、実際の撮影画像において面内分布を最小限とするように値を最適化する。この際、図１１で説明したように、一対のフォトダイオードの感度差も最小となるようにする。
　これまで述べた態様では、全てのフォトダイオードによる検出値を個々に読み出し、画像処理部２２において必要なデータを抽出したり補間したりした。この場合、一般的な画素値と比較し、データの読み出しに多くの時間を要し、フレームレートに制約が生じることが考えられる。そのため、読み出し単位を偏光子の有無によって異ならせ、読み出しに要する時間を短縮することが考えられる。図１３、図１４は、偏光子の有無によって読み出し単位を異ならせる場合の、データの単位と各種情報の生成経路を説明するための図である。
　図１３の場合、偏光子を設けない画素２６０については、２つのフォトダイオードによる検出値を合算し、画素単位の値２６４として読み出す。一方、偏光子を設けた画素２６２については、２つのフォトダイオードによる検出値をそれぞれ読み出す。それらのデータは画素値取得部３２を経て各機能ブロックに供給される。偏光子を設けない画素２６０における合算された検出値はそのままカラー画像の生成に用いることができる（Ｓ５０）。
　偏光子を設けた画素２６２に対する２つのフォトダイオードのそれぞれにより検出された値は位相差画像の生成に用いる（Ｓ５２）。またこの段階で各検出値を合算し、画素単位の値２６６とすることで（Ｓ５４）、偏光画像の生成に用いたり、カラー画像における当該画素のカラー値の決定に用いたりする（Ｓ５６、Ｓ５８）。この場合、偏光子を設けた画素のみから、偏光情報と位相差情報を取得することになる。偏光子を設けた画素２６２の割合が低く、かつ比較的照度が高い環境においては、図示するような経路とすることにより、精度をある程度保ちつつ読み出し時間を削減でき、高速化を実現できる。
　図１４の場合、偏光子を設けない画素２６０については、２つのフォトダイオードによる検出値をそれぞれ読み出す。一方、偏光子を設けた画素２６２については、２つのフォトダイオードによる検出値を合算し、画素単位の値２６８として読み出す。それらのデータは画素値取得部３２を経て各機能ブロックに供給される。偏光子を設けない画素２６０に対する２つのフォトダイオードのそれぞれにより検出された値は位相差画像の生成に用いる（Ｓ６０）。またこの段階で各検出値を合算し、画素単位の値２７０とすることで（Ｓ６２）、カラー画像の生成に用いる（Ｓ６４）。
　偏光子を設けた画素２６２における合算された検出値はそのまま偏光画像の生成に用いたり、カラー画像における当該画素のカラー値の決定に用いたりする（Ｓ６６、Ｓ６８）。この場合、位相差情報は偏光子を設けた画素以外から取得することになる。この場合、図１３の場合と比較し位相差情報の感度を上げることができるため、照度が低い環境でも精度を維持することができる。このように偏光子の有無によって読み出し単位を異ならせることにより、必要な情報を取得しつつ読み出し時間を削減できる。
　なお求められる情報の種類や精度、解像度によっては、図１３、図１４で示した処理を全て行わなくてもよい。例えば偏光子を設けた画素の値はカラー画像の生成には用いず、偏光子のない周囲の画素値を補間するようにしてもよい。また各種データに必要な精度や解像度、周囲の照明環境、処理時間の制限などに応じて、読み出し単位やデータ生成の経路を最適化してよい。照度を計測したりデータ伝送のための通信環境を計測したりして、その結果に応じて切り替えてもよい。
　図１５は、偏光子を設ける画素値における偏光子のバリエーションを示している。まず（ａ）に示す４種類の画素は、これまで述べたように１画素に対し１つの主軸角度の偏光子を設けている。そして主軸角度を４５°おきに異ならせることにより、図示するような４種類の画素となる。これらの画素を等間隔、あるいは近接させて撮像素子２０に配置する。偏光子を設ける画素を分散させると、反射によって輝度レベルが低くなる画素も分散するため、偏光子を設けない画素によって位相差画像やカラー画像を生成した場合に、補間によって精度よく穴を埋めることができる。
　一方、図示するような４種類の画素を２行２列の４画素などに近接させて配置すると、方位による偏光輝度の変化をほぼ同じ位置で正確に取得できるため、法線ベクトルの精度を高めることができる。（ｂ）に示す４種類の画素は、フォトダイオードの対の片方に対応する領域のみに、４方向の主軸角度の偏光子を設けている。この場合、偏光子のない状態での輝度を同じ画素領域の他方のフォトダイオードから取得できるため、偏光子によって低くなった輝度レベルを正確に増幅させることができる。
　このようにすると位相差も比較的正確に取得できるため、撮像素子２０の全体を（ｂ）に示すような画素で構成することも考えられる。また（ｃ）に示す画素は、フォトダイオードの対に対応する領域のそれぞれに、主軸角度の異なる偏光子を設けている。図示する例では、主軸角度が９０°異なる偏光子をそれぞれ対とする２種類の画素を示している。
　位相差から距離値を取得する処理は、左右のフォトダイオードによる検出値の分布を比較することを基本としている。一方、偏光情報から法線ベクトルを取得する処理は、主軸角度が異なる偏光子を透過してなる光の検出値を比較する処理を含む。そのため（ｃ）に示すような偏光子とすると、左右のフォトダイオードによる検出値を比較する点において、位相差を取得する処理と法線を取得する処理を共通化できるため、駆動回路をより単純化できる。
　図１６は、一画素に設けるフォトダイオードのバリエーションを示している。これまで述べた例では、画素領域を縦方向に２分割した左右の領域に、フォトダイオードを１つずつ配置した。この場合、位相差は画像平面の水平方向のみに表れる。そのため図９で説明したように、水平方向のエッジなど一部の特徴点については位相差が不定となり距離値を得ることができない。そこで図示するように、１つの画素（例えば画素２８０）を縦横双方向に２分割してなる４つの領域に、フォトダイオードを１つずつ配置してもよい。
　この場合、縦に隣接する２つのフォトダイオードによる検出値を合算すれば、これまで述べた左フォトダイオード、右フォトダイオードと同じ位相差画像が得られ、水平方向成分の位相差を取得できる。一方、横に隣接する２つのフォトダイオードによる検出値を合算すれば、上側のフォトダイオードと下側のフォトダイオードで位相差画像が得られ、垂直方向成分の位相差を取得できる。結果として、特徴点の方向によらず距離値を求めることができる。
　なお図示する例では、各画素に１つの主軸角度の偏光子を設けているが、図１５に示したように、フォトダイオード単位で偏光子の主軸角度を異ならせたり、偏光子の有無を制御したりしてもよい。また偏光子のない画素についても、同様に４分割した領域ごとにフォトダイオードを設けてよい。そのような偏光子のない画素とある画素とを周期的に配置してもよい。
　またカラーフィルタについても、画素内で同じ色としてもよいし、フォトダイオードごとに色を異ならせてもよい。このほか、横方向に２分割した上下の領域に１つずつフォトダイオードを設けてもよいし、画素領域を２行２列より細かく分割し、それぞれの領域にフォトダイオードを配置してもよい。
　撮像装置１２の変形例として、これまで述べた構成を有する撮像装置を２つ設け、ステレオカメラとして実現させてもよい。図１７は、撮像装置をステレオカメラで構成したときの、システムの機能ブロックの構成を示している。このシステムは、撮像装置３００と情報処理装置３０２を含む。
　撮像装置３００は、第１撮像部１２ａ、第２撮像部１２ｂを備える。第１撮像部１２ａ、第２撮像部１２ｂはそれぞれ図１で示した撮像装置１２に対応し、それらを所定の間隔を有するように左右に配置することで撮像装置３００とする。以後の説明では第１撮像部１２ａを左視点、第２撮像部１２ｂを右視点のカメラとする。第１撮像部１２ａ、第２撮像部１２ｂはそれぞれが、図８で示した機能を有する画像処理部を備える。したがって撮像装置３００の第１撮像部１２ａからは左視点の距離画像とカラー画像のデータが、第２撮像部１２ｂからは右視点の距離画像とカラー画像のデータが出力される。
　情報処理装置３０２は、撮像装置３００から画像のデータを取得する画像データ取得部３０４、それらを統合して被写体の位置や姿勢に係る総合的な情報を生成する被写体情報生成部３０６、およびその情報を用いて出力データを生成する出力データ生成部３０８を備える。画像データ取得部３０４は、少なくとも左右の視点のそれぞれに対し取得された距離画像とカラー画像のデータを撮像装置３００から取得する。
　被写体情報生成部３０６は、撮像装置３００から取得した距離画像を統合することにより、被写体の位置、姿勢、形状などに係る最終的な情報を生成する。すなわち被写体のうち第１撮像部１２ａ、第２撮像部１２ｂの一方の視点からは見えない部分について、他方の距離画像を用いてデータを補填することにより、距離が不定の部分を最小限にする。被写体情報生成部３０６はさらに、左右視点のカラー画像あるいは左右視点の輝度画像を用いて三角測量の原理により別途、距離画像を生成し統合してもよい。
　出力データ生成部３０８は、左右視点のカラー画像と距離画像を用いて表示画像など出力すべきデータを生成する。表示画像を生成する場合は、出力時にリニアマトリックス（カラーマトリックス）やガンマ補正など一般的な処理を施し表示装置に出力する。図１８は、被写体情報生成部３０６が左右視点の距離画像を統合する処理を説明するための図である。同図上段に示すように、２つの立方体３２２ａ、３２２ｂが存在する３次元空間３２０を左右の視点Ｌ、Ｒから撮影すると、左視点画像３２４ａおよび右視点画像３２４ｂが得られる。
　第１撮像部１２ａおよび第２撮像部１２ｂが単独で距離値を取得できる領域は、それぞれ左視点画像３２４ａおよび右視点画像３２４ｂに像として表れる部分に限られる。図示する例では、立方体３２２ｂの左側面は左視点Ｌからのみ見え、立方体３２２ａの右側面は右視点Ｒからのみ見えるため、それらの距離値はどちらか一方の距離画像のみに含まれる。したがって被写体情報生成部３０６は、一方の距離画像で値が得られていない被写体上の領域に、他方の距離画像の値を当てはめることで、距離値が不定の領域を削減する。
　その結果、３次元空間３２０により近いモデル空間を再現することができる。つまり被写体情報生成部３０６は、複数視点の距離画像を統合することにより、視点が１つに限定されないワールド座標系での被写体の位置に係る情報を生成できる。当該位置は、被写体表面の微少領域ごとに得られるため、結果として被写体の姿勢や形状についても求めていることになる。
　なお両視点から見える領域については、２つの距離値が得られているため、それらの平均値を距離値とするなどにより精度を高めることができる。さらに被写体情報生成部３０６は、左右視点のカラー画像を用いて自らも距離画像を生成し、その結果をさらに統合してもよい。この場合、両視点から見える領域についてさらに距離値が得られるため、結果として当該領域については３つの距離値が得られることになる。それらの平均値を距離値とすれば、より精度を高めることができる。ただし要求される精度によっては、カラー画像を用いた距離画像の生成を省略することで処理時間を短縮できる。
　なお被写体情報生成部３０６は、さらに別の手段により距離値の穴を埋めたり、精度をさらに高めたりしてもよい。例えばニューラルネットワークを用いた機械学習としてディープラーニング（深層学習）の技術が実用化されつつある。これを利用し、カラー画像における色やその変化、像の形状などから、距離値やその変化を導出できるように、被写体情報生成部３０６に学習させる。そして実際に取得されたカラー画像を用いて、撮像装置の視点から見えない領域の距離値を推定したり、見えている領域の距離値を補正して精度を高めたりしてもよい。
　この手法は単眼の撮像装置１２が出力する距離画像のデータに対しても同様の効果を発揮するため、撮像装置１２と接続した図示しない情報処理装置に同機能を有する被写体情報生成部を設けてもよい。この機能は、撮像装置の視点が限定されている場合や輝度が十分でない撮影環境などにおいて、距離値が得られる領域を広げたり精度を高めたりするのに特に有効である。なお被写体情報生成部３０６を含む情報処理装置３０２の機能や、撮像装置３００の一部の機能を、ネットワークに接続されている他の装置に設けたり、複数の装置で分担させたりして演算を行わせてもよい。このとき情報処理装置３０２や図示しない表示装置は、その結果を順次取得し、それに応じて適宜自らの処理を行ったり画像を表示したりしてもよい。
　また図１７で示したように、撮像装置３００をステレオカメラとすることで、単眼の撮像装置では見えない領域の距離値を得ることができる。これを発展させ、撮像装置１２を可動とすることで、距離値が得られる領域をさらに拡張させてもよい。図１９は、撮像装置１２を移動させながら撮影することにより、３次元空間における被写体の位置、姿勢、形状などの状態情報を取得する手法を説明するための図である。
　図示する例は、被写体である立方体を中心とする円軌道で撮像装置１２を移動させる様子を示している。ここで撮像装置１２には加速度センサを設け、撮影時刻、撮影画像、および３次元空間での撮像装置１２の位置や姿勢を対応づけて記録していく。そして所定レートの各撮影時刻における視点に対し得られるカラー画像と距離画像に基づき、図１８の３次元空間３２０のようなモデル空間を、取得されたデータで埋めていく。このような処理は撮像装置１２内部の距離画像生成部３８で実施してもよいし、情報処理装置３０２の被写体情報生成部３０６で実施してもよい。
　撮像装置１２の内部で実施するようにすると、情報処理装置３０２の処理の負荷を軽減でき、処理時間の増大を抑えられる。なお撮像装置１２の移動のさせ方は図示するものに限らない。例えば最終的に表示させたい画像に対する仮想視点の可動範囲と対応する範囲に限定して撮像装置１２を移動させてもよい。あるいは撮像装置１２を自転させることにより全方位に対し撮影画像を得るようにしてもよい。またこのように撮像装置１２を移動させながら取得したデータのうち、距離値については特徴点に対する値のみを蓄積していくなどの工夫によって、メモリ消費を抑えることができる。
　あるいは撮像装置１２を移動させる代わりに、３つ以上の撮影画像を配置させても同様の情報を得ることができる。この場合も図示するのと同様に、光軸が被写体近傍に収束するように複数の撮像装置１２を向き合うように設置する。あるいはそれとは逆向きに、光軸が外側に発散するように撮像装置１２を設置してもよい、これらの場合は、同時刻におけるカラー画像と距離画像が複数の視野で得られるため、それらをスティッチング処理によりつなぎ合わせて広角の情報としてもよい。このとき、設置した複数の撮像装置のうちの一部のみ、図８で示した機能ブロックを有する撮像装置１２としてもよい。
　例えば実空間において特に詳細な情報を得たい被写体を撮影する撮像装置のみ、距離画像を生成する機能を設け、それ以外の撮像装置はカラー画像のみを生成する。このようにすることで、例えば広いスタジアムの様子を全方位に渡り撮影しつつ、競技者などメインの被写体については位置や姿勢を詳細に求めることができる。これにより、加工や仮想オブジェクトの重畳など後段の処理を高精度に行うなど、処理リソースを必要な対象に集中させることができる。
　本実施の形態の撮像素子の構成によれば、偏光子を透過した光を２つのフォトダイオードにより検出するため、偏光画像の位相差を取得することができる。これを利用すると、位相差を用いた合焦機能の精度を高めることができる。図２０は、偏光の位相差を利用して合焦する機能を有する撮像装置の機能ブロックを示している。撮像装置４００は、各フォトダイオードによる検出値を取得する画素値取得部４０２、偏光子を設けた画素の２つフォトダイオードによる検出値から偏光画像の位相差を検出する偏光位相差検出部４０４、および偏光の位相差に基づきレンズの位置を調整し適切な位置に合焦させる合焦部４０６を備える。
　画素値取得部４０２は、少なくとも偏光子を備えた画素におけるフォトダイオードによる検出値を読み出し、Ａ／Ｄ変換やクランプ処理など所定の前処理を実施する。偏光位相差検出部４０４は、左フォトダイオードおよび右フォトダイオードにより検出される偏光輝度分布を分離し、それぞれに対し４方位の偏光画像を生成する。そして式２を用いて得られる偏光度を画像平面に表した偏光度画像、あるいは偏光度から得られる法線ベクトルを画像平面に表した法線画像を、位相差画像として生成する。図にはそのようにして生成された、偏光を用いた位相差画像４１０ａ、４１０ｂを示している。
　また図の下段には、一般的な自然光の位相差画像４１２ａ、４１２ｂを比較用に示している。図示する例では円板状の被写体が写っている。被写体の表面が単色で比較的滑らかな形状の場合、一般的な自然光の位相差画像４１２ａ、４１２ｂでは、被写体の輪郭線が特徴点として得られる一方、被写体表面については情報が乏しい。照明によっては被写体表面に凹凸があっても輝度の変化が小さく特徴点として捉えられないこともある。そのためこれらの画像４１２ａ、４１２ｂの特徴点の位置を矢印に示すように特定し、その位相差から合焦させる場合、情報の乏しさから正確な調整ができないことが考えられる。
　一方、偏光度あるいは法線ベクトルを表した位相差画像４１０ａ、４１０ｂは、被写体表面の起伏を表すため、自然光の画像より形状に対する感度が高く、照明の影響を受けにくい。そのため、見かけは一様な像であっても、図示するように形状に応じた変化が画像として表れる。したがって、矢印で示すように位相差の根拠となる特徴点の位置がより多く得られる。これらの位置関係を統合して位相差を導出し、それに基づき合焦処理を行えば、より正確かつ迅速な調整を実現できる。
　合焦部４０６は一般的な合焦処理と同様、位相差に基づきレンズの適切な位置を導出し調整を実施する。なお図示した撮像装置４００は、合焦機能のみに着目した機能ブロックを示しているが、図８で示した画像処理部２２と組み合わせることにより、高精度に合焦させてなる輝度データに基づく距離画像やカラー画像を出力できるようにしてもよい。
　以上述べた本実施の形態によれば、撮像素子として、１つのマイクロレンズに対し複数のフォトダイオードを設けるとともに、少なくとも一部のマイクロレンズとフォトダイオードの中間層に、偏光子を設けた構造とする。これにより偏光画像と位相差画像を同時に取得できる。そして位相差に基づき被写体の特徴点における距離を求め、偏光から得られる法線ベクトルを用いて特徴点の間の距離を補完することにより、単眼カメラでありながら撮影画像の広い領域に対し距離値を得ることができる。
　一般的なステレオカメラを用いた測距技術では、一方の視点の画像に写っていても他方の視点の画像に写っていない被写体上の面については距離が不定になってしまう。本実施の形態の上記手法によれば、撮影画像に写っていれば距離を導出できるため、場合によってはステレオカメラを用いるより多くの距離データが得られる。このためステレオカメラの代わりとして用いることができ、測距機能を有する撮像装置を小型化できる。
　また、そのような撮像装置をステレオカメラとして実現すれば、左右の撮影画像の結果を統合できるため、さらに広い範囲の距離値が得られ、３次元空間における被写体の位置や姿勢を精度よく再現できる。さらに左右視点のカラー画像を用いて従来どおり距離画像を求め統合することにより、距離情報の精度をより向上させることができる。これらの手法は赤外光など特定の波長帯の光に依存しないため、屋外などでも同様に情報を得ることができる。
　また偏光子を設ける画素と設けない画素を適切に制御できるため、従来通りの輝度レベルでカラー画像や位相差画像を生成することができる。これにより、後段の処理が制限されるといったことなくあらゆる情報処理への応用が可能である。また、位相差に基づく距離値の取得、偏光に基づく法線画像の生成、および、それらを統合して距離画像を生成する処理は基本的に、画像平面の行単位あるいは数行単位で行えるため、ラインバッファを用いることにより撮像装置内の演算回路で実装できる。そのため各種データを用いた情報処理や表示処理を行う装置と機能を分担でき、高いフレームレートでの撮影や表示に対応させることができる。
　さらに偏光の位相差を取得できるため、自然光の画像では特徴点として抽出されないような起伏の乏しい被写体表面であっても、形状の変化を特徴点として高い感度で抽出できる。したがって位相差の根拠となる情報を多く得ることができ、従来の合焦機能の精度をより高めることができる。なおステレオカメラとして実現する場合も、偏光度画像や法線画像を利用することにより、自然光の輝度画像より多くの特徴点が得られるため、左右視点の画像から対応点を取得することによる距離画像の生成精度も高めることができる。
　以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
　例えば本実施の形態ではフォトダイオードを用いたが、光を電荷に変換する機構であれば、検出主体はフォトダイオードに限らない。例えば一部、または全てのフォトダイオードを、有機光電変換膜としてもよい。例えば国際公開２０１４／１５６６５９号などに記載される公知技術を用いて、有機光電変換膜の材料や構造を適宜決定することができる。
　また、赤外線など所定の波長帯の光を照射することによる測距技術と組み合わせてもよい。すなわち撮像装置１２に参照光を照射する機構を設け、フォトダイオードによってその反射光を検出する。参照光をランダムなパターンで照射することにより、特徴点の乏しい被写体表面でも特徴点を作り出すことができる。画像処理部における処理は本実施の形態と同様であるが、位相差の根拠となる特徴点が多いため、位相差に基づく距離値を、より多くの箇所で取得できる。したがって法線ベクトルを用いた補完の精度が向上し、より正確に距離の情報を得ることができる。撮像装置１２にさらに照度センサを設け、照度が所定値より低い場合に参照光を照射するようにして、照度低下による解析精度の悪化を防止してもよい。
　さらに本実施の形態における撮像装置は、カラー画像の取得が主たる機能である一般的なカメラで実現してもよいし、撮像機能を有するその他の装置に設けてもよい。例えば高機能携帯電話、携帯端末、パーソナルコンピュータ、カプセル内視鏡、ウェアラブル端末などに設けてもよい。このような装置においてカラー画像を取得する必要がない場合、欠陥補正部４０やカラー画像生成部４２の機能を省略し、距離画像のみを出力するようにしてもよい。この場合、撮像素子のカラーフィルタ層を省略してもよい。
　また本実施の形態の撮像素子は原則として、全ての画素領域を部分領域に分割し、それぞれにフォトダイオードを配置したが、部分領域に分割せず１つのマイクロレンズに対応させて１つのフォトダイオードを設けた画素が含まれていてもよい。例えば偏光子を設けた画素については１つのフォトダイオードを設けてもよい。この場合、位相差画像はその他の画素から取得する。あるいは逆に、偏光子を設けた画素のみ複数のフォトダイオードを設けてもよい。いずれの場合も、本実施の形態で述べた検出値の合算処理を省略して、同様の効果を得ることができる。
　１２　撮像装置、　２０　撮像素子、　２２　画像処理部、　３０　焦点距離取得部、　３２　画素値取得部、　３４　特徴点距離取得部、　３６　法線画像生成部、　３８　距離画像生成部、　４０　欠陥補正部、　４２　カラー画像生成部、　４４　出力部、　４６　位相差検出部、　４８　距離値取得部、　１１０　画素、　１１２　マイクロレンズ層、　１１４　カラーフィルタ層、　１１６　偏光子層、　１１８　光電変換層、　３００　撮像装置、　３０２　情報処理装置、　３０４　画像データ取得部、　３０６　被写体情報生成部、　３０８　出力データ生成部、　４００　撮像装置、　４０２　画素値取得部、　４０４　偏光位相差検出部、　４０６　合焦部。
　以上のように本発明は、撮像装置、ゲーム装置、携帯端末、パーソナルコンピュータ、ウェアラブル端末など各種電子機器と、それを含むシステムなどに利用可能である。

Claims (19)

  1. 　マイクロレンズと、
    　前記マイクロレンズを透過した光のうち所定方位の偏光成分を透過させる偏光子を含む偏光子層と、
    　前記偏光子層を透過した光を電荷に変換する単位である光電変換部と、
    　を含む画素の配列において、１つの前記マイクロレンズに対応する画素領域を分割してなる複数の部分領域のそれぞれに、前記光電変換部を配置した画素を含む撮像素子を備えたことを特徴とする撮像装置。
  2. 　各画素領域における同位置の前記光電変換部による検出値をそれぞれ抽出し、その分布を比較することにより被写体の特徴点の位相差を取得したうえ、当該位相差に基づき前記特徴点の距離値を特定する特徴点距離取得部と、
    　前記偏光成分の検出値に基づき被写体の法線ベクトルの分布を取得する法線画像生成部と、
    　前記特徴点の距離値と前記法線ベクトルの分布を用いて、被写体の距離情報を生成する距離画像生成部と、
    　を含む画像処理部をさらに備えたことを特徴とする請求項１に記載の撮像装置。
  3. 　前記偏光子層は、前記偏光子を備える画素領域と備えない画素領域を含むことを特徴とする請求項１または２に記載の撮像装置。
  4. 　前記偏光子を備える画素領域と備えない画素領域のいずれか一方に備えた複数の光電変換部の電荷を合算して読み出すように制御する読み出し制御部をさらに備えたことを特徴とする請求項３に記載の撮像装置。
  5. 　前記偏光子を備える画素領域と備えない画素領域とで、電荷を読み出すタイミングを異ならせる読み出し制御部をさらに備えたことを特徴とする請求項３に記載の撮像装置。
  6. 　前記撮像素子の撮像面における位置によって、前記偏光子の形状および前記画素領域内での位置の少なくともいずれかが変化していることを特徴とする請求項１から５のいずれかに記載の撮像装置。
  7. 　前記偏光子層は、前記偏光子を備える画素領域と備えない画素領域を含み、
    　前記特徴点距離取得部は、前記距離値を特定するのに用いる検出値の出力元を、前記偏光子を備える画素領域および前記偏光子を備えない画素領域のいずれかとすることを特徴とする請求項２に記載の撮像装置。
  8. 　前記偏光子層は、各画素領域において、前記偏光子を備える前記部分領域と備えない前記部分領域を含むことを特徴とする請求項１から７のいずれかに記載の撮像装置。
  9. 　前記偏光子層は、各画素領域における前記部分領域によって、主軸角度が異なる偏光子を含むことを特徴とする請求項１から７のいずれかに記載の撮像装置。
  10. 　前記撮像素子と前記画像処理部を含む撮像部を、視点が異なるように複数備えたことを特徴とする請求項２に記載の撮像装置。
  11. 　前記撮像素子と前記画像処理部を含む撮像部と、カラー画像を撮影し出力する別の撮像部と、を視点が異なるように備えたことを特徴とする請求項２に記載の撮像装置。
  12. 　前記偏光子を透過した光に対する、各画素領域における同位置の前記光電変換部による検出値をそれぞれ抽出し、その分布を用いてそれぞれ生成した、偏光度または被写体の法線ベクトルの分布を比較することにより、被写体の特徴点の位相差を取得する偏光位相差検出部と、
    　前記位相差に基づき所定位置に合焦するように調整する合焦部と、
    　をさらに備えたことを特徴とする請求項１に記載の撮像装置。
  13. 　前記距離画像生成部は、前記撮像素子が所定のフレームレートで撮影した画像フレームごとに、被写体の距離値を画素値とする距離画像を前記距離情報として生成するとともに、所定数の画像フレームに対し生成した前記距離画像を平均した画像を、前記所定数の画像フレームに対応する時間間隔で出力することを特徴とする請求項２に記載の撮像装置。
  14. 　前記撮像素子は、前記画素の配列と、前記画像処理部の少なくとも一部の処理を実施するロジック回路と、を積層した構造を有することを特徴とする請求項２に記載の撮像装置。
  15. 　複数の前記撮像部のそれぞれから前記距離情報を取得し、それらを統合して被写体の３次元空間での位置に係る情報を生成し出力する情報処理装置をさらに備えたことを特徴とする請求項１０に記載の撮像装置。
  16. 　前記情報処理装置は複数の前記撮像部のそれぞれから、前記検出値の２次元分布に基づく撮影画像のデータをさらに取得し、それらの視差に基づき生成した距離情報を、さらに統合することを特徴とする請求項１５に記載の撮像装置。
  17. 　前記情報処理装置は複数の前記撮像部のそれぞれから、前記検出値の２次元分布に基づく撮影画像のデータをさらに取得し、前記被写体のうち前記複数の撮像部のいずれによっても撮像されない領域の距離値を、前記撮影画像と、機械学習により得た被写体の像と距離値の関係とに基づき推定し、前記被写体の３次元空間での位置に係る情報を補完することを特徴とする請求項１５に記載の撮像装置。
  18. 　前記撮像装置が異なる視点から撮影して生成した前記距離情報を順次取得し、それらを統合して被写体の３次元空間での位置に係る情報を生成し出力する情報処理装置をさらに備えたことを特徴とする請求項２に記載の撮像装置。
  19. 　複数視点の撮影画像からそれぞれ取得された距離画像のデータを撮像装置から取得するステップと、
    　複数視点の前記距離画像を統合することにより、被写体の３次元空間での位置に係る情報を生成するステップと、
    　前記３次元空間での位置に係る情報を用いて出力データを生成し出力するステップと、
    　を含むことを特徴とする、情報処理装置による情報処理方法。
PCT/JP2017/028461 2017-08-04 2017-08-04 撮像装置および情報処理方法 WO2019026287A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019533870A JP6821028B2 (ja) 2017-08-04 2017-08-04 撮像装置および画像データ読み出し方法
PCT/JP2017/028461 WO2019026287A1 (ja) 2017-08-04 2017-08-04 撮像装置および情報処理方法
US16/631,545 US11252315B2 (en) 2017-08-04 2017-08-04 Imaging apparatus and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/028461 WO2019026287A1 (ja) 2017-08-04 2017-08-04 撮像装置および情報処理方法

Publications (1)

Publication Number Publication Date
WO2019026287A1 true WO2019026287A1 (ja) 2019-02-07

Family

ID=65233604

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/028461 WO2019026287A1 (ja) 2017-08-04 2017-08-04 撮像装置および情報処理方法

Country Status (3)

Country Link
US (1) US11252315B2 (ja)
JP (1) JP6821028B2 (ja)
WO (1) WO2019026287A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021055406A1 (en) * 2019-09-17 2021-03-25 Facebook Technologies, Llc Polarization capture device, system, and method
JP2021068932A (ja) * 2019-10-17 2021-04-30 キヤノン株式会社 情報処理装置、その制御方法及びプログラム
CN117392068A (zh) * 2023-09-28 2024-01-12 淮北矿业传媒科技有限公司 一种煤矿风井内梯子间的梯子检测方法
CN118486445A (zh) * 2024-07-15 2024-08-13 江西为易科技有限公司 基于图像识别的ai智能医疗监管系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018147329A1 (ja) * 2017-02-10 2018-08-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 自由視点映像生成方法及び自由視点映像生成システム
US11233963B2 (en) * 2019-12-27 2022-01-25 Omnivision Technologies, Inc. Devices and methods for obtaining three-dimensional shape information using polarization and phase detection photodiodes
JP2022184138A (ja) * 2021-05-31 2022-12-13 キヤノン株式会社 画像処理装置、撮像装置、制御方法、及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010166580A (ja) * 2007-12-07 2010-07-29 Panasonic Corp 画像処理装置および画像処理方法ならびに撮像装置
JP2016144183A (ja) * 2015-02-05 2016-08-08 キヤノン株式会社 画像処理装置
JP2017017563A (ja) * 2015-07-01 2017-01-19 株式会社ソニー・インタラクティブエンタテインメント 撮像装置および情報処理装置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2295606A1 (en) 1998-05-19 1999-11-25 Sony Computer Entertainment Inc. Image processing apparatus and method, and providing medium
CN101542232B (zh) 2007-08-07 2011-10-19 松下电器产业株式会社 法线信息生成装置以及法线信息生成方法
TWI422020B (zh) * 2008-12-08 2014-01-01 Sony Corp 固態成像裝置
JP5428509B2 (ja) * 2009-05-11 2014-02-26 ソニー株式会社 ２次元固体撮像装置、及び、２次元固体撮像装置における偏光光データ処理方法
JP5682437B2 (ja) 2010-09-07 2015-03-11 ソニー株式会社 固体撮像素子、固体撮像装置、撮像機器、及び、偏光素子の製造方法
JP5395273B2 (ja) * 2010-09-08 2014-01-22 パナソニック株式会社 立体画像処理装置、立体撮像装置、立体撮像方法およびプログラム
JP5682312B2 (ja) * 2011-01-05 2015-03-11 ソニー株式会社 固体撮像装置の製造方法
JP5785398B2 (ja) * 2011-02-17 2015-09-30 キヤノン株式会社 撮像装置及び画像信号処理装置
JP5622648B2 (ja) * 2011-04-14 2014-11-12 日立オートモティブシステムズ株式会社 画像処理装置
KR101861590B1 (ko) * 2011-10-26 2018-05-29 삼성전자주식회사 휴대용 단말기에서 입체 데이터를 생성하기 위한 장치 및 방법
JP5755111B2 (ja) 2011-11-14 2015-07-29 キヤノン株式会社 撮像装置の駆動方法
JP2013211776A (ja) * 2012-03-30 2013-10-10 Sharp Corp 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム
WO2013175686A1 (ja) * 2012-05-22 2013-11-28 パナソニック株式会社 撮像処理装置および内視鏡
US20130309666A1 (en) * 2013-01-25 2013-11-21 Sequenom, Inc. Methods and processes for non-invasive assessment of genetic variations
JP6192428B2 (ja) * 2013-08-20 2017-09-06 オリンパス株式会社 撮像装置
WO2015049981A1 (ja) * 2013-10-03 2015-04-09 シャープ株式会社 光電変換装置
WO2015056719A1 (ja) * 2013-10-16 2015-04-23 シャープ株式会社 画像復号装置、画像符号化装置
US9674493B2 (en) * 2014-03-24 2017-06-06 Omnivision Technologies, Inc. Color image sensor with metal mesh to detect infrared light
TWI552594B (zh) * 2014-10-27 2016-10-01 聯詠科技股份有限公司 用於影像感測裝置的色彩濾波陣列及其製造方法
JP2016127333A (ja) * 2014-12-26 2016-07-11 株式会社リコー 撮像素子および撮像装置および撮像情報認識システム
WO2016162983A1 (ja) * 2015-04-08 2016-10-13 日立マクセル株式会社 車両搭載カメラ
JP6685827B2 (ja) * 2016-05-09 2020-04-22 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2017219586A (ja) * 2016-06-03 2017-12-14 株式会社ジャパンディスプレイ 信号供給回路及び表示装置
US20170354326A1 (en) * 2016-06-10 2017-12-14 Johnson & Johnson Vision Care, Inc. Electronic ophthalmic lens with medical monitoring
US10278586B2 (en) * 2016-06-23 2019-05-07 Li-Cor, Inc. Complementary color flashing for multichannel image presentation
US10638054B2 (en) * 2017-01-25 2020-04-28 Cista System Corp. System and method for visible and infrared high dynamic range sensing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010166580A (ja) * 2007-12-07 2010-07-29 Panasonic Corp 画像処理装置および画像処理方法ならびに撮像装置
JP2016144183A (ja) * 2015-02-05 2016-08-08 キヤノン株式会社 画像処理装置
JP2017017563A (ja) * 2015-07-01 2017-01-19 株式会社ソニー・インタラクティブエンタテインメント 撮像装置および情報処理装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021055406A1 (en) * 2019-09-17 2021-03-25 Facebook Technologies, Llc Polarization capture device, system, and method
CN114223191A (zh) * 2019-09-17 2022-03-22 脸谱科技有限责任公司 偏振捕获设备、系统和方法
US11405601B2 (en) 2019-09-17 2022-08-02 Meta Platforms Technologies, Llc Polarization capture device, system, and method
JP2021068932A (ja) * 2019-10-17 2021-04-30 キヤノン株式会社 情報処理装置、その制御方法及びプログラム
JP7358186B2 (ja) 2019-10-17 2023-10-10 キヤノン株式会社 情報処理装置、その制御方法及びプログラム
CN117392068A (zh) * 2023-09-28 2024-01-12 淮北矿业传媒科技有限公司 一种煤矿风井内梯子间的梯子检测方法
CN118486445A (zh) * 2024-07-15 2024-08-13 江西为易科技有限公司 基于图像识别的ai智能医疗监管系统

Also Published As

Publication number Publication date
US20200213487A1 (en) 2020-07-02
US11252315B2 (en) 2022-02-15
JPWO2019026287A1 (ja) 2020-02-27
JP6821028B2 (ja) 2021-01-27

Similar Documents

Publication Publication Date Title
JP6821028B2 (ja) 撮像装置および画像データ読み出し方法
JP7170810B2 (ja) 撮像装置、画像生成方法およびコンピュータプログラム
JP5649091B2 (ja) 画像キャプチャ装置および画像キャプチャ方法
WO2019082820A1 (ja) カメラシステム
KR101843994B1 (ko) 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리
US20170243373A1 (en) Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
JP5929553B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP6422924B2 (ja) 撮像装置および被写体情報取得方法
CN103688536B (zh) 图像处理装置、图像处理方法
KR20180030773A (ko) 어레이 카메라들을 이용한 고속 비디오 캡처 및 심도 추정을 수행하기 위한 시스템 및 방법
JP2015521411A (ja) πフィルタ群を用いてパターン化されたカメラモジュール
JP2017519440A (ja) 深度推定のための画像センサ
JP2009284188A (ja) カラー撮像装置
CN103621078A (zh) 图像处理装置和图像处理程序
CN103503447B (zh) 拍摄装置及拍摄装置的控制方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17920502

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019533870

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17920502

Country of ref document: EP

Kind code of ref document: A1