WO2018012492A1 - 撮像装置、撮像素子、および画像処理装置 - Google Patents

撮像装置、撮像素子、および画像処理装置 Download PDF

Info

Publication number
WO2018012492A1
WO2018012492A1 PCT/JP2017/025255 JP2017025255W WO2018012492A1 WO 2018012492 A1 WO2018012492 A1 WO 2018012492A1 JP 2017025255 W JP2017025255 W JP 2017025255W WO 2018012492 A1 WO2018012492 A1 WO 2018012492A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
pixel output
image
light
incident angle
Prior art date
Application number
PCT/JP2017/025255
Other languages
English (en)
French (fr)
Inventor
佳孝 宮谷
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP21216849.6A priority Critical patent/EP4016992A3/en
Priority to JP2018527611A priority patent/JP6958554B2/ja
Priority to EP17827619.2A priority patent/EP3487165B1/en
Priority to CN202110759418.0A priority patent/CN113489904B/zh
Priority to KR1020197000665A priority patent/KR102353634B1/ko
Priority to US16/315,470 priority patent/US20190215473A1/en
Priority to CN201780041772.1A priority patent/CN109479101B/zh
Publication of WO2018012492A1 publication Critical patent/WO2018012492A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14623—Optical shielding
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1464—Back illuminated imager structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers

Definitions

  • the present disclosure relates to an imaging device, an imaging device, and an image processing device, and more particularly, to an imaging device, an imaging device, and an image processing device that can improve the degree of freedom in designing a configuration for realizing an imaging function.
  • the configuration of the imaging device is generally well-known to a configuration in which an imaging lens and an imaging device are combined and a configuration in which a pinhole and an imaging device are combined.
  • the configuration in which the imaging lens and the imaging element are combined is adopted in most of current imaging apparatuses, and the light from the subject is efficiently collected by the imaging lens, so that An image corresponding to the final image is formed on the imaging surface, and this is imaged by the imaging device.
  • the combination of a pinhole and an image sensor is a configuration that does not involve an imaging lens, but the amount of light that reaches the imaging surface is small, so processing such as increasing the exposure time or increasing the gain is required. It is not resistant to general use and is not particularly suitable for high-speed imaging.
  • Non-Patent Document 1 and Patent Document 1 light from the same point light source is incident on a plurality of adjacent pixels via an optical filter, so that an arbitrary characteristic is obtained in units of pixels. I can't.
  • the present disclosure has been made in view of such a situation, and is intended to provide diversity for each pixel when an imaging lens is not used.
  • the imaging device includes a plurality of pixel output units that receive incident light without any imaging lens and pinhole, and at least two of the plurality of pixel output units.
  • the image pickup apparatus includes image pickup elements having different output pixel values of one pixel output unit with respect to an incident angle of incident light from a subject.
  • the characteristic may be incident angle directivity indicating directivity with respect to an incident angle of incident light from the subject.
  • an image restoration unit that restores a restored image in which the subject can be visually recognized, using a detection image composed of a plurality of detection signals output from the plurality of pixel output units.
  • the image restoration unit can restore the restored image by selectively using a detection signal of a part of the plurality of pixel output units.
  • the image restoration unit includes a restoration process for restoring the restored image using a detection signal of a part of the plurality of pixel output units, and all the pixels of the plurality of pixel output units. It is possible to selectively execute a restoration process for restoring the restored image using a detection signal in units of output.
  • the plurality of pixel output units include a wide-angle compatible pixel output unit having the incident angle directivity suitable for a wide-angle image and a narrow-angle compatible pixel output unit that is narrower than the wide-angle compatible pixel output unit.
  • the image restoration unit can restore the restored image by selectively using the wide-angle corresponding pixel output unit and the narrow-angle corresponding pixel output unit.
  • the plurality of pixel output units may be provided with a configuration capable of independently setting characteristics with respect to an incident angle of incident light from the subject.
  • the first aspect of the present disclosure there is a plurality of pixel output units that receive incident light that does not pass through either the imaging lens or the pinhole, and at least two of the plurality of pixel output units The characteristics of the output pixel value of the pixel output unit with respect to the incident angle of the incident light from the subject are different from each other.
  • the imaging device includes a plurality of pixel output units that receive incident light without any imaging lens and pinhole, and at least two of the plurality of pixel output units.
  • the output pixel values of the one pixel output unit have different characteristics with respect to the incident angle of the incident light from the subject.
  • At least two of the pixel output units can have different incident angle directivities indicating directivities with respect to an incident angle of incident light from a subject.
  • Each of the plurality of pixel output units may be configured by one photodiode, and one detection signal may be output from each of the plurality of pixel output units.
  • the at least two pixel output units may each be provided with a light-shielding film that blocks the incidence of subject light that is incident light from the subject on the photodiode, and the two pixel outputs of the subject light are provided.
  • the range in which the incidence to the unit is blocked by the light shielding film may be different from each other in the at least two pixel output units.
  • Each of the plurality of pixel output units includes a plurality of photodiodes, and one detection signal can be output from each of the plurality of pixel output units.
  • the at least two pixel output units may be configured such that, among the plurality of photodiodes, photodiodes contributing to the detection signal are different from each other.
  • the plurality of pixel output units have a wide-angle compatible pixel output unit having an incident angle directivity suitable for a wide-angle image, and an incident angle directivity suitable for a narrow-angle image compared to the wide-angle compatible pixel output unit. It is possible to include a pixel output unit corresponding to a narrow angle.
  • a plurality of on-chip lenses respectively corresponding to the plurality of pixel output units can be provided.
  • the incident angle directivity can have characteristics according to the curvature of the on-chip lens.
  • the incident angle directivity can have characteristics according to the light shielding region.
  • the curvature of at least some of the on-chip lenses among the plurality of on-chip lenses can be different from the curvature of other on-chip lenses.
  • the second aspect of the present disclosure there is a plurality of pixel output units that receive incident light that does not pass through either the imaging lens or the pinhole, and at least two of the plurality of pixel output units The characteristics of the output pixel value of the pixel output unit with respect to the incident angle of the incident light from the subject are different from each other.
  • the plurality of pixel output units may be provided with a configuration capable of independently setting characteristics with respect to an incident angle of incident light from the subject.
  • the image processing apparatus includes a plurality of pixel output units that receive incident light without any imaging lens and pinhole, and at least of the plurality of pixel output units.
  • a plurality of detection signals respectively output from the plurality of pixel output units of the imaging elements having different incident angle directivities indicating the directivities of the output pixel values of the two pixel output units with respect to the incident angle of incident light from the subject.
  • the image processing apparatus includes an image restoration unit that restores a restored image in which the subject can be visually recognized using a detected image.
  • the image restoration unit can restore the restored image by selectively using a detection signal of a part of the plurality of pixel output units.
  • the image restoration unit includes a restoration process for restoring the restored image using a detection signal of a part of the plurality of pixel output units, and all the pixels of the plurality of pixel output units. It is possible to selectively execute a restoration process for restoring the restored image using a detection signal in units of output.
  • the plurality of pixel output units include a wide-angle compatible pixel output unit having the incident angle directivity suitable for a wide-angle image and a narrow-angle compatible pixel output unit that is narrower than the wide-angle compatible pixel output unit.
  • the image restoration unit can restore the restored image by selectively using the wide-angle corresponding pixel output unit and the narrow-angle corresponding pixel output unit.
  • An image is used to restore a restored image in which the subject is visible.
  • region in a to-be-photographed surface It is a figure explaining incident light being parallel light. It is a figure explaining the incident angle in each pixel of a directional image sensor. It is a figure explaining the light reception sensitivity characteristic of a perpendicular direction. It is a figure explaining the light reception sensitivity characteristic of a horizontal direction. It is a figure explaining the light reception sensitivity characteristic according to the incident angle of each pixel of a directional image sensor. It is a figure explaining the light reception sensitivity of each pixel of the directional image sensor of the light from the area
  • FIG. 6 It is a figure explaining the relationship between a to-be-photographed object distance and the coefficient expressing incident angle directivity. It is a figure explaining the relationship between a narrow view angle pixel and a wide view angle pixel. It is a figure explaining the relationship between a narrow view angle pixel and a wide view angle pixel. It is a figure explaining the relationship between a narrow view angle pixel and a wide view angle pixel. 7 is a flowchart for describing imaging processing by the imaging apparatus of the present disclosure in FIG. 6. It is a figure explaining a 1st modification. It is a figure explaining the 2nd modification. It is a figure explaining the 2nd modification. It is a figure explaining the example which changes a field angle by applying the 2nd modification.
  • the configuration of the imaging apparatus is a configuration including an imaging lens 11 and an imaging element D for one pixel.
  • the point light source P is imaged by the imaging element D, as shown in the middle stage of FIG.
  • the light beams L1 to L5 emitted from the point light source P are condensed as indicated by the light beams L1 ′ to L5 ′, and an image of the point light source P is formed on the image sensor D, which is captured by the image sensor D.
  • an image composed of light having a light intensity 5a that is the sum of all the light intensities of the light beams L1 to L5 emitted from the point light source P is formed and incident on the image sensor D.
  • a light intensity 5a that is the sum of all the light intensities of the light beams L1 to L5 emitted from the point light source P
  • this set of point light sources P constitutes a subject. Therefore, the subject is imaged by imaging the subject formed by converging the light rays emitted from the plurality of point light sources P on the subject surface.
  • the subject on the subject surface 31 is composed of point light sources PA, PB, PC, and is shown in the upper part of FIG. 1 from each of the point light sources PA, PB, PC.
  • the total light intensity becomes the light intensities 5a, 5b, and 5c, respectively.
  • the light beams from the point light sources PA, PB, and PC are caused by the imaging lens 11 so that the positions Pa and Pb on the imaging surface of the imaging element 32 composed of a plurality of pixels. , Pc, respectively, and an image of the subject is formed and picked up.
  • the detection signal levels of the pixels at the positions Pa, Pb, and Pc on the image sensor 32 are as shown in the right part of FIG. 2 when the detection signal levels of the respective rays are a, b, and c.
  • the detection signal levels are 5a, 5b, and 5c, respectively.
  • the vertical axis represents the position on the image sensor 32
  • the horizontal axis represents the detection signal level in the image sensor at each position. That is, the positions Pa, Pb, and Pc on the image sensor 32 are in an inverted positional relationship with respect to the point light sources PA, PB, and PC on the subject surface 31, and the detection signal levels of the positions Pa, Pb, and Pc are set.
  • an image on which an image of the subject is formed which is the light intensity of the light emitted from the point light sources PA, PB, and PC, is captured.
  • the configuration of the imaging device is a configuration including a pinhole 12a provided as a hole with respect to the light shielding film 12 and the imaging device D, as shown in the lower stage of FIG. Of the light beams L1 to L5, only the light beam L3 that passes through the pinhole 12a is imaged on the image sensor D and imaged.
  • an image of the point light source P is formed only by the light beam L3 having the light intensity a emitted from the point light source P and is incident on the image pickup device D.
  • the image is picked up as a dark image having a light quantity of 1/5 as compared with the case where the imaging lens 11 is used.
  • the subject on the subject surface 31 is composed of point light sources PA, PB, and PC, and the light rays emitted from the respective point light sources are light intensities a, b, and c, respectively.
  • the positions Pa, Pb, and Pc on the imaging surface of the imaging element 32 correspond to one light beam from the point light sources PA, PB, and PC, respectively.
  • the object image is formed and picked up at the detection signal levels a, b, and c.
  • the detection signal levels at the positions Pa, Pb, and Pc are a, b, and c (for example, b> a> c), as shown in the right part of FIG.
  • the detection signal levels at the positions Pa, Pb, and Pc are a, b, and c, respectively.
  • the vertical axis represents the position on the image sensor 32
  • the horizontal axis represents the detection signal level in the image sensor at each position.
  • the detection signal level shown in the right part of FIG. 3 is also a pixel value because it is a detection signal level corresponding to an image on which an image of the subject is formed.
  • the essence of imaging the subject is to measure the luminance of each point light source on the subject surface 31 by photoelectric conversion, and the light intensities a and b of the point light sources PA, PB, and PC in the right part of FIG. , C.
  • the role of the imaging lens 11 is to guide each light beam emitted from the point light sources PA, PB, and PC, that is, diffused light, onto the imaging device 32. For this reason, an image corresponding to the final image is formed on the image sensor 32, and an image formed from the detection signal becomes a captured image on which the image is formed.
  • the size of the imaging device is determined by the size of the imaging lens, there is a limit to downsizing.
  • an imaging device having a configuration of a pinhole and an imaging device does not need to be provided with an imaging lens, there is a possibility that the device configuration can be made smaller than an imaging device having a configuration of an imaging lens and an imaging device.
  • the brightness of the captured image is not sufficient, it is essential to increase the exposure time or increase the gain so that an image with a certain level of brightness can be captured. May occur, or natural color expression may not be achieved.
  • the subject on the subject surface 31 is imaged using only the imaging element 32 without providing an imaging lens or a pinhole.
  • light beams having light intensities a, b, and c are incident on positions Pa, Pb, and Pc on the image sensor 32 from point light sources PA, PB, and PC, respectively. Then, at each of the positions Pa, Pb, and Pc on the image sensor 32, the light beams from the point light sources PA, PB, and PC are incident as they are.
  • the detection signal level shown in the right part of FIG. 4 is not a detection signal level corresponding to an image on which the subject image is formed, and thus does not indicate a restored pixel value.
  • the image of the subject on the subject surface 31 cannot be formed using only the image pickup element 32 having no special configuration without providing an image pickup lens or a pinhole. For this reason, with only the configuration using only the image sensor 32, it is not possible to capture an image formed by forming an image of the subject.
  • an imaging element 51 in which the detection sensitivity of each pixel has an incident angle directivity is provided.
  • providing the detection sensitivity of each pixel with the incident angle directivity means that the light receiving sensitivity characteristic corresponding to the incident angle of the incident light with respect to the pixel is different for each pixel.
  • the light reception sensitivity characteristics of all the pixels are completely different. Some pixels may have the same light reception sensitivity characteristics, and some pixels may have different light reception sensitivity. It may have a characteristic.
  • each pixel is incident at a different incident angle. Since each pixel has different light receiving sensitivity characteristics according to the incident angle of incident light, that is, incident angle directivity, even a light beam having the same light intensity is detected with different sensitivity in each pixel. Thus, detection signals having different detection signal levels are detected for each pixel.
  • the sensitivity characteristic according to the incident angle of the incident light received at each pixel of the image sensor 51 that is, the incident angle directivity according to the incident angle at each pixel has the light receiving sensitivity according to the incident angle.
  • the detection signal level corresponding to the incident light in each pixel is obtained by multiplying the coefficient set corresponding to the light receiving sensitivity corresponding to the incident angle of the incident light.
  • the detection signal levels DA, DB, and DC at the positions Pa, Pb, and Pc are expressed by the following equations (1) to (3), respectively.
  • DA ⁇ 1 ⁇ a + ⁇ 1 ⁇ b + ⁇ 1 ⁇ c ...
  • DB ⁇ 2 ⁇ a + ⁇ 2 ⁇ b + ⁇ 2 ⁇ c ...
  • DC ⁇ 3 ⁇ a + ⁇ 3 ⁇ b + ⁇ 3 ⁇ c ...
  • ⁇ 1 is a coefficient for the detection signal level a set in accordance with the incident angle of the light beam from the point light source PA on the object surface 31 to be restored at the position Pa on the image sensor 51, in other words, the position
  • This is a coefficient for the detection signal level a representing the incident angle directivity according to the incident angle of the light beam from the point light source PA at Pa.
  • ⁇ 1 is a coefficient for the detection signal level b set in accordance with the incident angle of the light beam from the point light source PB on the object surface 31 to be restored at the position Pa on the image sensor 51.
  • ⁇ 1 is a coefficient for the detection signal level c set according to the incident angle of the light beam from the point light source PC on the object surface 31 to be restored at the position Pa on the image sensor 51.
  • ( ⁇ 1 ⁇ a) of the detection signal level DA indicates the detection signal level due to the light beam from the point light source PA at the position Pc, and the light intensity a of the light beam from the point light source PA at the position Pc.
  • the coefficient ⁇ 1 indicating the incident angle directivity corresponding to the incident angle is multiplied.
  • ( ⁇ 1 ⁇ b) of the detection signal level DA indicates the detection signal level by the light beam from the point light source PB at the position Pc, and the light intensity b of the light beam from the point light source PB at the position Pc.
  • the coefficient ⁇ 1 indicating the incident angle directivity corresponding to the incident angle is multiplied.
  • ( ⁇ 1 ⁇ c) of the detection signal level DA indicates the detection signal level by the light beam from the point light source PC at the position Pc, and the light intensity c of the light beam from the point light source PC at the position Pc.
  • the coefficient ⁇ 1 indicating the incident angle directivity corresponding to the incident angle is multiplied.
  • the detection signal level DA is expressed as a composite value obtained by multiplying the components of the point light sources PA, PB, and PC at the position Pa by the coefficients ⁇ 1, ⁇ 1, and ⁇ 1 indicating the incident angle directivities corresponding to the respective incident angles. Is done.
  • the coefficients ⁇ 1, ⁇ 1, and ⁇ 1 are collectively referred to as a coefficient set.
  • the coefficient sets ⁇ 2, ⁇ 2, and ⁇ 2 correspond to the coefficient sets ⁇ 1, ⁇ 1, and ⁇ 1 for the detection signal level DA in the point light source PA, respectively.
  • the coefficient sets ⁇ 3, ⁇ 3, and ⁇ 3 correspond to the coefficient sets ⁇ 1, ⁇ 1, and ⁇ 1 for the detection signal level DA in the point light source PA, respectively.
  • the detection signal levels of the pixels at the positions Pa, Pb, and Pc are values expressed by the product sum of the light intensities a, b, and c of the light beams emitted from the point light sources PA, PB, and PC, respectively. It is. For this reason, these detection signal levels are a mixture of the light intensities a, b, and c of the light beams emitted from the point light sources PA, PB, and PC, respectively, so that the image of the subject is formed. Is different.
  • the coefficient sets ⁇ 1, ⁇ 1, ⁇ 1, the coefficient sets ⁇ 2, ⁇ 2, ⁇ 2, the coefficient sets ⁇ 3, ⁇ 3, ⁇ 3 and the simultaneous equations using the detection signal levels DA, DB, DC are constructed, and the light intensities a, b , C, the pixel values at the positions Pa, Pb, Pc are obtained as shown in the lower right part of FIG. As a result, a restored image that is a set of pixel values is restored.
  • the detection signal level shown in the upper right part of FIG. 5 is not a pixel value because it is not the detection signal level corresponding to the image on which the subject image is formed. Further, the detection signal level shown in the lower right part of FIG. 5 is a pixel value because it is a signal value for each pixel corresponding to the image on which the image of the subject is formed, that is, the value of each pixel of the restored image.
  • an imaging device that includes an imaging element 51 that does not require an optical filter including an imaging lens, a diffraction grating, and the like, and does not require a pinhole and that has an incident angle directivity in each pixel.
  • an optical filter or pinhole made up of an imaging lens, a diffraction grating, or the like is not an essential configuration, so the imaging device is reduced in height, that is, the thickness with respect to the incident direction of light in a configuration that realizes an imaging function is reduced. It becomes possible.
  • the imaging apparatus 101 includes a directional imaging element 121, a signal processing unit 122, a demosaic processing unit 123, a ⁇ correction unit 124, a white balance adjustment unit 125, an image output unit 126, a storage unit 127, a display unit 128, and a subject distance determination unit 129.
  • the operation unit 130 and the coefficient set selection unit 131 and does not include an imaging lens.
  • the directional imaging device 121 corresponds to the imaging device 51 described with reference to FIG. 5, includes pixels having incident angle directivity, and includes detection signal level signals corresponding to the amount of incident light.
  • An image sensor that outputs an image.
  • the directional imaging device 121 may have a basic structure similar to that of a general imaging device such as a complementary (Metal) Oxide (Semiconductor) image sensor.
  • the configuration of each pixel constituting the pixel array is different from a general one. That is, in each pixel, a light shielding film is provided in a part of the light receiving region (light receiving surface) of each photodiode and in a different range for each pixel.
  • the light receiving sensitivity differs (changes) in accordance with the incident angle of incident light for each pixel, and as a result, an imaging element having an incident angle directivity with respect to the incident angle of incident light is realized in units of pixels.
  • the directional imaging element 121 may not be configured as a pixel array, and may be configured as a line sensor, for example.
  • the light shielding film is not limited to a case where all of the light shielding films are different from each other.
  • the signal processing unit 122 configures simultaneous equations using the detection signal level of each pixel supplied from the directional imaging device 121 and the coefficient set stored in the coefficient set selection unit 131, and the configured simultaneous equations are expressed. By solving, the pixel value of each pixel constituting the restored image is obtained and output to the demosaic processing unit 123.
  • the number of pixels of the directional imaging element 121 and the number of pixels constituting the restored image are not necessarily the same.
  • the demosaic processing unit 123 is provided as a configuration for performing color separation processing.
  • the demosaic processing unit 123 is replaced with a configuration that performs a corresponding color separation process, and a monochrome image sensor or a multi-color image sensor is provided for each color. In the case of a plate imaging device, the demosaic processing unit 123 is omitted.
  • the color filter may be one that transmits colors other than RGB (red, green, blue) used in the Bayer array, for example, one that transmits yellow, white, etc., ultraviolet light, It may be one that transmits infrared light or the like, or one that transmits colors of various wavelengths.
  • RGB red, green, blue
  • the detection image formed of the signal output from the directional imaging element 121 in FIG. 6 is an image composed of a detection signal in which the image of the subject is not formed as shown in the upper right side of FIG. Therefore, the image cannot be recognized visually. That is, the detection image composed of the detection signals output from the directional imaging element 121 in FIG. 6 is an image that is a set of pixel signals but cannot be recognized as an image even when viewed by the user.
  • an image composed of a detection signal in which an image of a subject is not formed, that is, an image captured by the directional imaging element 121 is referred to as a detection image. Shall be called.
  • a restored image An image that is composed of pixel values on which an image of a subject to be formed and can be visually recognized as an image by a user is referred to as a restored image.
  • the restored image is not an image that can identify the subject as in the normal image, but in this case, the restored image is also restored. This is called an image.
  • a restored image that is an image in which a subject image is formed, and an image before demosaic processing is referred to as a Raw image
  • a detected image captured by the directional imaging element 121 is a color filter.
  • the demosaic processing unit 123 generates an image of a plane for each RGB by performing a demosaic process that generates a pixel signal of a missing color in accordance with an array of color filters such as a Bayer array, and sends it to the ⁇ correction unit 124. Supply.
  • the ⁇ correction unit 124 performs ⁇ correction on the demosaiced image and supplies the image to the white balance adjustment unit 125.
  • the white balance adjustment unit 125 adjusts the white balance of the image that has been subjected to the ⁇ correction, and outputs the adjusted image to the image output unit 126.
  • the image output unit 126 converts the image with the adjusted white balance into an image signal of a predetermined compression format such as JPEG (Joint-Photographic Experts Group), TIFF (Tag Image Image Format), GIF (Graphics Interchange Format), or the like. To do. Then, the image output unit 126 converts the image signal thus converted into a predetermined format into any one of HDD (Hard Disk Drive), SSD (SolidState Drive), semiconductor memory, or a combination thereof.
  • One of the processes to be stored in the storage unit 127, to be displayed on the display unit 128 including an LCD (Liquid Crystal Display), and to be output to the subject distance determination unit 129 is executed.
  • the subject distance determination unit 129 is a subject that is a distance from the imaging position to the subject based on an operation signal from the operation unit 130 including an operation dial, an operation button, an external remote controller configured separately from the imaging device 101, and the like. The distance is determined, and information on the determined subject distance is supplied to the coefficient set selection unit 131. That is, since the restored image is displayed on the display unit 128, a user (not shown) adjusts the subject distance by operating the operation unit 130 while viewing the through image that is the restored image displayed on the display unit 128.
  • the coefficient set selection unit 131 associates the above-described coefficients ⁇ 1 to ⁇ 3, ⁇ 1 to ⁇ 1 with various subject distances corresponding to the distance from the image sensor 51 to the subject plane 31 (subject plane corresponding to the restored image) in FIG. Coefficient sets corresponding to ⁇ 3, ⁇ 1 to ⁇ 3 are stored. Therefore, the coefficient set selection unit 131 selects a coefficient set based on the subject distance information supplied from the subject distance determination unit 129. Thereby, the signal processing unit 122 restores the restored image from the detected image using the selected coefficient set.
  • the subject distance determination unit 129 may not be provided when only a restored image of one subject distance is obtained.
  • the subject distance determination unit 129 determines the optimum subject distance by a hill-climbing method similar to the contrast AF (Auto-Focus) method based on the restored image supplied from the image output unit 126, thereby enabling the autofocus function. Can be realized.
  • the subject distance is not limited to the restored image supplied from the image output unit 126 but may be determined based on the outputs of the demosaic processing unit 123, the ⁇ correction unit 124, and the white balance adjustment unit 125.
  • the subject distance determination unit 129 may determine the subject distance based on the output of a distance measuring sensor provided separately.
  • the detection image output from the directional imaging element 121 may be stored in the storage unit 127 without being restored.
  • the detected image stored in the storage unit 127 at the time of reproduction is supplied to the signal processing unit 122, and the signal processing unit 122 generates a restored image.
  • it is stored in a recording medium, stored, or output to another device by communication or the like, which is different from the imaging device, such as a PC (personal computer) or
  • the detected image may be restored by another device such as a playback device.
  • the coefficient set selection unit 131 selects one of a plurality of coefficient sets associated with the plurality of subject distances based on a user selection or the like, and different subjects depending on the coefficient set selected by the signal processing unit 122 You may make it obtain by switching the restoration image of distance. Thereby, refocusing may be realized.
  • the demosaic processing unit 123, the ⁇ correction unit 124, and the white balance adjustment unit 125 are all shown for the configuration example.
  • a configuration order other than the configuration of FIG. 6 may be used.
  • the image output unit 126 may not perform compression or format conversion, and may output a raw image as it is. Further, when the demosaic processing unit 123, the ⁇ correction unit 124, and the white balance adjustment unit 125 are omitted, and the image output unit 126 does not perform compression or format conversion, the Raw image is directly HDMI (registered trademark) (High Definition Multimedia). (Interface) or the like.
  • the imaging device 151 differs from the configuration of the imaging device 101 in FIG. 1 in that the imaging device 151, the optical block, and the directional imaging device 121, the signal processing unit 122, and the coefficient set selection unit 131 are replaced. 152 and a focus adjustment unit 153 are provided.
  • the image sensor 151 is an image sensor made up of pixels having no incident angle directivity
  • the optical block 152 composed of a plurality of image pickup lenses is subject distance supplied from the subject distance determination unit 129, that is, It is adjusted by the focus adjustment unit 153 according to the focal length, and the incident light is collected and imaged on the imaging surface of the imaging element 151.
  • the image sensor 151 captures the restored image on which the subject image is formed in this way, and outputs it to the demosaic processing unit 123.
  • Imaging processing by the imaging device 141 including the optical block of FIG. 7 will be described with reference to the flowchart of FIG.
  • step S11 the subject distance determination unit 129 determines the distance to the subject based on the operation signal supplied from the operation unit 130 or a plurality of images captured immediately before, and the determined subject distance is determined. Information is supplied to the focus adjustment unit 153.
  • the focus adjustment unit 153 adjusts the optical block 152 based on the subject distance, that is, the focal length.
  • step S12 the optical block 152 condenses the incident light and forms an image of the subject on the subject surface at a position corresponding to the corresponding subject distance on the imaging surface of the image sensor 151.
  • step S ⁇ b> 13 the image sensor 151 captures an image in which an image of a subject is formed by the optical block 152, and supplies a raw image to be a restored image to the demosaic processing unit 123.
  • step S14 the demosaic processing unit 123 performs demosaic processing on the raw images constituting the restored image, and supplies the demosaic processing unit 123 with the demosaic processing.
  • step S15 the ⁇ correction unit 124 performs ⁇ correction on the demosaiced restored image and supplies the corrected image to the white balance adjustment unit 125.
  • step S16 the white balance adjustment unit 125 adjusts the white balance of the restored image that has been subjected to the ⁇ correction, and supplies the adjusted image to the image output unit 126.
  • step S17 the image output unit 126 converts the image formed on the white balance to a predetermined compression format.
  • step S ⁇ b> 18 the image output unit 126 stores at least one of the process of storing the restored image converted into the predetermined compression format in the storage unit 127, displaying it on the display unit 128, and supplying it to the subject distance determination unit 129. Do something.
  • the restored image is captured by the above processing. That is, in the imaging process by the imaging device including the optical block, the light incident on the imaging element 151 is collected by the optical block 152, and a restored image on which an image of the subject is formed is captured.
  • This difference is caused by a difference in structure between the directional image sensor 121 and the image sensor 151.
  • FIG. 9 shows a front view of a part of the pixel array part of the imaging device 151 of the imaging device 141 including the optical block of FIG. 7, and the right part of FIG. 9 shows the imaging of the present disclosure of FIG.
  • a front view of a part of the pixel array section of the directional imaging element 121 of the apparatus 101 is shown.
  • FIG. 9 shows an example in which the pixel array unit has a configuration in which the number of pixels in the horizontal direction ⁇ vertical direction is 6 pixels ⁇ 6 pixels.
  • the configuration of the number of pixels is not limited to this. is not.
  • the imaging device 151 used in the imaging device 141 including the optical block of FIG. 7 shows that the pixels 151a that do not have incident angle directivity are arranged in an array. ing.
  • the directional imaging element 121 is part of the light receiving region of the photodiode for each pixel 121a, and the light shielding film 121b is provided in a different range for each pixel 121a. By differentiating the light receiving sensitivity with respect to the incident angle of light, the structure has an incident angle directivity with respect to the incident angle.
  • the light-shielding film 121b-1 and the light-shielding film 121b-2 are provided with different light-shielding ranges (light-shielding regions (positions)). ) And at least one of the light shielding areas is different). That is, in the pixel 121a-1, a light shielding film 121b-1 is provided so as to shield a part of the left side in the light receiving region of the photodiode by a predetermined width. In the pixel 121a-2, the right side in the light receiving region is provided.
  • a light shielding film 121b-2 is provided so that a part of the light is shielded by a wider width in the horizontal direction than the light shielding film 121b-1.
  • the light shielding film 121b is provided so that different ranges in the light receiving region are shielded for each pixel, and are randomly arranged in the pixel array.
  • the range of the light shielding film 121b is preferably set to an area that can secure a desired amount of light because the amount of light that can be received decreases as the ratio of covering the light receiving region of each pixel increases.
  • the area may be limited to, for example, up to about 3/4 of the entire light receiving range. By doing in this way, it becomes possible to ensure the light quantity more than desired amount.
  • each pixel has an unshielded range with a width corresponding to the wavelength of light to be received, it is possible to receive a minimum amount of light. That is, for example, in the case of a B pixel (blue pixel), the wavelength is about 500 nm, but it is possible to receive a minimum amount of light as long as the light is not shielded beyond a width corresponding to this wavelength.
  • FIG. 10 is a side cross-sectional view of the first configuration example of the directional imaging element 121
  • the middle stage of FIG. 10 is a top view of the first configuration example of the directional imaging element 121.
  • the side sectional view of the upper stage of FIG. 10 is an AB section in the middle stage of FIG.
  • the lower part of FIG. 10 is a circuit configuration example of the directional imaging element 121.
  • each of the adjacent pixels 121a-15 and 121a-16 is a so-called back-illuminated type in which a wiring layer Z12 is provided in the lowermost layer in the drawing and a photoelectric conversion layer Z11 is provided thereon.
  • FIG. 10 is a side view and a top view of two pixels constituting the pixel array of the directional imaging element 121. Needless to say, a larger number of pixels 121a are arranged. Is omitted.
  • each of the pixels 121a-15 and 121a-16 includes photodiodes 121e-15 and 121e-16 in the photoelectric conversion layer Z11.
  • photodiodes 121e-15 and 121e-16 on-chip lenses 121c-15 and 121c-16 and color filters 121d-15 and 121d-16 are formed from above.
  • the on-chip lenses 121c-15 and 121c-16 condense incident light onto the photodiodes 121e-15 and 121e-16.
  • the color filters 121d-15 and 121d-16 are optical filters that transmit light of specific wavelengths such as red, green, blue, infrared, and white. In the case of white, the color filters 121d-15 and 121d-16 may or may not be transparent filters.
  • a part of the light shielding films 121b-15 and 121b-16 shields the light receiving surface S as viewed from above.
  • different ranges are shielded by the light shielding films 121b-15 and 121b-16. Different incident angle directivities are set.
  • the shaded range is not limited to the case where all the pixels 121a of the directional imaging element 121 are different, and there may be pixels 121a in which the same range is partially shaded.
  • the right end of the light shielding film 121p-15 and the upper end of the light shielding film 121b-15 are connected, and the left end of the light shielding film 121b-16 and the light shielding film 121p are connected.
  • the upper end of ⁇ 16 is connected, and is configured in an L shape when viewed from the side.
  • the light shielding films 121b-15 to 121b-17 and the light shielding films 121p-15 to 121p-17 are made of metal, for example, tungsten (W), aluminum (Al), or Al and copper (Cu). And an alloy. Further, the light shielding films 121b-15 to 121b-17 and the light shielding films 121p-15 to 121p-17 are formed at the same time using the same metal as the wiring in the same process as that for forming the wiring in the semiconductor process. It may be. Note that the thicknesses of the light shielding films 121b-15 to 121b-17 and the light shielding films 121p-15 to 121p-17 need not be the same depending on the position.
  • the pixel 121a includes a photodiode 161 (corresponding to the photodiode 121e), a transfer transistor 162, an FD (FloatingloDiffusion) unit 163, a selection transistor 164, and an amplification transistor 165. And a reset transistor 166, and is connected to a current source 168 via a vertical signal line 167.
  • the photodiode 161 is configured such that the anode electrode is grounded and the cathode electrode is connected to the gate electrode of the amplification transistor 165 via the transfer transistor 162.
  • the transfer transistor 162 is driven according to the transfer signal TG. For example, when the transfer signal TG supplied to the gate electrode of the transfer transistor 162 becomes high level, the transfer transistor 162 is turned on. As a result, charges accumulated in the photodiode 161 are transferred to the FD unit 163 via the transfer transistor 162.
  • the amplification transistor 165 serves as an input unit of a source follower that is a reading circuit that reads out a signal obtained by photoelectric conversion in the photodiode 161, and outputs a pixel signal having a level corresponding to the charge accumulated in the FD unit 163 to the vertical signal line 23. Output to. That is, the amplifying transistor 165 has a drain terminal connected to the power supply voltage VDD and a source terminal connected to the vertical signal line 167 via the selection transistor 164, so that the current source 168 connected to one end of the vertical signal line 167. And configure the source follower.
  • An FD (Floating Diffusion) unit 163 is a floating diffusion region having a charge capacitance C ⁇ b> 1 provided between the transfer transistor 162 and the amplification transistor 165, and charges transferred from the photodiode 161 via the transfer transistor 162. Is temporarily stored.
  • the FD unit 163 is a charge detection unit that converts charges into voltage, and the charge accumulated in the FD unit 163 is converted into voltage in the amplification transistor 165.
  • the selection transistor 164 is driven according to the selection signal SEL, and is turned on when the selection signal SEL supplied to the gate electrode becomes high level, and connects the amplification transistor 165 and the vertical signal line 167.
  • the reset transistor 166 is driven according to the reset signal RST. For example, the reset transistor 166 is turned on when the reset signal RST supplied to the gate electrode becomes a high level, discharges the charge accumulated in the FD portion 163 to the power supply voltage VDD, and resets the FD portion 163.
  • the pixel circuit shown in the lower part of FIG. 10 operates as follows.
  • the reset transistor 166 and the transfer transistor 162 are turned on, the electric charge accumulated in the FD unit 163 is discharged to the power supply voltage VDD, and the FD unit 163 is reset.
  • the reset transistor 166 and the transfer transistor 162 are turned off, and an exposure period is started. Charges corresponding to the amount of incident light are accumulated by the photodiode 161.
  • the reset transistor 166 is turned on and the FD unit 163 is reset, the reset transistor 166 is turned off. By this operation, the FD unit 163 is reset and set to the reference potential.
  • the reset potential of the FD unit 163 is output from the amplification transistor 165 as a reference potential.
  • the transfer transistor 162 is turned on, and the charge accumulated in the photodiode 161 is transferred to the FD unit 163.
  • the potential of the FD portion 163 to which the photodiode charge has been transferred is output from the amplification transistor 165 as a signal potential.
  • the reference potential is subtracted from the signal potential and output as a detection signal by CDS (correlated double sampling).
  • FIG. 11 is a diagram illustrating a side cross-section, an upper surface, and a circuit configuration example in the second configuration example of the directional imaging element 121. That is, the upper part of FIG. 11 shows a side cross-sectional view of the pixel 121a of the directional imaging element 121 as the second configuration example, and the middle part of FIG. It is shown. Moreover, the side sectional view of the upper stage of FIG. 11 is an AB section in the middle stage of FIG. Furthermore, the lower part of FIG. 11 is a circuit configuration example of the directional imaging element 121.
  • the directional imaging device 121 in the directional imaging device 121, four photodiodes 121f-11s to 121f-4 are formed in a pixel 121a, and a light shielding film 121p separates the photodiodes 121f-11 to 121f-4 from each other.
  • the configuration is different from that of the directional imaging element 121 in FIG. That is, in the directional imaging element 121 of FIG. 11, the light shielding film 121p is formed in a “+” shape when viewed from the top.
  • symbol is attached
  • the photodiodes 121f-1 to 121f-4 are separated into the photodiodes 121f-1 to 121f-4 by the light shielding film 121p, so that the electrical and optical connections between the photodiodes 121f-1 to 121f-4 are achieved.
  • Crosstalk can be prevented. That is, the light shielding film 121p in FIG. 11 is for preventing crosstalk, and is not for providing incident angle directivity, like the light shielding film 121p of the directional imaging element 121 in FIG.
  • one FD portion 163 is shared by four photodiodes 121f-1 to 121f-4.
  • the lower part of FIG. 11 shows a circuit configuration example in which one FD portion 163 is shared by four photodiodes 121f-1 to 121f-4.
  • the description of the same configuration as the lower part of FIG. 10 is omitted.
  • the lower stage of FIG. 11 differs from the circuit configuration of the lower stage of FIG. 10 in that photodiodes 161-1 to 161-are replaced with the photodiode 161 (corresponding to the photodiode 121 e in the upper stage of FIG. 10) and the transfer transistor 162. 4 (corresponding to the photodiodes 121f-1 to 121f-4 in the upper stage of FIG. 11) and transfer transistors 162-1 to 162-4 are provided, and the FD portion 163 is shared.
  • the charges accumulated in the photodiodes 121f-1 to 121f-4 have a predetermined capacitance provided at the connection portion between the photodiodes 121f-1 to 121f-4 and the gate electrode of the amplification transistor 165.
  • the data is transferred to the common FD unit 163. Then, a signal corresponding to the level of charge held in the FD unit 163 is read out as a detection signal in pixel output units.
  • the charges accumulated in the photodiodes 121f-1 to 121f-4 can be selectively contributed to the detection signal in the unit of pixel output in various combinations (the degree of contribution to the detection signal in the unit of pixel output). Can be different).
  • each pixel output unit can have a different incident angle directivity.
  • the incident angle directivity in the left-right direction is added. Can be obtained.
  • the incident angle directivity in the vertical direction can be obtained. it can.
  • the charges of the photodiodes 121f-1 and 121f-3 and the charges of the photodiodes 121f-2 and 121f-4 are simultaneously transferred to the FD unit 163, and are added by the FD unit 163. And the incident angle directivity of the left-right direction can be obtained with the signal obtained by reading. Similarly, the charges of the photodiode 121f-1 and the photodiode 121f-2 and the charges of the photodiode 121f-3 and the photodiode 121f-4 are simultaneously transferred to the FD unit 163 and added in the FD unit 163, The incident angle directivity in the vertical direction can be obtained from the signal obtained by reading.
  • the signal obtained based on the electric charges selectively read out independently from the four photodiodes 121f-1 to 121f-4 is a detection signal of one pixel output unit corresponding to one pixel constituting the detection image. Become.
  • the incident angle directivity that differs for each pixel. can have sex.
  • one photodiode 121e is provided for one pixel output unit.
  • the state of light shielding by the light shielding film 121p of each pixel (pixel output unit) different for each pixel, the incident angle directivity for each pixel can be made different.
  • the photodiode 121f-1 to 121f-4 are provided for one pixel output unit.
  • the photodiode 121f that contributes to the detection signal is different for each pixel output unit, so that different incident angle directivities can be provided for each pixel output unit. it can.
  • the degree of contribution depends on whether or not the detection value of each photodiode 121f is read out to FD (floating diffusion), and the detection value accumulated in the photodiode 121f before the charge is read out to FD using the electronic shutter function ( This can be realized by resetting the charge.
  • the photodiode 121f can be in a state where it does not contribute to the pixel output unit. If there is a time between readings, it is possible to make a partial contribution.
  • the signal detected by the photodiode 121f in FIG. 11 four signals of the photodiodes 121f-11 to 121f-4 are selectively used, and the output is equivalent to one pixel output unit constituting the detection image. Detection signal.
  • each pixel 121a in FIG. 10 is provided with one photodiode 121e, and a different range for each pixel 121a is shielded by the light shielding film 121b, and optical modulation using the light shielding film 121b is performed.
  • the detection signal for one pixel of the detection image having the incident angle directivity can be expressed by one pixel 121a.
  • the pixel 121a in FIG. 11 is provided with four photodiodes 121f for each pixel, and the light-shielding film 121b is not formed on the light-receiving surface.
  • the four photodiodes 121f-1 to 121f-4 are formed to represent a detection signal for one pixel of a detection image having incident angle directivity.
  • one of the photodiodes 121f-11 to 121f-14 that does not contribute to the output functions in the same manner as a light-shielded region and has detection of one pixel of the detection image having incident angle directivity.
  • the signal is expressed.
  • the detection signals for one pixel are expressed using the photodiodes 121f-11 to 121f-14, the light shielding film 121b is not used, so the detection signals are not signals obtained by optical modulation. .
  • a configuration including at least one photodiode 121e or 121f for outputting a detection signal of one pixel 121a of the detection image output from the directional imaging element 121 is referred to as a one-pixel output unit. That is, in the case of the directional imaging element 121 of FIG. 10, one pixel output unit is composed of one photodiode 121e. Further, in the case of the directional imaging element 121 of FIG. 11, one pixel output unit is constituted by four photodiodes 121f-1 to 121f-4.
  • the four photodiodes 121f-1 to 121f-4 are arranged in the same shape and divided into equal areas for each pixel output unit.
  • the photodiodes 121f-1 to 121f-4 may have different shapes and different division positions so as to have unequal areas.
  • the division positions so that the division positions of the four photodiodes 121f-1 to 121f-4 are non-identical and have an unequal area, the upper left corner is similarly obtained in a plurality of pixel output units.
  • the incident angle directivity may be different.
  • the incident angle directivity can be set more freely. Furthermore, the above may be combined.
  • the incident angle directivity of each pixel in the directional imaging element 121 is generated according to the principle shown in FIG. 12, for example.
  • the upper left part and the upper right part of FIG. 12 are diagrams for explaining the principle of incidence angle directivity in the directional imaging element 121 of FIG. 10, and the lower left part and the lower right part of FIG. It is a figure explaining the generation
  • each one-pixel output unit in the upper left part and the upper right part of FIG. 12 is constituted by one photodiode 121e.
  • each one-pixel output unit in the lower left part and the lower right part of FIG. 12 is composed of two photodiodes 121f.
  • an example in which one pixel output unit is configured by two photodiodes 121f has been described, but this is for convenience of explanation, and the number of photodiodes 121f that configure one pixel output unit is as follows. Other numbers may be used.
  • the light shielding film 121b-11 is formed so as to shield the right half of the light receiving surface of the photodiode 121e-11 when incident light enters from the upper side to the lower side in the figure. ing.
  • a light shielding film 121b-12 is formed so as to shield the left half of the light receiving surface of the photodiode 121e-12.
  • the alternate long and short dash line in the figure indicates the center position in the horizontal direction in the figure of the light receiving surface of the photodiode 121e and the direction perpendicular to the light receiving surface.
  • the incident light from the upper right direction in the figure indicated by the arrow forming the incident angle ⁇ 1 with respect to the dashed line in the figure is blocked by the photodiode 121e-11.
  • incident light from the upper left direction in the figure, indicated by an arrow that forms an incident angle ⁇ 2 with respect to the alternate long and short dash line in the figure is a photodiode. It is difficult to receive light in the left half range that is not shielded by the light shielding film 121b-11 of 121e-11.
  • the incident angle directivity has a high light receiving sensitivity characteristic with respect to the incident light from the upper right in the figure and has a low light receiving sensitivity characteristic with respect to the incident light from the upper left. Will be provided.
  • the incident light from the upper right direction in the figure, indicated by the arrow forming the incident angle ⁇ 11 with respect to the alternate long and short dash line in the figure is photodiode 121e-12.
  • the incident light from the upper left direction in the figure indicated by the arrow forming the incident angle ⁇ 12 with respect to the dashed line in the figure is It is easy to receive light in the right half range that is not shielded by the light shielding film 121b-12 of the photodiode 121e-12.
  • the incident angle directivity has a low light receiving sensitivity characteristic with respect to incident light from the upper right in the figure and a high light receiving sensitivity characteristic with respect to the incident light from the upper left. Will be provided.
  • photodiodes 121f-1 and 121f-2 are provided on the left and right in the drawing, and the light shielding film 121b is provided by reading one of the detection signals. Without incident angle directivity.
  • the photodiode 121f-1 when the pixel 121a is configured with two photodiodes 121f-1 and 121f-2 as a pixel output unit, the photodiode provided on the left side in FIG.
  • the detection signal 121f-1 By reading the detection signal 121f-1, it is possible to provide the same incident angle directivity as the configuration in the upper left part of FIG. That is, incident light from the upper right direction in the figure, which is indicated by an arrow having an incident angle ⁇ 21 with respect to the one-dot chain line in the figure, enters the photodiode 121f-1 and is received and read.
  • incident light from the upper left direction in the figure which is indicated by an arrow having an incident angle ⁇ 22 with respect to the one-dot chain line in the figure, enters the photodiode 121f-2, but the signal is in pixel output units. Does not contribute.
  • the photodiode 121f-11 and 121f-12 when the pixel 121a composed of two photodiodes 121f-11 and 121f-12 is set as one pixel output unit, the photodiode provided on the left side in the figure.
  • the detection signal 121f-12 contribute to the pixel output unit, it is possible to provide the same incident angle directivity as the configuration in the upper right part of FIG. That is, incident light from the upper right direction in the figure, which is indicated by an arrow having an incident angle ⁇ 31 with respect to the one-dot chain line in the figure, enters the photodiode 121f-11 but does not contribute to the pixel output unit.
  • incident light from the upper left direction in the figure which is indicated by an arrow having an incident angle ⁇ 32 with respect to the one-dot chain line in the figure, enters the photodiode 121f-12 and contributes to the output pixel implication.
  • the example in which the one-dot chain line in the vertical direction is the center position in the horizontal direction in the drawing of the light receiving surface of the photodiode 121e has been described.
  • Different incident angle directivities can be generated by the difference in the horizontal position of the light shielding film 121b indicated by the one-dot chain line in the vertical direction.
  • the incident angle directivity of each pixel in the directional imaging element 121 is set as shown in FIG. 13 by using the on-chip lens 121c in addition to the above-described light shielding film 121b. That is, in the middle left part of FIG. 13, an on-chip lens 121c-11 that collects incident light from the upper incident direction in the figure, a color filter 121d-11 that transmits light of a predetermined wavelength, and a pixel by photoelectric conversion. The photodiodes 121e-11 that generate the signals are stacked in this order. In the middle right part of FIG. 13, the on-chip lens 121c-12, the color filter 121d-12, and the photodiode 121e-12 are arranged from the upper incident direction in the figure. It is structured in order.
  • the on-chip lenses 121c are simply used. , Color filter 121d and photodiode 121e.
  • the light shielding films 121b-11 and 121b-12 that shield a part of the region that receives the incident light. Is provided.
  • the incident angle ⁇ which is the angle formed by the incident light
  • the incident angle ⁇ increases with respect to the alternate long and short dash line at the center position of the photodiode 121e and the on-chip lens 121c
  • the incident angle ⁇ is positive.
  • the light is condensed in a range where the light shielding film 121b-11 is not provided, so that the detection signal level of the photodiode 121e-11 increases.
  • the smaller the incident angle ⁇ the larger the incident angle ⁇ is in the negative direction (when it is tilted to the left in the figure)
  • the detection signal level of the photodiode 121e-11 decreases.
  • the incident angle ⁇ is 0 degree when the direction of the incident light coincides with the alternate long and short dash line, and incident light from the upper right side in the figure is incident on the incident angle ⁇ 21 side on the left side of the middle stage in FIG.
  • the incident angle ⁇ is a positive value
  • the incident angle ⁇ on the right side of the middle stage in FIG. 13 is a negative value. Therefore, in FIG. 13, the incident angle of the incident light incident on the on-chip lens 121 c from the upper right is larger than the incident light incident from the upper left. That is, in FIG. 13, the incident angle ⁇ increases as the traveling direction of incident light tilts to the right (increases in the positive direction) and decreases as it tilts to the left (increases in the negative direction).
  • the waveform of the dotted line in the upper part of FIG. As shown, the detection signal level of the photodiode 121e-12 changes according to the incident angle ⁇ of the incident light.
  • the angle between the incident light and the center line of the photodiode 121e and the on-chip lens 121c is perpendicular to each other.
  • the smaller the incident angle ⁇ (the larger the incident angle ⁇ is in the negative direction), the more light enters the range where the light-shielding film 121b-12 is not provided, thereby detecting the detection signal level of the photodiode 121e-12. Becomes larger.
  • the horizontal axis represents the incident angle ⁇
  • the vertical axis represents the detection signal level in the photodiode 121e.
  • the waveform indicated by the solid line and the dotted line indicating the detection signal level corresponding to the incident angle ⁇ shown in the upper part of FIG. 13 can be changed according to the range of the light shielding film 121b. It becomes possible to have different incident angle directivities.
  • the solid line waveform in the upper part of FIG. 13 corresponds to the solid line arrow indicating that incident light in the middle left part and the lower left part of FIG. 13 is collected by changing the incident angle ⁇ .
  • the dotted waveform in the upper part of FIG. 13 corresponds to a dotted arrow indicating that incident light in the middle right part and the lower right part of FIG. 13 is collected by changing the incident angle ⁇ . .
  • the incident angle directivity is a characteristic (detection sensitivity characteristic) of the detection signal level of each pixel output unit corresponding to the incident angle ⁇ .
  • the light shielding value corresponding to the incident angle ⁇ In the middle example of FIG. 13, the light shielding value corresponding to the incident angle ⁇ . It can be said that this is a characteristic. That is, the light shielding film 121b shields incident light in a specific direction at a high level, but cannot sufficiently shield incident light from directions other than the specific direction. This change in level that can be shielded from light causes different detection signal levels corresponding to the incident angle ⁇ as shown in the upper part of FIG.
  • each pixel output unit has different incident angle directivities. This means that they have different light shielding directions.
  • two photodiodes 121f-1 and 121f-2 are provided for one on-chip lens 121c-11 (the pixel output unit is 2).
  • the photodiode in the middle left part of FIG. The same detection signal level as when the right side of 121e-11 is shielded can be obtained.
  • the incident angle ⁇ that is the angle formed by the incident light with respect to the one-dot chain line that is the center position of the on-chip lens 121c and is perpendicular to each of them is increased (when the incident angle ⁇ is increased in the positive direction).
  • the light is condensed in the range of the photodiode 121f-1 from which the detection signal is read, so that the detection signal level is increased.
  • the smaller the incident angle ⁇ (the larger the incident angle ⁇ is in the negative direction), the smaller the detection signal level is because the light is condensed in the range of the photodiode 121f-2 from which the detection value is not read out. Become.
  • the pixel output unit of the same detection signal level as that in the state where the left side of the photodiode 121e-12 in the middle part of the middle part of FIG. A detection signal can be obtained.
  • the incident angle ⁇ that is the angle formed by the incident light with respect to the one-dot chain line that is the center position of the on-chip lens 121c and is perpendicular to each of them is increased (when the incident angle ⁇ is increased in the positive direction).
  • the detection signal level of the detection signal of the pixel output unit is reduced.
  • the smaller the incident angle ⁇ the larger the incident angle ⁇ is in the negative direction
  • the more focused the light is in the range of the photodiode 121f-12 where the detection signal contributes to the detection signal in pixel output units.
  • the detection signal level of the detection signal in pixel output units is increased.
  • each of the one photodiode 121e-11 and the photodiode 121e-12 constitutes one pixel output unit.
  • each of the one photodiode 121e-11 and the photodiode 121e-12 constitutes one pixel output unit.
  • two photodiodes 121f-1 and 121f-2, and photodiodes 121f-11 and 121f-12 constitute one pixel output unit. Therefore, for example, in the lower stage of FIG. 13, a single pixel output unit is not configured by the single photodiode 121f.
  • one pixel output unit when one pixel output unit is configured from a plurality of photodiodes 121f, it can be considered that the output pixel value of the pixel output unit is modulated according to the incident angle. it can. Therefore, the characteristics of the output pixel value (incident angle directivity) can be made different for each pixel output unit, and the incident angle directivity for each pixel output unit is set. Further, when one pixel output unit is constituted by a plurality of photodiodes 121f, one on-chip lens 121c is essential for one pixel output unit in order to generate the incident angle directivity in one pixel output unit. It becomes composition.
  • one pixel output unit is constituted according to the incident angle.
  • the output pixel value is modulated by modulating the incident light to the one photodiode 121e-11 or the photodiode 121e-12. Therefore, it is possible to vary the characteristics (incident angle directivity) of the output pixel value, and the incident angle directivity in units of one pixel output is set. Further, when each of the photodiodes 121e-11 or 121e-12 constitutes one pixel output unit, the incident angle directivity is independently manufactured by the light shielding film 121b provided for each pixel output unit. Set at time.
  • the number of the plurality of photodiodes 121 f for setting the incident angle directivity for each pixel output unit is configured by a plurality of photodiodes 121 f.
  • the (division number of the photodiode 121f constituting one pixel output unit) and the division position are set independently at the time of manufacturing for each pixel output unit, and among these, the photodiode 121f is used to determine the incident angle directivity. Whether or not to be set can be switched during imaging.
  • the setting range of the light shielding film 121b is a range from the left end to the position A in the horizontal direction in the pixel 121a, and a range from the upper end to the position B in the vertical direction. To do.
  • the weight Wh is set so that the weight Wx becomes ( ⁇ ( ⁇ x ⁇ a) / 2 ⁇ + 1/2) when ⁇ ⁇ a + ⁇ and the weight Wx becomes 0 when the incident angle ⁇ x> ⁇ a + ⁇ .
  • the weight Wh is 0, 0.5, 1 when an ideal condition is satisfied.
  • the incident angle directivity of each pixel 121a that is, a coefficient corresponding to the light receiving sensitivity characteristic can be obtained.
  • the on-chip lens 121c having a different focal length is used for the gradient (1 / 2 ⁇ ) indicating the change in weight in the range in which the horizontal weight Wx and the vertical weight Wy are around 0.5. Can be set.
  • the incident angle directivity of the pixel 121a can be set to a different value by making the range in which the photodiode 121e is shielded by the light shielding film 121b different from the curvature of the on-chip lens 121c.
  • the curvature of the on-chip lens may be the same for all pixel output units in the directional imaging element 121, or may be different for some pixel output units.
  • the directional imaging element 121 has a configuration that does not require the optical block 152 including an imaging lens, but an on-chip lens 121c may be provided.
  • the on-chip lens 121c is an essential configuration.
  • the on-chip lens 121c and the imaging lens have different physical actions.
  • optical block 152 is the imaging lens 152.
  • the imaging lens 152 captures the imaging element by the principal ray L101 passing through the point light source P101 and the center 152a of the imaging lens 152.
  • the pixel position P111 that forms an image on 151 is specified.
  • the imaging lens 152 is designed so that light incident from the point light source P101 at an incident angle different from the principal ray L101 due to diffusion can be condensed at the pixel position P111 on the imaging element 151. Yes.
  • the pixel position P112 adjacent to the pixel position P111 is specified by a principal ray L102 passing through a point light source P102 different from the point light source P101 and the center position 152a of the imaging lens 152.
  • the imaging lens 152 forms images of different point light sources P101 and P102 having different chief rays at different pixel positions P111 and P1121 on the imaging element 151, respectively.
  • the incident light at infinity is parallel light, and therefore, for example, parallel light L121 with respect to the principal ray L101 assuming the point light source P101. , L122. Therefore, the imaging lens 152 forms an image of point light sources having different chief ray incident angles at pixel positions on the different imaging elements 151.
  • the imaging lens 152 has a condensing function for causing diffused light having different chief ray incident angles to enter a plurality of adjacent pixel output units.
  • the light passing through the on-chip lens 121c is incident only on the light receiving surface of the photodiode 121e or 121f constituting the corresponding one-pixel output unit. Is done.
  • the on-chip lens 121c is provided for each pixel output unit, and condenses subject light incident on itself on only the corresponding pixel output unit. That is, the on-chip lens 121c does not have a condensing function for causing the diffused light emitted from the virtual point light source to enter a plurality of adjacent pixel output units.
  • the directional imaging element 121 is composed of a total of 9 pixels of 3 pixels ⁇ 3 pixels, and a different light shielding film 121b is provided for each pixel, and each pixel is a pixel P11.
  • the light incident on the directional imaging element 121 is assumed to be point light sources G1 to G3 located at infinity, as shown in FIG.
  • the incident light from each of the point light sources G1 to G3 becomes parallel light, and the light emitted from the same point light source has the same incident angle at any pixel of the directional imaging element 121. It can be considered that it was incident at. Therefore, for example, the incident angle of the light from the point light source G2 is 0 deg at any pixel of the directional imaging element 121.
  • the three pixels P11, P21, and P31, the three pixels P12, P22, and P32, and the three pixels P13, P23, and P33 are in the vertical direction on the paper surface of the light shielding film 121b.
  • the height of is unified.
  • each of the three pixels P11, P21, and P31 has an area of height A1 from the upper end of each pixel that is shielded by the light shielding film 121b, and the remaining height of A2
  • the region is a region that is not shielded from light.
  • the area of the height A11 from the upper end of each pixel is not shielded, and the remaining area of the height A12 is shielded by the light shielding film 121b. Has been in the area.
  • the area of the height A21 from the upper end of each pixel is an area that is not shielded from light, and the remaining area of the height A22 is shielded by the light shielding film 121b. Has been in the area.
  • the light receiving sensitivity characteristics in the vertical direction are unified for the three pixels P11, P21 and P31, the three pixels P12, P22 and P32, and the three pixels P13, P23 and P33.
  • the weight Wy is 0 and the incident angle ⁇ y is When -6 deg to -4 deg, the weight Wy is ( ⁇ y + 6) / 2, and when the incident angle ⁇ y is larger than -4 deg, the weight Wy is set to 1.
  • the weight Wy is 1, and the incident angle ⁇ y is When ⁇ 1 deg to +1 deg, the weight Wy is ( ⁇ y ⁇ 1) / 2, and when the incident angle ⁇ y is larger than +1 deg, the weight Wy is set to 0.
  • the weight Wy is 1, and the incident angle ⁇ y is +3 deg.
  • the weight Wy is set to ( ⁇ ( ⁇ y ⁇ 5) / 2) in the case of through +5 deg, and the weight Wy is set to 0 when the incident angle ⁇ y is larger than +5 deg.
  • the horizontal width of the light shielding film 121b is unified for the three pixels P11 to P13, the three pixels P21 to P23, and the three pixels P31 to P33. .
  • the area of the width B1 from the left end of each pixel is made an area shielded by the light shielding film 121b, and the remaining area of the width B2 is shielded from light. It is not an area.
  • the area of the width B11 from the left end of each pixel is an unshielded area, and the remaining area of the width B12 is an area shielded by the light shielding film 121b. It is said that.
  • the area of the width B21 from the left end of each pixel is an unshielded area, and the remaining area of the width B22 is an area shielded by the light shielding film 121b. It is said that.
  • the light receiving sensitivity characteristics in the horizontal direction are unified for the three pixels P11 to P13, the three pixels P21 to P23, and the three pixels P31 to P33, respectively.
  • the weight Wx is 1, and the incident angle ⁇ x is 4 deg to 6 deg.
  • the weight Wx is ( ⁇ ( ⁇ x ⁇ 6) / 2) and the incident angle ⁇ x is larger than 6 deg, the weight Wx is set to zero.
  • the weight Wx is 0 and the incident angle ⁇ x is ⁇ 1 deg.
  • the weight Wx is ( ⁇ x + 1) / 2 when it is 1 to +1 deg, and the weight Wx is set to 1 when the incident angle ⁇ x is larger than +1 deg.
  • the weight Wx is 0 and the incident angle ⁇ x is ⁇ 5 deg. If the incident angle ⁇ x is larger than ⁇ 3 deg, the weight Wx is set to 1 when the weight Wx is ( ⁇ x + 5) / 2.
  • Wx ( ⁇ xj) is a horizontal weight with respect to the incident angle ⁇ x of the j-th pixel in the horizontal direction in the directional image sensor 121
  • Wy ( ⁇ yi) is i pixels in the vertical direction in the directional image sensor 121. It is a weight in the vertical direction with respect to the incident angle ⁇ y of the eye
  • Oij is the light intensity of a point light source consisting of a representative point of each region on the subject surface 31.
  • the weights Wx and Wy take values as shown in FIG. 23 for each pixel Pij. It will be.
  • the weight Wx is 1 when the horizontal incident angle ⁇ x is +5 deg, and the weight Wx is 0.5 when the horizontal incident angle ⁇ x is 0 deg.
  • the weight Wx is zero.
  • the weight Wx is 1 when the horizontal incident angle ⁇ x is +5 deg, and the weight Wx is 1 when the horizontal incident angle ⁇ x is 0 deg.
  • the weight Wx is 0.
  • the horizontal weight Wx is set to 1
  • the vertical weight Wy is set to 1, so that Wx ⁇ Wy is set to 1.
  • the selected weights Wx and Wy are framed, and in the pixel Pij, the selected horizontal weight Wx and vertical weight Wy, respectively.
  • the multiplication result of is displayed.
  • the horizontal weight Wx is 0 and the vertical weight Wy is 1, so that Wx ⁇ Wy is 0.
  • the horizontal weight Wx is 0 and the vertical weight Wy is 0, so Wx ⁇ Wy is 0.
  • the horizontal weight Wx is 0, and the vertical weight Wy is 0, so Wx ⁇ Wy is 0.
  • the horizontal weight Wx is 0, and the vertical weight Wy is 1, so Wx ⁇ Wy is 0.
  • the horizontal weight Wx is 0, and the vertical weight Wy is 0, so Wx ⁇ Wy is 0.
  • Wx ⁇ Wy is 0.
  • the signal processing unit 122 uses the pixel Pij at the detection signal level of the directional imaging element 121 as the light intensity with the representative point of each region Oij on the subject surface 31 as a point light source. Calculated as the product sum with the weight.
  • the value represented by the pixel Pij is a signal level of a detection signal that constitutes a detection image that is captured by the directional imaging element 121 and cannot be recognized as an image even when viewed by the user.
  • the signal processing unit 122 restores the restored image corresponding to the subject surface 31 by, for example, obtaining the luminance (light intensity) Oij of each region on the subject surface 31 using the nine simultaneous equations described above.
  • a value obtained by multiplying the horizontal weight Wx and the vertical weight Wy obtained for each of the above-described pixels Pij is a coefficient set. More specifically, the coefficient sets are the coefficients ⁇ 1, ⁇ 1, ⁇ 1, ⁇ 2, ⁇ 2, ⁇ 2, ⁇ 3, ⁇ 3, and ⁇ 3 of the above formulas (1) to (3), respectively, on the subject plane 31. Further, the horizontal weight Wx and the vertical weight Wy differ according to the difference in the subject plane 31, and the coefficient set is switched according to the distance and angle of view of the restored image for specifying the subject plane. Thus, the restored image of the desired subject surface can be restored. However, it is necessary to set the incident angle directivity so as to ensure the independence of the simultaneous equations.
  • ensuring the independence of the simultaneous equations means, for example, the independence of the linearity when the coefficient set ( ⁇ s, ⁇ s, ⁇ s) and the coefficient set ( ⁇ t, ⁇ t, ⁇ t) are considered. Is to ensure that the vector ( ⁇ s, ⁇ s, ⁇ s) and the vector ( ⁇ t, ⁇ t, ⁇ t) do not double each other.
  • the detection signal levels DA, DB, and DC at the corresponding positions Pa, Pb, and Pc on the directional imaging element 121 are expressed by the above-described equation (1). Or can be expressed by the same expression as expression (3).
  • DA ⁇ 1 ⁇ a + ⁇ 1 ⁇ b + ⁇ 1 ⁇ c ...
  • DB ⁇ 2 ⁇ a + ⁇ 2 ⁇ b + ⁇ 2 ⁇ c ...
  • DC ⁇ 3 ⁇ a + ⁇ 3 ⁇ b + ⁇ 3 ⁇ c ...
  • the subject surface whose subject distance from the directional imaging element 121 is a distance d2 larger than the distance d1 by d.
  • the detection signal levels are indicated by the upper center portion and the lower center portion of FIG. As described above, the detection signal levels DA, DB, and DC are the same.
  • the light beams of the light intensities a ′, b ′, and c ′ from the point light sources PA ′, PB ′, and PC ′ on the subject surface 31 ′ are received by each pixel of the directional imaging element 121.
  • the incident angles of the light beams having the light intensities a ′, b ′, and c ′ received on the directional imaging element 121 are different (change), different coefficient sets are required, and the positions Pa and Pb are required.
  • Pc, the detection signal levels DA, DB, DC are expressed as shown in the following formulas (14) to (16), for example.
  • DA ⁇ 11 ⁇ a ′ + ⁇ 11 ⁇ b ′ + ⁇ 11 ⁇ c ′
  • DB ⁇ 12 ⁇ a ′ + ⁇ 12 ⁇ b ′ + ⁇ 12 ⁇ c ′
  • DC ⁇ 13 ⁇ a ′ + ⁇ 13 ⁇ b ′ + ⁇ 13 ⁇ c ′ ...
  • coefficient set groups including coefficient sets ⁇ 11, ⁇ 11, ⁇ 11, coefficient sets ⁇ 12, ⁇ 12, ⁇ 12, coefficient sets ⁇ 13, ⁇ 13, ⁇ 13 are coefficient sets ⁇ 1, ⁇ 1, ⁇ 1, coefficient set ⁇ 2, respectively on the object plane 31.
  • This is a coefficient set group of the subject surface 31 ′ corresponding to ⁇ 2, ⁇ 2, and coefficient sets ⁇ 3, ⁇ 3, and ⁇ 3.
  • the point light source is the same as the method for obtaining the light intensities a, b, and c of the point light sources PA, PB, and PC in the case of the subject surface 31 shown in FIG. It is possible to obtain the light intensities a ′, b ′, and c ′ of the light beams from PA ′, PB ′, and PC ′, and as a result, a restored image of the subject on the subject surface 31 ′ can be obtained.
  • a coefficient set group for each distance from the directional imaging element 121 to the subject surface is stored in advance, and the simultaneous equations are configured by switching the coefficient set groups to form simultaneous equations.
  • a restored image at an arbitrary distance can be generated by switching the coefficient set group according to the distance to the subject surface and obtaining a restored image by capturing the detected image once. It is also possible to do.
  • machine learning such as deep learning is applied to the detection signal of the image sensor and image recognition is performed using the detection signal itself without performing image recognition based on the restored image after obtaining the restored image. It is also possible.
  • the pixel having the incident angle directivity suitable for imaging the subject surface corresponding to the specified subject distance and the angle of view is used without using all the pixels.
  • a restored image may be generated using a detection image made up of detection signals. In this way, a restored image can be obtained using a detection signal of a pixel suitable for imaging the subject surface corresponding to the specified subject distance and angle of view, so that the specified subject distance and angle of view can be obtained.
  • a restored image can be obtained with high accuracy.
  • a pixel 121a that is shielded by the light shielding film 121b by a width d1 from each end of the four sides, and as shown in the lower part of FIG. 34, each of the four sides.
  • a pixel 121a ′ that is shielded from light by the light shielding film 121b from the end by a width d2 (> d1).
  • the pixel 121a is used, for example, to restore the image I1 in FIG. 34 corresponding to the angle of view SQ1 including the entire person H101 as the subject as shown in the upper part of FIG.
  • the pixel 121a ' is used to restore the image I2 in FIG. 34 corresponding to the angle of view SQ2 in which the periphery of the face of the person H101 is zoomed up.
  • the pixel 121a in FIG. 34 has an incident light incident angle range A1 with respect to the directional imaging element 121 as shown in the left part of FIG. This is because incident light corresponding to the subject width W1 can be received.
  • the pixel 121a ′ in FIG. 34 has a wider light-shielding range than the pixel 121a in FIG. 34. Therefore, as shown in the left part of FIG. This is because the incident angle range A2 ( ⁇ A1) is satisfied, so that incident light corresponding to the subject width W2 ( ⁇ W1) is received on the subject surface 31 in the horizontal direction.
  • the pixel 121a in FIG. 34 with a narrow light-shielding range is a wide-angle pixel suitable for imaging a wide range on the subject surface 31, whereas the pixel 121a ′ in FIG. This is a narrow field angle pixel suitable for imaging a narrow range on the subject surface 31.
  • the wide-angle pixel and the narrow-angle pixel here are expressions that compare both the pixels 121a and 121a 'in FIG. 34, and are not limited to this when comparing pixels having other angles of view.
  • FIG. 36 shows the relationship between the position on the subject surface 31 with respect to the center position C1 of the directional imaging element 121 and the incident angle of incident light from each position.
  • FIG. 36 the relationship between the position on the subject surface 31 and the incident angle of the incident light from each position on the subject surface with respect to the horizontal direction is shown.
  • the pixels 121a and 121a 'in FIG. 34 are shown on the right side of FIG.
  • the pixel 121a in FIG. 34 is placed in the range ZA surrounded by the dotted line, and the pixel 121a is placed in the range ZB surrounded by the alternate long and short dash line.
  • 34 is configured by collecting a predetermined number of pixels, and when restoring an image having an angle of view SQ1 corresponding to the subject width W1, the pixel 121a in FIG. 34 that captures the angle of view SQ1 is used. In addition, the image of the subject width W1 on the subject surface 31 can be restored.
  • a configuration is shown in which a predetermined number of pixels 121a 'are provided on the left side in the figure, and a predetermined number of pixels 121 are provided on the right side.
  • the pixel 121a and the pixel 121a ′ are desirably arranged in a mixed manner at random.
  • the angle of view SQ2 is narrower than the angle of view SQ1
  • the angle of view is narrower than the image of the angle of view SQ1.
  • a restored image with higher image quality can be obtained by restoring the image of the angle of view SQ2 as the angle of view.
  • a restored image with higher image quality can be obtained by restoring an image with a narrower angle of view.
  • step S31 the directional imaging element 121 obtains a detection signal corresponding to the amount of incident light received for each pixel output unit having different incident angle directivities in pixel output units, and as a detection image.
  • the signal is supplied to the signal processing unit 122.
  • the subject distance determination unit 129 determines the subject distance determined based on the operation signal from the operation unit 130 or the autofocus function.
  • the coefficient set selection unit 131 reads out the coefficient set group stored in association with each other based on the subject distance, and supplies it to the signal processing unit 122.
  • the coefficient set group to be read out is, for example, the coefficients ⁇ 1 to ⁇ 3, ⁇ 1 to ⁇ 3, ⁇ 1 to ⁇ 3, ⁇ 11 to ⁇ 13 in the above formulas (1) to (3) or (14) to (16). , ⁇ 11 to ⁇ 13, and ⁇ 11 to ⁇ 13, a coefficient set group composed of a plurality of coefficients.
  • step S33 the signal processing unit 122 calculates the pixel value of the restored image using the detection signal of each pixel output unit in the detection image and the coefficient set group selected by the coefficient set selection unit 131. More specifically, the signal processing unit 122, for example, the simultaneous equations described with reference to the above-described Expressions (1) to (3), Expressions (14) to (16), and FIGS. An equation is constructed, and further, the simultaneous image is solved to obtain a restored image, which is output to the demosaic processing unit 123.
  • the restored image is demosaiced by the demosaic processing unit 123, ⁇ corrected by the ⁇ correction unit 124, white balance adjusted by the white balance adjustment unit 125, and converted into a predetermined compression format by the image output unit 126. Is done. If necessary, the restored image converted into a predetermined compression format is stored in the storage unit 127, displayed on the display unit 128, and / or output to the subject distance determination unit 129. You may make it do.
  • each pixel has an incident angle directivity as an essential component.
  • an optical element composed of an imaging lens, a diffraction grating, or the like, a pinhole, or the like is not required, so that the degree of freedom in designing the apparatus can be increased, and the imaging apparatus is configured separately from the imaging element. Since the optical element that is supposed to be mounted together with the image sensor is not required at the stage of configuration, it is possible to reduce the size of the apparatus with respect to the incident direction of incident light, and to reduce the manufacturing cost. Is possible. In addition, a lens corresponding to an imaging lens for forming an optical image, such as a focus lens, becomes unnecessary. However, a zoom lens that changes the magnification may be provided.
  • the restored image can be restored by switching the coefficient set group, so that it is not necessary to repeatedly perform imaging while changing the focal length, that is, the subject distance and the angle of view. become.
  • a restored image may be generated using a coefficient set group. By doing so, it is possible to generate a restored image on a subject surface having an arbitrary subject distance and an arbitrary angle of view during reproduction.
  • a restored image using a detection image picked up by a directional image pickup device 121 having an incident angle directivity in pixel units. Can be generated, so that the number of pixels can be increased, and an image with high resolution and high angular resolution can be taken.
  • the imaging device 101 of the present disclosure includes the directional imaging element 121 and does not require, for example, an optical filter made of a diffraction grating, so that the use environment becomes high temperature and the optical filter is distorted by heat. Therefore, it is possible to realize an imaging device with high environmental resistance.
  • the imaging apparatus 101 of the present disclosure does not require an optical element such as a diffraction grating or an imaging lens, it is possible to improve the degree of freedom in designing a configuration having an imaging function.
  • the entire pixel 121a is shielded in the vertical direction, and the pixel 121a is shielded with a predetermined width in the horizontal direction.
  • the light shielding film 121b is referred to as a horizontal band type light shielding film 121b.
  • the entire pixel 121a is shielded from light in the horizontal direction, and the vertical direction
  • the light shielding film 121b that shields the pixels 121a at a predetermined height is referred to as a vertical belt type light shielding film 121b.
  • a vertical band type and a horizontal band type light shielding film 121b are combined, for example, an L-shaped light shielding film 121b is applied to each pixel in the Bayer array. You may make it provide.
  • the black range represents the light-shielding film 121b, and the same applies to the subsequent drawings unless otherwise specified.
  • Each pixel has an incident angle directivity as shown in the right part of FIG. That is, in the right part of FIG. 38, the light receiving sensitivity in each pixel is shown, the horizontal axis represents the incident angle ⁇ x in the horizontal direction (x direction) of the incident light, and the vertical axis represents the vertical direction (y Direction) incident angle ⁇ y.
  • the light receiving sensitivity within the range C4 is higher than outside the range C4
  • the light receiving sensitivity within the range C3 is higher than outside the range C3
  • the light receiving sensitivity within the range C2 is higher than outside the range C2.
  • the light receiving sensitivity within the range C1 is higher than outside the range C1.
  • the detection signal level of the incident light that satisfies the condition of the incident angle ⁇ x in the horizontal direction (x direction) and the incident angle ⁇ y in the vertical direction (y direction) that is within the range C1 is the highest, It is shown that the detection signal level decreases in the order of conditions in the range C2, the range C3, the range C4, and the range other than the range C4. Note that the light receiving sensitivity shown in the right part of FIG. 38 is determined by the range shielded by the light shielding film 121b in each pixel 121a, regardless of the Bayer array.
  • the light shielding film 121b having a shape arranged in a point symmetry is collectively referred to as an L-shaped light shielding film 121b.
  • the directional imaging element 121 of the first modification described with reference to FIG. 38 uses the light shielding film 121b for the single photodiode 121e described with reference to FIGS.
  • the directional imaging element 121 of the first modification example is similar to the directional imaging element 121 described with reference to FIG. 11, and the number of divisions and divisions of the plurality of photodiodes 121 f constituting the pixel output unit.
  • the directional imaging element 121 may be configured to set the incident angle directivity by changing the position so that the range that does not contribute to the output functions in the same manner as the light-shielded region.
  • the light shielding film 121b may be provided so as to have incident angle directivity.
  • the horizontal width of the light shielding film 121b is changed to the widths dx1, dx2,... Dxn with respect to the horizontal pixel arrangement, and this is dx1 ⁇ dx2 ⁇ . - ⁇ Dxn relationship.
  • the vertical height of the light-shielding film 121b is changed to the heights dy1, dy2,... Dym with respect to the vertical pixel arrangement, and this is dy1 ⁇ dy2 ⁇ ... ⁇ dxm. It becomes a relationship.
  • the interval between changes in the horizontal width and the vertical width of the light shielding film 121b depends on the subject resolution (angle resolution) to be restored.
  • each pixel 121a in the directional imaging element 121 ′ in FIG. 39 changes the light shielding range so as to correspond to the pixel arrangement in the directional imaging element 121 ′ in the horizontal direction and the vertical direction. It can be said that the incident angle directivity is given.
  • each pixel 121a in FIG. 39 is determined according to the rules described using the pixel 121a shown on the left side of FIG.
  • FIG. 40 shows the configuration of the directional imaging element 121 ′ that is the same as FIG. 39. 40 shows the configuration of the pixel 121a of the directional imaging element 121 'in the right part of FIG. 40 (same as FIG. 39).
  • the light-shielding film 121b As shown in the left part of FIG. 40, light is shielded by the light-shielding film 121b by the width dx1 from the upper and lower edges of the pixel 121a toward the pixel 121a, and from the left and right edges to the pixel 121a.
  • the light is shielded by the light shielding film 121b by the height dy1.
  • the light shielding film 121b is in a range shown in black.
  • the range in which the light shielding film 121b is shielded in this way is hereinafter referred to as a main light shielding part Z101 of the pixel 121a (black part in the left part of FIG. 40), and otherwise.
  • This square-shaped range is referred to as a range Z102.
  • the pixel arrangement in the directional imaging element 121 ′ in FIG. 39 is the left end portion and the upper end pixel 121a-1 has a rectangular opening as shown in the right portion (same as FIG. 39) in FIG. Z111 is configured such that its left side is a width dx1 from the left side of the pixel 121a and its upper side is arranged at a distance of dy1 from the upper side of the pixel 121a.
  • the pixel 121a-2 on the right side of the pixel 121a-1 has a rectangular opening Z111 with a left side having a width dx2 from the left side of the pixel 121a and an upper side having a distance dy1 from the upper side of the pixel 121a.
  • the light shielding film 121b shields the area other than the rectangular opening Z111.
  • the rectangular portion of the upper right dotted line in the range Z102 is a rectangular opening Z111, the left side of which is a width dxn from the left side of the pixel 121a, and the upper side is a distance dy1 from the upper side of the pixel 121a. It shows the state when arranged. Further, the intervals of the widths dx1, dx2,...
  • Dxn are values obtained by dividing the width of the range Z102 in the horizontal direction by subtracting the width of the rectangular opening Z111 by the number of pixels n in the horizontal direction. That is, the horizontal change interval is determined by dividing by the number of pixels n in the horizontal direction.
  • the horizontal position of the rectangular opening Z111 in the pixel 121a in the directional imaging element 121 ′ is within the pixel 121a (pixel 121a in the same column) whose horizontal position in the directional imaging element 121 ′ is the same. At the same time.
  • the pixel 121a-3 adjacent immediately below the pixel 121a-1 has a rectangular opening Z111, the left side of which is a width dx1 from the left side of the pixel 121a, and the upper side of the pixel 121a-1 is a distance having a height dy2 from the upper side of the pixel 121a.
  • the light shielding film 121b shields the area other than the rectangular opening Z111.
  • the upper side of the rectangular opening Z111 moves from the upper side of the pixel 121a to heights dy1, dy2,. .
  • the rectangular part of the lower left dotted line in the range Z102 in FIG. 40 is the rectangular opening Z111, the left side of which is a width dx1 from the left side of the pixel 121a, and the upper side is a distance dym from the upper side of the pixel 121a. It shows the state when arranged. Further, the respective intervals of the heights dy1, dy2,...
  • Dym are obtained by dividing the vertical height of the range Z102 by the height of the rectangular opening Z111 and dividing it by the number of pixels m in the vertical direction. Become. That is, the interval of change in the vertical direction is determined by dividing by the number of pixels m in the vertical direction.
  • the vertical position of the rectangular opening Z111 in the pixel 121a in the directional imaging element 121 ′ is within the pixel 121a (the pixel 121a in the same row) whose vertical position in the directional imaging element 121 ′ is the same. At the same time.
  • the angle of view can be changed by changing the main light-shielding part Z101 and the rectangular opening Z111 of each pixel 121a constituting the directional imaging element 121 ′ shown in FIG. 40 (FIG. 39).
  • the right part of FIG. 41 shows the configuration of the directional image sensor 121 'when the angle of view is wider than that of the directional image sensor 121' of FIG. 40 (FIG. 39). Further, the left part of FIG. 41 shows the configuration of the pixel 121a of the directional imaging element 121 'in the right part of FIG.
  • a main light-shielding part Z151 black part in the left part of FIG. 41
  • a rectangular opening Z161 having a larger opening area than the rectangular opening Z111 is set in the range Z152.
  • the light is shielded by the light shielding film 121b by the width dx1 ′ ( ⁇ dx1) from the upper and lower edges of the pixel 121a toward the pixel 121a.
  • the rectangular opening Z161 is formed by shielding light by the light shielding film 121b by the height dy1 ′ ( ⁇ dy1) from the end of the right side into the pixel 121a.
  • the pixel 121a-1 at the left end and at the upper end has a rectangular opening Z161 whose left side is a width dx1 ′ from the left side of the pixel 121a, and The upper side is arranged at a distance of height dy1 ′ from the upper side of the pixel 121a, and a range other than the rectangular opening Z161 is shielded by the light shielding film 121b.
  • the pixel 121a-2 on the right side of the pixel 121a-1 has a rectangular opening Z161 whose left side is a width dx2 ′ from the left side of the pixel 121a and whose upper side is a height dy1 ′ from the upper side of the pixel 121a. And a range other than the rectangular opening Z161 is shielded by the light shielding film 121b.
  • the right side of the rectangular opening Z161 moves from the right side of the pixel 121a to the widths dx1 ′, dx2 ′... Dxn ′ as the arrangement proceeds to the right side in the figure.
  • the intervals of the widths dx1 ′, dx2 ′,..., Dxn ′ are obtained by subtracting the horizontal width of the rectangular opening Z161 from the horizontal width of the range Z152 by the number of pixels n in the horizontal direction. Divided value. That is, the interval of change in the vertical direction is determined by dividing by the number of pixels n in the horizontal direction. Accordingly, the change intervals of the widths dx1 ', dx2' ... dxn 'are larger than the change intervals of the widths dx1, dx2, ... dxn.
  • the horizontal position of the rectangular opening Z161 in the pixel 121a in the directional imaging element 121 ′ in FIG. 41 is the same as the pixel 121a (pixels in the same column) in the horizontal position in the directional imaging element 121 ′. 121a).
  • the pixel 121a-3 adjacent immediately below the pixel 121a-1 has a rectangular opening Z161 whose left side is a width dx1 ′ from the left side of the pixel 121a and whose upper side is a height dy2 ′ from the upper side of the pixel 121a. And a range other than the rectangular opening Z161 is shielded by the light shielding film 121b.
  • the upper side of the rectangular opening Z161 has a height dy1 ′, dy2 ′.
  • the change interval of the heights dy1 ′, dy2 ′... Dym ′ is the height obtained by subtracting the height of the rectangular opening Z161 from the vertical height of the range Z152 in terms of the number of pixels m in the vertical direction. Divided value. That is, the interval of change in the vertical direction is determined by dividing by the number of pixels m in the vertical direction. Accordingly, the change intervals of the heights dy1 ', dy2' ... dym 'are larger than the change intervals of the width heights dy1, dy2 ... dym.
  • the vertical position of the rectangular opening Z161 in the pixel 121a in the directional image sensor 121 ′ in FIG. 41 is the same as the pixel 121a in the vertical direction in the directional image sensor 121 ′ (pixels in the same row). 121a).
  • the directional imaging element 121 including the pixels 121a having various angles of view (having various incident angle directivities). 'Can be realized.
  • the directional imaging element 121 may be realized by combining not only the pixels 121a having the same angle of view but also the pixels 121a having various angles of view.
  • each unit U includes wide-angle pixels 121a-W and medium-angle angles.
  • the pixel 121a-M, the narrow-angle pixel 121a-N, and the extremely narrow-angle pixel 121a-AN are constituted by four pixels.
  • the restoration image of the restored angle of view is restored using the detection image obtained from the pixel suitable for imaging the angle of view to be restored, thereby restoring an appropriate restored image corresponding to the four types of angle of view. It becomes possible.
  • the directional imaging element 121 ′ of the second modified example described with reference to FIGS. 39 to 42 has a light-shielding film for one photodiode 121e described with reference to FIGS.
  • the description has been given assuming that the directional imaging element 121 sets the incident angle directivity for each pixel output unit using the 121b.
  • the directional imaging element 121 ′ of the second modified example like the directional imaging element 121 described with reference to FIG.
  • the directional imaging element 121 includes the number of divisions of the plurality of photodiodes 121f constituting the pixel output unit, and
  • the directional imaging element 121 may be configured to set the incident angle directivity by changing the division position so that the range that does not contribute to the output functions in the same manner as the light-shielded region.
  • an L-shaped light-shielding film 121b combining a vertical belt type and a horizontal belt type is configured, and a horizontal-band light shielding film 121b having the same width is combined in a predetermined column direction.
  • the vertical band type light shielding film 121b having the same height is combined so that the pixel unit changes randomly while maintaining regularity in the column direction and the row direction.
  • the randomness in the incident angle directivity of each pixel may be reduced, and the processing load on the signal processing unit 122 may be reduced.
  • the horizontal band type light shielding film 121b having the same width X0 is used for the pixels in the same column indicated by the range Z130.
  • the vertical band type light shielding film 121b having the same height Y0 is used, and for the pixels 121a specified by the respective matrices, an L-shaped light shielding is combined.
  • a film 121b is set.
  • the horizontal band type light shielding film 121b having the same width X1 is used, and the same row indicated by the range Z151 adjacent to the range Z150.
  • the vertical band type light-shielding film 121b having the same height Y1 is used for these pixels, and an L-shaped light-shielding film 121b in which these are combined is set for the pixels 121a specified by each matrix. .
  • horizontal band type light-shielding films having the same width X2 are used, and pixels in the same row indicated by the range Z152 adjacent to the range Z151.
  • vertical band type light shielding films having the same height Y2 are used, and for the pixels 121a specified by each matrix, an L-shaped light shielding film 121b in which these are combined is set.
  • the range of the light shielding film can be changed in units of pixels while maintaining regularity in the horizontal width and position of the light shielding film 121b and the height and position in the vertical direction.
  • the randomness of the incident angle directivity can be suppressed.
  • the coefficient set pattern can be reduced, and the processing load of the arithmetic processing in the signal processing unit 122 can be reduced.
  • each pixel of the restored image of N ⁇ N rows and 1 column is obtained.
  • each element in the first column indicated by the range Z201 of the matrix A corresponds to the element of the first row of the vector X
  • the N ⁇ Nth column indicated by the range Z202 of the matrix A This indicates that each element corresponds to an element in the N ⁇ Nth row of the vector X.
  • a restored image is obtained by finding each element of the vector X by solving simultaneous equations based on the determinant shown in FIG.
  • the matrix A is a diagonal matrix in which all elements on the diagonal line descending to the right are 1s.
  • the determinant of FIG. 44 is modified as shown in FIG. 45 by multiplying both sides by the inverse matrix A-1 of the matrix A from the left, and the vector Y of the detected image is transformed to the inverse matrix A ⁇ . By multiplying 1 from the right, each element of the vector X, which is a detected image, is obtained.
  • the real matrix A cannot be obtained accurately, cannot be measured accurately, cannot be solved in the case where the basis vector of the matrix A is close to linear dependence, and each element of the detected image includes noise. Or, in combination, the simultaneous equations may not be solved.
  • the vector X is the matrix A
  • Y is the vector Y
  • ⁇ is the parameter
  • the first term is a norm when both sides of FIG. 44 are minimized, and the second term is a regularization term.
  • the matrix A is decomposed into an N-by-N matrix AL and an N-by-N matrix ART, and an N-by-N matrix X representing a restored image, respectively.
  • the result obtained by multiplying the preceding stage and the succeeding stage is an N-row N-column matrix Y representing the detected image.
  • the matrix AL and ART having the number of elements (N ⁇ N) with respect to the matrix A having the number of elements (N ⁇ N) ⁇ (N ⁇ N) are reduced to 1 / (N ⁇ N).
  • the calculation amount and the memory capacity can be reduced.
  • AT is a transposed matrix of matrix A
  • ⁇ is a parameter
  • I is a unit matrix.
  • the matrix in parentheses is the matrix AL
  • the inverse matrix of the transposed matrix of the matrix A is the matrix ART.
  • the determinant shown in FIG. 46 is realized.
  • the calculation as shown in FIG. 46 is performed by multiplying the element of interest Xp in the matrix X by the element group Z221 of the corresponding column of the matrix AL, as shown in FIG. Group Z222 is determined. Further, by multiplying the element group Z222 by the element in the row corresponding to the target element Xp of the matrix ART, a two-dimensional response Z224 corresponding to the target element Xp is obtained. Then, the matrix Y is obtained by integrating the two-dimensional responses Z224 corresponding to all elements of the matrix X.
  • the element group Z221 corresponding to each row of the matrix AL corresponds to the incident angle directivity of the horizontal band type pixel 121a set to the same width for each column of the directional imaging element 121 shown in FIG. Have a coefficient set.
  • the incident angle directivity of the vertical band type pixel 121a set to the same height set for each row of the directional imaging element 121 shown in FIG. Has a coefficient set corresponding to.
  • the matrix used when restoring the restored image based on the detected image since it is possible to reduce the matrix used when restoring the restored image based on the detected image, the calculation amount is reduced, thereby improving the processing speed and reducing the power consumption related to the calculation. It becomes possible to make it.
  • the matrix can be reduced, the capacity of the memory used for the calculation can be reduced, and the device cost can be reduced.
  • the light-shielded range (light-receiving range) is changed in units of pixels while having predetermined regularity in the horizontal direction and the vertical direction.
  • the light-shielded range in pixels (the range where light can be received) is not set completely at random, it is also set at random to some extent. I reckon.
  • the light-shielded range (light-receiving range) in units of pixels is set completely at random, but also to some extent random (for example, some of all pixels Including the range with regularity, but other ranges are random), or the one that seems not regular to some extent (all pixels are arranged according to the rules described with reference to FIG. 43) It is also considered to be random in the case of an arrangement where it is not possible to confirm that it is done.
  • the directional imaging element 121 ′′ of the third modification described with reference to FIGS. 43 to 47 shields against one photodiode 121e described with reference to FIGS.
  • the description has been given assuming that the directional imaging element 121 uses the film 121b to set the incident angle directivity for each pixel output unit.
  • the directional imaging element 121 '' of the third modified example is similar to the directional imaging element 121 described with reference to FIG. 11, and the number of divisions of the plurality of photodiodes 121f that constitute the pixel output unit,
  • the directional imaging element 121 may be configured to set the incident angle directivity by changing the division position so that a range that does not contribute to output functions in the same manner as the light-shielded region.
  • the light shielding film 121b may be set in a triangle and the range may be different so as to have different incident angle directivities.
  • the light shielding film 12b may be set in a circular shape, and the range may be different to provide different incident angle directivities.
  • other patterns may be used.
  • a linear light shielding film in an oblique direction may be used.
  • the light shielding film 121b shown in the third pattern of the fourth stage in FIG. 48 is referred to as a triangular type light shielding film 121b, and the light shielding film 121b shown in the lowermost three patterns in FIG. It is assumed to be referred to as a light shielding film 121b.
  • the directional imaging element 121 of the fourth modified example described with reference to FIG. 48 uses the light shielding film 121b for one photodiode 121e described with reference to FIGS.
  • the description has been made assuming that the directional imaging element 121 sets the incident angle directivity for each pixel output unit.
  • the directional imaging element 121 of the fourth modification example is similar to the directional imaging element 121 described with reference to FIG. 11, and the number of divisions and divisions of the plurality of photodiodes 121 f constituting the pixel output unit.
  • the directional imaging element 121 may be configured to set the incident angle directivity by changing the position so that the range that does not contribute to the output functions in the same manner as the light-shielded region.
  • the band type light shielding film 121b may be arranged in a matrix.
  • a horizontal band type light shielding film 121b having a different width for each one pixel output unit in a plurality of pixel output units constituting a unit composed of four pixel output units constituting a Bayer array in a matrix form. You may make it arrange
  • each pixel is composed of a plurality of pixel output units constituting a unit composed of four pixel output units constituting the Bayer array, with each pixel output unit being centered on the center position of the four pixel output unit.
  • the horizontal band type and vertical band type light shielding films 121b may be arranged in a matrix at different positions symmetrically with respect to the output position.
  • the pixel output unit of the same color arrangement is set by, for example, a 4-pixel output unit of 2 pixel output unit ⁇ 2 pixel output unit, and the unit of the same color arrangement of 4 pixel output unit is composed of 2 units ⁇ 2 units, for a total of 4 units.
  • the light shielding film 121b may be arranged in a matrix.
  • horizontal band type light shielding films 121b having different widths for each one pixel output unit are arranged in a matrix in a four pixel output unit constituting a unit composed of four pixel output units of the same color. You may do it.
  • the 4-pixel output unit in the 4-pixel output unit constituting the unit composed of the 4-pixel output unit of the same color, the 4-pixel output unit is centered on the center position of the 4-pixel output unit for each pixel output unit.
  • the horizontal band type and vertical band type light shielding films 121b may be arranged in a matrix at different positions so that the light shielded range is changed point-symmetrically.
  • the pixel output unit of the same color is set as, for example, a 9 pixel output unit of 3 pixel output unit ⁇ 3 pixel output unit, and the unit of the same color of 9 pixel output unit is composed of 2 units ⁇ 2 units.
  • the horizontal band type of the same width in the 9 pixel output units constituting the unit consisting of 9 pixel output units of the same color scheme may be arranged in a matrix.
  • horizontal band type light shielding films 121b having different widths for each one pixel output unit are arranged in a matrix in a unit of nine pixel output constituting a unit of nine pixels of the same color. May be.
  • the horizontal band type, vertical band type, and triangular type light shielding films 121b may be arranged in a matrix at different positions so as to be changed symmetrically in units of two pixels.
  • the pattern using the horizontal band type, the vertical band type, and the triangular type light shielding film 121b has been described.
  • other types for example, a light shielding film 121b of a circular type or the like are used.
  • an example using a Bayer array has been described.
  • other color arrangement patterns may be used, and the number of pixel output units of the same color constituting the unit may be one pixel.
  • an example of an output unit, a 4-pixel output unit, and a 9-pixel output unit has been described, pixel output units having the same color arrangement may be set with other pixel output units.
  • the randomness of the pattern in the range where the light shielding film 121b shields light in each pixel constituting the unit is high, that is, the pixels constituting the unit have different incident angle directivities.
  • the pattern of the light shielding film 121b is set with a 4-pixel output unit comprising 2 pixel output units ⁇ 2 pixel output units constituting a Bayer array as one unit, and further, the light shielding film is formed as a pattern between the units.
  • the light shielding film 121b may be set in other units.
  • the pixel output unit having a different exposure time for example, the first exposure.
  • the light shielding film 121b may be set for each processing unit including a plurality of pixel output units in consideration of the pixel output unit of time and the pixel output unit of the second exposure time longer than the first exposure time.
  • the directional imaging element 121 of the fifth modified example described with reference to FIG. 49 uses the light shielding film 121b for the single photodiode 121e described with reference to FIGS.
  • the description has been made assuming that the directional imaging element 121 sets the incident angle directivity for each pixel output unit.
  • the directional imaging element 121 of the fifth modified example like the directional imaging element 121 described with reference to FIG. 11, the number of divisions and divisions of the plurality of photodiodes 121f constituting the pixel output unit.
  • the directional imaging element 121 may be configured to set the incident angle directivity by changing the position so that the range that does not contribute to the output functions in the same manner as the light-shielded region.
  • the arrangement pattern of the light-shielding film 121b in the pixel output unit of the directional imaging device 121 is, for example, a 4-pixel output unit in a Bayer array of 2 pixel output units ⁇ 2 pixel output units as shown by a pattern Pt11 in FIG.
  • a horizontal band type light shielding film 121b is arranged at the left end in the pixel output unit between the units, in the pixel output unit of the upper left G pixel in the figure within the 4-pixel output unit, Furthermore, the width of the light shielding film 121b may be set wider for each unit from the left to the right in the drawing.
  • the width of the light shielding film 121b of the pixel output unit of the upper left G pixel in the 4-image output unit element in each unit is randomly changed between units. You may make it set.
  • the light shielding area of the light shielding film 121b of the pixel output unit of the G pixel at the upper left in the four pixel output unit in each unit is set as the pixel output unit. You may make it set so that it may change to point symmetry with respect to the center.
  • a plurality of pixel output units in a unit such as a Bayer array and a pattern in a range where the light shielding film 121b shields light between the units are set.
  • a pattern in a range in which the light shielding film 121b shields light may be set within a unit composed of a plurality of pixel output units classified in different categories or between units.
  • the directional imaging element 121 of the sixth modification described with reference to FIG. 50 uses the light shielding film 121b for the single photodiode 121e described with reference to FIGS.
  • the description has been made assuming that the directional imaging element 121 sets the incident angle directivity for each pixel output unit.
  • the directional imaging element 121 of the sixth modified example like the directional imaging element 121 described with reference to FIG. 11, the number of divisions and divisions of the plurality of photodiodes 121f constituting the pixel output unit.
  • the directional imaging element 121 may be configured to set the incident angle directivity by changing the position so that the range that does not contribute to the output functions in the same manner as the light-shielded region.
  • a pixel output unit is configured by an arrangement of 2 ⁇ 2 photodiodes 121f, and each photodiode 121f is connected to the pixel output unit.
  • the example in which the directivity with respect to the incident angle of the output pixel value of the pixel output unit is changed variously by switching the presence / absence and the degree of contribution has been described, but it is natural that the plurality of photodiodes 121f constituting the pixel output unit
  • the number may be other numbers.
  • a pixel as a pixel output unit composed of three photodiodes 121f ⁇ three photodiodes 121f ( 9 photodiodes 121f) of the photodiodes 121f-111 to 121e-119.
  • 121a-b may be configured.
  • the number of photodiodes 121f constituting the pixel output unit may be other than 4 or 9 as described above.
  • a plurality of photodiodes 121f may be switched and used so as to constitute pixels 121a of various pixel output units.
  • the pixel output unit is configured such that the photodiode 121f) is set.
  • the range of 121f-114, 121f-117 to 121f-119 does not contribute to the detection signal, and only the signal contributing to the detection signal in the range of the photodiodes 121f-112, 121f-113, 121f-115, 121f-116 is obtained. By using it, it becomes possible to set the incident angle directivity.
  • this configuration is an application of the configuration shown in the lower part of FIG. 12 or FIG.
  • the light shielding film 121b without providing the light shielding film 121b, it is possible to obtain the same detection signal as when the light shielding film 121b is provided, and by switching the pattern of the photodiode 121f that does not contribute to the detection signal, the position where light is shielded. It is possible to realize a process equivalent to substantially forming the light shielding film 121b having a different range, that is, having different incident angle directivities.
  • a plurality of photodiodes 121f are provided for one on-chip lens 121c, and a unit composed of the plurality of photodiodes 121f is processed as a one-pixel output unit, whereby a light shielding film.
  • a detection image similar to that of the pixel 121a formed using the light shielding film 121b can be captured. That is, one on-chip lens is essential for one pixel output unit.
  • Second embodiment An example in which the directional imaging device 121 and the signal processing unit 122 are configured separately has been described.
  • the signal processing unit 122 is provided on the same substrate as the substrate on which the directional imaging device 121 is provided.
  • the substrate on which the directional imaging element 121 is provided and the substrate on which the signal processing unit 122 and the like are stacked are stacked, for example, TSV (Through Silicon Via) or the like. They may be connected by a through electrode or the like and configured as an integral unit.
  • FIG. 53 shows the subject distance on the same substrate as the substrate constituting the pixel array of the directional imaging element 121 or on the substrate stacked on the back side of the substrate constituting the pixel array of the directional imaging element 121.
  • a configuration example of an imaging apparatus 101 using an integrated directional imaging element 121 provided with a determination unit 129, a coefficient set selection unit 131, and a signal processing unit 122 is shown.
  • this indication can also take the following structures.
  • An imaging apparatus comprising imaging elements having different characteristics with respect to an incident angle of incident light from a subject.
  • the characteristic is an incident angle directivity indicating directivity with respect to an incident angle of incident light from the subject.
  • one detection signal is output from each of the plurality of pixel output units.
  • the imaging apparatus further including an image restoration unit that restores a restored image in which the subject can be visually recognized using detection images including a plurality of detection signals output from the plurality of pixel output units. .
  • the imaging apparatus wherein the image restoration unit restores the restored image by selectively using detection signals of some pixel output units among the plurality of pixel output units.
  • the image restoration unit restores the restored image using a detection signal of a part of the plurality of pixel output units, and all of the plurality of pixel output units.
  • a restoration process for restoring the restored image is selectively executed using a detection signal in units of pixel outputs.
  • the plurality of pixel output units include a wide-angle corresponding pixel output unit having the incident angle directivity suitable for a wide-angle image and a narrow-angle corresponding pixel output unit that is narrower than the wide-angle corresponding pixel output unit.
  • the imaging apparatus according to ⁇ 2> which does not have a condensing function for causing diffused light with different chief ray incident angles from the subject to enter a plurality of adjacent pixel output units.
  • each of the plurality of pixel output units has a configuration capable of independently setting a characteristic with respect to an incident angle of incident light from the subject.
  • Each of the plurality of pixel output units includes one photodiode, The imaging device according to ⁇ 11>, wherein one detection signal is output from each of the plurality of pixel output units.
  • Each of the at least two pixel output units includes a light shielding film that blocks incidence of subject light that is incident light from the subject on the photodiode, The imaging device according to ⁇ 12>, wherein ranges in which incidence of the subject light on the two pixel output units is blocked by the light shielding film are different from each other in the at least two pixel output units.
  • Each of the plurality of pixel output units includes a plurality of photodiodes, and one detection signal is output from each of the plurality of pixel output units.
  • the imaging device according to ⁇ 14>, wherein the at least two pixel output units are different from each other in the photodiodes contributing to the detection signal among the plurality of photodiodes.
  • the plurality of pixel output units include a wide-angle-compatible pixel output unit having an incident-angle directivity suitable for a wide-angle image, and an incident-angle directivity suitable for a narrow-angle image as compared with the wide-angle-compatible pixel output unit.
  • the imaging element according to ⁇ 11> including a pixel output unit corresponding to a narrow angle.
  • the imaging device including a plurality of on-chip lenses respectively corresponding to the plurality of pixel output units.
  • ⁇ 18> The imaging element according to ⁇ 17>, wherein the incident angle directivity has characteristics according to a curvature of the on-chip lens.
  • ⁇ 19> The imaging device according to ⁇ 18>, wherein the incident angle directivity has characteristics according to a light shielding region.
  • ⁇ 20> The imaging device according to ⁇ 18>, wherein a curvature of at least a part of the plurality of on-chip lenses is different from a curvature of another on-chip lens.
  • each of the plurality of pixel output units has a configuration capable of independently setting characteristics with respect to an incident angle of incident light from the subject.
  • ⁇ 22> Having a plurality of pixel output units that receive incident light without passing through either the imaging lens or the pinhole, Among the plurality of pixel output units, the plurality of pixel outputs of the imaging elements having different incident angle directivities indicating directivity with respect to the incident angle of the incident light from the subject of the output pixel values of at least two of the pixel output units.
  • An image processing apparatus comprising: an image restoration unit that restores a restored image that allows the subject to be visually recognized using detection images that are each composed of a plurality of detection signals output from each unit.
  • the image restoration unit restores the restored image by selectively using detection signals of some pixel output units among the plurality of pixel output units.
  • the image restoration unit restores the restored image using a detection signal of a part of the plurality of pixel output units, and all of the plurality of pixel output units.
  • the image processing apparatus according to ⁇ 22>, wherein a restoration process for restoring the restored image is selectively executed using a detection signal in a unit of pixel output.
  • the plurality of pixel output units include a wide-angle corresponding pixel output unit having incident angle directivity suitable for a wide-angle image, and a narrow-angle corresponding pixel output unit that is narrower than the wide-angle corresponding pixel output unit.
  • the image processing device wherein the image restoration unit restores the restored image by selectively using the wide-angle corresponding pixel output unit and the narrow-angle corresponding pixel output unit.
  • the imaging method of an imaging device including the step which the image pick-up element from which the characteristic with respect to the incident angle of the incident light from a subject differs mutually differs.
  • An image pickup method for an image pickup device including a step of picking up images by different image pickup devices having different characteristics with respect to an incident angle of incident light from a subject.
  • ⁇ 28> Having a plurality of pixel output units that receive incident light without passing through either the imaging lens or the pinhole, Among the plurality of pixel output units, the plurality of pixel outputs of the imaging elements having different incident angle directivities indicating directivity with respect to the incident angle of the incident light from the subject of the output pixel values of at least two of the pixel output units.
  • An image processing method including a step of restoring a restored image in which the subject can be visually recognized using a detected image composed of a plurality of detection signals output from each unit.
  • Imaging device 101 imaging device, 121 directional imaging device, 121a pixel, 121b shading film, 121c on-chip lens, 121d color filter, 121e, 121f photodiode, 122 signal processing unit, 123 demosaic processing unit, 124 gamma correction unit, 125 white balance Adjustment unit, 126 Image output unit, 127 Storage unit, 128 Display unit, 129 Subject distance determination unit, 130 Operation unit, 131 Coefficient set selection unit, 151 Image sensor, 152 Optical block, 153 Focus adjustment unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Color Television Image Signal Generators (AREA)
  • Cameras In General (AREA)

Abstract

本開示は、撮像レンズを用いない場合において、画素毎の多様性を持たせることができるようにする撮像装置、撮像素子、および画像処理装置に関する。 被写体を含む被写体面からの入射光の入射角度に応じて異なる入射角指向性を有する複数の画素により、入射光が受光されることで検出される検出画像を撮像し、検出画像と被写体面までの距離に応じて設定される係数セットとを用いた演算により、被写体面の像が結像した復元画像を信号処理により生成する。同一の検出画像と被写体面までの距離に応じた係数セットとを用いた演算により復元画像を生成するようにしたので、画素毎の多様性を持たせることができる。本開示は、撮像装置に適用することができる。

Description

撮像装置、撮像素子、および画像処理装置
　本開示は、撮像装置、撮像素子、および画像処理装置に関し、特に、撮像機能を実現するための構成の設計の自由度を向上できるようにした撮像装置、撮像素子、および画像処理装置に関する。
　撮像装置の構成は、撮像レンズと撮像素子とが組み合わされた構成と、ピンホールと撮像素子とが組み合わされた構成が一般的によく知られたものである。
　このうち、撮像レンズと撮像素子とが組み合わされた構成は、現在の大半の撮像装置に採用されており、撮像レンズにより、被写体からの光が効率的に集光されることで、撮像素子の撮像面に最終画相当の像が結像され、これが撮像素子により撮像される。
　ところが、撮像レンズと撮像素子とを組み合わせた構成の撮像装置では、撮像レンズの収差による影響が生じると共に、撮像レンズが必須構成となるため装置構成の小型化には限界がある。
　一方、ピンホールと撮像素子とを組み合わせた構成は、撮像レンズを伴わない構成であるが、撮像面に到達する光量が少ないので、露光時間を長くする、または、ゲインを上げるといった処理が必要となり、一般の使用には耐えるものではなく、特に、高速撮像に適さない。
　そこで、撮像レンズを用いず、回折格子からなる光学フィルタと撮像素子とを組み合わせた構成により、被写体からの光を、回折格子からなる光学フィルタを介して得られるパターンとして撮像し、撮像結果となるパターンを用いた演算処理により被写体の像が結像された画像を再現する撮像装置が提案されている（非特許文献１、および特許文献１参照）。
FlatCam: Replacing Lenses with Masks and Computation M. Salman Asif, Ali Ayremlouy, Aswin Sankaranarayanan, Ashok Veeraraghavan, and RichardBaraniuk　ECE Department, Rice University, Houston, TX　ECE Department, Carnegie Mellon University, Pittsburgh, PA
国際公開公報２０１６／１２３５２９号
　しかしながら、非特許文献１や特許文献１のような構成の場合、同一の点光源からの光が光学フィルタを介して複数の隣接する画素に入射されることから、画素単位で任意の特性とすることができない。
　本開示は、このような状況に鑑みてなされたものであり、撮像レンズを用いない場合において、画素毎の多様性を持たせることができるようにするものである。
　本開示の第１の側面の撮像装置は、撮像レンズおよびピンホールのいずれも介さず、入射する入射光を受光する複数の画素出力単位を有し、前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位の出力画素値の、被写体からの入射光の入射角に対する特性が互いに異なる撮像素子を備えた撮像装置である。
　前記特性は、前記被写体からの入射光の入射角に対する指向性を示す入射角指向性とすることができる。
　前記複数の画素出力単位のそれぞれから１つの検出信号が出力されるようにすることができる。
　前記複数の画素出力単位から出力された複数の検出信号からなる検出画像を用いて、前記被写体を視認可能な復元画像を復元する画像復元部をさらに設けるようにさせることができる。
　前記画像復元部には、前記複数の画素出力単位のうちの一部の画素出力単位の検出信号を選択的に用いて、前記復元画像を復元させるようにすることができる。
　前記画像復元部には、前記複数の画素出力単位のうちの一部の画素出力単位の検出信号を用いて前記復元画像を復元する復元処理と、前記複数の画素出力単位のうちの全ての画素出力単位の検出信号を用いて前記復元画像を復元する復元処理とを選択的に実行させるようにすることができる。
　前記複数の画素出力単位には、広角な画像に適した前記入射角指向性を持つ広角対応画素出力単位と、前記広角対応画素出力単位と比べて狭い狭角対応画素出力単位とを含ませるようにすることができ、前記画像復元部には、前記広角対応画素出力単位と前記狭角対応画素出力単位とを選択的に用いて前記復元画像を復元させるようにすることができる。
　前記被写体からの主光線入射角度が異なる拡散光を、互いに隣接する複数の画素出力単位へ入射させるための集光機能を備えないようにすることができる。
　前記複数の画素出力単位には、それぞれ前記被写体からの入射光の入射角に対する特性を独立に設定可能な構成を設けるようにさせることができる。
　本開示の第１の側面においては、撮像レンズおよびピンホールのいずれも介さず、入射する入射光を受光する複数の画素出力単位を有し、前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位の出力画素値の、被写体からの入射光の入射角に対する特性が互いに異なる。
　本開示の第２の側面の撮像素子は、撮像レンズおよびピンホールのいずれも介さず、入射する入射光を受光する複数の画素出力単位を有し、前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位の出力画素値の、被写体からの入射光の入射角に対する特性が互いに異なる撮像素子である。
　前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位は、被写体からの入射光の入射角に対する指向性を示す入射角指向性が互いに異なるようにすることができる。
　前記複数の画素出力単位のそれぞれは、１つのフォトダイオードで構成され、前記複数の画素出力単位のそれぞれから１つの検出信号が出力されるようにすることができる。
　前記少なくとも２つの画素出力単位には、前記フォトダイオードへの前記被写体からの入射光である被写体光の入射を遮る遮光膜をそれぞれ設けるようにすることができ、前記被写体光の前記２つの画素出力単位へ入射が、前記遮光膜によって遮られる範囲が、前記少なくとも２つの画素出力単位で互いに異なるようにすることができる。
　前記複数の画素出力単位のそれぞれは、複数のフォトダイオードで構成され、前記複数の画素出力単位のそれぞれから１つの検出信号が出力されるようにすることができる。
　前記少なくとも２つの画素出力単位は、前記複数のフォトダイオードのうち、前記検出信号に寄与するフォトダイオードが互いに異なるようにすることができる。
　前記複数の画素出力単位には、広角な画像に適した入射角指向性を有する広角対応画素出力単位と、前記広角対応画素出力単位と比べて狭角な画像に適した入射角指向性を有する狭角対応画素出力単位とを含ませるようにすることができる。
　前記複数の画素出力単位にそれぞれ対応する複数のオンチップレンズを設けるようにすることができる。
　前記入射角指向性は、前記オンチップレンズの曲率に応じた特性を有するようにできる。
　前記入射角指向性は、遮光領域に応じた特性を有するようにすることができる。
　前記複数のオンチップレンズのうち、少なくとも一部のオンチップレンズの曲率は他のオンチップレンズの曲率と異なるようにすることができる。
　本開示の第２の側面においては、撮像レンズおよびピンホールのいずれも介さず、入射する入射光を受光する複数の画素出力単位を有し、前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位の出力画素値の、被写体からの入射光の入射角に対する特性が互いに異なる。
　前記複数の画素出力単位には、それぞれ前記被写体からの入射光の入射角に対する特性を独立に設定可能な構成を設けるようにさせることができる。
　本開示の第３の側面の画像処理装置は、撮像レンズおよびピンホールのいずれも介さず、入射する入射光を受光する複数の画素出力単位を有し、前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位の出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性が互いに異なる撮像素子の前記複数の画素出力単位からそれぞれ出力された複数の検出信号からなる検出画像を用いて、前記被写体を視認可能な復元画像を復元する画像復元部を備える画像処理装置である。
　前記画像復元部には、前記複数の画素出力単位のうちの一部の画素出力単位の検出信号を選択的に用いて、前記復元画像を復元させるようにすることができる。
　前記画像復元部には、前記複数の画素出力単位のうちの一部の画素出力単位の検出信号を用いて前記復元画像を復元する復元処理と、前記複数の画素出力単位のうちの全ての画素出力単位の検出信号を用いて前記復元画像を復元する復元処理とを選択的に実行させるようにすることができる。
　前記複数の画素出力単位には、広角な画像に適した前記入射角指向性を持つ広角対応画素出力単位と、前記広角対応画素出力単位と比べて狭い狭角対応画素出力単位とを含ませるようにすることができ、前記画像復元部には、前記広角対応画素出力単位と前記狭角対応画素出力単位とを選択的に用いて前記復元画像を復元させるようにすることができる。
　本開示の第３の側面においては、撮像レンズおよびピンホールのいずれも介さず、入射する入射光を受光する複数の画素出力単位を有し、前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位の出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性が互いに異なる撮像素子の前記複数の画素出力単位からそれぞれ出力された複数の検出信号からなる検出画像が用いられて、前記被写体が視認可能な復元画像が復元される。
　本開示の一側面によれば、撮像するための構成の設計の自由度を向上することが可能となる。
撮像の原理を説明する図である。 撮像レンズと従来の撮像素子とからなる撮像装置における撮像の原理を説明する図である。 ピンホールと従来の撮像素子とからなる撮像装置における撮像の原理を説明する図である。 従来の撮像素子のみを用いた撮像装置における撮像の原理を説明する図である。 本開示の技術を適用した撮像装置における撮像の原理を説明する図である。 本開示の技術を適用した撮像装置の第１の実施の形態の構成例を説明する図である。 従来の撮像装置の構成例を説明する図である。 図７の従来の撮像装置による従来の撮像処理を説明するフローチャートである。 従来の撮像素子と本開示の指向性撮像素子との構成の違いを説明する図である。 指向性撮像素子の第１の構成例を説明する図である。 指向性撮像素子の第１の構成例を説明する図である。 入射角指向性の発生の原理を説明する図である。 オンチップレンズを利用した入射角指向性の変化を説明する図である。 入射角指向性の設計を説明する図である。 オンチップレンズと撮像レンズとの違いを説明する図である。 オンチップレンズと撮像レンズとの違いを説明する図である。 オンチップレンズと撮像レンズとの違いを説明する図である。 被写体面における各領域と指向性撮像素子における各画素との関係を説明する図である。 入射光が平行光であることを説明する図である。 指向性撮像素子の各画素における入射角度を説明する図である。 垂直方向の受光感度特性を説明する図である。 水平方向の受光感度特性を説明する図である。 指向性撮像素子の各画素の入射角度に応じた受光感度特性を説明する図である。 被写体面の領域Ｏ１１からの光の指向性撮像素子の各画素の受光感度を説明する図である。 被写体面の領域Ｏ２１からの光の指向性撮像素子の各画素の受光感度を説明する図である。 被写体面の領域Ｏ３１からの光の指向性撮像素子の各画素の受光感度を説明する図である。 被写体面の領域Ｏ１２からの光の指向性撮像素子の各画素の受光感度を説明する図である。 被写体面の領域Ｏ２２からの光の指向性撮像素子の各画素の受光感度を説明する図である。 被写体面の領域Ｏ３２からの光の指向性撮像素子の各画素の受光感度を説明する図である。 被写体面の領域Ｏ１３からの光の指向性撮像素子の各画素の受光感度を説明する図である。 被写体面の領域Ｏ２３からの光の指向性撮像素子の各画素の受光感度を説明する図である。 被写体面の領域Ｏ３３からの光の指向性撮像素子の各画素の受光感度を説明する図である。 被写体距離と入射角指向性を表現する係数との関係を説明する図である。 狭画角画素と広画角画素との関係を説明する図である。 狭画角画素と広画角画素との関係を説明する図である。 狭画角画素と広画角画素との関係を説明する図である。 図６の本開示の撮像装置による撮像処理を説明するフローチャートである。 第１の変形例を説明する図である。 第２の変形例を説明する図である。 第２の変形例を説明する図である。 第２の変形例を応用して画角を変化させる例を説明する図である。 第２の変形例を応用して画角を変化させるとき、複数の画角の画素を組み合わせる例を説明する図である。 第３の変形例を説明する図である。 遮光範囲を水平方向および垂直方向のそれぞれについて規則を設けることで計算量およびメモリの容量を低減させる理由を説明する図である。 遮光範囲を水平方向および垂直方向のそれぞれについて規則を設けることで計算量およびメモリの容量を低減させる理由を説明する図である。 遮光範囲を水平方向および垂直方向のそれぞれについて規則を設けることで計算量およびメモリの容量を低減させる理由を説明する図である。 遮光範囲を水平方向および垂直方向のそれぞれについて規則を設けることで計算量およびメモリの容量を低減させる理由を説明する図である。 第４の変形例を説明する図である。 第５の変形例を説明する図である。 第６の変形例を説明する図である。 第７の変形例を説明する図である。 第８の変形例を説明する図である。 本開示の技術を適用した撮像装置の第２の実施の形態の構成例を説明する図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、以下の順序で説明を行う。
　　１．本開示の撮像装置の概要
　　２．第１の実施の形態
　　３．第２の実施の形態
　＜＜１．本開示の撮像装置の概要＞＞
　本開示の撮像装置を説明するにあたって、その概要について説明する。
　＜撮像の原理＞
　全ての被写体は点光源の集合であると考えることができ、あらゆる方向に光が出射されている。したがって、点光源より発する光をどのように撮像するのかについて考えることで、撮像の原理を説明することができる。ここでは、図１の上段で示されるように、点光源Ｐより光線Ｌ１乃至Ｌ５が発せられるものとし、光線Ｌ１乃至Ｌ５のそれぞれが光強度ａの光線であるものとする。
　撮像装置の構成が、撮像レンズ１１と１画素分の撮像素子Ｄとからなる構成であり、この撮像素子Ｄにより点光源Ｐを撮像する場合、図１の中段で示されるように、撮像レンズ１１が、点光源Ｐから発せられる光線Ｌ１乃至Ｌ５を、光線Ｌ１’乃至Ｌ５’で示されるように集光し、撮像素子Ｄに点光源Ｐの像を結像し、これが撮像素子Ｄにより撮像される。
　この場合、撮像素子Ｄにおいては、点光源Ｐから発せられた光線Ｌ１乃至Ｌ５の全ての光強度の合計である光強度５ａの光からなる像が結像されて撮像素子Ｄに入射されることで、十分な光量の画像として撮像される。
　ところで、この点光源Ｐの集合が被写体を構成することになることは上述した通りである。したがって、被写体の撮像は、被写体面上の複数の点光源Ｐから発せられる光線が集光されて結像される被写体を撮像することになる。
　すなわち、例えば、図２の左部で示されるように、被写体面３１における被写体が点光源ＰＡ，ＰＢ，ＰＣにより構成され、点光源ＰＡ，ＰＢ，ＰＣのそれぞれから、図１の上段で示される場合と同様に光強度ａ，ｂ，ｃの光線がそれぞれ５本出射される場合、光強度の合計は、それぞれ光強度５ａ，５ｂ，５ｃとなる。
　この場合、図１の中段で示される撮像の原理に従えば、撮像レンズ１１により点光源ＰＡ，ＰＢ，ＰＣからの光線が、複数の画素からなる撮像素子３２の撮像面上における位置Ｐａ，Ｐｂ，Ｐｃにそれぞれ集光されて被写体の像が結像されて撮像されることになる。
　ここで、撮像素子３２上の位置Ｐａ，Ｐｂ，Ｐｃにおける画素の検出信号レベルは、各光線の検出信号レベルがａ，ｂ，ｃであるとき、図２の右部で示されるように、位置Ｐａ，Ｐｂ，Ｐｃのそれぞれにおいて、検出信号レベル５ａ，５ｂ，５ｃとなる。
　尚、図２の右部においては、縦軸が撮像素子３２上の位置を表し、横軸が、各位置の撮像素子における検出信号レベルを表している。すなわち、撮像素子３２上における位置Ｐａ，Ｐｂ，Ｐｃが、被写体面３１上における点光源ＰＡ，ＰＢ，ＰＣに対して、倒立した位置関係で、かつ、位置Ｐａ，Ｐｂ，Ｐｃの各検出信号レベルが、点光源ＰＡ，ＰＢ，ＰＣより発せされた光線の光強度となる、被写体の像が結像された画像が撮像されることになる。
　一方、撮像装置の構成が、遮光膜１２に対して穴部として設けられたピンホール１２ａと撮像素子Ｄからなる構成である場合、図１の下段で示されるように、点光源Ｐから発せられる光線Ｌ１乃至Ｌ５のうち、ピンホール１２ａを透過する光線Ｌ３だけが撮像素子Ｄに結像されて撮像される。
　この場合、撮像素子Ｄにおいては、点光源Ｐから発せられた光強度ａの光線Ｌ３のみにより、点光源Ｐの像が結像されて撮像素子Ｄに入射されることで、図１の中段で示されるように、撮像レンズ１１を用いた場合に対して、光量が１／５の暗い画像として撮像される。
　すなわち、例えば、図３の左部で示されるように、被写体面３１における被写体が点光源ＰＡ，ＰＢ，ＰＣにより構成され、それぞれの点光源から発せられる光線が、それぞれ光強度ａ，ｂ，ｃである場合を考える。このとき、図１の下段で示される撮像の原理に従えば、撮像素子３２の撮像面上における位置Ｐａ，Ｐｂ，Ｐｃでは、それぞれ点光源ＰＡ，ＰＢ，ＰＣからの１本分の光線に相当する検出信号レベルａ，ｂ，ｃで被写体の像が結像されて撮像されることになる。
　ここで、位置Ｐａ，Ｐｂ，Ｐｃにおける検出信号レベルが、それぞれａ，ｂ，ｃ（例えば、ｂ＞ａ＞ｃであるものとする）であるとき、図３の右部で示されるように、位置Ｐａ，Ｐｂ，Ｐｃのそれぞれにおける検出信号レベルはａ，ｂ，ｃとなる。尚、図３の右部においては、縦軸が撮像素子３２上の位置を表し、横軸が、各位置の撮像素子における検出信号レベルを表している。尚、図３の右部で示される検出信号レベルは、被写体の像が結像された画像に対応する検出信号レベルであるので、画素値でもある。
　すなわち、被写体の撮像の本質は、被写体面３１上の各点光源の輝度を光電変換により測定することにあり、図３の右部における点光源ＰＡ，ＰＢ，ＰＣのそれぞれの光強度ａ，ｂ，ｃを検出することである。
　図１を参照して説明したように、撮像レンズ１１の役割は点光源ＰＡ，ＰＢ，ＰＣから出射される各光線、即ち拡散光を、撮像素子３２上に導くことにある。そのため、撮像素子３２上には最終画相当の像が結像されることとなり、検出信号からなる画像が、像が結像された撮像画像となる。ただし、撮像レンズの大きさによって撮像装置のサイズが決定されるため、小型化には限界がある。
　さらに、ピンホールと撮像素子との構成からなる撮像装置は、撮像レンズを設ける必要がないので、撮像レンズと撮像素子との構成からなる撮像装置よりも装置構成を小さくすることができる可能性があるが、撮像される画像の明るさが十分でないため、ある程度の明るさの画像を撮像できるように露光時間を長くする、または、ゲインを上げる等が必須となり、高速な被写体の撮像においてはボケが生じ易くなる、または、自然な色表現ではなくなる恐れがある。
　そこで、図４の左部で示されるように、撮像レンズやピンホールを設けることなく、撮像素子３２のみを用いて、被写体面３１上の被写体を撮像することを考える。
　例えば、図４の左部で示されるように、点光源ＰＡ，ＰＢ，ＰＣから、撮像素子３２上の位置Ｐａ，Ｐｂ，Ｐｃのそれぞれに光強度ａ，ｂ，ｃの光線が入射するものとすると、撮像素子３２上の位置Ｐａ，Ｐｂ，Ｐｃのそれぞれにおいて、いずれも点光源ＰＡ，ＰＢ，ＰＣからの光線がそのまま入射されることになる。
　この結果、図４の右部で示されるように、撮像素子３２上の位置Ｐａ，Ｐｂ，Ｐｃにおいては、入射角指向性がないので、同一の光強度ａ＋ｂ＋ｃの光が撮像されることになり、撮像素子３２全体において、位置によらず、同一の検出信号レベルの検出信号が得られることになる。尚、図４の右部で示される検出信号レベルは、被写体の像が結像された画像に対応する検出信号レベルではないので、復元された画素値を示すものではない。
　すなわち、撮像レンズやピンホールを設けることなく、特別な構成も持たない撮像素子３２のみを用いて、被写体面３１上の被写体の像を結像することはできない。このため、撮像素子３２のみを用いるだけの構成では、被写体の像を結像した画像を撮像することはできないことになる。
　そこで、本開示の撮像装置においては、図５の上段左部で示されるように、各画素の検出感度に入射角指向性を持たせた撮像素子５１を設けるようにする。ここでいう各画素の検出感度に入射角指向性を持たせるとは、画素に対する入射光の入射角度に応じた受光感度特性を画素毎に異なるものとなるように持たせることである。ただし、全ての画素の受光感度特性が完全に異なるものである必要はなく、一部の画素に同一の受光感度特性を持つものが含まれていてもよいし、一部の画素が異なる受光感度特性を持つものであってもよい。
　すなわち、被写体面３１を構成する光源が点光源であることを前提とした場合、撮像素子５１においては、同一の点光源より発せられた同一の光強度の光線が、全ての画素に入射されることになるが、画素毎にそれぞれ異なる入射角度で入射されることになる。そして、各画素が入射光の入射角度に応じた異なる受光感度特性、すなわち、入射角指向性を有しているので、同一の光強度の光線であっても、各画素で異なる感度で検出されることになり、画素毎に異なる検出信号レベルの検出信号が検出される。
　より詳細には、撮像素子５１の各画素において受光される入射光の入射角度に応じた感度特性、すなわち、各画素における入射角度に応じた入射角指向性は、入射角度に応じた受光感度を表す係数で表現するものとし、各画素における入射光に応じた検出信号レベルは、入射光の入射角度に応じた受光感度に対応して設定される係数を乗じることで求められるものとなる。
　より具体的には、図５の上段右部で示されるように、位置Ｐａ，Ｐｂ，Ｐｃにおける検出信号レベルＤＡ，ＤＢ，ＤＣは、それぞれ以下の式（１）乃至式（３）で表される。
　ＤＡ＝α１×ａ＋β１×ｂ＋γ１×ｃ
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（１）
　ＤＢ＝α２×ａ＋β２×ｂ＋γ２×ｃ
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（２）
　ＤＣ＝α３×ａ＋β３×ｂ＋γ３×ｃ
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（３）
　ここで、α１は、撮像素子５１上の位置Ｐａにおける復元する被写体面３１上の点光源ＰＡからの光線の入射角度に応じて設定される検出信号レベルａに対する係数であり、換言すれば、位置Ｐａにおける点光源ＰＡからの光線の入射角度に応じた入射角指向性を表現する検出信号レベルａに対する係数である。
　また、β１は、撮像素子５１上の位置Ｐａにおける復元する被写体面３１上の点光源ＰＢからの光線の入射角度に応じて設定される検出信号レベルｂに対する係数である。
　さらに、γ１は、撮像素子５１上の位置Ｐａにおける復元する被写体面３１上の点光源ＰＣからの光線の入射角度に応じて設定される検出信号レベルｃに対する係数である。
　従って、検出信号レベルＤＡのうちの（α１×ａ）は、位置Ｐｃにおける点光源ＰＡからの光線による検出信号レベルを示したものであり、位置Ｐｃにおける点光源ＰＡからの光線の光強度ａに、その入射角度に応じた入射角指向性を示す係数α１が乗じられたものである。
　また、検出信号レベルＤＡのうちの（β１×ｂ）は、位置Ｐｃにおける点光源ＰＢからの光線による検出信号レベルを示したものであり、位置Ｐｃにおける点光源ＰＢからの光線の光強度ｂに、その入射角度に応じた入射角指向性を示す係数β１が乗じられたものである。
　さらに、検出信号レベルＤＡのうちの（γ１×ｃ）は、位置Ｐｃにおける点光源ＰＣからの光線による検出信号レベルを示したものであり、位置Ｐｃにおける点光源ＰＣからの光線の光強度ｃに、その入射角度に応じた入射角指向性を示す係数γ１が乗じられたものである。
　従って、検出信号レベルＤＡは、位置Ｐａにおける点光源ＰＡ，ＰＢ，ＰＣの各成分に、それぞれの入射角度に応じた入射角指向性を示す係数α１，β１，γ１を掛けたものの合成値として表現される。以降、係数α１、β１、γ１を合わせて係数セットと呼ぶこととする。
　同様に、点光源ＰＢにおける検出信号レベルＤＢについて、係数セットα２，β２，γ２は、それぞれ点光源ＰＡにおける検出信号レベルＤＡについての、係数セットα１，β１，γ１に対応するものである。また、点光源ＰＣにおける検出信号レベルＤＣについて、係数セットα３，β３，γ３は、それぞれ点光源ＰＡにおける検出信号レベルＤＡについての、係数セットα１，β１，γ１に対応するものである。
　ただし、位置Ｐａ，Ｐｂ，Ｐｃの画素の検出信号レベルについては、点光源ＰＡ，ＰＢ，ＰＣのそれぞれより発せられた光線の光強度ａ，ｂ，ｃと係数との積和により表現される値である。このため、これらの検出信号レベルは、点光源ＰＡ，ＰＢ，ＰＣのそれぞれより発せられた光線の光強度ａ，ｂ，ｃが入り交じったものとなるので、被写体の像が結像されたものとは異なるものである。
　すなわち、この係数セットα１，β１，γ１，係数セットα２，β２，γ２，係数セットα３，β３，γ３と、検出信号レベルＤＡ，ＤＢ，ＤＣを用いた連立方程式を構成し、光強度ａ，ｂ，ｃを解くことで、図５の下段右部で示されるように各位置Ｐａ，Ｐｂ，Ｐｃの画素値を求める。これにより画素値の集合である復元画像が復元される。
　尚、図５の上段右部で示される検出信号レベルは、被写体の像が結像された画像に対応する検出信号レベルではないので、画素値ではない。また、図５の下段右部で示される検出信号レベルは、被写体の像が結像された画像に対応する画素毎の信号値即ち復元画像の各画素の値なので、画素値となる。
　このような構成により、撮像レンズ、回折格子等からなる光学フィルタや、ピンホールを必要としない、各画素において入射角指向性を有する撮像素子５１を構成とする撮像装置を実現することが可能となる。結果として、撮像レンズ、回折格子等からなる光学フィルタやピンホール等が必須構成とならないので、撮像装置の低背化、すなわち、撮像機能を実現する構成における光の入射方向に対する厚さを薄くすることが可能になる。
　＜＜２．第１の実施の形態＞＞
　次に、図６のブロック図を参照して、本開示の撮像装置を適用した第１の実施の形態の構成例について説明する。
　撮像装置１０１は、指向性撮像素子１２１、信号処理部１２２、デモザイク処理部１２３、γ補正部１２４、ホワイトバランス調整部１２５、画像出力部１２６、記憶部１２７、表示部１２８、被写体距離決定部１２９、操作部１３０、および係数セット選択部１３１より構成され、撮像レンズを含まない。
　指向性撮像素子１２１は、図５を参照して説明した撮像素子５１に対応するものであり、入射角指向性を有する画素を含み、入射光の光量に応じた検出信号レベルの信号からなる検出画像を出力する撮像素子である。
　より具体的には、指向性撮像素子１２１は、基本的な構造において、一般の、例えば、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子からなるものと同様のものであっても良いが、画素アレイを構成する各画素の構成が一般のものと異なる。すなわち、各画素においては、各フォトダイオードの受光領域（受光面）の一部であって、それぞれ画素毎に相互に異なる範囲に遮光膜が設けられている。これにより、画素毎に入射光の入射角度に応じて受光感度が異なる（変化する）こととなり、結果として、画素単位で入射光の入射角度に対する入射角指向性を有する撮像素子が実現されている。尚、指向性撮像素子１２１は、画素アレイとして構成されなくてもよく、例えば、ラインセンサとして構成されてもよい。また、遮光膜については、画素単位で全て異なる場合に限らず、一部が同一の構成でもよいし、一部が異なる構成でもよい。
　信号処理部１２２は、指向性撮像素子１２１より供給されてくる各画素の検出信号レベルと、係数セット選択部１３１に格納された係数セットとを用いて連立方程式を構成し、構成した連立方程式を解くことにより、復元画像を構成する各画素の画素値を求め、デモザイク処理部１２３に出力する。尚、指向性撮像素子１２１の画素数と、復元画像を構成する画素の画素数とは、必ずしも同一である必要はない。また、ここでは、カラーフィルタがベイヤ配列である場合を例として説明しているため、色分離処理を行う構成としてデモザイク処理部１２３が設けられている。しかしながら、カラーフィルタが、例えば、ストライプカラーフィルタなどである場合、デモザイク処理部１２３は、対応する色分離処理を実施する構成に置き換えられ、さらに、モノクロの撮像素子や色毎に撮像素子を持つ多板の撮像装置の場合は、デモザイク処理部１２３は省略される。
　また、カラーフィルタは、ベイヤ配列で使用されるRGB（赤色、緑色、青色）以外の色を透過させるものであってもよく、例えば、黄色、白色などを透過させるものでもよいし、紫外光、赤外光などを透過させるものであってもよく、様々な波長の色を透過させるものであってよい。
　また、図６の指向性撮像素子１２１が出力する信号からなる検出画像は、上述した図５の上段右側で示されるように被写体の像が結像されていない検出信号より構成される画像となるので、目視により被写体を認識することができない画像である。すなわち、図６の指向性撮像素子１２１が出力する検出信号からなる検出画像は、画素信号の集合ではあるが、ユーザが目視しても画像として認識できない画像である。被写体の像が結像された画像、すなわち、ユーザが目視して画像として認識できる復元画像は、図６の撮像装置１０１においては、図５の上段右側で示される検出信号と、係数セット群とを用いた連立方程式を解くことにより求められる、図５の下段右側で示される画素値よりなる画像となる。
　そこで、以降においては、図５の上段右側で示されるように被写体の像が結像されていない検出信号より構成される画像、すなわち、指向性撮像素子１２１により撮像された画像は、検出画像と称するものとする。
　また、図５の下段右側で示される被写体の像が結像された画像、すなわち、信号処理部１２２により検出画像を構成する各画素の検出信号レベルと、係数セットとを用いた連立方程式により求められる被写体の像が結像された画素値から構成される、ユーザが目視して画像として認識できる画像ついては、復元画像と称するものとする。ただし、指向性撮像素子１２１が紫外線などの視認可能な波長帯域以外の光のみに感度を有する場合、復元画像も通常の画像のように被写体を識別できるような画像とはならないがこの場合も復元画像と称する。
　さらに、被写体の像が結像された状態の画像である復元画像であって、デモザイク処理前の画像をRaw画像と称するものとし、指向性撮像素子１２１により撮像された検出画像については、色フィルタの配列に従った画像ではあるが、Raw画像ではないものとして区別する。
　デモザイク処理部１２３は、例えば、Bayer配列等のカラーフィルタの配列に応じて、欠落した色の画素信号を生成するデモザイク処理をすることでRGB毎のプレーンの画像を生成し、γ補正部１２４に供給する。
　γ補正部１２４は、デモザイク処理後の画像にγ補正を施してホワイトバランス調整部１２５に供給する。
　ホワイトバランス調整部１２５は、γ補正が施された画像のホワイトバランスを調整して画像出力部１２６に出力する。
　画像出力部１２６は、ホワイトバランスが調整された画像を、例えば、JPEG（Joint Photographic Experts Group）、TIFF（Tag Image File Format）、GIF（Graphics Interchange Format）等の所定の圧縮形式の画像信号に変換する。そして、画像出力部１２６は、このように所定の形式に変換された画像信号を、HDD（Hard Disk Drive）、SSD（SolidState Drive）、および、半導体メモリなどのいずれか、または、それらの組み合わせなどからなる記憶部１２７に記憶させる、LCD（Liquid Crystal Display）などからなる表示部１２８に表示させる、並びに、被写体距離決定部１２９に出力する処理いずれかの処理を実行する。
　被写体距離決定部１２９は、操作ダイヤルや操作ボタン、撮像装置１０１と別体として構成された外部のリモコンなどからなる操作部１３０からの操作信号に基づいて、撮像位置から被写体までの距離である被写体距離を決定し、決定した被写体距離の情報を係数セット選択部１３１に供給する。すなわち、復元画像は表示部１２８に表示されるため、図示せぬユーザが表示部１２８に表示された、復元画像であるスルー画像を見ながら操作部１３０を操作して被写体距離を調整する。
　係数セット選択部１３１は、図５における撮像素子５１から被写体面３１（復元画像に対応する被写体面）までの距離に相当する様々な被写体距離に対応付けて、上述した係数α１乃至α３，β１乃至β３，γ１乃至γ３に相当する係数セットを記憶している。そこで、係数セット選択部１３１は、被写体距離決定部１２９より供給されてくる被写体距離の情報に基づいて、係数セットを選択する。これにより、信号処理部１２２は、選択された係数セットを用いて検出画像から復元画像を復元する。
　なお、１つの被写体距離の復元画像のみを得るような場合には被写体距離決定部１２９は設けなくても良い。
　また、撮像レンズを用いる撮像装置のように、オートフォーカス機能を実現することも可能である。
　この場合、被写体距離決定部１２９は、画像出力部１２６から供給された復元画像に基づいてコントラストAF（Auto Focus）方式と同様の山登り方式で最適な被写体距離を決定することで、オートフォーカス機能を実現することができる。
　なお、被写体距離は、画像出力部１２６から供給された復元画像に限らず、デモザイク処理部１２３、γ補正部１２４、ホワイトバランス調整部１２５の出力を基に決定しても良い。
　さらには、被写体距離決定部１２９は、別途設けられた測距センサの出力に基づいて被写体距離を決定しても良い。
　また、指向性撮像素子１２１から出力された検出画像を復元することなく、記憶部１２７に記憶しても良い。この場合、再生時に記憶部１２７に記憶された検出画像が信号処理部１２２に供給され、信号処理部１２２で復元画像が生成される。さらに、検出画像を復元することなく、記録媒体に記憶したり、保存するなどして、または、通信などにより、他の機器に出力し、撮像装置とは異なる、例えば、PC（パーソナルコンピュータ）や再生装置などの他の機器により検出画像を復元させるようにしてもよい。
　その際に、係数セット選択部１３１は、複数の被写体距離に対応付けられた複数の係数セットの１つをユーザ選択等に基づいて選択し、信号処理部１２２で選択された係数セットにより異なる被写体距離の復元画像を切り替えて得るようにしても良い。これにより、リフォーカスが実現されるようにしてもよい。
　尚、図６の構成においては、デモザイク処理部１２３、γ補正部１２４、およびホワイトバランス調整部１２５が、全て設けられた構成例について示されているが、いずれも必須構成ではないので、省略するようにしても良いし、図６の構成以外の構成順序であってもよい。また、画像出力部１２６は、圧縮やフォーマット変換をしなくてもよく、Raw画像をそのまま出力するようにしてもよい。さらに、デモザイク処理部１２３、γ補正部１２４、およびホワイトバランス調整部１２５が、省略され、画像出力部１２６が、圧縮やフォーマット変換をしない場合、Raw画像がそのままHDMI（登録商標）（High Definition Multimedia Interface）等で外部に出力されるようにしてもよい。
　＜光学ブロックを含む撮像装置の構成例＞
　ここで、本願の撮像装置の構成例を説明するにあたって、その対比のため、図７のブロック図を参照して、複数の撮像レンズからなる光学ブロックを含む撮像装置の構成例について説明する。尚、図７の光学ブロックを含む撮像装置１４１の構成において、図１の撮像装置１０１の構成と同一の構成については、同一の符号、および同一の名称を付しており、その説明は適宜省略するものとする。
　すなわち、図７の撮像装置１４１において、図１の撮像装置１０１の構成と異なる点は、指向性撮像素子１２１、信号処理部１２２、および係数セット選択部１３１に代えて、撮像素子１５１、光学ブロック１５２、および焦点調整部１５３が設けられている点である。
　すなわち、撮像素子１５１は、入射角指向性を有しない画素からなる撮像素子であり、複数の撮像レンズから構成される光学ブロック１５２が、被写体距離決定部１２９より供給されてくる被写体距離、すなわち、焦点距離に応じて焦点調整部１５３により調整され、入射光が集光されて、撮像素子１５１の撮像面上で結像される。撮像素子１５１は、このように被写体の像が結像された復元画像を撮像してデモザイク処理部１２３に出力する。
　＜図７の光学ブロックを含む撮像装置による撮像処理＞
　次に、図８のフローチャートを参照して、図７の光学ブロックを含む撮像装置１４１による撮像処理について説明する。
　ステップＳ１１において、被写体距離決定部１２９は、操作部１３０より供給されてくる操作信号、または、直前までに撮像された複数の画像に基づいて、被写体までの距離を決定し、決定した被写体距離の情報を焦点調整部１５３に供給する。焦点調整部１５３は、被写体距離、すなわち、焦点距離に基づいて光学ブロック１５２を調整させる。
　ステップＳ１２において、光学ブロック１５２は、入射光を集光し、対応する被写体距離に相当する位置の被写体面における被写体の像を撮像素子１５１の撮像面上に結像させる。
　ステップＳ１３において、撮像素子１５１は、光学ブロック１５２により被写体の像が結像された画像を撮像して、復元画像となるRaw画像をデモザイク処理部１２３に供給する。
　ステップＳ１４において、デモザイク処理部１２３は、復元画像を構成するRaw画像をデモザイク処理してγ補正部１２４に供給する。
　ステップＳ１５において、γ補正部１２４は、デモザイク処理された復元画像にγ補正を施し、ホワイトバランス調整部１２５に供給する。
　ステップＳ１６において、ホワイトバランス調整部１２５は、γ補正が施された復元画像のホワイトバランスを調整して画像出力部１２６に供給する。
　ステップＳ１７において、画像出力部１２６は、ホワイトバランスが調整された結像画 像を、所定の圧縮形式に変換する。
　ステップＳ１８において、画像出力部１２６は、所定の圧縮形式に変換された復元画像を記憶部１２７に記憶させる、表示部１２８に表示させる、および、被写体距離決定部１２９に供給するといった処理の少なくともいずれかを行う。
　以上の処理により、復元画像が撮像される。すなわち、光学ブロックを含む撮像装置による撮像処理においては、光学ブロック１５２により撮像素子１５１に入射する光が集光されて、被写体の像が結像された復元画像が撮像される。
　＜指向性撮像素子の第１の構成例＞
　（指向性撮像素子を用いた撮像装置と光学ブロックを含む撮像装置との違い）
　これに対して、図６の撮像装置１０１は、撮像レンズ１５２（図７）およびピンホール１２（図３）のいずれも介さず入射される入射光を受光する指向性撮像素子１２１により検出画像が撮像され、信号処理部１２２により検出画像と係数セット群とから得られる連立方程式の解を用いることにより復元画像が求められる。
　この違いは、指向性撮像素子１２１と撮像素子１５１との構造の違いに起因する。
　図９の左部は、図７の光学ブロックを含む撮像装置１４１の撮像素子１５１の画素アレイ部の一部の正面図を示しており、図９の右部は、図６の本開示の撮像装置１０１の指向性撮像素子１２１の画素アレイ部の一部の正面図を示している。尚、図９においては、画素アレイ部が水平方向×垂直方向のそれぞれの画素数が６画素×６画素の構成である場合の例を示しているが、画素数の構成は、これに限るものではない。
　すなわち、図９で示されるように、図７の光学ブロックを含む撮像装置１４１に用いられる撮像素子１５１は、入射角指向性を備えていない画素１５１ａがアレイ状に配置されていることが示されている。これに対して指向性撮像素子１２１は、画素１２１ａ毎に、そのフォトダイオードの受光領域の一部であって、画素１２１ａ毎に異なる範囲に遮光膜１２１ｂが設けられており、画素１２１ａ毎に入射光の入射角度に対する受光感度を異なるものとすることで、入射角に対する入射角指向性を有する構成とされている。
　より具体的には、例えば、画素１２１ａ－１と画素１２１ａ－２とでは、設けられている遮光膜１２１ｂ－１と遮光膜１２１ｂ－２とにより画素を遮光する範囲が異なる（遮光する領域（位置）、および遮光する面積の少なくともいずれかが異なる）。すなわち、画素１２１ａ－１においては、フォトダイオードの受光領域における左側の一部を所定の幅だけ遮光するように遮光膜１２１ｂ－１が設けられており、画素１２１ａ－２においては、受光領域における右側の一部を、遮光膜１２１ｂ－１よりも水平方向に広い幅だけ遮光するように遮光膜１２１ｂ－２が設けられている。その他の画素１２１ａにおいても、同様に、遮光膜１２１ｂが、画素毎に受光領域における異なる範囲が遮光されるように設けられており、画素アレイ内でランダムに配置されている。
　尚、遮光膜１２１ｂの範囲は、各画素の受光領域を覆い隠す割合が大きくなるほど、受光できる光量が少ない状態となるため、所望の光量が確保できる程度の面積とすることが望ましく、遮光膜１２１ｂの面積を、例えば、最大で受光可能な範囲の全体の３／４程度までといった制限を加えて構成するようにしてもよい。このようにすることで、所望量以上の光量を確保することが可能となる。ただし、各画素について、受光する光の波長に相当する幅の遮光されていない範囲が設けられていれば、最小限の光量を受光することは可能である。すなわち、例えば、B画素（青色画素）の場合、波長は500nm程度となるが、この波長に相当する幅以上に遮光されていなければ、最小限の光量を受光することは可能である。
　（指向性撮像素子の第１の構成例における側面断面、上面、および回路構成例）
　次に、図１０を参照して、指向性撮像素子１２１の第１の構成例における側面断面、上面、および回路構成例について説明する。すなわち、図１０の上段は、指向性撮像素子１２１の第１の構成例における側面断面図であり、図１０の中段は、指向性撮像素子１２１の第１の構成例における上面図である。また、図１０の上段の側面断面図は、図１０の中段におけるＡＢ断面となる。さらに、図１０の下段は、指向性撮像素子１２１の回路構成例である。
　図１０の上段の指向性撮像素子１２１においては、図中の上方から下方に向けて入射光が入射する。隣接する画素１２１ａ－１５，１２１ａ－１６は、それぞれ図中の最下層に配線層Ｚ１２が設けられており、その上に光電変換層Ｚ１１が設けられている、いわゆる、裏面照射型である。
　尚、画素１２１ａ－１５，１２１ａ－１６を区別する必要がない場合、単に、画素１２１ａと称し、他の構成についても、同様に称する。また、図１０においては、指向性撮像素子１２１の画素アレイを構成する２画素分の側面図および上面図となっているが、いうまでもなく、これ以上の数の画素１２１ａが配置されているが図示が省略されている。
　さらに、画素１２１ａ－１５，１２１ａ－１６は、それぞれ光電変換層Ｚ１１にフォトダイオード１２１ｅ－１５，１２１ｅ－１６を備えている。また、フォトダイオード１２１ｅ－１５，１２１ｅ－１６の上には、それぞれ上からオンチップレンズ１２１ｃ－１５，１２１ｃ－１６、およびカラーフィルタ１２１ｄ－１５，１２１ｄ－１６が構成されている。
　オンチップレンズ１２１ｃ－１５，１２１ｃ－１６は、入射光をフォトダイオード１２１ｅ―１５，１２１ｅ―１６上に集光させる。
　カラーフィルタ１２１ｄ－１５，１２１ｄ－１６は、例えば、赤色、緑色、青色、赤外および白色等の特定の波長の光を透過させる光学フィルタである。尚、白色の場合、カラーフィルタ１２１ｄ－１５，１２１ｄ－１６は、透明のフィルタでもよいし、無くてもよい。
　画素１２１ａ－１５，１２１ａ－１６の光電変換層Ｚ１１における、それぞれ画素間の境界には、遮光膜１２１ｐ－１５乃至１２１ｐ－１７が形成されており、隣接する画素間のクロストークを抑制する。
　また、遮光膜１２１ｂ－１５，１２１ｂ－１６は、図１０の上段および下段で示されるように、上面から見て一部が受光面Ｓを遮光している。画素１２１ａ－１５，１２１ａ－１６におけるフォトダイオード１２１ｅ－１５，１２１ｅ－１６の受光面Ｓにおいては、遮光膜１２１ｂ－１５，１２１ｂ－１６により、それぞれ異なる範囲が遮光されており、これにより画素ごとに異なる入射角指向性が設定される。ただし、遮光される範囲は、指向性撮像素子１２１の全画素１２１ａのそれぞれにおいて異なることが場合に限らず、一部で同一の範囲が遮光される画素１２１ａが存在していてもよい。図１０の上段で示されるような構成により、遮光膜１２１ｐ－１５の右端部と、遮光膜１２１ｂ－１５の上方端部とが接続されると共に、遮光膜１２１ｂ－１６の左端部と遮光膜１２１ｐ－１６の上方端部とが接続され、側面からみてＬ字型に構成されている。
　さらに、遮光膜１２１ｂ－１５乃至１２１ｂ－１７、および遮光膜１２１ｐ－１５乃至１２１ｐ－１７は、金属により構成されており、例えば、タングステン（W）、アルミニウム（Al）、またはAlと銅（Cu）との合金より構成される。また、遮光膜１２１ｂ－１５乃至１２１ｂ－１７、および遮光膜１２１ｐ－１５乃至１２１ｐ－１７は、半導体プロセスにおける配線が形成されるプロセスと同一のプロセスで、配線と同一の金属により同時に形成されるようにしてもよい。尚、遮光膜１２１ｂ－１５乃至１２１ｂ－１７、および遮光膜１２１ｐ－１５乃至１２１ｐ－１７の膜厚は、位置に応じて同一の厚さにしなくてもよい。
　また、図１０の下段で示されるように、画素１２１ａは、フォトダイオード１６１（フォトダイオード１２１ｅに対応する）、転送トランジスタ１６２、ＦＤ（Floating Diffusion：フローティングディフュージョン）部１６３、選択トランジスタ１６４、増幅トランジスタ１６５、およびリセットトランジスタ１６６を備えて構成され、垂直信号線１６７を介して電流源１６８に接続されている。
　フォトダイオード１６１は、アノード電極がそれぞれ接地され、カソード電極が、転送トランジスタ１６２を介して増幅トランジスタ１６５のゲート電極にそれぞれ接続される構成となっている。
　転送トランジスタ１６２は、転送信号ＴＧに従ってそれぞれ駆動する。例えば、転送トランジスタ１６２のゲート電極に供給される転送信号ＴＧがハイレベルになると、転送トランジスタ１６２はオンとなる。これにより、フォトダイオード１６１に蓄積されている電荷が転送トランジスタ１６２を介してＦＤ部１６３に転送される。
　増幅トランジスタ１６５は、フォトダイオード１６１での光電変換によって得られる信号を読み出す読出し回路であるソースフォロワの入力部となり、ＦＤ部１６３に蓄積されている電荷に応じたレベルの画素信号を垂直信号線２３に出力する。すなわち、増幅トランジスタ１６５は、ドレイン端子が電源電圧ＶＤＤに接続され、ソース端子が選択トランジスタ１６４を介して垂直信号線１６７に接続されることで、垂直信号線１６７の一端に接続される電流源１６８とソースフォロワを構成する。
　ＦＤ（Floating Diffusion：フローティングディフュージョン）部１６３は、転送トランジスタ１６２と増幅トランジスタ１６５との間に設けられる電荷容量Ｃ１を有する浮遊拡散領域であり、転送トランジスタ１６２を介してフォトダイオード１６１から転送される電荷を一時的に蓄積する。ＦＤ部１６３は、電荷を電圧に変換する電荷検出部であって、ＦＤ部１６３に蓄積されている電荷が増幅トランジスタ１６５において電圧に変換される。
　選択トランジスタ１６４は、選択信号ＳＥＬに従って駆動し、ゲート電極に供給される選択信号ＳＥＬがハイレベルになるとオンとなって、増幅トランジスタ１６５と垂直信号線１６７とを接続する。
　リセットトランジスタ１６６は、リセット信号ＲＳＴに従って駆動する。例えば、リセットトランジスタ１６６は、ゲート電極に供給されるリセット信号ＲＳＴがハイレベルになるとオンとなり、ＦＤ部１６３に蓄積されている電荷を電源電圧ＶＤＤに排出して、ＦＤ部１６３をリセットする。
　以上のような回路構成により、図１０の下段で示される画素回路は以下のように動作する。
　すなわち、第一動作として、リセットトランジスタ１６６および転送トランジスタ１６２がオンにされ、ＦＤ部１６３に蓄積されている電荷を電源電圧ＶＤＤに排出して、ＦＤ部１６３をリセットする。
　第二動作として、リセットトランジスタ１６６および転送トランジスタ１６２がオフにされ、露光期間となり、フォトダイオード１６１により、入射光の光量に応じた電荷が蓄積される。
　第三動作として、リセットトランジスタ１６６がオンにされて、ＦＤ部１６３がリセットされた後、リセットトランジスタ１６６がオフにされる。この動作により、ＦＤ部１６３がリセットされて、基準電位に設定される。
　第四動作として、リセットされた状態のＦＤ部１６３の電位が、基準電位として増幅トランジスタ１６５より出力される。
　第五動作として、転送トランジスタ１６２がオンにされて、フォトダイオード１６１に蓄積された電荷がＦＤ部１６３に転送される。
　第六動作として、フォトダイオードの電荷が転送されたＦＤ部１６３の電位が、信号電位として増幅トランジスタ１６５より出力される。
　以上の処理により、信号電位から基準電位が減算されて、ＣＤＳ（相関二重サンプリング）により検出信号として出力される。
　＜指向性撮像素子の第２の構成例＞
　（指向性撮像素子の第２の構成例における側面断面、上面、および回路構成例）
　図１１は、指向性撮像素子１２１の第２の構成例における側面断面、上面、および回路構成例を示す図である。すなわち、図１１の上段には、第２の構成例である指向性撮像素子１２１の画素１２１ａの側面断面図が示されており、図１１の中段には、指向性撮像素子１２１の上面図が示されている。また、図１１の上段の側面断面図は、図１１の中段におけるＡＢ断面となる。さらに、図１１の下段は、指向性撮像素子１２１の回路構成例である。
　図１１に示すように、指向性撮像素子１２１は、画素１２１ａにおいて、４つのフォトダイオード１２１ｆ－１１ｓ乃至１２１ｆ－４が形成され、遮光膜１２１ｐが、フォトダイオード１２１ｆ－１１乃至１２１ｆ－４同士を分離する領域に形成されている点で、図１０の指向性撮像素子１２１と異なる構成となっている。即ち、図１１の指向性撮像素子１２１では、遮光膜１２１ｐは、上面から見て「＋」形状に形成されている。なお、それらの共通の構成については同一の符号を付し、詳細な説明は省略する。
　図１１のように構成された指向性撮像素子１２１では、遮光膜１２１ｐによりフォトダイオード１２１ｆ－１乃至１２１ｆ－４に分離することによって、フォトダイオード１２１ｆ－１乃至１２１ｆ－４間の電気的および光学的なクロストークを防止することができる。即ち、図１１の遮光膜１２１ｐは、図１０の指向性撮像素子１２１の遮光膜１２１ｐ同様にクロストークを防止するためのものであって、入射角指向性を与えるためのものではない。
　図１１の指向性撮像素子１２１の第２の構成例においては、１個のＦＤ部１６３を４個のフォトダイオード１２１ｆ－１乃至１２１ｆ－４で共有する。図１１の下段は、１個のＦＤ部１６３を４個のフォトダイオード１２１ｆ－１乃至１２１ｆ－４で共有するようにした回路構成例を示している。尚、図１１の下段において、図１０の下段と同一の構成については、その説明を省略する。
　図１１の下段において、図１０の下段の回路構成と異なる点は、フォトダイオード１６１（図１０の上段におけるフォトダイオード１２１ｅに対応する）および転送トランジスタ１６２に代えて、フォトダイオード１６１－１乃至１６１－４（図１１の上段におけるフォトダイオード１２１ｆ－１乃至１２１ｆ－４に対応する）および転送トランジスタ１６２－１乃至１６２－４を設け、ＦＤ部１６３を共有する構成としている点である。
　このような構成により、フォトダイオード１２１ｆ－１乃至１２１ｆ－４に蓄積された電荷は、フォトダイオード１２１ｆ－１乃至１２１ｆ－４と増幅トランジスタ１６５のゲート電極との接続部に設けられる所定の容量を有する共通のＦＤ部１６３に転送される。そして、ＦＤ部１６３に保持されている電荷のレベルに応じた信号が画素出力単位の検出信号として読み出される。
　このため、フォトダイオード１２１ｆ－１乃至１２１ｆ－４で蓄積された電荷を様々な組み合わせで選択的に画素出力単位の検出信号に寄与させることができる（画素出力単位の検出信号への寄与の度合いを異ならせるようにすることができる）。
　すなわち、フォトダイオード１２１ｆ－１乃至１２１ｆ－４毎に独立して電荷を読み出すことができる構成とすることにより、各画素出力単位に異なる入射角指向性を持たせることができる。
　例えば、図１１では、フォトダイオード１２１ｆ－１およびフォトダイオード１２１ｆ－３の電荷とをＦＤ部１６３に転送することで、それぞれを読み出して得られる信号を加算することにより、左右方向の入射角指向性を得ることができる。同様に、フォトダイオード１２１ｆ－１およびフォトダイオード１２１ｆ－２の電荷とをＦＤ１６３部に転送することで、それぞれを読み出して得られる信号を加算することにより、上下方向の入射角指向性を得ることができる。
　また、図１１では、フォトダイオード１２１ｆ－１およびフォトダイオード１２１ｆ－３の電荷と、フォトダイオード１２１ｆ－２およびフォトダイオード１２１ｆ－４の電荷とをそれぞれ同時にＦＤ部１６３に転送し、ＦＤ部１６３において加算して、読み出すことにより得られる信号により、左右方向の入射角指向性を得ることができる。同様に、フォトダイオード１２１ｆ－１およびフォトダイオード１２１ｆ－２の電荷と、フォトダイオード１２１ｆ－３およびフォトダイオード１２１ｆ－４の電荷とをそれぞれ同時にＦＤ部１６３に転送し、ＦＤ部１６３において加算して、読み出すことにより得られる信号により、上下方向の入射角指向性を得ることができる。
　また、４つのフォトダイオード１２１ｆ－１乃至１２１ｆ－４より独立して選択的に読み出される電荷に基づいて得られる信号は、検出画像を構成する１画素分に相当する１画素出力単位の検出信号となる。
　以上のように、図１１の指向性撮像素子１２１の場合、４つのフォトダイオード１２１ｆ－１乃至１２１ｆ－４のうち、検出信号として採用するものの組み合わせを変更することで、画素毎に異なる入射角指向性を持たせることができる。
　図１０の指向性撮像素子１２１では、１つの画素出力単位に対して１つのフォトダイオード１２１ｅが設けられている。各画素（画素出力単位）の遮光膜１２１ｐによる遮光の状態を画素単位で異なるものとすることで、画素毎の入射角指向性が異なるものとすることができる。
　図１１の指向性撮像素子１２１では、１つの画素出力単位に対して４つのフォトダイオード１２１ｆ－１乃至１２１ｆ－４が設けられている。４つのフォトダイオード１２１ｆ－１乃至１２１ｆ－４のうち、検出信号に寄与するフォトダイオード１２１ｆを画素出力単位ごとに異なるものとすることで、画素出力単位毎に異なる入射角指向性を持たせることができる。寄与の度合いは、各フォトダイオード１２１ｆの検出値をFD（フローティングディフュージョン）に読み出すか否かや、電子シャッタ機能を用いて電荷のFDへの読み出しの前にフォトダイオード１２１ｆに蓄積された検出値（電荷）をリセットすることで実現することができる。なお、電子シャッタ機能を用いる場合、フォトダイオード１２１ｆの電荷のFDへの読み出しの直前にリセットをすれば、そのフォトダイオード１２１ｆは画素出力単位への寄与が無い状態とすることができ、リセットとFDへの読み出しの間の時間を持たせれば、部分的に寄与をさせることもできる。
　換言すれば、図１０のフォトダイオード１２１ｅと図１１のフォトダイオード１２１ｆとは、それぞれで検出される信号の用いられ方が異なる。すなわち、図１０のフォトダイオード１２１ｅにより検出された信号は、フォトダイオード１２１ｅ－１５，１２１ｅ－１６より検出される信号であり、検出画像を構成する、画素１２１ａ－１５，１２１ａ－１６のそれぞれの１画素出力単位分の検出信号である。
　これに対して、図１１のフォトダイオード１２１ｆにより検出された信号は、フォトダイオード１２１ｆ－１１乃至１２１ｆ－４の４個の信号が選択的に用いられて、検出画像を構成する１画素出力単位分の検出信号となる。
　これは、図１０の画素１２１ａは、１個についてフォトダイオード１２１ｅが１個設けられており、画素１２１ａ毎に異なる範囲が遮光膜１２１ｂにより遮光されており、遮光膜１２１ｂを用いた光学的な変調により、１個の画素１２１ａで入射角指向性を備えた検出画像の１画素分の検出信号を表現することができる。
　これに対して、図１１の画素１２１ａは、１個について４個のフォトダイオード１２１ｆが設けられており、受光面に対して遮光膜１２１ｂが形成されていないが、遮光膜１２１ｐにより、複数の領域に分割され、４個のフォトダイオード１２１ｆ－１乃至１２１ｆ－４が形成されており、入射角指向性を備えた検出画像の１画素分の検出信号を表現している。換言すれば、例えば、フォトダイオード１２１ｆ－１１乃至１２１ｆ－１４のうち出力に寄与しない範囲が遮光された領域と同様に機能して、入射角指向性を備えた、検出画像の１画素分の検出信号を表現している。尚、フォトダイオード１２１ｆ－１１乃至１２１ｆ－１４を用いて、１画素分の検出信号を表現する場合、遮光膜１２１ｂは用いられていないので、検出信号は、光学的な変調により得られる信号ではない。
　そこで、指向性撮像素子１２１より出力される検出画像の１個の画素１２１ａの検出信号を出力するための、少なくとも１個以上のフォトダイオード１２１ｅまたは１２１ｆによる構成を１画素出力単位と称する。すなわち、図１０の指向性撮像素子１２１の場合、１画素出力単位は、１個のフォトダイオード１２１ｅにより構成される。また、図１１の指向性撮像素子１２１の場合、１画素出力単位は、４個のフォトダイオード１２１ｆ－１乃至１２１ｆ－４により構成される。
　尚、図１１の指向性撮像素子１２１において、４個のフォトダイオード１２１ｆ－１乃至１２１ｆ－４を、画素出力単位毎に同形状で、等面積に分割して配置したが、画素出力単位毎にフォトダイオード１２１ｆ－１乃至１２１ｆ－４を非同形状で、非等面積となるように分割位置を異ならせるようにしてもよい。このように４個のフォトダイオード１２１ｆ－１乃至１２１ｆ－４の分割位置を非同形状で、非等面積にするように分割位置を設定することで、複数の画素出力単位で同じように左上のフォトダイオード１２１ｆ－１だけを用いたとしても入射角指向性が異なるものとすることもできる。また、画素出力単位によって、分割数を異なるものとすれば、より自由に入射角指向性を設定することが可能となる。さらには上記を組み合わせてもよい。
　＜入射角指向性を生じさせる原理について＞
　指向性撮像素子１２１における各画素の入射角指向性は、例えば、図１２で示されるような原理により発生する。尚、図１２の左上部および右上部は、図１０の指向性撮像素子１２１における入射角指向性の発生原理を説明する図であり、図１２の左下部および右下部は、図１１の指向性撮像素子１２１における入射角指向性の発生原理を説明する図である。
　また、図１２の左上部および右上部における１画素出力単位は、いずれも１個のフォトダイオード１２１ｅにより構成される。これに対して、図１２の左下部および右下部における１画素出力単位は、いずれも２個のフォトダイオード１２１ｆにより構成される。尚、ここでは、１画素出力単位が２個のフォトダイオード１２１ｆにより構成される例について説明しているが、これは説明の便宜上であり、１画素出力単位を構成するフォトダイオード１２１ｆの数は、その他の個数であってもよい。
　すなわち、図１２の左上部においては、図中の上方から下方に向けて入射光が入射するとき、フォトダイオード１２１ｅ－１１の受光面の右半分を遮光するように遮光膜１２１ｂ－１１が形成されている。また、図１２の右上部においては、フォトダイオード１２１ｅ－１２の受光面の左半分を遮光するように遮光膜１２１ｂ－１２が形成されている。尚、図中の一点鎖線は、フォトダイオード１２１ｅの受光面の図中の水平方向の中心位置であって、受光面に対して垂直方向であることを表している。
　例えば、図１２の左上部のような構成の場合、図中の一点鎖線に対して入射角θ１を成す矢印で示される、図中の右上方向からの入射光は、フォトダイオード１２１ｅ－１１の遮光膜１２１ｂ－１１により遮光されていない左半分の範囲では受光し易いが、図中の一点鎖線に対して入射角θ２を成す矢印で示される、図中の左上方向からの入射光は、フォトダイオード１２１ｅ－１１の遮光膜１２１ｂ－１１により遮光されていない左半分の範囲では受光し難い。したがって、図１２の左上部のような構成の場合、図中の右上方からの入射光に対して受光感度特性が高く、左上方からの入射光に対して受光感度特性が低い入射角指向性を備えることになる。
　一方、例えば、図１２の右上部のような構成の場合、図中の一点鎖線に対して入射角θ１１を成す矢印で示される、図中の右上方向からの入射光は、フォトダイオード１２１ｅ－１２の遮光膜１２１ｂ－１２により遮光されている左半分の範囲では受光し難いが、図中の一点鎖線に対して入射角θ１２を成す矢印で示される、図中の左上方向からの入射光は、フォトダイオード１２１ｅ－１２の遮光膜１２１ｂ－１２により遮光されていない右半分の範囲で受光し易い。したがって、図１２の右上部のような構成の場合、図中の右上方からの入射光に対して受光感度特性が低く、左上方からの入射光に対して受光感度特性が高い入射角指向性を備えることになる。
　また、図１２の左下部の場合、図中の左右にフォトダイオード１２１ｆ－１，１２１ｆ－２が設けられており、いずれかの一方の検出信号を読み出すようにすることで、遮光膜１２１ｂを設けることなく入射角指向性を有する構成とされている。
　すなわち、図１２の左下部で示されるように、２個のフォトダイオード１２１ｆ－１，１２１ｆ－２が画素出力単位とされて画素１２１ａが構成される場合、図中の左側に設けられたフォトダイオード１２１ｆ－１の検出信号を読み出すようにすることで、図１２の左上部における構成と同様の入射角指向性を備えるようにすることができる。すなわち、図中の一点鎖線に対して入射角θ２１を成す矢印で示される、図中の右上方向からの入射光は、フォトダイオード１２１ｆ－１に入射して受光され読み出される。これに対して、図中の一点鎖線に対して入射角θ２２を成す矢印で示される、図中の左上方向からの入射光は、フォトダイオード１２１ｆ－２に入射するが、信号が画素出力単位に寄与しない。
　同様に、図１２の右下部で示されるように、２個のフォトダイオード１２１ｆ－１１，１２１ｆ－１２からなる画素１２１ａが１画素出力単位とされる場合、図中の左側に設けられたフォトダイオード１２１ｆ－１２の検出信号を画素出力単位に寄与するようにすることで、図１２の右上部における構成と同様の入射角指向性を備えるようにすることができる。すなわち、図中の一点鎖線に対して入射角θ３１を成す矢印で示される、図中の右上方向からの入射光は、フォトダイオード１２１ｆ－１１に入射するが画素出力単位に寄与しない。これに対して、図中の一点鎖線に対して入射角θ３２を成す矢印で示される、図中の左上方向からの入射光は、フォトダイオード１２１ｆ－１２に入射して出力画素含意に寄与する。尚、図１２においては、垂直方向の一点鎖線が、フォトダイオード１２１ｅの受光面の図中の水平方向の中心位置である例について説明してきたが、説明の便宜上であり、その他の位置であってもよい。垂直方向の一点鎖線で示される遮光膜１２１ｂの水平方向の位置が異なることにより、異なる入射角指向性を生じさせることができる。
　＜オンチップレンズを含む構成における入射角指向性について＞
　以上においては、遮光膜１２１ｂによる入射角指向性の発生原理、および、複数のフォトダイオード１２ｆによる入射角指向性の発生原理について説明してきたが、ここでは、オンチップレンズ１２１ｃを含めた構成における入射角指向性について説明する。
　すなわち、指向性撮像素子１２１における各画素の入射角指向性は、上述した遮光膜１２１ｂによるものに加えて、オンチップレンズ１２１ｃを用いることにより、例えば、図１３で示されるように設定される。すなわち、図１３の中段左部においては、図中上方の入射方向より入射光を集光するオンチップレンズ１２１ｃ－１１、所定の波長の光を透過させるカラーフィルタ１２１ｄ－１１、および光電変換により画素信号を生成するフォトダイオード１２１ｅ－１１の順に積層され、図１３の中段右部においては、図中上方の入射方向よりオンチップレンズ１２１ｃ－１２、カラーフィルタ１２１ｄ－１２、およびフォトダイオード１２１ｅ－１２の順に構成されている。
　尚、オンチップレンズ１２１ｃ－１１，１２１ｃ－１２、カラーフィルタ１２１ｄ－１１，１２１ｄ－１２、およびフォトダイオード１２１ｅ－１１，１２１ｅ－１２の、それぞれを区別する必要がない場合、単に、オンチップレンズ１２１ｃ、カラーフィルタ１２１ｄ、およびフォトダイオード１２１ｅと称する。
　指向性撮像素子１２１においては、さらに、図１３の中段左部、および中段右部のそれぞれに示されるように、入射光を受光する領域の一部を遮光する遮光膜１２１ｂ－１１，１２１ｂ－１２が設けられている。
　図１３の中段左部で示されるように、図中のフォトダイオード１２１ｅ－１１の右側半分を遮光するような遮光膜１２１ｂ－１１が設けられている場合、図１３の上段の実線の波形で示されるように、入射光の入射角度θに応じてフォトダイオード１２１ｅ－１１の検出信号レベルが変化する。
　すなわち、フォトダイオード１２１ｅおよびオンチップレンズ１２１ｃの中心位置であって、それぞれに対して垂直となる一点鎖線に対して、入射光のなす角である入射角度θが大きくなると（入射角度θが正の方向に大きくなると（図中の右方向に傾くと））、遮光膜１２１ｂ－１１が設けられていない範囲に光が集光されることで、フォトダイオード１２１ｅ－１１の検出信号レベルが大きくなる。逆に、入射角度θが小さいほど（入射角度θが負の方向に大きいほど（図中の左方向に傾くと））、遮光膜１２１ｂ－１１が設けられている範囲に光が集光されることで、フォトダイオード１２１ｅ－１１の検出信号レベルが小さくなる。
　尚、ここでいう入射角度θは、入射光の方向が一点鎖線と一致する場合を０度とし、図中の右上方からの入射光が入射する、図１３の中段左側の入射角度θ２１側の入射角度θを正の値とし、図１３の中段右側の入射角度θ２２側の入射角度θを負の値とする。したがって、図１３においては、オンチップレンズ１２１ｃに対して、右上方より入射する入射光については、左上方より入射する入射光よりも入射角度が大きくなる。すなわち入射角度θは、図１３において、入射光の進行方向が右に傾くほど大きくなり（正の方向に大きくなり）、左に傾くほど小さくなる（負の方向に大きくなる）ものとする。
　また、図１３の中段右部で示されるように、図中のフォトダイオード１２１ｅ－１２の左側半分を遮光するような遮光膜１２１ｂ－１２が設けられている場合、図１３の上段の点線の波形で示されるように、入射光の入射角度θに応じてフォトダイオード１２１ｅ－１２の検出信号レベルが変化する。
　すなわち、図１３の上段における点線の波形で示されるように、フォトダイオード１２１ｅおよびオンチップレンズ１２１ｃの中心位置であって、それぞれに対して垂直となる一点鎖線に対して、入射光のなす角である入射角度θが大きいほど（入射角度θが正の方向に大きいほど）、遮光膜１２１ｂ－１２が設けられている範囲に光が集光されることで、フォトダイオード１２１ｅ－１２の検出信号レベルが小さくなる。逆に、入射角度θが小さいほど（入射角度θが負の方向に大きいほど）、遮光膜１２１ｂ－１２が設けられていない範囲に光が入射することで、フォトダイオード１２１ｅ－１２の検出信号レベルが大きくなる。
　尚、図１３の上段においては、横軸が入射角度θであり、縦軸がフォトダイオード１２１ｅにおける検出信号レベルを示している。
　この図１３の上段で示される入射角度θに応じた検出信号レベルを示す実線および点線で示される波形は、遮光膜１２１ｂの範囲に応じて変化させることができるので、これにより画素出力単位毎に相互に異なる入射角指向性を持たせることが可能となる。尚、図１３の上段における実線の波形は、図１３の中段左部、および下段左部における入射光が、入射角度θを変化させて集光される様子を示す実線の矢印に対応している。また、図１３の上段における点線の波形は、図１３の中段右部、および下段右部における入射光が、入射角度θを変化させて集光される様子を示す点線の矢印に対応している。
　入射角指向性とは、入射角度θに応じた各画素出力単位の検出信号レベルの特性（受光感度特性）であるが、図１３の中段の例について言えば、入射角度θに応じた遮光値の特性であるとも言える。すなわち、遮光膜１２１ｂは、特定の方向の入射光は高いレベルで遮光するが、特定の方向以外の方向からの入射光は十分に遮光できない。この遮光できるレベルの変化が、図１３の上段で示されるような入射角度θに応じた異なる検出信号レベルを生じさせる。したがって、各画素出力単位において最も高いレベルで遮光可能な方向を各画素の遮光方向と定義すると、画素出力単位で相互に異なる入射角指向性を持つということは、換言すれば、画素出力単位で相互に異なる遮光方向を持つということになる。
　さらに、図１３の下段左部で示されるように、１個のオンチップレンズ１２１ｃ－１１に対して２個のフォトダイオード１２１ｆ－１，１２１ｆ－２が設けられる構成とする（画素出力単位が２個のフォトダイオード１２１ｆ－１，１２１ｆ－２から構成される）ことにより、図中左部のフォトダイオード１２１ｆ－１のみの検出信号を用いるようにすることで、図１３の中段左部におけるフォトダイオード１２１ｅ－１１の右側を遮光した状態と同じ検出信号レベルを求めるようにすることができる。
　すなわち、オンチップレンズ１２１ｃの中心位置であって、それぞれに対して垂直となる一点鎖線に対して、入射光のなす角である入射角度θが大きくなると（入射角度θが正の方向に大きくなると）、検出信号が読み出されるフォトダイオード１２１ｆ－１の範囲に光が集光されることで、検出信号レベルが大きくなる。逆に、入射角度θが小さいほど（入射角度θが負の方向に大きいほど）、検出値が読み出されないフォトダイオード１２１ｆ－２の範囲に光が集光されることで、検出信号レベルが小さくなる。
　また、同様に、図１３の下段右部で示されるように、１個のオンチップレンズ１２１ｃ－１２に対して２個のフォトダイオード１２１ｆ－１１，１２１ｆ－１２が設けられる構成とすることにより、図中右部のフォトダイオード１２１ｆ－１２のみの検出信号を用いるようにすることで、図１３の中段右部におけるフォトダイオード１２１ｅ－１２の左側を遮光した状態と同じ検出信号レベルの画素出力単位の検出信号を得るようにすることができる。
　すなわち、オンチップレンズ１２１ｃの中心位置であって、それぞれに対して垂直となる一点鎖線に対して、入射光のなす角である入射角度θが大きくなると（入射角度θが正の方向に大きくなると）、検出信号が画素出力単位の検出信号に寄与しないフォトダイオード１２１ｆ－１１の範囲に光が集光されることで、画素出力単位の検出信号の検出信号レベルが小さくなる。逆に、入射角度θが小さいほど（入射角度θが負の方向に大きいほど）、検出信号が画素出力単位の検出信号に寄与するフォトダイオード１２１ｆ－１２の範囲に光が集光されることで、画素出力単位の検出信号の検出信号レベルが大きくなる。
　尚、入射角指向性については、ランダム性が高い方が望ましい。例えば、隣り合う画素間で同一の入射角指向性を持つと、上述した式（１）乃至式（３）または、後述する式（１４）乃至式（１６）が相互に同一の式となる恐れがあり、連立方程式の解となる未知数と式の数の関係が満たせなくなり、復元画像を構成する画素値を求められなくなる恐れがあるためである。また、図１３の上段で示される構成においては、１個のフォトダイオード１２１ｅ－１１およびフォトダイオード１２１ｅ－１２のそれぞれが１画素出力単位を構成する。図１３の下段で示される構成においては、２個のフォトダイオード１２１ｆ－１および１２１ｆ－２、並びに、フォトダイオード１２１ｆ－１１および１２１ｆ－１２により１画素出力単位が構成される。したがって、例えば、図１３の下段においては、フォトダイオード１２１ｆの単体では、１画素出力単位は構成されない。
　また、図１２の下段で示されるように、複数のフォトダイオード１２１ｆから１画素出力単位が構成される場合、入射角度に応じて、画素出力単位の出力画素値が変調されているとみなすことができる。したがって、出力画素値の特性（入射角指向性）を画素出力単位で異ならせることが可能となり、１画素出力単位での入射角指向性が設定される。さらに、複数のフォトダイオード１２１ｆから１画素出力単位が構成される場合、１画素出力単位での入射角指向性を生じさせる上で、１画素出力単位に対して１個のオンチップレンズ１２１ｃが必須構成となる。
　また、図１３の上段で示されるように、１個のフォトダイオード１２１ｅ－１１またはフォトダイオード１２１ｅ－１２のそれぞれが１画素出力単位を構成する場合、入射角度に応じて、１画素出力単位を構成する１個のフォトダイオード１２１ｅ－１１またはフォトダイオード１２１ｅ－１２への入射光が変調されることにより、結果として出力画素値が変調される。したがって、出力画素値の特性（入射角指向性）が異ならせることが可能となり、１画素出力単位での入射角指向性が設定される。さらに、１個のフォトダイオード１２１ｅ－１１またはフォトダイオード１２１ｅ－１２のそれぞれが１画素出力単位を構成する場合、入射角指向性は、１画素出力単位毎に設けられる遮光膜１２１ｂにより独立して製造時に設定される。
　また、図１３の下段で示されるように、複数のフォトダイオード１２１ｆから１画素出力単位が構成される場合、１画素出力単位毎の入射角指向性を設定するための複数のフォトダイオード１２１ｆの数（１画素出力単位を構成するフォトダイオード１２１ｆの分割数）や分割位置については、１画素出力単位で独立して製造時に設定され、さらに、このうち、どのフォトダイオード１２１ｆを用いて入射角指向性を設定するかについては、撮像時に切り替えるようにすることができる。
　＜入射角指向性の設定＞
　例えば、図１４の上段で示されるように、遮光膜１２１ｂの設定範囲が、画素１２１ａにおける水平方向について、左端部から位置Ａまでの範囲とし、垂直方向について、上端部から位置Ｂまでの範囲とする。
　この場合、各画素の水平方向の中心位置からの入射角度θｘ（ｄｅｇ）に応じた、入射角指向性の指標となる水平方向の０乃至１の重みＷｘを設定する。より詳細には、位置Ａに対応する入射角度θｘ＝θａにおいて、重みＷｘが０．５になると仮定した場合、入射角度θｘ＜θａ－αにおいて重みＷｘが１となり、θａ－α≦入射角度θｘ≦θａ＋αにおいて、重みＷｘが（－（θｘ－θａ）／２α＋１／２）となり、入射角度θｘ＞θａ＋αにおいて重みＷｘが０となるように重みＷｈを設定する。尚、ここでは、重みＷｈが０，０．５，１である例について説明するが、重みＷｈが０，０．５，１となるのは、理想的な条件が満たされるときとなる。
　同様に、各画素の垂直方向の中心位置からの入射角度θｙ（ｄｅｇ）に応じた、入射角指向性の指標となる垂直方向の０乃至１の重みＷｙを設定する。より詳細には、位置Ｂに対応する入射角度θｙ＝θｂにおいて、重みＷｖが０．５になると仮定した場合、入射角度θｙ＜θｂ－αにおいて重みＷｙが０となり、θｂ－α≦入射角度θｙ≦θｂ＋αにおいて、重みＷｙが（（θｙ－θｂ）／２α＋１／２）となり、入射角度θｙ＞θｂ＋αにおいて重みＷｙが１となるように重みＷｙを設定する。
　そして、このようにして求められた重みＷｘ，Ｗｙを用いることにより、それぞれの画素１２１ａの入射角指向性、すなわち、受光感度特性に対応する係数を求めることができる。
　また、このとき、水平方向の重みＷｘおよび垂直方向の重みＷｙが０．５の前後となる範囲における重みの変化を示す傾き（１／２α）は、焦点距離の異なるオンチップレンズ１２１ｃを用いることで設定することができる。
　すなわち、曲率の異なるオンチップレンズ１２１ｃを用いることで異なる焦点距離とすることができる。
　例えば、曲率の異なるオンチップレンズ１２１ｃを用いることで、図１４の下段における実線で示されるように、焦点距離が、遮光膜１２１ｂ上になるように集光されるとき、傾き（１／２α）は、急峻になる。すなわち、図１４の上段における、水平方向の重みＷｘおよび垂直方向の重みＷｙは、０．５付近となる水平方向の入射角度θｘ＝θａ、および、垂直方向の入射角度θｙ＝θｂの境界付近において、急激に０または１に変化する。
　また、例えば、曲率の異なるオンチップレンズ１２１ｃを用いることで、図１４の下段における点線で示されるように、焦点距離が、フォトダイオード１２１ｅ上に集光されるとき、傾き（１／２α）は、緩くなる。すなわち、図１４の上部における、水平方向の重みＷｘおよび垂直方向の重みＷｙが０．５付近となる水平方向の入射角度θｘ＝θａ、および、垂直方向の入射角度θｙ＝θｂの境界付近において、緩やかに０または１に変化する。
　以上のように、曲率の異なるオンチップレンズ１２１ｃを用いて、異なる焦点距離にすることで異なる入射角指向性、すなわち、異なる受光感度特性を得ることができる。
　したがって、画素１２１ａの入射角指向性は、遮光膜１２１ｂによりフォトダイオード１２１ｅが遮光される範囲と、オンチップレンズ１２１ｃの曲率とが異なるようにすることで異なる値に設定することができる。尚、オンチップレンズの曲率は、指向性撮像素子１２１における全ての画素出力単位で同一でもよいし、一部の画素出力単位において異なる曲率であってもよい。
　＜オンチップレンズと撮像レンズとの違い＞
　本開示の撮像装置１０１においては、指向性撮像素子１２１は、撮像レンズからなる光学ブロック１５２を必要としない構成であるが、オンチップレンズ１２１ｃが設けられる場合もある。なお、図１１の構成の場合はオンチップレンズ１２１ｃは必須構成とされる。オンチップレンズ１２１ｃと撮像レンズとは、物理的作用が異なるものである。
　ここでは、光学ブロック１５２が撮像レンズ１５２であるものとして説明する。
　図１５で示されるように、点光源Ｐ１０１より発する光が拡散するように撮像レンズ１５２に入射するとき、撮像レンズ１５２は、点光源Ｐ１０１と撮像レンズ１５２の中心１５２ａを通る主光線Ｌ１０１により撮像素子１５１上で結像する画素位置Ｐ１１１が特定される。
　このとき、撮像レンズ１５２は、点光源Ｐ１０１より発する光のうち、拡散により主光線Ｌ１０１とは異なる入射角度で入射する光を、撮像素子１５１上の画素位置Ｐ１１１に集光できるように設計されている。
　また、図１６で示されるように、画素位置Ｐ１１１に隣接する、例えば、画素位置Ｐ１１２は、点光源Ｐ１０１とは異なる点光源Ｐ１０２と撮像レンズ１５２の中心位置１５２ａとを通る主光線Ｌ１０２により特定される。
　したがって、撮像レンズ１５２は、撮像素子１５１上の異なる画素位置Ｐ１１１，Ｐ１１２１に対して、それぞれ主光線が異なる、異なる点光源Ｐ１０１，Ｐ１０２の像を結像させる。
　さらに、図１７で示されるように、無限遠の光の入射を仮定した場合、無限遠の入射光は、平行光であるので、点光源Ｐ１０１を仮定した主光線Ｌ１０１に対する、例えば、平行光Ｌ１２１，Ｌ１２２であると考えることができる。したがって、撮像レンズ１５２は、主光線入射角度が異なる点光源を、それぞれ異なる撮像素子１５１上の画素位置で像を結像させる。
　すなわち、撮像レンズ１５２は、主光線入射角度が異なる拡散光を、互いに隣接する複数の画素出力単位へ入射させるための集光機能を持つ。
　これに対して、例えば、図１０，図１１を参照して説明したように、オンチップレンズ１２１ｃを通る光は、対応する１画素出力単位を構成するフォトダイオード１２１ｅまたは１２１ｆの受光面のみに入射される。換言すれば、オンチップレンズ１２１ｃは、画素出力単位毎に設けられ、自身に入射する被写体光を対応する画素出力単位のみに集光する。すなわち、オンチップレンズ１２１ｃは、仮想点光源から出射した拡散光を、互いに隣接する複数の画素出力単位へ入射させるための集光機能を持たない。
　＜係数セットと検出信号とからなる連立方程式を用いた画素値の計算例＞
　信号処理部１２２において実行される、係数セットと検出信号とからなる連立方程式を用いた画素値の具体的な計算例について説明する。
　ここで、被写体面３１は、図１８の上段で示されるように、３領域×３領域の合計９領域であるものと仮定し、各領域は、領域Ｏ１１乃至Ｏ１３、Ｏ２１乃至Ｏ２３、およびＯ３１乃至Ｏ３３より構成されるものとする。さらに、各領域には、代表点が設定され（図中の丸印）、この代表点に各領域の光強度の積分値からなる点光源が存在するものと仮定する。したがって、以降においては、領域Ｏ１１乃至Ｏ１３、Ｏ２１乃至Ｏ２３、およびＯ３１乃至Ｏ３３の点光源の光強度を、光強度Ｏ１１乃至Ｏ１３、Ｏ２１乃至Ｏ２３、およびＯ３１乃至Ｏ３３とも称する。さらに、これらは、単に領域Ｏｉｊまたは光強度Ｏｉｊ（いずれもｉ，ｊ＝１，２，３）とも称する。
　また、指向性撮像素子１２１は、図１８の下段で示されるように、３画素×３画素の合計９画素からなり、画素毎に異なる遮光膜１２１ｂが設けられるものとし、各画素をそれぞれ画素Ｐ１１乃至Ｐ１３、Ｐ２１乃至Ｐ２３、およびＰ３１乃至Ｐ３３と称するものとし、それぞれの画素の検出信号レベルについても、画素Ｐ１１乃至Ｐ１３、Ｐ２１乃至Ｐ２３、およびＰ３１乃至Ｐ３３と称するものとする。さらに、これらは、単に画素Ｐｉｊ（ｉ，ｊ＝１，２，３）とも称する。
　尚、図１８，図２０乃至図３２の記載においては、遮光膜１２１ｂは、画素Ｐｉｊ（ｉ，ｊ＝１，２，３）のそれぞれのグレーで示された範囲とし、遮光膜１２１ｂの符号を省略して表記する。
　また、指向性撮像素子１２１に入射する光は、例えば、図１９で示されるように、無限遠に位置する点光源Ｇ１乃至Ｇ３をそれぞれ仮定した場合、図中の下部の指向性撮像素子１２１の受光面に対して垂直方向からみると各点光源Ｇ１乃至Ｇ３からの入射光は平行光となり、同一の点光源から出射した光は、指向性撮像素子１２１のどの位置の画素でも同一の入射角度で入射したものとみなすことができる。したがって、例えば、点光源Ｇ２からの光は、指向性撮像素子１２１のどの位置の画素でも入射角度が０ｄｅｇとなる。
　＜被写体面の各領域に対する指向性撮像素子の各画素における入射角度＞
　また、被写体面３１における各領域Ｏｉｊに対する指向性撮像素子１２１への入射角度（θｘ、θｙ）は、指向性撮像素子１２１の画素Ｐｉｊの位置に依らず図２０で定義されるものとする。
　すなわち、領域Ｏ１１は、（θｘ、θｙ）＝（－５ｄｅｇ、＋５ｄｅｇ）、領域Ｏ１２は、（θｘ、θｙ）＝（－５ｄｅｇ、０ｄｅｇ）、領域Ｏ１３は、（θｘ、θｙ）＝（－５ｄｅｇ、－５ｄｅｇ）となる。同様に、領域Ｏ２１は、（θｘ、θｙ）＝（０ｄｅｇ、＋５ｄｅｇ）、領域Ｏ２２は、（θｘ、θｙ）＝（０ｄｅｇ、０ｄｅｇ）、領域Ｏ２３は、（θｘ、θｙ）＝（０ｄｅｇ、－５ｄｅｇ）となる。また、領域Ｏ３１は、（θｘ、θｙ）＝（＋５ｄｅｇ、＋５ｄｅｇ）、領域Ｏ３２は、（θｘ、θｙ）＝（＋５ｄｅｇ、０ｄｅｇ）、領域Ｏ３３は、（θｘ、θｙ）＝（＋５ｄｅｇ、－５ｄｅｇ）となる。
　＜垂直方向の受光感度特性＞
　図２１で示されるように、画素Ｐ１１，Ｐ２１，Ｐ３１の３画素、画素Ｐ１２，Ｐ２２，Ｐ３２の３画素、および、画素Ｐ１３，Ｐ２３，Ｐ３３の３画素は、遮光膜１２１ｂの紙面上の垂直方向の高さが統一されている。
　より具体的には、画素Ｐ１１，Ｐ２１，Ｐ３１の３画素は、いずれも各画素の上端からの高さＡ１の領域が遮光膜１２１ｂにより遮光された領域にされており、残りの高さＡ２の領域が遮光されていない領域とされている。
　また、画素Ｐ１２，Ｐ２２，Ｐ３２の３画素は、いずれも各画素の上端からの高さＡ１１の領域が遮光されていない領域にされており、残りの高さＡ１２の領域が遮光膜１２１ｂにより遮光された領域にされている。
　さらに、画素Ｐ１３，Ｐ２３，Ｐ３３の３画素は、いずれも各画素の上端からの高さＡ２１の領域が遮光されていない領域にされており、残りの高さＡ２２の領域が遮光膜１２１ｂにより遮光された領域にされている。
　このため、画素Ｐ１１，Ｐ２１，Ｐ３１の３画素、画素Ｐ１２，Ｐ２２，Ｐ３２の３画素、および、画素Ｐ１３，Ｐ２３，Ｐ３３の３画素は、垂直方向の受光感度特性はそれぞれ統一される。
　すなわち、画素Ｐ１１，Ｐ２１，Ｐ３１の３画素については、図２１の右上部で示されるように、垂直方向の入射角度θｙが－６ｄｅｇより小さい場合、重みＷｙが０であり、入射角度θｙが、－６ｄｅｇ乃至－４ｄｅｇである場合、重みＷｙが、（θｙ＋６）／２であり、入射角度θｙが、－４ｄｅｇより大きい場合、重みＷｙが、１に設定される。
　また、画素Ｐ１２，Ｐ２２，Ｐ３２の３画素については、図２１の右中部で示されるように、垂直方向の入射角度θｙが－１ｄｅｇより小さい場合、重みＷｙが１であり、入射角度θｙが、－１ｄｅｇ乃至＋１ｄｅｇである場合、重みＷｙが、（θｙ－１）／２であり、入射角度θｙが、＋１ｄｅｇより大きい場合、重みＷｙが、０に設定される。
　さらに、画素Ｐ１３，Ｐ２３，Ｐ３３の３画素については、図２１の右下部で示されるように、垂直方向の入射角度θｙが＋３ｄｅｇより小さい場合、重みＷｙが１であり、入射角度θｙが、＋３ｄｅｇ乃至＋５ｄｅｇである場合、重みＷｙが、（－（θｙ－５）／２）であり、入射角度θｙが、＋５ｄｅｇより大きい場合、重みＷｙが、０に設定される。
　＜水平方向の受光感度特性＞
　また、図２２で示されるように、画素Ｐ１１乃至Ｐ１３の３画素、画素Ｐ２１乃至Ｐ２３の３画素、および、画素Ｐ３１乃至Ｐ３３の３画素は、遮光膜１２１ｂの水平方向の幅が統一されている。
　より具体的には、画素Ｐ１１乃至Ｐ１３の３画素は、いずれも各画素の左端からの幅Ｂ１の領域が遮光膜１２１ｂにより遮光された領域にされており、残りの幅Ｂ２の領域が遮光されていない領域とされている。
　また、画素Ｐ２１乃至Ｐ２３の３画素は、いずれも各画素の左端からの幅Ｂ１１の領域が遮光されていない領域にされており、残りの幅Ｂ１２の領域が遮光膜１２１ｂにより遮光されている領域とされている。
　さらに、画素Ｐ３１乃至Ｐ３３の３画素は、いずれも各画素の左端からの幅Ｂ２１の領域が遮光されていない領域にされており、残りの幅Ｂ２２の領域が遮光膜１２１ｂにより遮光されている領域とされている。
　このため、画素Ｐ１１乃至Ｐ１３の３画素、画素Ｐ２１乃至Ｐ２３の３画素、および、画素Ｐ３１乃至Ｐ３３の３画素は、水平方向の受光感度特性がそれぞれ統一される。
　すなわち、画素Ｐ１１乃至Ｐ１３の３画素については、図２２の左下部で示されるように、水平方向の入射角度θｘが４ｄｅｇより小さい場合、重みＷｘが１であり、入射角度θｘが、４ｄｅｇ乃至６ｄｅｇである場合、重みＷｘが、（－（θｘ－６）／２）であり、入射角度θｘが、６ｄｅｇより大きい場合、重みＷｘが、０に設定される。
　また、画素Ｐ２１乃至Ｐ２３の３画素については、図２２の中央下部で示されるように、水平方向の入射角度θｘが－１ｄｅｇより小さい場合、重みＷｘが０であり、入射角度θｘが、－１ｄｅｇ乃至＋１ｄｅｇである場合、重みＷｘが、（θｘ＋１）／２であり、入射角度θｘが、＋１ｄｅｇより大きい場合、重みＷｘが、１に設定される。
　さらに、画素Ｐ３１乃至Ｐ３３の３画素については、図２２の右下部で示されるように、水平方向の入射角度θｘが－５ｄｅｇより小さい場合、重みＷｘが０であり、入射角度θｘが、－５ｄｅｇ乃至－３ｄｅｇである場合、重みＷｘが、（θｘ＋５）／２であり、入射角度θｘが、－３ｄｅｇより大きい場合、重みＷｘが、１に設定される。
　この結果、指向性撮像素子１２１における画素Ｐ１１乃至Ｐ１３、Ｐ２１乃至Ｐ２３、Ｐ３１乃至Ｐ３３の検出信号レベルを画素Ｐｉｊ（ｉ，ｊ＝１，２，３）で表現すると以下の式（４）で表現される。
　Ｐｉｊ＝Σ（Ｗｘ（θｘｊ）×Ｗｙ（θｙｉ）×Ｏｉｊ）
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（４）
　ここで、Ｗｘ（θｘｊ）は、指向性撮像素子１２１における水平方向にｊ画素目の入射角度θｘに対する水平方向の重みであり、Ｗｙ（θｙｉ）は、指向性撮像素子１２１における垂直方向にｉ画素目の入射角度θｙに対する垂直方向の重みであり、Ｏｉｊは、被写体面３１における各領域の代表点からなる点光源の光強度である。
　すなわち、図２１，図２２の関係から、入射角度θｘ，θｙを－５，０，＋５ｄｅｇに限定すると、重みＷｘ，Ｗｙは、各画素Ｐｉｊに対して、図２３で示されるような値をとることになる。
　すなわち、画素Ｐ１１，Ｐ２１，Ｐ３１（画素Ｐｉｊ（ｊ＝１））において、垂直方向の入射角度θｙが＋５ｄｅｇの場合、重みＷｙは１であり、垂直方向の入射角度θｙが０ｄｅｇの場合、重みＷｙは１であり、垂直方向の入射角度θｙが－５ｄｅｇの場合、重みＷｙは０．５である。
　画素Ｐ１２，Ｐ２２，Ｐ３２（画素Ｐｉｊ（ｊ＝２））において、垂直方向の入射角度θｙが＋５ｄｅｇの場合、重みＷｙは０であり、垂直方向の入射角度θｙが０ｄｅｇの場合、重みＷｙは０．５であり、垂直方向の入射角度θｙが－５ｄｅｇの場合、重みＷｙは１である。
　画素Ｐ１３，Ｐ２３，Ｐ３３（画素Ｐｉｊ（ｊ＝３））において、垂直方向の入射角度θｙが＋５ｄｅｇの場合、重みＷｙは０であり、垂直方向の入射角度θｙが０ｄｅｇの場合、重みＷｙは１であり、垂直方向の入射角度θｙが－５ｄｅｇの場合、重みＷｙは１である。
　画素Ｐ１１乃至Ｐ１３（画素Ｐｉｊ（ｉ＝１））において、水平方向の入射角度θｘが＋５ｄｅｇの場合、重みＷｘは０．５であり、水平方向の入射角度θｘが０ｄｅｇの場合、重みＷｘは１であり、水平方向の入射角度θｘが－５ｄｅｇの場合、重みＷｘは１である。
　画素Ｐ２１乃至Ｐ２３（画素Ｐｉｊ（ｉ＝２））において、水平方向の入射角度θｘが＋５ｄｅｇの場合、重みＷｘは１であり、水平方向の入射角度θｘが０ｄｅｇの場合、重みＷｘは０．５であり、水平方向の入射角度θｘが－５ｄｅｇの場合、重みＷｘは０である。
　画素Ｐ３１乃至Ｐ３３（画素Ｐｉｊ（ｉ＝３））において、水平方向の入射角度θｘが＋５ｄｅｇの場合、重みＷｘは１であり、水平方向の入射角度θｘが０ｄｅｇの場合、重みＷｘは１であり、水平方向の入射角度θｘが－５ｄｅｇの場合、重みＷｘは０である。
　以上の条件に基づいて、各領域Ｏｉｊにおける代表点からの入射光が、指向性撮像素子１２１の各画素Ｐｉｊにどのような検出信号レベルの信号として受光されるかを説明する。
　（領域Ｏ１１）
　領域Ｏ１１における代表点となる点光源からの入射光は、全ての画素Ｐｉｊに対して水平方向の入射角度θｘ＝－５ｄｅｇで、かつ、垂直方向の入射角度θｙ＝＋５ｄｅｇで入射する。
　このため、図２４で示されるように、画素Ｐ１１においては、水平方向の重みＷｘが１とされ、垂直方向の重みＷｙが１とされるので、Ｗｘ×Ｗｙが１とされる。
　尚、図２４乃至図３２において、選択された重みＷｘ，Ｗｙには、枠が付されており、画素Ｐｉｊ内には、それぞれに選択された水平方向の重みＷｘと、垂直方向の重みＷｙとの乗算結果が表記されている。
　同様に、画素Ｐ１２においては、水平方向の重みＷｘが１とされ、垂直方向の重みＷｙが０とされるので、Ｗｘ×Ｗｙが０とされる。画素Ｐ１３においては、水平方向の重みＷｘが１とされ、垂直方向の重みＷｙが０とされるので、Ｗｘ×Ｗｙが０とされる。
　画素Ｐ２１においては、水平方向の重みＷｘが０とされ、垂直方向の重みＷｙが１とされるので、Ｗｘ×Ｗｙが０とされる。画素Ｐ２２においては、水平方向の重みＷｘが０とされ、垂直方向の重みＷｙが０とされるので、Ｗｘ×Ｗｙが０とされる。画素Ｐ２３においては、水平方向の重みＷｘが０とされ、垂直方向の重みＷｙが０とされるので、Ｗｘ×Ｗｙが０とされる。
　画素Ｐ３１においては、水平方向の重みＷｘが０とされ、垂直方向の重みＷｙが１とされるので、Ｗｘ×Ｗｙが０とされる。画素Ｐ３２においては、水平方向の重みＷｘが０とされ、垂直方向の重みＷｙが０とされるので、Ｗｘ×Ｗｙが０とされる。画素Ｐ３３においては、水平方向の重みＷｘが０とされ、垂直方向の重みＷｙが０とされるので、Ｗｘ×Ｗｙが０とされる。
　（領域Ｏ２１）
　領域Ｏ２１における代表点となる点光源からの入射光は、全ての画素Ｐｉｊに対して水平方向の入射角度θｘ＝０ｄｅｇで、かつ、垂直方向の入射角度θｙ＝＋５ｄｅｇで入射する。
　このため、図２５で示されるように、画素Ｐ１１においては、重みＷｘ＝１、重みＷｙが１とされ、Ｗｘ×Ｗｙ＝１とされる。画素Ｐ１２においては、重みＷｘ＝１、垂直方向の重みＷｙ＝０とされ、Ｗｘ×Ｗｙ＝０とされる。画素Ｐ１３においては、重みＷｘ＝１、重みＷｙ＝０とされるので、Ｗｘ×Ｗｙ＝０とされる。
　画素Ｐ２１においては、重みＷｘ＝０．５、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝０．５とされる。画素Ｐ２２においては、重みＷｘ＝０．５、重みＷｙ＝０とされ、Ｗｘ×Ｗｙ＝０とされる。画素Ｐ２３においては、重みＷｘ＝０．５、重みＷｙ＝０とされ、Ｗｘ×Ｗｙ＝０とされる。
　画素Ｐ３１においては、重みＷｘ＝１、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝１とされる。画素Ｐ３２においては、重みＷｘ＝１とされ、重みＷｙ＝０とされ、Ｗｘ×Ｗｙ＝０とされる。画素Ｐ３３においては、重みＷｘ＝１、重みＷｙ＝０とされ、Ｗｘ×Ｗｙ＝０とされる。
　（領域Ｏ３１）
　領域Ｏ３１における代表点となる点光源からの入射光は、全ての画素Ｐｉｊに対して水平方向の入射角度θｘ＝＋５ｄｅｇで、かつ、垂直方向の入射角度θｙ＝＋５ｄｅｇで入射する。
　このため、図２６で示されるように、画素Ｐ１１においては、重みＷｘ＝０．５、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝０．５とされる。画素Ｐ１２においては、重みＷｘ＝０．５、重みＷｙ＝０とされ、Ｗｘ×Ｗｙ＝０とされる。画素Ｐ１３においては、重みＷｘ＝０．５、重みＷｙ＝０とされ、Ｗｘ×Ｗｙ＝０とされる。
　画素Ｐ２１においては、重みＷｘ＝１、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝１とされる。画素Ｐ２２においては、重みＷｘ＝１、重みＷｙ＝０とされ、Ｗｘ×Ｗｙ＝０とされる。画素Ｐ２３においては、重みＷｘ＝１、重みＷｙ＝０とされ、Ｗｘ×Ｗｙ＝０とされる。
　画素Ｐ３１においては、重みＷｘ＝１、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝１とされる。画素Ｐ３２においては、重みＷｘ＝１、重みＷｙ＝０とされ、Ｗｘ×Ｗｙ＝０とされる。画素Ｐ３３においては、重みＷｘ＝１、重みＷｙ＝０とされ、Ｗｘ×Ｗｙ＝０とされる。
　（領域Ｏ１２）
　領域Ｏ１２における代表点となる点光源からの入射光は、全ての画素Ｐｉｊに対して水平方向の入射角度θｘ＝－５ｄｅｇで、かつ、垂直方向の入射角度θｙ＝０ｄｅｇで入射する。
　このため、図２７で示されるように、画素Ｐ１１においては、重みＷｘ＝１、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝１とされる。画素Ｐ１２においては、重みＷｘ＝１、重みＷｙ＝０．５とされ、Ｗｘ×Ｗｙ＝０．５とされる。画素Ｐ１３においては、重みＷｘ＝１、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝１とされる。
　画素Ｐ２１においては、重みＷｘ＝０、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝０とされる。画素Ｐ２２においては、重みＷｘ＝０、重みＷｙ＝０．５とされ、Ｗｘ×Ｗｙ＝０とされる。画素Ｐ２３においては、重みＷｘ＝０、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝０とされる。
　画素Ｐ３１においては、重みＷｘ＝０、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝０とされる。画素Ｐ３２においては、重みＷｘ＝０、重みＷｙ＝０．５とされ、Ｗｘ×Ｗｙ＝０とされる。画素Ｐ３３においては、重みＷｘ＝０、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝０とされる。
　（領域Ｏ２２）
　領域Ｏ２２における代表点となる点光源からの入射光は、全ての画素Ｐｉｊに対して水平方向の入射角度θｘ＝０ｄｅｇで、かつ、垂直方向の入射角度θｙ＝０ｄｅｇで入射する。
　このため、図２８で示されるように、画素Ｐ１１においては、重みＷｘ＝１、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝１とされる。画素Ｐ１２においては、重みＷｘ＝１、重みＷｙ＝０．５とされ、Ｗｘ×Ｗｙ＝０．５とされる。画素Ｐ１３においては、重みＷｘ＝１、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝１とされる。
　画素Ｐ２１においては、重みＷｘ＝０．５、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝０．５とされる。画素Ｐ２２においては、重みＷｘ＝０．５、重みＷｙ＝０．５とされ、Ｗｘ×Ｗｙ＝０．２５とされる。画素Ｐ２３においては、重みＷｘ＝０．５、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝０．５とされる。
　画素Ｐ３１においては、重みＷｘ＝１、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝１とされる。画素Ｐ３２においては、重みＷｘ＝１、重みＷｙ＝０．５とされ、Ｗｘ×Ｗｙ＝０．５とされる。画素Ｐ３３においては、重みＷｘ＝１、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝１とされる。
　（領域Ｏ３２）
　領域Ｏ３２における代表点となる点光源からの入射光は、全ての画素Ｐｉｊに対して水平方向の入射角度θｘ＝＋５ｄｅｇで、かつ、垂直方向の入射角度θｙ＝０ｄｅｇで入射する。
　このため、図２９で示されるように、画素Ｐ１１においては、重みＷｘ＝０．５、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝０．５とされる。画素Ｐ１２においては、重みＷｘ＝０．５、重みＷｙ＝０．５とされ、Ｗｘ×Ｗｙ＝０．２５とされる。画素Ｐ１３においては、重みＷｘ＝０．５、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝０．５とされる。
　画素Ｐ２１においては、重みＷｘ＝１、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝１とされる。画素Ｐ２２においては、重みＷｘ＝１、重みＷｙ＝０．５とされ、Ｗｘ×Ｗｙ＝０．５とされる。画素Ｐ２３においては、重みＷｘ＝１、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝１とされる。
　画素Ｐ３１においては、重みＷｘ＝１、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝１とされる。画素Ｐ３２においては、重みＷｘ＝１、重みＷｙ＝０．５とされ、Ｗｘ×Ｗｙ＝０．５とされる。画素Ｐ３３においては、重みＷｘ＝１、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝１とされる。
　（領域Ｏ１３）
　領域Ｏ１３における代表点となる点光源からの入射光は、全ての画素Ｐｉｊに対して水平方向の入射角度θｘ＝－５ｄｅｇで、かつ、垂直方向の入射角度θｙ＝－５ｄｅｇで入射する。
　このため、図３０で示されるように、画素Ｐ１１においては、重みＷｘ＝１、重みＷｙ＝０．５とされ、Ｗｘ×Ｗｙ＝０．５とされる。画素Ｐ１２においては、重みＷｘ＝１、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝１とされる。画素Ｐ１３においては、重みＷｘ＝１、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝１とされる。
　画素Ｐ２１においては、重みＷｘ＝０、重みＷｙ＝０．５とされ、Ｗｘ×Ｗｙ＝０．５とされる。画素Ｐ２２においては、重みＷｘ＝０、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝１とされる。画素Ｐ２３においては、重みＷｘ＝０、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝１とされる。
　画素Ｐ３１においては、重みＷｘ＝０、重みＷｙ＝０．５とされ、Ｗｘ×Ｗｙ＝０とされる。画素Ｐ３２においては、重みＷｘ＝０、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝０とされる。画素Ｐ３３においては、重みＷｘ＝０、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝０とされる。
　（領域Ｏ２３）
　領域Ｏ２３における代表点となる点光源からの入射光は、全ての画素Ｐｉｊに対して水平方向の入射角度θｘ＝０ｄｅｇで、かつ、垂直方向の入射角度θｙ＝－５ｄｅｇで入射する。
　このため、図３１で示されるように、画素Ｐ１１においては、重みＷｘ＝１、重みＷｙ＝０．５とされ、Ｗｘ×Ｗｙ＝０．５とされる。画素Ｐ１２においては、重みＷｘ＝１、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝１とされる。画素Ｐ１３においては、重みＷｘ＝１、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝１とされる。
　画素Ｐ２１においては、重みＷｘ＝０．５、重みＷｙ＝０．５とされ、Ｗｘ×Ｗｙ＝０．２５とされる。画素Ｐ２２においては、重みＷｘ＝０．５、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝０．５とされる。画素Ｐ２３においては、重みＷｘ＝０．５、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝０．５とされる。
　画素Ｐ３１においては、重みＷｘ＝１、重みＷｙ＝０．５とされ、Ｗｘ×Ｗｙ＝０．５とされる。画素Ｐ３２においては、重みＷｘ＝１、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝１とされる。画素Ｐ３３においては、重みＷｘ＝１、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝１とされる。
　（領域Ｏ３３）
　領域Ｏ３３における代表点となる点光源からの入射光は、全ての画素Ｐｉｊに対して水平方向の入射角度θｘ＝＋５ｄｅｇで、かつ、垂直方向の入射角度θｙ＝－５ｄｅｇで入射する。
　このため、図３２で示されるように、画素Ｐ１１においては、重みＷｘ＝０．５、重みＷｙ＝０．５とされ、Ｗｘ×Ｗｙ＝０．２５とされる。画素Ｐ１２においては、重みＷｘ＝０．５、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝０．５とされる。画素Ｐ１３においては、重みＷｘ＝０．５、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝０．５とされる。
　画素Ｐ２１においては、重みＷｘ＝１、重みＷｙ＝０．５とされ、Ｗｘ×Ｗｙ＝０．５とされる。画素Ｐ２２においては、重みＷｘ＝１、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝１とされる。画素Ｐ２３においては、重みＷｘ＝１、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝１とされる。
　画素Ｐ３１においては、重みＷｘ＝１、重みＷｙ＝０．５とされ、Ｗｘ×Ｗｙ＝０．５とされる。画素Ｐ３２においては、重みＷｘ＝１、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝１とされる。画素Ｐ３３においては、重みＷｘ＝１、重みＷｙ＝１とされ、Ｗｘ×Ｗｙ＝１とされる。
　以上の処理結果に基づいて、信号処理部１２２は、指向性撮像素子１２１の検出信号レベルとなる画素Ｐｉｊを、以上の被写体面３１上の各領域Ｏｉｊの代表点を点光源とした光強度と重みとの積和として求める。
　すなわち、この積和が、以下の式（５）乃至式（１３）で表される９個の連立方程式となる。
　Ｐ１１＝１×Ｏ１１＋１×Ｏ２１＋０．５×Ｏ３１＋１×Ｏ１２＋１×Ｏ２２＋０．５×Ｏ３２＋０．５×Ｏ１３＋０．５×Ｏ２３＋０．２５×Ｏ３３
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（５）
　Ｐ１２＝０×Ｏ１１＋０×Ｏ２１＋０×Ｏ３１＋０．５×Ｏ１２＋０．５×Ｏ２２＋０．２５×Ｏ３２＋１×Ｏ１３＋１×Ｏ２３＋０．５×Ｏ３３
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（６）
　Ｐ１３＝０×Ｏ１１＋０×Ｏ２１＋０×Ｏ３１＋１×Ｏ１２＋１×Ｏ２２＋０．５×Ｏ３２＋１×Ｏ１３＋１×Ｏ２３＋０．５×Ｏ３３
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（７）
　Ｐ２１＝０×Ｏ１１＋０．５×Ｏ２１＋１×Ｏ３１＋０×Ｏ１２＋０．５×Ｏ２２＋１×Ｏ３２＋０×Ｏ１３＋０．２５×Ｏ２３＋０．５×Ｏ３３
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（８）
　Ｐ２２＝０×Ｏ１１＋０×Ｏ２１＋０×Ｏ３１＋０×Ｏ１２＋０．２５×Ｏ２２＋０．５×Ｏ３２＋０×Ｏ１３＋０．５×Ｏ２３＋１×Ｏ３３
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（９）
　Ｐ２３＝０×Ｏ１１＋０×Ｏ２１＋０×Ｏ３１＋０×Ｏ１２＋０．５×Ｏ２２＋１×Ｏ３２＋０×Ｏ１３＋０．５×Ｏ２３＋１×Ｏ３３
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（１０）
　Ｐ３１＝０×Ｏ１１＋１×Ｏ２１＋１×Ｏ３１＋０×Ｏ１２＋１×Ｏ２２＋１×Ｏ３２＋０×Ｏ１３＋０．５×Ｏ２３＋０．５×Ｏ３３
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（１１）
　Ｐ３２＝０×Ｏ１１＋０×Ｏ２１＋０×Ｏ３１＋０×Ｏ１２＋０．５×Ｏ２２＋０．５×Ｏ３２＋０×Ｏ１３＋１×Ｏ２３＋１×Ｏ３３
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（１２）
　Ｐ３３＝０×Ｏ１１＋０×Ｏ２１＋０×Ｏ３１＋０×Ｏ１２＋１×Ｏ２２＋１×Ｏ３２＋０×Ｏ１３＋１×Ｏ２３＋１×Ｏ３３
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（１３）
　ここで、画素Ｐｉｊで表される値は、指向性撮像素子１２１により撮像される、ユーザが目視しても画像として認識できない検出画像を構成する検出信号の信号レベルとなる。
　信号処理部１２２は、例えば、上述の９個の連立方程式を用いて、被写体面３１上の各領域の輝度（光強度）Ｏｉｊを求めることにより、被写体面３１に対応する復元画像を復元する。
　尚、上述した画素Ｐｉｊのそれぞれについて求められる水平方向の重みＷｘおよび垂直方向の重みＷｙを乗じた値が、係数セットである。より詳細には、係数セットは、それぞれ被写体面３１における、上述した式（１）乃至式（３）の係数α１，β１，γ１，α２，β２，γ２，α３，β３，γ３そのものである。また、水平方向の重みＷｘおよび垂直方向の重みＷｙは、被写体面３１の違いに応じて異なるものであり、被写体面を特定するための復元画像の距離や画角に応じて係数セットを切り替えることで、所望の被写体面の復元画像を復元することが可能となる。ただし、連立方程式の独立性を確保できるように入射角指向性を設定する必要がある。尚、ここでいう連立方程式の独立性を確保するとは、例えば、係数セット（αｓ，βｓ，γｓ）と、係数セット（αｔ，βｔ，γｔ）とを考えたときの相互の線形性の独立性を確保することであり、ベクトル（αｓ，βｓ，γｓ）とベクトル（αｔ，βｔ，γｔ）とが相互に係数倍にならないようにすることである。
　＜被写体面と指向性撮像素子との距離の関係＞
　次に、図３３を参照して、被写体面と指向性撮像素子１２１との距離の関係について説明する。
　図３３の上段左部で示されるように、指向性撮像素子１２１（図５の撮像素子５１と同様）と被写体面３１までの被写体距離が距離ｄ１である場合、例えば、図５の上段で示される被写体面３１上の点光源ＰＡ，ＰＢ，ＰＣを設定するとき、対応する指向性撮像素子１２１上の位置Ｐａ，Ｐｂ，Ｐｃにおける検出信号レベルＤＡ，ＤＢ，ＤＣが、上述した式（１）乃至式（３）と同一の式で表現できるものとする。
　ＤＡ＝α１×ａ＋β１×ｂ＋γ１×ｃ
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（１）
　ＤＢ＝α２×ａ＋β２×ｂ＋γ２×ｃ
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（２）
　ＤＣ＝α３×ａ＋β３×ｂ＋γ３×ｃ
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（３）
　これに対して、図３３の下段左部で示されるように、指向性撮像素子１２１（図５の撮像素子５１と同様）との被写体距離が距離ｄ１よりもｄだけ大きな距離ｄ２である被写体面３１’である場合、すなわち、指向性撮像素子１２１から見て、被写体面３１よりも奥の被写体面３１’の場合、検出信号レベルは、図３３の上段中央部、および下段中央部で示されるように、検出信号レベルＤＡ，ＤＢ，ＤＣいずれも同様である。
　しかしながら、この場合被写体面３１’上の点光源ＰＡ’，ＰＢ’，ＰＣ’からの光強度ａ’，ｂ’，ｃ’の光線が指向性撮像素子１２１の各画素において受光される。この際、指向性撮像素子１２１上で受光される、光強度ａ’，ｂ’，ｃ’の光線の入射角度は異なる（変化する）ので、それぞれ異なる係数セットが必要となり、各位置Ｐａ，Ｐｂ，Ｐｃにおける検出信号レベルＤＡ，ＤＢ，ＤＣは、例えば、以下の式（１４）乃至式（１６）で示されるように表現されることになる。
　ＤＡ＝α１１×ａ’＋β１１×ｂ’＋γ１１×ｃ’
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（１４）
　ＤＢ＝α１２×ａ’＋β１２×ｂ’＋γ１２×ｃ’
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（１５）
　ＤＣ＝α１３×ａ’＋β１３×ｂ’＋γ１３×ｃ’
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（１６）
　ここで、係数セットα１１，β１１，γ１１，係数セットα１２，β１２，γ１２，係数セットα１３，β１３，γ１３からなる係数セット群は、それぞれ被写体面３１における係数セットα１，β１，γ１，係数セットα２，β２，γ２，係数セットα３，β３，γ３に対応する被写体面３１’の係数セット群である。
　従って、式（１４）乃至式（１６）を、予め設定された係数セット群α１１，β１１，γ１１，α１２，β１２，γ１２，α１３，β１３，γ１３を用いて解くことで、図３３の上段右部で示される被写体面３１における場合の点光源ＰＡ，ＰＢ，ＰＣにおける光線の光強度ａ，ｂ，ｃを求めた手法と同様の手法で、図３３の下段右部で示されるように、点光源ＰＡ’，ＰＢ’，ＰＣ’からの光線の光強度ａ’，ｂ’，ｃ’として求めることが可能となり、結果として、被写体面３１’の被写体の復元画像を求めることが可能となる。
　すなわち、図６の撮像装置１０１においては、指向性撮像素子１２１からの被写体面までの距離毎の係数セット群を予め記憶しておき、係数セット群を切り替えて連立方程式を構成し、構成した連立方程式を解くことで、１個の検出画像に基づいて、様々な被写体距離の被写体面の復元画像を得ることが可能となる。
　つまり、検出画像を１回撮像するだけで、その後の処理で、被写体面までの距離に応じて係数セット群を切り替えて、復元画像を求めるようにすることで、任意の距離の復元画像を生成することも可能である。
　また、復原画像を得てから復元画像を基に画像認識などを行わなくとも、撮像素子の検出信号に対してディープラーニングなどの機械学習を適用し、検出信号自体を用いて画像認識などを行うことも可能である。
　また、被写体距離や画角が特定できるような場合については、全ての画素を用いずに、特定された被写体距離や画角に対応した被写体面の撮像に適した入射角指向性を有する画素の検出信号からなる検出画像を用いて、復元画像を生成するようにしてもよい。このようにすることで、特定された被写体距離や画角に対応した被写体面の撮像に適した画素の検出信号を用いて復元画像を求めることができるので、特定された被写体距離や画角の復元画像を高い精度で求めることが可能となる。
　ここで、特定された被写体距離や画角に対応した被写体面の撮像に適した画素の検出信号を用いて復元画像を求めるようにすることで、復元画像を高い精度で求められる理由について説明する。
　例えば、図３４の上段で示されるように、４辺のそれぞれの端部から幅ｄ１だけ遮光膜１２１ｂにより遮光されている画素１２１ａと、図３４の下段で示されるように、４辺のそれぞれの端部から幅ｄ２（＞ｄ１）だけ遮光膜１２１ｂにより遮光されている画素１２１ａ’とを考える。
　画素１２１ａは、例えば、図３５の上段で示されるような、被写体となる人物Ｈ１０１の全体を含む画角ＳＱ１に対応する、図３４の画像Ｉ１を復元するために用いられる。これに対して、画素１２１ａ’は、人物Ｈ１０１の顔の周辺がズームアップされた画角ＳＱ２に対応する、図３４の画像Ｉ２を復元するために用いられる。
　これは、図３４の画素１２１ａが、図３６の左部で示されるように、指向性撮像素子１２１に対して入射光の入射可能角度範囲Ａ１となるため、被写体面３１上において、水平方向に被写体幅Ｗ１分の入射光を受光することができるからである。
　これに対して、図３４の画素１２１ａ’は、図３４の画素１２１ａよりも遮光される範囲が広いため、図３６の左部で示されるように、指向性撮像素子１２１に対して入射光の入射可能角度範囲Ａ２（＜Ａ１）となるため、被写体面３１上において、水平方向に被写体幅Ｗ２（＜Ｗ１）分の入射光を受光するからである。
　つまり、遮光範囲が狭い図３４の画素１２１ａは、被写体面３１上の広い範囲を撮像するのに適した広画角画素であるのに対して、遮光範囲が広い図３４の画素１２１ａ’は、被写体面３１上の狭い範囲を撮像するのに適した狭画角画素である。尚、ここでいう広画角画素および狭画角画素は、図３４の画素１２１ａ，１２１ａ’の両者を比較する表現であって、その他の画角の画素を比較する上ではこの限りではない。
　尚、図３６は、指向性撮像素子１２１の中心位置Ｃ１に対する、被写体面３１上の位置と、それぞれの位置からの入射光の入射角度との関係を示している。また、図３６においては、被写体面３１上の位置と、被写体面上のそれぞれの位置からの入射光の入射角度との水平方向に対する関係が示されているが、垂直方向についても同様の関係となる。さらに、図３６の右部には、図３４における画素１２１ａ，１２１ａ’が示されている。
　このような構成により、図３５の下段で示されるように、指向性撮像素子１２１における、点線で囲まれた範囲ＺＡに、図３４の画素１２１ａを、一点鎖線で囲まれた範囲ＺＢに画素１２１ａ’を、それぞれ所定画素数ずつ集めて構成する場合、被写体幅Ｗ１に対応する画角ＳＱ１の画像を復元するときには、画角ＳＱ１を撮像する図３４の画素１２１ａを用いるようにすることで、適切に被写体面３１の被写体幅Ｗ１の画像を復元することができる。
　同様に、被写体幅Ｗ２に対応する画角ＳＱ２の画像を復元するときには、画角ＳＱ２を撮像する図３４の画素１２１ａ’の検出信号を用いるようにすることで、適切に被写体幅Ｗ２の画像を復元することができる。
　尚、図３５の下段においては、図中の左側に画素１２１ａ’が所定画素数だけ設けられ、右側に画素１２１が所定画素数だけ設けられた構成として示されているが、これは説明を簡単にするための例として示されたものであり、画素１２１ａと画素１２１ａ’とは、ランダムに混在して配置されることが望ましい。
　このように、画角ＳＱ２は、画角ＳＱ１よりも画角が狭いので、画角ＳＱ２と画角ＳＱ１の画像を同一の所定画素数で復元する場合、画角ＳＱ１の画像よりも、より狭い画角となる画角ＳＱ２の画像を復元する方が、より高画質な復元画像を得ることができる。
　つまり、同一画素数を用いて復元画像を得ることを考えた場合、より画角の狭い画像を復元する方が、より高画質な復元画像を得ることができる。
　尚、画角の広い画像を復元画像として得る場合、広画角画素の全画素を用いるようにしてもよいし、広画角画素の一部を用いるようにしてもよい。また、画角の狭い画像を復元画像として得る場合、狭画角画素の全画素を用いるようにしてもよいし、狭画角画素の一部を用いるようにしてもよい。
　＜本開示の図６の撮像装置における撮像処理＞
　次に、図３７のフローチャートを参照して、図６の撮像装置１０１による撮像処理について説明する。尚、図３７のフローチャートにおけるステップＳ３４乃至Ｓ３８の処理は、図８のフローチャートを参照して説明したステップＳ１４乃至Ｓ１８の処理と同様であるので、その説明は適宜省略するものとする。
　すなわち、ステップＳ３１において、指向性撮像素子１２１は、画素出力単位で異なる入射角指向性を備えた画素出力単位毎に、受光される入射光の光量に応じた検出信号を得て、検出画像として信号処理部１２２に供給する。
　ステップＳ３２において、被写体距離決定部１２９は、操作部１３０よりの操作信号、または、オートフォーカス機能に基づいて決定された被写体距離を決定する。係数セット選択部１３１は、被写体距離に基づいて対応付けて記憶されている係数セット群を読み出して信号処理部１２２に供給する。ここで、読み出される係数セット群は、例えば、上述した式（１）乃至式（３）または式（１４）乃至式（１６）における係数α１乃至α３，β１乃至β３，γ１乃至γ３，α１１乃至α１３，β１１乃至β１３，γ１１乃至γ１３に相当する複数の係数からなる係数セット群である。
　ステップＳ３３において、信号処理部１２２は、検出画像における各画素出力単位の検出信号と、係数セット選択部１３１により選択される係数セット群とを用いて、復元画像の画素値を算出する。より詳細には、信号処理部１２２は、例えば、上述した式（１）乃至式（３）、または、式（１４）乃至式（１６）、および図１８乃至図３２を参照して説明した連立方程式を構成し、さらに、この連立方程式を解くことにより、復元画像を求め、デモザイク処理部１２３に出力する。
　以降においては、復元画像は、デモザイク処理部１２３によりデモザイク処理され、γ補正部１２４によりγ補正され、ホワイトバランス調整部１２５によりホワイトバランスが調整されて、画像出力部１２６により所定の圧縮形式に変換される。そして、必要に応じて、所定の圧縮形式に変換された復元画像が記憶部１２７に記憶される、表示部１２８に表示される、および被写体距離決定部１２９に出力される、または、そのいずれかをするようにしてもよい。
　尚、以上においては、指向性撮像素子１２１と被写体距離に対応付けられた係数セット群を用いて検出画像より復元画像を求める例について説明してきたが、図３４，３５で上述した様に、係数セット群は、被写体距離のみならず、画角に対応付けて設定したものを用意して、被写体距離および画角に応じた係数セット群を選択して検出画像より復元画像を求めるようにしても良い。尚、被写体距離および画角に対する分解能は、用意される係数セットの数によるものとなる。
　また、図３７のフローチャートを用いた処理の説明においては、検出画像に含まれる全ての画素出力単位の検出信号を用いる例について説明してきたが、指向性撮像素子１２１を構成する画素出力単位の検出信号のうち、特定された被写体距離および画角に対応する入射角指向性を備えた画素出力単位の検出信号からなる検出画像を構成し、これを用いて復元画像を求めるようにしても良い。このような処理により、求めようとする復元画像の被写体距離や画角に適した検出画像で復元画像を復元することが可能となるので、より高い精度で復元画像を復元することが可能となる。すなわち、特定された被写体距離および画角に対応する画像が、例えば、図３５における画角ＳＱ１に対応する画像である場合、画角ＳＱ１に対応する入射角指向性を備えた画素１２１ａを選択し、これらから得られる検出画像で復元画像を復元することにより、画角ＳＱ１の画像を高い精度で復元することが可能となる。
　以上の処理により、各画素に入射角指向性を持たせるようにした指向性撮像素子１２１を必須構成とした撮像装置１０１を実現することが可能となる。
　結果として、撮像レンズ、回折格子等からなる光学素子や、ピンホールなどが不要となるため、装置の設計の自由度を高めることが可能になると共に、撮像素子と別体で構成され、撮像装置として構成する段階で撮像素子と合わせて搭載されることが想定される光学素子が不要となるため、入射光の入射方向に対する装置の小型化を実現することが可能となり、製造コストを低減することが可能となる。また、フォーカスレンズなどのような、光学像を結像させるための撮像レンズに相当するレンズが不要となる。ただし、倍率を変化させるズームレンズは設けられていてもよい。
　また、検出画像を取得するのみで、その後において、被写体距離や画角に応じた係数セット群を選択的に用いて構成した連立方程式を解いて復元画像を求めることで、様々な被写体距離の復元画像を生成することが可能となる。
　例えば、撮像レンズと従来の撮像素子からなる撮像装置を用いた場合、様々な焦点距離や画角の画像を得るためには、焦点距離や画角を様々に変化させながら、撮像しておく必要がある。しかしながら、本開示の撮像装置１０１においては、係数セット群を切り替えて復元画像を復元させることができるので、焦点距離、すなわち、被写体距離や画角を様々に変化させながら繰り返し撮像するといった処理が不要になる。
　また、以上の処理においては、復元画像のみが記憶部１２７に記憶される例について説明してきたが、検出画像を記憶部１２７に記憶させるようにすることで、再生時に、被写体距離の異なる複数の係数セット群を用いて復元画像を生成させるようにしてもよく、このようにすることで、再生時に任意の被写体距離や任意の画角の被写体面における復元画像を生成することが可能となる。
　さらに、回折格子からなる光学フィルタと従来の撮像素子とからなる撮像装置などと比較して、画素単位で入射角指向性を持った指向性撮像素子１２１により撮像される検出画像を用いて復元画像を生成することができるので、多画素化を実現することができ、また、高解像度で、かつ、高角度分解能の画像を撮像することが可能となる。
　また、本開示の撮像装置１０１は、指向性撮像素子１２１が必須構成であり、例えば、回折格子からなる光学フィルタ等を必要としないので、使用環境が高温になって、光学フィルタが熱で歪むといったことがないため、環境耐性の高い撮像装置を実現することが可能となる。
　さらに、本開示の撮像装置１０１においては、回折格子や撮像レンズなどの光学素子を必要としないので、撮像する機能を備えた構成の設計の自由度を向上させることが可能となる。
　＜第１の変形例＞
　以上においては、図９で示されるように、指向性撮像素子１２１の各画素１２１ａにおける遮光膜１２１ｂの構成については、垂直方向に対しては全体を遮光し、かつ、水平方向に対しての遮光幅や位置を変化させる例について説明してきたが、当然のことながら、 水平方向に対して全体として遮光し、垂直方向の幅（高さ）や位置を変化させるようにして、各画素に入射角指向性を持たせるようにしてもよい。
　尚、以降においては、図９の右部で示される各画素１２１ａのように、垂直方向に対しては画素１２１ａ全体を遮光し、かつ、水平方向に対して所定の幅で画素１２１ａを遮光する遮光膜１２１ｂは、横帯タイプの遮光膜１２１ｂと称する。また、図９の右部で示される各画素１２１ａのそれぞれを自らの中心位置を軸として９０°回転させた場合のように、水平方向に対しては画素１２１ａ全体を遮光し、かつ、垂直方向に対して所定の高さで画素１２１ａを遮光する遮光膜１２１ｂは、縦帯タイプの遮光膜１２１ｂと称する。
　また、図３８の左部で示されるように、縦帯タイプと横帯タイプの遮光膜１２１ｂを組み合わせて、例えば、ベイヤ配列のそれぞれの画素に対して、Ｌ字型のような遮光膜１２１ｂを設けるようにしてもよい。尚、図３８においては、黒色の範囲が遮光膜１２１ｂを表しており、特に断りがない限り、以降の図面においても同様に表示する。
　各画素は、図３８の右部で示されるような入射角指向性を有することになる。すなわち、図３８の右部においては、各画素における受光感度が示されており、横軸が入射光の水平方向（ｘ方向）の入射角度θｘを表し、縦軸が入射光の垂直方向（ｙ方向）の入射角度θｙを表している。そして、範囲Ｃ４内の受光感度が、範囲Ｃ４の外よりも高く、範囲Ｃ３内の受光感度が、範囲Ｃ３の外よりも高く、範囲Ｃ２内の受光感度が、範囲Ｃ２の外よりも高く、範囲Ｃ１内の受光感度が、範囲Ｃ１の外よりも高い。
　従って、各画素について、範囲Ｃ１内となる、水平方向（ｘ方向）の入射角度θｘと、垂直方向（ｙ方向）の入射角度θｙとの条件を満たす入射光の検出信号レベルが最も高くなり、範囲Ｃ２内，範囲Ｃ３内，範囲Ｃ４内、および、範囲Ｃ４以外の範囲の条件の順に検出信号レベルが低くなることが示されている。尚、図３８の右部で示される受光感度は、ベイヤ配列とは無関係に、各画素１２１ａにおける遮光膜１２１ｂにより遮光される範囲により決定されるものである。
　また、図３８の左部においては、ベイヤ配列となるＧ画素の画素１２１ａ－２１，１２１ａ－２４、Ｒ画素の画素１２１ａ－２２、およびＢ画素の画素１２１ａ－２３のそれぞれに対して、Ｌ字型の遮光膜１２１ｂ－２１乃至１２１ｂ－２４が設けられていることが示されている。
　尚、以降においては、図３８で示されるＬ字型のような遮光膜１２１ｂ－２１乃至１２１ｂ－２４や、遮光膜１２１ｂ－２１乃至１２１ｂ－２４に対して、それぞれの画素１２１ａの中心に対して点対称に配置される形状となる遮光膜１２１ｂについては、Ｌ字タイプの遮光膜１２１ｂと総称するものとする。
　また、図３８を参照して説明した第１の変形例の指向性撮像素子１２１は、図９，図１０を参照して説明した、１個のフォトダイオード１２１ｅに対して遮光膜１２１ｂを用いて画素出力単位毎の入射角指向性を設定する指向性撮像素子１２１であるものとして説明してきた。しかしながら、第１の変形例の指向性撮像素子１２１は、図１１を参照して説明した指向性撮像素子１２１のように、画素出力単位を構成する、複数のフォトダイオード１２１ｆの分割数、および分割位置を変えることで、出力に寄与しない範囲を遮光された領域と同様に機能させて、入射角指向性を設定する指向性撮像素子１２１であってもよい。
　＜第２の変形例＞
　以上においては、横帯タイプ、縦帯タイプ、およびＬ字タイプの遮光膜について、遮光されている範囲がランダムに変化するように各画素に配置される例について説明してきたが、例えば、図３９の指向性撮像素子１２１’で示されるように、矩形開口を設けた場合に、個々の画素において光線が受光する位置の近傍の範囲以外を遮光する遮光膜１２１ｂを構成するようにしてもよい。
　すなわち、各画素について、矩形開口を設けた場合に、所定の被写体距離の被写体面を構成する点光源より出射される光線のうち、矩形開口を透過して受光される光線のみを受光するような入射角指向性を有するように遮光膜１２１ｂを設けるようにしてもよい。
　尚、図３９においては、例えば、水平方向の画素配列に対して、遮光膜１２１ｂの水平方向の幅が幅ｄｘ１，ｄｘ２，・・・ｄｘｎと変化しており、これが、ｄｘ１＜ｄｘ２＜・・・＜ｄｘｎの関係となる。同様に、垂直方向の画素配列に対して、遮光膜１２１ｂの垂直方向の高さが高さｄｙ１，ｄｙ２，・・・ｄｙｍと変化しており、これが、ｄｙ１＜ｄｙ２＜・・・＜ｄｘｍの関係となる。また、遮光膜１２１ｂの水平方向の幅、および垂直方向の幅の、それぞれの変化の間隔は、復元する被写体分解能（角度分解能）に依るものである。
　換言すれば、図３９の指向性撮像素子１２１’における各画素１２１ａの構成は、水平方向および垂直方向に対して指向性撮像素子１２１’内の画素配置に対応するように、遮光する範囲を変化させるような入射角指向性を持たせているといえる。
　より詳細には、図３９の各画素１２１ａの遮光範囲は、例えば、図４０の左部で示される画素１２１ａを用いて説明される規則に従って決定される。
　尚、図４０の右部は、図３９と同一の指向性撮像素子１２１’の構成を示している。また、図４０の左部は、図４０（図３９と同一）の右部における指向性撮像素子１２１’の画素１２１ａの構成を示している。
　図４０の左部で示されるように、画素１２１ａの上辺および下辺の端部から画素１２１ａ内に向かって、それぞれ幅ｄｘ１だけ遮光膜１２１ｂにより遮光し、左辺および右辺の端部から画素１２１ａ内に向かって、それぞれ高さｄｙ１だけ遮光膜１２１ｂにより遮光する。尚、図４０，図４１において、遮光膜１２１ｂは黒色で示された範囲である。
　図４０の左部において、遮光膜１２１ｂが、このように形成されることで遮光される範囲を、以降において、画素１２１ａの主遮光部Ｚ１０１（図４０左部の黒色部）と称し、それ以外の方形状の範囲を範囲Ｚ１０２と称する。
　画素１２１ａにおける、範囲Ｚ１０２内に、遮光膜１２１ｂにより遮光されない矩形開口部Ｚ１１１が設けられるものとする。したがって、範囲Ｚ１０２において、矩形開口部Ｚ１１１以外の範囲は、遮光膜１２１ｂにより遮光される。
　図３９の指向性撮像素子１２１’内の画素配列は、図４０の右部（図３９と同一）で示されるように、左端部で、かつ、上端部の画素１２１ａ－１は、矩形開口部Ｚ１１１を、その左辺が画素１２１ａの左辺から幅ｄｘ１であって、その上辺が画素１２１ａの上辺からｄｙ１の距離に配置する構成とする。
　同様に、画素１２１ａ－１の右隣の画素１２１ａ－２は、矩形開口部Ｚ１１１を、その左辺が画素１２１ａの左辺から幅ｄｘ２であって、その上辺が画素１２１ａの上辺から高さｄｙ１の距離に配置して、矩形開口部Ｚ１１１以外の範囲を遮光膜１２１ｂにより遮光する構成とする。
　以下同様に、水平方向に隣接する画素１２１ａは、配置が図中の右側に進むにしたがって、矩形開口部Ｚ１１１の右辺が、画素１２１ａの右辺から幅ｄｘ１，ｄｘ２・・・ｄｘｎと移動する。尚、図４０の範囲Ｚ１０２における右上部の点線の方形部分が、矩形開口部Ｚ１１１を、その左辺が画素１２１ａの左辺から幅ｄｘｎであって、その上辺が画素１２１ａの上辺から高さｄｙ１の距離に配置したときの状態を示している。また、幅ｄｘ１，ｄｘ２・・・ｄｘｎのそれぞれの間隔は、範囲Ｚ１０２の水平方向の幅から矩形開口部Ｚ１１１の幅を引いた幅を水平方向の画素数ｎで割った値となる。すなわち、水平方向の画素数ｎで割ることにより水平方向の変化の間隔が決定される。
　また、指向性撮像素子１２１’における画素１２１ａ内の矩形開口部Ｚ１１１の水平方向の位置は、指向性撮像素子１２１’内における水平方向の位置が同一の画素１２１ａ（同一の列の画素１２１ａ）内において同一になる。
　さらに、画素１２１ａ－１の直下に隣接する画素１２１ａ－３は、矩形開口部Ｚ１１１を、その左辺が画素１２１ａの左辺から幅ｄｘ１であって、その上辺が画素１２１ａの上辺から高さｄｙ２の距離に配置して、矩形開口部Ｚ１１１以外の範囲を遮光膜１２１ｂにより遮光する構成とする。
　以下同様に、垂直方向に隣接する画素１２１ａは、配置が図中の下側に進むにしたがって、矩形開口部Ｚ１１１の上辺が、画素１２１ａの上辺から高さｄｙ１，ｄｙ２・・・ｄｙｎと移動する。尚、図４０の範囲Ｚ１０２における左下部の点線の方形部分が、矩形開口部Ｚ１１１を、その左辺が画素１２１ａの左辺から幅ｄｘ１であって、その上辺が画素１２１ａの上辺から高さｄｙｍの距離に配置したときの状態を示している。また、高さｄｙ１，ｄｙ２・・・ｄｙｍのそれぞれの間隔は、範囲Ｚ１０２の垂直方向の高さから矩形開口部Ｚ１１１の高さを引いた高さを垂直方向の画素数ｍで割った値となる。すなわち、垂直方向の画素数ｍで割ることにより垂直方向の変化の間隔が決定される。
　また、指向性撮像素子１２１’における画素１２１ａ内の矩形開口部Ｚ１１１の垂直方向の位置は、指向性撮像素子１２１’内における垂直方向の位置が同一の画素１２１ａ（同一の行の画素１２１ａ）内において同一になる。
　＜画角の変化＞
　さらに、図４０（図３９）で示される指向性撮像素子１２１’を構成する各画素１２１ａの主遮光部Ｚ１０１、および矩形開口部Ｚ１１１を変化させることで、画角を変化させることができる。
　図４１の右部は、図４０（図３９）の指向性撮像素子１２１’に対して画角を広くする場合の指向性撮像素子１２１’の構成を示している。また、図４１の左部は、図４１の右部における指向性撮像素子１２１’の画素１２１ａの構成を示している。
　すなわち、図４１の左部で示されるように、例えば、画素１２１ａ内に、図４０における主遮光部Ｚ１０１よりも遮光範囲が狭い主遮光部Ｚ１５１（図４１左部の黒色部）を設定し、それ以外の範囲を範囲Ｚ１５２に設定する。さらに、範囲Ｚ１５２内に、矩形開口部Ｚ１１１よりも開口面積が広い矩形開口部Ｚ１６１を設定する。
　より詳細には、図４１の左部で示されるように、画素１２１ａの上辺および下辺の端部から画素１２１ａ内に向かって、それぞれ幅ｄｘ１’（＜ｄｘ１）だけ遮光膜１２１ｂにより遮光され、左辺および右辺の端部から画素１２１ａ内に向かって、それぞれ高さｄｙ１’（＜ｄｙ１）だけ遮光膜１２１ｂにより遮光されることで、矩形開口部Ｚ１６１が形成される。
　ここで、図４１の右部で示されるように、左端部で、かつ、上端部の画素１２１ａ－１は、矩形開口部Ｚ１６１を、その左辺が画素１２１ａの左辺から幅ｄｘ１’であって、その上辺が画素１２１ａの上辺から高さｄｙ１’の距離に配置して、矩形開口部Ｚ１６１以外の範囲を遮光膜１２１ｂにより遮光する構成とする。
　同様に、画素１２１ａ－１の右隣の画素１２１ａ－２は、矩形開口部Ｚ１６１を、その左辺が画素１２１ａの左辺から幅ｄｘ２’であって、その上辺が画素１２１ａの上辺から高さｄｙ１’に配置して、矩形開口部Ｚ１６１以外の範囲を遮光膜１２１ｂにより遮光する構成とする。
　以下同様に、水平方向に隣接する画素１２１ａは、配置が図中の右側に進むにしたがって、矩形開口部Ｚ１６１の右辺が、画素１２１ａの右辺から幅ｄｘ１’、ｄｘ２’・・・ｄｘｎ’と移動する。ここで、幅ｄｘ１’、ｄｘ２’・・・ｄｘｎ’のそれぞれの間隔は、範囲Ｚ１５２の水平方向の幅から矩形開口部Ｚ１６１の水平方向の幅を引いた幅を、水平方向の画素数ｎで割った値となる。すなわち、水平方向の画素数ｎで割ることにより垂直方向の変化の間隔が決定される。したがって、幅ｄｘ１’、ｄｘ２’・・・ｄｘｎ’の変化の間隔は、幅ｄｘ１、ｄｘ２・・・ｄｘｎの変化の間隔より大きくなる。
　また、図４１の指向性撮像素子１２１’における画素１２１ａ内の矩形開口部Ｚ１６１の水平方向の位置は、指向性撮像素子１２１’内における水平方向の位置が同一の画素１２１ａ（同一の列の画素１２１ａ）内において同一になる。
　さらに、画素１２１ａ－１の直下に隣接する画素１２１ａ－３は、矩形開口部Ｚ１６１を、その左辺が画素１２１ａの左辺から幅ｄｘ１’であって、その上辺が画素１２１ａの上辺から高さｄｙ２’に配置して、矩形開口部Ｚ１６１以外の範囲を遮光膜１２１ｂにより遮光する構成とする。
　以下同様に、垂直方向に隣接する画素１２１ａは、配置が図中の下側に進むにしたがって、矩形開口部Ｚ１６１の上辺が、画素１２１ａの上辺から高さｄｙ１’、ｄｙ２’・・・ｄｙｍ’と変化する。ここで、高さｄｙ１’、ｄｙ２’・・・ｄｙｍ’の変化の間隔は、範囲Ｚ１５２の垂直方向の高さから矩形開口部Ｚ１６１の高さを引いた高さを垂直方向の画素数ｍで割った値となる。すなわち、垂直方向の画素数ｍで割ることにより垂直方向の変化の間隔が決定される。したがって、高さｄｙ１’、ｄｙ２’・・・ｄｙｍ’の変化の間隔は、幅高さｄｙ１、ｄｙ２・・・ｄｙｍの変化の間隔より大きくなる。
　また、図４１の指向性撮像素子１２１’における画素１２１ａ内の矩形開口部Ｚ１６１の垂直方向の位置は、指向性撮像素子１２１’内における垂直方向の位置が同一の画素１２１ａ（同一の行の画素１２１ａ）内において同一になる。
　このように、主遮光部の遮光範囲と開口部の開口範囲との組み合わせを変化させることで、様々な画角の（様々な入射角指向性を持った）画素１２１ａからなる指向性撮像素子１２１’を実現することが可能となる。
　さらに、同一の画角の画素１２１ａのみならず、様々な画角の画素１２１ａを組み合わせて指向性撮像素子１２１を実現させるようにしてもよい。
　例えば、図４２で示されるように、点線で示される２画素×２画素からなる４画素を１個の単位Ｕとして、それぞれの単位Ｕが、広画角の画素１２１ａ－Ｗ、中画角の画素１２１ａ－Ｍ、狭画角の画素１２１ａ－Ｎ、極狭画角の画素１２１ａ－ＡＮの４画素から構成されるようにする。
　この場合、例えば、全画素１２１ａの画素数がXである場合、４種類の画角ごとにX/4画素ずつの検出画像を用いて復元画像を復元することが可能となる。この際、画角毎に異なる４種類の係数セットが使用されて、４種類の異なる連立方程式により、それぞれ異なる画角の復元画像が復元される。
　このため、復元する画角の復元画像を、復元する画角の撮像に適した画素から得られる検出画像を用いて復元することで、４種類の画角に応じた適切な復元画像を復元することが可能となる。
　また、４種類の画角の中間の画角や、その前後の画角の画像を、４種類の画角の画像から補間生成するようにしてもよく、様々な画角の画像をシームレスに生成することで、疑似的な光学ズームを実現するようにしてもよい。
　尚、図３９乃至図４２を参照して説明した第２の変形例の指向性撮像素子１２１’は、図９，図１０を参照して説明した、１個のフォトダイオード１２１ｅに対して遮光膜１２１ｂを用いて画素出力単位毎の入射角指向性を設定する指向性撮像素子１２１であるものとして説明してきた。しかしながら、第２の変形例の指向性撮像素子１２１’は、図１１を参照して説明した指向性撮像素子１２１のように、画素出力単位を構成する、複数のフォトダイオード１２１ｆの分割数、および分割位置を変えることで、出力に寄与しない範囲を遮光された領域と同様に機能させて、入射角指向性を設定する指向性撮像素子１２１であってもよい。
　＜第３の変形例＞
　ところで、指向性撮像素子１２１における画素１２１ａの遮光膜１２１ｂの遮光している範囲にランダム性を持たせている場合、遮光膜１２１ｂの遮光している範囲の違いの乱雑さが大きいほど、信号処理部１２２による処理の負荷は大きなものとなる。そこで、画素１２１ａの遮光膜１２１ｂの遮光している範囲の変化の一部を規則的なものとして、乱雑さを低減させることで、処理負荷を低減させるようにしてもよい。
　すなわち、例えば、縦帯タイプと横帯タイプとを組み合わせたＬ字タイプの遮光膜１２１ｂを構成するようにして、所定の列方向に対しては、同一幅の横帯タイプの遮光膜１２１ｂを組み合わせ、所定の行方向に対しては、同一の高さの縦帯タイプの遮光膜１２１ｂを組み合わせることで、列方向および行方向で規則性を持たせつつ、画素単位ではランダムに変化するようにすることで、各画素の入射角指向性における乱雑さを低減させ、信号処理部１２２の処理負荷を低減させるようにしてもよい。
　すなわち、例えば、図４３の指向性撮像素子１２１’’で示されるように、範囲Ｚ１３０で示される同一列の画素については、いずれも同一の幅Ｘ０の横帯タイプの遮光膜１２１ｂが用いられ、範囲Ｚ１５０で示される同一行の画素については、同一の高さＹ０の縦帯タイプの遮光膜１２１ｂが用いられ、各行列で特定される画素１２１ａについては、これらが組み合わされたＬ字タイプの遮光膜１２１ｂが設定されている。
　同様に、範囲Ｚ１３０に隣接する範囲Ｚ１３１で示される同一列の画素については、いずれも同一の幅Ｘ１の横帯タイプの遮光膜１２１ｂが用いられ、範囲Ｚ１５０に隣接する範囲Ｚ１５１で示される同一行の画素については、同一の高さＹ１の縦帯タイプの遮光膜１２１ｂが用いられ、各行列で特定される画素１２１ａについては、これらが組み合わされたＬ字タイプの遮光膜１２１ｂが設定されている。
　さらに、範囲Ｚ１３１に隣接する範囲Ｚ１３２で示される同一列の画素については、いずれも同一の幅Ｘ２の横帯タイプの遮光膜が用いられ、範囲Ｚ１５１に隣接する範囲Ｚ１５２で示される同一行の画素については、同一の高さＹ２の縦帯タイプの遮光膜が用いられ、各行列で特定される画素１２１ａについては、これらが組み合わされたＬ字タイプの遮光膜１２１ｂが設定されている。 
　このようにすることで、遮光膜１２１ｂの水平方向の幅および位置、並びに、垂直方向の高さおよび位置に規則性を持たせつつ、画素単位で遮光膜の範囲を変化させることができるので、入射角指向性の乱雑さを抑え込むことができ、結果として、係数セットのパターンを低減させることが可能となり、信号処理部１２２における演算処理の処理負荷を低減させることが可能となる。
　より詳細には、図４４の右上部で示されるように、Ｎ画素×Ｎ画素の検出画像ＰｉｃからＮ×Ｎ画素の復元画像を求める場合、Ｎ×Ｎ行１列の復元画像の各画素の画素値を要素とするベクトルＸ、Ｎ×Ｎ行１列の検出画像の各画素の画素値を要素とするベクトルＹ、および、係数セットからなるＮ×Ｎ行Ｎ×Ｎ列の行列Ａにより、図４４の左部で示されるような関係が成立する。
　すなわち、図４４においては、係数セットからなるＮ×Ｎ行Ｎ×Ｎ列の行列Ａの各要素と、復元画像を表すＮ×Ｎ行１列のベクトルＸとを乗算した結果が、検出画像を表すＮ×Ｎ行１列のベクトルＹとなることが示されており、この関係から、例えば、上述した式（５）乃至式（１３）に対応する連立方程式が構成される。
　尚、図４４においては、行列Ａの範囲Ｚ２０１で示される１列目の各要素が、ベクトルＸの１行目の要素に対応しており、行列Ａの範囲Ｚ２０２で示されるＮ×Ｎ列目の各要素が、ベクトルＸのＮ×Ｎ行目の要素に対応していることを示している。
　換言すれば、図４４で示される行列式に基づいた連立方程式を解くことにより、ベクトルＸの各要素が求められることにより復元画像が求められる。また、ピンホールを用いた場合、および、撮像レンズ等の、同じ方向から入射した入射光を互いに隣接する画素出力単位の双方へ入射させるための集光機能を用いた場合、各画素の位置と光の入射角度の関係が一意に定まるので、行列Ａは、右下がりの対角線上の全要素が１からなる対角行列になる。逆に、図６の撮像装置１０１のようにピンホールおよび撮像レンズのいずれも用いない場合、各画素の位置と光の入射角度の関係は一意に定まらないので、行列Ａは対角行列にならない。
　ところで、一般的に、図４４の行列式は、両辺に行列Ａの逆行列Ａ－１を左から乗じることにより、図４５で示されるように変形され、検出画像のベクトルＹに逆行列Ａ－１を右から乗じることで、検出画像であるベクトルＸの各要素が求められる。
　しかしながら、現実の行列Ａは、正確に求められない、正確に測定できない、行列Ａの基底ベクトルが線形従属に近いケースで解けない、および、検出画像の各要素にノイズが含まれるといった理由のいずれか、または組み合わせで、連立方程式を解くことができないことがある。
　そこで、様々な誤差に対してロバストな構成を考え、正則化最小二乗法の概念を用いた、以下の式（１７）をとる。
Figure JPOXMLDOC01-appb-M000001
 　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（１７）
　ここで、式（１７）にｘの上部に「＾」が付されたものは、ベクトルＸを、Ａは、行列Ａを、Ｙは、ベクトルＹを、γはパラメータを、||Ａ||はL2ノルム（二乗和平方根）を表している。ここで、第一項は、図４４の両辺を最小にするときのノルムであり、第二項は正則化項である。
　この式（１７）をｘについて解くと、以下の式（１８）で表現される。
Figure JPOXMLDOC01-appb-M000002
 　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（１８）
　しかしながら、行列Ａは、膨大なサイズであるので、計算時間や計算に大容量のメモリが必要になる。
　そこで、例えば、図４６で示されるように、行列Ａを、Ｎ行Ｎ列の行列ＡＬと、Ｎ行Ｎ列の行列ＡＲＴとに分解し、それぞれ復元画像を表すＮ行Ｎ列の行列Ｘの前段と後段とから掛けた結果が、検出画像を表すＮ行Ｎ列の行列Ｙとなるようにすることを考える。これにより、要素数（Ｎ×Ｎ）×（Ｎ×Ｎ）の行列Ａに対して、要素数が（Ｎ×Ｎ）の行列ＡＬ、ＡＲＴとなるので、要素数を１／（Ｎ×Ｎ）に小さくすることができる。結果として、要素数が（Ｎ×Ｎ）からなる２個の行列ＡＬ，ＡＲＴを用いるだけで済むので、計算量とメモリの容量を低減させることができる。
　ここで、ＡＴは、行列Ａの転置行列であり、γはパラメータであり、Ｉは、単位行列である。式（１８）におけるカッコ内の行列を行列ＡＬとし、行列Ａの転置行列の逆行列を行列ＡＲＴとすることで。図４６で示される行列式を実現する。
　このように図４６で示されるような計算は、図４７で示されるように、行列Ｘにおける注目要素Ｘｐに対しては、行列ＡＬの対応する列の各要素群Ｚ２２１を乗算することで、要素群Ｚ２２２が求められる。さらに、要素群Ｚ２２２と行列ＡＲＴの注目要素Ｘｐに対応する行の要素とを乗算することで、注目要素Ｘｐに対応する２次元応答Ｚ２２４が求められる。そして、行列Ｘの全要素に対応する２次元応答Ｚ２２４が積算されることで行列Ｙが求められる。
　そこで、行列ＡＬの各行に対応する要素群Ｚ２２１には、図４３で示される指向性撮像素子１２１の列毎に同一の幅に設定される横帯タイプの画素１２１ａの入射角指向性に対応する係数セットを持たせる。
　同様に、行列ＡＲＴの各行の要素群Ｚ２２３には、図４３で示される指向性撮像素子１２１の行毎に設定される同一の高さに設定される縦帯タイプの画素１２１ａの入射角指向性に対応する係数セットを持たせる。
　この結果、検出画像に基づいて、復元画像を復元する際に使用する行列を小さくさせることが可能となるので、計算量が低減することで、処理速度を向上させ、計算に係る電力消費を低減させることが可能となる。また、行列を小さくできるので、計算に使用するメモリの容量を低減させることが可能となり、装置コストを低減させることが可能となる。
　尚、図４３の例においては、水平方向、および垂直方向に所定の規則性を持たせつつ、画素単位で遮光される範囲（受光できる範囲）を変化させる例が示されているが、本開示の技術においては、このように画素単位で遮光される範囲（受光できる範囲）が、完全にランダムに設定されてはいないものの、ある程度ランダムに設定されるものについても、ランダムに設定されるものとみなす。換言すれば、本開示においては、画素単位で遮光される範囲（受光できる範囲）が完全にランダムに設定される場合のみならず、ある程度ランダムなもの（例えば、全画素のうち、一部については規則性を持たせた範囲を含むが、その他の範囲はランダムである場合）、または、ある程度規則性がなさそうなもの（全画素のうち、図４３を参照して説明したような規則に従って配置されていることが確認できない配置の場合）についてもランダムであるものとみなす。
　また、図４３乃至図４７を参照して説明した第３の変形例の指向性撮像素子１２１’’は、図９，図１０を参照して説明した、１個のフォトダイオード１２１ｅに対して遮光膜１２１ｂを用いて画素出力単位毎の入射角指向性を設定する指向性撮像素子１２１であるものとして説明してきた。しかしながら、第３の変形例の指向性撮像素子１２１’’は、図１１を参照して説明した指向性撮像素子１２１のように、画素出力単位を構成する、複数のフォトダイオード１２１ｆの分割数、および分割位置を変えることで、出力に寄与しない範囲を遮光された領域と同様に機能させて、入射角指向性を設定する指向性撮像素子１２１であってもよい。
　＜第４の変形例＞
　以上における指向性撮像素子１２１の各画素出力単位を構成する遮光膜１２１ｂの形状のバリエーションは、図４８の最上段の３パターンで示される水平方向の幅と位置が異なることで異なる入射角指向性を持たせる横帯タイプ、図４８の上から２段目の３パターンで示される垂直方向の高さと位置が異なることで異なる入射角指向性を持たせる縦帯タイプ、および、図４８の上から３段目の３パターンで示される横帯タイプおよび縦帯タイプを組み合わせたＬ字タイプについて説明してきたが、遮光膜１２１ｂのタイプは、これらに限るものではない。
　例えば、図４８の上から４段目の３パターンで示されるように、遮光膜１２１ｂを三角形に設定し、その範囲を異なるものとすることで異なる入射角指向性を持たせるようにしてもよいし、図４８の最下段の３パターンで示されるように、遮光膜１２ｂを円形に設定し、その範囲を異なるものとすることで異なる入射角指向性を持たせるようにしてもよい。尚、図示しないが、これ以外のパターンでもよく、例えば、斜め方向の線状の遮光膜などでも良い。
　尚、以降においては、図４８の４段目の３パターンで示される遮光膜１２１ｂを三角タイプの遮光膜１２１ｂと称するものとし、図４８の最下段の３パターンで示される遮光膜１２１ｂを円形タイプの遮光膜１２１ｂと称するものとする。
　また、図４８を参照して説明した第４の変形例の指向性撮像素子１２１は、図９，図１０を参照して説明した、１個のフォトダイオード１２１ｅに対して遮光膜１２１ｂを用いて画素出力単位毎の入射角指向性を設定する指向性撮像素子１２１であるものとして説明してきた。しかしながら、第４の変形例の指向性撮像素子１２１は、図１１を参照して説明した指向性撮像素子１２１のように、画素出力単位を構成する、複数のフォトダイオード１２１ｆの分割数、および分割位置を変えることで、出力に寄与しない範囲を遮光された領域と同様に機能させて、入射角指向性を設定する指向性撮像素子１２１であってもよい。
　＜第５の変形例＞
　以上においては、指向性撮像素子１２１の１画素出力単位で設定される遮光膜１２１ｂのバリエーションについて説明してきたが、所定数の複数の画素出力単位からなるユニットを構成する複数の画素出力単位で遮光膜１２１ｂのバリエーション（パターン）を設定するようにしてもよい。その一例としてモノクロの撮像素子ではなく、カラー撮像素子が考えられる。
　すなわち、図４９のパターンＰｔ１で示されるように、ベイヤ配列を構成する２画素出力単位×２画素出力単位の計４画素出力単位からなるユニットを構成する複数の画素出力単位で、同一幅の横帯タイプの遮光膜１２１ｂをマトリクス状に配置するようにしてもよい。
　また、パターンＰｔ２で示されるように、ベイヤ配列を構成する４画素出力単位からなるユニットを構成する複数の画素出力単位で、１画素出力単位ずつ異なる幅の横帯タイプの遮光膜１２１ｂをマトリクス状に配置するようにしてもよい。
　さらに、パターンＰｔ３で示されるように、ベイヤ配列を構成する４画素出力単位からなるユニットを構成する複数の画素出力単位で、１画素出力単位ずつ４画素出力単位の中心位置を中心として、各画素出力位置に対して点対称に横帯タイプと縦帯タイプの遮光膜１２１ｂを、位置を変えてマトリクス状に配置するようにしてもよい。
　また、同一配色の画素出力単位を、例えば、２画素出力単位×２画素出力単位の４画素出力単位で設定し、４画素出力単位の同一配色のユニットを２ユニット×２ユニットからなる計４ユニット単位（１６画素出力単位）でベイヤ配列を構成する場合、パターンＰｔ４で示されるように、それらの同一配色の４画素出力単位からなるユニットを構成する４画素出力単位で同一幅の横帯タイプの遮光膜１２１ｂをマトリクス状に配置するようにしてもよい。
　さらに、パターンＰｔ５で示されるように、同一配色の４画素出力単位からなるユニットを構成する４画素出力単位で、１画素出力単位ずつ異なる幅の横帯タイプの遮光膜１２１ｂをマトリクス状に配置するようにしてもよい。
　また、パターンＰｔ６で示されるように、同一配色の４画素出力単位からなるユニットを構成する４画素出力単位で、１画素出力単位ずつ４画素出力単位の中心位置を中心として、４画素出力単位の遮光されている範囲を点対称に変化させるように、横帯タイプと縦帯タイプの遮光膜１２１ｂを、位置を変えてマトリクス状に配置するようにしてもよい。
　さらに、同一配色の画素出力単位を、例えば、３画素出力単位×３画素出力単位の９画素出力単位で設定し、９画素出力単位の同一配色のユニット単位で２ユニット×２ユニットからなる計４ユニット単位（３６画素出力単位）でベイヤ配列を構成する場合、パターンＰｔ７で示されるように、それらの同一配色の９画素出力単位からなるユニットを構成する９画素出力単位で同一幅の横帯タイプの遮光膜１２１ｂをマトリクス状に配置するようにしてもよい。
　また、パターンＰｔ８で示されるように、同一配色の９画素からなるユニットを構成する９画素出力単位で、１画素出力単位ずつ異なる幅の横帯タイプの遮光膜１２１ｂをマトリクス状に配置するようにしてもよい。
　さらに、パターンＰｔ９で示されるように、同一配色の９画素出力単位からなるユニットを構成する９画素出力単位で、９画素出力単位の中心画素を中心とした８画素出力単位の遮光されている範囲を２画素出力単位で点対称に変化させるように、横帯タイプ、縦帯タイプ、および三角タイプの遮光膜１２１ｂを、位置を変えてマトリクス状に配置するようにしてもよい。
　尚、以上においては、横帯タイプ、縦帯タイプ、および三角タイプの遮光膜１２１ｂを用いたパターンについて説明してきたが、それ以外のタイプ、例えば、円形タイプなどの遮光膜１２１ｂを用いるようにしてもよい。また、以上においては、ベイヤ配列を用いた例について説明してきたが、それ以外の配色パターンを用いた場合であってもよいし、ユニットを構成する同一配色の画素出力単位数についても、１画素出力単位、４画素出力単位、および９画素出力単位の例について説明してきたが、それ以外の画素出力単位数で同一配色の画素出力単位が設定されていてもよい。
　また、ユニットを構成する各画素における遮光膜１２１ｂが遮光する範囲のパターンのランダム性が高い方が、すなわち、ユニットを構成する画素がそれぞれに異なる入射角指向性を備えている方が望ましい。
　さらに、図４９においては、ベイヤ配列を構成する２画素出力単位×２画素出力単位からなる４画素出力単位を１ユニットとして遮光膜１２１ｂのパターンを設定したり、さらに、ユニット間でパターンとして遮光膜１２１ｂを設定する例について説明してきたが、それ以外の単位で遮光膜１２１ｂを設定するようにしてもよく、例えば、色配列に加えて、露光時間の異なる画素出力単位、例えば、第１の露光時間の画素出力単位と第１の露光時間よりも長い第２の露光時間の画素出力単位とを考慮した複数の画素出力単位からなる処理単位毎に遮光膜１２１ｂを設定するようにしてもよい。
　また、図４９を参照して説明した第５の変形例の指向性撮像素子１２１は、図９，図１０を参照して説明した、１個のフォトダイオード１２１ｅに対して遮光膜１２１ｂを用いて画素出力単位毎の入射角指向性を設定する指向性撮像素子１２１であるものとして説明してきた。しかしながら、第５の変形例の指向性撮像素子１２１は、図１１を参照して説明した指向性撮像素子１２１のように、画素出力単位を構成する、複数のフォトダイオード１２１ｆの分割数、および分割位置を変えることで、出力に寄与しない範囲を遮光された領域と同様に機能させて、入射角指向性を設定する指向性撮像素子１２１であってもよい。
　＜第６の変形例＞
　以上においては、ベイヤ配列を構成する同一配色とされる少なくとも１画素出力単位以上のユニットを構成する複数の画素出力単位で遮光膜１２１ｂの配置のパターンを設定する例について説明してきたが、ユニット間で遮光膜１２１ｂの配置パターンを設定するようにしてもよい。
　すなわち、指向性撮像素子１２１の画素出力単位の遮光膜１２１ｂの配置パターンは、例えば、図５０のパターンＰｔ１１で示されるように、２画素出力単位×２画素出力単位のベイヤ配列の４画素出力単位をユニットとしたとき、それぞれのユニット間で、４画素出力単位内の図中の左上部のＧ画素の画素出力単位に横帯タイプの遮光膜１２１ｂを画素出力単位内の左端部に配置し、さらに、図中左から右方向に１ユニット毎に遮光膜１２１ｂの幅を広く設定するようにしてもよい。
　また、図５０のパターンＰｔ１２で示されるように、ユニット間で、それぞれのユニットにおける４画出力単位素内の左上部のＧ画素の画素出力単位の遮光膜１２１ｂの幅をランダムに変化させるように設定するようにしてもよい。
　さらに、図５０のパターンＰｔ１３で示されるように、ユニット間で、それぞれのユニットにおける４画素出力単位内の左上部のＧ画素の画素出力単位の遮光膜１２１ｂの遮光される範囲を画素出力単位の中心に対して点対称に変化するように設定するようにしてもよい。
　尚、以上においては、横帯タイプ、および、縦帯タイプを用いた例について説明してきたが、当然のことながら、Ｌ字タイプ、三角タイプ、円形タイプ等の遮光膜１２１ｂを用いたパターンを設定するようにしてもよい。
　尚、第５の変形例および第６の変形例においては、ベイヤ配列などのユニット内の複数の画素出力単位、およびユニット間で遮光膜１２１ｂが遮光する範囲のパターンを設定する例について説明してきたが、さらに、異なるカテゴリで分類される複数の画素出力単位からなるユニット内やユニット間で遮光膜１２１ｂが遮光する範囲のパターンを設定するようにしてもよい。
　また、図５０を参照して説明した第６の変形例の指向性撮像素子１２１は、図９，図１０を参照して説明した、１個のフォトダイオード１２１ｅに対して遮光膜１２１ｂを用いて画素出力単位毎の入射角指向性を設定する指向性撮像素子１２１であるものとして説明してきた。しかしながら、第６の変形例の指向性撮像素子１２１は、図１１を参照して説明した指向性撮像素子１２１のように、画素出力単位を構成する、複数のフォトダイオード１２１ｆの分割数、および分割位置を変えることで、出力に寄与しない範囲を遮光された領域と同様に機能させて、入射角指向性を設定する指向性撮像素子１２１であってもよい。
　＜第７の変形例＞
　図１１を参照して説明したように、複数のフォトダイオード１２１ｆの例として、フォトダイオード１２１ｆが２個×２個からなる配置で画素出力単位を構成し、各フォトダイオード１２１ｆの画素出力単位への寄与の有無や程度を切り替えることにより画素出力単位の出力画素値の入射角に対する指向性を様々に変化させる例について説明してきたが当然のことながら、画素出力単位を構成する複数のフォトダイオード１２１ｆの数は、それ以外の数であってもよい。
　すなわち、図５１で示されるように、フォトダイオード１２１ｆ－１１１乃至１２１ｅ－１１９の３個のフォトダイオード１２１ｆ×３個のフォトダイオード１２１ｆ（＝９個のフォトダイオード１２１ｆ）からなる画素出力単位とする画素１２１ａ－ｂを構成するようにしてもよい。尚、画素出力単位を構成するフォトダイオード１２１ｆの数は、上述した４個や９個以外でもよい。
　すなわち、複数のフォトダイオード１２１ｆが、様々な画素出力単位の画素１２１ａを構成するように切り替えられて使用されるようにしてもよい。
　＜第８の変形例＞
　以上においては、複数のフォトダイオード１２１ｆにより画素出力単位の出力画素値の入射角指向性を様々に切り替える例について説明してきた。ところで、所定数のフォトダイオード１２１ｆにより１画素出力単位が構成されるときには、１画素出力単位に対して１個のオンチップレンズ１２１ｃが必須とされる。
　すなわち、図５２で示されるように、１個のオンチップレンズ１２１ｃに対して、例えば、フォトダイオード１２１ｆ－１１１乃至１２１ｆ－１１９の３個のフォトダイオード１２１ｆ×３個のフォトダイオード１２１ｆ（＝９個のフォトダイオード１２１ｆ）が設定されるような構成を画素出力単位とされるものとする。このような構成の場合、例えば、図５２で示されるフォトダイオード１２１ｆ－１１１，１２１ｆ－１１４，１２１ｆ－１１７乃至１２１ｆ－１１９の５画素について読み出しをしないようにすることで、フォトダイオード１２１ｆ－１１１，１２１ｆ－１１４，１２１ｆ－１１７乃至１２１ｆ－１１９の範囲が検出信号に寄与しない状態となり、フォトダイオード１２１ｆ－１１２，１２１ｆ－１１３，１２１ｆ－１１５，１２１ｆ－１１６の範囲の検出信号に寄与する信号のみを用いることで入射角指向性を設定することが可能となる。
　尚、この構成は、上述した図１２、または図１３の下部の構成を応用した構成であるとも言える。
　このように遮光膜１２１ｂを設けることなく、遮光膜１２１ｂを設けた場合と同様の検出信号を求めることができ、また、検出信号に寄与しないフォトダイオード１２１ｆのパターンを切り替えることで、遮光される位置と範囲が異なる遮光膜１２１ｂを実質的に形成すること、すなわち、異なる入射角指向性を持たせることと同等の処理を実現することが可能となる。
　従って、１個のオンチップレンズ１２１ｃに対して複数のフォトダイオード１２１ｆが設けられるようにして、それらの複数のフォトダイオード１２１ｆからなるユニットを１画素出力単位として処理するようにすることで、遮光膜１２１ｂを設けることなく、遮光膜１２１ｂに対応するフォトダイオード１２１ｆの読み出しをしないように切り替えることで、遮光膜１２１ｂを用いて形成される画素１２１ａと同様の検出画像を撮像することが可能となる。すなわち、１個の画素出力単位について、１個のオンチップレンズが必須の構成となる。
　＜＜３．第２の実施の形態＞＞
　以上においては、指向性撮像素子１２１と信号処理部１２２等とが別体とされた構成である例について説明してきたが、指向性撮像素子１２１が設けられた基板と同一基板に信号処理部１２２を構成するようにしてもよいし、または、指向性撮像素子１２１が設けられた基板と、信号処理部１２２等が構成された基板とが積層されて、例えば、TSV（Through Silicon Via）等の貫通電極等により接続されて、一体として構成されるようにしてもよい。
　図５３は、指向性撮像素子１２１の画素アレイを構成する基板と同一基板上、または、指向性撮像素子１２１の画素アレイを構成する基板に対して、その裏面側に積層される基板に被写体距離決定部１２９、係数セット選択部１３１、および信号処理部１２２が設けられた、一体型の指向性撮像素子１２１を用いた撮像装置１０１の構成例が示されている。
　尚、基本的な機能や、撮像処理については、図６の撮像装置１０１と同様であるので、その説明は省略するものとする。
　尚、本開示は、以下のような構成も取ることができる。
＜１＞　撮像レンズおよびピンホールのいずれも介さず、入射する入射光を受光する複数の画素出力単位を有し、前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位の出力画素値の、被写体からの入射光の入射角に対する特性が互いに異なる撮像素子
　を備えた撮像装置。
＜２＞　前記特性は、前記被写体からの入射光の入射角に対する指向性を示す入射角指向性である
　＜１＞に記載の撮像装置。
＜３＞　前記複数の画素出力単位のそれぞれから１つの検出信号が出力される
　＜２＞に記載の撮像装置。
＜４＞　前記複数の画素出力単位から出力された複数の検出信号からなる検出画像を用いて、前記被写体を視認可能な復元画像を復元する画像復元部をさらに備える
　＜３＞に記載の撮像装置。
＜５＞　前記画像復元部は、前記複数の画素出力単位のうちの一部の画素出力単位の検出信号を選択的に用いて、前記復元画像を復元する
　＜４＞に記載の撮像装置。
＜６＞　前記画像復元部は、前記複数の画素出力単位のうちの一部の画素出力単位の検出信号を用いて前記復元画像を復元する復元処理と、前記複数の画素出力単位のうちの全ての画素出力単位の検出信号を用いて前記復元画像を復元する復元処理とを選択的に実行する
　＜４＞に記載の撮像装置。
＜７＞　前記複数の画素出力単位は、広角な画像に適した前記入射角指向性を持つ広角対応画素出力単位と、前記広角対応画素出力単位と比べて狭い狭角対応画素出力単位とを含み、
　前記画像復元部は、前記広角対応画素出力単位と前記狭角対応画素出力単位とを選択的に用いて前記復元画像を復元する
　＜４＞に記載の撮像装置。
＜８＞　前記被写体からの主光線入射角度が異なる拡散光を、互いに隣接する複数の画素出力単位へ入射させるための集光機能を備えていない
　＜２＞に記載の撮像装置。
＜９＞　前記複数の画素出力単位は、それぞれ前記被写体からの入射光の入射角に対する特性を独立に設定可能な構成を有する
　＜１＞に記載の撮像装置。
＜１０＞　撮像レンズおよびピンホールのいずれも介さず、入射する入射光を受光する複数の画素出力単位を有し、前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位の出力画素値の、被写体からの入射光の入射角に対する特性が互いに異なる
　撮像素子。
＜１１＞　前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位は、被写体からの入射光の入射角に対する指向性を示す入射角指向性が互いに異なる
　＜１０＞に記載の撮像素子。
＜１２＞　前記複数の画素出力単位のそれぞれは、１つのフォトダイオードで構成され、
　前記複数の画素出力単位のそれぞれから１つの検出信号が出力される
　＜１１＞に記載の撮像素子。
＜１３＞　前記少なくとも２つの画素出力単位は、前記フォトダイオードへの前記被写体からの入射光である被写体光の入射を遮る遮光膜をそれぞれ有し、
　前記被写体光の前記２つの画素出力単位へ入射が、前記遮光膜によって遮られる範囲が、前記少なくとも２つの画素出力単位で互いに異なる
　＜１２＞に記載の撮像素子。
＜１４＞　前記複数の画素出力単位のそれぞれは、複数のフォトダイオードで構成され、前記複数の画素出力単位のそれぞれから１つの検出信号が出力される
　＜１１＞に記載の撮像素子。
＜１５＞　前記少なくとも２つの画素出力単位は、前記複数のフォトダイオードのうち、前記検出信号に寄与するフォトダイオードが互いに異なる
　＜１４＞に記載の撮像素子。
＜１６＞　前記複数の画素出力単位は、広角な画像に適した入射角指向性を有する広角対応画素出力単位と、前記広角対応画素出力単位と比べて狭角な画像に適した入射角指向性を有する狭角対応画素出力単位とを含む
　＜１１＞に記載の撮像素子。
＜１７＞　前記複数の画素出力単位にそれぞれ対応する複数のオンチップレンズを備える
　＜１１＞に記載の撮像素子。
＜１８＞　前記入射角指向性は、前記オンチップレンズの曲率に応じた特性を有する
　＜１７＞に記載の撮像素子。
＜１９＞　前記入射角指向性は、遮光領域に応じた特性を有する
　＜１８＞に記載の撮像素子。
＜２０＞　前記複数のオンチップレンズのうち、少なくとも一部のオンチップレンズの曲率は他のオンチップレンズの曲率と異なる
　＜１８＞に記載の撮像素子。
＜２１＞　前記複数の画素出力単位は、それぞれ前記被写体からの入射光の入射角に対する特性を独立に設定可能な構成を有する
　＜１０＞に記載の撮像素子。
＜２２＞　撮像レンズおよびピンホールのいずれも介さず、入射する入射光を受光する複数の画素出力単位を有し、
　前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位の出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性が互いに異なる撮像素子の前記複数の画素出力単位からそれぞれ出力された複数の検出信号からなる検出画像を用いて、前記被写体を視認可能な復元画像を復元する画像復元部を備える
　画像処理装置。
＜２３＞　前記画像復元部は、前記複数の画素出力単位のうちの一部の画素出力単位の検出信号を選択的に用いて、前記復元画像を復元する
　＜２２＞に記載の画像処理装置。
＜２４＞　前記画像復元部は、前記複数の画素出力単位のうちの一部の画素出力単位の検出信号を用いて前記復元画像を復元する復元処理と、前記複数の画素出力単位のうちの全ての画素出力単位の検出信号を用いて前記復元画像を復元する復元処理とを選択的に実行する
　＜２２＞に記載の画像処理装置。
＜２５＞　前記複数の画素出力単位は、広角な画像に適した前記入射角指向性を持つ広角対応画素出力単位と、前記広角対応画素出力単位と比べて狭い狭角対応画素出力単位とを含み、
　前記画像復元部は、前記広角対応画素出力単位と前記狭角対応画素出力単位とを選択的に用いて前記復元画像を復元する
　＜２２＞に記載の画像処理装置。
＜２６＞　撮像レンズおよびピンホールのいずれも介さず、入射する入射光を受光する複数の画素出力単位を有し、前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位の出力画素値の、被写体からの入射光の入射角に対する特性が互いに異なる撮像素子が撮像する
　ステップを含む撮像装置の撮像方法。
＜２７＞　撮像レンズおよびピンホールのいずれも介さず、入射する入射光を受光する複数の画素出力単位を有し、前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位の出力画素値の、被写体からの入射光の入射角に対する特性が互いに異なる撮像素子が撮像する
　ステップを含む撮像素子の撮像方法。
＜２８＞　撮像レンズおよびピンホールのいずれも介さず、入射する入射光を受光する複数の画素出力単位を有し、
　前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位の出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性が互いに異なる撮像素子の前記複数の画素出力単位からそれぞれ出力された複数の検出信号からなる検出画像を用いて、前記被写体を視認可能な復元画像を復元する
　ステップを含む画像処理方法。
　１０１　撮像装置，　１２１　指向性撮像素子，　１２１ａ　画素，　１２１ｂ　遮光膜，　１２１ｃ　オンチップレンズ，　１２１ｄ　カラーフィルタ，　１２１ｅ，１２１ｆ　フォトダイオード，　１２２　信号処理部，　１２３　デモザイク処理部，　１２４　γ補正部，　１２５　ホワイトバランス調整部，　１２６　画像出力部，　１２７　記憶部，　１２８　表示部，　１２９　被写体距離決定部，　１３０　操作部，　１３１　係数セット選択部，　１５１　撮像素子，　１５２　光学ブロック，　１５３　焦点調整部

Claims (25)

  1. 　撮像レンズおよびピンホールのいずれも介さず、入射する入射光を受光する複数の画素出力単位を有し、前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位、被写体からの入射光の入射角に対する特性が互いに異なる撮像素子
    　を備えた撮像装置。
  2. 　前記特性は、前記被写体からの入射光の入射角に対する指向性を示す入射角指向性である
    　請求項１に記載の撮像装置。
  3. 　前記複数の画素出力単位のそれぞれから１つの検出信号が出力される
    　請求項２に記載の撮像装置。
  4. 　前記複数の画素出力単位から出力された複数の検出信号からなる検出画像を用いて、復元画像を復元する画像復元部をさらに備える
    　請求項３に記載の撮像装置。
  5. 　前記画像復元部は、前記複数の画素出力単位のうちの一部の画素出力単位の検出信号を選択的に用いて、前記復元画像を復元する
    　請求項４に記載の撮像装置。
  6. 　前記画像復元部は、前記複数の画素出力単位のうちの一部の画素出力単位の検出信号を用いて前記復元画像を復元する復元処理と、前記複数の画素出力単位のうちの全ての画素出力単位の検出信号を用いて前記復元画像を復元する復元処理とを選択的に実行する
    　請求項４に記載の撮像装置。
  7. 　前記複数の画素出力単位は、広角な画像に適した前記入射角指向性を持つ広角対応画素出力単位と、前記広角対応画素出力単位と比べて狭い狭角対応画素出力単位とを含み、
    　前記画像復元部は、前記広角対応画素出力単位と前記狭角対応画素出力単位とを選択的に用いて前記復元画像を復元する
    　請求項４に記載の撮像装置。
  8. 　前記被写体からの主光線入射角度が異なる拡散光を、互いに隣接する複数の画素出力単位へ入射させるための集光機能を備えていない
    　請求項２に記載の撮像装置。
  9. 　前記複数の画素出力単位は、それぞれ前記被写体からの入射光の入射角に対する特性を独立に設定可能な構成を有する
    　請求項１に記載の撮像装置。
  10. 　撮像レンズおよびピンホールのいずれも介さず、入射する入射光を受光する複数の画素出力単位を有し、前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位の出力画素値の、被写体からの入射光の入射角に対する特性が互いに異なる
    　撮像素子。
  11. 　前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位は、被写体からの入射光の入射角に対する指向性を示す入射角指向性が互いに異なる
    　請求項１０に記載の撮像素子。
  12. 　前記複数の画素出力単位のそれぞれは、１つのフォトダイオードで構成され、
    　前記複数の画素出力単位のそれぞれから１つの検出信号が出力される
    　請求項１１に記載の撮像素子。
  13. 　前記少なくとも２つの画素出力単位は、前記フォトダイオードへの前記被写体からの入射光である被写体光の入射を遮る遮光膜をそれぞれ有し、
    　前記被写体光の前記２つの画素出力単位へ入射が、前記遮光膜によって遮られる範囲が、前記少なくとも２つの画素出力単位で互いに異なる
    　請求項１２に記載の撮像素子。
  14. 　前記複数の画素出力単位のそれぞれは、複数のフォトダイオードで構成され、前記複数の画素出力単位のそれぞれから１つの検出信号が出力される
    　請求項１１に記載の撮像素子。
  15. 　前記少なくとも２つの画素出力単位は、前記複数のフォトダイオードのうち、前記検出信号に寄与するフォトダイオードが互いに異なる
    　請求項１４に記載の撮像素子。
  16. 　前記複数の画素出力単位は、広角な画像に適した入射角指向性を有する広角対応画素出力単位と、前記広角対応画素出力単位と比べて狭角な画像に適した入射角指向性を有する狭角対応画素出力単位とを含む
    　請求項１１に記載の撮像素子。
  17. 　前記複数の画素出力単位にそれぞれ対応する複数のオンチップレンズを備える
    　請求項１１に記載の撮像素子。
  18. 　前記入射角指向性は、前記オンチップレンズの曲率に応じた特性を有する
    　請求項１７に記載の撮像素子。
  19. 　前記入射角指向性は、遮光領域に応じた特性を有する
    　請求項１８に記載の撮像素子。
  20. 　前記複数のオンチップレンズのうち、少なくとも一部のオンチップレンズの曲率は他のオンチップレンズの曲率と異なる
    　請求項１８に記載の撮像素子。
  21. 　前記複数の画素出力単位は、それぞれ前記被写体からの入射光の入射角に対する特性を独立に設定可能な構成を有する
    　請求項１０に記載の撮像素子。
  22. 　撮像レンズおよびピンホールのいずれも介さず、入射する入射光を受光する複数の画素出力単位を有し、
    　前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位の出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性が互いに異なる撮像素子の前記複数の画素出力単位からそれぞれ出力された複数の検出信号からなる検出画像を用いて、前記被写体を視認可能な復元画像を復元する画像復元部を備える
    　画像処理装置。
  23. 　前記画像復元部は、前記複数の画素出力単位のうちの一部の画素出力単位の検出信号を選択的に用いて、前記復元画像を復元する
    　請求項２２に記載の画像処理装置。
  24. 　前記画像復元部は、前記複数の画素出力単位のうちの一部の画素出力単位の検出信号を用いて前記復元画像を復元する復元処理と、前記複数の画素出力単位のうちの全ての画素出力単位の検出信号を用いて前記復元画像を復元する復元処理とを選択的に実行する
    　請求項２２に記載の画像処理装置。
  25. 　前記複数の画素出力単位は、広角な画像に適した前記入射角指向性を持つ広角対応画素出力単位と、前記広角対応画素出力単位と比べて狭い狭角対応画素出力単位とを含み、
    　前記画像復元部は、前記広角対応画素出力単位と前記狭角対応画素出力単位とを選択的に用いて前記復元画像を復元する
    　請求項２２に記載の画像処理装置。
PCT/JP2017/025255 2016-07-13 2017-07-11 撮像装置、撮像素子、および画像処理装置 WO2018012492A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
EP21216849.6A EP4016992A3 (en) 2016-07-13 2017-07-11 Imaging apparatus, imaging device, and image processing apparatus
JP2018527611A JP6958554B2 (ja) 2016-07-13 2017-07-11 撮像装置、撮像素子、および画像処理装置
EP17827619.2A EP3487165B1 (en) 2016-07-13 2017-07-11 Imaging device and imaging element
CN202110759418.0A CN113489904B (zh) 2016-07-13 2017-07-11 成像装置、成像器件和图像处理装置
KR1020197000665A KR102353634B1 (ko) 2016-07-13 2017-07-11 촬상 장치, 촬상 소자, 및 화상 처리 장치
US16/315,470 US20190215473A1 (en) 2016-07-13 2017-07-11 Imaging apparatus, imaging device, and image processing apparatus
CN201780041772.1A CN109479101B (zh) 2016-07-13 2017-07-11 成像装置、成像器件和图像处理装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016138363 2016-07-13
JP2016-138363 2016-07-13

Publications (1)

Publication Number Publication Date
WO2018012492A1 true WO2018012492A1 (ja) 2018-01-18

Family

ID=60953061

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/025255 WO2018012492A1 (ja) 2016-07-13 2017-07-11 撮像装置、撮像素子、および画像処理装置

Country Status (6)

Country Link
US (1) US20190215473A1 (ja)
EP (2) EP4016992A3 (ja)
JP (2) JP6958554B2 (ja)
KR (1) KR102353634B1 (ja)
CN (3) CN109479101B (ja)
WO (1) WO2018012492A1 (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019189099A1 (ja) 2018-03-26 2019-10-03 ソニー株式会社 撮像素子、撮像装置、並びに、情報処理方法
WO2019188396A1 (ja) * 2018-03-30 2019-10-03 ソニー株式会社 撮像装置および方法、画像処理装置および方法、並びに、撮像素子
WO2020065442A1 (ja) * 2018-09-28 2020-04-02 株式会社半導体エネルギー研究所 画像処理方法、プログラム、及び撮像装置
WO2020218074A1 (ja) * 2019-04-26 2020-10-29 ソニー株式会社 撮像システム及び撮像素子
EP3700186A4 (en) * 2017-10-19 2020-12-02 Sony Corporation IMAGING DEVICE AND METHOD, AND IMAGE PROCESSING METHOD AND DEVICE
WO2020246250A1 (ja) 2019-06-04 2020-12-10 ソニー株式会社 撮像素子、信号処理装置、信号処理方法、プログラム、及び、撮像装置
CN112106343A (zh) * 2018-03-29 2020-12-18 索尼公司 信息处理装置、信息处理方法、程序和信息处理系统
WO2021020156A1 (ja) * 2019-07-31 2021-02-04 ソニー株式会社 撮像素子、撮像装置、信号処理装置、及び、信号処理方法
WO2021215201A1 (ja) * 2020-04-22 2021-10-28 ソニーセミコンダクタソリューションズ株式会社 電子機器
US20220377275A1 (en) * 2019-10-30 2022-11-24 Sony Group Corporation Imaging device, display device, and imaging system
US11659289B2 (en) 2017-10-19 2023-05-23 Sony Corporation Imaging apparatus and method, and image processing apparatus and method
US11770630B2 (en) 2021-02-04 2023-09-26 Canon Kabushiki Kaisha Photoelectric conversion apparatus, photoelectric conversion system, and mobile body
DE112021004867T5 (de) 2020-09-15 2023-09-28 Sony Semiconductor Solutions Corporation Festkörperbildgebungsvorrichtung und elektronische einrichtung
US12026972B2 (en) 2020-04-22 2024-07-02 Sony Semiconductor Solutions Corporation Electronic device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013201466A (ja) * 2010-06-30 2013-10-03 Fujifilm Corp 立体画像撮像装置
WO2014049941A1 (ja) * 2012-09-28 2014-04-03 パナソニック株式会社 固体撮像装置及び撮像装置
JP2015015295A (ja) * 2013-07-03 2015-01-22 ソニー株式会社 固体撮像装置およびその製造方法、並びに電子機器
JP2016092413A (ja) * 2014-10-29 2016-05-23 株式会社半導体エネルギー研究所 撮像装置および電子機器

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5256796B2 (ja) * 2007-05-14 2013-08-07 セイコーエプソン株式会社 ラインヘッドおよびそれを用いた画像形成装置
WO2010044943A2 (en) * 2008-07-25 2010-04-22 Cornell University Light field image sensor, method and applications
JP5262823B2 (ja) * 2009-02-23 2013-08-14 ソニー株式会社 固体撮像装置および電子機器
JP2011176715A (ja) * 2010-02-25 2011-09-08 Nikon Corp 裏面照射型撮像素子および撮像装置
EP2601785A4 (en) * 2010-08-03 2017-12-13 Cornell University Angle sensitive pixel (asp)-based image processing system, method, and applications
US9532033B2 (en) * 2010-11-29 2016-12-27 Nikon Corporation Image sensor and imaging device
JP5979134B2 (ja) * 2011-04-14 2016-08-24 株式会社ニコン 画像処理装置および画像処理プログラム
JP6335423B2 (ja) * 2012-08-31 2018-05-30 キヤノン株式会社 情報処理装置および情報処理方法
JP2014154662A (ja) * 2013-02-07 2014-08-25 Sony Corp 固体撮像素子、電子機器、および製造方法
JP2014165785A (ja) * 2013-02-27 2014-09-08 Canon Inc 撮像装置およびその制御方法、カメラシステム、プログラム、記憶媒体
EP2965134A1 (en) * 2013-03-05 2016-01-13 Rambus Inc. Phase gratings with odd symmetry for high-resoultion lensless optical sensing
TWI620445B (zh) * 2013-03-25 2018-04-01 Sony Corp 攝像元件及電子機器
US9746593B2 (en) * 2013-08-28 2017-08-29 Rambus Inc. Patchwork Fresnel zone plates for lensless imaging
JP6368999B2 (ja) * 2013-09-26 2018-08-08 株式会社ニコン 撮像素子および撮像装置
JP2015076475A (ja) * 2013-10-08 2015-04-20 ソニー株式会社 固体撮像装置およびその製造方法、並びに電子機器
JP6219176B2 (ja) * 2014-01-17 2017-10-25 富士フイルム株式会社 撮像レンズおよび撮像装置
WO2015127043A1 (en) * 2014-02-24 2015-08-27 Rambus Inc. Optical flow sensing and pattern recognition with antisymmetric phase gratings
KR20160008364A (ko) * 2014-07-14 2016-01-22 삼성전자주식회사 이미지 센서 및 이미지 센서를 포함하는 영상 촬영 장치
WO2016123529A1 (en) 2015-01-29 2016-08-04 William Marsh Rice University Lensless imaging system using an image sensor with one or more attenuating layers

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013201466A (ja) * 2010-06-30 2013-10-03 Fujifilm Corp 立体画像撮像装置
WO2014049941A1 (ja) * 2012-09-28 2014-04-03 パナソニック株式会社 固体撮像装置及び撮像装置
JP2015015295A (ja) * 2013-07-03 2015-01-22 ソニー株式会社 固体撮像装置およびその製造方法、並びに電子機器
JP2016092413A (ja) * 2014-10-29 2016-05-23 株式会社半導体エネルギー研究所 撮像装置および電子機器

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ASIF, M. SALMNAN ET AL.: "FlatCam: Replacing Lenses with Masks and Computation", IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION WORKSHOP(ICCVW, 7 December 2015 (2015-12-07) - 13 December 0015 (0015-12-13), pages 663 - 666, XP032865019, Retrieved from the Internet <URL:DOI:10.1109/ICCVW.2015.89> *
See also references of EP3487165A4 *

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11659289B2 (en) 2017-10-19 2023-05-23 Sony Corporation Imaging apparatus and method, and image processing apparatus and method
US11336799B2 (en) 2017-10-19 2022-05-17 Sony Corporation Imaging device including pixels having individually settable incident angle directivity
EP3700186A4 (en) * 2017-10-19 2020-12-02 Sony Corporation IMAGING DEVICE AND METHOD, AND IMAGE PROCESSING METHOD AND DEVICE
EP3780580A4 (en) * 2018-03-26 2021-04-07 Sony Corporation IMAGE CAPTURING ELEMENT, IMAGE CAPTURING DEVICE AND INFORMATION PROCESSING METHOD
JP7375746B2 (ja) 2018-03-26 2023-11-08 ソニーグループ株式会社 撮像素子、撮像装置、並びに、情報処理方法
WO2019189099A1 (ja) 2018-03-26 2019-10-03 ソニー株式会社 撮像素子、撮像装置、並びに、情報処理方法
CN111886856A (zh) * 2018-03-26 2020-11-03 索尼公司 成像元件、成像装置以及信息处理方法
US11252361B2 (en) 2018-03-26 2022-02-15 Sony Group Corporation Imaging element, imaging device, and information processing method with image restoration pixels and unidirectional pixel
JPWO2019189099A1 (ja) * 2018-03-26 2021-04-22 ソニー株式会社 撮像素子、撮像装置、並びに、情報処理方法
JP7238887B2 (ja) 2018-03-29 2023-03-14 ソニーグループ株式会社 情報処理装置、プログラム、及び、情報処理システム
EP3780576A4 (en) * 2018-03-29 2021-04-21 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, PROGRAM AND INFORMATION PROCESSING SYSTEM
CN112106343A (zh) * 2018-03-29 2020-12-18 索尼公司 信息处理装置、信息处理方法、程序和信息处理系统
JPWO2019188536A1 (ja) * 2018-03-29 2021-04-01 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び、情報処理システム
US11470247B2 (en) 2018-03-29 2022-10-11 Sony Corporation Information processing device, information processing method, program, and information processing system
CN111989916A (zh) * 2018-03-30 2020-11-24 索尼公司 成像设备和方法、图像处理设备和方法以及成像元件
EP3780594A4 (en) * 2018-03-30 2021-04-07 Sony Corporation IMAGING DEVICE AND METHOD, IMAGE PROCESSING DEVICE AND METHOD, AND IMAGING ELEMENT
WO2019188396A1 (ja) * 2018-03-30 2019-10-03 ソニー株式会社 撮像装置および方法、画像処理装置および方法、並びに、撮像素子
JPWO2019188396A1 (ja) * 2018-03-30 2021-04-15 ソニー株式会社 撮像装置および方法、画像処理装置および方法、並びに、撮像素子
US11159741B2 (en) 2018-03-30 2021-10-26 Sony Group Corporation Imaging device and method, image processing device and method, and imaging element
JP7147841B2 (ja) 2018-03-30 2022-10-05 ソニーグループ株式会社 撮像装置および方法、画像処理装置および方法、並びに、撮像素子
JPWO2020065442A1 (ja) * 2018-09-28 2021-10-07 株式会社半導体エネルギー研究所 画像処理方法、プログラム、及び撮像装置
US11631708B2 (en) 2018-09-28 2023-04-18 Semiconductor Energy Laboratory Co., Ltd. Image processing method, program, and imaging device
JP7395490B2 (ja) 2018-09-28 2023-12-11 株式会社半導体エネルギー研究所 画像処理方法、プログラム、及び撮像装置
WO2020065442A1 (ja) * 2018-09-28 2020-04-02 株式会社半導体エネルギー研究所 画像処理方法、プログラム、及び撮像装置
WO2020218074A1 (ja) * 2019-04-26 2020-10-29 ソニー株式会社 撮像システム及び撮像素子
WO2020246250A1 (ja) 2019-06-04 2020-12-10 ソニー株式会社 撮像素子、信号処理装置、信号処理方法、プログラム、及び、撮像装置
US11889199B2 (en) 2019-06-04 2024-01-30 Sony Group Corporation Imaging device, signal processing device, signal processing method, program, and imaging apparatus
JP7484904B2 (ja) 2019-06-04 2024-05-16 ソニーグループ株式会社 撮像素子、信号処理装置、信号処理方法、プログラム、及び、撮像装置
WO2021020156A1 (ja) * 2019-07-31 2021-02-04 ソニー株式会社 撮像素子、撮像装置、信号処理装置、及び、信号処理方法
US20220377275A1 (en) * 2019-10-30 2022-11-24 Sony Group Corporation Imaging device, display device, and imaging system
WO2021215201A1 (ja) * 2020-04-22 2021-10-28 ソニーセミコンダクタソリューションズ株式会社 電子機器
US12026972B2 (en) 2020-04-22 2024-07-02 Sony Semiconductor Solutions Corporation Electronic device
DE112021004867T5 (de) 2020-09-15 2023-09-28 Sony Semiconductor Solutions Corporation Festkörperbildgebungsvorrichtung und elektronische einrichtung
US11770630B2 (en) 2021-02-04 2023-09-26 Canon Kabushiki Kaisha Photoelectric conversion apparatus, photoelectric conversion system, and mobile body

Also Published As

Publication number Publication date
CN113489926A (zh) 2021-10-08
EP3487165A4 (en) 2019-06-19
CN109479101A (zh) 2019-03-15
JP2022000994A (ja) 2022-01-04
JP7290159B2 (ja) 2023-06-13
JP6958554B2 (ja) 2021-11-02
KR20190022619A (ko) 2019-03-06
CN113489904A (zh) 2021-10-08
EP3487165B1 (en) 2022-03-16
CN109479101B (zh) 2021-08-03
US20190215473A1 (en) 2019-07-11
EP4016992A3 (en) 2022-08-24
EP3487165A1 (en) 2019-05-22
KR102353634B1 (ko) 2022-01-21
JPWO2018012492A1 (ja) 2019-04-25
CN113489904B (zh) 2023-07-21
EP4016992A2 (en) 2022-06-22

Similar Documents

Publication Publication Date Title
JP7290159B2 (ja) 撮像装置および撮像方法、撮像素子、画像処理装置および画像処理方法、並びにプログラム
US11659289B2 (en) Imaging apparatus and method, and image processing apparatus and method
EP3700197B1 (en) Imaging device and method, and image processing device and method
CN111201782B (zh) 成像器件、图像处理装置、图像处理方法和记录介质
JPWO2019078333A1 (ja) 撮像装置、露出制御方法、プログラム、及び、撮像素子
EP3700187B1 (en) Signal processing device and imaging device
JP7375746B2 (ja) 撮像素子、撮像装置、並びに、情報処理方法
WO2019188396A1 (ja) 撮像装置および方法、画像処理装置および方法、並びに、撮像素子

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018527611

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17827619

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20197000665

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017827619

Country of ref document: EP

Effective date: 20190213