WO2019078320A1 - 情報処理装置と情報処理方法および撮像装置とプログラム - Google Patents

情報処理装置と情報処理方法および撮像装置とプログラム Download PDF

Info

Publication number
WO2019078320A1
WO2019078320A1 PCT/JP2018/038921 JP2018038921W WO2019078320A1 WO 2019078320 A1 WO2019078320 A1 WO 2019078320A1 JP 2018038921 W JP2018038921 W JP 2018038921W WO 2019078320 A1 WO2019078320 A1 WO 2019078320A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel output
pixel
unit
imaging
light
Prior art date
Application number
PCT/JP2018/038921
Other languages
English (en)
French (fr)
Inventor
佳孝 宮谷
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP18867590.4A priority Critical patent/EP3700195A4/en
Priority to US16/755,368 priority patent/US11223787B2/en
Publication of WO2019078320A1 publication Critical patent/WO2019078320A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, an imaging apparatus, and a program, and it is possible to accurately restore a captured image from pixel output information generated according to subject light incident without passing through either an imaging lens or a pinhole. Make it
  • an imaging device As a configuration of an imaging device, a configuration in which an imaging lens and an imaging device are combined and a configuration in which a pinhole and an imaging device are combined are generally well known.
  • the configuration in which the imaging lens and the imaging element are combined is adopted in most of the imaging apparatuses at present, and light from the subject is collected by the imaging lens to form a subject optical image on the imaging surface of the imaging element.
  • the imaging device generates an image signal according to the subject optical image by photoelectric conversion.
  • the image pickup apparatus having a configuration in which the image pickup lens and the image pickup element are combined, the influence of the aberration of the image pickup lens occurs, and the image pickup lens is essential.
  • the amount of light reaching the imaging surface of the imaging device is small because the imaging lens that collects light from the subject is not used, and the exposure time is extended Processing such as raising the Therefore, it can not withstand general use, and is not particularly suitable for high-speed imaging.
  • Patent Document 1 a pattern obtained by imaging light from an object as a pattern obtained through a filter made of a diffraction grating by a configuration in which a filter made of a diffraction grating and an imaging device are combined
  • An imaging apparatus has been proposed which reproduces a subject image by arithmetic processing using
  • an imaging element that does not use an imaging lens is also proposed in Patent Document 2 and Non-Patent Document 1.
  • the above-mentioned imaging device which does not use an imaging lens does not generate an image signal by photoelectrically converting an object optical image formed on an imaging surface, but an imaging lens and an imaging element are combined.
  • the generated information is different from that of the imaging device.
  • an information processing apparatus an information processing method, an imaging apparatus, and a program that can accurately restore a captured image from pixel output information generated according to subject light incident without any imaging lens or pinhole. Intended to be provided.
  • the first aspect of this technology is The plurality of pixel output units for receiving subject light incident without any of an imaging lens and a pinhole, and among the plurality of pixel output units, pixel outputs of at least two of the pixel output units are the subject light
  • the pixel output excluding the pixel output from the defective pixel output unit is used among the plurality of pixel outputs which are output from the image pickup element in which the incident angle directivity is modulated to be different incident angle directivity according to the incident angle of
  • An information processing apparatus including an image conversion unit that generates a restored image.
  • the image conversion unit can perform, for example, visual recognition of a subject by performing restoration operation using pixel output excluding pixel output from a defective pixel output unit among a plurality of pixel outputs output from an imaging device.
  • Generate a restored image In the imaging device, at least two pixel output units out of a plurality of pixel output units that receive subject light incident without any of the imaging lens and the pinhole are incident according to the incident angle of the subject light The angular directivity is modulated to have different incident angle directivity.
  • a restored image is generated by solving simultaneous equations using pixel outputs of a plurality of pixel output units excluding a defective pixel unit and coefficients of a coefficient set group changed according to the defective pixel output unit.
  • the defective pixel detection unit that detects a defective pixel output unit detects a defective pixel output unit using the pixel output generated by each pixel of the imaging device. For example, the defective pixel detection unit sets the threshold range based on the statistic of the signal level of the pixel output, and outputs the pixel output of the signal level indicating a value larger than the upper limit of the threshold range or smaller than the lower limit of the threshold range.
  • the output pixel output unit is set as a defective pixel output unit.
  • the threshold range may be set based on statistics excluding pixel output generated in the detected defective pixel output unit.
  • the imaging device causes at least two pixel output units of the plurality of pixel output units to differ in incident angle directivity which indicates directivity with respect to an incident angle of incident light from the subject.
  • each of the plurality of pixel output units is configured by one photodiode, and at least two pixel output units each have a light shielding film that blocks the incidence of the subject light on the photodiode, and the light shielding film for the subject light To make them different from each other in at least two pixel output units.
  • each of the plurality of pixel output units may be configured by a plurality of photodiodes, and at least two pixel output units may be configured such that the incident positions of incident light from the subject to the plurality of photodiodes are different from each other.
  • the second aspect of this technology is The plurality of pixel output units for receiving subject light incident without any of an imaging lens and a pinhole, and among the plurality of pixel output units, pixel outputs of at least two of the pixel output units are the subject light
  • the pixel output excluding the pixel output from the defective pixel output unit is used among the plurality of pixel outputs which are output from the image pickup element in which the incident angle directivity is modulated to be different incident angle directivity according to the incident angle of ,
  • An information processing method including generating a restored image.
  • the third aspect of this technology is The plurality of pixel output units for receiving subject light incident without any of an imaging lens and a pinhole, and among the plurality of pixel output units, pixel outputs of at least two of the pixel output units are the subject light
  • a defective pixel information storage unit that stores defective pixel information indicating the defective pixel output unit among a plurality of pixel outputs output from the imaging unit; Based on the defective pixel information stored in the defective pixel information storage unit, of a plurality of pixel outputs output from the imaging unit, a pixel output excluding pixel output from a defective pixel output unit is used to obtain a restored image
  • the image pickup apparatus includes an image conversion unit that generates
  • the imaging unit includes a plurality of pixel output units for receiving subject light incident without any of the imaging lens and the pinhole, and an output pixel of at least two pixel output units among the plurality of pixel output units.
  • the incident angle directivity is modulated to be different incident angle directivity.
  • the threshold range is set to a preset range, or the threshold range is set according to the pixel output in the live view operation, and the signal level of the pixel output indicating a value larger or smaller than the threshold range.
  • a pixel output unit is a defective pixel output unit.
  • the defective pixel information storage unit updates the stored defective pixel information based on the defective pixel detection result.
  • the image conversion unit generates a restored image based on the defective pixel information stored in the defective pixel information storage unit, using the pixel output excluding the pixel output from the defective pixel output unit.
  • the fourth aspect of this technology is A program that causes a computer to execute image processing, and
  • the pixel output excluding the pixel output from the defective pixel output unit is used among the plurality of pixel outputs which are output from the image pickup element in which the incident angle directivity is modulated to be different incident angle directivity according to the incident angle of
  • a program for causing the computer to execute a procedure of generating a restored image is
  • the plurality of pixel output units for receiving the subject light incident without any of the imaging lens and the pinhole are provided, and at least two pixels of the pixel output units among the plurality of pixel output units.
  • the output is a pixel output from a defective pixel output unit among a plurality of pixel outputs which are output from an imaging element whose incident angle directivity is modulated according to the incident angle of the subject light and different incident angle directivity.
  • a decompressed image is generated using the excluded pixel output. Therefore, the captured image can be restored with high accuracy based on the subject light incident without passing through either the imaging lens or the pinhole.
  • FIG. 6 is a diagram showing an exemplary configuration of an imaging unit 121.
  • 9 is a diagram illustrating a second configuration example of the imaging unit 121.
  • FIG. It is a figure for demonstrating incident angle directivity. It is the figure which showed the other structure of the imaging part. It is a figure which shows the case where a black-and-white pattern mask is used. It is a figure which shows the case where an optical interference mask is used.
  • FIG. 1 is a diagram for explaining the principle of imaging when using an imaging lens.
  • the subject on the subject plane OP is, for example, point light sources PA, PB, and PC.
  • a light beam emitted from the point light source PA is condensed at a position Pa on the imaging surface IP by the imaging lens LNZ.
  • the imaging lens LNZ is a lens having a condensing function for causing subject light incident from the same direction to be incident on both adjacent pixels.
  • the light beam emitted from the point light source PB (PC) is condensed at a position Pb (Pc) on the imaging surface IP by the imaging lens LNZ.
  • the vertical axis represents the position on the imaging surface IP
  • the horizontal axis is a detection value based on the light intensity in the imaging element at each position. For example, the detected value SDza at the position Pa, the detected value SDzb at the position Pb, and the detected value SDzc at the position Pc, and the case of “SDzb> SDza> SDzc” is illustrated.
  • FIG. 2 is a diagram for explaining the principle of imaging in the case of using a pinhole.
  • the relationship between the position of each pixel and the incident angle of light is uniquely determined.
  • the subject on the subject plane OP is, for example, point light sources PA, PB, and PC.
  • a light beam emitted from the point light source PA is transmitted through the hole BKH of the light shielding wall WP and is irradiated to the position Pa on the imaging surface IP.
  • the light beam emitted from the point light source PB (PC) passes through the hole BKH and is irradiated to the position Pb (Pc) on the imaging surface IP.
  • the detection value SDpa is at position Pa
  • the detection value SDpb at position Pb and the detection value SDpc at position Pc
  • the case of “SDpb> SDpa> SDpc” is illustrated.
  • the pixel output is generated only by the hole BKH and the transmitted light
  • the detection value is smaller than in the case of using the imaging lens. That is, “SDza> SDpa, SDzb> SDpb, SDzc> SDpc”.
  • the relationship between the position of each pixel in the imaging device and the incident angle of the subject light to be incident is determined to be first.
  • directivity can not be set independently for each pixel output unit.
  • the imaging device having the configuration of the pinhole and the imaging device does not need to have an imaging lens, there is a possibility that the device configuration can be smaller than the imaging device having the configuration of the imaging lens and the imaging device.
  • the brightness of the image to be captured is not sufficient, it is essential to increase the exposure time to increase the brightness of the image, or to increase the gain. Is likely to occur or may not be a natural color expression.
  • FIG. 3 is a diagram for explaining the case where a normal imaging element is used in a lensless configuration in which an imaging lens and a pinhole are not provided.
  • FIG. 3A light beams emitted from the point light sources PA, PB, and PC are incident on the positions Qa, Qb, and Qc, respectively.
  • the vertical axis represents the position on the imaging plane IP
  • the horizontal axis is a detection value based on the light intensity at the pixel at each position, and the pixel of each element at position Qa, Qb, Qc
  • the output is a pixel output according to the intensity of the light beam from the point light sources PA, PB, PC.
  • the detected value SDsa at the position Qa, the detected value SDsb at the position Qb, and the detected value SDsc at the position Qc "SDsa SD SDsb SD SDsc". Therefore, it is not possible to generate an image signal of a captured image showing the point light sources PA, PB, PC of the object plane OP using the pixel output of each pixel.
  • the imaging unit includes a plurality of pixel output units for receiving subject light incident without any of the imaging lens and the pinhole, and pixels of at least two pixel output units among the plurality of pixel output units.
  • An output is configured to use an image pickup element whose incident angle directivity is modulated according to the incident angle of the subject light to have different incident angle directivity.
  • the characteristic that the incident angle directivity to the subject light is different here means that the light receiving sensitivity characteristic according to the incident angle of the incident light to the pixel output unit is different. It should be noted that what unit the pixel output unit is will be clarified in the following description.
  • the imaging unit includes a plurality of pixel output units for receiving subject light incident without any of the imaging lens and the pinhole, and among the plurality of pixel output units, output pixels of at least two pixel output units are subject light
  • the incident angle directivity is modulated in accordance with the incident angle of the light source, and the imaging device is configured to use different incident angle directivity.
  • the imaging device obtains the pixel output of one image including the pixel output at the position of each pixel output unit.
  • the imaging unit is configured to output a plurality of pixel output units with respect to the subject light incident without passing through the condensing function for causing the subject light incident from the same direction to be incident on both of the adjacent pixel output units.
  • the incident angle directivity of the output pixel value (pixel output) of at least two of the pixel output units is different, and the pixel output is generated for each pixel output unit. That is, the imaging unit generates a pixel output for each pixel output unit by the imaging lens free imaging element.
  • the imaging unit generates pixel output information according to subject light will be described.
  • FIG. 4 exemplifies the configuration of an imaging unit that generates pixel output information that is a processing target of the information processing device of the present technology. Note that FIG. 4 illustrates a partial area of the imaging unit, for example, an area in which the number of pixels in each of the horizontal direction and the vertical direction is 6 pixels ⁇ 6 pixels.
  • the imaging unit 121 is a part of the light receiving region of the photodiode for each pixel (pixel output unit) 121a of the imaging device, and the light shielding film 121b as a modulation element is provided as a different range for each pixel 121a.
  • Incident light incident on each pixel 121a is optically modulated according to the incident angle. That is, the imaging unit 121 has a configuration capable of setting the light reception sensitivity according to the incident angle of incident light for each pixel (pixel output unit) to a different sensitivity, and has directivity in the incident direction, that is, incident angle directivity. It will be. Therefore, by providing the light shielding film 121b in a different range for each pixel 121a, the light reception sensitivity with respect to the incident angle of incident light differs for each pixel 121a, and each pixel 121a has different incident angle directivity.
  • the light shielding film 121b-1 and the light shielding film 121b-2 provided in the pixel 121a-1 and the pixel 121a-2 have different light shielding areas (a light shielding area (position) and a light shielding area) At least one of which is different). That is, in the pixel 121a-1, the light shielding film 121b-1 is provided so as to shield a part of the left side in the light receiving area of the photodiode by a predetermined width, and in the pixel 121a-2, the right side in the light receiving area A light shielding film 121b-2 is provided to shield a part of the light shielding film by a width wider in the horizontal direction than the light shielding film 121b-1.
  • the light shielding films 121b are provided so as to shield different ranges in the light receiving area for each pixel, and are randomly arranged in the pixel array. Since this image sensor can be set (designed) independently for the width and position of the light shielding screen in units of pixels 121a, the incident angle directivity can be set independently in units of pixels 121a. Also as an output pixel value, it has the structure which can set incident angle directivity independently for every pixel 121a.
  • the range of the light shielding film 121b is such that the amount of light that can be received decreases as the ratio of hiding the light receiving region of each pixel increases, so it is desirable that the area be such that a predetermined amount of light can be secured.
  • the light shielding screen may not be provided for all the pixels 121 a of the imaging device.
  • FIG. 5 shows a configuration example of the imaging unit 121
  • (a) of FIG. 5 is a side sectional view of the imaging unit 121
  • (b) of FIG. 5 is a top view of the configuration example of the imaging unit 121. It is.
  • the side cross-sectional view of (a) of FIG. 5 is an AB cross section of (b) of FIG.
  • the incident light L is incident from the upper side to the lower side of the drawing.
  • the adjacent pixels 121a-15 and 121a-16 each have the wiring layer Z12 provided in the lowermost layer in the figure, and the photoelectric conversion layer Z11 provided thereon to form a so-called back side illumination type configuration. .
  • FIG. 5 shows the side view and the top view of two pixels constituting the pixel array of the imaging unit 121, it goes without saying that more pixels 121a are arranged. It is omitted in the figure.
  • the pixels 121a-15 and 121a-16 respectively include photodiodes 121e-15 and 121e-16 in the photoelectric conversion layer Z11.
  • On-chip lenses 121c-15 and 121c-16 and color filters 121d-15 and 121d-16 are formed on the photodiodes 121e-15 and 121e-16, respectively.
  • the on-chip lens is a lens which is provided for each pixel output unit and has a function of condensing subject light incident on itself only on the corresponding pixel output unit.
  • the on-chip lenses 121c-15 and 121c-16 condense incident light on the photodiodes 121e-15 and 121e-16.
  • the color filters 121d-15 and 121d-16 are filters that transmit light of a specific wavelength such as red, green, blue, or infrared, for example. Further, the color filters 121d-15 and 121d-16 may be transparent, or may be configured not to use a color filter.
  • Light shielding films 121b-15 and 121b-16 and an element separation film 121s are formed at boundaries between the pixels in the photoelectric conversion layer Z11 of the pixels 121a-15 and 121a-16.
  • the light shielding films 121b-15 and 121b-16 are formed in an L-shape as viewed from the side as shown in FIG. 5A, and the incident light shielding portions 121b-15a provided on the filter surface side , 121b-16a and separating portions 121b-15b, 121b-16b formed in the vertical direction with respect to the filter surface. Further, as shown in (b) of FIG. 5, the incident light blocking portions of the light blocking films 121b-15 and 121b-16 block the light receiving surface S when viewed from the upper surface.
  • the light receiving surfaces S of the photodiodes 121e-15 and 121e-16 in the pixels 121a-15 and 121a-16 differ depending on the incident light shielding portions 121b-15a and 121b-16a of the light shielding films 121b-15 and 121b-16, respectively.
  • the range is shielded, whereby different incident angle directivity is set for each pixel (pixel output unit).
  • the range in which the light is blocked is not limited to the case in which all the pixels 121 a of the imaging unit 121 are different, and a pixel 121 a in which the same range is partially blocked may exist.
  • the element separation film 121s is provided to face the separation parts 121b-15b and 121b-16b of the light shielding films 121b-15 and 121b-16, and the separation parts and elements of the light shielding films 121b-15 and 121b-16 are provided.
  • the separation film 121s suppresses crosstalk between adjacent pixels, for example, crosstalk between adjacent pixels with respect to incident light L in (a) of FIG.
  • the light shielding films 121b-15 and 121b-16 and the element isolation film 121s are made of metal, and for example, tungsten (W), aluminum (Al), or an alloy of aluminum (Al) and copper (Cu). Configured The light shielding films 121b-15 and 121b-16 and the element isolation film 121s may be simultaneously formed of the same metal as the wiring in the same process as the wiring in the semiconductor process. Further, the film thicknesses of the light shielding films 121b-15 and 121b-16 and the element separation film 121s may not be the same depending on the position. In the example of FIGS. 4 and 5, one pixel corresponds to one pixel output unit.
  • FIG. 6 is a diagram showing a second configuration example of the imaging unit 121.
  • FIG. 6A shows a side cross-sectional view of the pixel 121a of the imaging unit 121 as a second configuration example
  • FIG. 6B shows a top view of the imaging unit 121.
  • the imaging unit 121 As shown in FIG. 6, in the imaging unit 121, four photodiodes 121 f-1 to 121 f-4 are formed in the pixel 121 a, and the element separation film 121 s separates the photodiodes 121 f-1 to 121 f-4.
  • the imaging unit 121 is different from the imaging unit 121 in FIG. That is, in the imaging unit 121 of FIG. 6, the element isolation film 121s is formed in a “+” shape when viewed from the top.
  • the intersection position of the “+” shape may be the center position of the pixel 121a as shown in FIG. 6 so that the sizes of the light receiving surfaces of the four photodiodes become equal, and the intersection position is moved from the center position of the pixel 121a.
  • the pixel 121a may have a configuration in which photodiodes having different sizes of light receiving surfaces, that is, a configuration in which pixel output units having different characteristics are used depending on whether the intersection position is moved or not moved.
  • symbol is attached
  • the electrical and optical elements between the photodiodes 121f-1 to 121f-4 are separated by separating the photodiodes 121f-1 to 121f-4 by the element separation film 121s. Cross talk can be prevented.
  • one photodiode is provided for one pixel output unit, and the light blocking state by the light shielding film 121 b of each pixel (pixel output unit) is made different for each pixel.
  • the incident angle directivity of each pixel is different.
  • one pixel corresponds to a pixel output unit.
  • four photodiodes are provided for one pixel output unit, and among the four photodiodes, the photodiodes contributing to the output pixel unit are different for each pixel output unit.
  • output pixel information when output pixel information is generated by adding the signals obtained by the photodiode 121f-1 and the photodiode 121f-2, the output pixel information becomes information having the incident angle directivity in the horizontal direction, and the photodiode 121f-1 is generated. And the signal obtained by the photodiode 121f-3 are added to generate output pixel information, the output pixel information becomes information having incident angle directivity in the vertical direction.
  • the presence or absence of contribution means whether or not the detection value of each photodiode is read out to the floating diffusion, or the detection value (charge) accumulated in the photodiode before reading out to the floating diffusion is reset using the electronic shutter function. It can be realized by When the electronic shutter function is used, the photodiode 121f can be made not to contribute to the output pixel unit by resetting immediately before reading out the charge generated by the photodiode 121f to the floating diffusion. It is also possible to make a partial contribution if you allow time between reset and readout to the floating diffusion. In the imaging unit shown in FIG. 6, one output pixel value can be obtained from four photodiodes, so that four photodiodes constitute one pixel output unit.
  • FIG. 7 is a diagram for explaining the incident angle directivity of the pixel output unit in the imaging unit 121.
  • on-chip lenses 121c-11 (121c-12) for condensing incident light from the upper incident direction, and color filters 121d-11 (121d-) for transmitting light of a predetermined wavelength. 12) and photodiodes 121e-11 (121e-12) that generate pixel signals by photoelectric conversion are stacked in this order.
  • the on-chip lenses 121 c When it is not necessary to distinguish between the on-chip lenses 121 c-11 and 121 c-12, the color filters 121 d-11 and 121 d-12, and the photodiodes 121 e-11 and 121 e-12, the on-chip lenses 121 c are simply used.
  • the color filter 121d and the photodiode 121e are referred to.
  • a light shielding film 121b-11 (121b-12) formed of a metal wiring or the like is provided which shields a part of the region for receiving the incident light.
  • the detection value of the photodiode 121 e-11 is As indicated by the solid line waveform in c), the detection value of the photodiode 121e-11 changes in accordance with the incident angle ⁇ of the incident light.
  • the horizontal axis represents the incident angle ⁇
  • the vertical axis represents the detection value of the photodiode 121 e.
  • the incident angle ⁇ is larger (as the incident direction is closer to the right in the figure), light is incident in a range where the light shielding film 121b-11 is not provided, and the detection value of the photodiode 121e-11 is obtained. Becomes larger. Conversely, as the incident angle ⁇ is smaller (as the incident direction is closer to the left in the figure), light is incident to the range in which the light shielding film 121b-11 is provided, whereby the detection of the photodiode 121e-11 is performed. The value decreases.
  • FIG. 7B when a light shielding film 121b-12 is provided to shield the left half of the photodiode 121e-12 from light, the waveform of the dotted line in FIG. 7C is shown. As a result, the detection value of the photodiode 121e-12 changes in accordance with the incident angle ⁇ of the incident light.
  • the incident angle ⁇ is larger (as the incident direction is closer to the right in the figure), light is incident to the range in which the light shielding film 121b-12 is provided, so that the detection value of the photodiode 121e-12 is detected. Becomes smaller. Conversely, as the incident angle ⁇ is smaller (as the incident direction is closer to the left in the figure), light is incident in a range in which the light shielding film 121b-12 is not provided, so that detection of the photodiode 121e-12 is performed. The value increases.
  • the waveforms shown by the solid and dotted lines indicating the change of the detected value according to the incident angle ⁇ shown in (c) of FIG. 7 can be changed according to the range of the light shielding films 121b-11 and 121b-12. Thereby, it becomes possible to give different incident angle directivity to each other in pixel output units.
  • the incident angle directivity referred to herein is the characteristic of the change of the detected value of each pixel output unit according to the incident angle ⁇ , but this can also be said to be the characteristic of the change of the light blocking level according to the incident angle ⁇ . That is, although the light shielding films 121b-11 and 121b-12 block incident light in a specific direction at a high level, incident light from directions other than the specific direction can not be sufficiently blocked.
  • the incident light is optically modulated according to the incident angle, and the change of the light shielding level causes the change of the detected value according to the incident angle ⁇ as shown in FIG. 7A. Therefore, different incident angle directivity can be given to each pixel output unit.
  • the photodiodes contributing to the pixel output are By making it different for each pixel output unit, it is possible to give different incident angle directivity for each pixel output unit.
  • the above-described imaging unit 121 exemplifies a case in which the on-chip lens is provided, even when the above-described configuration is employed without using the on-chip lens, the incident angle directivity is different for each pixel output unit. You can
  • imaging unit uses a light shielding film that can be set independently for each pixel output unit, changes the number of contributing photodiodes, or changes the intersection position of a plurality of photodiodes for each pixel output unit.
  • the present invention is not limited to the configuration having different incident angle directivity.
  • the imaging unit may use a random black and white pattern mask or an optical interference mask as an element for making the incident angle directivity different from each other.
  • FIG. 8 shows another configuration of the imaging unit.
  • the mask 223, which is a modulation element is fixed to the imaging element 222 so as to have a predetermined distance from the imaging surface IP of the imaging element 222, and light from the object plane OP is through the mask 223. It is configured to be incident on the imaging surface IP of the imaging element 222.
  • FIG. 9 shows the case where a black and white pattern mask is used.
  • FIG. 9A illustrates a black and white pattern mask.
  • the black-and-white pattern mask 223BW has a configuration in which a white pattern portion that transmits light and a black pattern portion that blocks light are randomly arranged, and the pattern size is set independently of the pixel size of the image sensor 222.
  • (B) of FIG. 9 schematically shows the irradiation state of the light emitted from the point light source PA and the light emitted from the point light source PB on the imaging surface IP. Further, FIG.
  • FIG. 9C schematically shows the response of the image pickup device when the black and white pattern mask 223BW is used for the light emitted from the point light source PA and the light emitted from the point light source PB, respectively.
  • the black and white pattern mask 223BW is used for the light emitted from the point light source PA and the light emitted from the point light source PB, respectively.
  • Light from the object plane OP is incident on the imaging surface IP of the imaging element 222 through the black and white pattern mask 223BW. Therefore, the response of the image sensor corresponding to the light emitted from the point light source PA on the object plane OP is Sbwa. Further, the response of the image sensor corresponding to the light emitted from the point light source PB on the object plane OP is Sbwb.
  • the pixel output information output from the imaging element 222 is information of one image obtained by combining the response of each point light source for each pixel output unit.
  • the incident angle directivity can not be set independently for each pixel output unit, and the pixel output units at near positions have incident angle directivity close to each other.
  • FIG. 10 shows the case where an optical interference mask is used.
  • the light emitted from the point light sources PA and PB on the object plane OP is irradiated to the imaging plane IP of the imaging element 222 through the light interference mask 223LF.
  • asperities on the light wavelength are provided on the light incident surface of the light interference mask 223LF, for example.
  • the transmission of light of a specific wavelength irradiated from the vertical direction is maximized.
  • the optical path length changes.
  • the light weakens when the optical path length is an odd multiple of a half wavelength, and the light strengthens when an even multiple of a half wavelength. That is, the intensity of the transmitted light of the specific wavelength emitted from the point light sources PA and PB and transmitted through the light interference mask 223LF is an incident angle according to the incident angle to the light interference mask 223LF as shown in FIG.
  • the light is incident on the imaging surface IP of the imaging element 222 with directivity.
  • the pixel output information output from each output pixel unit of the imaging element 822 is information obtained by combining the modulated light intensities of the point light sources transmitted through the light interference mask 223LF.
  • the incident angle directivity can not be set independently for each pixel output unit, and the pixel output units at near positions have incident angle directivity close to each other.
  • the optical filter 223HW of FIG. 11 may be used instead of the optical filter 223BW.
  • the optical filter 223HW includes a linear polarization element 231A, a linear polarization element 231B, and a ⁇ / 2 wavelength plate 232 having the same polarization direction, and the ⁇ / 2 wavelength plate 232 is between the linear polarization element 231A and the linear polarization element 831B. It is pinched.
  • a polarized part shown by oblique lines is provided, and the white pattern and the polarized part are randomly arranged.
  • the linear polarization element 231A transmits only light of a predetermined polarization direction out of substantially non-polarized light emitted from the point light source PA.
  • the linear polarization element 231A transmits only light whose polarization direction is parallel to the drawing.
  • the polarization direction of the polarized light transmitted through the polarization section of the ⁇ / 2 wavelength plate 232 is changed in the direction perpendicular to the drawing as the plane of polarization is rotated.
  • the linear polarization element 231A On the other hand, of the polarized light transmitted through the linear polarization element 231A, the polarized light transmitted through the white pattern portion of the ⁇ / 2 wavelength plate 232 does not change its polarization direction as it is parallel to the drawing. Then, the linear polarization element 231B transmits the polarized light transmitted through the white pattern portion, and hardly transmits the polarized light transmitted through the polarized portion. Therefore, the quantity of polarized light transmitted through the polarizing section is smaller than that of polarized light transmitted through the white pattern section. As a result, it is possible to generate on the light receiving surface (imaging surface) IP of the imaging element 222 a pattern of shading similar to that in the case of using the optical filter 223BW.
  • FIG. 12 shows the configuration of the information processing apparatus.
  • the information processing apparatus 400 includes a defective pixel detection unit 401, a defective pixel information storage unit 402, an image conversion unit 403, and a coefficient storage unit 404.
  • the defective pixel detection unit 401 detects a defective pixel output unit occurring in the imaging unit 121 (221).
  • the defective pixel output unit is a normal pixel output when light of the same light amount as that of a pixel output unit (also referred to as a “dead pixel”) having a signal level lower than that of a normal pixel output
  • a pixel output unit also referred to as a "hot pixel”
  • the threshold range is set in advance or set based on the statistic of the pixel output such that the pixel output having a relatively uniform signal level is included.
  • the threshold range can be set without being affected by the defective pixel output unit.
  • the defective pixel detection unit 401 determines a pixel output unit in which the signal level of the pixel output is higher than the upper limit of the threshold range as a hot pixel, and a pixel output unit in which the signal level of pixel output is lower than the lower limit of the threshold range is a dead pixel To determine.
  • the defective pixel detection unit 401 outputs the defect detection result to the image conversion unit 403.
  • a pixel output unit with high signal level and imaged in a light blocking state is a hot pixel, and a white subject or the like with uniform brightness in a non-light blocking state is imaged with other pixels
  • a pixel output unit whose signal level is lower than that of the output unit may be detected as a dead pixel.
  • the image conversion unit 403 calculates the pixel output of a pixel output unit (hereinafter referred to as “normal pixel output unit”) that is not a defective pixel output unit and the coefficients stored in the coefficient storage unit 404.
  • the restoration operation is performed using the coefficients of the normal pixel output unit from the set, and the image signal of the restored image is generated. That is, as described above, the pixel output information generated by the imaging unit 121 (221) is a pixel signal according to the incident angle directivity, and therefore, the information can not be visually recognized and can not recognize the subject visually .
  • the image conversion unit performs restoration calculation using the pixel output of the normal pixel output unit and the coefficient set stored in the coefficient storage unit 404 using the coefficient of the normal pixel output unit, and the visible information, that is, the object is visually recognized. Generate an image signal of a possible captured image.
  • the relationship between the light source and the pixel output will be described.
  • the light source constituting the object plane is a point light source
  • the imaging unit the light from the same point light source makes the incident angle directivity different from each other through an element for imaging plane IP
  • each pixel output unit of the imaging surface IP light of different incident angle directivity (for example, light of light intensity according to a difference in incident angle or a mask) is incident. That is, even light beams of the same light intensity are detected with different sensitivities in each pixel output unit, and are detected as detection values different for each pixel output unit.
  • the difference in incident angle directivity is expressed by a coefficient
  • the detection value corresponding to incident light in each pixel output unit is obtained by multiplying the light intensity of incident light by a coefficient corresponding to incident angle directivity. It will be required by
  • FIG. 13 is a diagram for explaining calculation of detection values and pixel values according to incident light in each pixel output unit.
  • the imaging unit 121 images the point light sources PA, PB, and PC on the object plane OP.
  • (B) of FIG. 13 illustrates the relationship between the position on the imaging surface and the detection value.
  • detection values SDA, SDB, and SDC at positions Qa, Qb, and Qc are expressed by the following formulas (1) to (3), respectively.
  • ⁇ 1 represents the incident angle directivity according to the incident angle of the light beam from the point light source PA at the position Qa of the imaging surface IP, and is a coefficient with respect to the light intensity a.
  • ⁇ 1 represents the incident angle directivity according to the incident angle of the light beam from the point light source PB on the object plane OP to be restored at the position Qa of the imaging surface IP, and is a coefficient for the light intensity
  • b represents the incident angle directivity according to the incident angle of the light beam from the point light source PC of the object plane OP to be restored at the position Qa of the imaging plane IP, and is a coefficient with respect to the light intensity c.
  • ( ⁇ 1 ⁇ a) of the detection value SDA indicates the detection value of the light beam from the point light source PA at the position Qa, and the light intensity a of the light beam from the point light source PA at the position Qa is It is multiplied by a coefficient ⁇ 1 indicating the incident angle directivity according to the incident angle.
  • ( ⁇ 1 ⁇ b) of the detection value SDA indicates a detection value by a light ray from the point light source PB at the position Qa, and the light intensity b of the light ray from the point light source PB at the position Qa is It is multiplied by a coefficient ⁇ 1 indicating the incident angle directivity according to the incident angle.
  • ( ⁇ 1 ⁇ c) of the detection value SDA indicates a detection value by a ray from the point light source PC at the position Qa, and the light intensity c of the ray from the point light source PC at the position Qa is It is multiplied by a coefficient ⁇ 1 indicating the incident angle directivity according to the incident angle.
  • the detection value SDA is expressed as the product sum of the light intensities a, b and c of the light beams from the point light sources PA, PB and PC at the position Qa and the coefficients ⁇ 1, ⁇ 1 and ⁇ 1.
  • a set of coefficients used to calculate one detected value for example, coefficients ⁇ 1, ⁇ 1, and ⁇ 1 are set as the coefficient set.
  • the coefficient set “ ⁇ 2, ⁇ 2, ⁇ 2” corresponds to the coefficient set “ ⁇ 1, ⁇ 1, ⁇ 1” for the detection value SDA in the point light source PA.
  • the coefficient set “ ⁇ 3, ⁇ 3, ⁇ 3” corresponds to the coefficient set “ ⁇ 1, ⁇ 1, ⁇ 1” for the detection value SDA in the point light source PA.
  • the detection value of the pixel output unit at the position Qa, Qb, Qc is a value represented by the product sum of the light intensity a, b, c of the light beam emitted from each of the point light sources PA, PB, PC and the coefficient. It is. For this reason, these detected values are obtained by mixing the light intensities a, b, and c of the light beams emitted from the point light sources PA, PB, and PC, respectively. Is different.
  • the detection value of the pixel output unit at the position Qa, Qb, Qc is a mixture of the light intensities a, b, c of the light beams emitted from the point light sources PA, PB, PC respectively. The difference between the detection values of the output units is smaller than when using the imaging lens, and the signal level is relatively uniform over the entire screen.
  • the detected values of the pixel output unit at the positions Qa, Qb and Qc are represented by the product sum of the light intensities a, b and c of the light beams emitted from the point light sources PA, PB and PC and the coefficients as described above. Value. Therefore, the light intensities a, b and c are solved by constructing simultaneous equations using the coefficients ⁇ 1, ⁇ 1, ⁇ 1, ⁇ 2, ⁇ 2, ⁇ 2, ⁇ 2, ⁇ 2, ⁇ 3, ⁇ 3 and ⁇ 3 and the detected values SDA, SDB and SDC, ie By performing the restoration operation using the detected values and the coefficients, as shown in (c) of FIG.
  • pixel values GPqa, GPqb, and GPqc of the positions Qa, Qb, and Qc can be obtained. Further, the same processing is performed not only when the imaging unit 121 is used but also when the imaging unit 221 is used, the restoration operation using the detection value of the pixel output unit at the positions Qa, Qb, and Qc and the coefficient. To calculate the pixel values GPqa, GPqb, GPqc of the respective positions Qa, Qb, Qc. Note that a plurality of coefficient sets “ ⁇ 1, ⁇ 1, ⁇ 1”, “ ⁇ 2, ⁇ 2, ⁇ 2”, and “ ⁇ 3, ⁇ 3, ⁇ 3” used in the restoration operation are set as a coefficient set group.
  • coefficients ⁇ 1, ⁇ 1, ⁇ 1, ⁇ 1, ⁇ 1, ⁇ 1, ⁇ 2, ⁇ 2, ⁇ 2, ⁇ 2, ⁇ 3, ⁇ 3 and ⁇ 3 are a set of coefficients for calculating the light intensity of the point light source on the object surface from the pixel output, and the coefficient for each object distance
  • the set group is stored in advance, and the restoration operation is performed using the coefficient set group corresponding to the pixel output and the desired subject distance, thereby using the imaging lens free imaging unit 121 (221) that does not use the imaging lens. Even in this case, it is possible to obtain a captured image in which the desired subject distance is in focus and the subject can be viewed.
  • FIG. 14 shows a generalized relationship between the light intensity of a point light source on the object plane and the detection value of the imaging unit.
  • the imaging unit 121 (221) has N pixel output units by N pixel output units and N point sources of N point sources of object plane OP.
  • the detection value of N pixel output unit ⁇ N pixel output unit is a one-dimensional vector y
  • the light intensity of N point ⁇ N point light sources is one-dimensional vector x, (N ⁇ N) rows
  • the relationship shown in FIG. 14 is established by using a matrix A (also referred to as a “coefficient matrix A”) which is a coefficient set group of (N ⁇ N) columns.
  • a matrix A also referred to as a “coefficient matrix A”
  • the image conversion unit 403 performs restoration operation using the pixel output and the coefficient set group stored in the coefficient storage unit 404, and indicates a vector x indicating the light intensity of the object plane OP, that is, a captured image of the object plane OP. Generate an image signal.
  • the determinant of FIG. 14 is transformed into a formula for calculating the vector x shown in FIG. 15 by multiplying both sides from the left by the inverse matrix A ⁇ 1 of the coefficient matrix A. That is, by multiplying the vector y of detection values by the inverse matrix A -1 from the right, each element of the vector x indicating the light intensity of the object plane OP can be obtained.
  • the real coefficient matrix A can not be accurately obtained
  • the basis vector of the coefficient matrix A is a case close to linear dependence
  • the detected value includes noise, or the combination of which solves the simultaneous equations There are things I can not do.
  • the vector x is estimated by Equation (4) using the concept of the regularized least squares method, considering a configuration that is robust to various errors.
  • equation (4) it is indicated that the one with “ ⁇ ” attached to the upper part of x is an estimated value of the vector x. ⁇ indicates a parameter. Also, “
  • the detection value of the defective pixel output unit becomes noise, and therefore, when the detection value of the defective pixel output unit is used, the accuracy of the vector x decreases.
  • the image conversion unit 403 changes the coefficient set group based on the defective pixel information indicating the defective pixel position stored in the defective pixel storage unit 404, and performs the above calculation using the coefficient set group after the change. Estimate the vector x.
  • the image conversion unit 403 can generate the image signal of the captured image with high accuracy by performing the restoration operation without using the pixel output of the defective pixel output unit.
  • FIG. 16 is a flowchart showing the operation of the information processing apparatus.
  • the information processing apparatus acquires pixel output information.
  • the information processing apparatus acquires pixel output information generated by the imaging unit, and proceeds to step ST2.
  • the information processing apparatus detects a defective pixel output unit.
  • the information processing apparatus sets the threshold range so as to include a pixel output having a relatively uniform level, and determines a pixel output unit whose pixel output is higher than the upper limit of the threshold range as a hot pixel. Further, the information processing apparatus determines that a pixel output unit whose pixel output is lower than the lower limit of the threshold range is a dead pixel. The information processing apparatus determines the detected hot pixel and dead pixel as a defective pixel output unit, and proceeds to step ST3.
  • the information processing apparatus changes the coefficient set group in accordance with the position of the defective pixel output unit.
  • the information processing apparatus changes the coefficient set group so as to perform restoration calculation without using the defective pixel output unit detected in step ST2, and proceeds to step ST4.
  • step ST4 the information processing apparatus performs restoration processing using pixel output of a normal pixel output unit.
  • the information processing apparatus determines the pixel output of the normal pixel output unit not determined as the defective pixel output unit based on the defective pixel detection result of step ST2, and the coefficient set group changed according to the position of the defective pixel output unit in step ST3.
  • To perform a restoration operation and generate, for example, an image signal indicating a restored image from which a subject can be visually recognized.
  • FIG. 17 illustrates the configuration of the imaging device.
  • the imaging device 50 includes an imaging unit 121 (221), a recording / reproducing unit 301, a defective pixel detection unit 401, a defective pixel information storage unit 402, an image conversion unit 403, a coefficient storage unit 404, a camera signal processing unit 501, a display unit 502, An output unit 503, a user interface (I / F) unit 504, and a control unit 505 are included.
  • the imaging unit 121 (221) generates pixel output information having incident angle directivity, and outputs the pixel output information to the recording / reproducing unit 301, the defective pixel detection unit 401, and the output unit 503.
  • the imaging unit 121 (221) controls the imaging operation based on the control signal from the control unit 505.
  • the recording and reproducing unit 301 records, on a recording medium, pixel output information generated by the imaging unit 121 (221) and an image signal processed by a camera signal processing unit 501 described later. Also, the recording / reproducing unit 301 reads out pixel output information recorded on the recording medium, and outputs the pixel output information to the defective pixel detection unit 401 or the output unit 503. Note that the recording medium may be removable, or may be fixed to the recording and reproducing unit 301. Further, the recording / reproducing unit 301 may associate the defective pixel information stored in the defective pixel information storage unit 402 with the pixel output information generated by the imaging unit 121 (221).
  • the recording / reproducing unit 301 associates defective pixel information with pixel output information by recording the defective pixel information as metadata of the pixel output information.
  • the recording and reproducing unit 301 may record the image signal processed by the camera signal processing unit 501 described later on a recording medium.
  • the recording and reproducing unit 301 may read the image signal recorded on the recording medium and output the signal to the display unit 502 or the output unit 503.
  • the defective pixel detection unit 401 detects a defective pixel output unit of the imaging device of the imaging unit 121 (221).
  • the defective pixel output unit sets the threshold range so that the pixel output having a relatively uniform signal level is included, and the pixel output is higher than the upper limit of the threshold range and the pixel is lower than the lower limit of the threshold range.
  • the output unit is determined to be a defective pixel output unit.
  • the defective pixel detection unit 401 outputs the defect detection result to the defective pixel information storage unit 402.
  • the defective pixel information storage unit 402 stores the defective pixel information indicating the position of the defective pixel output unit of the imaging unit 121 (221) based on the defect detection result of the defective pixel detection unit 401 and updates the stored defective pixel information I do.
  • the image conversion unit 403 acquires the coefficient set group from the coefficient storage unit 404 based on the defective pixel information stored in the defective pixel information storage unit 402, and normality in the pixel output information supplied from the imaging unit 121 (221) A restoration operation is performed using the pixel output of the pixel output unit and the acquired coefficient set group to generate an image signal of a restored image.
  • the image conversion unit 403 outputs the generated image signal of the restored image to the camera signal processing unit 501.
  • the restored image is an image that allows the subject to be visually recognized.
  • the coefficient storage unit 404 stores, in advance, a coefficient set group used for an operation for restoring an image signal indicating a captured image from pixel output information.
  • the camera signal processing unit 501 generates an image signal for each color component when a color sensor configured with a pixel output unit for each color component is used as the imaging unit 121 (221). Also, the camera signal processing unit 501 performs gamma correction, white balance adjustment, and the like. The camera signal processing unit 501 outputs the processed image signal to the recording / reproducing unit 301, the display unit 502, and the output unit 503.
  • the display unit 502 is configured using a liquid crystal display element, an organic EL display element, or the like, and is used as an image signal output from the camera signal processing unit 501 or an image signal read from the recording medium by the recording and reproducing unit 301. Based on this, an image or the like indicating the subject imaged by the imaging unit 121 (221) is displayed. In addition, the display unit 502 may perform menu display of the imaging device 50 or display indicating a setting state or an operation state.
  • the output unit 503 is any of the pixel output information generated by the imaging unit 121 (221), the image signal output from the camera signal processing unit 501, and the pixel output information read from the recording medium by the recording / reproducing unit 301 or defective pixel information. Select output and output to the outside.
  • the output unit 503 may compress the image signal in a predetermined compression format such as JPEG (Joint Photographic Experts Group) or GIF (Graphics Interchange Format), for example, and then output the image signal to the outside. .
  • the user interface (I / F) unit 504 includes operation buttons, operation switches, and the like, generates an operation signal according to a user operation, and outputs the operation signal to the control unit 505.
  • the control unit 505 may control each unit based on the operation signal from the user interface unit 504 such that the operation of the imaging device 50 becomes an operation according to the user operation. For example, the control unit 505 causes the image conversion unit 403 to use the coefficient set corresponding to the subject distance set by the user from the coefficient set stored in the coefficient storage unit 404 to display the formed image of the subject distance on the display unit 502 Control each part as you do. Further, by adjusting the subject distance so that the contrast of a desired subject is maximized in the image signal generated by the image conversion unit 403, it is possible to realize a function as so-called auto focus.
  • the detection of the defect may be performed in a manufacturing process or at a stage before shipment after the manufacture of the imaging device, and information indicating the detected defective pixel output unit may be stored in advance in the defective pixel information storage unit 402.
  • the detection of defects in the manufacturing process may be performed using an inspection apparatus.
  • detection of defects after shipment of the imaging apparatus, that is, step ST2 in FIG. 16 is performed, for example, at the time of startup after power on prior to shooting with recording operation of still images and moving images. It is also good.
  • the restored image is a visible light image
  • the restored image is not limited to a visible light image, and for example, an imaging device whose sensitivity region is an infrared region is used as an imaging device. It may be an infrared image or the like obtained by Moreover, although the above-mentioned embodiment demonstrated the case where an image pick-up element was an area sensor, an image pick-up element may be a line sensor.
  • the imaging device of the present technology can acquire the image signal of the subject image without using an imaging lens, it is not only a single camera used for photographing a person, a landscape, etc., but also has a small installation space for the imaging device. It can be used in areas where space and size are required.
  • the imaging device when used as a surveillance camera or a car-mounted camera, the imaging device can be installed even in a place where the installation space is small, so that the degree of freedom of installation and the like can be enhanced.
  • the medical camera when used as a medical camera such as an endoscope, the medical camera can be easily miniaturized.
  • the series of processes described in the specification can be performed by hardware, software, or a combination of both.
  • a program recording the processing sequence is installed and executed in a memory in a computer incorporated in dedicated hardware.
  • the program can be installed and executed on a general-purpose computer that can execute various processes.
  • the program can be recorded in advance on a hard disk or a solid state drive (SSD) as a recording medium, or a read only memory (ROM).
  • the program may be a flexible disk, a compact disc read only memory (CD-ROM), a magneto optical (MO) disc, a digital versatile disc (DVD), a BD (Blu-Ray Disc (registered trademark)), a magnetic disc, a semiconductor memory card Etc.
  • CD-ROM compact disc read only memory
  • MO magneto optical
  • DVD digital versatile disc
  • BD Blu-Ray Disc
  • magnetic disc a semiconductor memory card Etc.
  • Such removable recording media can be provided as so-called package software.
  • the program may be installed from the removable recording medium to the computer, or may be transferred from the download site to the computer wirelessly or by wire via a network such as a LAN (Local Area Network) or the Internet.
  • the computer can receive the program transferred in such a manner, and install the program on a recording medium such as a built-in hard disk.
  • the effect described in this specification is an illustration to the last, is not limited, and may have an additional effect which is not described.
  • the present technology should not be construed as being limited to the embodiments of the above-described technology.
  • the embodiments of this technology disclose the present technology in the form of exemplification, and it is obvious that those skilled in the art can modify or substitute the embodiments within the scope of the present technology. That is, in order to determine the gist of the present technology, the claims should be taken into consideration.
  • the information processing device of the present technology can also have the following configuration.
  • the plurality of pixel output units for receiving subject light incident without any of the imaging lens and the pinhole are provided, and pixel outputs of at least two of the pixel output units among the plurality of pixel output units are: The pixel output excluding the pixel output from the defective pixel output unit among the plurality of pixel outputs which are output from the image pickup element in which the incident angle directivity is modulated according to the incident angle of the subject light and the incident angle directivity is different
  • An information processing apparatus comprising: an image conversion unit that generates a restored image using (2) The information processing apparatus according to (1), wherein the image conversion unit generates the restored image by performing a restoration operation using the pixel output.
  • the image conversion unit uses pixel outputs of a plurality of pixel output units excluding the defective pixel output unit, and a coefficient set group corresponding to each of the plurality of pixel output units excluding the defective pixel output unit.
  • the image conversion unit changes the coefficient set group according to a position of the defective pixel output unit.
  • the defective pixel detection unit sets, as a defective pixel output unit, a pixel output unit which outputs a pixel output of a signal level indicating a value larger than the upper limit of the threshold range or smaller than the lower limit of the threshold range (5)
  • the information processing apparatus according to (7), wherein the threshold range is set based on the statistic excluding the pixel output generated in a detected defective pixel output unit.
  • Each of the plurality of pixel output units is configured of one photodiode, The at least two pixel output units each have a light shielding film that blocks the incidence of the subject light on the photodiode, The information processing apparatus according to any one of (1) to (9), wherein the range in which the light from the subject light is blocked by the light shielding film is different between the at least two pixel output units.
  • Each of the plurality of pixel output units is composed of a plurality of photodiodes, The information processing apparatus according to any one of (1) to (9), wherein incident positions of incident light from the subject to the plurality of photodiodes are different from one another in the at least two pixel output units.
  • the plurality of pixel output units for receiving the subject light incident without passing through any of the imaging lens and the pinhole are provided.
  • the pixel output of at least two of the pixel output units among the units is a plurality of pixels output from the imaging element whose incident angle directivity is modulated according to the incident angle of the subject light and made different incident angle directivity
  • a restored image is generated using the pixel output excluding the pixel output from the defective pixel output unit among the outputs. Therefore, the captured image can be restored with high accuracy based on the subject light incident without passing through either the imaging lens or the pinhole. Therefore, it is suitable for use in a place where the installation space of the imaging device is small or in a field where miniaturization is required.

Landscapes

  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

撮像部１２１（２２１）の撮像素子は、撮像レンズ及びピンホールのいずれも介さず入射する被写体光を受光する複数の画素出力単位を備え、複数の画素出力単位のうちの少なくとも２つの画素出力単位の画素出力が、被写体光の入射角に応じて入射角指向性が変調されて異なる入射角指向性とされている。欠陥画素検出部４０１は、撮像部の画素出力に基づき撮像素子の欠陥画素を検出する。例えば欠陥画素検出部は、閾値範囲よりも大きいまたは小さい値を示す信号レベルの画素出力を出力した画素を欠陥画素とする。画像変換部４０３は、欠陥画素を除く画素毎に生成された画素出力と係数記憶部４０４に記憶されている係数セットを用いて復元演算を行い、復元画像を生成する。撮像レンズ及びピンホールのいずれも介さず入射する被写体光に応じて生成された画素出力情報から撮像画を精度よく復元できるようになる。

Description

情報処理装置と情報処理方法および撮像装置とプログラム
　本開示は、情報処理装置と情報処理方法および撮像装置とプログラムに関し、撮像レンズ及びピンホールのいずれも介さず入射する被写体光に応じて生成された画素出力情報から撮像画を精度よく復元できるようにする。
　撮像装置の構成は、撮像レンズと撮像素子とが組み合わされた構成と、ピンホールと撮像素子とが組み合わされた構成が一般的によく知られている。
　撮像レンズと撮像素子とが組み合わされた構成は、現在の大半の撮像装置に採用されており、撮像レンズにより被写体からの光が集光されて撮像素子の撮像面に被写体光学像が結像されて、撮像素子は光電変換によって被写体光学像に応じた画像信号を生成する。このように、撮像レンズと撮像素子とを組み合わせた構成の撮像装置では、撮像レンズの収差による影響が生じると共に、撮像レンズが必須構成となるため撮像装置の小型化には限界がある。
　一方、ピンホールと撮像素子とが組み合わされた構成は、被写体からの光を集光する撮像レンズを用いないために撮像素子の撮像面に到達する光量が少なく、露光時間を長くする、またはゲインを上げるといった処理が必要となる。したがって、一般の使用には耐えるものではなく、特に、高速撮像に適さない。
　そこで、例えば特許文献１では、回折格子からなるフィルタと撮像素子とを組み合わせた構成により、被写体からの光を、回折格子からなるフィルタを介して得られるパターンとして撮像して、撮像結果となるパターンを用いた演算処理により被写体画像を再現する撮像装置が提案されている。また、撮像レンズを用いない撮像素子は、特許文献２や非特許文献１でも提案されている。
国際公開第２０１６／１２３５２９号 特表２０１６-５１０９１０号公報
　ところで、撮像レンズを用いていない上述のような撮像装置は、撮像面に結像された被写体光学像を光電変換することによって画像信号を生成するものではなく、撮像レンズと撮像素子とが組み合わされた撮像装置とは生成される情報が異なる。
　そこで、この技術では、撮像レンズ及びピンホールのいずれも介さず入射する被写体光に応じて生成された画素出力情報から撮像画を精度よく復元できる報処理装置と情報処理方法および撮像装置とプログラムを提供することを目的とする。
　この技術の第１の側面は、
撮像レンズ及びピンホールのいずれも介さず入射する被写体光を受光する前記複数の画素出力単位を備え、前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位の画素出力が、前記被写体光の入射角に応じて入射角指向性が変調されて異なる入射角指向性とされた撮像素子から出力される複数の画素出力のうち、欠陥画素出力単位からの画素出力を除く画素出力を用いて、復元画像を生成する画像変換部
を備える情報処理装置にある。
　この技術において、画像変換部は、撮像素子から出力される複数の画素出力のうち、欠陥画素出力単位からの画素出力を除く画素出力を用いて復元演算を行うことで例えば被写体の視認が可能な復元画像を生成する。撮像素子は、撮像レンズ及びピンホールのいずれも介さず入射する被写体光を受光する複数の画素出力単位のうち、少なくとも２つの前記画素出力単位の画素出力が、被写体光の入射角に応じて入射角指向性が変調されて異なる入射角指向性を有している。復元演算では、例えば欠陥画素単位を除く複数の画素出力単位の画素出力と、欠陥画素出力単位に応じて変更した係数セット群の係数とを用いた連立方程式を解くことで復元画像を生成する。
　欠陥画素出力単位を検出する欠陥画素検出部は、撮像素子の各画素で生成された画素出力を用いて欠陥画素出力単位を検出する。例えば欠陥画素検出部は、画素出力の信号レベルの統計量に基づいて閾値範囲を設定して、閾値範囲の上限よりも大きいまたは前記閾値範囲の下限よりも小さい値を示す信号レベルの画素出力を出力した画素出力単位を欠陥画素出力単位とする。また、閾値範囲は、検出済みの欠陥画素出力単位で生成された画素出力を除いた統計量に基づいて設定してもよい。
　撮像素子は、複数の画素出力単位のうち、少なくとも２つの画素出力単位は、被写体からの入射光の入射角に対する指向性を示す入射角指向性が互いに異なるようにする。例えば、複数の画素出力単位のそれぞれは、１つのフォトダイオードで構成されて、少なくとも２つの画素出力単位は、フォトダイオードへの被写体光の入射を遮る遮光膜をそれぞれ有し、被写体光を遮光膜によって遮る範囲が、少なくとも２つの画素出力単位で互いに異なるようにする。また、複数の画素出力単位のそれぞれは、複数のフォトダイオードで構成されて、少なくとも２つの画素出力単位は、複数のフォトダイオードに対する被写体からの入射光の入射位置が互いに異なるようにしてもよい。
　この技術の第２の側面は、
　撮像レンズ及びピンホールのいずれも介さず入射する被写体光を受光する前記複数の画素出力単位を備え、前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位の画素出力が、前記被写体光の入射角に応じて入射角指向性が変調されて異なる入射角指向性とされた撮像素子から出力される複数の画素出力のうち、欠陥画素出力単位からの画素出力を除く画素出力を用いて、復元画像を生成すること
を含む情報処理方法にある。
　この技術の第３の側面は、
　撮像レンズ及びピンホールのいずれも介さず入射する被写体光を受光する前記複数の画素出力単位を備え、前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位の画素出力が、前記被写体光の入射角に応じて入射角指向性が変調されて異なる入射角指向性とされた撮像素子を用いた撮像部と、
　前記撮像部から出力される複数の画素出力のうち、前記欠陥画素出力単位を示す欠陥画素情報を記憶する欠陥画素情報記憶部と、
　前記欠陥画素情報記憶部に記憶されている前記欠陥画素情報に基づき、前記撮像部から出力される複数の画素出力のうち、欠陥画素出力単位からの画素出力を除く画素出力を用いて、復元画像を生成する画像変換部
を備える撮像装置にある。
　この技術において、撮像部は、撮像レンズ及びピンホールのいずれも介さず入射する被写体光を受光する複数の画素出力単位を備え、複数の画素出力単位のうちの少なくとも２つの画素出力単位の出力画素が、前記被写体光の入射角に応じて入射角指向性が変調されて異なる入射角指向性とされている。また、例えば閾値範囲を予め設定された範囲に設定される、またはライブビュー動作における画素出力に応じて閾値範囲を設定して、閾値範囲よりも大きいまたは小さい値を示す画素出力の信号レベルである画素出力単位を欠陥画素出力単位とする。欠陥画素情報記憶部は、記憶している欠陥画素情報を欠陥画素検出結果に基づいて更新する。画像変換部は、欠陥画素情報記憶部に記憶されている欠陥画素情報に基づき、欠陥画素出力単位からの画素出力を除く画素出力を用いて復元画像を生成する。
　この技術の第４の側面は、
　画像処理をコンピュータで実行させるプログラムであって、
　撮像レンズ及びピンホールのいずれも介さず入射する被写体光を受光する前記複数の画素出力単位を備え、前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位の画素出力が、前記被写体光の入射角に応じて入射角指向性が変調されて異なる入射角指向性とされた撮像素子から出力される複数の画素出力のうち、欠陥画素出力単位からの画素出力を除く画素出力を用いて、復元画像を生成する手順
を前記コンピュータで実行させるプログラムにある。
　この技術によれば、撮像レンズ及びピンホールのいずれも介さず入射する被写体光を受光する前記複数の画素出力単位を備え、前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位の画素出力が、前記被写体光の入射角に応じて入射角指向性が変調されて異なる入射角指向性とされた撮像素子から出力される複数の画素出力のうち、欠陥画素出力単位からの画素出力を除く画素出力を用いて復元画像が生成される。したがって、撮像レンズ及びピンホールのいずれも介さず入射する被写体光に基づき撮像画を精度よく復元できるようになる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
撮像レンズを用いた場合の撮像の原理を説明するための図である。 ピンホールを用いた場合の撮像の原理を説明するための図である。 撮像レンズやピンホールを設けていない場合を説明するための図である。 撮像部の構成を例示した図である。 撮像部１２１の構成例を示した図である。 撮像部１２１の第２の構成例を示す図である。 入射角指向性を説明するための図である。 撮像部の他の構成を示した図である。 白黒パターンマスクを用いた場合を示す図である。 光干渉マスクを用いた場合を示す図である。 撮像素子の変形例を示す図である。 情報処理装置の構成を示した図である。 各画素出力単位における入射光に応じた検出値と画素値の算出を説明するための図である。 被写体面の点光源の光強度と撮像部の検出値と関係を一般化して示している。 ベクトルｘの算出式を示す図である。 情報処理装置の動作を示すフローチャートである。 撮像装置の構成を例示した図である。
　以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
　１．撮像の概要
　２．撮像部の構成
　３．撮像部の他の構成　
　４．情報処理装置の構成と動作
　５．撮像装置の構成と動作
　＜１．撮像の概要＞
　全ての被写体は点光源の集合であると考えることができ、あらゆる方向に光が出射されている。したがって、点光源より発する光をどのように撮像するのかについて考えることで、撮像の原理を説明することができる。
　図１は、撮像レンズを用いた場合の撮像の原理を説明するための図である。図１の（ａ）に示すように、被写体面ＯＰにおける被写体は、例えば点光源ＰＡ，ＰＢ，ＰＣとする。点光源ＰＡから出射された光線は撮像レンズＬＮＺによって撮像面ＩＰにおける位置Ｐａに集光される。なお、撮像レンズＬＮＺは、同じ方向から入射した被写体光を互いに隣接する画素の双方へ入射させるための集光機能を有するレンズである。同様に、点光源ＰＢ（ＰＣ）から出射された光線は撮像レンズＬＮＺによって撮像面ＩＰにおける位置Ｐｂ（Ｐｃ）に集光される。位置Ｐａの素子では、点光源ＰＡからの光線の強度に応じた画素出力が得られる。同様に、位置Ｐｂ（Ｐｃ）の素子では、点光源ＰＢ（ＰＣ）からの光線の強度に応じた画素出力が得られる。したがって、各画素の画素出力を用いて被写体面ＯＰの点光源ＰＡ，ＰＢ，ＰＣを示す撮像画の画像信号を生成できる。なお、図１の（ｂ）では、縦軸が撮像面ＩＰにおける位置を表し、横軸が各位置の撮像素子における光強度に基づいた検出値である。例えば、位置Ｐａでは検出値ＳＤza、位置Ｐｂでは検出値ＳＤzb、位置Ｐｃでは検出値ＳＤzcであり、「ＳＤzb＞ＳＤza＞ＳＤzc」の場合を例示している。
　図２は、ピンホールを用いた場合の撮像の原理を説明するための図である。ピンホールでは各画素の位置と光の入射角度の関係が一意に決まる。図２の（ａ）に示すように、被写体面ＯＰにおける被写体は例えば点光源ＰＡ，ＰＢ，ＰＣとする。点光源ＰＡから出射された光線は遮光壁ＷＰの穴部ＢＫＨと透過して、撮像面ＩＰにおける位置Ｐａに照射される。同様に、点光源ＰＢ（ＰＣ）から出射された光線は穴部ＢＫＨと透過して、撮像面ＩＰにおける位置Ｐｂ（Ｐｃ）に照射される。位置Ｐａの素子では、穴部ＢＫＨを透過した点光源ＰＡからの光線の強度に応じた画素出力が得られる。同様に、位置Ｐｂ（Ｐｃ）の素子では、穴部ＢＫＨを透過した点光源ＰＢ（ＰＣ）からの光線の強度に応じた画素出力が得られる。したがって、各画素の画素出力を用いて被写体面ＯＰの点光源ＰＡ，ＰＢ，ＰＣを示す撮像画の画像信号を生成できる。なお、図２の（ｂ）では、縦軸が撮像面ＩＰにおける位置を表し、横軸が各位置の撮像素子における光強度に基づいた検出値である。例えば、位置Ｐａでは検出値ＳＤpa、位置Ｐｂでは検出値ＳＤpb、位置Ｐｃでは検出値ＳＤpcであり、「ＳＤpb＞ＳＤpa＞ＳＤpc」の場合を例示している。また、穴部ＢＫＨと透過した光線のみで画素出力が生成されることから、検出値は撮像レンズを用いた場合よりも小さくなる。すなわち「ＳＤza＞ＳＤpa，ＳＤzb＞ＳＤpb，ＳＤzc＞ＳＤpc」となる。なお、ピンホールを用いた構成の場合、撮像素子内の各画素の位置と入射する被写体光の入射角の関係は一位に定まる。したがって、ピンホールと従来の撮像素子を用いた構成の場合や先行技術文献で示された他社の方式は、画素出力単位毎に独立して指向性を設定できない。さらに、ピンホールと撮像素子との構成からなる撮像装置は、撮像レンズを設ける必要がないので、撮像レンズと撮像素子との構成からなる撮像装置よりも装置構成を小さくすることができる可能性があるが、撮像される画像の明るさが十分でないため、ある程度の明るさの画像を撮像できるように露光時間を長くする、または、ゲインを上げる等が必須となり、高速な被写体の撮像においてはボケが生じ易くなる、または、自然な色表現ではなくなる恐れがある。
　図３は、撮像レンズやピンホールを設けていないレンズレスの構成で、通常の撮像素子を用いた場合を説明するための図である。図３の（ａ）に示すように、点光源ＰＡ，ＰＢ，ＰＣから出射された光線は、位置Ｑａ，Ｑｂ，Ｑｃのそれぞれに入射することになる。また、図３の（ｂ）では、縦軸が撮像面ＩＰにおける位置を表し、横軸が各位置の画素における光強度に基づいた検出値であり、位置Ｑａ，Ｑｂ，Ｑｃの各素子の画素出力は、点光源ＰＡ，ＰＢ，ＰＣからの光線の強度に応じた画素出力となる。例えば、位置Ｑａでは検出値ＳＤsa、位置Ｑｂでは検出値ＳＤsb、位置Ｑｃでは検出値ＳＤscであり、「ＳＤsa≒ＳＤsb≒ＳＤsc」となる。したがって、各画素の画素出力を用いて被写体面ＯＰの点光源ＰＡ，ＰＢ，ＰＣを示す撮像画の画像信号を生成することができない。
　そこで、本技術の撮像部では、撮像レンズ及びピンホールのいずれも介さず入射する被写体光を受光する複数の画素出力単位を備え、複数の画素出力単位のうち、少なくとも２つの画素出力単位の画素出力が、被写体光の入射角に応じて入射角指向性が変調されて異なる入射角指向性とされた撮像素子を用いる構成とする。ここでいう被写体光に対する入射角指向性が異なる特性とは、画素出力単位に対する入射光の入射角度に応じた受光感度特性が異なることである。なお、画素出力単位がどのような単位であるか、後述の説明で明らかにする。
　＜２．撮像部の構成＞
　次に、本技術の情報処理装置で処理する画素出力情報の生成を行う撮像部について説明する。撮像部は、撮像レンズ及びピンホールのいずれも介さず入射する被写体光を受光する複数の画素出力単位を備え、複数の画素出力単位のうち、少なくとも２つの画素出力単位の出力画素は、被写体光の入射角に応じて入射角指向性が変調されて異なる入射角指向性とされた撮像素子を用いて構成する。撮像素子は、各画素出力単位の位置の画素出力からなる１画像の画素出力を取得する。言い換えれば、撮像部は、同じ方向から入射した被写体光を互いに隣接する画素出力単位の双方へ入射させるための集光機能を介さずに入射された被写体光に対して、複数の画素出力単位のうちの少なくとも２つの画素出力単位の出力画素値（画素出力）の持つ入射角指向性が異なり、画素出力単位毎に画素出力を生成する。すなわち、撮像部は撮像レンズフリーの撮像素子によって画素出力単位毎に画素出力を生成する。以下、撮像部は、被写体光に応じた画素出力情報を生成する場合について説明する。
　図４は、本技術の情報処理装置の処理対象である画素出力情報を生成する撮像部の構成を例示している。なお、図４では、撮像部の一部領域例えば水平方向×垂直方向のそれぞれの画素数が６画素×６画素の領域を示している。
　撮像部１２１は、撮像素子の画素（画素出力単位）１２１ａ毎に、フォトダイオードの受光領域の一部であって、画素１２１ａ毎に変調素子である遮光膜１２１ｂが異なる範囲として設けられており、各画素１２１ａに入射する入射光が、入射角度に応じて光学的に変調される。すなわち、撮像部１２１は、画素（画素出力単位）毎の入射光の入射角度に応じた受光感度を異なる感度とすることが可能な構成であり、入射方向に対する指向性すなわち入射角指向性を有することになる。したがって、画素１２１ａ毎に異なる範囲に遮光膜１２１ｂを設けることにより、画素１２１ａ毎に入射光の入射角度に対する受光感度が異なるものとなり、各画素１２１ａが異なる入射角指向性を有するようになる。
　例えば画素１２１ａ-1と画素１２１ａ-2とでは、設けられている遮光膜１２１ｂ-1と遮光膜１２１ｂ-2との画素内を遮光する範囲が異なる（遮光する領域（位置）、および遮光する面積の少なくともいずれかが異なる）。すなわち、画素１２１ａ-1においては、フォトダイオードの受光領域における左側の一部を所定の幅だけ遮光するように遮光膜１２１ｂ-1が設けられており、画素１２１ａ-2においては、受光領域における右側の一部を、遮光膜１２１ｂ-1よりも水平方向に広い幅だけ遮光するように遮光膜１２１ｂ-2が設けられている。また、その他の画素１２１ａにおいても、同様に、遮光膜１２１ｂが、画素毎に受光領域内における異なる範囲が遮光されるように設けられており、画素アレイ内でランダムに配置されている。この撮像素子は、画素１２１a単位で遮光幕の幅や位置を独立して設定（設計）することが可能な構成であるため、画素１２１a単位で独立して入射角指向性を設定可能な構成となり、出力画素値としても、各画素１２１a毎に独立して入射角指向性を設定可能な構成を有することになる。
　なお、遮光膜１２１ｂの範囲は、各画素の受光領域を覆い隠す割合が大きくなるほど、受光できる光量が少ない状態となるため、所定の光量が確保できる程度の面積とすることが望ましい。また、撮像素子の全ての画素１２１aについて遮光幕を設けなくてもよい。
　次に、撮像部の構成について説明する。図５は、撮像部１２１の構成例を示しており、図５の（ａ）は、撮像部１２１の側面断面図であり、図５の（ｂ）は、撮像部１２１の構成例における上面図である。なお、図５の（ａ）の側面断面図は、図５の（ｂ）におけるＡＢ断面である。
　撮像部１２１においては、図の上方から下方に向けて入射光Ｌが入射する。隣接する画素１２１ａ-15，１２１ａ-16は、それぞれ図中の最下層に配線層Ｚ12が設けられており、その上に光電変換層Ｚ11が設けられて、いわゆる裏面照射型の構成となっている。
　なお、画素１２１ａ-15，１２１ａ-16を区別する必要がない場合、単に、画素１２１ａと称し、他の構成についても、同様に称する。また、図５においては、撮像部１２１の画素アレイを構成する２画素分の側面図および上面図となっているが、いうまでもなく、これ以上の数の画素１２１ａが配置されているが、図では省略している。
　さらに、画素１２１ａ-15，１２１ａ-16は、それぞれ光電変換層Ｚ11にフォトダイオード１２１ｅ-15，１２１ｅ-16を備えている。また、フォトダイオード１２１ｅ-15，１２１ｅ-16の上には、それぞれ上からオンチップレンズ１２１ｃ-15，１２１ｃ-16、およびカラーフィルタ１２１ｄ-15，１２１ｄ-16が構成されている。
　オンチップレンズは、画素出力単位毎に設けられ、自身に入射する被写体光を対応する画素出力単位のみに集光する機能を有するレンズである。例えば、オンチップレンズ１２１ｃ-15，１２１ｃ-16は、入射光をフォトダイオード１２１ｅ-15，１２１ｅ-16上に集光させる。
　カラーフィルタ１２１ｄ-15，１２１ｄ-16は、例えば、赤色、緑色、青色、赤外等のいずれか特定波長の光を透過させるフィルタである。また、カラーフィルタ１２１ｄ-15，１２１ｄ-16は透明であってもよく、カラーフィルタを用いない構成としてもよい。
　画素１２１ａ-15，１２１ａ-16の光電変換層Ｚ11における、それぞれ画素間の境界には、遮光膜１２１ｂ-15，１２１ｂ-16と素子分離膜１２１ｓが形成されている。遮光膜１２１ｂ-15，１２１ｂ-16は、図５の（ａ）で示されるように、側面から見てＬ字型に構成されており、フィルタ面側に設けられた入射光遮光部１２１ｂ-15ａ，１２１ｂ-16ａと、フィルタ面に対して鉛直方向に形成された分離部１２１ｂ-15b，１２１ｂ-16bを有している。また、図５の（ｂ）で示されるように、上面から見て遮光膜１２１ｂ-15，１２１ｂ-16の入射光遮光部が受光面Ｓを遮光している。画素１２１ａ-15，１２１ａ-16におけるフォトダイオード１２１ｅ-15，１２１ｅ-16の受光面Ｓにおいては、遮光膜１２１ｂ-15，１２１ｂ-16の入射光遮光部１２１ｂ-15ａ，１２１ｂ-16ａにより、それぞれ異なる範囲が遮光されており、これにより画素（画素出力単位）毎に異なる入射角指向性が設定される。ただし、遮光される範囲は、撮像部１２１の全画素１２１ａのそれぞれにおいて異なることが場合に限らず、一部で同一の範囲が遮光される画素１２１ａが存在していてもよい。
　また、素子分離膜１２１ｓは、遮光膜１２１ｂ-15，１２１ｂ-16の分離部１２１ｂ-15b，１２１ｂ-16bと対向して設けられており、遮光膜１２１ｂ-15，１２１ｂ-16の分離部や素子分離膜１２１ｓによって、隣接する画素間のクロストーク、例えば、図５の（ａ）における入射光Ｌについて、隣接する画素間のクロストークが抑制される。
　遮光膜１２１ｂ-15，１２１ｂ-16および乃至素子分離膜１２１ｓは、金属により構成されており、例えば、タングステン（W）、アルミニウム（Al）、またはアルミニウム（Al）と銅（Cu）との合金より構成される。また、遮光膜１２１ｂ-15，１２１ｂ-16および乃至素子分離膜１２１ｓは、半導体プロセスにおける配線が形成されるプロセスと同一のプロセスで、配線と同一の金属により同時に形成されるようにしてもよい。さらに、遮光膜１２１ｂ-15，１２１ｂ-16および乃至素子分離膜１２１ｓの膜厚は、位置に応じて同一の厚さにしなくてもよい。なお、図４，５の例では、１つの画素が１つの画素出力単位に相当する。
　図６は、撮像部１２１の第２の構成例を示す図である。図６の（ａ）は、第２の構成例である撮像部１２１の画素１２１ａの側面断面図を示しており、図６（ｂ）は、撮像部１２１の上面図を示している。また、図６の（ａ）に示す側面断面図は、図６の（ｂ）におけるＡＢ断面となる。
　図６に示すように、撮像部１２１は、画素１２１ａにおいて、４つのフォトダイオード１２１ｆ-1乃至１２１ｆ-4が形成されて、素子分離膜１２１ｓが、フォトダイオード１２１ｆ-1乃至１２１ｆ-4同士を分離する領域に形成されている点で、図５の撮像部１２１と異なる構成となっている。すなわち、図６の撮像部１２１では、上面から見て素子分離膜１２１ｓが「＋」形状に形成されている。「＋」形状の交点位置は、４つのフォトダイオードの受光面のサイズが等しくなるように、図６に示すように画素１２１ａの中央位置としてもよく、交点位置を画素１２１ａの中央位置から移動して、画素１２１ａは受光面のサイズが異なるフォトダイオードを有する構成、すなわち、交点位置を移動したものと移動しないものとで異なる特性の画素出力単位を有した構成としてもよい。なお、それらの共通の構成については同一の符号を付し、詳細な説明は省略する。
　図６のように構成された撮像部１２１では、素子分離膜１２１ｓによりフォトダイオード１２１ｆ-1乃至１２１ｆ-4に分離することによって、フォトダイオード１２１ｆ-1乃至１２１ｆ-4間の電気的および光学的なクロストークを防止することができる。
　すなわち、図５の撮像部では、１つの画素出力単位に対して１つのフォトダイオードを設けて、各画素（画素出力単位）の遮光膜１２１ｂによる遮光の状態を画素単位で異なるものとすることで、画素毎の入射角指向性が異なるように構成している。なお、図５の撮像部では、１つの画素が画素出力単位に相当する。また、図６の撮像部では、１つの画素出力単位に対して４つのフォトダイオードを設けて、４つのフォトダイオードのうち、出力画素単位に寄与するフォトダイオードを画素出力単位毎に異なるものとすることで、画素出力単位毎に独立して異なる入射角指向性を持たせる（設定する）ことができる。例えば、フォトダイオード１２１ｆ－１とフォトダイオード１２１ｆ－２で得られる信号を加算して出力画素情報を生成すれば、出力画素情報は横方向の入射角指向性を持つ情報となり、フォトダイオード１２１ｆ－１とフォトダイオード１２１ｆ－３で得られる信号を加算して出力画素情報を生成すれば、出力画素情報は縦方向の入射角指向性を持つ情報となる。
　なお、寄与の有無は、各フォトダイオードの検出値をフローティングディフュージョンに読み出すか否かや、電子シャッター機能を用いてフローティングディフュージョンへの読み出しの前にフォトダイオードに蓄積された検出値（電荷）をリセットすること等で実現することができる。また、電子シャッター機能を用いる場合、フォトダイオード１２１ｆで生成した電荷のフローティングディフュージョンへの読み出しの直前にリセットをすれば、そのフォトダイオード１２１ｆは出力画素単位への寄与がない状態とすることができ、リセットとフローティングディフュージョンへの読み出しの間の時間を持たせれば、部分的に寄与をさせることもできる。なお、図６の撮像部では、４つのフォトダイオードから１つの出力画素値が得られるので、４つのフォトダイオードで１つの画素出力単位を構成することになる。
　次に、入射角指向性について説明する。図７は撮像部１２１における画素出力単位の入射角指向性を説明するための図である。図７の（ａ）（ｂ）において、上方の入射方向より入射光を集光するオンチップレンズ１２１ｃ-11（１２１ｃ-12）、所定の波長の光を透過させるカラーフィルタ１２１ｄ-11（１２１ｄ-12）、および光電変換により画素信号を生成するフォトダイオード１２１ｅ-11（１２１ｅ-12）の順に積層されている。
　なお、オンチップレンズ１２１ｃ-11，１２１ｃ-12、カラーフィルタ１２１ｄ-11，１２１ｄ-12、およびフォトダイオード１２１ｅ-11，１２１ｅ-12の、それぞれを区別する必要がない場合、単に、オンチップレンズ１２１ｃ、カラーフィルタ１２１ｄ、およびフォトダイオード１２１ｅと称するものとする。
　撮像部１２１では、入射光を受光する領域の一部を遮光する、例えば、メタル配線などより構成される遮光膜１２１ｂ-11（１２１ｂ-12）が設けられている。
　図７の（ａ）で示すように、フォトダイオード１２１ｅ-11の右側半分を遮光するような遮光膜１２１ｂ-11が設けられている場合、フォトダイオード１２１ｅ-11の検出値は、図７の（ｃ）における実線の波形で示されるように、入射光の入射角度θに応じてフォトダイオード１２１ｅ-11の検出値が変化する。なお、図７の（ｃ）においては、横軸が入射角度θであり、縦軸がフォトダイオード１２１ｅにおける検出値を示している。
　すなわち、入射角度θが大きいほど（入射方向が図中の右側に寄っているほど）、遮光膜１２１ｂ-11が設けられていない範囲に光が入射することで、フォトダイオード１２１ｅ-11の検出値が大きくなる。逆に、入射角度θが小さいほど（入射方向が図中の左側に寄っているほど）、遮光膜１２１ｂ-11が設けられている範囲に光が入射することで、フォトダイオード１２１ｅ-11の検出値が小さくなる。
　また、図７の（ｂ）で示すように、フォトダイオード１２１ｅ-12の左側半分を遮光するような遮光膜１２１ｂ-12が設けられている場合、図７の（ｃ）における点線の波形で示されるように、入射光の入射角度θに応じてフォトダイオード１２１ｅ-12の検出値が変化する。
　すなわち、入射角度θが大きいほど（入射方向が図中の右側に寄っているほど）、遮光膜１２１ｂ-12が設けられている範囲に光が入射することで、フォトダイオード１２１ｅ-12の検出値が小さくなる。逆に、入射角度θが小さいほど（入射方向が図中の左側に寄っているほど）、遮光膜１２１ｂ-12が設けられていない範囲に光が入射することで、フォトダイオード１２１ｅ-12の検出値が大きくなる。
　図７の（ｃ）に示される入射角度θに応じた検出値の変化を示す実線および点線で示される波形は、遮光膜１２１ｂ-11，１２１ｂ-12の範囲に応じて変化させることができるので、これにより画素出力単位で相互に異なる入射角指向性を持たせることが可能となる。ここでいう入射角指向性とは、入射角度θに応じた各画素出力単位の検出値の変化の特性であるが、これは入射角度θに応じた遮光レベルの変化の特性であるとも言える。すなわち、遮光膜１２１ｂ-11，１２１ｂ-12は、特定の方向の入射光は高いレベルで遮光するが、特定方向以外の方向からの入射光は十分に遮光できない。すなわち、入射光が入射角度に応じて光学的に変調されて、遮光できるレベルの変化が、図７の(ａ)で示されるような入射角度θに応じた検出値の変化を生じさせる。したがって、画素出力単位毎に異なる入射角指向性を持たせることができる。
　また、撮像部の第２の構成例のように１個のオンチップレンズ１２１ｃに４つのフォトダイオードを設けるようにした場合も同様に、４つのフォトダイオードのうち、画素出力に寄与するフォトダイオードを画素出力単位毎に異なるものとすることで、画素出力単位毎に異なる入射角指向性を持たせることができる。
　なお、上述の撮像部１２１は、オンチップレンズが設けられている場合を例示したが、オンチップレンズを用いることなく上述のような構成としても、画素出力単位毎に異なる入射角指向性を持たせることができる。
　＜３．撮像部の他の構成＞
　ところで撮像部は、画素出力単位毎に独立して設定可能な遮光膜を用いたり、寄与するフォトダイオードの数を変更したり、複数のフォトダイオードの交点位置を変更することで画素出力単位毎に異なる入射角指向性を持たせる構成に限られない。例えば、撮像部は入射角指向性を互いに異なる特性とするための素子としてランダムな白黒パターンマスクまたは光干渉マスクを用いてもよい。
　図８は、撮像部の他の構成を示している。撮像部２２１は、撮像素子２２２の撮像面ＩＰに対して所定間隔を有するように変調素子であるマスク２２３が撮像素子２２２に固定されており、被写体面ＯＰからの光は、マスク２２３を介して撮像素子２２２の撮像面ＩＰに入射するように構成されている。
　図９は、白黒パターンマスクを用いた場合を示している。図９の（ａ）は、白黒パターンマスクを例示している。白黒パターンマスク２２３BWは、光を透過する白パターン部と光を遮光する黒パターン部をランダムに配置した構成であり、パターンサイズは撮像素子２２２の画素サイズと独立に設定されている。図９の（ｂ）は点光源ＰＡから出射された光と点光源ＰＢから出射された光について、撮像面ＩＰに対する照射状態を模式的に示している。また、図９の（ｃ）は、白黒パターンマスク２２３BWを用いた場合の撮像素子の応答を、点光源ＰＡから出射された光と点光源ＰＢから出射された光について個々に模式的に示している。被写体面ＯＰからの光は、白黒パターンマスク２２３BWを介して撮像素子２２２の撮像面ＩＰに入射する。したがって、被写体面ＯＰの点光源ＰＡから出射された光に対応する撮像素子の応答はＳｂｗaとなる。また、被写体面ＯＰの点光源ＰＢから出射された光に対応する撮像素子の応答はＳｂｗbとなる。したがって、撮像素子２２２から出力される画素出力情報は、画素出力単位毎に各点光源の応答を合成した１画像の情報となる。この構成の場合、画素出力単位毎に独立して入射角指向性を設定することができず、近い位置の画素出力単位においては互いに近い入射角指向性を有することになる。
　図１０は、光干渉マスクを用いた場合を示している。図１０の（ａ）に示すように、被写体面ＯＰの点光源ＰＡ，ＰＢから出射された光は、光干渉マスク２２３LFを介して撮像素子２２２の撮像面ＩＰに照射される。光干渉マスク２２３LFの例えば光入射面には、図１０の（ｂ）に示すように光の波長程度の凹凸が設けられている。また、光干渉マスク２２３LFは、鉛直方向から照射された特定波長の光の透過が最大となる。被写体面ＯＰの点光源ＰＡ，ＰＢから出射された特定波長の光の光干渉マスク２２３LFに対する入射角の変化（鉛直方向に対する傾き）が大きくなると光路長が変化する。ここで、光路長が半波長の奇数倍であるときは光が弱めあい、半波長の偶数倍であるときは光が強めあう。すなわち、点光源ＰＡ，ＰＢから出射されて光干渉マスク２２３LFを透過した特定波長の透過光の強度は、図１０の（ｃ）に示すように、光干渉マスク２２３LFに対する入射角に応じた入射角指向性で撮像素子２２２の撮像面ＩＰに入射する。したがって、撮像素子８２２の各出力画素単位から出力される画素出力情報は、光干渉マスク２２３LFを透過した各点光源の変調後の光強度を合成した情報となる。この構成の場合、画素出力単位毎に独立して入射角指向性を設定することができず、近い位置の画素出力単位においては互いに近い入射角指向性を有することになる。
　なお、光学フィルタ２２３BWの代わりに、図１１の光学フィルタ２２３HWを用いるようにしてもよい。光学フィルタ２２３HWは、偏光方向が等しい直線偏光素子２３１Aと直線偏光素子２３１B、及び、λ／２波長板２３２を備え、λ／２波長板２３２は、直線偏光素子２３１Aと直線偏光素子８３１Bの間に挟まれている。λ／２波長板２３２には、光学フィルタ２２３BWの黒パターン部の代わりに、斜線で示される偏光部が設けられ、白パターン部と偏光部がランダムに配置されている。
　直線偏光素子２３１Aは、点光源ＰＡから出射されたほぼ無偏光の光のうち、所定の偏光方向の光のみを透過する。以下、直線偏光素子２３１Aが、偏光方向が図面に平行な光のみを透過するものとする。直線偏光素子２３１Aを透過した偏光光のうち、λ／２波長板２３２の偏光部を透過した偏光光は、偏光面が回転されることにより、偏光方向が図面に垂直な方向に変化する。一方、直線偏光素子２３１Aを透過した偏光光のうち、λ／２波長板２３２の白パターン部を透過した偏光光は、偏光方向が図面に平行な方向のまま変化しない。そして、直線偏光素子２３１Bは、白パターン部を透過した偏光光を透過し、偏光部を透過した偏光光をほとんど透過しない。従って、偏光部を透過した偏光光は、白パターン部を透過した偏光光より光量が減少する。これにより、光学フィルタ２２３BWを用いた場合とほぼ同様の濃淡のパターンを、撮像素子２２２の受光面（撮像面）ＩＰ上に生じさせることができる。
　＜４．情報処理装置の構成と動作＞
　次に、撮像レンズフリーの撮像装置で生成された画素出力情報の処理を行う情報処理装置の構成について説明する。
　図１２は、情報処理装置の構成を示している。情報処理装置４００は、欠陥画素検出部４０１、欠陥画素情報記憶部４０２、画像変換部４０３および係数記憶部４０４を有している。
　欠陥画素検出部４０１は、撮像部１２１（２２１）に生じている欠陥画素出力単位を検出する。欠陥画素出力単位は、同じ光量の光が入射した場合に正常な画素出力単位より信号レベルが低い画素出力単位（「デッドピクセル」ともいう）と同じ光量の光が入射した場合に正常な画素出力単位より信号レベルが高い画素出力単位（「ホットピクセル」ともいう）がある。また、上述したように、撮像レンズを備えていないため、画素出力は画面全体で比較的均一な信号レベルとなることが明らかである。したがって、比較的均一な信号レベルである画素出力が含まれるように、予め閾値範囲を設定してまたは画素出力の統計量に基づき閾値範囲を設定する。画素出力の信号レベルの統計量では、検出済みの欠陥画素出力単位で生成された画素出力を除いて統計量を算出すれば、欠陥画素出力単位の影響を受けることなく閾値範囲を設定できる。欠陥画素検出部４０１は、画素出力の信号レベルが閾値範囲の上限よりも高い画素出力単位をホットピクセルと判別して、画素出力の信号レベルが閾値範囲の下限よりも低い画素出力単位をデッドピクセルと判別する。欠陥画素検出部４０１は、欠陥検出結果を画像変換部４０３へ出力する。なお、撮像レンズを用いた撮像装置のように、遮光状態で撮像して信号レベルが高い画素出力単位をホットピクセル、非遮光状態で一様な明るさの白い被写体等を撮像して他の画素出力単位よりも信号レベルが低い画素出力単位をデッドピクセルとして検出してもよい。
　画像変換部４０３は、欠陥画素検出部４０１の欠陥検出結果に基づき、欠陥画素出力単位でない画素出力単位（以下「正常画素出力単位」という）の画素出力と係数記憶部４０４に記憶されている係数セットから正常画素出力単位の係数を用いて復元演算を行い、復元画像の画像信号を生成する。すなわち、撮像部１２１（２２１）で生成された画素出力情報は、上述したように入射角指向性に応じた画素信号となるので、目視により被写体を認識することができない視認不可能な情報である。したがって、画像変換部は、正常画素出力単位の画素出力と係数記憶部４０４に記憶されている係数セットから正常画素出力単位の係数を用いて復元演算を行い、視認可能な情報すなわち被写体の視認が可能な撮像画の画像信号を生成する。
　ここで、光源と画素出力の関係について説明する。例えば被写体面を構成する光源が点光源であるとした場合、撮像部においては、同一の点光源より発せられた光線が入射角指向性を互いに異なる特性とするための素子を介して撮像面ＩＰに入射されて、撮像面ＩＰの各画素出力単位では、それぞれ異なる入射角指向性の光（例えば入射角度の違いやマスクに応じた光強度の光）が入射されることになる。すなわち、同一の光強度の光線であっても、各画素出力単位で異なる感度で検出されて、画素出力単位毎に異なる検出値として検出される。ここで、入射角指向性の違いを係数で表現した場合、各画素出力単位における入射光に応じた検出値は、入射光の光強度に対して、入射角指向性に応じた係数を乗じることで求められるものとなる。
　図１３は、各画素出力単位における入射光に応じた検出値と画素値の算出を説明するための図である。例えば、図１３の（ａ）に示すように、撮像部１２１は、被写体面ＯＰの点光源ＰＡ，ＰＢ，ＰＣを撮像する。図１３の（ｂ）は撮像面上の位置と検出値の関係を例示している。ここで、位置Ｑａ，Ｑｂ，Ｑｃにおける検出値ＳＤＡ，ＳＤＢ，ＳＤＣは、それぞれ以下の式（１）乃至式（３）で表される。
　ＳＤＡ＝α１×ａ＋β１×ｂ＋γ１×ｃ　　・・・（１）
　ＳＤＢ＝α２×ａ＋β２×ｂ＋γ２×ｃ　　・・・（２）
　ＳＤＣ＝α３×ａ＋β３×ｂ＋γ３×ｃ　　・・・（３）
　ここで、α１は、撮像面ＩＰの位置Ｑａにおける点光源ＰＡからの光線の入射角度に応じた入射角指向性を表現しており光強度ａに対する係数である。
　同様に、β１は、撮像面ＩＰの位置Ｑａにおいて、復元する被写体面ＯＰの点光源ＰＢからの光線の入射角度に応じた入射角指向性を表現しており光強度ｂに対する係数であり、γ１は、撮像面ＩＰの位置Ｑａにおける復元する被写体面ＯＰの点光源ＰＣからの光線の入射角度に応じた入射角指向性を表現しており光強度ｃに対する係数である。
　従って、検出値ＳＤＡのうちの（α１×ａ）は、位置Ｑａにおける点光源ＰＡからの光線による検出値を示したものであり、位置Ｑａにおける点光源ＰＡからの光線の光強度ａに、その入射角度に応じた入射角指向性を示す係数α１が乗じられたものである。
　また、検出値ＳＤＡのうちの（β１×ｂ）は、位置Ｑａにおける点光源ＰＢからの光線による検出値を示したものであり、位置Ｑａにおける点光源ＰＢからの光線の光強度ｂに、その入射角度に応じた入射角指向性を示す係数β１が乗じられたものである。
　さらに、検出値ＳＤＡのうちの（γ１×ｃ）は、位置Ｑａにおける点光源ＰＣからの光線による検出値を示したものであり、位置Ｑａにおける点光源ＰＣからの光線の光強度ｃに、その入射角度に応じた入射角指向性を示す係数γ１が乗じられたものである。
　従って、検出値ＳＤＡは、位置Ｑａにおける点光源ＰＡ，ＰＢ，ＰＣからの光線のそれぞれの光強度ａ，ｂ，ｃと、係数α１，β１，γ１との積和として表現される。なお、１つの検出値の算出に用いる係数のセット例えば係数α１，β１，γ１を係数セットとする。
　位置Ｑｂにおける検出値ＳＤＢについて、係数セット「α２，β２，γ２」は、それぞれ点光源ＰＡにおける検出値ＳＤＡについての係数セット「α１，β１，γ１」に対応するものである。また、位置Ｑｃにおける検出値ＳＤＣについて、係数セット「α３，β３，γ３」は、それぞれ点光源ＰＡにおける検出値ＳＤＡについての係数セット「α１，β１，γ１」に対応するものである。
　また、位置Ｑａ，Ｑｂ，Ｑｃの画素出力単位の検出値は、点光源ＰＡ，ＰＢ，ＰＣのそれぞれより発せられた光線の光強度ａ，ｂ，ｃと係数との積和により表現される値である。このため、これらの検出値は、点光源ＰＡ，ＰＢ，ＰＣのそれぞれより発せられた光線の光強度ａ，ｂ，ｃが入り交じったものとなるので、被写体の像が結像されたものとは異なる。また、位置Ｑａ，Ｑｂ，Ｑｃの画素出力単位の検出値は、点光源ＰＡ，ＰＢ，ＰＣのそれぞれより発せられた光線の光強度ａ，ｂ，ｃが入り交じったものとなるので、各画素出力単位間の検出値の差は撮像レンズを用いた場合に比べて小さく、画面全体で比較的均一な信号レベルとなる。
　位置Ｑａ，Ｑｂ，Ｑｃの画素出力単位の検出値は、上述のように点光源ＰＡ，ＰＢ，ＰＣのそれぞれより発せられた光線の光強度ａ，ｂ，ｃと係数との積和により表現される値である。したがって、この係数α１，β１，γ１，α２，β２，γ２，α３，β３，γ３と、検出値ＳＤＡ，ＳＤＢ，ＳＤＣを用いた連立方程式を構成して光強度ａ，ｂ，ｃを解く、すなわち検出値と係数を用いた復元演算を行うことで、図１３の（ｃ）に示すように、各位置Ｑａ，Ｑｂ，Ｑｃの画素値ＧＰqａ，ＧＰqｂ，ＧＰqｃを求めることができる。また、撮像部１２１を用いた場合に限らず、撮像部２２１を用いた場合にも同様な処理を行うことで、位置Ｑａ，Ｑｂ，Ｑｃの画素出力単位の検出値と係数を用いた復元演算を行い、各位置Ｑａ，Ｑｂ，Ｑｃの画素値ＧＰqａ，ＧＰqｂ，ＧＰqｃを求めることができる。なお、復元演算に用いる複数の係数セット「α１，β１，γ１」「α２，β２，γ２」「α３，β３，γ３」を係数セット群とする。
　すなわち、係数α１，β１，γ１，α２，β２，γ２，α３，β３，γ３は、画素出力から被写体面上の点光源の光強度を算出するための係数セット群であり、被写体距離毎に係数セット群を予め記憶しておき、画素出力と所望の被写体距離に対応する係数セット群を用いて復元演算を行うことで、撮像レンズを用いていない撮像レンズフリーの撮像部１２１（２２１）を用いても、所望の被写体距離にフォーカスがあって被写体を視認できる撮像画を取得できる。
　図１４は、被写体面の点光源の光強度と撮像部の検出値と関係を一般化して示している。例えば、撮像部１２１（２２１）がＮ画素出力単位×Ｎ画素出力単位で、被写体面ＯＰの点光源をＮ個×Ｎ個であるとする。ここで、Ｎ画素出力単位×Ｎ画素出力単位の検出値を１次元のベクトルｙとして、Ｎ個×Ｎ個の点光源の光強度を１次元のベクトルｘとすると、（Ｎ×Ｎ）行×（Ｎ×Ｎ）列の係数セット群である行列Ａ（「係数行列Ａ」ともいう）を用いることで、図１４に示す関係が成立する。
　そこで、画像変換部４０３は、画素出力と係数記憶部４０４に記憶されている係数セット群を用いて復元演算を行い、被写体面ＯＰの光強度を示すベクトルｘすなわち被写体面ＯＰの撮像画を示す画像信号を生成する。
　ところで、図１４の行列式は、両辺に係数行列Ａの逆行列Ａ－１を左から乗じることにより、図１５に示すベクトルｘの算出式に変形される。すなわち、検出値のベクトルｙに逆行列Ａ－１を右から乗じることで、被写体面ＯＰの光強度を示すベクトルｘの各要素を求めことができる。
　しかしながら、現実の係数行列Ａは正確に求められない、係数行列Ａの基底ベクトルが線形従属に近いケースである、検出値にノイズが含まれるといった理由のいずれか、または組み合わせで、連立方程式を解くことができないことがある。
　そこで、様々な誤差に対してロバストな構成を考え、正則化最小二乗法の概念を用いた式（４）によって、ベクトルｘを推定する。
Figure JPOXMLDOC01-appb-M000001
　式（４）において、ｘの上部に「＾」が付されたものはベクトルｘの推定値であることを示している。γはパラメータを示している。また「||ベクトル||」は、ベクトルのノルム（二乗和平方根）を表している。式（４）において、第一項は、図１４の両辺の差を最小にするときのノルムであり、第二項は正則化項である。
　この式（４）をベクトルｘについて解くと、以下の式（５）で表現される。
Figure JPOXMLDOC01-appb-M000002
　ところで、上述のような演算を行いベクトルｘを推定する場合、欠陥画素出力単位の検出値はノイズとなるため、欠陥画素出力単位の検出値が用いられるとベクトルｘの精度が低下する。
　そこで、画像変換部４０３は、欠陥画素記憶部４０４に記憶されている欠陥画素位置を示す欠陥画素情報に基づき係数セット群の変更を行い、変更後の係数セット群を用いて上述の演算を行いベクトルｘを推定する。
　以上のように、画像変換部４０３は欠陥画素出力単位の画素出力を用いることなく復元演算を行うことで、精度よく撮像画の画像信号を生成できるようにする。
　図１６は、情報処理装置の動作を示すフローチャートである。ステップＳＴ１で情報処理装置は画素出力情報を取得する。情報処理装置は、撮像部で生成された画素出力情報を取得してステップＳＴ２に進む。
　ステップＳＴ２で情報処理装置は欠陥画素出力単位を検出する。情報処理装置は、比較的均一なレベルである画素出力が含まれるように閾値範囲を設定して、画素出力が閾値範囲の上限よりも高い画素出力単位をホットピクセルと判別する。また、情報処理装置は、画素出力が閾値範囲の下限よりも低い画素出力単位をデッドピクセルと判別する。情報処理装置は、検出したホットピクセルとデッドピクセルを欠陥画素出力単位と判定してステップＳＴ３に進む。
　ステップＳＴ３で情報処理装置は、欠陥画素出力単位の位置に応じて係数セット群を変更する。情報処理装置は、ステップＳＴ２で検出された欠陥画素出力単位を用いないで復元演算を行うように、係数セット群を変更してステップＳＴ４に進む。
　ステップＳＴ４で情報処理装置は正常画素出力単位の画素出力を用いて復元処理を行う。情報処理装置は、ステップＳＴ２の欠陥画素検出結果に基づき欠陥画素出力単位と判定されていない正常画素出力単位の画素出力と、ステップＳＴ３で欠陥画素出力単位の位置に応じて変更された係数セット群を用いて復元演算を行い、例えば被写体の視認が可能な復元画像を示す画像信号を生成する。
　＜５．撮像装置の構成と動作＞
　次に、情報処理装置を用いた撮像装置の構成と動作について説明する。図１７は、撮像装置の構成を例示している。
　撮像装置５０は、撮像部１２１（２２１）、記録再生部３０１、欠陥画素検出部４０１、欠陥画素情報記憶部４０２、画像変換部４０３、係数記憶部４０４、カメラ信号処理部５０１、表示部５０２、出力部５０３、ユーザインタフェース（Ｉ／Ｆ）部５０４、制御部５０５を有している。
　撮像部１２１（２２１）は、上述のように、入射角指向性を持つ画素出力情報を生成して、記録再生部３０１や欠陥画素検出部４０１、出力部５０３へ出力する。また、撮像部１２１（２２１）は、制御部５０５からの制御信号に基づき撮像動作の制御等を行う。
　記録再生部３０１は、撮像部１２１（２２１）で生成された画素出力情報や後述するカメラ信号処理部５０１で処理された画像信号を記録媒体に記録する。また、記録再生部３０１は、記録媒体に記録されている画素出力情報を読み出して欠陥画素検出部４０１または出力部５０３へ出力する。なお、記録媒体は着脱可能であってもよく、記録再生部３０１に固定して設けてもよい。また、記録再生部３０１は、欠陥画素情報記憶部４０２に記憶されている欠陥画素情報を、撮像部１２１（２２１）で生成された画素出力情報に関連付けてもよい。例えば、記録再生部３０１は、欠陥画素情報を画素出力情報のメタデータとして記録することで、欠陥画素情報の画素出力情報への関連付けを行う。このように、画素出力情報に欠陥画素情報を関連付けることで、画素出力情報から撮像画の画像信号を生成する画像変換をオフライン処理で行うことができる。また、記録再生部３０１は、後述するカメラ信号処理部５０１で処理された画像信号を記録媒体に記録してもよい。さらに、記録再生部３０１は、記録媒体に記録されている画像信号を読み出して、表示部５０２または出力部５０３へ出力してもよい。
　欠陥画素検出部４０１は、撮像部１２１（２２１）の撮像素子の欠陥画素出力単位を検出する。欠陥画素出力単位は、比較的均一な信号レベルである画素出力が含まれるように閾値範囲を設定して、画素出力が閾値範囲の上限よりも高い画素出力単位と閾値範囲の下限よりも低い画素出力単位を欠陥画素出力単位と判別する。欠陥画素検出部４０１は、欠陥検出結果を欠陥画素情報記憶部４０２へ出力する。
　欠陥画素情報記憶部４０２は、欠陥画素検出部４０１の欠陥検出結果に基づき、撮像部１２１（２２１）の欠陥画素出力単位の位置を示す欠陥画素情報の記憶および記憶している欠陥画素情報の更新を行う。
　画像変換部４０３は、欠陥画素情報記憶部４０２に記憶されている欠陥画素情報に基づき係数記憶部４０４から係数セット群を取得して、撮像部１２１（２２１）から供給された画素出力情報における正常画素出力単位の画素出力と、取得した係数セット群を用いて復元演算を行い、復元画像の画像信号を生成する。画像変換部４０３は、生成した復元画像の画像信号をカメラ信号処理部５０１へ出力する。なお、撮像素子の感度領域が可視域を含む場合、復元画像は被写体の視認が可能な画像となる。
　係数記憶部４０４は、画素出力情報から撮像画を示す画像信号を復元するための演算に用いる係数セット群を予め記憶している。
　カメラ信号処理部５０１は、撮像部１２１（２２１）として色成分毎の画素出力単位で構成されたカラーセンサが用いられている場合、色成分毎の画像信号を生成する。また、カメラ信号処理部５０１は、ガンマ補正やホワイトバランス調整等を行う。カメラ信号処理部５０１は、処理後の画像信号を記録再生部３０１や表示部５０２、出力部５０３へ出力する。
　表示部５０２は、液晶表示素子や有機ＥＬ表示素子等を用いて構成されており、カメラ信号処理部５０１から出力された画像信号、または記録再生部３０１で記録媒体から読み出された画像信号に基づき、撮像部１２１（２２１）で撮像された被写体を示す画像等を表示する。また、表示部５０２は、撮像装置５０のメニュー表示や設定状態や動作状態を示す表示を行うようにしてもよい。
　出力部５０３は、撮像部１２１（２２１）で生成された画素出力情報、カメラ信号処理部５０１から出力された画像信号、記録再生部３０１で記録媒体から読み出した画素出力情報と欠陥画素情報のいずれかを選択して外部へ出力する。なお、出力部５０３は、画像信号を出力する場合、例えばJPEG（Joint Photographic Experts Group）やGIF（Graphics Interchange Format）等の所定の圧縮形式で画像信号を圧縮してから外部へ出力してもよい。
　ユーザインタフェース（Ｉ／Ｆ）部５０４は、操作ボタンや操作スイッチ等で構成されており、ユーザ操作に応じた操作信号を生成して制御部５０５へ出力する。
　制御部５０５は、ユーザインタフェース部５０４からの操作信号に基づき、撮像装置５０の動作がユーザ操作に応じた動作となるように各部を制御してもよい。例えば制御部５０５は、係数記憶部４０４に記憶されている係数セットからユーザが設定した被写体距離に対応する係数セットを画像変換部４０３で用いて、被写体距離の結像画像が表示部５０２で表示されるように各部を制御する。また、画像変換部４０３で生成される画像信号において所望の被写体のコントラストが最大となるように被写体距離を調整することで、いわゆるオートフォーカスとしての機能を実現することができる。
　欠陥の検出は、製造工程や撮像装置の製造後の出荷前の段階で行い、検出した欠陥画素出力単位を示す情報が予め欠陥画素情報記憶部４０２に記憶されるようにしておいてもよい。製造工程における欠陥の検出は、検査装置を用いて行うようにしてもよい。また、撮像装置の出荷後における欠陥の検出、すなわち図１６のステップＳＴ２は、例えば静止画や動画の記録動作を伴う撮影に先立つ電源オン後の立ち上げ時や、ライブビュー動作時に行うようにしてもよい。
　なお、上述の実施の形態では、復元画像が可視光画像である場合について説明したが、復元画像は可視光画像に限らず、例えば撮像素子として感度領域が赤外線域とされている撮像素子を用いて取得された赤外線画像等であってもよい。また、上述の実施の形態では、撮像素子がエリアセンサである場合について説明したが、撮像素子はラインセンサであってもよい。また、本技術の撮像装置は、撮像レンズを用いることなく被写体画像の画像信号を取得することができるので、人物や風景等の撮影に用いる単体カメラとしてだけでなく、撮像装置の設置空間が少ない場所や小型化が必要な分野への利用可能である。例えば監視カメラや車載カメラとして用いれば、設置空間が少ない場所でも撮像装置を設置することができるので設置等の自由度を高めることができる。また、内視鏡等メディカルカメラとして用いればメディカルカメラを容易に小型化できる。
　明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
　例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
　また、本技術の情報処理装置は以下のような構成も取ることができる。
　（１）　撮像レンズ及びピンホールのいずれも介さず入射する被写体光を受光する前記複数の画素出力単位を備え、前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位の画素出力が、前記被写体光の入射角に応じて入射角指向性が変調されて異なる入射角指向性とされた撮像素子から出力される複数の画素出力のうち、欠陥画素出力単位からの画素出力を除く画素出力を用いて、復元画像を生成する画像変換部
を備える情報処理装置。
　（２）　前記画像変換部は、前記画素出力を用いて復元演算を行うことで前記復元画像を生成する（１）に記載の情報処理装置。
　（３）　前記画像変換部は、前記欠陥画素出力単位を除く複数の画素出力単位の画素出力と、前記欠陥画素出力単位を除く複数の画素出力単位のそれぞれに対応する係数セット群とを用いた連立方程式を解くことで、前記復元画像を生成する（２）に記載の情報処理装置。
　（４）　前記画像変換部は、前記欠陥画素出力単位の位置に応じて前記係数セット群を変更する（３）に記載の情報処理装置。
　（５）　前記撮像素子の各画素で生成された前記画素出力を用いて前記欠陥画素出力単位を検出する欠陥画素検出部をさらに備える（１）乃至（４）のいずれかに記載の情報処理装置。
　（６）　前記欠陥画素検出部は、閾値範囲の上限よりも大きいまたは前記閾値範囲の下限よりも小さい値を示す信号レベルの画素出力を出力した画素出力単位を欠陥画素出力単位とする（５）に記載の情報処理装置。
　（７）　前記閾値範囲は、前記画素出力の信号レベルの統計量に基づいて設定する（６）に記載の情報処理装置。
　（８）　前記閾値範囲は、検出済みの欠陥画素出力単位で生成された前記画素出力を除いた前記統計量に基づいて設定する（７）に記載の情報処理装置。
　（９）　前記復元画像は、被写体の視認が可能な画像である（１）乃至（８）のいずれかに記載の情報処理装置。
　（１０）　前記複数の画素出力単位のそれぞれは、１つのフォトダイオードで構成され、
　前記少なくとも２つの画素出力単位は、前記フォトダイオードへの前記被写体光の入射を遮る遮光膜をそれぞれ有し、
　前記被写体光を前記遮光膜によって遮る範囲が、前記少なくとも２つの画素出力単位で互いに異なる（１）乃至（９）のいずれかに記載の情報処理装置。
　（１１）　前記複数の画素出力単位のそれぞれは、複数のフォトダイオードで構成され、
　前記少なくとも２つの画素出力単位は、前記複数のフォトダイオードに対する前記被写体からの入射光の入射位置が互いに異なる（１）乃至（９）のいずれかに記載の情報処理装置。
　（１２）　前記複数の画素出力単位は、それぞれ前記被写体光に対する入射指向性を独立に設定可能な構成を有する（１）乃至（１１）のいずれかに記載の情報処理装置。
　この技術の情報処理装置と情報処理方法および撮像装置とプログラムによれば、撮像レンズ及びピンホールのいずれも介さず入射する被写体光を受光する前記複数の画素出力単位を備え、前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位の画素出力が、前記被写体光の入射角に応じて入射角指向性が変調されて異なる入射角指向性とされた撮像素子から出力される複数の画素出力のうち、欠陥画素出力単位からの画素出力を除く画素出力を用いて復元画像が生成される。このため、撮像レンズ及びピンホールのいずれも介さず入射する被写体光に基づき撮像画を精度よく復元できるようになる。したがって、撮像装置の設置空間が少ない場所や小型化が必要な分野への利用に適している。
　１２１，２２１・・・撮像部
　２２２・・・撮像素子
　２２３・・・マスク
　２２３BW・・・白黒パターンマスク
　２２３HW・・・光学フィルタ
　２２３LF・・・光干渉マスク
　２３１A，２３１B・・・直線偏光素子
　２３２・・・λ／２波長板
　３０１・・・記録再生部
　４００・・・情報処理装置
　４０１・・・欠陥画素検出部
　４０２・・・欠陥画素情報記憶部
　４０３・・・画像変換部
　４０４・・・係数記憶部
　５０１・・・カメラ信号処理部
　５０２・・・表示部
　５０３・・・出力部
　５０４・・・ユーザインタフェース（Ｉ／Ｆ）部
　５０５・・・制御部

Claims (20)

  1. 　撮像レンズ及びピンホールのいずれも介さず入射する被写体光を受光する前記複数の画素出力単位を備え、前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位の画素出力が、前記被写体光の入射角に応じて入射角指向性が変調されて異なる入射角指向性とされた撮像素子から出力される複数の画素出力のうち、欠陥画素出力単位からの画素出力を除く画素出力を用いて、復元画像を生成する画像変換部
    を備える情報処理装置。
  2. 　前記画像変換部は、前記画素出力を用いて復元演算を行うことで前記復元画像を生成する
    請求項１に記載の情報処理装置。
  3. 　前記画像変換部は、前記欠陥画素出力単位を除く複数の画素出力単位の画素出力と、前記欠陥画素出力単位を除く複数の画素出力単位のそれぞれに対応する係数セット群とを用いた連立方程式を解くことで、前記復元画像を生成する
    請求項２に記載の情報処理装置。
  4. 　前記画像変換部は、前記欠陥画素出力単位の位置に応じて前記係数セット群を変更する
    請求項３に記載の情報処理装置。
  5. 　前記撮像素子の各画素で生成された前記画素出力を用いて前記欠陥画素出力単位を検出する欠陥画素検出部をさらに備える
    請求項１に記載の情報処理装置。
  6. 　前記欠陥画素検出部は、閾値範囲の上限よりも大きいまたは前記閾値範囲の下限よりも小さい値を示す信号レベルの画素出力を出力した画素出力単位を欠陥画素出力単位とする
    請求項５に記載の情報処理装置。
  7. 　前記閾値範囲は、前記画素出力の信号レベルの統計量に基づいて設定する
    請求項６に記載の情報処理装置。
  8. 　前記閾値範囲は、検出済みの欠陥画素出力単位で生成された前記画素出力を除いた前記統計量に基づいて設定する
    請求項７に記載の情報処理装置。
  9. 　前記復元画像は、被写体の視認が可能な画像である
    請求項１に記載の情報処理装置。
  10. 　前記複数の画素出力単位のそれぞれは、１つのフォトダイオードで構成され、
    　前記少なくとも２つの画素出力単位は、前記フォトダイオードへの前記被写体光の入射を遮る遮光膜をそれぞれ有し、
    　前記被写体光を前記遮光膜によって遮る範囲が、前記少なくとも２つの画素出力単位で互いに異なる
    請求項１に記載の情報処理装置。
  11. 　前記複数の画素出力単位のそれぞれは、複数のフォトダイオードで構成され、
    　前記少なくとも２つの画素出力単位は、前記複数のフォトダイオードに対する前記被写体からの入射光の入射位置が互いに異なる
    請求項１に記載の情報処理装置。
  12. 　前記複数の画素出力単位は、それぞれ前記被写体光に対する入射指向性を独立に設定可能な構成を有する
    請求項１に記載の情報処理装置。
  13. 　撮像レンズ及びピンホールのいずれも介さず入射する被写体光を受光する前記複数の画素出力単位を備え、前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位の画素出力が、前記被写体光の入射角に応じて入射角指向性が変調されて異なる入射角指向性とされた撮像素子から出力される複数の画素出力のうち、欠陥画素出力単位からの画素出力を除く画素出力を用いて、復元画像を生成すること
    を含む情報処理方法。
  14. 　撮像レンズ及びピンホールのいずれも介さず入射する被写体光を受光する前記複数の画素出力単位を備え、前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位の画素出力が、前記被写体光の入射角に応じて入射角指向性が変調されて異なる入射角指向性とされた撮像素子を用いた撮像部と、
    　前記撮像部から出力される複数の画素出力のうち、前記欠陥画素出力単位を示す欠陥画素情報を記憶する欠陥画素情報記憶部と、
    　前記欠陥画素情報記憶部に記憶されている前記欠陥画素情報に基づき、前記撮像部から出力される複数の画素出力のうち、欠陥画素出力単位からの画素出力を除く画素出力を用いて、復元画像を生成する画像変換部
    を備える撮像装置。
  15. 　前記画像変換部は、前記欠陥画素出力単位を除く複数の画素出力単位の画素出力と、前記欠陥画素出力単位を除く複数の画素出力単位のそれぞれに対応する係数セット群とを用いた連立方程式を解くことで、前記復元画像を生成する
    請求項１４に記載の撮像装置。
  16. 　前記画像変換部は、前記欠陥画素出力単位の位置に応じて前記係数セット群を変更する
    請求項１５に記載の撮像装置。
  17. 　前記撮像部で生成された画素出力を用いて前記撮像素子の欠陥画素出力単位を検出する欠陥画素検出部をさらに備え、
    　前記欠陥画素情報記憶部は、記憶している欠陥画素情報を前記欠陥画素検出部の欠陥画素検出結果に基づいて更新する
    請求項１４に記載の撮像装置。
  18. 　前記欠陥画素検出部は、閾値範囲の上限よりも大きいまたは前記閾値範囲の下限よりも小さい値を示す信号レベルの画素出力を出力した画素を欠陥画素とする
    請求項１７に記載の撮像装置。
  19. 　前記閾値範囲は、予め設定された範囲に設定される、またはライブビュー動作における画素出力に応じて設定する
    請求項１８に載の撮像装置。
  20. 　画像処理をコンピュータで実行させるプログラムであって、
    　撮像レンズ及びピンホールのいずれも介さず入射する被写体光を受光する前記複数の画素出力単位を備え、前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位の画素出力が、前記被写体光の入射角に応じて入射角指向性が変調されて異なる入射角指向性とされた撮像素子から出力される複数の画素出力のうち、欠陥画素出力単位からの画素出力を除く画素出力を用いて、復元画像を生成する手順
    を前記コンピュータで実行させるプログラム。
PCT/JP2018/038921 2017-10-19 2018-10-19 情報処理装置と情報処理方法および撮像装置とプログラム WO2019078320A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP18867590.4A EP3700195A4 (en) 2017-10-19 2018-10-19 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, IMAGING DEVICE AND PROGRAM
US16/755,368 US11223787B2 (en) 2017-10-19 2018-10-19 Information processing apparatus, information processing method, and imaging apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017202355 2017-10-19
JP2017-202355 2017-10-19

Publications (1)

Publication Number Publication Date
WO2019078320A1 true WO2019078320A1 (ja) 2019-04-25

Family

ID=66173303

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/038921 WO2019078320A1 (ja) 2017-10-19 2018-10-19 情報処理装置と情報処理方法および撮像装置とプログラム

Country Status (3)

Country Link
US (1) US11223787B2 (ja)
EP (1) EP3700195A4 (ja)
WO (1) WO2019078320A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7247890B2 (ja) * 2017-10-19 2023-03-29 ソニーグループ株式会社 電子機器及び信号処理装置
JP7238887B2 (ja) * 2018-03-29 2023-03-14 ソニーグループ株式会社 情報処理装置、プログラム、及び、情報処理システム
JP7065417B2 (ja) * 2019-06-07 2022-05-12 パナソニックＩｐマネジメント株式会社 画像生成方法、撮像装置、及び、プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016510910A (ja) 2013-03-05 2016-04-11 ラムバス・インコーポレーテッド 高解像度レンズなし光学検知の奇対称を有する位相格子
JP2016092413A (ja) * 2014-10-29 2016-05-23 株式会社半導体エネルギー研究所 撮像装置および電子機器
WO2016123529A1 (en) 2015-01-29 2016-08-04 William Marsh Rice University Lensless imaging system using an image sensor with one or more attenuating layers
WO2018123318A1 (ja) * 2016-12-27 2018-07-05 富士フイルム株式会社 撮像装置及び撮像モジュール

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7627193B2 (en) * 2003-01-16 2009-12-01 Tessera International, Inc. Camera with image enhancement functions
GB0510470D0 (en) 2005-05-23 2005-06-29 Qinetiq Ltd Coded aperture imaging system
EP2311092B1 (en) 2008-07-25 2021-01-27 Cornell University Light field image sensor, method and applications
JP6071333B2 (ja) * 2012-08-27 2017-02-01 キヤノン株式会社 画像処理装置、方法およびプログラム、並びに画像処理装置を有する撮像装置
US20140184861A1 (en) * 2012-12-30 2014-07-03 Todor Georgiev Accurate plenoptic rendering with defocus blur
US9110240B2 (en) 2013-03-05 2015-08-18 Rambus Inc. Phase gratings with odd symmetry for high-resolution lensed and lensless optical sensing
US10362249B2 (en) * 2015-07-31 2019-07-23 Sony Corporation Image capturing device, image capturing method, capable of improving trackability of focus position and focusing accuracy with respect to subject
WO2017095587A1 (en) * 2015-11-30 2017-06-08 Rambus Inc. Systems and methods for improving resolution in lensless imaging
US10482604B2 (en) * 2017-05-05 2019-11-19 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for image processing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016510910A (ja) 2013-03-05 2016-04-11 ラムバス・インコーポレーテッド 高解像度レンズなし光学検知の奇対称を有する位相格子
JP2016092413A (ja) * 2014-10-29 2016-05-23 株式会社半導体エネルギー研究所 撮像装置および電子機器
WO2016123529A1 (en) 2015-01-29 2016-08-04 William Marsh Rice University Lensless imaging system using an image sensor with one or more attenuating layers
WO2018123318A1 (ja) * 2016-12-27 2018-07-05 富士フイルム株式会社 撮像装置及び撮像モジュール

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
M. SALMAN ASIF: "Flatcam: Replacing lenses with masks and computation", 2015 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION WORKSHOP (ICCVW, 2015, pages 663 - 666, XP032865019, DOI: 10.1109/ICCVW.2015.89
See also references of EP3700195A4

Also Published As

Publication number Publication date
US20200314372A1 (en) 2020-10-01
US11223787B2 (en) 2022-01-11
EP3700195A1 (en) 2020-08-26
EP3700195A4 (en) 2020-12-16

Similar Documents

Publication Publication Date Title
US9894302B2 (en) Imaging apparatus, image processing method, and program
CN105306786B (zh) 用于具有相位检测像素的图像传感器的图像处理方法
JP5546229B2 (ja) 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
JP4730082B2 (ja) 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム
KR101824265B1 (ko) 입체 촬상 방법 및 화소 행렬을 서브그룹으로 나눈 시스템
JP7259757B2 (ja) 撮像装置、並びに、画像処理装置および方法
JP2011123589A5 (ja)
WO2019078320A1 (ja) 情報処理装置と情報処理方法および撮像装置とプログラム
JP7259756B2 (ja) 撮像装置および信号処理装置
JP2015144416A (ja) 撮像装置及び撮像装置の制御方法
WO2019078335A1 (ja) 撮像装置および方法、並びに、画像処理装置および方法
US20170339384A1 (en) Image-capturing device, image-processing device, image-processing method, and image-processing program
JPWO2018230119A1 (ja) 撮像装置と撮像素子および画像処理方法
US11631713B2 (en) Information processing device, information processing method, image capturing device, and program
JP2023041751A (ja) 撮像装置及び信号処理装置
WO2014109334A1 (ja) 撮像装置及び画像補正方法並びに画像処理装置及び画像処理方法
WO2019078333A1 (ja) 撮像装置、露出制御方法、プログラム、及び、撮像素子
WO2019189099A1 (ja) 撮像素子、撮像装置、並びに、情報処理方法
JP7147841B2 (ja) 撮像装置および方法、画像処理装置および方法、並びに、撮像素子
US20140009669A1 (en) Control device, control method, and program
JP2012065093A (ja) 撮像装置、撮像方法およびプログラム
Stump Camera Sensors

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18867590

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018867590

Country of ref document: EP

Effective date: 20200519

NENP Non-entry into the national phase

Ref country code: JP