WO2019078336A1 - 撮像装置および信号処理装置 - Google Patents

撮像装置および信号処理装置 Download PDF

Info

Publication number
WO2019078336A1
WO2019078336A1 PCT/JP2018/038943 JP2018038943W WO2019078336A1 WO 2019078336 A1 WO2019078336 A1 WO 2019078336A1 JP 2018038943 W JP2018038943 W JP 2018038943W WO 2019078336 A1 WO2019078336 A1 WO 2019078336A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging device
imaging
pixel
unit
light
Prior art date
Application number
PCT/JP2018/038943
Other languages
English (en)
French (fr)
Inventor
光昭 喜多
佳孝 宮谷
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201880066133.5A priority Critical patent/CN111201779B/zh
Priority to EP18868008.6A priority patent/EP3700192B1/en
Priority to JP2019548811A priority patent/JP7259756B2/ja
Priority to US16/754,586 priority patent/US11431911B2/en
Publication of WO2019078336A1 publication Critical patent/WO2019078336A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14623—Optical shielding
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1463—Pixel isolation structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00095—Systems or arrangements for the transmission of the picture signal
    • H04N1/00103—Systems or arrangements for the transmission of the picture signal specially adapted for radio transmission, e.g. via satellites
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/41—Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/025—Systems for the transmission of digital non-picture data, e.g. of text during the active part of a television frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1464—Back illuminated imager structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14641—Electronic components shared by two or more pixel-elements, e.g. one amplifier shared by two pixel elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0084—Digital still camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3204—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a user, sender, addressee, machine or electronic recording medium
    • H04N2201/3205—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a user, sender, addressee, machine or electronic recording medium of identification information, e.g. name or ID code
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3252—Image capture parameters, e.g. resolution, illumination conditions, orientation of the image capture device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3253—Position information, e.g. geographical position at time of capture, GPS data

Definitions

  • the present disclosure relates to an imaging device and a signal processing device, and more particularly to an imaging device and a signal processing device that can expand the application range of the imaging device.
  • the imaging device which does not use an imaging lens as shown by a nonpatent literature 1 and patent documents 1 and 2 can be miniaturized as there is no imaging lens, and expansion of an application range is expected.
  • the present disclosure has been made in view of such a situation, and is intended to be able to expand the application range of an imaging device.
  • the imaging device receives incident light from an object that is incident without passing through either the imaging lens or the pinhole, and detects an output pixel value modulated by the incident angle of the incident light.
  • an image sensor including one or more pixel output units for outputting one, and outputting a detection signal set including the one or more detection signals, the detection signal set, and a position and orientation indicating at least one of position and orientation
  • a communication unit that transmits imaging data including data to the communication device by wireless communication.
  • the signal processing device receives incident light from an object incident without passing through either the imaging lens or the pinhole, and detects an output pixel value modulated by the incident angle of the incident light.
  • a plurality of the plurality of imaging data respectively included in a plurality of imaging data from a plurality of imaging devices each including one or more pixel output units that output one signal and each including an imaging element that outputs a detection signal set consisting of one or more of the detection signals.
  • a restoration unit is provided that restores a restored image using the detection signal set.
  • At least one detection indicating an output pixel value modulated by an incident angle of the incident light is received by receiving incident light from an object incident without passing through either the imaging lens or the pinhole
  • a detection signal set including a signal is output, and imaging data including position and orientation data indicating at least one of the detection signal set and the position and orientation is transmitted to the communication device by wireless communication.
  • a detection signal indicating an output pixel value modulated by an incident angle of the incident light is received by receiving incident light from an object incident without passing through either the imaging lens or the pinhole.
  • a plurality of detection signal sets respectively included in a plurality of imaging data from a plurality of imaging devices each having one or more pixel output units to output and each having an imaging element that outputs a detection signal set consisting of one or more of the detection signals To restore the restored image.
  • the application range of the imaging device can be expanded.
  • FIG. It is a figure explaining the example of usage of an imaging system of FIG. It is a block diagram which shows 1st Embodiment of the imaging device of FIG. It is a schematic diagram which shows the structural example of the external appearance of 1st Embodiment of the imaging device of FIG. It is a figure which shows the example of the pattern of the pixel array part of the image pick-up element of FIG. It is a figure which shows the example of the pattern of the pixel array part of the image pick-up element of FIG. It is a figure which shows the example of the pattern of the pixel array part of the image pick-up element of FIG. It is a figure which shows the example of the pattern of the pixel array part of the image pick-up element of FIG. It is a block diagram which shows the structural example of the signal processing apparatus of FIG.
  • the imaging device 51 in which the detection sensitivity of each pixel is made to have incident angle directivity is used.
  • incident angle directivity to the detection sensitivity of each pixel means that the light receiving sensitivity characteristic according to the incident angle of incident light to each pixel is different for each pixel.
  • the light receiving sensitivity characteristics of all the pixels do not have to be completely different, and the light receiving sensitivity characteristics of some pixels may be the same.
  • the object plane 31 of the upper left object in FIG. 1 is composed of the point light source PA to the point light source PC, and the point light source PA to the point light source PC respectively emit a plurality of light rays of light intensity a to light intensity c around It shall be.
  • the imaging device 51 includes pixels (hereinafter, referred to as pixels Pa to Pc) having different incident angle directivity at positions Pa to Pc.
  • rays of the same light intensity emitted from the same point light source are made incident on the respective pixels of the image sensor 51.
  • a light beam of light intensity a emitted from the point light source PA is incident on the pixels Pa to Pc of the imaging device 51, respectively.
  • rays emitted from the same point light source are incident at different incident angles for each pixel.
  • light rays from the point light source PA are incident on the pixels Pa to Pc at different incident angles.
  • the incident angle directivity of the pixels Pa to Pc is different from each other, light rays of the same light intensity emitted from the same point light source are detected with different sensitivities in each pixel. As a result, rays of the same light intensity are detected at different detection signal levels for each pixel. For example, detection signal levels for light rays of light intensity a from the point light source PA have different values in the pixels Pa to Pc.
  • the light receiving sensitivity level of each pixel with respect to the light beam from each point light source is determined by multiplying the light intensity of the light beam by a coefficient indicating the light receiving sensitivity (that is, the incident angle directivity) with respect to the incident angle of the light beam.
  • the detection signal level of the pixel Pa with respect to the light beam from the point light source PA multiplies the light intensity a of the light beam of the point light source PA by a coefficient indicating the incident angle directivity of the pixel Pa with respect to the incident angle of the light beam to the pixel Pa It is determined by
  • the detection signal levels DA, DB, DC of the pixels Pc, Pb, Pa are expressed by the following formulas (1) to (3), respectively.
  • DA ⁇ 1 ⁇ a + ⁇ 1 ⁇ b + ⁇ 1 ⁇ c ...
  • DB ⁇ 2 ⁇ a + ⁇ 2 ⁇ b + ⁇ 2 ⁇ c ...
  • DC ⁇ 3 ⁇ a + ⁇ 3 ⁇ b + ⁇ 3 ⁇ c ...
  • the coefficient ⁇ 1 is a coefficient indicating the incident angle directivity of the pixel Pc with respect to the incident angle of the ray from the point light source PA to the pixel Pc, and is set according to the incident angle. Further, ⁇ 1 ⁇ a indicates the detection signal level of the pixel Pc with respect to the light beam from the point light source PA.
  • the coefficient ⁇ 1 is a coefficient indicating the incident angle directivity of the pixel Pc with respect to the incident angle of a ray from the point light source PB to the pixel Pc, and is set according to the incident angle. Further, ⁇ 1 ⁇ b represents the detection signal level of the pixel Pc with respect to the ray from the point light source PB.
  • the coefficient ⁇ 1 is a coefficient indicating the incident angle directivity of the pixel Pc with respect to the incident angle of the light beam from the point light source PC to the pixel Pc, and is set according to the incident angle. Further, ⁇ 1 ⁇ c indicates the detection signal level of the pixel Pc with respect to the ray from the point light source PC.
  • the detection signal level DA of the pixel Pa includes the light intensities a, b and c of the light rays from the point light sources PA, PB and PC at the pixel Pc, and the incident angle directivity according to the respective incident angles. It is obtained by product-sum with coefficients ⁇ 1, ⁇ 1, and ⁇ 1.
  • the detection signal level DB of the pixel Pb is, as shown in equation (2), the respective light intensities a, b and c of the light rays from the point light sources PA, PB and PC in the pixel Pb It is obtained by the product-sum with the coefficients ⁇ 2, ⁇ 2, and ⁇ 2 indicating the incident angle directivity according to the angle.
  • the detection signal level DC of the pixel Pc is, as shown in the equation (3), the respective light intensities a, b and c of the light rays from the point light sources PA, PB and PC at the pixel Pa and the respective incident angles It is determined by product-sum with the coefficients ⁇ 2, ⁇ 2 and ⁇ 2 indicating the incident angle directivity according to
  • the detection signal levels DA, DB, DC of the pixels Pa, Pb, Pc are light of the light beams emitted from the point light sources PA, PB, PC as shown in the equations (1) to (3).
  • the strengths a, b and c are mixed. Therefore, as shown in the upper right of FIG. 1, the detection signal level in the imaging device 51 is different from the light intensity of each point light source on the object plane 31. Therefore, the image obtained by the imaging device 51 is different from that on which the image of the object plane 31 is formed.
  • a set of coefficients for example, coefficients ⁇ 1, ⁇ 1, ⁇ 1 for each of the equations constituting the simultaneous equations is referred to as a coefficient set.
  • a set of a plurality of coefficient sets corresponding to a plurality of equations included in the simultaneous equations for example, coefficient set ⁇ 1, ⁇ 1, ⁇ 1, coefficient set ⁇ 2, ⁇ 2, ⁇ 2, coefficient set ⁇ 3, ⁇ 3, ⁇ 3) Is called a coefficient set group.
  • Patent Document 1 Non-Patent Document 1
  • Patent Document etc. It is possible to realize an imaging device in which the element 51 is an essential component.
  • the imaging lens, the pinhole, and the optical filter described in the patent document and the like do not become an essential component, the height of the imaging device can be reduced, that is, the thickness in the incident direction of light in the configuration realizing the imaging function. It becomes possible to make it thinner.
  • the essential configuration is only the imaging device 51, it is possible to improve the degree of freedom in design.
  • FIG. 2 is a block diagram showing a configuration example of an imaging device 101 which is a basic imaging device to which the technology of the present disclosure is applied.
  • the imaging device 101 includes an imaging element 121, a restoration unit 122, a control unit 123, an input unit 124, a detection unit 125, an association unit 126, a display unit 127, a storage unit 128, a recording and reproduction unit 129, a recording medium 130, and a communication unit. 131 is provided. Further, signal processing and imaging are performed by the restoration unit 122, the control unit 123, the input unit 124, the detection unit 125, the association unit 126, the display unit 127, the storage unit 128, the recording and reproducing unit 129, the recording medium 130, and the communication unit 131.
  • a signal processing control unit 111 that controls the device 101 is configured. Note that the imaging device 101 does not include an imaging lens (imaging lens free).
  • the imaging device 121, the restoration unit 122, the control unit 123, the input unit 124, the detection unit 125, the association unit 126, the display unit 127, the storage unit 128, the recording and reproduction unit 129, and the communication unit 131 are connected via the bus B1. Are connected to each other, and transmit and receive data via the bus B1.
  • the description of the bus B1 in the case where each unit of the imaging apparatus 101 transmits and receives data via the bus B1 is omitted.
  • the input unit 124 supplies data to the control unit 123 via the bus B1
  • the input unit 124 supplies data to the control unit 123.
  • the image pickup device 121 corresponds to the image pickup device 51 described with reference to FIG. 1 and includes a pixel having incident angle directivity, and an image formed of a detection signal indicating a detection signal level corresponding to the amount of incident light. Are output to the restoration unit 122 or the bus B1.
  • the imaging device 121 may have the same basic structure as that of a general imaging device such as a complementary metal oxide semiconductor (CMOS) image sensor.
  • CMOS complementary metal oxide semiconductor
  • the imaging device 121 has a configuration in which the incident angle directivity is given, as will be described later with reference to FIGS. ing.
  • the image sensor 121 varies (changes) the light reception sensitivity in accordance with the incident angle of incident light for each pixel, and has incident angle directivity with respect to the incident angle of incident light in pixel units.
  • the image output from the imaging element 121 is an image constituted by a detection signal in which the image of the subject is not formed as shown in the upper right of FIG. 1 described above, the subject can be visually recognized. Can not. That is, although the detection image which consists of a detection signal which image sensor 121 outputs is a set of pixel signals, it is an image which can not recognize a subject even if a user looks at a subject (it can not see a subject).
  • an image composed of a detection signal on which the image of the subject is not formed, that is, an image captured by the imaging element 121 is referred to as a detected image.
  • the imaging device 121 may not be configured as a pixel array, and may be configured as, for example, a line sensor.
  • the incident angle directivity does not necessarily have to be all different for each pixel, and the incident angle directivity may include the same pixels.
  • the restoration unit 122 corresponds to the subject distance corresponding to the distance from the imaging device 51 to the subject plane 31 (the subject plane corresponding to the restored image) in FIG. 1, for example, and the coefficients ⁇ 1 to ⁇ 3, ⁇ 1 to ⁇ 3, ⁇ 1 described above.
  • the coefficient set group corresponding to ⁇ 3 is acquired from the storage unit 128.
  • the restoration unit 122 uses the detection signal level of each pixel of the detection image output from the imaging device 121 and the acquired coefficient set group to be represented by the above-described Equations (1) to (3). Make simultaneous equations. Then, the reconstruction unit 122 solves the created simultaneous equations to obtain the pixel values of the respective pixels constituting the image on which the image of the subject shown in the lower right of FIG. 1 is formed.
  • an image from which the user can visually recognize and recognize the subject (and can visually recognize the subject) is restored from the detected image.
  • an image restored from the detected image will be referred to as a restored image.
  • the restored image is not an image that can identify the subject as a normal image, but also in this case the restored image It is called.
  • a restored image which is an image in a state in which an image of a subject is formed, and an image before color separation such as demosaicing processing or synchronization processing is referred to as a RAW image
  • the detected image is distinguished as an image according to the array of color filters but not a RAW image.
  • the number of pixels of the imaging device 121 and the number of pixels of the pixels forming the restored image do not necessarily have to be the same.
  • the restoration unit 122 performs demosaicing processing, ⁇ correction, white balance adjustment, conversion processing to a predetermined compression format, and the like on the restored image as necessary. Then, the restoration unit 122 outputs the restored image to the bus B1.
  • the control unit 123 includes, for example, various processors, and controls each unit of the imaging apparatus 101.
  • the input unit 124 includes an input device (for example, a key, a switch, a button, a dial, a touch panel, a remote controller, and the like) for performing an operation of the imaging apparatus 101, an input of data used for processing, and the like.
  • the input unit 124 outputs an operation signal, input data, and the like to the bus B1.
  • the detection unit 125 includes the imaging device 101 and various sensors used to detect the state of the subject and the like.
  • the detection unit 125 may be an acceleration sensor or a gyro sensor that detects the posture or movement of the imaging device 101, a position detection sensor (for example, a GNSS (Global Navigation Satellite System) receiver) that detects the position of the imaging device 101, an object A distance measuring sensor or the like for detecting a distance is provided.
  • the detection unit 125 outputs a signal indicating the detection result to the bus B1.
  • the associating unit 126 associates the detection image obtained by the imaging device 121 with the metadata corresponding to the detection image.
  • the metadata includes, for example, a coefficient set group for restoring a restored image using a target detection image, an object distance, and the like.
  • the method of associating the detection image with the metadata is not particularly limited as long as the correspondence between the detection image and the metadata can be specified. For example, metadata is added to image data including a detected image, the same ID is added to a detected image and metadata, or the detected image and metadata are recorded on the same recording medium 130. Metadata is associated.
  • the display unit 127 is, for example, a display, and displays various types of information (for example, a restored image and the like). Note that the display unit 127 can also be provided with an audio output unit such as a speaker to output audio.
  • the storage unit 128 includes one or more storage devices such as a read only memory (ROM), a random access memory (RAM), and a flash memory, and stores, for example, programs and data used for processing of the imaging device 101.
  • the storage unit 128 stores coefficient set groups corresponding to the above-described coefficients ⁇ 1 to ⁇ 3, ⁇ 1 to ⁇ 3, and ⁇ 1 to ⁇ 3 in association with various object distances. More specifically, for example, the storage unit 128 stores, for each subject plane 31 at each subject distance, a coefficient set group including a coefficient for each pixel 121a of the image sensor 121 for each point light source set on the subject plane 31. doing.
  • the recording and reproduction unit 129 performs recording of data on the recording medium 130 and reproduction (reading) of data recorded on the recording medium 130.
  • the recording / reproducing unit 129 records the restored image on the recording medium 130 or reads the restored image from the recording medium 130.
  • the recording / reproducing unit 129 records the detection image and the corresponding metadata on the recording medium 130 or reads out from the recording medium 130.
  • the recording medium 130 is made of, for example, any of a hard disk drive (HDD), a solid state drive (SSD), a magnetic disk, an optical disk, a magneto-optical disk, a semiconductor memory, or a combination thereof.
  • HDD hard disk drive
  • SSD solid state drive
  • magnetic disk magnetic disk
  • optical disk magnetic disk
  • magneto-optical disk magnetic disk
  • semiconductor memory or a combination thereof.
  • the communication unit 131 communicates with another device (for example, another imaging device, a signal processing device, and the like) by a predetermined communication method.
  • the communication method of the communication unit 131 may be wired or wireless. Further, the communication unit 131 can also correspond to a plurality of communication methods.
  • FIG. 3 shows a front view of a part of the pixel array portion of the imaging element 121.
  • FIG. 3 shows an example in which the number of pixels in the pixel array portion is 6 vertical pixels ⁇ 6 horizontal pixels, the number of pixels in the pixel array portion is not limited to this.
  • a light shielding film 121b which is one of the modulation elements, is provided for each pixel 121a so as to cover a part of the light receiving area (light receiving surface) of the photodiode. Incident incident light is optically modulated according to the incident angle. Then, for example, by providing the light shielding film 121b in a different range for each pixel 121a, the light receiving sensitivity with respect to the incident angle of incident light differs for each pixel 121a, and each pixel 121a has different incident angle directivity .
  • the light shielding film 121b-1 and the light shielding film 121b-2 provided in the pixel 121a-1 and the pixel 121a-2 have different ranges for shielding the light receiving region of the photodiode (a light shielding region (position), And at least one of the shaded areas). That is, in the pixel 121a-1, the light shielding film 121b-1 is provided so as to shield a part of the left side of the light receiving region of the photodiode by a predetermined width. On the other hand, in the pixel 121a-2, a light shielding film 121b-2 is provided so as to shield a part of the right side of the light receiving region by a predetermined width.
  • the width at which the light shielding film 121b-1 shields the light receiving area of the photodiode may be different from or the same as the width at which the light shielding film 121b-2 shields the light receiving area of the photodiode. .
  • the light shielding films 121b are randomly arranged in the pixel array so as to shield a different range of the light receiving area for each pixel.
  • the amount of light that can be received by the photodiode decreases as the rate at which the light shielding film 121b obscures the light receiving area of each pixel increases. Therefore, it is desirable that the area of the light shielding film 121b be such an area that a desired light quantity can be secured, and for example, a restriction of up to about 3/4 of the light receiving area may be added. By doing this, it is possible to secure a light amount of a desired amount or more. However, it is possible to receive a minimum amount of light if each pixel is provided with an unshielded range having a width corresponding to the wavelength of light to be received. That is, for example, in the case of the B pixel (blue pixel), the wavelength is about 500 nm, but it is possible to receive the minimum light amount unless the light is blocked beyond the width corresponding to this wavelength.
  • the upper part of FIG. 4 is a side cross-sectional view of the first configuration example of the imaging device 121
  • the middle part of FIG. 4 is a top view of the first configuration example of the imaging device 121.
  • the side cross-sectional view of the upper stage of FIG. 4 is an AB cross section in the middle stage of FIG. 4.
  • the lower part of FIG. 4 is a circuit configuration example of the imaging element 121.
  • the adjacent pixels 121a-1 and 121a-2 are so-called back side illumination type in which the wiring layer Z12 is provided in the lowermost layer in the drawing and the photoelectric conversion layer Z11 is provided thereon.
  • the description of the numbers at the end of the reference numerals is omitted and simply referred to as the pixel 121a.
  • the numbers at the end of the reference numerals may be omitted in the same manner for the other configurations.
  • FIG. 4 shows only the side view and the top view of two pixels constituting the pixel array of the image sensor 121, and needless to say, although more pixels 121a are arranged, Is omitted.
  • the pixels 121a-1 and 121a-2 respectively include photodiodes 121e-1 and 121e-2 in the photoelectric conversion layer Z11.
  • on-chip lenses 121c-1 and 121c-2 and color filters 121d-1 and 121d-2 are stacked on the photodiodes 121e-1 and 121e-2, respectively.
  • the on-chip lenses 121c-1 and 121c-2 condense incident light on the photodiodes 121e-1 and 121e-2.
  • the color filters 121d-1 and 121d-2 are optical filters that transmit light of a specific wavelength, such as red, green, blue, infrared, and white. In the case of white, the color filters 121d-1 and 121d-2 may or may not be transparent filters.
  • Light shielding films 121g-1 to 121g-3 are formed at the boundaries between the pixels in the photoelectric conversion layer Z11 of the pixels 121a-1 and 121a-2, and for example, as shown in FIG. L is incident on an adjacent pixel to suppress the occurrence of crosstalk.
  • the light shielding films 121b-1 and 121b-2 shield a part of the light receiving surface S as viewed from the top.
  • different ranges are shielded by the light shielding films 121b-1 and 121b-2, respectively, whereby different incident angles are obtained.
  • the directivity is set independently for each pixel.
  • the light shielding range does not have to be different for all the pixels 121 a of the imaging device 121, and some pixels 121 a may have the same light shielding region.
  • the light shielding film 121b-1 and the light shielding film 121g-1 are connected to each other, and are L-shaped when viewed from the side.
  • the light shielding film 121b-2 and the light shielding film 121g-2 are connected to each other, and are configured in an L shape when viewed from the side.
  • the light shielding film 121b-1, the light shielding film 121b-2, and the light shielding films 121g-1 to 121g-3 are made of metal, and for example, tungsten (W), aluminum (Al), or Al and copper Composed of an alloy with (Cu).
  • the light shielding film 121b-1, the light shielding film 121b-2, and the light shielding films 121g-1 to 121g-3 are simultaneously formed of the same metal as the wiring in the same process as the wiring in the semiconductor process. It may be done.
  • the film thicknesses of the light shielding film 121b-1, the light shielding film 121b-2, and the light shielding films 121g-1 to 121g-3 may not be the same depending on the position.
  • the pixel 121 a includes a photodiode 161 (corresponding to the photodiode 121 e), a transfer transistor 162, an FD (Floating Diffusion: floating diffusion) portion 163, a selection transistor 164, and an amplification transistor 165. And a reset transistor 166, and is connected to the current source 168 via the vertical signal line 167.
  • the anode electrode of the photodiode 161 is grounded, and the cathode electrode is connected to the gate electrode of the amplification transistor 165 via the transfer transistor 162.
  • the transfer transistor 162 is driven according to the transfer signal TG. For example, when the transfer signal TG supplied to the gate electrode of the transfer transistor 162 becomes high level, the transfer transistor 162 is turned on. Thereby, the charge accumulated in the photodiode 161 is transferred to the FD unit 163 via the transfer transistor 162.
  • the amplification transistor 165 is an input portion of a source follower which is a readout circuit for reading out a signal obtained by photoelectric conversion in the photodiode 161, and a pixel signal of a level corresponding to the charge stored in the FD portion 163 is a vertical signal line 167. Output to That is, the amplification transistor 165 has a drain terminal connected to the power supply VDD and a source terminal connected to the vertical signal line 167 via the selection transistor 164, thereby connecting the current source 168 connected to one end of the vertical signal line 167. Configure a source follower.
  • the FD unit 163 is a floating diffusion region having a charge capacity C1 provided between the transfer transistor 162 and the amplification transistor 165, and temporarily accumulates the charge transferred from the photodiode 161 via the transfer transistor 162.
  • the FD unit 163 is a charge detection unit that converts a charge into a voltage, and the charge stored in the FD unit 163 is converted into a voltage by the amplification transistor 165.
  • the selection transistor 164 is driven according to the selection signal SEL, and is turned on when the selection signal SEL supplied to the gate electrode becomes high level, and connects the amplification transistor 165 and the vertical signal line 167.
  • the reset transistor 166 is driven according to the reset signal RST. For example, the reset transistor 166 is turned on when the reset signal RST supplied to the gate electrode becomes high level, discharges the charge stored in the FD unit 163 to the power supply VDD, and resets the FD unit 163.
  • the pixel circuit shown in the lower part of FIG. 4 operates as follows.
  • the reset transistor 166 and the transfer transistor 162 are turned on, the charge stored in the FD unit 163 is discharged to the power supply VDD, and the FD unit 163 is reset.
  • the reset transistor 166 and the transfer transistor 162 are turned off, and during the exposure period, the photodiode 161 accumulates a charge according to the amount of incident light.
  • the reset transistor 166 is turned on and the FD section 163 is reset, and then the reset transistor 166 is turned off.
  • the FD unit 163 is set to the reference potential.
  • the potential of the FD section 163 in a reset state is output from the amplification transistor 165 as a reference potential.
  • the transfer transistor 162 is turned on, and the charge accumulated in the photodiode 161 is transferred to the FD portion 163.
  • the potential of the FD section 163 to which the charge of the photodiode is transferred is output from the amplification transistor 165 as a signal potential.
  • a signal obtained by subtracting the reference potential from the signal potential by CDS is output as a detection signal (pixel signal) of the pixel 121a.
  • the value (output pixel value) of the detection signal is modulated according to the incident angle of incident light from the subject, and the characteristic (directivity) differs depending on the incident angle (having incident angle directivity).
  • FIG. 5 is a diagram showing a second configuration example of the imaging device 121.
  • the upper side of FIG. 5 shows a side cross-sectional view of the pixel 121a of the imaging device 121 which is the second configuration example, and the middle stage of FIG. 5 shows a top view of the imaging device 121.
  • the side cross-sectional view of the upper stage of FIG. Furthermore, the lower part of FIG. 5 is a circuit configuration example of the imaging element 121.
  • the imaging device 121 of FIG. 5 In the imaging device 121 of FIG. 5, four photodiodes 121f-1 to 121f-4 are formed in one pixel 121a, and a light shielding film 121g is formed in a region separating the photodiodes 121f-1 to 121f-4.
  • the configuration is different from that of the imaging device 121 of FIG. That is, in the imaging element 121 of FIG. 5, the light shielding film 121 g is formed in a “+” shape when viewed from the upper surface.
  • symbol same as FIG. 4 is attached
  • the photodiodes 121 f-1 to 121 f-4 are separated by the light shielding film 121 g, so that electrical and optical crosstalk between the photodiodes 121 f-1 to 121 f-4 occurs. It is prevented. That is, the light shielding film 121g of FIG. 5 is for preventing crosstalk similarly to the light shielding film 121g of the imaging device 121 of FIG. 4, and is not for providing incident angle directivity.
  • one FD unit 163 is shared by the four photodiodes 121f-1 to 121f-4.
  • the lower part of FIG. 5 shows an example of a circuit configuration in which one FD portion 163 is shared by four photodiodes 121f-1 to 121f-4. In the lower part of FIG. 5, the description of the same configuration as the lower part of FIG. 4 is omitted.
  • the lower part of FIG. 5 differs from the circuit configuration of the lower part of FIG. 4 in that photodiodes 161-1 to 161- are used instead of the photodiode 161 (corresponding to the photodiode 121e in the upper part of FIG. 4) and the transfer transistor 162. 4 (corresponding to the photodiodes 121f-1 to 121f-4 in the upper part of FIG. 5) and the transfer transistors 162-1 to 162-4 and share the FD section 163.
  • the charge accumulated in the photodiodes 121f-1 to 121f-4 has a predetermined capacitance provided at the connection portion between the photodiodes 121f-1 to 121f-4 and the gate electrode of the amplification transistor 165. It is transferred to the common FD unit 163. Then, a signal corresponding to the level of the charge held in the FD unit 163 is read as a detection signal (pixel signal) (however, the CDS processing is performed as described above).
  • the charges accumulated in the photodiodes 121f-1 to 121f-4 can be selectively contributed to the output of the pixel 121a, that is, the detection signal in various combinations. That is, the photodiodes 121f-1 to 121f-4 are configured to be able to read out the charge independently, and the photodiodes 121f-1 to 121f-4 (the photodiodes 121f-1 to 121f-4 output Different incident angle directivity can be obtained.
  • the incident angle directivity in the left-right direction can be obtained.
  • the incident angle directivity in the vertical direction by transferring the electric charges of the photodiode 121f-1 and the photodiode 121f-3 to the FD portion 163 and adding the signals obtained by reading out each, the incident angle directivity in the left-right direction can be obtained.
  • the incident angle directivity in the vertical direction by transferring the electric charges of the photodiode 121f-1 and the photodiode 121f-2 to the FD portion 163 and adding the signals obtained by reading the respective, it is possible to obtain the incident angle directivity in the vertical direction.
  • a signal obtained based on the charges selectively read out independently from the four photodiodes 121f-1 to 121f-4 is a detection signal corresponding to one pixel constituting the detection image.
  • the contribution of (the charge of) each photodiode 121f to the detection signal is not limited to, for example, whether or not the charge (the detected value) of each photodiode 121f is transferred to the FD unit 163, but also using an electronic shutter function. This can also be realized by resetting the charge accumulated in the photodiode 121 f before transfer to the FD unit 163. For example, if the charge of the photodiode 121f is reset immediately before transfer to the FD portion 163, the photodiode 121f does not contribute to the detection signal at all. On the other hand, by giving time to the charge of the photodiode 121f between the reset and the transfer of the charge to the FD portion 163, the photodiode 121f partially contributes to the detection signal.
  • the combination of the four photodiodes 121 f-1 to 121 f-4 used for the detection signal is changed to have different incident angle directivity for each pixel.
  • the detection signal output from each pixel 121a of the image sensor 121 in FIG. 5 has a value (output pixel value) modulated according to the incident angle of the incident light from the subject, and the characteristic (directivity) according to the incident angle Are different (having incident angle directivity).
  • the pixel output unit includes at least one or more photodiodes, and generally, each pixel 121a of the imaging device 121 corresponds to one pixel output unit.
  • one pixel output unit includes one photodiode 121 e.
  • one pixel 121e constitutes one pixel output unit.
  • the incident angle directivity of each pixel output unit can be made different.
  • incident light to each pixel 121a is optically modulated using the light shielding film 121b, and as a result, the incident angle is directed by the signal output from the photodiode 121e of each pixel 121a.
  • a detection signal for one pixel of the detected image reflecting the polarity is obtained. That is, the image pickup device 121 of FIG. 4 includes a plurality of pixel output units for receiving incident light from an object incident without any of the imaging lens and the pinhole, and each pixel output unit includes one photodiode 121e.
  • the characteristic (incident angle directivity) with respect to the incident angle of incident light from the subject is set for each pixel output unit.
  • one pixel output unit includes four photodiodes 121e. Become. In other words, one pixel output unit is configured by the four photodiodes 121 f. On the other hand, individual pixel output units are not configured by each photodiode 121e alone.
  • the incident angle directivity for each pixel output unit is different. It becomes a thing. That is, in the imaging device 121 of FIG. 5, the range not contributing to the output (detection signal) among the four photodiodes 121f-1 to 121f-4 functions in the same manner as the light-shielded region. Then, by combining the signals output from the photodiodes 121f-1 to 121f-4, a detection signal for one pixel of the detection image reflecting the incident angle directivity is obtained. That is, the imaging device 121 of FIG.
  • each pixel output unit includes a plurality of photodiodes (for example, Characteristics (incident angle directivity) of each pixel output unit with respect to the incident angle of incident light from the subject by providing the photodiodes 121f-1 to 121f-4) and varying (the degree of) the photodiodes contributing to the output Are different from each other.
  • photodiodes for example, Characteristics (incident angle directivity) of each pixel output unit with respect to the incident angle of incident light from the subject by providing the photodiodes 121f-1 to 121f-4) and varying (the degree of) the photodiodes contributing to the output Are different from each other.
  • incident light is incident on all the photodiodes 121f-1 to 121f-4 without being optically modulated, so that the detection signal is a signal obtained by optical modulation. Absent. Further, hereinafter, the photodiode 121 f not contributing to the detection signal is also referred to as a photodiode 121 f not contributing to a pixel output unit or an output.
  • the light receiving surface of the pixel output unit (pixel 121a) is equally divided into four, and photodiodes 121f having the same size as the light receiving surface are arranged in each region, that is, four photodiodes, etc.
  • the division number and division position of the photodiode can be set arbitrarily.
  • the photodiodes do not necessarily have to be equally divided, and the division positions of the photodiodes may be different for each pixel output unit.
  • the incident angle directivity differs between the pixel output units.
  • by setting the number of divisions to be different between pixel output units it is possible to more freely set the incident angle directivity.
  • both the division number and the division position may be made different between pixel output units.
  • each of the image sensor 121 of FIG. 4 and the image sensor 121 of FIG. 5 has a configuration in which each pixel output unit can independently set the incident angle directivity.
  • each pixel output unit of an image sensor does not have the composition which can set up incidence angle directivity independently.
  • the incident angle directivity of each pixel output unit is set by the light shielding film 121 b at the time of manufacture.
  • the image sensor 121 of FIG. 4 the image sensor 121 of FIG.
  • the division number and division position of the photodiode of each pixel output unit are set at the time of manufacture, but the incident angle directivity of each pixel output unit (combination of photodiodes contributing to output) Can be set at the time of use (for example, at the time of imaging).
  • the imaging device 121 of FIG. 4 and the imaging device 121 of FIG. 5 it is not necessary to have a configuration in which all the pixel output units have incident angle directivity.
  • each pixel of the imaging device corresponds to one pixel output unit, but as described later, there may be a case where one pixel output unit is formed by a plurality of pixels. . The following description will be made assuming that each pixel of the imaging device corresponds to one pixel output unit unless otherwise noted.
  • the incident angle directivity of each pixel of the imaging element 121 is generated, for example, according to the principle shown in FIG.
  • the upper left part and the upper right part of FIG. 6 are diagrams for explaining the generation principle of the incident angle directivity in the imaging element 121 of FIG. 4, and the lower left part and the lower right part of FIG. 6 are for the imaging element 121 of FIG. It is a figure explaining the generation
  • Each of the upper left and upper right pixels in FIG. 6 includes one photodiode 121 e.
  • the lower left and lower right pixels in FIG. 6 each include two photodiodes 121 f.
  • an example in which one pixel includes two photodiodes 121 f is shown here, this is for convenience of explanation, and the number of photodiodes 121 f provided in one pixel may be another number. .
  • a light shielding film 121b-11 is formed to shield the right half of the light receiving surface of the photodiode 121e-11. Further, in the pixel at the upper right portion of FIG. 6, a light shielding film 121b-12 is formed so as to shield the left half of the light receiving surface of the photodiode 121e-12. Note that the alternate long and short dash line in the drawing is an auxiliary line which passes through the horizontal center of the light receiving surface of the photodiode 121e and is perpendicular to the light receiving surface.
  • incident light from the upper right direction forming the incident angle ⁇ 1 with respect to the alternate long and short dash line in the drawing is left unshielded by the light shielding film 121b-11 of the photodiode 121e-11. It is easy to receive light by the half range.
  • incident light from the upper left direction forming the incident angle ⁇ 2 with respect to the alternate long and short dash line in the figure is hard to be received by the left half range not blocked by the light shielding film 121b-11 of the photodiode 121e-11. . Therefore, the pixel in the upper left part of FIG. 6 has high incidence sensitivity with respect to incident light from the upper right in the figure and low sensitivity to incident light from the upper left. .
  • incident light from the upper right direction forming the incident angle ⁇ 1 is received by the left half range shielded by the light shielding film 121b-12 of the photodiode 121e-12. Hateful.
  • incident light from the upper left direction forming the incident angle ⁇ 2 is likely to be received by the right half range which is not blocked by the light shielding film 121b-12 of the photodiode 121e-12. Therefore, the pixel in the upper right part of FIG. 6 has low incident sensitivity to incident light from the upper right in the figure and high incident sensitivity to incident light from the upper left. .
  • photodiodes 121f-11 and 121f-12 are provided on the left and right in the drawing, and a light shielding film 121b is provided by reading out one of the detection signals. It is set as the structure which has incident angle directivity.
  • incident angle directivity similar to that of the upper left part in FIG. You can get it. That is, incident light from the upper right direction forming the incident angle ⁇ 1 with respect to the alternate long and short dash line in the figure is incident on the photodiode 121f-11 and a signal corresponding to the amount of light received is read out from the photodiode 121f-11. It contributes to the detection signal output from the pixel.
  • incident light from the upper left direction forming the incident angle ⁇ 2 with respect to the alternate long and short dash line in the figure is incident on the photodiode 121f-12 but is not read out from the photodiode 121f-12. It does not contribute to the output detection signal.
  • incident light from the upper left direction forming the incident angle ⁇ 2 is incident on the photodiode 121f-14, and a signal corresponding to the amount of light received is read out from the photodiode 121f-14, so that it is output from this pixel Contribute to the detection signal.
  • the upper graph in FIG. 7 shows the incident angle directivity of the middle and lower pixels in FIG.
  • the horizontal axis represents the incident angle ⁇
  • the vertical axis represents the detection signal level.
  • the incident angle ⁇ is 0 degrees when the direction of incident light coincides with the alternate long and short dash line in the middle left of FIG. 7, and the middle left incident angle ⁇ 21 in FIG. 7 is a positive direction.
  • the right incident angle ⁇ 22 side is a negative direction. Therefore, with respect to the on-chip lens 121c, the incident angle of the incident light entering from the upper right is larger than the incident angle of the incident light entering from the upper left. That is, the incident angle ⁇ becomes larger as the traveling direction of the incident light leans to the left (larger in the positive direction) and smaller as it leans to the right (larger in the negative direction).
  • the pixels in the middle left part of FIG. 7 are the on-chip lens 121 c-11 for condensing incident light and the color filters 121 d-11 for transmitting light of a predetermined wavelength to the pixels in the upper left part of FIG. Is added. That is, in this pixel, the on-chip lens 121c-11, the color filter 121d-11, the light shielding film 121b-11, and the photodiode 121e-11 are laminated in order from the incident direction of the upper light in the drawing.
  • the pixel at the middle right of FIG. 7, the pixel at the lower left of FIG. 7, and the pixel at the lower right of FIG. 7 are respectively the pixel at the upper right of FIG. 6 and the lower left of FIG.
  • the on-chip lens 121 c-11 and the color filter 121 d-11 or the on-chip lens 121 c-12 and the color filter 121 d-12 are added to the pixel of FIG.
  • the detection signal level (light receiving sensitivity) of the photodiode 121e-11 changes according to the incident angle ⁇ of incident light. That is, the larger the incident angle ⁇ which is the angle formed by the incident light with respect to the alternate long and short dash line in the figure (the larger the incident angle ⁇ in the positive direction (the more inclined in the right direction in the figure)) When the light is collected in the range in which 11 is not provided, the detection signal level of the photodiode 121e-11 is increased.
  • the smaller the incident angle ⁇ of the incident light the larger the incident angle ⁇ in the negative direction (the more inclined in the left direction in the figure)
  • the light is collected in the range in which the light shielding film 121b-11 is provided.
  • the detection signal level of the photodiode 121e-11 decreases.
  • the detection signal level (light receiving sensitivity) of the photodiode 121e-12 changes according to the incident angle ⁇ of incident light.
  • the incident angle ⁇ of the incident light is larger (the incident angle ⁇ is larger in the positive direction)
  • the light is condensed in the range in which the light shielding film 121b-12 is provided, thereby the photodiode 121e-12.
  • the detection signal level increases.
  • the waveforms of the solid line and the dotted line shown in the upper part of FIG. 7 can be changed according to the range of the light shielding film 121 b. Therefore, it is possible to give different incident angle directivity to each other in pixel units by the range of the light shielding film 121b.
  • the incident angle directivity is a characteristic of the light receiving sensitivity of each pixel according to the incident angle ⁇ , but this is a characteristic of the light blocking value according to the incident angle ⁇ in the middle pixel of FIG. It can be said that That is, although the light shielding film 121 b blocks incident light in a specific direction at a high level, incident light from other directions can not be blocked sufficiently.
  • the change of the light shieldable level produces different detection signal levels according to the incident angle ⁇ as shown in the upper part of FIG.
  • the direction in which light can be blocked at the highest level in each pixel is defined as the light blocking direction of each pixel, having different incident angle directivity in pixel units means, in other words, light blocking mutually different in pixel units It means that it has a direction.
  • the middle left pixel in FIG. 7 It is possible to obtain incident angle directivity similar to that of the pixels of a part. That is, when the incident angle ⁇ of the incident light increases (when the incident angle ⁇ increases in the positive direction), the light is collected in the range of the photodiode 121f-11 from which the signal is read, and the detection signal level is large. Become. Conversely, the smaller the incident angle ⁇ of the incident light (the larger the incident angle ⁇ in the negative direction), the more light is collected in the range of the photodiode 121 f-12 from which the signal is not read out, and thus the detection signal level Becomes smaller.
  • the signal of only the photodiode 121 f-14 in the right in FIG. An incident angle directivity similar to that of the pixel in the middle right part of can be obtained. That is, when the incident angle ⁇ of incident light increases (when the incident angle ⁇ increases in the positive direction), light is collected in the range of the photodiode 121 f-13 that does not contribute to the output (detection signal). The level of the unit detection signal decreases.
  • the smaller the incident angle ⁇ of the incident light the larger the incident angle ⁇ in the negative direction
  • the more light is collected in the range of the photodiode 121f-14 that contributes to the output (detection signal)
  • the level of the detection signal in units of pixels is increased.
  • each photodiode has directivity with respect to the incident angle of incident light
  • the on-chip lens 121c is an essential component of each pixel in order to generate incident angle directivity in pixel units.
  • the incident angle directivity it is desirable that the randomness be high in pixel units.
  • the above-described equations (1) to (3) or equations (4) to (6) described later may be the same as each other.
  • the number of equations is insufficient for the unknowns that are solutions of simultaneous equations, which may make it impossible to obtain the pixel values that make up the restored image.
  • the light shielding film 121b that shields the entire light receiving surface of the pixel 121a in the vertical direction and shields the light receiving surface with a predetermined width in the horizontal direction It is called a band type light shielding film 121b.
  • a light shielding film 121b that shields the entire light receiving surface of the pixel 121a in the horizontal direction and shields the light receiving surface at a predetermined height in the vertical direction is referred to as a vertical band type light shielding film 121b.
  • an L-shaped light shielding film 121 b is formed for each pixel of the Bayer arrangement. It may be provided.
  • the black range represents the light shielding film 121b, and the same applies to the following drawings unless otherwise noted.
  • the pixels 121a-21 and 121a-24 of G (green) pixels, the pixels 121a-22 of R (red) pixels, and the pixels 121a-23 of B (blue) pixels, which are in the Bayer array, are provided.
  • L-shaped light shielding films 121b-21 to 121b-24 are provided for each of them.
  • each pixel 121a has incident angle directivity as shown in the right part of FIG. That is, in the right part of FIG. 8, the distribution of the light receiving sensitivity of each pixel 121a is shown, the horizontal axis represents the incident angle ⁇ x in the horizontal direction (x direction) of the incident light, and the vertical axis is the vertical of the incident light
  • the incident angle ⁇ y in the direction (y direction) is represented.
  • the light receiving sensitivity in the range C4 is higher than the outside of the range C4
  • the light receiving sensitivity in the range C3 is higher than the outside of the range C3
  • the light receiving sensitivity in the range C2 is higher than the outside of the range C2.
  • the light reception sensitivity in the range C1 is higher than the outside of the range C1.
  • the detection signal level for the incident light in which the incident angle ⁇ x in the horizontal direction (x direction) and the incident angle ⁇ y in the vertical direction (y direction) fall within the range C1 is the highest. Then, the detection signal level decreases in the order of incident light in which the incident angle ⁇ x and the incident angle ⁇ y fall within the range C2, within the range C3, within the range C4, and outside the range C4.
  • the intensity distribution of the light receiving sensitivity shown in the right part of FIG. 8 is determined by the range shielded by the light shielding film 121b in each pixel 121a regardless of the Bayer arrangement.
  • the light shielding film 121b is generically referred to as an L-shaped light shielding film 121b.
  • the light shielding range in the horizontal direction of the light shielding film 121b is from the left end of the pixel 121a to the position A, and the light shielding range in the vertical direction is from the upper end of the pixel 121a
  • the range is up to B.
  • the weights Wx and Wy change as in the graph of FIG. 9 when ideal conditions are satisfied.
  • the incident angle directivity of each pixel 121a that is, the coefficient corresponding to the light receiving sensitivity characteristic
  • a value obtained by multiplying the weight Wx corresponding to the incident angle ⁇ x of incident light from a certain point light source on the object surface 31 and the weight Wy corresponding to the incident angle ⁇ y is set as the coefficient for the point light source.
  • the inclination (1 / 2 ⁇ ) indicating the change of the weight in the range in which the weight Wx in the horizontal direction and the weight Wy in the vertical direction are around 0.5 is obtained by using the on-chip lens 121c having different focal lengths. It can be set.
  • the focal length of the on-chip lens 121c matches the surface of the light shielding film 121b
  • the focal length of the on-chip lens 121c changes with the curvature of the on-chip lens 121c. Therefore, different incident angle directivity, that is, different light receiving sensitivity characteristics can be obtained by changing the focal length of the on-chip lens 121 c using the on-chip lens 121 c having different curvatures.
  • the incident angle directivity of the pixel 121a can be adjusted by the combination of the range in which the photodiode 121e is shielded by the light shielding film 121b and the curvature of the on-chip lens 121c.
  • the curvature of the on-chip lens may be the same for all the pixels 121 a of the imaging device 121 or may be different for some of the pixels 121 a.
  • each pixel 121a For example, based on the position of each pixel 121a, the shape, position and range of the light shielding film 121b of each pixel 121a, and the curvature of the on-chip lens 121c as an index indicating the incident angle directivity of each pixel 121a of the image sensor 121.
  • the characteristics of the weight Wx and the weight Wy as in the graph of FIG. 9 are set for each pixel 121a.
  • the incident angle of the light beam from the point light source to the pixel 121a is obtained.
  • the coefficient of the pixel 121a with respect to the point light source is determined.
  • the coefficients are obtained as described above to obtain the coefficient sets ⁇ 1 and ⁇ 1 of the equations (1) to (3) described above.
  • the coefficient set group of the image sensor 121 with respect to the object plane 31 can be obtained, such as ⁇ 1, ⁇ 1, coefficient set ⁇ 2, ⁇ 2, ⁇ 2, coefficient set ⁇ 3, ⁇ 3, ⁇ 3.
  • the incident angle of the light beam from each point light source of the subject surface 31 to the imaging device 121 is Because they are different, different coefficient set groups are required for each subject distance.
  • each pixel 121 a needs to be set so as to ensure the independence of the above-described simultaneous equations.
  • the imaging element 121 does not require an optical block or a pinhole formed of an imaging lens, but as described above, the on-chip lens 121 c is provided.
  • the on-chip lens 121c and the imaging lens have different physical actions.
  • the imaging lens 152 is designed to condense diffused light incident at different angles from the point light source P101 at the pixel position P111 and form an image of the point light source P101.
  • the pixel position P111 is specified by the chief ray L101 passing through the point light source P101 and the center of the imaging lens 152.
  • the imaging lens 152 is designed to condense diffused light incident at different angles from the point light source P102 at the pixel position P112 and form an image of the point light source P102.
  • the pixel position P112 is specified by the chief ray L102 passing through the point light source P102 and the center of the imaging lens 152.
  • the imaging lens 152 forms images of point light sources P101 and P102 having different chief rays at different pixel positions P111 and P112 on the imaging element 151.
  • the imaging lens 152 when the point light source P101 is at infinity, a part of the diffused light emitted from the point light source P101 is incident on the imaging lens 152 as parallel light parallel to the chief ray L101.
  • parallel light which is a light ray between the light ray L121 and the light ray L122 parallel to the chief ray L101, enters the imaging lens 152.
  • the parallel light incident on the imaging lens 152 is condensed at the pixel position P111 on the imaging element 151. That is, the imaging lens 152 is designed to condense parallel light from the point light source P101 existing at infinity into the pixel position P111 and form an image of the point light source P101.
  • the imaging lens 152 causes diffused light from a point light source having a chief ray incident angle ⁇ 1 to enter into the pixel (pixel output unit) P1 and has a chief ray incident angle ⁇ 2 different from the chief ray incident angle ⁇ 1. It has a light collecting function of causing diffused light from a light source to be incident on a pixel (pixel output unit) P2 different from the pixel P1. That is, the imaging lens 152 has a light collecting function for causing diffused light from light sources with different incident angles of principal rays to a plurality of pixels (pixel output units) adjacent to each other. However, for example, light from point light sources close to each other or point light sources existing at infinity and substantially close to each other may be incident on the same pixel (pixel output unit).
  • the light passing through the on-chip lens 121c is received by the photodiode 121e or the photodiode 121f constituting the corresponding pixel (pixel output unit). It is incident only on the surface.
  • the on-chip lens 121 c is provided for each pixel (pixel output unit), and condenses incident light incident thereon to only the corresponding pixel (pixel output unit). That is, the on-chip lens 121c does not have a light collecting function for causing light from different point light sources to be incident on different pixels (pixel output units).
  • the incident angle directivity can not be set freely and freely for each pixel.
  • DA ⁇ 1 ⁇ a + ⁇ 1 ⁇ b + ⁇ 1 ⁇ c ...
  • DB ⁇ 2 ⁇ a + ⁇ 2 ⁇ b + ⁇ 2 ⁇ c ...
  • DC ⁇ 3 ⁇ a + ⁇ 3 ⁇ b + ⁇ 3 ⁇ c ...
  • the object surface 31 ′ at which the object distance to the image pickup element 121 is a distance d 2 larger by d than the distance d 1 is a distance d 2 larger by d than the distance d 1
  • the detection signal levels at the pixels Pc, Pb and Pa on the image sensor 121 are the same as the detection signal levels DA, DB and DC as shown in the lower center of FIG. become.
  • the coefficient set group consisting of the coefficient sets ⁇ 11, ⁇ 11, ⁇ 11, the coefficient sets ⁇ 12, ⁇ 12, ⁇ 12, the coefficient sets ⁇ 13, ⁇ 13, ⁇ 13 is the coefficient sets ⁇ 1, ⁇ 1, ⁇ 1 and the coefficient sets ⁇ 2, ⁇ 2 for the object surface 31. , ⁇ 2, and coefficient sets ⁇ 3, ⁇ 3, and ⁇ 3 for the object plane 31 ′.
  • the object plane can be obtained by solving the simultaneous equations of equations (4) to (6) using preset coefficient set groups ⁇ 11, ⁇ 11, ⁇ 11, ⁇ 12, ⁇ 12, ⁇ 13, ⁇ 13, ⁇ 13.
  • the point light source PA ′ of the object surface 31 ′ as shown in the lower right of FIG. 13, in the same manner as in the case of obtaining the light intensities a, b and c of the light from the 31 point light sources PA, PB and PC.
  • the light intensities a ', b' and c 'of the rays from PB' and PC ' can be determined. As a result, it is possible to restore the restored image of the subject surface 31 '.
  • a coefficient set group for each distance (subject distance) from the imaging element 121 to the subject surface is prepared in advance, and the coefficient set group is switched for each subject distance to perform simultaneous equations.
  • the coefficient set group is switched according to the distance to the object surface using the recorded detected image, and the restored image is restored. It is possible to generate a restored image of the object plane.
  • the pixels having incident angle directivity suitable for imaging the subject surface corresponding to the specified subject distance and angle of view without using all the pixels.
  • the detection signal may be used to generate a restored image.
  • a restored image can be generated using detection signals of pixels suitable for imaging the object plane corresponding to the specified object distance and angle of view.
  • FIG. 15 shows an example of the incident angle of incident light from the object plane 31 to the center position C1 of the image sensor 121.
  • FIG. 15 shows an example of the incident angle of incident light in the horizontal direction, the same applies to the vertical direction.
  • the pixels 121a and 121a 'in FIG. 14 are shown.
  • the pixel 121a of FIG. 14 when the pixel 121a of FIG. 14 is disposed at the center position C1 of the imaging element 121, the range of the incident angle of incident light from the object plane 31 to the pixel 121a is an angle as shown in the left part of FIG. It becomes A1. Accordingly, the pixel 121a can receive incident light for the width W1 in the horizontal direction of the object plane 31.
  • the pixel 121a ′ when the pixel 121a 'in FIG. 14 is disposed at the center position C1 of the imaging device 121, the pixel 121a' has a wider range of light shielding than the pixel 121a.
  • the range of the incident angle of the incident light is the angle A2 ( ⁇ A1) as shown in the left part of FIG. Therefore, the pixel 121 a ′ can receive incident light corresponding to the width W 2 ( ⁇ W 1) in the horizontal direction of the object surface 31.
  • the pixel 121 a having a narrow light shielding range is a wide angle of view pixel suitable for imaging a wide range on the object surface 31
  • the pixel 121 a ′ having a wide light shielding range is narrow on the object surface 31. It is a narrow angle-of-view pixel suitable for imaging a range.
  • the wide angle of view pixel and the narrow angle of view pixel are expressions for comparing both of the pixels 121a and 121a 'in FIG. 14 and are not limited to the case of comparing pixels of other angles of view.
  • pixel 121a is used to restore image I1 of FIG.
  • the image I1 is an image of an angle of view SQ1 corresponding to the subject width W1 including the whole of the person H101 as the subject in the upper stage of FIG.
  • the pixel 121a ' is used to restore the image I2 of FIG.
  • the image I2 is an image of an angle of view SQ2 corresponding to the subject width W2 in which the periphery of the face of the person H101 in the upper part of FIG. 16 is zoomed up.
  • the pixel 121a of FIG. 14 is specified in the range ZA surrounded by the dotted line of the imaging device 121, and the pixel 121a ′ is specified in the range ZB surrounded by the dashed dotted line. It is conceivable to collect and arrange each pixel number. Then, for example, when the image of the angle of view SQ1 corresponding to the subject width W1 is restored, the image of the angle of view SQ1 is appropriately restored by using the detection signal of each pixel 121a in the range ZA. it can. On the other hand, when the image of the angle of view SQ2 corresponding to the subject width W2 is restored, the image of the angle of view SQ2 can be appropriately restored by using the detection signal of each pixel 121a 'in the range ZB. .
  • the angle of view SQ2 is narrower than the angle of view SQ1
  • the image of the angle of view SQ2 is restored rather than the image of the angle of view SQ1. It is possible to obtain a higher quality restored image.
  • the right part of FIG. 17 shows a configuration example within the range ZA of the imaging device 121 of FIG.
  • the left part of FIG. 17 shows a configuration example of the pixel 121a in the range ZA.
  • the range shown in black is the light shielding film 121b, and the light shielding range of each pixel 121a is determined, for example, according to the rule shown in the left part of FIG.
  • the main light-shielding portion Z101 in the left part of FIG. 17 is a range in which light is shielded in common in each pixel 121a.
  • the main light shielding portion Z101 has a height in the range of dx1 from the left side and the right side of the pixel 121a and in the range from the upper side and the lower side of the pixel 121a to the inside of the pixel 121a. It is the range of dy1.
  • a rectangular opening Z111 which is not shielded by the light shielding film 121b is provided within the range Z102 inside the main light shielding portion Z101. Therefore, in each pixel 121a, the range other than the opening Z111 is shielded by the light shielding film 121b.
  • the openings Z111 of the pixels 121a are regularly arranged. Specifically, the horizontal position of the opening Z111 in each pixel 121a is the same in the pixels 121a in the same vertical direction. Further, the position in the vertical direction of the opening Z111 in each pixel 121a is the same in the pixels 121a in the same horizontal row.
  • the horizontal position of the opening Z111 in each pixel 121a is shifted at a predetermined interval according to the horizontal position of the pixel 121a. That is, as the position of the pixel 121a advances to the right, the left side of the opening Z111 moves to the position shifted to the right from the left side of the pixel 121a by the widths dx1, dx2,.
  • the distance between the width dx1 and the width dx2, the distance between the width dx2 and the width dx3, ..., the distance between the width dxn-1 and the width dxn is the length obtained by subtracting the width of the opening Z111 from the width of the range Z102 Divided by the number of pixels n-1 in the horizontal direction.
  • the position in the vertical direction of the opening Z111 in each pixel 121a is shifted at a predetermined interval according to the position in the vertical direction of the pixel 121a. That is, as the position of the pixel 121a moves downward, the upper side of the opening Z111 moves downward from the upper side of the pixel 121a by heights dy1, dy2,.
  • the distance between the height dy1 and the height dy2, the distance between the height dy2 and the height dy3, ..., the distance between the height dyn-1 and the height dyn are respectively from the vertical height of the range Z102 to the opening Z111
  • the length obtained by subtracting the height of the image is divided by the number of pixels m-1 in the vertical direction.
  • the right part of FIG. 18 shows a configuration example within the range ZB of the imaging device 121 of FIG.
  • the left part of FIG. 18 shows a configuration example of the pixel 121a 'in the range ZB.
  • the range shown in black is the light shielding film 121b ', and the light shielding range of each pixel 121a' is determined, for example, according to the rule shown in the left part of FIG.
  • the main light shielding portion Z151 at the left part of FIG. 18 is a range in which light is shielded in common in each pixel 121a '. Specifically, the main light shielding portion Z151 goes from the left side and the right side of the pixel 121a 'to the inside of the pixel 121a' and in the range of the width dx1 'and from the upper side and the lower side of the pixel 121a' And the height dy1 '.
  • a rectangular opening Z161 which is not shielded by the light shielding film 121b' is provided in a range Z152 inside the main light shielding portion Z151. Therefore, in each pixel 121a ', the range other than the opening Z161 is shielded by the light shielding film 121b'.
  • the opening Z161 of each pixel 121a ' is regularly arranged similarly to the opening Z111 of each pixel 121a of FIG. Specifically, the horizontal position of the opening Z161 in each pixel 121a 'is the same in the pixels 121a' in the same vertical direction. Further, the vertical position of the opening Z 161 in each pixel 121 a ′ is the same in the pixels 121 a ′ in the same horizontal row.
  • the horizontal position of the opening Z161 in each pixel 121a ' is shifted at a predetermined interval in accordance with the horizontal position of the pixel 121a'. That is, as the position of the pixel 121a 'proceeds to the right, the left side of the opening Z161 moves to the position shifted to the right by the widths dx1', dx2 ', ..., dxn' from the left side of the pixel 121a '. Do.
  • the length obtained by subtracting the width is divided by the number of pixels n-1 in the horizontal direction.
  • the position in the vertical direction of the opening Z161 in each pixel 121a ' is shifted at a predetermined interval according to the position in the vertical direction of the pixel 121a'. That is, as the position of the pixel 121a 'moves downward, the upper side of the opening Z161 is shifted downward by height dy1', dy2 ', ..., dyn' from the upper side of the pixel 121a '.
  • the distance between the height dy1 ′ and the height dy2 ′, the distance between the height dy2 ′ and the height dy3 ′,..., The distance between the height dyn ⁇ 1 ′ and the height dyn ′ are in the vertical direction of the range Z152
  • the length obtained by subtracting the height of the opening Z161 from the height is divided by the number of pixels m-1 in the vertical direction.
  • the length obtained by subtracting the width of the opening Z111 from the width of the range Z102 of the pixel 121a in FIG. 17 is the width of the opening Z161 from the width of the range Z152 of the pixel 121a ′ in FIG. It becomes larger than the width which I pulled. Therefore, the intervals of change in the widths dx1, dx2,..., Dxn in FIG. 17 are larger than the intervals of changes in the widths dx1 ', dx2',.
  • the length obtained by subtracting the height of the opening Z111 from the height in the vertical direction of the range Z102 of the pixel 121a of FIG. 17 is the height of the opening Z161 in the vertical direction of the range Z152 of the pixel 121a ′ of FIG. It is larger than the length minus the height. Accordingly, the change intervals of the heights dy1, dy2... Dyn in FIG. 17 are larger than the change intervals of the heights dy1 ', dy2'.
  • the interval of change of the position in the horizontal direction and the vertical direction of the opening Z111 of the light shielding film 121b of each pixel 121a of FIG. 17 and the horizontal direction of the opening Z161 of the light shielding film 121b ′ of each pixel 121a ′ of FIG. It is different from the interval of change of position in the direction and vertical direction.
  • the difference in this interval is the difference in object resolution (angular resolution) in the restored image. That is, the change in the horizontal and vertical positions of the opening Z161 of the light shielding film 121b 'of each pixel 121a' in FIG. 18 corresponds to the horizontal direction of the opening Z111 of the light shielding film 121b in each pixel 121a of FIG.
  • the restored image restored using the detection signal of each pixel 121a 'in FIG. 18 has a higher subject resolution than the restored image restored using the detection signal of each pixel 121a in FIG. Become.
  • the imaging device 121 including pixels (having various incident angle directivity) of various angles of view is realized. It becomes possible.
  • the pixel 121a and the pixel 121a ′ are divided into the range ZA and the range ZB is described above, this is to simplify the description, and the pixels 121a corresponding to different angles of view are the same. It is desirable to be mixedly arranged in the area.
  • each unit U is a pixel 121a-W with a wide angle of view, a middle angle of view
  • pixels of a pixel 121a-M, a pixel 121a-N with a narrow angle of view, and a pixel 121a-AN with a very narrow angle of view are used.
  • images of intermediate angles of view of four types of angle of view and images of angles of view before and after that may be generated by interpolation from images of four types of angle of view, and images of various angles of view are seamlessly generated By doing this, a pseudo optical zoom may be realized.
  • all wide angle of view pixels may be used, or part of the wide angle of view pixels may be used.
  • all narrow angle of view pixels may be used, or a part of narrow angle of view pixels may be used.
  • Imaging processing by the imaging device 101 in FIG. 2 will be described with reference to the flowchart in FIG.
  • step S1 the imaging element 121 captures an image of a subject.
  • a detection signal indicating a detection signal level corresponding to the light amount of incident light from the subject is output from each pixel 121a of the imaging device 121 having different incident angle directivity, and the imaging device 121 detects each pixel 121a.
  • the detection image composed of a signal is supplied to the restoration unit 122.
  • step S2 the restoration unit 122 obtains a coefficient used for image restoration. Specifically, the restoration unit 122 sets the distance to the object plane 31 to be restored, that is, the object distance. Note that any method can be adopted as a method of setting the subject distance. For example, the restoration unit 122 sets the subject distance input by the user via the input unit 124 or the subject distance detected by the detection unit 125 as the distance to the subject plane 31 to be restored.
  • the restoration unit 122 reads out from the storage unit 128 the coefficient set group associated with the set subject distance.
  • step S3 the restoration unit 122 restores the image using the detected image and the coefficients. Specifically, the restoration unit 122 uses the detection signal level of each pixel of the detection image and the coefficient set group acquired in the process of step S2 to set the above-mentioned equation (1) to equation (3) or The simultaneous equations described with reference to equations (4) to (6) are created. Next, the restoration unit 122 calculates the light intensity of each point light source on the object plane 31 corresponding to the set object distance by solving the created simultaneous equations. Then, the restoration unit 122 arranges the pixels having pixel values according to the calculated light intensity according to the arrangement of the point light sources of the object plane 31 to generate a restored image on which the image of the object is formed.
  • step S4 the imaging apparatus 101 performs various processes on the restored image.
  • the restoration unit 122 performs demosaicing processing, ⁇ correction, white balance adjustment, conversion processing to a predetermined compression format, and the like on the restored image as necessary.
  • the restoration unit 122 supplies, for example, a restored image to the display unit 127 for display, or supplies the restored image to the recording and reproduction unit 129, and records the restored image on the recording medium 130 as needed. , Output to other devices.
  • the example of restoring the restored image from the detected image using the image sensor 121 and the coefficient set group associated with the subject distance has been described, but, for example, as described above in addition to the subject distance
  • the set of coefficients corresponding to the angle of view of the restored image may be further prepared, and the set of coefficients corresponding to the subject distance and the angle of view may be used to restore the restored image.
  • the resolution for the subject distance and the angle of view depends on the number of coefficient set groups prepared.
  • the example using detection signals of all the pixels included in the detected image has been described, but the subject distance specified among the pixels constituting the image sensor 121 And a detection image consisting of detection signals of pixels having incident angle directivity corresponding to the angle of view may be generated and used to restore a restored image.
  • Such processing enables the restored image to be restored with a detected image suitable for the subject distance and angle of view of the restored image to be obtained, and the restoration accuracy and image quality of the restored image are improved. That is, when the image corresponding to the specified subject distance and angle of view is, for example, an image corresponding to the angle of view SQ1 in FIG. 16, the pixel 121a having the incident angle directivity corresponding to the angle of view SQ1 is selected. By restoring the restored image with the detected image obtained from these, it is possible to restore the image of the angle of view SQ1 with high accuracy.
  • the imaging device 101 having the imaging device 121 as an essential component in which each pixel is made to have incident angle directivity.
  • the imaging lens, the pinhole, and the optical filter described in the above-mentioned patent documents and the like become unnecessary, it is possible to increase the degree of freedom in the design of the device, and configured separately from the imaging device 121
  • it becomes unnecessary to use an optical element assumed to be mounted together with the imaging device 121 at the stage of configuring as an imaging device it becomes possible to realize miniaturization of the device with respect to the incident direction of incident light It is possible to reduce the cost.
  • a lens corresponding to an imaging lens for forming an optical image such as a focus lens, is not necessary.
  • a zoom lens for changing the magnification may be provided.
  • a detection image is recorded, for example, without performing a decompression
  • the restored image may be restored using a detected image at a desired timing.
  • restoration of the restored image may be performed by the imaging device 101 or may be performed by another device.
  • a restored image is obtained by solving simultaneous equations created using coefficient set groups according to an arbitrary subject distance and an angle of view, thereby obtaining an restored object for the object plane of an arbitrary subject distance and an angle of view. It is possible to realize refocusing and the like.
  • the imaging apparatus 101 it is possible to restore the restored image of an arbitrary subject distance or angle of view by switching the coefficient set group in this manner, so the focal length (that is, object distance) or angle of view changes variously. This eliminates the need for processing such as repeated imaging while making it happen.
  • the user switches the coefficient set group corresponding to different subject distance and angle of view, and displays the restored image on the display unit 127 while restoring the restored image of the desired subject distance and angle of view. It is also possible to get.
  • Metadata is associated with the detected image. For example, metadata is added to image data including a detected image, the same ID is added to a detected image and metadata, or the detected image and metadata are recorded on the same recording medium 130. Metadata is associated.
  • the detected image and the metadata can be recorded on different recording media, or can be output individually from the imaging apparatus 101.
  • the metadata may or may not include the coefficient set group used for restoration.
  • the subject distance and the angle of view at the time of restoration are included in the metadata, and at the time of restoration, a coefficient set group corresponding to the subject distance and the angle of view is acquired from the storage unit 128 or the like.
  • the restored image is immediately restored at the time of imaging, it is possible to select, for example, an image to be recorded or output to the outside from among the detected image and the restored image.
  • both images may be recorded or output to the outside, or only one of the images may be recorded or output to the outside.
  • the presence or absence of restoration of a restored image and selection of an image to be recorded or output to the outside can be performed for each frame. For example, it is possible to switch the presence or absence of restoration of a restored image for each frame. In addition, for example, it is possible to individually switch the presence / absence of recording of the detected image and the presence / absence of recording of the restored image for each frame. Also, for example, while adding metadata to a detection image of a useful frame that may be used later, the detection images of all the frames may be recorded.
  • an autofocus function as in an imaging apparatus using an imaging lens.
  • the autofocus function can be realized by determining the optimum subject distance by the hill climbing method similar to the contrast AF (Auto Focus) method based on the restored image.
  • the imaging device 121 is an essential component, and for example, the optical filter described in the above-mentioned patent documents and the like are not required. It is possible to realize an imaging device with high environmental resistance without distortion.
  • the imaging lens, the pinhole, and the optical filter described in the above-mentioned patent documents and the like are not required, so the degree of freedom in design of a configuration having an imaging function is improved. It becomes possible.
  • the processing by the restoration unit 122 is performed as the randomness of the difference in the light shielding range increases.
  • the load on the Therefore, the processing load may be reduced by reducing the randomness by setting a part of the change in the light shielding range of the light shielding film 121b of each pixel 121a to be regular.
  • the L-shaped light shielding film 121b is formed by combining the vertical band type and the horizontal band type, and the horizontal band type light shielding film 121b having the same width is combined in a predetermined column direction. In the row direction of, the vertical band type light shielding films 121b of the same height are combined.
  • the light blocking range of the light blocking film 121b of each pixel 121a changes randomly in pixel units while having regularity in the column direction and the row direction.
  • the difference in light blocking range of the light blocking film 121b of each pixel 121a that is, the randomness of the difference in incident angle directivity can be reduced, and the processing load of the restoration unit 122 can be reduced.
  • the horizontal band type light shielding film 121b having the same width X0 is used for all pixels in the same column indicated by the range Z130.
  • a vertical band type light shielding film 121b of the same height Y0 is used for the pixels in the same row indicated by the range Z150.
  • an L-shaped light shielding film 121b in which these are combined is used for the pixels 121a specified in each row and column.
  • the light shielding film 121b of the horizontal band type having the same width X1 is used, and the same row indicated by the range Z151 adjacent to the range Z150.
  • the vertical band type light shielding film 121b of the same height Y1 is used for the pixel of.
  • the light shielding film 121b of the horizontal band type having the same width X2 is used for all pixels in the same row indicated by the range Z152 adjacent to the range Z151.
  • a vertical band type light shielding film 121b of the same height Y2 is used for the pixels 121a specified in each row and column.
  • each element of matrix N of (N ⁇ N) rows ⁇ (N ⁇ N) rows of coefficient sets, and (N ⁇ N) rows ⁇ 1 row vector X representing a restored image It is shown that the result of multiplication of is a vector Y of (N ⁇ N) rows ⁇ 1 column representing a detected image. Then, from this relationship, simultaneous equations corresponding to, for example, the above-described Equation (1) to Equation (3) or Equation (4) to Equation (6) are configured.
  • each element of the first column indicated by the range Z201 of the matrix A corresponds to an element of the first row of the vector X
  • an N ⁇ N column indicated by the range Z202 of the matrix A Indicates that each element of X corresponds to an element of the N ⁇ Nth row of the vector X.
  • the matrix A is a diagonal matrix in which all the down-tilting diagonal components become one.
  • the matrix A does not form a diagonal matrix.
  • the restored image is obtained by solving the simultaneous equations based on the determinant shown in FIG. 22 and finding each element of the vector X.
  • the matrix A can not be accurately determined, the matrix A can not be accurately measured, the basis vector of the matrix A can not be solved in the case near linear dependence, and each element of the detected image It contains noise. And it may not be possible to solve simultaneous equations by any of those reasons or their combination.
  • a t is the transposed matrix of the matrix A
  • I is the identity matrix
  • the matrix A the matrix AL of N rows ⁇ N columns, decomposed into matrix AR T of N rows ⁇ N columns, N rows ⁇ N columns, each representing a restored image
  • the result obtained by multiplying the former stage and the latter stage of the matrix X of X is made to be an N-row ⁇ N-column matrix Y representing a detected image.
  • matrix AL of number of elements is (N ⁇ N)
  • AR T the number of elements of each matrix is 1 / (N ⁇ N).
  • a matrix matrix AL in parentheses of formula (8) is realized by an inverse matrix of the transposed matrix of the matrix A and matrix AR T.
  • the element group Z222 is obtained by multiplying each element group Z221 of the corresponding column of the matrix AL by the element of interest Xp in the matrix X Be Further, by multiplying the elements in the row corresponding to the element of interest Xp the element group Z222 matrix AR T, 2-dimensional response Z224 that corresponds to the element of interest Xp is calculated. Then, the two-dimensional response Z 224 corresponding to all elements of the matrix X is integrated to obtain the matrix Y.
  • the matrix can be made smaller, the capacity of the memory used for calculation can be reduced, and the device cost can be reduced.
  • FIG. 21 shows an example in which the light shielding range (light receiving range) is changed in pixel units while giving predetermined regularity in the horizontal direction and the vertical direction, but in the present disclosure, such an example is shown.
  • the light blocking range (light receiving range) is not completely randomly set in a pixel unit, it is considered that the light blocking range (light receiving range) is also set randomly at some random settings. In other words, in the present disclosure, not only when the light blocking range (light receiving range) is completely set randomly on a pixel basis, but also to a certain degree random (for example, regularity for some of all pixels).
  • the imaging lens, the pinhole, and the optical filter described in the above-mentioned patent documents and the like are not required. High degree of freedom.
  • an object is imaged by a plurality of imaging devices provided with imaging elements having incident angle directivity, and a restored image is restored using detection signals obtained by each imaging device.
  • FIG. 26 is a block diagram showing an exemplary configuration of an imaging system 301 according to the first embodiment of the present disclosure.
  • the imaging system 301 includes an imaging unit 311 and a signal processing unit 312.
  • the imaging unit 311 includes one or more n imaging devices 321-1 to 321-n.
  • the imaging devices 321-1 to 321-n are simply referred to as imaging devices 321 when it is not necessary to distinguish them individually.
  • Each imaging device 321 includes one or more imaging devices 121 having the above-described incident angle directivity.
  • Each imaging device 321 can be discretely arranged in space as shown in FIG. 27, for example. That is, the imaging devices 321 do not necessarily have to be aligned in space, and can be randomly arranged at intervals.
  • Each imaging device 321 performs near field communication with the reader / writer 331 of the signal processing unit 312 using technology such as RFID (Radio Frequency Identifier), for example, and detects one or more detection signals obtained by each imaging element 121 The detection signal set including is transmitted to the reader / writer 331. Further, each imaging device 321 converts an electromagnetic wave transmitted from the reader / writer 331 into electric power and is driven by the converted electric power. In other words, each imaging device 321 is driven by the electromotive force of the electromagnetic wave transmitted from the reader / writer 331.
  • RFID Radio Frequency Identifier
  • the signal processing unit 312 acquires a detection signal set from each imaging device 321 by controlling imaging by each imaging device 321, and performs restoration processing and the like of a restored image using the acquired detection signal set.
  • the signal processing unit 312 includes a reader / writer 331 and a signal processing device 332.
  • the reader / writer 331 performs near field communication with each imaging device 321 using technology such as RFID, and supplies power to each imaging device 321.
  • the signal processing device 332 performs restoration processing and the like of a restored image based on the detection signal set received from each imaging device 321 via the reader / writer 331, as shown in FIG.
  • FIG. 28 is a block diagram showing a configuration example of an imaging device 321A which is a first embodiment of the imaging device 321 of FIG.
  • parts corresponding to those of the imaging apparatus 101 in FIG. 2 are assigned the same reference numerals, and the description thereof will be omitted as appropriate.
  • the imaging device 321A includes an imaging element 121, a control unit 411, an association unit 412, a storage unit 413, and a communication unit 414.
  • the control unit 411, the association unit 412, the storage unit 413, and the communication unit 414 constitute a signal processing control unit 401A.
  • the imaging device 321A does not include an imaging lens.
  • the imaging device 121, the control unit 411, the association unit 412, the storage unit 413, and the communication unit 414 are connected to one another via the bus B2, and transmit and receive data via the bus B2.
  • the description of the bus B2 in the case where each part of the imaging device 321A transmits and receives data via the bus B2 is omitted.
  • the imaging element 121 outputs a detection signal set including one or more detection signals output from each pixel 121a to the bus B2.
  • the control unit 411 includes, for example, various processors, and controls each unit of the imaging device 321A.
  • the association unit 412 associates the detection signal set obtained by the imaging device 121 with the metadata corresponding to the detection signal set in cooperation with the association unit 504 (FIG. 33) of the signal processing device 332 or independently. Do.
  • the storage unit 413 includes one or more storage devices such as a read only memory (ROM), a random access memory (RAM), and a flash memory, and stores, for example, a program, data, and the like used for processing of the imaging device 321A.
  • the storage unit 413 stores, for example, an ID for uniquely identifying the imaging device 321A.
  • the communication unit 414 performs near field communication with the reader / writer 331 and receives power transmitted from the reader / writer 331 by electromagnetic waves.
  • the communication unit 414 includes a transmission / reception unit 421 and an antenna 422.
  • the transmission / reception unit 421 transmits / receives data to / from the reader / writer 331 via the antenna 422 by the short distance wireless communication method corresponding to the reader / writer 331.
  • the antenna 422 transmits / receives an electromagnetic wave to / from an antenna (not shown) of the reader / writer 331. Further, the electromagnetic wave received from the reader / writer 331 is converted into electric power by the antenna 422, and the imaging device 321A is driven by the electric power.
  • FIG. 29 schematically shows an example of the configuration of the appearance of the imaging device 321A.
  • the structural example of the surface of the imaging device 321A is schematically shown, and in the lower part, the structural example of the back surface of the imaging device 321A is schematically shown.
  • rectangular antennas 422 are provided on the left and right of the vertically long rectangular main body portion 431 at the center.
  • an imaging device 121 In the main body 431, an imaging device 121, a control unit 411, an association unit 412, a storage unit 413, and a transmission / reception unit 421 are incorporated.
  • a light receiving surface 121A of the imaging element 121 is disposed substantially at the center of the surface of the main body 431.
  • FIGS. 30 to 32 show examples of patterns of the pixel array portion of the imaging element 121 of each imaging device 321A.
  • the black portions in FIG. 30 to FIG. 32 indicate the light shielding range by the light shielding film 121 b.
  • FIG. 30 shows an example in which the imaging element 121 of each imaging device 321A includes one pixel 121a.
  • color filters 121d of different colors of white, red, green, or blue are provided, and the right half is blocked.
  • the color filter 121 d may or may not be a transparent filter. Therefore, by using the four imaging devices 321A of the patterns Pt1 to Pt4, it is possible to acquire detection signals having the same incident angle directivity and different colors (detection wavelengths). Then, for example, by using a plurality of imaging devices 321A having different light blocking ranges for each color, a plurality of detection signals having different incident angle directivity can be obtained for each color.
  • FIG. 31 illustrates an example in which the imaging element 121 of each imaging device 321A includes three pixels 121a.
  • the pixels 121a are arranged in the horizontal direction, and the color filters 121d of different colors of red, green, or blue are provided in the pixels 121a.
  • the right half of each pixel 121a is shielded from light. Therefore, by using the imaging device 321A of the pattern Pt11, detection signals having the same incident angle directivity and different colors (detection wavelengths) can be acquired at one time. Then, for example, by using a plurality of imaging devices 321A having the same color arrangement as the pattern Pt11 and different light blocking ranges, a plurality of detection signals having different incident angle directivity can be obtained for each color.
  • the pixels 121a are arranged in the horizontal direction, and the color filters 121d of different colors of red, green, or blue are provided in the respective pixels 121a.
  • the imaging device 321A of the pattern Pt12 detection signals having different incident angle directivity and color (detection wavelength) can be acquired at one time.
  • a plurality of imaging devices 321A having the same color arrangement as that of the pattern Pt12 and having a different light shielding range a plurality of detection signals having different incident angle directivity can be obtained for each color.
  • FIG. 32 illustrates an example in which the imaging element 121 of each imaging device 321A includes four pixels 121a.
  • the pixels 121a are arranged in the horizontal direction, and the pixels 121a are provided with color filters 121d of different colors of red, green, blue, or white.
  • the color filter 121 d may or may not be a transparent filter.
  • the right half of each pixel 121a is shielded from light. Therefore, by using the imaging device 321A of the pattern Pt21, detection signals having the same incident angle directivity and different colors (detection wavelengths) can be acquired at one time. Then, for example, by using a plurality of imaging devices 321A having the same color arrangement as that of the pattern Pt21 and having a different light blocking range, a plurality of detection signals having different incident angle directivity can be obtained for each color.
  • the pixels 121a are arranged in 2 rows ⁇ 2 columns, and the color filters 121d of different colors of red, green, blue, or white are provided in the pixels 121a.
  • the color filter 121 d may or may not be a transparent filter.
  • the right half of each pixel 121a is shielded from light. Therefore, by using the imaging device 321A of the pattern Pt22, detection signals having the same incident angle directivity and different colors (detection wavelengths) can be acquired at one time. Then, for example, by using a plurality of imaging devices 321A having the same color arrangement as the pattern Pt22 and different light blocking ranges, a plurality of detection signals having different incident angle directivity can be obtained for each color.
  • the pixels 121a are arranged in 2 rows ⁇ 2 columns, and the color arrangement of the pixels 121a follows the Bayer arrangement. Further, the light blocking range of each pixel 121a is different. Therefore, by using the imaging device 321A of the pattern Pt23, detection signals having different incident angle directivity and color (detection wavelength) can be acquired at one time. Then, for example, by using a plurality of imaging devices 321A having the same color arrangement as that of the pattern Pt23 and having different light shielding ranges, a plurality of detection signals having different incident angle directivity can be obtained for each color.
  • the pixels 121a are arranged in two rows and two columns, and a color filter 121d of the same color (in this example, white) is provided in each pixel 121a.
  • the color filter 121 d may or may not be a transparent filter.
  • the light blocking range of each pixel 121a is different. Therefore, by using the imaging device 321A of the pattern Pt23, detection signals having different incident angle directivity and the same color (detection wavelength) can be acquired at one time.
  • FIG. 33 is a block diagram showing a configuration example of the signal processing device 332 of FIG.
  • the signal processing device 332 includes a restoration unit 501, a control unit 502, an input unit 503, an association unit 504, a display unit 505, a storage unit 506, a recording and reproduction unit 507, a recording medium 508, and a communication unit 509.
  • the restoration unit 501, the control unit 502, the input unit 503, the display unit 505, the storage unit 506, the recording and reproduction unit 507, and the communication unit 509 are mutually connected via the bus B3, and data are connected via the bus B3.
  • Send and receive In the following, in order to simplify the description, the description of the bus B3 in the case where each part of the signal processing device 332 transmits and receives data via the bus B3 is omitted.
  • the restoration unit 501 performs restoration processing and the like of a restored image by the same processing as the restoration unit 122 of the imaging device 101 in FIG. 2 using the detection signal set received from each imaging device 321 via the reader / writer 331. .
  • the restoration unit 501 outputs the restored image to the bus B3.
  • the control unit 502 includes, for example, various processors, and controls each unit of the signal processing device 332.
  • the input unit 503 includes an input device (for example, a key, a switch, a button, a dial, a touch panel, a remote controller, and the like) for performing an operation of the signal processing device 332 and an input of data used for processing.
  • the input unit 503 outputs an operation signal, input data, and the like to the bus B3.
  • the associating unit 504 associates the detection signal set acquired from each imaging device 321A with metadata corresponding to each detection signal set in cooperation with the associating unit 412 of the imaging device 321A or by itself.
  • the display unit 505 includes, for example, a display, and displays various types of information (for example, a restored image and the like). Note that the display unit 505 may include an audio output unit such as a speaker to output audio.
  • the storage unit 506 includes one or more storage devices such as a ROM, a RAM, and a flash memory, and stores, for example, programs and data used for the processing of the signal processing device 332.
  • the storage unit 506 stores installation information including the position (for example, latitude and longitude) of each imaging device 321A and the posture (for example, orientation and inclination).
  • the storage unit 506 stores, for example, a coefficient set group corresponding to the imaging element 121 of each imaging device 321A in the current installation state of each imaging device 321A.
  • the coefficient set group is prepared, for example, for each assumed subject distance and angle of view.
  • the recording and reproducing unit 507 performs recording of data on the recording medium 508 and reproduction (reading) of data recorded on the recording medium 508.
  • the recording / reproducing unit 507 records the restored image on the recording medium 508 or reads it from the recording medium 508.
  • the recording / reproducing unit 507 records the detection signal set and the corresponding metadata on the recording medium 508 or reads out from the recording medium 508.
  • the recording medium 508 is, for example, an HDD, an SSD, a magnetic disk, an optical disk, a magneto-optical disk, a semiconductor memory or the like, or a combination thereof.
  • the communication unit 509 communicates with another device (for example, the reader / writer 331 or another signal processing device) by a predetermined communication method.
  • the communication method of the communication unit 509 may be either wired or wireless.
  • the communication unit 509 can also correspond to a plurality of communication methods.
  • step S101 the signal processing unit 312 transmits an imaging command.
  • control unit 502 of the signal processing device 332 generates an imaging command, and encodes the generated imaging command.
  • the control unit 502 supplies the encoded imaging command to the reader / writer 331 via the communication unit 509.
  • the reader / writer 331 transmits an imaging command to each imaging device 321 by starting transmission of a carrier wave composed of an electromagnetic wave and modulating the carrier wave with the encoded imaging command.
  • Each imaging device 321 receives an imaging command in step S151 of FIG. 36 described later, and transmits imaging data in step S153.
  • step S102 the signal processing unit 312 receives imaging data from each imaging device 321A.
  • the reader / writer 331 receives imaging data transmitted from each imaging device 321 by modulating a carrier wave composed of a reflected wave of the transmitted electromagnetic wave.
  • the imaging data is transmitted, for example, using a packet shown in FIG.
  • Each packet includes a start code, an ID, a detection signal, and an end code.
  • a predetermined code indicating the beginning of the packet is set.
  • the ID is an ID for identifying the imaging device 321A and the pixel 121a that output the detection signal included in the packet.
  • the ID for identifying each imaging device 321A and each pixel 121a in the imaging element 121 The ID is a combination of the ID for identification.
  • the imaging device 321A and the pixel 121a that output the detection signal included in the packet are identified.
  • the value of the detection signal to be transmitted (that is, the detection signal level) is set.
  • a predetermined code indicating the end of the packet is set.
  • the ID and the detection signal are encoded as necessary.
  • one packet is generated for one detection signal, and each detection signal is transmitted by a different packet. Therefore, packets corresponding to at least the number of detection signals are transmitted from each imaging device 321A. Then, a detection signal set including one or more detection signals output from the imaging device 121 of each imaging device 321A and metadata (for example, an ID or the like) corresponding to the detection signal set are transmitted by the one or more packets. Ru.
  • a plurality of detection signals may be transmitted at one time.
  • the transmission order of the detection signals is fixed, and the transmission of the ID of each pixel 121a is omitted, and one in one packet. It is also possible to include only the ID of the imaging device 321A.
  • the reader / writer 331 demodulates each packet of the imaging data received from each imaging device 321A and supplies it to the signal processing device 332.
  • the restoration unit 501 of the signal processing device 332 acquires each of the demodulated packets via the communication unit 509, and decodes the ID and the detection signal contained in each packet.
  • the reader / writer 331 stops the transmission of the carrier wave composed of the electromagnetic wave after a predetermined time has elapsed.
  • step S103 the restoration unit 501 obtains a coefficient used for image restoration. Specifically, the restoration unit 501 sets the subject distance by the same process as the process performed by the restoration unit 122 of the imaging apparatus 101 in step S2 of FIG. Then, the restoration unit 122 reads out from the storage unit 506 the coefficient set group associated with the set subject distance.
  • step S104 the reconstruction unit 501 reconstructs an image using the detection signal set and the coefficients. That is, the restoration unit 501 performs the same processing as the processing performed by the restoration unit 122 of the imaging apparatus 101 in step S3 of FIG. 20, the detection signal set included in the imaging data received from each imaging apparatus 321A, and the processing in step S103. The restored image is restored using the coefficient set group obtained in step.
  • step S105 the signal processing device 332 performs various processes on the restored image.
  • the restoration unit 501 performs demosaicing processing, ⁇ correction, white balance adjustment, conversion processing to a predetermined compression format, and the like on the restored image as necessary.
  • the restoration unit 501 supplies, for example, a restored image to the display unit 505 for display, or supplies the restored image to the recording and reproduction unit 507, and records the restored image on the recording medium 508, as necessary. , Output to other devices.
  • each imaging device 321A will be described with reference to the flowchart in FIG. 36, corresponding to the processing of the signal processing unit 312 in FIG.
  • the imaging device 321A receives an imaging command. Specifically, in step S101 of FIG. 34, the antenna 422 of the imaging device 321A receives an electromagnetic wave whose transmission is started from the reader / writer 331, converts the received electromagnetic wave into electric power, and supplies it to each part of the imaging device 321A. Do. Thus, each unit of the imaging device 321A is activated.
  • the transmission / reception unit 421 demodulates the electromagnetic wave received from the reader / writer 331 via the antenna 422, and supplies the encoded data obtained as a result to the control unit 411.
  • the control unit 411 acquires an imaging command by decoding the encoded data.
  • step S152 the imaging element 121 captures an image of a subject, as in the process of step S1 in FIG.
  • the imaging element 121 supplies the detection signal set including the detection signal of each pixel 121a to the associating unit 412.
  • step S153 the imaging device 321A transmits imaging data.
  • the association unit 412 generates the packet described above with reference to FIG. 35 for each detection signal included in the detection signal set. Thus, an ID is assigned to each detection signal.
  • the associating unit 412 supplies the generated packets to the transmitting and receiving unit 421.
  • the transmission / reception unit 421 transmits imaging data in packet units to the reader / writer 331 by, for example, modulating a carrier wave consisting of a reflected wave of an electromagnetic wave received from the reader / writer 331 with data of each packet via the antenna 422.
  • the reader / writer 331 stops the transmission of the electromagnetic wave, whereby the supply of power from the reader / writer 331 is ended, the imaging device 321A is turned off, and the processing is ended.
  • the imaging device 321A can be further miniaturized, power consumption can be reduced, and the amount of data communication related to transmission of imaging data can be reduced by performing imaging by sharing a plurality of imaging devices 321A. be able to. Further, the imaging device 321A is compact, does not require a power source such as a battery, and transmits imaging data by wireless communication, so the degree of freedom of the installation position is high. Therefore, the application range of the imaging device 321A can be expanded.
  • the imaging system 301 For example, by applying the imaging system 301 to an agricultural monitoring system, arranging the imaging devices 321A at a plurality of locations in the farmland, and performing the above-described processing, it is possible to grasp the weather and crop condition from remote locations. It is.
  • the small-sized imaging devices 321A in a distributed manner, it is possible to perform imaging without damaging the landscape.
  • the imaging system 301 to a building monitoring system and distributing a plurality of imaging devices 321A on a wall of a building etc.
  • the surroundings of the building can be imaged without damaging the landscape, and from a remote place It is possible to monitor.
  • the imaging device 321A can also be installed on a small device or a curved portion of the device, the range of applicable devices is expanded.
  • the imaging device 321A can be applied to various wearable terminals, medical devices such as an endoscope camera and a fundus camera, card-type devices, and the like.
  • the imaging device 321B of FIG. 37 which is the second embodiment of the imaging device 321, is used.
  • portions corresponding to the imaging device 321A in FIG. 28 are assigned the same reference numerals, and the description thereof will be omitted as appropriate.
  • illustration of power supply lines for supplying power from the power supply unit 451 to each unit of the imaging device 321B is omitted.
  • the imaging device 321B is different from the imaging device 321A in that a power supply unit 451 is provided.
  • the power supply unit 451 is configured of, for example, a battery or an AC / DC power supply, and supplies driving power to each unit of the imaging device 321B.
  • the power supply unit 451 is an AC / DC power supply
  • the power supply unit 451 converts the power supplied from the external AC power supply into a direct current, and then supplies the power to each unit of the imaging device 321B.
  • the imaging device 321B can autonomously perform imaging processing and transmit imaging data even when power is not supplied from the reader / writer 331.
  • the signal processing device 332 receives the imaging data transmitted from each imaging device 321 without transmitting an imaging command to each imaging device 321 B, and uses the received imaging data to restore the restored image. It can be restored.
  • FIG. 38 ⁇ Configuration Example of Imaging Device 321C>
  • the imaging device 321C in FIG. 38 which is the third embodiment of the imaging device 321 is used.
  • parts corresponding to the imaging device 321A in FIG. 28 are assigned the same reference numerals, and the description thereof will be omitted as appropriate.
  • illustration of power supply lines for supplying power from the power supply unit 461 to each unit of the imaging device 321C is omitted.
  • the imaging device 321C differs from the imaging device 321A in that a power supply unit 461 is provided.
  • the power supply unit 461 is a power supply that generates electric power by solar power generation.
  • the power supply unit 461 includes a photoelectric conversion unit 471 and a storage unit 472.
  • the photoelectric conversion unit 471 includes, for example, a photodiode, converts received light into charge, and supplies the obtained charge to the storage unit 472.
  • the storage unit 472 stores the charge converted by the photoelectric conversion unit 471, and supplies power of the stored charge to each unit of the imaging device 321C.
  • the imaging device 321C can generate power by itself and operate with the power without receiving supply of power from the outside or replacing the battery.
  • the photoelectric conversion portion 471 can be integrated with the imaging element 121.
  • the imaging device 321C can be miniaturized, and the manufacturing process can be simplified.
  • the imaging device 321 is compact and has a high degree of freedom in the installation position, it is assumed that the imaging device 321 is used at an arbitrary place other than a predetermined place. For example, it is also conceivable to use a plurality of imaging devices 321 in random distribution.
  • the inclination of the light receiving surface of the imaging element 121 with respect to the object surface to be restored changes, and the incident angles of light rays from point light sources on the object surface change.
  • the imaging device 321 moves from the position of the dotted line to the position of the solid line, the ray from the point light source P on the object plane 31 is transmitted to the imaging device 321 (the light receiving surface of the imaging element 121). The incident angle changes.
  • each pixel 121a of the imaging element 121 has incident angle directivity.
  • FIG. 40 shows an example of the light reception sensitivity with respect to the incident angle ⁇ x in the horizontal direction of a certain pixel 121a of the imaging device 121.
  • the horizontal axis of FIG. 40 indicates the incident angle ⁇ x in the horizontal direction, and the vertical axis indicates the detection signal level.
  • the detection signal level Becomes larger.
  • each imaging device 321 the position and the inclination of each imaging device 321 are detected by each imaging device 321, and the signal processing device 332 obtains a coefficient to be used for restoration of a restored image based on the detection result and restores it.
  • the image is to be restored.
  • the imaging device 321D of FIG. 41 which is the fourth embodiment of the imaging device 321, is used.
  • parts corresponding to the imaging device 321A in FIG. 28 are assigned the same reference numerals, and the description thereof will be omitted as appropriate.
  • the imaging device 321D is different from the imaging device 321A in that a signal processing control unit 401D is provided instead of the signal processing control unit 401A.
  • the signal processing control unit 401D is different from the signal processing control unit 401A in that a detection unit 611A is added.
  • the detection unit 611A includes a position detection unit 621 and a tilt detection unit 622.
  • the position detection unit 621 includes, for example, a GNSS receiver or the like, and detects the current position (for example, an absolute position represented by latitude and longitude) of the imaging device 321D.
  • the position detection unit 621 outputs the detected position information to the bus B2.
  • the tilt detection unit 622 includes, for example, an acceleration sensor or a tilt sensor, and detects the tilt of the light receiving surface of the imaging element 121 with respect to a plane perpendicular to the direction of gravity. For example, as shown in FIG. 42, when the direction of gravity is the Z axis, the direction perpendicular to the Z axis is the X axis, and the direction perpendicular to the Z axis is the Y axis, inclination detection The unit 622 detects the inclination X ⁇ and the inclination Y ⁇ .
  • the inclination X ⁇ is the inclination around the Y axis in the XZ plane.
  • the inclination Y ⁇ is the inclination around the X axis in the YZ plane.
  • the inclination detection unit 622 outputs the detected inclination information to the bus B2.
  • step S201 an imaging command is transmitted as in the process of step S101 in FIG.
  • step S202 as in the process of step S102 in FIG. 34, imaging data is received from each imaging device 321D.
  • the data configuration of the packet of the imaging data is different from the process of step S102 of FIG.
  • FIG. 44 shows an example of the data configuration of a packet of imaging data used in the fourth embodiment.
  • the inclination X ⁇ and the inclination Y ⁇ of the light receiving surface of the imaging element 121 detected by the inclination detection unit 622 of the imaging device 321D are respectively set to the inclination X ⁇ and the inclination Y ⁇ .
  • the latitude and longitude of the current position of the imaging device 321D detected by the position detection unit 621 of the imaging device 321D are respectively set as the latitude and longitude.
  • step S203 the restoration unit 501 obtains a coefficient used for image restoration. Specifically, the restoration unit 501 sets the subject distance, as in the process of step S103 in FIG.
  • the restoration unit 501 calculates, for each imaging device 321D, the amount of change in the inclination of the light receiving surface of the imaging element 121 with respect to the object plane (object plane to be restored) for the set object distance. That is, the restoration unit 501 calculates the amount of change in the inclination of the light receiving surface of the imaging element 121 with respect to the object surface as the imaging devices 321D move from the predetermined reference position to the current position.
  • the imaging device 321D when the imaging device 321D is installed at the reference position, the light receiving surface of the imaging element 121 and the object surface face each other, and both are surfaces perpendicular to the direction of gravity. Also, hereinafter, the latitude and longitude of the reference position will be referred to as reference latitude and reference longitude, respectively.
  • the reference position is, for example, set in advance for each imaging device 321D.
  • ⁇ x a tan ((Longitude after movement-standard longitude) / subject distance) + X ⁇ ... (9)
  • ⁇ y a tan ((Latitude after movement-reference latitude) / subject distance) + Y ⁇ ... (10)
  • the incident angle ⁇ x in the X-axis direction and the incident angle ⁇ y in the Y-axis direction of light rays from the respective point light sources on the object surface to the light receiving surface of the imaging device 121 are increased by ⁇ x and ⁇ y, respectively.
  • the change amount ⁇ x of the incident angle ⁇ x is referred to as the incident angle change amount ⁇ x
  • the change amount ⁇ y of the incident angle ⁇ y is referred to as the incident angle change amount ⁇ y.
  • the restoration unit 501 changes the incident angle change amount ⁇ x and the incident angle of each imaging device 321D with respect to the object plane 31 of the set object distance based on the latitude and longitude, the inclination X ⁇ , and the inclination Y ⁇ of each imaging device 321D.
  • the amount ⁇ y is calculated.
  • the incident angle change amount ⁇ x and the incident angle change amount ⁇ y are change amounts of the incident angle ⁇ x and the incident angle ⁇ y based on the case where each imaging device 321D is installed at a predetermined reference position.
  • the storage unit 506 is not limited to the coefficient set group with respect to the object plane of each object distance when each imaging device 321D is installed at the reference position, but also the incident angle variation ⁇ x and the incident angle with respect to each object plane.
  • a coefficient set group for each change amount ⁇ y is also stored.
  • the restoration unit 501 uses the storage unit 506 as a coefficient set group corresponding to each imaging device 321D, and also sets a coefficient set group corresponding to the calculated incident angle change amount ⁇ x and incident angle change amount ⁇ y. read out.
  • each point on the subject surface when the imaging device 321D is installed at the reference position is determined based on the weight Wx and the weight Wy for the incident angle obtained by adding the calculated incident angle change amount ⁇ x and the incident angle change amount ⁇ y to the incident angle ⁇ x and the incident angle ⁇ y of the incident light from the light source. It is also good.
  • step S204 as in the process of step S104 of FIG. 34, image restoration is performed using the detection signal set and the coefficients.
  • step S205 various processes are performed on the restored image, as in the process of step S105 in FIG.
  • step S251 an imaging command is received as in the process of step S151 in FIG.
  • step S252 imaging of a subject is performed as in the process of step S152 in FIG.
  • the detection unit 611A detects the position and orientation. Specifically, the position detection unit 621 detects the latitude and longitude of the current position of the imaging device 321D, and outputs the detected position information to the bus B2. The inclination detection unit 622 detects the inclination X ⁇ and the inclination Y ⁇ of the light receiving surface of the imaging element 121 of the imaging device 321D, and outputs the detected inclination information to the bus B2.
  • step S254 as in the process of step S153 in FIG. 36, imaging data is transmitted.
  • imaging data is transmitted using the packet of FIG.
  • each imaging device 321D detects its own position and orientation, and notifies the signal processing device 332, so that each imaging device 321D can be freely installed without performing prior setting processing or the like.
  • the imaging process can be performed by moving it.
  • FIG. 46 show the light receiving sensitivity characteristics with respect to the incident angle of the incident light of the pixel 121a having the imaging element 121, similarly to the right portion of FIG.
  • the upper part of FIG. 46 shows the light receiving sensitivity characteristic of the pixel 121a before rotation
  • the lower part shows the light receiving sensitivity characteristic of the pixel 121a after the pixel 121a is rotated by the angle ⁇ around the reference point (0, 0). There is.
  • incident light incident from the point light source P on the object plane 31 at the incident angle ( ⁇ x1, ⁇ y1) to the pixel 121a before rotation is incident at the incident angle ( ⁇ x2, ⁇ y2) to the pixel 121a after rotation It will be incident.
  • the light reception sensitivity of the pixel 121a to incident light before and after rotation changes, and the detection signal level changes.
  • each imaging device 321 is further detected by each imaging device 321, and the signal processing device 332 obtains a coefficient to be used for the restoration of the restoration image based on the detection result.
  • the imaging device 321E of FIG. 47 which is the fifth embodiment of the imaging device 321, is used.
  • parts corresponding to the imaging device 321D in FIG. 41 are given the same reference numerals, and the description thereof will be omitted as appropriate.
  • the imaging device 321E is different from the imaging device 321D in that a signal processing control unit 401E is provided instead of the signal processing control unit 401D.
  • the signal processing control unit 401E is different from the signal processing control unit 401D in that a detection unit 611B is provided instead of the detection unit 611A.
  • the detection unit 611B is different from the detection unit 611A in that a geomagnetism detection unit 623 is added.
  • the geomagnetic detection unit 623 detects the direction of the imaging device 321E, such as north, south, east, and west. For example, the orientation of a predetermined axis parallel to the light receiving surface of the imaging element 121 of the imaging device 321E is detected as the orientation of the imaging device 321E.
  • the geomagnetic detection unit 623 outputs direction information indicating the detected direction to the bus B2.
  • FIG. 48 shows an example of the data configuration of a packet of imaging data transmitted from each imaging device 321E.
  • the direction of the imaging device 321E detected by the geomagnetic detection unit 623 of the imaging device 321E is set.
  • the change amount ⁇ x 'of the incident angle ⁇ x in the X-axis direction and the change amount ⁇ y' of the incident angle ⁇ y in the Y-axis direction are the incident angle change amount ⁇ x of equation (9) and the incident angle of equation (10) It is represented by following Formula (11) and Formula (12) using change amount (DELTA) (theta) y.
  • ⁇ x ′ ⁇ x ⁇ cos ⁇ y ⁇ sin ⁇ ... (11)
  • ⁇ y ′ ⁇ x ⁇ sin ⁇ + ⁇ y ⁇ cos ⁇ ... (12)
  • the restoration unit 501 of the signal processing device 332 changes the incident angle change amount ⁇ x ′ of the equation (11) instead of the incident angle change amount ⁇ x of the equation (9) and the incident angle change amount ⁇ y of the equation (10).
  • the coefficient set group is obtained using the incident angle change amount ⁇ y ′ of (12), and the restored image is restored using the obtained coefficient set group.
  • the restored image is restored using more appropriate coefficients, and the restoration accuracy and the image quality of the restored image are improved.
  • the imaging device 321F of FIG. 49 which is the sixth embodiment of the imaging device 321, is used.
  • parts corresponding to the imaging device 321E in FIG. 47 are given the same reference numerals, and the description thereof will be omitted as appropriate.
  • the imaging device 321F is different from the imaging device 321E in that a signal processing control unit 401F is provided instead of the signal processing control unit 401E.
  • the signal processing control unit 401F is different from the signal processing control unit 401E in that a detection unit 611C is provided instead of the detection unit 611B, and a drive unit 651 is added.
  • the detection unit 611C is different from the detection unit 611B in that an altitude detection unit 624 is added.
  • the altitude detection unit 624 includes, for example, an altitude sensor.
  • the altitude detection unit 624 detects the altitude of the position where the imaging device 321F is installed, and outputs altitude information indicating the detected altitude to the bus B2.
  • the drive unit 651 includes, for example, a drive mechanism that moves (changes) the position and orientation of the imaging device 321F.
  • the drive unit 651 includes a wheel that moves the imaging device 321F on land, a propeller that moves the air in the air, and the like.
  • the drive unit 651 includes an actuator or the like that moves the orientation or the inclination of the imaging device 321F.
  • the drive unit 651 allows the imaging device 321F to change the position and posture by itself.
  • step S301 the signal processing unit 312 transmits a drive command.
  • control unit 502 of the signal processing device 332 generates a drive command, and encodes the generated drive command.
  • the drive command includes, for example, a movement command for moving at least one of the position and orientation of the imaging device 321F to be driven, and the ID of the imaging device 321F to be driven.
  • the movement command may be indicated by an absolute position and attitude, or may be indicated by a relative position and attitude.
  • the position or posture for moving the imaging device 321F is indicated by an absolute numerical value (for example, latitude, longitude, direction, angle with respect to the direction of gravity, etc.).
  • the movement direction and the movement amount with respect to the current position or posture of the imaging device 321F are indicated.
  • the control unit 502 supplies the encoded drive command to the reader / writer 331 via the communication unit 509.
  • the reader / writer 331 starts transmission of a carrier wave composed of an electromagnetic wave, and modulates the carrier wave with the encoded drive command to transmit a drive command to each imaging device 321F.
  • movement commands for a plurality of imaging devices 321F may be included in one drive command, or the drive commands may be transmitted individually for each of the imaging devices 321F to be driven. In the latter case, for example, when changing the position or orientation of the plurality of imaging devices 321F, a plurality of drive commands are transmitted in step S301.
  • the imaging device 321F which is to be driven, changes the position or the posture in accordance with the command by the drive command in step S353 in FIG. 52 described later.
  • step S301 when there is no need to change the position and orientation of each imaging device 321F, the process of step S301 can be omitted.
  • step S302 an imaging command is transmitted as in the process of step S101 in FIG.
  • step S303 as in the process of step S102 in FIG. 34, imaging data is received from each imaging device 321F.
  • the data configuration of the packet of the imaging data is different from the process of step S102 of FIG.
  • FIG. 51 shows an example of the data configuration of a packet of imaging data used in the sixth embodiment.
  • the altitude of the imaging device 321F detected by the altitude detection unit 624 of the imaging device 321F is set as the altitude.
  • step S304 as in the process of step S203 of FIG. 43, a coefficient used for image restoration is determined.
  • the restoration unit 501 uses the following equations (13) and (14) instead of the above-described equations (9) and (10), and takes incident light in consideration of the height of the imaging device 321F.
  • the angle change amount ⁇ x and the incident angle change amount ⁇ y are calculated.
  • the restoration unit 501 calculates the incident angle change amount ⁇ x ′ and the incident angle change amount ⁇ y ′ using the above-described Equations (11) and (12). Then, the restoration unit 501 reads out from the storage unit 506 the set of coefficients corresponding to the set subject distance, the incident angle change amount ⁇ x ′ and the incident angle change amount ⁇ y ′.
  • step S305 as in the process of step S104 of FIG. 34, the image is restored using the detection signal set and the coefficients.
  • step S306 various processes are performed on the restored image, as in the process of step S105 in FIG.
  • step S351 the imaging device 321F receives the drive command. Specifically, in step S301 in FIG. 50, the antenna 422 of the imaging device 321F receives an electromagnetic wave whose transmission is started from the reader / writer 331, converts the received electromagnetic wave into electric power, and supplies it to each part of the imaging device 321F. Do. Thereby, each part of the imaging device 321F is activated.
  • the transmission / reception unit 421 demodulates the electromagnetic wave received from the reader / writer 331 via the antenna 422, and supplies the encoded data obtained as a result to the control unit 411.
  • the control unit 411 acquires a drive command by decoding the encoded data.
  • step S352 the control unit 411 determines whether or not a change in position or posture has been instructed. For example, when the ID of the imaging device to be driven included in the drive command matches the ID of the control unit 411, the control unit 411 determines that the change of the position or the posture is instructed, and the process proceeds to step S353.
  • step S353 the imaging device 321F changes the position or the posture. Specifically, the control unit 411 controls the drive unit 651 to move the position or the attitude of the imaging device 321F according to the movement command included in the drive command.
  • step S352 for example, when the ID of the imaging device to be driven included in the drive command does not match the ID of the user, the control unit 411 determines that the change of the position or the posture is not instructed, The process of S353 is skipped, and the process proceeds to step S354.
  • step S354 an imaging command is received as in the process of step S151 in FIG.
  • step S355 imaging of a subject is performed as in the process of step S152 of FIG.
  • the detection unit 611C detects the position and orientation. Specifically, the position detection unit 621 detects the latitude and longitude of the current position of the imaging device 321F, and outputs the detected position information to the bus B2.
  • the inclination detection unit 622 detects the inclination X ⁇ and the inclination Y ⁇ of the light receiving surface of the imaging element 121 of the imaging device 321F, and outputs the detected inclination information to the bus B2.
  • the geomagnetic detection unit 623 detects the direction of the imaging device 321F, and outputs the detected direction information to the bus B2.
  • the altitude detection unit 624 detects the altitude of the imaging device 321F, and outputs the detected altitude information to the bus B2.
  • step S357 as in the process of step S153 in FIG. 36, imaging data is transmitted.
  • imaging data is transmitted using the packet of FIG.
  • the restored image is restored using more appropriate coefficients, and the restoration accuracy and the image quality of the restored image are improved.
  • the drive command and the imaging command are continuously transmitted.
  • the drive command and the imaging command may be transmitted at different timings. That is, the movement of the position or posture of each imaging device 321F and the imaging process may be performed at different timings.
  • each imaging device 321 ⁇ / b> F may be able to autonomously change the position or the attitude regardless of the instruction from the signal processing unit 312. In this case, each imaging device 321F needs to be able to operate without receiving power supply from the reader / writer 331.
  • the power supply unit 451 of FIG. 37 or the power supply unit 461 of FIG. 38 may be provided in each imaging device 321F.
  • an external DC power supply may be attached to each imaging device 321F, or power may be supplied from the outside via a power supply line.
  • an imaging device 321G of FIG. 53 which is a seventh embodiment of the imaging device 321, is used as the imaging device 321 of the imaging system 301 of FIG.
  • the imaging device 321 is also assumed to be randomly distributed and used. However, when the imaging device 321 is scattered, the light receiving surface 121A of the imaging element 121 does not necessarily face front. For example, when the light receiving surface 121A of the imaging element 121 faces the ground, the imaging device 321 can not obtain an effective detection signal set.
  • the imaging device 321G in addition to the light receiving surface 121A of the imaging device 121 on the front surface, the light reception of the imaging device 701 (not shown) having the same configuration as the imaging device 121 on the back surface (opposite surface) A surface 701A is provided. Thereby, the imaging device 321F can capture an object and obtain an effective detection signal set, regardless of which of the front and back faces the front.
  • the imaging device 321G may determine which of the imaging device 121 and the imaging device 701 is effective, and may transmit imaging data including only a detection signal set of the imaging device determined to be effective. . For example, the imaging device 321G determines that an imaging element having a larger average value of detection signal levels among detection signal sets of two imaging elements is valid, and includes only a detection signal set of imaging elements determined to be valid. Imaging data may be transmitted.
  • the imaging device 321G may always transmit imaging data including detection signal sets of both imaging devices, and the signal processing device 332 may determine which detection signal set is valid.
  • the imaging element 121 and the imaging element 701 may be configured by one imaging element.
  • the imaging device has a configuration bent at 180 °, and the pixel array portion on one side and the pixel array portion on the other side can be operated independently.
  • the imaging device 321F may be configured by a polyhedron having three or more faces having different directions, such as a regular tetrahedron or a regular hexahedron, and the light receiving surface of the imaging element may be provided on each surface.
  • the height detection unit 624 of the imaging device 321F of FIG. 49 can be added to the imaging device 321E of FIG.
  • the imaging device 321 when the imaging device 321 is driven by the power supplied from the reader / writer 331 or the power generated by solar power generation, a case where sufficient power can not be obtained is assumed. On the other hand, when sufficient power can not be obtained, some pixels 121a may be invalidated.
  • the upper and lower parts of FIG. 54 show examples of patterns of the pixel array portion of the imaging element 121.
  • an R pixel provided with a red color filter a G pixel provided with a green color filter, a B pixel provided with a blue color filter, and a W pixel provided with a white color filter
  • the pixel block of 1 row x 4 columns is made into 1 unit, and the pixel block is arranged in 3 rows x 2 columns.
  • the black part of each pixel 121a indicates the light shielding film 121b.
  • the light blocking ranges of the light blocking films 121 b of all the pixels 121 a are set to the same range, but it is not necessary to set the light blocking ranges to the same range.
  • all the pixels 121a are validated as shown in the upper row. That is, detection signals of all the pixels 121a are read out and transmitted to the outside.
  • to invalidate the pixel 121a means, for example, to stop reading out of the detection signal of the pixel 121a.
  • the readout of the detection signal is stopped by stopping the AD conversion of the detection signal of the invalid pixel 121a.
  • the detection signal of the invalid pixel 121a may be transmitted to the outside, or may not be transmitted to the outside.
  • a signal of a predetermined dummy value is transmitted as a detection signal of the invalid pixel 121a.
  • part of the detection signal can be supplied to the signal processing device 332, and image restoration can be continued.
  • the number of pixels 121 a to be invalidated may be changed according to the amount of power shortage.
  • each pixel 121a As the shape of the light shielding film 121b of each pixel 121a, it is possible to adopt a shape other than the above-described horizontal band type, vertical band type, L-shaped type, and a type provided with a rectangular opening.
  • one pixel output unit may include nine photodiodes 121 f.
  • the photodiodes 121f-11, 121f-114, 121f-117 to 121f-119 are substantially made.
  • An incident angle characteristic similar to that of the pixel 121a provided with the L-shaped light shielding film 121b in which the light shielding film 121b is set in the range of -117 to 121f -119 can be obtained.
  • the incident angle directivity can be changed as in the case where the position and the range shielded by the light shielding film 121 b are changed.
  • one pixel output unit is configured by one pixel 121a.
  • one pixel output unit may be configured by a plurality of pixels 121a.
  • each of the pixels 121 a-111 to 121 a-119 includes, for example, one photodiode and does not include an on-chip lens.
  • the incident angle directivity of the pixel output unit 801b can be realized.
  • the pixel signals of the pixels 121a-112, 121a-113, 121a-115, and 121a-116 are added to generate a detection signal, and the pixels 121a-111, 121a-114, and It is possible to obtain the same incident angle directivity as in the case where the L-shaped light shielding film 121b is provided in the range of the pixels 121a-117 to the pixels 121a-119.
  • the incident angle directivity can be set to different values as in the case where the position and the range shielded by the light shielding film 121b are changed.
  • the range of the pixel output unit can be changed by changing the combination of the pixels 121a.
  • a pixel output unit 801 s can be configured by pixels 121 a-111, pixels 121 a-112, pixels 121 a-114, and pixels 121 a in 2 rows ⁇ 2 columns including the pixels 121 a-115.
  • the range of the pixel output unit later by recording the pixel signals of all the pixels 121a and setting the combination of the pixels 121a later. Furthermore, it is possible to set the incident angle directivity of a pixel output unit later by selecting the pixel 121a which adds a pixel signal to a detection signal among the pixels 121a in the set pixel output unit.
  • FIG. 4 illustrates an example in which different incident angle directivity is given to each pixel by using the light shielding film 121b as the modulation element or changing the combination of photodiodes contributing to the output. Then, for example, as shown in FIG. 57, it is also possible to use an optical filter 902 covering the light receiving surface of the imaging element 901 as a modulation element so that each pixel has incident angle directivity.
  • the optical filter 902 is disposed to cover the entire surface of the light receiving surface 901A at a predetermined interval from the light receiving surface 901A of the imaging element 901.
  • the light from the subject surface 31 is modulated by the optical filter 902, and then enters the light receiving surface 901 ⁇ / b> A of the image sensor 901.
  • optical filter 902BW having a black and white lattice pattern shown in FIG.
  • a white pattern portion that transmits light and a black pattern portion that blocks light are randomly disposed.
  • the size of each pattern is set independently of the size of the pixel of the image sensor 901.
  • FIG. 59 shows the light receiving sensitivity characteristic of the image sensor 901 with respect to light from the point light source PA and the point light source PB on the object plane 31 when the optical filter 902BW is used.
  • the light from the point light source PA and the light from the point light source PB are respectively modulated by the optical filter 902BW, and then enter the light receiving surface 901A of the imaging element 901.
  • the light reception sensitivity characteristic of the image pickup device 901 with respect to the light from the point light source PA becomes like a waveform Sa. That is, since a shadow is generated by the black pattern portion of the optical filter 902BW, a light and dark pattern is generated in the image on the light receiving surface 901A for the light from the point light source PA.
  • the light receiving sensitivity characteristic of the image sensor 901 with respect to the light from the point light source PB becomes like a waveform Sb. That is, since a shadow is generated by the black pattern portion of the optical filter 902BW, a light and dark pattern is generated in the image on the light receiving surface 901A for the light from the point light source PB.
  • each pixel of the image sensor 901 has incident angle directivity with respect to each point light source of the object plane 31.
  • the optical filter 902HW of FIG. 60 may be used instead of the black pattern portion of the optical filter 902BW.
  • the optical filter 902HW includes a linear polarization element 911A and a linear polarization element 911B having the same polarization direction, and a half wave plate 912.
  • the half wave plate 912 is between the linear polarization element 911A and the linear polarization element 911B. It is pinched.
  • a polarized portion shown by oblique lines is provided, and the white pattern portion and the polarized portion are randomly arranged.
  • the linear polarization element 911A transmits only light of a predetermined polarization direction out of substantially non-polarized light emitted from the point light source PA.
  • the linear polarization element 911A transmits only light whose polarization direction is parallel to the drawing.
  • the polarized light transmitted through the linear polarizing element 911A the polarized light transmitted through the polarizing portion of the half-wave plate 912 is changed in polarization direction in a direction perpendicular to the drawing as the plane of polarization is rotated.
  • the linear polarization element 911A transmits the polarized light transmitted through the white pattern portion, and hardly transmits the polarized light transmitted through the polarized portion. Therefore, the quantity of polarized light transmitted through the polarizing section is smaller than that of polarized light transmitted through the white pattern section. As a result, a pattern of shading similar to that in the case of using the optical filter BW is generated on the light receiving surface 901A of the imaging element 901.
  • optical filter 902LF it is possible to use an optical interference mask as the optical filter 902LF.
  • the light emitted from the point light sources PA and PB of the object plane 31 is irradiated onto the light receiving surface 901A of the imaging element 901 through the optical filter 902LF.
  • corrugation of a wavelength grade is provided in the light-incidence surface of optical filter 902LF, for example.
  • the optical filter 902LF maximizes transmission of light of a specific wavelength emitted from the vertical direction.
  • the optical path length changes.
  • the light weakens when the optical path length is an odd multiple of a half wavelength, and the light strengthens when an even multiple of a half wavelength. That is, the intensity of the transmitted light of a specific wavelength emitted from the point light sources PA and PB and transmitted through the optical filter 902LF is modulated according to the incident angle with respect to the optical filter 902LF as shown in B of FIG.
  • the light is incident on the light receiving surface 901A. Therefore, the detection signal output from each pixel output unit of the imaging element 901 is a signal obtained by combining the light intensity after modulation of each point light source for each pixel output unit.
  • the present disclosure can be applied to an imaging device and an imaging element that perform imaging of light of wavelengths other than visible light such as infrared light.
  • the restored image is not an image that allows the user to visually recognize the subject, but is an image in which the user can not visually recognize the subject.
  • the present technology since it is difficult for the normal imaging lens to transmit far infrared light, the present technology is effective, for example, when imaging far infrared light. Therefore, the restored image may be an image of far infrared light, and may be an image of other visible light or non-visible light without being limited to far infrared light.
  • the association unit 504 of the signal processing device 332 may associate the detection signal set acquired from each imaging device 321 with the metadata corresponding to each detection signal set.
  • the associating unit 412 shown in FIGS. 28, 37, 38, 41, 47, and 49 may not be provided.
  • the metadata may or may not include, for example, a coefficient set group at the time of restoration.
  • a coefficient set group at the time of restoration for example, data indicating the object distance at the time of restoration in metadata, the angle of view, and the position and orientation at the time of imaging of each imaging device 321 (for example, latitude, longitude, inclination X ⁇ , inclination Y ⁇ , direction, altitude, etc.) Is included.
  • the method of associating the detection signal set with the metadata is not particularly limited as long as the correspondence between the detection signal set and the metadata can be specified.
  • detection may be performed by adding metadata to data including a detection signal set, assigning the same ID to the detection signal set and metadata, or recording the detection signal set and metadata on the same recording medium 508.
  • Signal sets and metadata are associated.
  • metadata may be individually associated with each detection signal set, or metadata may be associated with data in which the detection signal sets are combined into one.
  • the restoration unit 501 restores the restoration image using the detection signal sets of some imaging devices 321 You may do so.
  • the imaging device 121 suitable for imaging a subject surface having a different subject distance or angle of view may be provided for each imaging device 321. Then, for example, when the subject distance and the angle of view can be specified, an imaging device suitable for imaging the specified subject distance and angle of view without using the detection signal set of all the imaging devices 321 by the restoration unit 501. Only the detection signal set 321 may be used to restore the restored image. In this case, it is not necessary to make the subject distance and the angle of view appropriately different in all the imaging devices 321, and some imaging devices 321 may be the same.
  • the restoration unit 501 may select a detection signal set used for restoration of a restored image based on the restored image (hereinafter, referred to as a simple restored image) simply restored.
  • the restoration unit 501 uses the detection signal sets of all the imaging devices 321 to simply restore the restored image. For example, the restoration unit 501 thins out a detection signal of a predetermined pixel 121a among detection signals of each pixel 121a included in each detection signal set, and performs restoration processing simply with a small number of pixels. Alternatively, the reconstruction unit 501 simply performs the reconstruction processing, for example, by limiting the amount of computation (for example, the number of iterations, etc.).
  • the restoration unit 501 sets the main subject based on the simple restored image, for example.
  • the setting method of the main subject is arbitrary.
  • the restoring unit 501 sets the largest subject in the simple restored image or a predetermined type of subject (for example, a person or the like) in the simple restored image as the main subject.
  • the user may visually recognize the simple restored image and set a desired subject in the simple restored image as the main subject.
  • the restoration unit 501 selects a detection signal set used for restoration of the restored image.
  • the imaging range in the real world of each pixel 121a of each imaging device 321 can be estimated based on, for example, the position and orientation of each imaging device 321, and the light shielding range of each pixel 121a.
  • the position of the main subject in the real world can be estimated based on, for example, the position of the main subject in the simple restored image. Therefore, the restoration unit 501 includes the main subject among the detection signal sets of all the imaging devices 321 based on the imaging range of each pixel 121a in the real world and the position of the main subject in the real world (main subject Is extracted and selected as a detection signal set to be used for restoration of a restored image.
  • the restoration unit 501 selects the image sensor 121 (hereinafter referred to as a master sensor) as a master.
  • the restoring unit 501 determines the size and position of the main subject within the imaging range of the imaging device 121 of each imaging device 321 based on the imaging range of each pixel 121a in the real world and the position of the main subject in the real world. presume. Then, the restoration unit 501 selects, as a master sensor, the imaging sensor 121 which is most appropriate for the size and position of the main subject.
  • the appropriate size and position of the main subject vary depending on the type of the main subject, the scene to be imaged, and the like.
  • the restoration unit 501 extracts, for example, from among the imaging elements 121 excluding the master sensor, the imaging element 121 in which the ratio of the area where the imaging range overlaps the imaging range of the master sensor is equal to or more than a predetermined threshold.
  • the restoration unit 501 selects the detection signal set of the master sensor and the detection signal set of the extracted image sensor 121 as the detection signal set used for restoration of the restored image.
  • the restoration unit 501 performs restoration processing of a restored image using the selected detection signal set.
  • the restoration unit 501 restores the restored image by creating and solving the simultaneous equations described above using the coefficient set corresponding to each pixel 121a of each imaging device 321 that has acquired the selected detection signal set.
  • the pixel 121a used for the restoration of the restored image may be further selected from the pixels 121a of the selected imaging device 321.
  • the restoration unit 501 may select a detection signal of the pixel 121a whose imaging range overlaps with the main subject from the selected detection signal set, and restore the restored image using the selected detection signal. .
  • the coordinate system (hereinafter referred to as a reference coordinate system) used for the calculation of equations (9) to (14) is set based on a predetermined reference position (reference latitude, reference longitude)
  • a predetermined reference position reference latitude, reference longitude
  • the reference position may be variable.
  • the reference position may be set based on the position of the main subject.
  • the position in the real world of a predetermined position for example, the center of gravity
  • the reference position may be set as the reference position.
  • the reference position may be set based on the position of the master sensor. For example, a pixel at a predetermined position (for example, center, upper left corner, etc.) of the master sensor may be set as the reference position.
  • the reference coordinate system may be set based on the master sensor.
  • the X and Y axes of the reference coordinate system are set based on the coordinate system of the pixel area of the master sensor, and the axis perpendicular to the light receiving surface of the master sensor is set as the Z axis of the reference coordinate system. Good.
  • the subject distance and the angle of view of the restored image may be set based on the main subject.
  • the subject distance of the restored image may be set so that the image quality of the main subject is the best.
  • the angle of view of the restored image may be set so that the main subject has an appropriate size in the restored image.
  • the subject distance is always set to infinity.
  • the reader / writer 331 and the signal processing device 332 can be integrated, or part of the functions of the signal processing device 332 can be provided in the reader / writer 331.
  • the function of the reader / writer 331 or the function of the signal processing device 332 may be provided in some of the imaging devices.
  • FIG. 62 shows a configuration example of an imaging system 1001 which is a first modified example of the imaging system.
  • parts corresponding to those of the imaging system 301 in FIG. 26 are assigned the same reference numerals, and the description thereof will be omitted as appropriate.
  • the imaging system 1001 is different from the imaging system 301 in that an imaging unit 1011 is provided instead of the imaging unit 311 and a reader / writer 331 is deleted.
  • the imaging unit 1011 is different from the imaging unit 311 in that an imaging device 1021 is added.
  • the imaging device 1021 has the function of a reader / writer 331. That is, the imaging device 1021 performs near field communication with each imaging device 321, and supplies power to each imaging device 321. Then, the imaging device 1021 transmits an imaging command to each imaging device 321 to control imaging of the subject by each imaging device 321, and also performs imaging of the subject itself. Then, the imaging device 1021 receives imaging data from each imaging device 321, and transmits imaging data received from each imaging device 321 and imaging data acquired by imaging itself to the signal processing device 332. That is, the imaging device 1021 plays a role of relaying imaging data from each imaging device 321 to the signal processing device 332.
  • the imaging device 1021 includes, for example, a power supply unit similar to the power supply unit 451 of the imaging device 321B of FIG. 37 or the power supply unit 461 of the imaging device 321C of FIG. It is also possible to operate.
  • the number of imaging devices 321 may be one.
  • FIG. 63 shows a configuration example of an imaging system 1101 which is a second modified example of the imaging system.
  • parts corresponding to those of the imaging system 301 in FIG. 26 are assigned the same reference numerals, and the description thereof will be omitted as appropriate.
  • the imaging system 1101 is different from the imaging system 301 in that an imaging unit 1111 is provided instead of the imaging unit 311, and the reader / writer 331 and the signal processing device 332 are deleted.
  • the imaging unit 1111 differs from the imaging unit 311 in that an imaging device 1121 is added.
  • the imaging device 1121 has the same function as the imaging device 1021 in FIG. 62 and the same function as the signal processing device 332 in FIG. Then, the imaging device 1121 performs restoration processing and the like of the restored image based on the imaging data received from each imaging device 321 and the imaging data acquired by imaging by itself.
  • the number of imaging devices 321 may be one.
  • each imaging device 321 detects its own position and orientation, and notifies the signal processing unit 312 of the detection result.
  • the position and orientation of each imaging device 321 It may be detected from the outside.
  • the area in which each imaging device 321 is installed may be imaged from the outside, and the position and orientation of each imaging device 321 may be detected based on the imaged image.
  • such a detection function may be provided to the reader / writer 331 or the signal processing device 332.
  • the example described above detects the position (absolute position), tilt, orientation, and height as the position and orientation of the imaging device 321, this combination can be freely changed. is there. Further, another data indicating the position or attitude of the imaging device 321 may be detected. Furthermore, for example, only one of the position and orientation of the imaging device 321 may be detected.
  • the series of processes described above can be performed by hardware or software.
  • a program that configures the software is installed on a computer.
  • the computer includes a computer (for example, the control unit 123 or the like) incorporated in dedicated hardware.
  • the program executed by the computer can be provided by being recorded in, for example, a recording medium (eg, the recording medium 130 or the like) as a package medium or the like. Also, the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • a recording medium eg, the recording medium 130 or the like
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program executed by the computer may be a program that performs processing in chronological order according to the order described in this specification, in parallel, or when necessary, such as when a call is made. It may be a program to be processed.
  • a system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same case. Therefore, a plurality of devices housed in separate housings and connected via a network, and one device housing a plurality of modules in one housing are all systems. .
  • the present technology can have a cloud computing configuration in which one function is shared and processed by a plurality of devices via a network.
  • each step described in the above-described flowchart can be executed by one device or in a shared manner by a plurality of devices.
  • the plurality of processes included in one step can be executed by being shared by a plurality of devices in addition to being executed by one device.
  • the present disclosure can also have the following configurations.
  • One or more pixel output units that receive incident light from an object incident without passing through either the imaging lens or the pinhole, and output one detection signal indicating an output pixel value modulated by the incident angle of the incident light
  • An imaging element that outputs a detection signal set including one or more of the detection signals
  • An imaging apparatus comprising: a communication unit configured to transmit imaging data including the detection signal set and position and orientation data indicating at least one of position and orientation to a communication device by wireless communication.
  • the imaging device according to (3) wherein the incident angle directivity of each of the pixel output units is the same.
  • the image sensor includes a plurality of the pixel output units having the same detection wavelength, The imaging device according to (2), wherein the incident angle directivity of each of the pixel output units is different.
  • the position and orientation data includes at least one of an absolute position, an inclination, an orientation, and an altitude of the imaging device.
  • the imaging device further including: a drive unit that changes at least one of the position and the attitude of the imaging device according to a command transmitted from the communication device.
  • the imaging device according to any one of (1) to (8), wherein the imaging data includes identification information for identifying the imaging device.
  • the imaging device (10) The imaging device according to any one of (1) to (9), including a plurality of light receiving surfaces having different directions. (11) The imaging device according to (10), including a plurality of the imaging elements each including the light receiving surface. (12) The imaging device according to (11), wherein the communication unit transmits imaging data including the detection signal of the effective imaging device among a plurality of the imaging devices.
  • the imaging device according to any one of (1) to (13) further including: a power supply unit that supplies power for driving the imaging device and the communication unit.
  • the power supply unit has a power generation function.
  • the power supply unit generates electricity by sunlight
  • One or more pixel output units that receive incident light from an object incident without passing through either the imaging lens or the pinhole, and output one detection signal indicating an output pixel value modulated by the incident angle of the incident light
  • a plurality of detection signal sets respectively included in a plurality of imaging data from a plurality of imaging devices each having an imaging element that outputs a detection signal set consisting of one or more of the detection signals;
  • Signal processing device comprising a unit.
  • Each of the imaging data includes position and orientation data indicating at least one of the position and orientation of each of the imaging devices,
  • the signal processing apparatus according to (19), wherein the restoration unit further restores the restored image using the position and orientation data of each of the imaging devices.
  • the restoration unit restores the restored image using the detection signal of each of the pixel output units and a plurality of coefficients indicating directivity of each of the pixel output units with respect to an incident angle of incident light from the subject.
  • the signal processing device according to (19) or (20).
  • the communication unit according to any one of (19) to (21), further comprising: a communication unit that receives the plurality of imaging data from the plurality of imaging devices by wireless communication and supplies power to one or more of the plurality of imaging devices using electromagnetic waves. Signal processing apparatus described in.
  • association unit 301 imaging system 311 imaging unit 312 signal processing unit 321, 321A to 321G imaging apparatus 331 reader / writer 332 signal processing apparatus 401A to 401F signal processing control unit 411 control unit 412 association unit , 414 communication unit, 421 transmission / reception unit, 422 antenna, 451, 461 power supply unit, 471 photoelectric conversion unit, 472 storage unit, 501 restoration unit, 502 Control unit, 504 association unit, 611A to 611C detection unit, 621 position detection unit, 622 inclination detection unit, 623 geomagnetic detection unit, 624 altitude detection unit, 651 drive unit, 701 imaging device, 701

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Astronomy & Astrophysics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Exposure Control For Cameras (AREA)
  • Cameras In General (AREA)

Abstract

本開示は、撮像装置の適用範囲を拡大することができるようにする撮像装置および信号処理装置に関する。　撮像装置は、撮像レンズ及びピンホールのいずれも介さず入射する被写体からの入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号を１つ出力する画素出力単位を１以上備え、１以上の前記検出信号を含む検出信号セットを出力する撮像素子と、前記検出信号セット、並びに、位置及び姿勢のうち少なくとも１つを示す位置姿勢データを含む撮像データを無線通信により通信装置に送信する通信部とを備える。本開示は、例えば、監視システムに適用することができる。

Description

撮像装置および信号処理装置
　本開示は、撮像装置および信号処理装置に関し、特に、撮像装置の適用範囲を拡大できるようにした撮像装置および信号処理装置に関する。
　従来、撮像レンズを用いずに、撮像素子の受光面を覆う格子状の光学フィルタや回折格子からなる光学フィルタにより被写体からの光を変調して撮像し、所定の演算処理により被写体の像が結像された画像を復元する撮像装置が提案されている（例えば、非特許文献１、特許文献１、２参照）。
特表２０１６-５１０９１０号公報 国際公開第２０１６／１２３５２９号
　ところで、非特許文献１や特許文献１、２に示されるような撮像レンズを用いない撮像装置は、撮像レンズがない分小型化が可能であり、適用範囲の拡大が期待されている。
　本開示は、このような状況に鑑みてなされたものであり、撮像装置の適用範囲を拡大できるようにするものである。
　本開示の第１の側面の撮像装置は、撮像レンズ及びピンホールのいずれも介さず入射する被写体からの入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号を１つ出力する画素出力単位を１以上備え、１以上の前記検出信号を含む検出信号セットを出力する撮像素子と、前記検出信号セット、並びに、位置及び姿勢のうち少なくとも１つを示す位置姿勢データを含む撮像データを無線通信により通信装置に送信する通信部とを備える。
　本開示の第２の側面の信号処理装置は、撮像レンズ及びピンホールのいずれも介さず入射する被写体からの入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号を１つ出力する画素出力単位を１以上備え、１以上の前記検出信号からなる検出信号セットを出力する撮像素子をそれぞれ備える複数の撮像装置からの複数の撮像データにそれぞれ含まれる複数の前記検出信号セットを用いて、復元画像を復元する復元部を備える。
　本開示の第１の側面においては、撮像レンズ及びピンホールのいずれも介さず入射する被写体からの入射光が受光され、前記入射光の入射角によって変調された出力画素値を示す１以上の検出信号を含む検出信号セットが出力され、前記検出信号セット、並びに、位置及び姿勢のうち少なくとも１つを示す位置姿勢データを含む撮像データが無線通信により通信装置に送信される。
　本開示の第２の側面においては、撮像レンズ及びピンホールのいずれも介さず入射する被写体からの入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号を１つ出力する画素出力単位を１以上備え、１以上の前記検出信号からなる検出信号セットを出力する撮像素子をそれぞれ備える複数の撮像装置からの複数の撮像データにそれぞれ含まれる複数の前記検出信号セットを用いて、復元画像が復元される。
　本開示の第１の側面又は第２の側面によれば、撮像装置の適用範囲を拡大することができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本開示の技術を適用した撮像装置における撮像の原理を説明する図である。 本開示の技術を適用した撮像装置の基本的な構成例を示すブロック図である。 図２の撮像素子の画素アレイ部の構成例を示す図である。 図２の撮像素子の第１の構成例を説明する図である。 図２の撮像素子の第２の構成例を説明する図である。 入射角指向性の発生の原理を説明する図である。 オンチップレンズを利用した入射角指向性の変化を説明する図である。 遮光膜のタイプの例を示す図である。 入射角指向性の設計を説明する図である。 オンチップレンズと撮像レンズとの違いを説明する図である。 オンチップレンズと撮像レンズとの違いを説明する図である。 オンチップレンズと撮像レンズとの違いを説明する図である。 被写体距離と入射角指向性を示す係数との関係を説明する図である。 狭画角画素と広画角画素との関係を説明する図である。 狭画角画素と広画角画素との関係を説明する図である。 狭画角画素と広画角画素との関係を説明する図である。 狭画角画素と広画角画素の画質の違いを説明するための図である。 狭画角画素と広画角画素の画質の違いを説明するための図である。 複数の画角の画素を組み合わせる例を説明する図である。 図２の撮像装置による撮像処理を説明するフローチャートである。 処理負荷の低減方法を説明する図である。 処理負荷の低減方法を説明する図である。 処理負荷の低減方法を説明する図である。 処理負荷の低減方法を説明する図である。 処理負荷の低減方法を説明する図である。 本開示の技術を適用した撮像システムの構成例を示すブロック図である。 図２６の撮像システムの使用方法の例を説明する図である。 図２６の撮像装置の第１の実施の形態を示すブロック図である。 図２６の撮像装置の第１の実施の形態の外観の構成例を示す模式図である。 図２８の撮像素子の画素アレイ部のパターンの例を示す図である。 図２８の撮像素子の画素アレイ部のパターンの例を示す図である。 図２８の撮像素子の画素アレイ部のパターンの例を示す図である。 図２６の信号処理装置の構成例を示すブロック図である。 図２６の信号処理部の処理の第１の実施の形態を説明するフローチャートである。 撮像データのパケットのデータ構造の第１の例を示す図である。 図２８の撮像装置の処理を説明するフローチャートである。 図２６の撮像装置の第２の実施の形態を示すブロック図である。 図２６の撮像装置の第３の実施の形態を示すブロック図である。 撮像装置の位置と点光源からの光線の入射角度の関係を説明する図である。 入射角指向性の例を示すグラフである。 図２６の撮像装置の第４の実施の形態を示すブロック図である。 撮像装置の傾きの検出方向を示す図である。 図２６の信号処理部の処理の第２の実施の形態を説明するフローチャートである。 撮像データのパケットのデータ構造の第２の例を示す図である。 図４１の撮像装置の処理を説明するフローチャートである。 画素の向きと受光感度特性の関係を説明する図である。 図２６の撮像装置の第５の実施の形態を示すブロック図である。 撮像データのパケットのデータ構造の第３の例を示す図である。 図２６の撮像装置の第６の実施の形態を示すブロック図である。 図２６の信号処理部の処理の第３の実施の形態を説明するフローチャートである。 撮像データのパケットのデータ構造の第４の例を示す図である。 図４９の撮像装置の処理を説明するフローチャートである。 図２６の撮像装置の第７の実施の形態の外観の構成例を示す模式図である。 電力が不足する場合の対策の例を説明する図である。 図５の撮像素子の変形例を示す図である。 画素出力単位の変形例を説明する図である。 撮像素子の変形例を示す図である。 撮像素子の変形例を示す図である。 撮像素子の変形例を示す図である。 撮像素子の変形例を示す図である。 撮像素子の変形例を示す図である。 本開示の技術を適用した撮像システムの第１の変形例を示すブロック図である。 本開示の技術を適用した撮像システムの第２の変形例を示すブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を適宜省略する。
　また、以下の順序で説明を行う。
　　１．本開示の撮像装置の概要
　　２．本開示の撮像装置の基本的な構成例
　　３．第１の実施の形態
　　４．第２の実施の形態：電源部を設けた例
　　５．第３の実施の形態：太陽光発電を行う電源部を設けた例
　　６．第４の実施の形態：撮像装置の位置及び傾きを検出するようにした例
　　７．第５の実施の形態：撮像装置の向きを検出するようにした例
　　８．第６の実施の形態：撮像装置を位置及び姿勢を変更可能にした例
　　９．第７の実施の形態：撮像装置の両面に受光面を設けた例
　　１０．変形例
　　１１．その他
　＜＜１．本開示の撮像装置の概要＞＞
　まず、本開示の撮像装置の概要について説明する。
　本開示の撮像装置においては、図１の左上に示されるように、各画素の検出感度に入射角指向性を持たせた撮像素子５１が用いられる。ここで、各画素の検出感度に入射角指向性を持たせるとは、各画素への入射光の入射角度に応じた受光感度特性を画素毎に異なるものとすることである。ただし、全ての画素の受光感度特性が完全に異なるものである必要はなく、一部の画素の受光感度特性が同一であってもよい。
　ここで、例えば、全ての被写体は点光源の集合であり、各点光源からあらゆる方向に光が出射されているものとする。例えば、図１の左上の被写体の被写体面３１が、点光源ＰＡ乃至点光源ＰＣにより構成され、点光源ＰＡ乃至点光源ＰＣが、それぞれ光強度ａ乃至光強度ｃの複数の光線を周囲に発しているものとする。また、以下、撮像素子５１は、位置Ｐａ乃至位置Ｐｃに入射角指向性がそれぞれ異なる画素（以下、画素Ｐａ乃至画素Ｐｃと称する）を備えるものとする。
　この場合、図１の左上に示されるように、同一の点光源より発せられた同一の光強度の光線が、撮像素子５１の各画素に入射される。例えば、点光源ＰＡから発せられた光強度ａの光線が、撮像素子５１の画素Ｐａ乃至画素Ｐｃにそれぞれ入射される。一方、同一の点光源より発せられた光線は、画素毎にそれぞれ異なる入射角度で入射される。例えば、点光源ＰＡからの光線は、画素Ｐａ乃至画素Ｐｃにそれぞれ異なる入射角度で入射される。
　ここで、画素Ｐａ乃至画素Ｐｃの入射角指向性がそれぞれ異なるため、同一の点光源より発せられた同一の光強度の光線が、各画素で異なる感度で検出される。その結果、同一の光強度の光線が画素毎に異なる検出信号レベルで検出される。例えば、点光源ＰＡからの光強度ａの光線に対する検出信号レベルが、画素Ｐａ乃至画素Ｐｃでそれぞれ異なる値になる。
　そして、各点光源からの光線に対する各画素の受光感度レベルは、その光線の光強度に、その光線の入射角度に対する受光感度（すなわち、入射角指向性）を示す係数を乗じることにより求められる。例えば、点光源ＰＡからの光線に対する画素Ｐａの検出信号レベルは、点光源ＰＡの光線の光強度ａに、当該光線の画素Ｐａへの入射角度に対する画素Ｐａの入射角指向性を示す係数を乗じることにより求められる。
　従って、画素Ｐｃ，Ｐｂ，Ｐａの検出信号レベルＤＡ，ＤＢ，ＤＣは、それぞれ以下の式（１）乃至式（３）で表される。
　ＤＡ＝α１×ａ＋β１×ｂ＋γ１×ｃ
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（１）
　ＤＢ＝α２×ａ＋β２×ｂ＋γ２×ｃ
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（２）
　ＤＣ＝α３×ａ＋β３×ｂ＋γ３×ｃ
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（３）
　ここで、係数α１は、点光源ＰＡから画素Ｐｃへの光線の入射角度に対する画素Ｐｃの入射角指向性を示す係数であり、当該入射角度に応じて設定される。また、α１×ａは、点光源ＰＡからの光線に対する画素Ｐｃの検出信号レベルを示している。
　係数β１は、点光源ＰＢから画素Ｐｃへの光線の入射角度に対する画素Ｐｃの入射角指向性を示す係数であり、当該入射角度に応じて設定される。また、β１×ｂは、点光源ＰＢからの光線に対する画素Ｐｃの検出信号レベルを示している。
　係数γ１は、点光源ＰＣから画素Ｐｃへの光線の入射角度に対する画素Ｐｃの入射角指向性を示す係数であり、当該入射角度に応じて設定される。また、γ１×ｃは、点光源ＰＣからの光線に対する画素Ｐｃの検出信号レベルを示している。
　このように、画素Ｐａの検出信号レベルＤＡは、画素Ｐｃにおける点光源ＰＡ，ＰＢ，ＰＣからの光線のそれぞれの光強度ａ，ｂ，ｃと、それぞれの入射角度に応じた入射角指向性を示す係数α１，β１，γ１との積和により求められる。
　同様に、画素Ｐｂの検出信号レベルＤＢは、式（２）に示されるように、画素Ｐｂにおける点光源ＰＡ，ＰＢ，ＰＣからの光線のそれぞれの光強度ａ，ｂ，ｃと、それぞれの入射角度に応じた入射角指向性を示す係数α２，β２，γ２との積和により求められる。また、画素Ｐｃの検出信号レベルＤＣは、式（３）に示されるように、画素Ｐａにおける点光源ＰＡ，ＰＢ，ＰＣからの光線のそれぞれの光強度ａ，ｂ，ｃと、それぞれの入射角度に応じた入射角指向性を示す係数α２，β２，γ２との積和により求められる。
　ただし、画素Ｐａ，Ｐｂ，Ｐｃの検出信号レベルＤＡ、ＤＢ、ＤＣは、式（１）乃至式（３）に示されるように、点光源ＰＡ，ＰＢ，ＰＣのそれぞれより発せられた光線の光強度ａ，ｂ，ｃが入り交じっている。従って、図１の右上に示されるように、撮像素子５１における検出信号レベルは、被写体面３１上の各点光源の光強度とは異なる。従って、撮像素子５１により得られる画像は、被写体面３１の像が結像されたものとは異なるものとなる。
　一方、式（１）乃至式（３）からなる連立方程式を作成し、作成した連立方程式を解くことにより、各点光源ＰＡ乃至点光源ＰＣの光線の光強度ａ乃至光強度ｃが求められる。そして、求めた光強度ａ乃至光強度ｃに応じた画素値を有する画素を点光源ＰＡ乃至点光源ＰＣの配置（相対位置）に合わせて並べることにより、図１の右下に示されるように、被写体面３１の像が結像された復元画像が復元される。
　なお、以下、連立方程式を構成する式毎に係数をまとめたもの（例えば、係数α１、β１、γ１）を係数セットと称する。また、以下、連立方程式に含まれる複数の式に対応する複数の係数セットをまとめたもの（例えば、係数セットα１、β１、γ１、係数セットα２、β２、γ２、係数セットα３、β３、γ３）を係数セット群と称する。
　このようにして、撮像レンズ、ピンホール、並びに、特許文献１及び非特許文献１（以下、特許文献等と称する）に示される光学フィルタを必要とせず、各画素において入射角指向性を有する撮像素子５１を必須構成とする撮像装置を実現することが可能となる。結果として、撮像レンズ、ピンホール、及び、特許文献等に記載の光学フィルタが必須構成とならないので、撮像装置の低背化、すなわち、撮像機能を実現する構成における光の入射方向に対する厚さを薄くすることが可能になる。
　また、必須構成が撮像素子５１のみになるので、設計の自由度を向上させることが可能となる。例えば、従来の撮像レンズを用いた撮像装置では、撮像レンズにより被写体の像が結像される位置に合わせて、撮像素子の画素を２次元のアレイ状に配置する必要があるが、撮像素子５１を用いた撮像装置では、その必要がない。そのため、各画素の配置の自由度が向上し、例えば、被写体からの光が入射する範囲内において、各画素を自由に配置することが可能になる。例えば、各画素を円形の領域内に並べたり、中空方形（ロの字型）の領域内に並べたり、複数の領域に分散して配置したりすることが可能になる。
　そして、各画素の配置に関わらず、被写体面３１上の各点光源からの光線の各画素への入射角度に応じた係数を用いて、上述した式（１）乃至式（３）で示されるような連立方程式を作成し、解くことにより、各点光源からの光線の光強度を求めることができる。そして、求めた各点光源の光強度に応じた画素値を有する画素を被写体面３１上の各点光源の配置に合わせて並べることにより、被写体面３１の像が結像された復元画像を復元することができる。
　＜＜２．本開示の撮像装置の基本的な構成例＞＞
　次に、図２乃至図２５を参照して、本開示の撮像装置の基本的な構成例について説明する。
　＜撮像装置１０１の構成例＞
　図２は、本開示の技術を適用した基本的な撮像装置である撮像装置１０１の構成例を示すブロック図である。
　撮像装置１０１は、撮像素子１２１、復元部１２２、制御部１２３、入力部１２４、検出部１２５、関連付け部１２６、表示部１２７、記憶部１２８、記録再生部１２９、記録媒体１３０、及び、通信部１３１を備える。また、復元部１２２、制御部１２３、入力部１２４、検出部１２５、関連付け部１２６、表示部１２７、記憶部１２８、記録再生部１２９、記録媒体１３０、及び、通信部１３１により、信号処理や撮像装置１０１の制御等を行う信号処理制御部１１１が構成される。なお、撮像装置１０１は、撮像レンズを含まない（撮像レンズフリー）。
　また、撮像素子１２１、復元部１２２、制御部１２３、入力部１２４、検出部１２５、関連付け部１２６、表示部１２７、記憶部１２８、記録再生部１２９、及び、通信部１３１は、バスＢ１を介して相互に接続されており、バスＢ１を介してデータの送受信等を行う。なお、以下、説明を簡単にするために、撮像装置１０１の各部がバスＢ１を介してデータの送受信等を行う場合のバスＢ１の記載を省略する。例えば、入力部１２４がバスＢ１を介して制御部１２３にデータを供給する場合、入力部１２４が制御部１２３にデータを供給すると記載する。
　撮像素子１２１は、図１を参照して説明した撮像素子５１に対応するものであり、入射角指向性を有する画素を含み、入射光の光量に応じた検出信号レベルを示す検出信号からなる画像を復元部１２２又はバスＢ１に出力する撮像素子である。
　より具体的には、撮像素子１２１は、基本的な構造において、一般の、例えば、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子からなるものと同様のものであっても良い。ただし、撮像素子１２１は、画素アレイを構成する各画素の構成が一般のものと異なり、例えば、図３乃至図５を参照して後述するように、入射角指向性を持たせる構成を有している。そして、撮像素子１２１は、画素毎に入射光の入射角度に応じて受光感度が異なり（変化し）、画素単位で入射光の入射角度に対する入射角指向性を有している。
　なお、撮像素子１２１が出力する画像は、上述した図１の右上に示されるように被写体の像が結像されていない検出信号により構成される画像となるので、目視により被写体を認識することができない。すなわち、撮像素子１２１が出力する検出信号からなる検出画像は、画素信号の集合ではあるが、ユーザが目視しても被写体を認識できない（被写体を視認不可能な）画像である。
　そこで、以降においては、図１の右上に示されるように被写体の像が結像されていない検出信号より構成される画像、すなわち、撮像素子１２１により撮像される画像を、検出画像と称するものとする。
　尚、撮像素子１２１は、画素アレイとして構成されなくてもよく、例えば、ラインセンサとして構成されてもよい。また、入射角指向性は必ずしも画素単位で全て異なる必要はなく、入射角指向が同じ画素を含んでいてもよい。
　復元部１２２は、例えば、図１における撮像素子５１から被写体面３１（復元画像に対応する被写体面）までの距離に相当する被写体距離に対応し、上述した係数α１乃至α３，β１乃至β３，γ１乃至γ３に相当する係数セット群を記憶部１２８から取得する。また、復元部１２２は、撮像素子１２１から出力される検出画像の各画素の検出信号レベルと、取得した係数セット群とを用いて、上述した式（１）乃至式（３）で示されるような連立方程式を作成する。そして、復元部１２２は、作成した連立方程式を解くことにより、図１の右下に示される被写体の像が結像された画像を構成する各画素の画素値を求める。これにより、ユーザが目視して被写体を認識できる（被写体を視認可能な）画像が検出画像から復元される。以降においては、この検出画像から復元される画像を復元画像と称するものとする。ただし、撮像素子１２１が紫外線などの視認可能な波長帯域以外の光のみに感度を有する場合、復元画像も通常の画像のように被写体を識別できるような画像とはならないが、この場合も復元画像と称する。
　また、以降においては、被写体の像が結像された状態の画像である復元画像であって、デモザイク処理等の色分離や同時化処理前の画像をRAW画像と称し、撮像素子１２１により撮像された検出画像については、色フィルタの配列に従った画像ではあるが、RAW画像ではないものとして区別する。
　尚、撮像素子１２１の画素数と、復元画像を構成する画素の画素数とは、必ずしも同一である必要はない。
　また、復元部１２２は、必要に応じて、復元画像に対してデモザイク処理、γ補正、ホワイトバランス調整、所定の圧縮形式への変換処理等を行う。そして、復元部１２２は、復元画像をバスＢ１に出力する。
　制御部１２３は、例えば、各種のプロセッサを備え、撮像装置１０１の各部を制御する。
　入力部１２４は、撮像装置１０１の操作や、処理に用いるデータの入力等を行うための入力デバイス（例えば、キー、スイッチ、ボタン、ダイヤル、タッチパネル、リモートコントローラ等）を備える。入力部１２４は、操作信号や入力されたデータ等をバスＢ１に出力する。
　検出部１２５は、撮像装置１０１や被写体の状態等の検出に用いる各種のセンサ等を備える。例えば、検出部１２５は、撮像装置１０１の姿勢や動きを検出する加速度センサやジャイロセンサ、撮像装置１０１の位置を検出する位置検出センサ（例えば、ＧＮＳＳ（Global Navigation Satellite System）受信機等）、被写体距離を検出する測距センサ等を備える。検出部１２５は、検出結果を示す信号をバスＢ１に出力する。
　関連付け部１２６は、撮像素子１２１により得られる検出画像と、検出画像に対応するメタデータとの関連付けを行う。メタデータは、例えば、対象となる検出画像を用いて復元画像を復元するための係数セット群や被写体距離等を含む。
　なお、検出画像とメタデータを関連付ける方法は、検出画像とメタデータとの対応関係を特定することができれば、特に限定されない。例えば、検出画像を含む画像データにメタデータを付与したり、検出画像とメタデータに同じＩＤを付与したり、検出画像とメタデータを同じ記録媒体１３０に記録させたりすることにより、検出画像とメタデータが関連付けられる。
　表示部１２７は、例えば、ディスプレイにより構成され、各種の情報（例えば、復元画像等）の表示を行う。なお、表示部１２７が、スピーカ等の音声出力部を備え、音声の出力を行うようにすることも可能である。
　記憶部１２８は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の記憶装置を１つ以上備え、例えば、撮像装置１０１の処理に用いられるプログラムやデータ等を記憶する。例えば、記憶部１２８は、様々な被写体距離に対応付けて、上述した係数α１乃至α３，β１乃至β３，γ１乃至γ３に相当する係数セット群を記憶している。より具体的には、例えば、記憶部１２８は、各被写体距離における被写体面３１毎に、被写体面３１上に設定した各点光源に対する撮像素子１２１の各画素１２１ａに対する係数を含む係数セット群を記憶している。
　記録再生部１２９は、記録媒体１３０へのデータの記録、及び、記録媒体１３０に記録されているデータの再生（読み出し）を行う。例えば、記録再生部１２９は、復元画像を記録媒体１３０に記録したり、記録媒体１３０から読み出したりする。また、例えば、記録再生部１２９は、検出画像及び対応するメタデータを、記録媒体１３０に記録したり、記録媒体１３０から読み出したりする。
　記録媒体１３０は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、磁気ディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等のいずれか、又は、それらの組合せなどからなる。
　通信部１３１は、所定の通信方式により、他の機器（例えば、他の撮像装置や信号処理装置等）と通信を行う。なお、通信部１３１の通信方式は、有線又は無線のいずれであってもよい。また、通信部１３１が複数の通信方式に対応することも可能である。
　＜撮像素子１２１の第１の構成例＞
　次に、図３及び図４を参照して、図２の撮像装置１０１の撮像素子１２１の第１の構成例について説明する。
　図３は、撮像素子１２１の画素アレイ部の一部の正面図を示している。尚、図３においては、画素アレイ部の画素数が縦６画素×横６画素である場合の例を示しているが、画素アレイ部の画素数は、これに限るものではない。
　図３の撮像素子１２１では、画素１２１ａ毎に、そのフォトダイオードの受光領域（受光面）の一部を覆うように変調素子の１つである遮光膜１２１ｂが設けられており、各画素１２１ａに入射する入射光が、入射角度に応じて光学的に変調される。そして、例えば、画素１２１ａ毎に異なる範囲に遮光膜１２１ｂを設けることにより、画素１２１ａ毎に入射光の入射角度に対する受光感度が異なるものとなり、各画素１２１ａが異なる入射角指向性を有するようになる。
　例えば、画素１２１ａ－１と画素１２１ａ－２とでは、設けられている遮光膜１２１ｂ－１と遮光膜１２１ｂ－２とによりフォトダイオードの受光領域を遮光する範囲が異なる（遮光する領域（位置）、および遮光する面積の少なくともいずれかが異なる）。すなわち、画素１２１ａ－１においては、フォトダイオードの受光領域の左側の一部を所定の幅だけ遮光するように遮光膜１２１ｂ－１が設けられている。一方、画素１２１ａ－２においては、受光領域の右側の一部を所定の幅だけ遮光するように遮光膜１２１ｂ－２が設けられている。なお、遮光膜１２１ｂ－１がフォトダイオードの受光領域を遮光する幅と、遮光膜１２１ｂ－２がフォトダイオードの受光領域を遮光する幅とは、異なっていてもよいし、同じであってもよい。その他の画素１２１ａにおいても、同様に、遮光膜１２１ｂが、画素毎に受光領域の異なる範囲を遮光するように、画素アレイ内でランダムに配置されている。
　尚、遮光膜１２１ｂが各画素の受光領域を覆い隠す割合が大きくなるほど、フォトダイオードが受光できる光量が少ない状態となる。従って、遮光膜１２１ｂの面積は、所望の光量が確保できる程度の面積とすることが望ましく、例えば、最大で受光領域の３／４程度までといった制限を加えるようにしてもよい。このようにすることで、所望量以上の光量を確保することが可能となる。ただし、各画素において、受光する光の波長に相当する幅の遮光されていない範囲が設けられていれば、最小限の光量を受光することは可能である。すなわち、例えば、B画素（青色画素）の場合、波長は500nm程度となるが、この波長に相当する幅以上に遮光されていなければ、最小限の光量を受光することは可能である。
　図４の上段は、撮像素子１２１の第１の構成例における側面断面図であり、図４の中段は、撮像素子１２１の第１の構成例における上面図である。また、図４の上段の側面断面図は、図４の中段におけるＡＢ断面となる。さらに、図４の下段は、撮像素子１２１の回路構成例である。
　図４の上段の撮像素子１２１においては、図中の上方から下方に向けて入射光が入射する。隣接する画素１２１ａ－１，１２１ａ－２は、それぞれ図中の最下層に配線層Ｚ１２が設けられており、その上に光電変換層Ｚ１１が設けられている、いわゆる、裏面照射型である。
　尚、画素１２１ａ－１，１２１ａ－２を区別する必要がない場合、符号の末尾の数字の記載を省略し、単に、画素１２１ａと称する。以下、明細書内において、他の構成についても、同様に符号の末尾の数字を省略する場合がある。
　また、図４においては、撮像素子１２１の画素アレイを構成する２画素分の側面図および上面図のみを示しており、いうまでもなく、これ以上の数の画素１２１ａが配置されているが図示が省略されている。
　さらに、画素１２１ａ－１，１２１ａ－２は、それぞれ光電変換層Ｚ１１にフォトダイオード１２１ｅ－１，１２１ｅ－２を備えている。また、フォトダイオード１２１ｅ－１，１２１ｅ－２の上には、それぞれ上からオンチップレンズ１２１ｃ－１，１２１ｃ－２、およびカラーフィルタ１２１ｄ－１，１２１ｄ－２が積層されている。
　オンチップレンズ１２１ｃ－１，１２１ｃ－２は、入射光をフォトダイオード１２１ｅ－１，１２１ｅ－２上に集光させる。
　カラーフィルタ１２１ｄ－１，１２１ｄ－２は、例えば、赤色、緑色、青色、赤外および白色等の特定の波長の光を透過させる光学フィルタである。尚、白色の場合、カラーフィルタ１２１ｄ－１，１２１ｄ－２は、透明のフィルタでもよいし、無くてもよい。
　画素１２１ａ－１，１２１ａ－２の光電変換層Ｚ１１における、それぞれ画素間の境界には、遮光膜１２１ｇ－１乃至１２１ｇ－３が形成されており、例えば、図４に示されるように、入射光Ｌが隣接する画素に入射し、クロストークが発生するのを抑制する。
　また、図４の上段及び中段に示されるように、遮光膜１２１ｂ－１，１２１ｂ－２が、上面から見て受光面Ｓの一部を遮光している。画素１２１ａ－１，１２１ａ－２におけるフォトダイオード１２１ｅ－１，１２１ｅ－２の受光面Ｓにおいては、遮光膜１２１ｂ－１，１２１ｂ－２により、それぞれ異なる範囲が遮光されており、これにより異なる入射角指向性が画素毎に独立に設定される。ただし、遮光される範囲は、撮像素子１２１の全画素１２１ａで異なっている必要はなく、一部で同一の範囲が遮光される画素１２１ａが存在していてもよい。
　なお、図４の上段に示されるように、遮光膜１２１ｂ－１と遮光膜１２１ｇ－１とは互いに接続されており、側面から見てＬ字型に構成されている。同様に、遮光膜１２１ｂ－２と遮光膜１２１ｇ－２とは互いに接続されており、側面から見てＬ字型に構成されている。また、遮光膜１２１ｂ－１、遮光膜１２１ｂ－２、及び、遮光膜１２１ｇ－１乃至１２１ｇ－３は、金属により構成されており、例えば、タングステン（W）、アルミニウム（Al）、またはAlと銅（Cu）との合金により構成される。また、遮光膜１２１ｂ－１、遮光膜１２１ｂ－２、及び、遮光膜１２１ｇ－１乃至１２１ｇ－３は、半導体プロセスにおける配線が形成されるプロセスと同一のプロセスで、配線と同一の金属により同時に形成されるようにしてもよい。尚、遮光膜１２１ｂ－１、遮光膜１２１ｂ－２、及び、遮光膜１２１ｇ－１乃至１２１ｇ－３の膜厚は、位置に応じて同一の厚さにしなくてもよい。
　また、図４の下段に示されるように、画素１２１ａは、フォトダイオード１６１（フォトダイオード１２１ｅに対応する）、転送トランジスタ１６２、ＦＤ（Floating Diffusion：フローティングディフュージョン）部１６３、選択トランジスタ１６４、増幅トランジスタ１６５、およびリセットトランジスタ１６６を備え、垂直信号線１６７を介して電流源１６８に接続されている。
　フォトダイオード１６１は、アノード電極が接地され、カソード電極が、転送トランジスタ１６２を介して増幅トランジスタ１６５のゲート電極に接続されている。
　転送トランジスタ１６２は、転送信号ＴＧに従って駆動する。例えば、転送トランジスタ１６２のゲート電極に供給される転送信号ＴＧがハイレベルになると、転送トランジスタ１６２はオンとなる。これにより、フォトダイオード１６１に蓄積されている電荷が転送トランジスタ１６２を介してＦＤ部１６３に転送される。
　増幅トランジスタ１６５は、フォトダイオード１６１での光電変換によって得られる信号を読み出す読出し回路であるソースフォロワの入力部となり、ＦＤ部１６３に蓄積されている電荷に応じたレベルの画素信号を垂直信号線１６７に出力する。すなわち、増幅トランジスタ１６５は、ドレイン端子が電源ＶＤＤに接続され、ソース端子が選択トランジスタ１６４を介して垂直信号線１６７に接続されることで、垂直信号線１６７の一端に接続される電流源１６８とソースフォロワを構成する。
　ＦＤ部１６３は、転送トランジスタ１６２と増幅トランジスタ１６５との間に設けられる電荷容量Ｃ１を有する浮遊拡散領域であり、転送トランジスタ１６２を介してフォトダイオード１６１から転送される電荷を一時的に蓄積する。ＦＤ部１６３は、電荷を電圧に変換する電荷検出部であって、ＦＤ部１６３に蓄積されている電荷が増幅トランジスタ１６５において電圧に変換される。
　選択トランジスタ１６４は、選択信号ＳＥＬに従って駆動し、ゲート電極に供給される選択信号ＳＥＬがハイレベルになるとオンとなって、増幅トランジスタ１６５と垂直信号線１６７とを接続する。
　リセットトランジスタ１６６は、リセット信号ＲＳＴに従って駆動する。例えば、リセットトランジスタ１６６は、ゲート電極に供給されるリセット信号ＲＳＴがハイレベルになるとオンとなり、ＦＤ部１６３に蓄積されている電荷を電源ＶＤＤに排出して、ＦＤ部１６３をリセットする。
　例えば、図４の下段に示される画素回路は以下のように動作する。
　すなわち、第一動作として、リセットトランジスタ１６６および転送トランジスタ１６２がオンにされ、ＦＤ部１６３に蓄積されている電荷を電源ＶＤＤに排出して、ＦＤ部１６３をリセットする。
　第二動作として、リセットトランジスタ１６６および転送トランジスタ１６２がオフにされ、露光期間となり、フォトダイオード１６１により、入射光の光量に応じた電荷が蓄積される。
　第三動作として、リセットトランジスタ１６６がオンにされて、ＦＤ部１６３がリセットされた後、リセットトランジスタ１６６がオフにされる。この動作により、ＦＤ部１６３が基準電位に設定される。
　第四動作として、リセットされた状態のＦＤ部１６３の電位が、基準電位として増幅トランジスタ１６５より出力される。
　第五動作として、転送トランジスタ１６２がオンにされて、フォトダイオード１６１に蓄積された電荷がＦＤ部１６３に転送される。
　第六動作として、フォトダイオードの電荷が転送されたＦＤ部１６３の電位が、信号電位として増幅トランジスタ１６５より出力される。
　そして、ＣＤＳ（相関二重サンプリング）により信号電位から基準電位が減算された信号が、画素１２１ａの検出信号（画素信号）として出力される。この検出信号の値（出力画素値）は、被写体からの入射光の入射角に応じて変調されており、入射角により特性（指向性）が異なる（入射角指向性を有する）。
　＜撮像素子１２１の第２の構成例＞
　図５は、撮像素子１２１の第２の構成例を示す図である。図５の上段には、第２の構成例である撮像素子１２１の画素１２１ａの側面断面図が示されており、図５の中段には、撮像素子１２１の上面図が示されている。また、図５の上段の側面断面図は、図５の中段におけるＡＢ断面となる。さらに、図５の下段は、撮像素子１２１の回路構成例である。
　図５の撮像素子１２１は、１つの画素１２１ａに４つのフォトダイオード１２１ｆ－１乃至１２１ｆ－４が形成され、遮光膜１２１ｇがフォトダイオード１２１ｆ－１乃至１２１ｆ－４同士を分離する領域に形成されている点で、図４の撮像素子１２１と異なる構成となっている。即ち、図５の撮像素子１２１では、遮光膜１２１ｇは、上面から見て「＋」形状に形成されている。なお、それらの共通の構成については図４と同一の符号を付しており、詳細な説明は省略する。
　図５の撮像素子１２１では、遮光膜１２１ｇによりフォトダイオード１２１ｆ－１乃至１２１ｆ－４が分離されることによって、フォトダイオード１２１ｆ－１乃至１２１ｆ－４間の電気的および光学的なクロストークの発生が防止される。すなわち、図５の遮光膜１２１ｇは、図４の撮像素子１２１の遮光膜１２１ｇと同様にクロストークを防止するためのものであって、入射角指向性を与えるためのものではない。
　また、図５の撮像素子１２１では、１個のＦＤ部１６３が４個のフォトダイオード１２１ｆ－１乃至１２１ｆ－４で共有される。図５の下段は、１個のＦＤ部１６３を４個のフォトダイオード１２１ｆ－１乃至１２１ｆ－４で共有するようにした回路構成例を示している。尚、図５の下段において、図４の下段と同一の構成については、その説明を省略する。
　図５の下段において、図４の下段の回路構成と異なる点は、フォトダイオード１６１（図４の上段におけるフォトダイオード１２１ｅに対応する）および転送トランジスタ１６２に代えて、フォトダイオード１６１－１乃至１６１－４（図５の上段におけるフォトダイオード１２１ｆ－１乃至１２１ｆ－４に対応する）および転送トランジスタ１６２－１乃至１６２－４を設け、ＦＤ部１６３を共有する構成としている点である。
　このような構成により、フォトダイオード１２１ｆ－１乃至１２１ｆ－４に蓄積された電荷は、フォトダイオード１２１ｆ－１乃至１２１ｆ－４と増幅トランジスタ１６５のゲート電極との接続部に設けられる所定の容量を有する共通のＦＤ部１６３に転送される。そして、ＦＤ部１６３に保持されている電荷のレベルに応じた信号が検出信号（画素信号）として読み出される（ただし、上述したようにＣＤＳ処理が行われる）。
　このため、フォトダイオード１２１ｆ－１乃至１２１ｆ－４で蓄積された電荷を様々な組み合わせで選択的に画素１２１ａの出力、すなわち検出信号に寄与させることができる。すなわち、フォトダイオード１２１ｆ－１乃至１２１ｆ－４毎に独立して電荷を読み出すことができる構成とし、出力に寄与するフォトダイオード１２１ｆ－１乃至１２１ｆ－４（フォトダイオード１２１ｆ－１乃至１２１ｆ－４が出力に寄与する度合い）を互いに異ならせることで、異なる入射角指向性を得ることができる。
　例えば、フォトダイオード１２１ｆ－１とフォトダイオード１２１ｆ－３の電荷をＦＤ部１６３に転送し、それぞれを読み出して得られる信号を加算することにより、左右方向の入射角指向性を得ることができる。同様に、フォトダイオード１２１ｆ－１とフォトダイオード１２１ｆ－２の電荷をＦＤ部１６３に転送し、それぞれを読み出して得られる信号を加算することにより、上下方向の入射角指向性を得ることができる。
　また、４つのフォトダイオード１２１ｆ－１乃至１２１ｆ－４より独立して選択的に読み出される電荷に基づいて得られる信号は、検出画像を構成する１画素分に相当する検出信号となる。
　なお、各フォトダイオード１２１ｆ（の電荷）の検出信号への寄与は、例えば、各フォトダイオード１２１ｆの電荷（検出値）をＦＤ部１６３に転送するか否かだけでなく、電子シャッタ機能を用いてＦＤ部１６３への転送前にフォトダイオード１２１ｆに蓄積された電荷をリセットすること等でも実現することができる。例えば、ＦＤ部１６３への転送直前にフォトダイオード１２１ｆの電荷をリセットすれば、そのフォトダイオード１２１ｆは、検出信号に全く寄与しない状態となる。一方、フォトダイオード１２１ｆの電荷をリセットとＦＤ部１６３への電荷の転送との間に時間を持たせることにより、そのフォトダイオード１２１ｆは、部分的に検出信号に寄与する状態となる。
　以上のように、図５の撮像素子１２１の場合、４つのフォトダイオード１２１ｆ－１乃至１２１ｆ－４のうち、検出信号に用いるものの組み合わせを変更することで、画素毎に異なる入射角指向性を持たせることができる。また、図５の撮像素子１２１の各画素１２１ａから出力される検出信号は、被写体からの入射光の入射角に応じて変調された値（出力画素値）となり、入射角により特性（指向性）が異なる（入射角指向性を有する）。
　なお、以下、検出画像の１画素分に相当する検出信号を出力する単位を画素出力単位と称する。画素出力単位は、少なくとも１つ以上のフォトダイオードを備え、通常は、撮像素子１２１の各画素１２１ａが、それぞれ１つの画素出力単位に相当する。
　例えば、図４の撮像素子１２１では、１つの画素１２１ａにそれぞれ１つのフォトダイオード１２１ｅが設けられているため、１つの画素出力単位がそれぞれ１つのフォトダイオード１２１ｅを備えることになる。換言すれば、１つのフォトダイオード１２１ｅにより、１つの画素出力単位が構成される。
　そして、各画素１２１ａの遮光膜１２１ｂによる遮光の状態をそれぞれ異なるものとすることで、各画素出力単位の入射角指向性を異なるものとすることができる。そして、図４の撮像素子１２１では、遮光膜１２１ｂを用いて各画素１２１ａへの入射光が光学的に変調され、その結果、各画素１２１ａのフォトダイオード１２１ｅから出力される信号により、入射角指向性を反映した検出画像の１画素分の検出信号が得られる。すなわち、図４の撮像素子１２１は、撮像レンズ及びピンホールのいずれも介さず入射する被写体からの入射光を受光する複数の画素出力単位を備え、各画素出力単位が１つのフォトダイオード１２１ｅを備え、被写体からの入射光の入射角に対する特性（入射角指向性）が画素出力単位毎に設定されている。
　一方、図５の撮像素子１２１では、１つの画素１２１ａにそれぞれ４つのフォトダイオード１２１ｆ－１乃至１２１ｆ－４が設けられているため、１つの画素出力単位がそれぞれ４つのフォトダイオード１２１ｅを備えることになる。換言すれば、４つのフォトダイオード１２１ｆにより、１つの画素出力単位が構成される。一方、各フォトダイオード１２１ｅ単体により、個別の画素出力単位が構成されることはない。
　そして、上述したように４つのフォトダイオード１２１ｆ－１乃至１２１ｆ－４のうち検出信号に寄与するフォトダイオード１２１ｆを画素１２１ａ毎に異なるものとすることで、画素出力単位毎の入射角指向性が異なるものとなる。すなわち、図５の撮像素子１２１では、４個のフォトダイオード１２１ｆ－１乃至１２１ｆ－４のうち出力（検出信号）に寄与しない範囲が遮光された領域と同様に機能する。そして、フォトダイオード１２１ｆ－１乃至１２１ｆ－４から出力される信号の組合せにより、入射角指向性を反映した検出画像の１画素分の検出信号が得られる。すなわち、図５の撮像素子１２１は、撮像レンズ及びピンホールのいずれも介さず入射する被写体からの入射光を受光する複数の画素出力単位を備え、各画素出力単位が複数のフォトダイオード（例えば、フォトダイオード１２１ｆ－１乃至１２１ｆ－４）を備え、出力に寄与するフォトダイオード（の度合い）を異ならせることで、被写体からの入射光の入射角に対する各画素出力単位の特性（入射角指向性）が互いに異なる。
　なお、図５の撮像素子１２１では、入射光が光学的に変調されずに全てのフォトダイオード１２１ｆ－１乃至１２１ｆ－４に入射されるため、検出信号は、光学的な変調により得られる信号ではない。また、以降において、検出信号に寄与しないフォトダイオード１２１ｆのことを、画素出力単位又は出力に寄与しないフォトダイオード１２１ｆとも称する。
　なお、図５には、画素出力単位（画素１２１ａ）の受光面を４等分して、各領域にそれぞれ受光面が同じ大きさのフォトダイオード１２１ｆを配置した例、すなわち、フォトダイオードを４等分した例を示しているが、フォトダイオードの分割数や分割位置は任意に設定することが可能である。
　例えば、フォトダイオードを必ずしも等分する必要はなく、画素出力単位毎にフォトダイオードの分割位置を異ならせてもよい。これにより、例えば、複数の画素出力単位間で同じ位置のフォトダイオード１２１ｆを出力に寄与させるようにしたとしても、画素出力単位間で入射角指向性が異なるようになる。また、例えば、画素出力単位間で分割数を異なるものとすることにより、より自由に入射角指向性を設定することが可能になる。さらに、例えば、画素出力単位間で分割数及び分割位置の両方を異ならせるようにしてもよい。
　また、図４の撮像素子１２１及び図５の撮像素子１２１のいずれも、各画素出力単位が入射角指向性を独立に設定可能な構成を有している。一方、上述した非特許文献１や特許文献１、２に示される撮像装置では、撮像素子の各画素出力単位が入射角指向性を独立に設定可能な構成を有していない。なお、図４の撮像素子１２１では、各画素出力単位の入射角指向性が、遮光膜１２１ｂにより製造時に設定される。一方、図５の撮像素子１２１では、各画素出力単位のフォトダイオードの分割数や分割位置は製造時に設定されるが、各画素出力単位の入射角指向性（出力に寄与させるフォトダイオードの組合せ）は使用時（例えば、撮像時）に設定することができる。なお、図４の撮像素子１２１及び図５の撮像素子１２１のいずれにおいても、必ずしも全ての画素出力単位が、入射角指向性を持たせる構成を備える必要はない。
　なお、上述したように、通常は、撮像素子の各画素が、それぞれ１つの画素出力単位に相当するが、後述するように、複数の画素により、１つの画素出力単位が構成される場合もある。以降においては、特に記載がない限り、撮像素子の各画素が、それぞれ１つの画素出力単位に相当するものとして、説明を行う。
　＜入射角指向性を生じさせる原理について＞
　撮像素子１２１の各画素の入射角指向性は、例えば、図６に示されるような原理により発生する。尚、図６の左上部および右上部は、図４の撮像素子１２１における入射角指向性の発生原理を説明する図であり、図６の左下部および右下部は、図５の撮像素子１２１における入射角指向性の発生原理を説明する図である。
　図６の左上部および右上部の画素は、いずれも１個のフォトダイオード１２１ｅを備える。これに対して、図６の左下部および右下部の画素は、いずれも２個のフォトダイオード１２１ｆを備える。尚、ここでは、１画素が２個のフォトダイオード１２１ｆを備える例を示しているが、これは説明の便宜上であり、１画素が備えるフォトダイオード１２１ｆの数は、その他の個数であってもよい。
　図６の左上部の画素においては、フォトダイオード１２１ｅ－１１の受光面の右半分を遮光するように遮光膜１２１ｂ－１１が形成されている。また、図６の右上部の画素においては、フォトダイオード１２１ｅ－１２の受光面の左半分を遮光するように遮光膜１２１ｂ－１２が形成されている。尚、図中の一点鎖線は、フォトダイオード１２１ｅの受光面の水平方向の中心を通り、受光面に対して垂直な補助線である。
　例えば、図６の左上部の画素においては、図中の一点鎖線に対して入射角θ１を成す右上方向からの入射光は、フォトダイオード１２１ｅ－１１の遮光膜１２１ｂ－１１により遮光されていない左半分の範囲により受光され易い。これに対して、図中の一点鎖線に対して入射角θ２を成す左上方向からの入射光は、フォトダイオード１２１ｅ－１１の遮光膜１２１ｂ－１１により遮光されていない左半分の範囲により受光されにくい。したがって、図６の左上部の画素は、図中の右上方からの入射光に対して受光感度が高く、左上方からの入射光に対して受光感度が低い入射角指向性を備えることになる。
　一方、例えば、図６の右上部の画素においては、入射角θ１を成す右上方向からの入射光は、フォトダイオード１２１ｅ－１２の遮光膜１２１ｂ－１２により遮光されている左半分の範囲により受光されにくい。これに対して、入射角θ２を成す左上方向からの入射光は、フォトダイオード１２１ｅ－１２の遮光膜１２１ｂ－１２により遮光されていない右半分の範囲により受光され易い。したがって、図６の右上部の画素は、図中の右上方からの入射光に対して受光感度が低く、左上方からの入射光に対して受光感度が高い入射角指向性を備えることになる。
　また、図６の左下部の画素は、図中の左右にフォトダイオード１２１ｆ－１１，１２１ｆ－１２が設けられており、いずれか一方の検出信号を読み出すようにすることで、遮光膜１２１ｂを設けることなく入射角指向性を有する構成とされている。
　すなわち、図６の左下部の画素では、図中の左側に設けられたフォトダイオード１２１ｆ－１１の信号のみを読み出すようにすることで、図６の左上部の画素と同様の入射角指向性を得ることができる。すなわち、図中の一点鎖線に対して入射角θ１を成す右上方向からの入射光は、フォトダイオード１２１ｆ－１１に入射し、受光量に対応する信号がフォトダイオード１２１ｆ－１１から読み出されるため、この画素から出力される検出信号に寄与する。これに対して、図中の一点鎖線に対して入射角θ２を成す左上方向からの入射光は、フォトダイオード１２１ｆ－１２に入射するが、フォトダイオード１２１ｆ－１２から読み出されないため、この画素から出力される検出信号に寄与しない。
　同様に、図６の右下部の画素のように、２個のフォトダイオード１２１ｆ－１３，１２１ｆ－１４を備える場合、図中の右側に設けられたフォトダイオード１２１ｆ－１４の信号のみを読み出すようにすることで、図６の右上部の画素と同様の入射角指向性を得ることができる。すなわち、入射角θ１を成す右上方向からの入射光は、フォトダイオード１２１ｆ－１３に入射するが、フォトダイオード１２１ｆ－１３から信号が読み出されないため、この画素から出力される検出信号に寄与しない。これに対して、入射角θ２を成す左上方向からの入射光は、フォトダイオード１２１ｆ－１４に入射し、受光量に対応する信号がフォトダイオード１２１ｆ－１４から読み出されるため、この画素から出力される検出信号に寄与する。
　尚、図６の上部の画素においては、画素（フォトダイオード１２１ｅの受光面）の水平方向の中心位置で遮光される範囲と遮光されない範囲が分かれる例を示したが、その他の位置で分かれるようにしてもよい。また、図６の下部の画素においては、画素の水平方向の中心位置で、２つのフォトダイオード１２１ｆが分かれる例を示したが、その他の位置で分かれるようにしてもよい。このように、遮光範囲又はフォトダイオード１２１ｆが分かれる位置を変えることにより、異なる入射角指向性を生じさせることができる。
　＜オンチップレンズを含む構成における入射角指向性について＞
　次に、図７を参照して、オンチップレンズ１２１ｃを含めた構成における入射角指向性について説明する。
　図７の上段のグラフは、図７の中段及び下段の画素の入射角指向性を示している。なお、横軸が入射角度θであり、縦軸が検出信号レベルを示している。なお、入射角度θは、入射光の方向が、図７の中段左側の一点鎖線と一致する場合を０度とし、図７の中段左側の入射角度θ２１側を正の方向とし、図７の中段右側の入射角度θ２２側を負の方向とする。したがって、オンチップレンズ１２１ｃに対して、右上方より入射する入射光については、左上方より入射する入射光よりも入射角度が大きくなる。すなわち入射角度θは、入射光の進行方向が左に傾くほど大きくなり（正の方向に大きくなり）、右に傾くほど小さくなる（負の方向に大きくなる）。
　また、図７の中段左部の画素は、図６の上段左部の画素に、入射光を集光するオンチップレンズ１２１ｃ－１１、及び、所定の波長の光を透過させるカラーフィルタ１２１ｄ－１１を追加したものである。すなわち、この画素では、オンチップレンズ１２１ｃ－１１、カラーフィルタ１２１ｄ－１１、遮光膜１２１ｂ－１１、フォトダイオード１２１ｅ－１１が、図中上方の光の入射方向から順に積層されている。
　同様に、図７の中段右部の画素、図７の下段左部の画素、及び、図７の下段右部の画素は、それぞれ、図６の上段右部の画素、図６の下段左部の画素、及び、図６の下段右部の画素に、オンチップレンズ１２１ｃ－１１及びカラーフィルタ１２１ｄ－１１、又は、オンチップレンズ１２１ｃ－１２及びカラーフィルタ１２１ｄ－１２を追加したものである。
　図７の中段左部の画素では、図７の上段の実線の波形で示されるように、入射光の入射角度θに応じてフォトダイオード１２１ｅ－１１の検出信号レベル（受光感度）が変化する。すなわち、図中の一点鎖線に対して入射光のなす角である入射角度θが大きいほど（入射角度θが正の方向に大きいほど（図中の右方向に傾くほど））、遮光膜１２１ｂ－１１が設けられていない範囲に光が集光されることで、フォトダイオード１２１ｅ－１１の検出信号レベルが大きくなる。逆に、入射光の入射角度θが小さいほど（入射角度θが負の方向に大きいほど（図中の左方向に傾くほど））、遮光膜１２１ｂ－１１が設けられている範囲に光が集光されることで、フォトダイオード１２１ｅ－１１の検出信号レベルが小さくなる。
　また、図７の中段右部の画素では、図７の上段の点線の波形で示されるように、入射光の入射角度θに応じてフォトダイオード１２１ｅ－１２の検出信号レベル（受光感度）が変化する。すなわち、入射光の入射角度θが大きいほど（入射角度θが正の方向に大きいほど）、遮光膜１２１ｂ－１２が設けられている範囲に光が集光されることで、フォトダイオード１２１ｅ－１２の検出信号レベルが小さくなる。逆に、入射光の入射角度θが小さいほど（入射角度θが負の方向に大きいほど）、遮光膜１２１ｂ－１２が設けられていない範囲に光が入射することで、フォトダイオード１２１ｅ－１２の検出信号レベルが大きくなる。
　この図７の上段に示される実線および点線の波形は、遮光膜１２１ｂの範囲に応じて変化させることができる。従って、遮光膜１２１ｂの範囲により、画素単位で相互に異なる入射角指向性を持たせることが可能となる。
　上述したように、入射角指向性とは、入射角度θに応じた各画素の受光感度の特性であるが、これは、図７の中段の画素では、入射角度θに応じた遮光値の特性であるとも言える。すなわち、遮光膜１２１ｂは、特定の方向の入射光は高いレベルで遮光するが、それ以外の方向からの入射光は十分に遮光できない。この遮光できるレベルの変化が、図７の上段に示されるような入射角度θに応じた異なる検出信号レベルを生じさせる。したがって、各画素において最も高いレベルで遮光可能な方向を各画素の遮光方向と定義すると、画素単位で相互に異なる入射角指向性を持つということは、換言すれば、画素単位で相互に異なる遮光方向を持つということになる。
　また、図７の下段左部の画素では、図６の下段左部の画素と同様に、図中左部のフォトダイオード１２１ｆ－１１のみの信号を用いるようにすることで、図７の中段左部の画素と同様の入射角指向性を得ることができる。すなわち、入射光の入射角度θが大きくなると（入射角度θが正の方向に大きくなると）、信号が読み出されるフォトダイオード１２１ｆ－１１の範囲に光が集光されることで、検出信号レベルが大きくなる。逆に、入射光の入射角度θが小さいほど（入射角度θが負の方向に大きいほど）、信号が読み出されないフォトダイオード１２１ｆ－１２の範囲に光が集光されることで、検出信号レベルが小さくなる。
　また、同様に、図７の下段右部の画素では、図６の下段右部の画素と同様に、図中右部のフォトダイオード１２１ｆ－１４のみの信号を用いるようにすることで、図７の中段右部の画素と同様の入射角指向性を得ることができる。すなわち、入射光の入射角度θが大きくなると（入射角度θが正の方向に大きくなると）、出力（検出信号）に寄与しないフォトダイオード１２１ｆ－１３の範囲に光が集光されることで、画素単位の検出信号のレベルが小さくなる。逆に、入射光の入射角度θが小さいほど（入射角度θが負の方向に大きいほど）、出力（検出信号）に寄与するフォトダイオード１２１ｆ－１４の範囲に光が集光されることで、画素単位の検出信号のレベルが大きくなる。
　なお、図７の下段の画素のように、画素内に複数のフォトダイオードを設け、出力に寄与するフォトダイオードを変更可能な画素において、各フォトダイオードに入射光の入射角に対する指向性を持たせ、画素単位での入射角指向性を生じさせるために、各画素にオンチップレンズ１２１ｃが必須構成となる。
　尚、入射角指向性については、画素単位でランダム性が高い方が望ましい。例えば、隣り合う画素間で同一の入射角指向性を持つと、上述した式（１）乃至式（３）または、後述する式（４）乃至式（６）が相互に同一の式となる恐れがあり、その結果、連立方程式の解となる未知数に対して式の数が不足し、復元画像を構成する画素値を求められなくなる恐れがあるためである。
　なお、以下の説明では、図４の画素１２１ａのように、遮光膜１２１ｂを用いて入射角指向性を実現する画素１２１ａを用いる場合の例を中心に説明する。ただし、遮光膜１２１ｂが必須となる場合を除いて、基本的にフォトダイオードを分割して入射角指向性を実現する画素１２１ａを用いることも可能である。
　＜遮光膜の構成について＞
　以上においては、図３に示されるように、撮像素子１２１の各画素１２１ａの遮光膜１２１ｂの構成として、垂直方向に対しては受光面全体を遮光し、水平方向の遮光幅や位置を変化させる例を示したが、当然のことながら、水平方向に対して受光面全体を遮光し、垂直方向の幅（高さ）や位置を変化させるようにして、各画素１２１ａに入射角指向性を持たせるようにしてもよい。
　尚、以降においては、図３の例のように、垂直方向に対しては画素１２１ａの受光面全体を遮光し、水平方向に対して所定の幅で受光面を遮光する遮光膜１２１ｂを、横帯タイプの遮光膜１２１ｂと称する。また、水平方向に対しては画素１２１ａの受光面全体を遮光し、垂直方向に対して所定の高さで受光面を遮光する遮光膜１２１ｂを、縦帯タイプの遮光膜１２１ｂと称する。
　また、図８の左部に示されるように、縦帯タイプと横帯タイプの遮光膜１２１ｂを組み合わせて、例えば、ベイヤ配列のそれぞれの画素に対して、Ｌ字型のような遮光膜１２１ｂを設けるようにしてもよい。
　尚、図８においては、黒色の範囲が遮光膜１２１ｂを表しており、特に断りがない限り、以降の図面においても同様に表示する。また、図８の例では、ベイヤ配列となるＧ（緑色）画素の画素１２１ａ－２１，１２１ａ－２４、Ｒ（赤色）画素の画素１２１ａ－２２、およびＢ（青色）画素の画素１２１ａ－２３のそれぞれに対して、Ｌ字型の遮光膜１２１ｂ－２１乃至１２１ｂ－２４が設けられている。
　この場合、各画素１２１ａは、図８の右部に示されるような入射角指向性を有することになる。すなわち、図８の右部においては、各画素１２１ａの受光感度の分布が示されており、横軸が入射光の水平方向（ｘ方向）の入射角度θｘを表し、縦軸が入射光の垂直方向（ｙ方向）の入射角度θｙを表している。そして、範囲Ｃ４内の受光感度が、範囲Ｃ４の外よりも高く、範囲Ｃ３内の受光感度が、範囲Ｃ３の外よりも高く、範囲Ｃ２内の受光感度が、範囲Ｃ２の外よりも高く、範囲Ｃ１内の受光感度が、範囲Ｃ１の外よりも高くなる。
　従って、各画素１２１ａにおいて、水平方向（ｘ方向）の入射角度θｘと、垂直方向（ｙ方向）の入射角度θｙとが範囲Ｃ１内となる入射光に対する検出信号レベルが最も高くなる。そして、入射角度θｘと入射角度θｙが範囲Ｃ２内、範囲Ｃ３内、範囲Ｃ４内、および、範囲Ｃ４以外の範囲となる入射光の順に検出信号レベルが低くなる。尚、図８の右部に示される受光感度の強度分布は、ベイヤ配列とは無関係に、各画素１２１ａにおける遮光膜１２１ｂにより遮光される範囲により決定されるものである。
　尚、以降においては、図８のＬ字型の遮光膜１２１ｂ－２１乃至１２１ｂ－２４のように、縦帯タイプの遮光膜と横帯タイプの遮光膜をそれぞれの端部でつなぎ合わせた形状の遮光膜１２１ｂを、Ｌ字タイプの遮光膜１２１ｂと総称するものとする。
　＜入射角指向性の設定方法＞
　次に、図９を参照して、入射角指向性の設定方法の例について説明する。
　例えば、図９の上段に示されるように、遮光膜１２１ｂの水平方向の遮光範囲が、画素１２１ａの左端部から位置Ａまでの範囲とし、垂直方向の遮光範囲が、画素１２１ａの上端部から位置Ｂまでの範囲である場合について考える。
　この場合、各画素の水平方向の中心位置からの入射角度θｘ（ｄｅｇ）に応じた重みであって、水平方向の入射角指向性の指標となる０乃至１の重みＷｘを設定する。より詳細には、位置Ａに対応する入射角度θｘ＝θａにおいて、重みＷｘが０．５になると仮定した場合、入射角度θｘ＜θａ－αにおいて重みＷｘが１となり、θａ－α≦入射角度θｘ≦θａ＋αにおいて、重みＷｘが（－（θｘ－θａ）／２α＋０．５）となり、入射角度θｘ＞θａ＋αにおいて重みＷｘが０となるように重みＷｘを設定する。
　同様に、各画素の垂直方向の中心位置からの入射角度θｙ（ｄｅｇ）に応じた重みであって、垂直方向の入射角指向性の指標となる０乃至１の重みＷｙを設定する。より詳細には、位置Ｂに対応する入射角度θｙ＝θｂにおいて、重みＷｙが０．５になると仮定した場合、入射角度θｙ＜θｂ－αにおいて重みＷｙが０となり、θｂ－α≦入射角度θｙ≦θｂ＋αにおいて、重みＷｙが（（θｙ－θｂ）／２α＋０．５）となり、入射角度θｙ＞θｂ＋αにおいて重みＷｙが１となるように重みＷｙを設定する。
　尚、重みＷｘ及び重みＷｙが、図９のグラフのように変化するのは、理想的な条件が満たされる場合となる。
　そして、このようにして求められた重みＷｘ，Ｗｙを用いることにより、それぞれの画素１２１ａの入射角指向性、すなわち、受光感度特性に対応する係数を求めることができる。例えば、被写体面３１のある点光源からの入射光の入射角度θｘに対応する重みＷｘと、入射角度θｙに対応する重みＷｙとを乗じた値が、その点光源に対する係数に設定される。
　また、このとき、水平方向の重みＷｘおよび垂直方向の重みＷｙが０．５前後となる範囲における重みの変化を示す傾き（１／２α）は、焦点距離の異なるオンチップレンズ１２１ｃを用いることで設定することができる。
　例えば、図９の下段の実線で示されるように、オンチップレンズ１２１ｃの焦点距離が遮光膜１２１ｂの表面に合っている場合、水平方向の重みＷｘ及び垂直方向の重みＷｙの傾き（１／２α）は、急峻になる。すなわち、重みＷｘおよび重みＷｙは、値が０．５付近となる水平方向の入射角度θｘ＝θａ、および、垂直方向の入射角度θｙ＝θｂの境界付近において、急激に０または１に変化する。
　また、例えば、図９の下段の点線で示されるように、オンチップレンズ１２１ｃの焦点距離がフォトダイオード１２１ｅの表面に合っている場合、水平方向の重みＷｘ及び垂直方向の重みＷｙの傾き（１／２α）は、緩やかになる。すなわち、重みＷｘおよび重みＷｙは、値が０．５付近となる水平方向の入射角度θｘ＝θａ、および、垂直方向の入射角度θｙ＝θｂの境界付近において、緩やかに０または１に変化する。
　例えば、オンチップレンズ１２１ｃの焦点距離は、オンチップレンズ１２１ｃの曲率により変化する。従って、曲率の異なるオンチップレンズ１２１ｃを用いて、オンチップレンズ１２１ｃの焦点距離を変化させることで異なる入射角指向性、すなわち、異なる受光感度特性を得ることができる。
　したがって、画素１２１ａの入射角指向性は、遮光膜１２１ｂによりフォトダイオード１２１ｅが遮光される範囲と、オンチップレンズ１２１ｃの曲率との組み合わせにより調整することができる。尚、オンチップレンズの曲率は、撮像素子１２１の全ての画素１２１ａで同一にしてもよいし、一部の画素１２１ａで異なるようにしてもよい。
　例えば、撮像素子１２１の各画素１２１ａの入射角指向性を表す指標として、各画素１２１ａの位置、各画素１２１ａの遮光膜１２１ｂの形状、位置、範囲、オンチップレンズ１２１ｃの曲率等に基づいて、図９のグラフのような重みＷｘ及び重みＷｙの特性が画素１２１ａ毎に設定される。また、所定の被写体距離の被写体面３１上のある点光源と、撮像素子１２１のある画素１２１ａとの位置関係に基づいて、当該点光源から当該画素１２１ａへの光線の入射角度が求められる。そして、求めた入射角度、並びに、当該画素１２１ａの重みＷｘ及び重みＷｙの特性に基づいて、当該点光源に対する当該画素１２１ａの係数が求められる。
　同様に、被写体面３１上の各点光源と撮像素子１２１の各画素１２１ａとの組み合わせについて、上述したように係数を求めることにより、上述した式（１）乃至式（３）の係数セットα１，β１，γ１，係数セットα２，β２，γ２，係数セットα３，β３，γ３のような、被写体面３１に対する撮像素子１２１の係数セット群を求めることができる。
　なお、図１３を参照して後述するように、被写体面３１から撮像素子１２１の受光面までの被写体距離が異なると、被写体面３１の各点光源からの光線の撮像素子１２１への入射角が異なるため、被写体距離毎に異なる係数セット群が必要となる。
　また、同じ被写体距離の被写体面３１であっても、設定する点光源の数や配置が異なると、各点光源からの光線の撮像素子１２１への入射角が異なる。従って、同じ被写体距離の被写体面３１に対して、複数の係数セット群が必要となる場合がある。また、各画素１２１ａの入射角指向性は、上述した連立方程式の独立性を確保できるように設定する必要がある。
　＜オンチップレンズと撮像レンズとの違い＞
　本開示の撮像装置１０１においては、撮像素子１２１は、撮像レンズからなる光学ブロックやピンホールを必要としない構成であるが、上述したように、オンチップレンズ１２１ｃは設けられる。ここで、オンチップレンズ１２１ｃと撮像レンズとは、物理的作用が異なるものである。
　例えば、図１０に示されるように、点光源Ｐ１０１から発せられた拡散光のうち撮像レンズ１５２に入射した光は、撮像素子１５１上の画素位置Ｐ１１１において集光する。すなわち、撮像レンズ１５２は、点光源Ｐ１０１から異なる角度で入射する拡散光を、画素位置Ｐ１１１に集光し、点光源Ｐ１０１の像を結像させるように設計されている。この画素位置Ｐ１１１は、点光源Ｐ１０１と撮像レンズ１５２の中心とを通る主光線Ｌ１０１により特定される。
　また、例えば、図１１に示されるように、点光源Ｐ１０１とは異なる点光源Ｐ１０２から発せられた拡散光のうち撮像レンズ１５２に入射した光は、撮像素子１５１上の画素位置Ｐ１１１とは異なる画素位置Ｐ１１２において集光する。すなわち、撮像レンズ１５２は、点光源Ｐ１０２から異なる角度で入射する拡散光を、画素位置Ｐ１１２に集光し、点光源Ｐ１０２の像を結像させるように設計されている。この画素位置Ｐ１１２は、点光源Ｐ１０２と撮像レンズ１５２の中心とを通る主光線Ｌ１０２により特定される。
　このように、撮像レンズ１５２は、撮像素子１５１上の異なる画素位置Ｐ１１１，Ｐ１１２に、それぞれ主光線が異なる点光源Ｐ１０１，Ｐ１０２の像を結像させる。
　さらに、図１２に示されるように、点光源Ｐ１０１が無限遠に存在する場合、点光源Ｐ１０１から発せられた拡散光の一部が、主光線Ｌ１０１に平行な平行光として撮像レンズ１５２に入射する。例えば、主光線Ｌ１０１に対して平行な光線Ｌ１２１と光線Ｌ１２２の間の光線からなる平行光が撮像レンズ１５２に入射する。そして、撮像レンズ１５２に入射した平行光は、撮像素子１５１上の画素位置Ｐ１１１に集光する。すなわち、撮像レンズ１５２は、無限遠に存在する点光源Ｐ１０１からの平行光を、画素位置Ｐ１１１に集光し、点光源Ｐ１０１の像を結像させるように設計されている。
　従って、撮像レンズ１５２は、例えば、主光線入射角θ１を持つ点光源からの拡散光を画素（画素出力単位）Ｐ１に入射させ、主光線入射角θ１とは異なる主光線入射角θ２を持つ点光源からの拡散光を、画素Ｐ１とは異なる画素（画素出力単位）Ｐ２に入射させる集光機能を持つ。すなわち、撮像レンズ１５２は、主光線の入射角が異なる光源からの拡散光を、互いに隣接する複数の画素（画素出力単位）へ入射させるための集光機能を持つ。ただし、例えば、互いに近接している点光源や、無限遠に存在しており実質的に近接している点光源からの光は、同じ画素（画素出力単位）に入射する場合がある。
　これに対して、例えば、図４，図５を参照して説明したように、オンチップレンズ１２１ｃを通る光は、対応する画素（画素出力単位）を構成するフォトダイオード１２１ｅまたはフォトダイオード１２１ｆの受光面のみに入射される。換言すれば、オンチップレンズ１２１ｃは、画素（画素出力単位）毎に設けられ、自身に入射する入射光を対応する画素（画素出力単位）のみに集光する。すなわち、オンチップレンズ１２１ｃは、異なる点光源からの光を、異なる画素（画素出力単位）へ入射させるための集光機能を持たない。
　なお、ピンホールを用いた場合、各画素（画素出力単位）の位置と光の入射角の関係が一意に定まる。したがって、ピンホールと従来の撮像素子を用いた構成の場合、各画素に対して、入射角指向性を独立して自由に設定することができない。
　＜被写体面と撮像素子との距離の関係＞
　次に、図１３を参照して、被写体面と撮像素子１２１との距離の関係について説明する。
　なお、図１３の左上に示されるように、撮像素子１２１（図１の撮像素子５１と同様）と被写体面３１までの被写体距離が距離ｄ１である場合、撮像素子１２１上の画素Ｐｃ，Ｐｂ，Ｐａにおける検出信号レベルＤＡ，ＤＢ，ＤＣが、上述した式（１）乃至式（３）と同一の式で表されるものとする。
　ＤＡ＝α１×ａ＋β１×ｂ＋γ１×ｃ
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（１）
　ＤＢ＝α２×ａ＋β２×ｂ＋γ２×ｃ
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（２）
　ＤＣ＝α３×ａ＋β３×ｂ＋γ３×ｃ
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（３）
　また、図１３の左下に示されるように、撮像素子１２１との被写体距離が距離ｄ１よりもｄだけ大きな距離ｄ２である被写体面３１’、すなわち、撮像素子１２１から見て、被写体面３１よりも奥の被写体面３１’について考える場合も、撮像素子１２１上の画素Ｐｃ，Ｐｂ，Ｐａにおける検出信号レベルは、図１３の下段中央部に示されるように、検出信号レベルＤＡ，ＤＢ，ＤＣで同様になる。
　しかしながら、この場合、被写体面３１’上の点光源ＰＡ’，ＰＢ’，ＰＣ’からの光強度ａ’，ｂ’，ｃ’の光線が撮像素子１２１の各画素において受光される。また、撮像素子１２１への光強度ａ’，ｂ’，ｃ’の光線の入射角度が異なる（変化する）ので、それぞれ異なる係数セット群が必要となる。従って、各画素Ｐａ，Ｐｂ，Ｐｃにおける検出信号レベルＤＡ，ＤＢ，ＤＣは、例えば、以下の式（４）乃至式（６）で表される。
　ＤＡ＝α１１×ａ’＋β１１×ｂ’＋γ１１×ｃ’
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（４）
　ＤＢ＝α１２×ａ’＋β１２×ｂ’＋γ１２×ｃ’
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（５）
　ＤＣ＝α１３×ａ’＋β１３×ｂ’＋γ１３×ｃ’
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（６）
　ここで、係数セットα１１，β１１，γ１１，係数セットα１２，β１２，γ１２，係数セットα１３，β１３，γ１３からなる係数セット群は、被写体面３１に対する係数セットα１，β１，γ１，係数セットα２，β２，γ２，係数セットα３，β３，γ３に対応する被写体面３１’に対する係数セット群である。
　従って、式（４）乃至式（６）からなる連立方程式を、予め設定された係数セット群α１１，β１１，γ１１，α１２，β１２，γ１２，α１３，β１３，γ１３を用いて解くことで、被写体面３１の点光源ＰＡ，ＰＢ，ＰＣからの光線の光強度ａ，ｂ，ｃを求める場合と同様の手法で、図１３の右下に示されるように、被写体面３１’の点光源ＰＡ’，ＰＢ’，ＰＣ’からの光線の光強度ａ’，ｂ’，ｃ’を求めることができる。その結果、被写体面３１’の復元画像を復元することが可能となる。
　従って、図２の撮像装置１０１においては、撮像素子１２１からの被写体面までの距離（被写体距離）毎の係数セット群を予め用意しておき、被写体距離毎に係数セット群を切り替えて連立方程式を作成し、作成した連立方程式を解くことで、１個の検出画像に基づいて、様々な被写体距離の被写体面の復元画像を得ることが可能となる。例えば、検出画像を１回撮像し、記録した後、記録した検出画像を用いて、被写体面までの距離に応じて係数セット群を切り替えて、復元画像を復元することにより、任意の被写体距離の被写体面の復元画像を生成することが可能である。
　また、被写体距離や画角が特定できるような場合については、全ての画素を用いずに、特定された被写体距離や画角に対応した被写体面の撮像に適した入射角指向性を有する画素の検出信号を用いて、復元画像を生成するようにしてもよい。これにより、特定された被写体距離や画角に対応した被写体面の撮像に適した画素の検出信号を用いて復元画像を生成することができる。
　例えば、図１４の上段に示されるように、４辺のそれぞれの端部から幅ｄ１だけ遮光膜１２１ｂにより遮光されている画素１２１ａと、図１４の下段に示されるように、４辺のそれぞれの端部から幅ｄ２（＞ｄ１）だけ遮光膜１２１ｂにより遮光されている画素１２１ａ’とを考える。
　図１５は、撮像素子１２１の中心位置Ｃ１への被写体面３１からの入射光の入射角度の例を示している。なお、図１５においては、水平方向の入射光の入射角度の例を示しているが、垂直方向についてもほぼ同様となる。また、図１５の右部には、図１４における画素１２１ａ，１２１ａ’が示されている。
　例えば、図１４の画素１２１ａが撮像素子１２１の中心位置Ｃ１に配置されている場合、被写体面３１から画素１２１ａへの入射光の入射角の範囲は、図１５の左部に示されるように角度Ａ１となる。従って、画素１２１ａは、被写体面３１の水平方向の幅Ｗ１分の入射光を受光することができる。
　これに対して、図１４の画素１２１ａ’が撮像素子１２１の中心位置Ｃ１に配置されている場合、画素１２１ａ’は画素１２１ａよりも遮光される範囲が広いため、被写体面３１から画素１２１ａ’への入射光の入射角の範囲は、図１５の左部に示されるように角度Ａ２（＜Ａ１）となる。従って、画素１２１ａ’は、被写体面３１の水平方向の幅Ｗ２（＜Ｗ１）分の入射光を受光することができる。
　つまり、遮光範囲が狭い画素１２１ａは、被写体面３１上の広い範囲を撮像するのに適した広画角画素であるのに対して、遮光範囲が広い画素１２１ａ’は、被写体面３１上の狭い範囲を撮像するのに適した狭画角画素である。尚、ここでいう広画角画素および狭画角画素は、図１４の画素１２１ａ，１２１ａ’の両者を比較する表現であって、その他の画角の画素を比較する上ではこの限りではない。
　従って、例えば、画素１２１ａは、図１４の画像Ｉ１を復元するために用いられる。画像Ｉ１は、図１６の上段の被写体となる人物Ｈ１０１の全体を含み、被写体幅Ｗ１に対応する画角ＳＱ１の画像である。これに対して、例えば、画素１２１ａ’は、図１４の画像Ｉ２を復元するために用いられる。画像Ｉ２は、図１６の上段の人物Ｈ１０１の顔の周辺がズームアップされた被写体幅Ｗ２に対応する画角ＳＱ２の画像である。
　また、例えば、図１６の下段に示されるように、撮像素子１２１の点線で囲まれた範囲ＺＡに、図１４の画素１２１ａを、一点鎖線で囲まれた範囲ＺＢに画素１２１ａ’を、それぞれ所定画素数ずつ集めて配置することが考えられる。そして、例えば、被写体幅Ｗ１に対応する画角ＳＱ１の画像を復元するときには、範囲ＺＡ内の各画素１２１ａの検出信号を用いるようにすることで、適切に画角ＳＱ１の画像を復元することができる。一方、被写体幅Ｗ２に対応する画角ＳＱ２の画像を復元するときには、範囲ＺＢ内の各画素１２１ａ’の検出信号を用いるようにすることで、適切に画角ＳＱ２の画像を復元することができる。
　なお、画角ＳＱ２は、画角ＳＱ１よりも狭いので、画角ＳＱ２と画角ＳＱ１の画像を同一の画素数で復元する場合、画角ＳＱ１の画像よりも、画角ＳＱ２の画像を復元する方が、より高画質な復元画像を得ることができる。
　つまり、同一画素数を用いて復元画像を得ることを考えた場合、より画角の狭い画像を復元する方が、より高画質な復元画像を得ることができる。
　例えば、図１７の右部は、図１６の撮像素子１２１の範囲ＺＡ内の構成例を示している。図１７の左部は、範囲ＺＡ内の画素１２１ａの構成例を示している。
　図１７において、黒色で示された範囲が遮光膜１２１ｂであり、各画素１２１ａの遮光範囲は、例えば、図１７の左部に示される規則に従って決定される。
　図１７の左部の主遮光部Ｚ１０１（図１７の左部の黒色部）は、各画素１２１ａにおいて共通に遮光される範囲である。具体的には、主遮光部Ｚ１０１は、画素１２１ａの左辺及び右辺から画素１２１ａ内に向かって、それぞれ幅ｄｘ１の範囲、並びに、画素１２１ａの上辺及び下辺から画素１２１ａ内に向かって、それぞれ高さｄｙ１の範囲である。そして、各画素１２１ａにおいて、主遮光部Ｚ１０１の内側の範囲Ｚ１０２内に、遮光膜１２１ｂにより遮光されない矩形の開口部Ｚ１１１が設けられる。従って、各画素１２１ａにおいて、開口部Ｚ１１１以外の範囲が、遮光膜１２１ｂにより遮光される。
　ここで、各画素１２１ａの開口部Ｚ１１１は規則的に配置されている。具体的には、各画素１２１ａ内における開口部Ｚ１１１の水平方向の位置は、同じ垂直方向の列の画素１２１ａ内において同一になる。また、各画素１２１ａ内における開口部Ｚ１１１の垂直方向の位置は、同じ水平方向の行の画素１２１ａ内において同一になる。
　一方、各画素１２１ａ内における開口部Ｚ１１１の水平方向の位置は、画素１２１ａの水平方向の位置に応じて所定の間隔でずれている。すなわち、画素１２１ａの位置が右方向に進むに従って、開口部Ｚ１１１の左辺が、画素１２１ａの左辺からそれぞれ幅ｄｘ１、ｄｘ２、・・・、ｄｘｎだけ右方向にずれた位置に移動する。幅ｄｘ１と幅ｄｘ２の間隔、幅ｄｘ２と幅ｄｘ３の間隔、・・・、幅ｄｘｎ－１と幅ｄｘｎの間隔は、それぞれ範囲Ｚ１０２の水平方向の幅から開口部Ｚ１１１の幅を引いた長さを水平方向の画素数ｎ－１で割った値となる。
　また、各画素１２１ａ内における開口部Ｚ１１１の垂直方向の位置は、画素１２１ａの垂直方向の位置に応じて所定の間隔でずれている。すなわち、画素１２１ａの位置が下方向に進むに従って、開口部Ｚ１１１の上辺が、画素１２１ａの上辺からそれぞれ高さｄｙ１、ｄｙ２、・・・、ｄｙｎだけ下方向にずれた位置に移動する。高さｄｙ１と高さｄｙ２の間隔、高さｄｙ２と高さｄｙ３の間隔、・・・、高さｄｙｎ－１と高さｄｙｎの間隔は、それぞれ範囲Ｚ１０２の垂直方向の高さから開口部Ｚ１１１の高さを引いた長さを垂直方向の画素数ｍ－１で割った値となる。
　図１８の右部は、図１６の撮像素子１２１の範囲ＺＢ内の構成例を示している。図１８の左部は、範囲ＺＢ内の画素１２１ａ’の構成例を示している。
　図１８において、黒色で示された範囲が遮光膜１２１ｂ’であり、各画素１２１ａ’の遮光範囲は、例えば、図１８の左部に示される規則に従って決定される。
　図１８の左部の主遮光部Ｚ１５１（図１８に左部の黒色部）は、各画素１２１ａ’において共通に遮光される範囲である。具体的には、主遮光部Ｚ１５１は、画素１２１ａ’の左辺及び右辺から画素１２１ａ’内に向かって、それぞれ幅ｄｘ１’の範囲、並びに、画素１２１ａ’の上辺及び下辺から画素１２１ａ’内に向かって、それぞれ高さｄｙ１’の範囲である。そして、各画素１２１ａ’において、主遮光部Ｚ１５１の内側の範囲Ｚ１５２内に、遮光膜１２１ｂ’により遮光されない矩形の開口部Ｚ１６１が設けられる。従って、各画素１２１ａ’において、開口部Ｚ１６１以外の範囲が、遮光膜１２１ｂ’により遮光される。
　ここで、各画素１２１ａ’の開口部Ｚ１６１は、図１７の各画素１２１ａの開口部Ｚ１１１と同様に、規則的に配置されている。具体的には、各画素１２１ａ’内における開口部Ｚ１６１の水平方向の位置は、同じ垂直方向の列の画素１２１ａ’内において同一になる。また、各画素１２１ａ’内における開口部Ｚ１６１の垂直方向の位置は、同じ水平方向の行の画素１２１ａ’内において同一になる。
　一方、各画素１２１ａ’内における開口部Ｚ１６１の水平方向の位置は、画素１２１ａ’の水平方向の位置に応じて所定の間隔でずれている。すなわち、画素１２１ａ’の位置が右方向に進むに従って、開口部Ｚ１６１の左辺が、画素１２１ａ’の左辺からそれぞれ幅ｄｘ１’、ｄｘ２’、・・・、ｄｘｎ’だけ右方向にずれた位置に移動する。幅ｄｘ１’と幅ｄｘ２’の間隔、幅ｄｘ２’と幅ｄｘ３’の間隔、・・・、幅ｄｘｎ－１’と幅ｄｘｎ’の間隔は、それぞれ範囲Ｚ１５２の水平方向の幅から開口部Ｚ１６１の幅を引いた長さを水平方向の画素数ｎ－１で割った値となる。
　また、各画素１２１ａ’内における開口部Ｚ１６１の垂直方向の位置は、画素１２１ａ’の垂直方向の位置に応じて所定の間隔でずれている。すなわち、画素１２１ａ’の位置が下方向に進むに従って、開口部Ｚ１６１の上辺が、画素１２１ａ’の上辺からそれぞれ高さｄｙ１’，ｄｙ２’、・・・、ｄｙｎ’だけ下方向にずれた位置に移動する。高さｄｙ１’と高さｄｙ２’の間隔、高さｄｙ２’と高さｄｙ３’の間隔、・・・、高さｄｙｎ－１’と高さｄｙｎ’の間隔は、それぞれ範囲Ｚ１５２の垂直方向の高さから開口部Ｚ１６１の高さを引いた長さを垂直方向の画素数ｍ－１で割った値となる。
　ここで、図１７の画素１２１ａの範囲Ｚ１０２の水平方向の幅から開口部Ｚ１１１の幅を引いた長さは、図１８の画素１２１ａ’の範囲Ｚ１５２の水平方向の幅から開口部Ｚ１６１の幅を引いた幅より大きくなる。従って、図１７の幅ｄｘ１、ｄｘ２・・・ｄｘｎの変化の間隔は、図１８の幅ｄｘ１’、ｄｘ２’・・・ｄｘｎ’の変化の間隔より大きくなる。
　また、図１７の画素１２１ａの範囲Ｚ１０２の垂直方向の高さから開口部Ｚ１１１の高さを引いた長さは、図１８の画素１２１ａ’の範囲Ｚ１５２の垂直方向の高さから開口部Ｚ１６１の高さを引いた長さより大きくなる。従って、図１７の高さｄｙ１、ｄｙ２・・・ｄｙｎの変化の間隔は、図１８の高さｄｙ１’、ｄｙ２’・・・ｄｙｎ’の変化の間隔より大きくなる。
　このように、図１７の各画素１２１ａの遮光膜１２１ｂの開口部Ｚ１１１の水平方向および垂直方向の位置の変化の間隔と、図１８の各画素１２１ａ’の遮光膜１２１ｂ’の開口部Ｚ１６１の水平方向および垂直方向の位置の変化の間隔とは異なる。そして、この間隔の違いが、復元画像における被写体分解能（角度分解能）の違いとなる。すなわち、図１８の各画素１２１ａ’の遮光膜１２１ｂ’の開口部Ｚ１６１の水平方向および垂直方向の位置の変化の間隔の方が、図１７の各画素１２１ａの遮光膜１２１ｂの開口部Ｚ１１１の水平方向および垂直方向の位置の変化の間隔より狭くなる。従って、図１８の各画素１２１ａ’の検出信号を用いて復元される復元画像は、図１７の各画素１２１ａの検出信号を用いて復元される復元画像より、被写体分解能が高くなり、高画質となる。
　このように、主遮光部の遮光範囲と開口部の開口範囲との組み合わせを変化させることで、様々な画角の（様々な入射角指向性を持った）画素からなる撮像素子１２１を実現することが可能となる。
　尚、以上においては、画素１２１ａと画素１２１ａ’を範囲ＺＡと範囲ＺＢに分けて配置する例を示したが、これは説明を簡単にするためであり、異なる画角に対応する画素１２１ａが同じ領域内に混在して配置されることが望ましい。
　例えば、図１９に示されるように、点線で示される２画素×２画素からなる４画素を１個の単位Ｕとして、それぞれの単位Ｕが、広画角の画素１２１ａ－Ｗ、中画角の画素１２１ａ－Ｍ、狭画角の画素１２１ａ－Ｎ、極狭画角の画素１２１ａ－ＡＮの４画素から構成されるようにする。
　この場合、例えば、全画素１２１ａの画素数がＸである場合、４種類の画角ごとにＸ／４画素ずつの検出画像を用いて復元画像を復元することが可能となる。この際、画角毎に異なる４種類の係数セット群が使用されて、４種類の異なる連立方程式により、それぞれ異なる画角の復元画像が復元される。
　従って、復元する復元画像の画角の撮像に適した画素から得られる検出画像を用いて復元画像を復元することで、４種類の画角に応じた適切な復元画像を得ることが可能となる。
　また、４種類の画角の中間の画角や、その前後の画角の画像を、４種類の画角の画像から補間生成するようにしてもよく、様々な画角の画像をシームレスに生成することで、疑似的な光学ズームを実現するようにしてもよい。
　尚、例えば、画角の広い画像を復元画像として得る場合、広画角画素を全て用いるようにしてもよいし、広画角画素の一部を用いるようにしてもよい。また、例えば、画角の狭い画像を復元画像として得る場合、狭画角画素を全て用いるようにしてもよいし、狭画角画素の一部を用いるようにしてもよい。
　＜撮像装置１０１による撮像処理＞
　次に、図２０のフローチャートを参照して、図２の撮像装置１０１による撮像処理について説明する。
　ステップＳ１において、撮像素子１２１は、被写体の撮像を行う。これにより、異なる入射角指向性を備える撮像素子１２１の各画素１２１ａから、被写体からの入射光の光量に応じた検出信号レベルを示す検出信号が出力され、撮像素子１２１は、各画素１２１ａの検出信号からなる検出画像を復元部１２２に供給する。
　ステップＳ２において、復元部１２２は、画像の復元に用いる係数を求める。具体的には、復元部１２２は、復元対象となる被写体面３１までの距離、すなわち被写体距離を設定する。なお、被写体距離の設定方法には、任意の方法を採用することができる。例えば、復元部１２２は、入力部１２４を介してユーザにより入力された被写体距離、又は、検出部１２５により検出された被写体距離を、復元対象となる被写体面３１までの距離に設定する。
　次に、復元部１２２は、設定した被写体距離に対応付けられている係数セット群を記憶部１２８から読み出す。
　ステップＳ３において、復元部１２２は、検出画像及び係数を用いて、画像の復元を行う。具体的には、復元部１２２は、検出画像の各画素の検出信号レベルと、ステップＳ２の処理で取得した係数セット群とを用いて、上述した式（１）乃至式（３）、または、式（４）乃至式（６）を参照して説明した連立方程式を作成する。次に、復元部１２２は、作成した連立方程式を解くことにより、設定した被写体距離に対応する被写体面３１上の各点光源の光強度を算出する。そして、復元部１２２は、算出した光強度に応じた画素値を有する画素を被写体面３１の各点光源の配置に従って並べることにより、被写体の像が結像された復元画像を生成する。
　ステップＳ４において、撮像装置１０１は、復元画像に対して各種の処理を行う。例えば、復元部１２２は、必要に応じて、復元画像に対して、デモザイク処理、γ補正、ホワイトバランス調整、所定の圧縮形式への変換処理等を行う。また、復元部１２２は、例えば、必要に応じて、復元画像を表示部１２７に供給し、表示させたり、記録再生部１２９に供給し、記録媒体１３０に記録させたり、通信部１３１を介して、他の機器に出力したりする。
　その後、撮像処理は終了する。
　尚、以上においては、撮像素子１２１と被写体距離に対応付けられた係数セット群を用いて、検出画像から復元画像を復元する例について説明してきたが、例えば、被写体距離に加えて、上述したように、復元画像の画角に対応する係数セット群をさらに用意して、被写体距離および画角に応じた係数セット群を用いて、復元画像を復元するようにしても良い。尚、被写体距離および画角に対する分解能は、用意される係数セット群の数によるものとなる。
　また、図２０のフローチャートを用いた処理の説明においては、検出画像に含まれる全ての画素の検出信号を用いる例について説明してきたが、撮像素子１２１を構成する画素のうち、特定された被写体距離および画角に対応する入射角指向性を備えた画素の検出信号からなる検出画像を生成し、これを用いて復元画像を復元するようにしても良い。このような処理により、求めようとする復元画像の被写体距離や画角に適した検出画像で復元画像を復元することが可能となり、復元画像の復元精度や画質が向上する。すなわち、特定された被写体距離および画角に対応する画像が、例えば、図１６における画角ＳＱ１に対応する画像である場合、画角ＳＱ１に対応する入射角指向性を備えた画素１２１ａを選択し、これらから得られる検出画像で復元画像を復元することにより、画角ＳＱ１の画像を高い精度で復元することが可能となる。
　以上の処理により、各画素に入射角指向性を持たせるようにした撮像素子１２１を必須構成とした撮像装置１０１を実現することが可能となる。
　結果として、撮像レンズ、ピンホール、及び、上述した特許文献等に記載の光学フィルタが不要となるため、装置の設計の自由度を高めることが可能になると共に、撮像素子１２１と別体で構成され、撮像装置として構成する段階で撮像素子１２１と合わせて搭載されることが想定される光学素子が不要となるため、入射光の入射方向に対する装置の小型化を実現することが可能となり、製造コストを低減することが可能となる。また、フォーカスレンズなどのような、光学像を結像させるための撮像レンズに相当するレンズが不要となる。ただし、倍率を変化させるズームレンズは設けられていてもよい。
　なお、以上においては、検出画像の撮像を行った後、すぐに所定の被写体距離に対応する復元画像を復元する処理について説明したが、例えば、すぐに復元処理を行わずに、検出画像を記録媒体１３０に記録したり、通信部１３１を介して、他の機器に出力したりした後、所望のタイミングで検出画像を用いて、復元画像を復元するようにしてもよい。この場合、復元画像の復元は、撮像装置１０１で行ってもよいし、他の装置で行ってもよい。この場合、例えば、任意の被写体距離や画角に応じた係数セット群を用いて作成した連立方程式を解いて復元画像を求めることで、任意の被写体距離や画角の被写体面に対する復元画像を得ることができ、リフォーカス等を実現することができる。
　例えば、撮像レンズと従来の撮像素子からなる撮像装置を用いた場合、様々な焦点距離や画角の画像を得るためには、焦点距離や画角を様々に変化させながら、撮像しておく必要がある。一方、撮像装置１０１においては、このように係数セット群を切り替えて任意の被写体距離や画角の復元画像を復元させることができるので、焦点距離（すなわち、被写体距離）や画角を様々に変化させながら繰り返し撮像するといった処理が不要になる。
　この場合、例えば、ユーザは、異なる被写体距離や画角に対応する係数セット群を切り替えながら、復元された復元画像をそれぞれ表示部１２７に表示させながら、所望の被写体距離や画角の復元画像を得ることも可能である。
　なお、検出画像を記録する場合、復元時の被写体距離や画角が決まっているとき、復元に用いるメタデータを検出画像と関連付けるようにしてもよい。例えば、検出画像を含む画像データにメタデータを付与したり、検出画像とメタデータに同じＩＤを付与したり、検出画像とメタデータを同じ記録媒体１３０に記録させたりすることにより、検出画像とメタデータが関連付けられる。
　なお、検出画像とメタデータに同じＩＤが付与された場合は、検出画像とメタデータを異なる記録媒体に記録したり、個別に撮像装置１０１から出力したりすることが可能である。
　また、メタデータには、復元に用いる係数セット群を含んでいてもよいし、含んでいなくてもよい。後者の場合、例えば、復元時の被写体距離や画角がメタデータに含まれ、復元時に、その被写体距離や画角に対応する係数セット群が記憶部１２８等から取得される。
　さらに、撮像時にすぐに復元画像の復元を行う場合、例えば、記録したり外部に出力したりする画像を、検出画像及び復元画像の中から選択することが可能である。例えば、両方の画像を記録又は外部に出力してもよいし、一方の画像のみを記録又は外部に出力してもよい。
　また、動画を撮像する場合も同様に、撮像時の復元画像の復元の有無や、記録又は外部に出力する画像の選択が可能である。例えば、動画の撮像を行いながら、各フレームの復元画像をすぐに復元するとともに、復元画像及び復元前の検出画像の両方又は一方を記録したり、外部に出力したりすることが可能である。この場合、撮像時に各フレームの復元画像をスルー画として表示させることも可能である。或いは、例えば、撮像時には復元処理を行わずに、各フレームの検出画像を記録したり、外部に出力したりすることが可能である。
　さらに、動画の撮像時には、例えば、復元画像の復元の有無や、記録又は外部に出力する画像の選択をフレーム毎に行うことができる。例えば、フレーム毎に復元画像の復元の有無を切り替えることが可能である。また、例えば、フレーム毎に、検出画像の記録の有無、及び、復元画像の記録の有無を個別に切り替えることが可能である。また、例えば、後で使用する可能性のある有用なフレームの検出画像にメタデータを付与しながら、全てのフレームの検出画像を記録するようにしてもよい。
　また、撮像レンズを用いる撮像装置のように、オートフォーカス機能を実現することも可能である。例えば、復元画像に基づいてコントラストＡＦ（Auto Focus）方式と同様の山登り方式で最適な被写体距離を決定することで、オートフォーカス機能を実現することができる。
　さらに、上述した特許文献等に記載の光学フィルタと従来の撮像素子とからなる撮像装置などと比較して、画素単位で入射角指向性を持った撮像素子１２１により撮像される検出画像を用いて復元画像を生成することができるので、多画素化を実現したり、高解像度かつ高角度分解能の復元画像を得たりすることが可能となる。一方、光学フィルタと従来の撮像素子とからなる撮像装置では、画素を微細化しても、光学フィルタの微細化が難しいため、復元画像の高解像度化等の実現が難しい。
　また、本開示の撮像装置１０１は、撮像素子１２１が必須構成であり、例えば、上述した特許文献等に記載の光学フィルタ等を必要としないので、使用環境が高温になって、光学フィルタが熱で歪むといったことがなく、環境耐性の高い撮像装置を実現することが可能となる。
　さらに、本開示の撮像装置１０１においては、撮像レンズ、ピンホール、及び、上述した特許文献等に記載の光学フィルタを必要としないので、撮像する機能を備えた構成の設計の自由度を向上させることが可能となる。
　＜処理負荷の低減方法＞
　ところで、撮像素子１２１の各画素１２１ａの遮光膜１２１ｂの遮光範囲（すなわち、入射角指向性）にランダム性を持たせている場合、遮光範囲の違いの乱雑さが大きいほど、復元部１２２による処理の負荷は大きなものとなる。そこで、各画素１２１ａの遮光膜１２１ｂの遮光範囲の変化の一部を規則的なものとして、乱雑さを低減させることで、処理負荷を低減させるようにしてもよい。
　例えば、縦帯タイプと横帯タイプとを組み合わせたＬ字タイプの遮光膜１２１ｂを構成するようにして、所定の列方向に対しては、同一幅の横帯タイプの遮光膜１２１ｂを組み合わせ、所定の行方向に対しては、同一の高さの縦帯タイプの遮光膜１２１ｂを組み合わせる。これにより、各画素１２１ａの遮光膜１２１ｂの遮光範囲が、列方向および行方向で規則性を持ちつつ、画素単位ではランダムに変化するようになる。その結果、各画素１２１ａの遮光膜１２１ｂの遮光範囲の違い、すなわち入射角指向性の違いの乱雑さを低減させ、復元部１２２の処理負荷を低減させることができる。
　具体的には、例えば、図２１の撮像素子１２１’’に示されるように、範囲Ｚ１３０で示される同一列の画素については、いずれも同一の幅Ｘ０の横帯タイプの遮光膜１２１ｂが用いられ、範囲Ｚ１５０で示される同一行の画素については、同一の高さＹ０の縦帯タイプの遮光膜１２１ｂが用いられる。その結果、各行と列で特定される画素１２１ａについては、これらが組み合わされたＬ字タイプの遮光膜１２１ｂが用いられる。
　同様に、範囲Ｚ１３０に隣接する範囲Ｚ１３１で示される同一列の画素については、いずれも同一の幅Ｘ１の横帯タイプの遮光膜１２１ｂが用いられ、範囲Ｚ１５０に隣接する範囲Ｚ１５１で示される同一行の画素については、同一の高さＹ１の縦帯タイプの遮光膜１２１ｂが用いられる。その結果、各行と列で特定される画素１２１ａについては、これらが組み合わされたＬ字タイプの遮光膜１２１ｂが用いられる。
　さらに、範囲Ｚ１３１に隣接する範囲Ｚ１３２で示される同一列の画素については、いずれも同一の幅Ｘ２の横帯タイプの遮光膜１２１ｂが用いられ、範囲Ｚ１５１に隣接する範囲Ｚ１５２で示される同一行の画素については、同一の高さＹ２の縦帯タイプの遮光膜１２１ｂが用いられる。その結果、各行と列で特定される画素１２１ａについては、これらが組み合わされたＬ字タイプの遮光膜１２１ｂが用いられる。
　このようにすることで、遮光膜１２１ｂの水平方向の幅および位置、並びに、垂直方向の高さおよび位置に規則性を持たせつつ、画素単位で遮光膜の範囲を異なる値に設定することができるので、入射角指向性の変化の乱雑さを抑え込むことができる。結果として、係数セットのパターンを低減させることが可能となり、復元部１２２における演算処理の処理負荷を低減させることが可能となる。
　より詳細には、図２２の右上部に示されるように、Ｎ画素×Ｎ画素の検出画像ＰｉｃからＮ×Ｎ画素の復元画像を求める場合、（Ｎ×Ｎ）行×１列の復元画像の各画素の画素値を要素とするベクトルＸ、（Ｎ×Ｎ）行×１列の検出画像の各画素の画素値を要素とするベクトルＹ、および、係数セット群からなる（Ｎ×Ｎ）行×（Ｎ×Ｎ）列の行列Ａにより、図２２の左部に示されるような関係が成立する。
　すなわち、図２２においては、係数セット群からなる（Ｎ×Ｎ）行×（Ｎ×Ｎ）列の行列Ａの各要素と、復元画像を表す（Ｎ×Ｎ）行×１列のベクトルＸとを乗算した結果が、検出画像を表す（Ｎ×Ｎ）行×１列のベクトルＹとなることが示されている。そして、この関係から、例えば、上述した式（１）乃至式（３）または式（４）乃至式（６）に対応する連立方程式が構成される。
　尚、図２２においては、行列Ａの範囲Ｚ２０１で示される１列目の各要素が、ベクトルＸの１行目の要素に対応しており、行列Ａの範囲Ｚ２０２で示されるＮ×Ｎ列目の各要素が、ベクトルＸのＮ×Ｎ行目の要素に対応していることを示している。
　なお、ピンホールを用いた場合、及び、撮像レンズ等の同じ方向から入射した入射光を互いに隣接する画素出力単位の双方へ入射させるための集光機能を用いた場合、各画素の位置と光の入射角度の関係が一意に定まるので、行列Ａは、右下がりの対角成分が全て１となる対角行列となる。逆に、図２の撮像装置１０１のようにピンホールおよび撮像レンズのいずれも用いない場合、各画素の位置と光の入射角度の関係は一意に定まらないので、行列Ａは対角行列にならない。
　換言すれば、図２２に示される行列式に基づいた連立方程式を解いて、ベクトルＸの各要素を求めることにより復元画像が求められる。
　ところで、一般的に、図２２の行列式は、両辺に行列Ａの逆行列Ａ－１を左から乗じることにより、図２３に示されるように変形され、検出画像のベクトルＹに逆行列Ａ－１を左から乗じることで、検出画像であるベクトルＸの各要素が求められる。
　しかしながら、現実には、行列Ａを正確に求められなかったり、行列Ａを正確に測定できなかったり、行列Ａの基底ベクトルが線形従属に近いケースで解けなかったり、および、検出画像の各要素にノイズが含まれたりする。そして、それらの理由のいずれか、または、それらの組み合わせで、連立方程式を解くことができないことがある。
　そこで、例えば、様々な誤差に対してロバストな構成を考え、正則化最小二乗法の概念を用いた次式（７）が用いられる。
Figure JPOXMLDOC01-appb-M000001
 　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（７）
　ここで、式（７）のｘの上部に「＾」が付されたものはベクトルＸを、Ａは行列Ａを、ＹはベクトルＹを、γはパラメータを、||Ａ||はL2ノルム（二乗和平方根）を表している。ここで、右辺の第一項は、図２２の両辺を最小にするときのノルムであり、右辺の第二項は正則化項である。
　この式（７）をｘについて解くと、以下の式（８）となる。
Figure JPOXMLDOC01-appb-M000002
 　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（８）
　ここで、Ａｔは行列Ａの転置行列であり、Ｉは単位行列である。
　しかしながら、行列Ａは、膨大なサイズであるので、計算量や必要なメモリ量が大きくなる。
　そこで、例えば、図２４に示されるように、行列Ａを、Ｎ行×Ｎ列の行列ＡＬと、Ｎ行×Ｎ列の行列ＡＲＴとに分解し、それぞれ復元画像を表すＮ行×Ｎ列の行列Ｘの前段と後段とから掛けた結果が、検出画像を表すＮ行×Ｎ列の行列Ｙとなるようにする。これにより、要素数（Ｎ×Ｎ）×（Ｎ×Ｎ）の行列Ａに対して、要素数が（Ｎ×Ｎ）の行列ＡＬ、ＡＲＴとなり、各行列の要素数が１／（Ｎ×Ｎ）になる。結果として、計算量や必要なメモリ量を低減させることができる。
　図２４に示される行列式は、例えば、式（８）のカッコ内の行列を行列ＡＬとし、行列Ａの転置行列の逆行列を行列ＡＲＴとすることで実現される。
　図２４に示されるような計算では、図２５に示されるように、行列Ｘにおける注目要素Ｘｐに対して、行列ＡＬの対応する列の各要素群Ｚ２２１を乗算することで、要素群Ｚ２２２が求められる。さらに、要素群Ｚ２２２と行列ＡＲＴの注目要素Ｘｐに対応する行の要素とを乗算することで、注目要素Ｘｐに対応する２次元応答Ｚ２２４が求められる。そして、行列Ｘの全要素に対応する２次元応答Ｚ２２４が積算されることで行列Ｙが求められる。
　そこで、例えば、行列ＡＬの各列の要素群Ｚ２２１には、図２１に示される撮像素子１２１の列毎に同一の幅に設定される横帯タイプの画素１２１ａの入射角指向性に対応する係数が用いられる。
　同様に、例えば、行列ＡＲＴの各行の要素群Ｚ２２３には、図２１に示される撮像素子１２１の行毎に同一の高さに設定される縦帯タイプの画素１２１ａの入射角指向性に対応する係数が用いられる。
　この結果、検出画像に基づいて、復元画像を復元する際に使用する行列を小さくすることが可能となるので、計算量が低減し、処理速度を向上させ、計算に係る電力消費を低減させることが可能となる。また、行列を小さくできるので、計算に使用するメモリの容量を低減させることが可能となり、装置コストを低減させることが可能となる。
　尚、図２１には、水平方向、および垂直方向に所定の規則性を持たせつつ、画素単位で遮光範囲（受光範囲）を変化させる例が示されているが、本開示においては、このように画素単位で遮光範囲（受光範囲）が、完全にランダムに設定されてはいないものの、ある程度ランダムに設定されるものについても、ランダムに設定されるものとみなす。換言すれば、本開示においては、画素単位で遮光範囲（受光範囲）が完全にランダムに設定される場合のみならず、ある程度ランダムなもの（例えば、全画素のうち、一部については規則性を持たせた範囲を含むが、その他の範囲はランダムである場合）、または、ある程度規則性がなさそうなもの（全画素のうち、図２１を参照して説明したような規則に従って配置されていることが確認できない配置の場合）についてもランダムであるものとみなす。
　＜＜３．第１の実施の形態＞＞
　次に、図２６乃至図３６を参照して、本開示の第１の実施の形態について説明する。
　上述したように、入射角指向性を有する画素を用いた撮像素子１２１においては、撮像レンズ、ピンホール、及び、上述した特許文献等に記載の光学フィルタを必要としないため、各画素１２１ａの配置の自由度が高い。
　そこで、この第１の実施の形態では、入射角指向性を有する撮像素子を備える複数の撮像装置により被写体の撮像を行い、各撮像装置により得られる検出信号を用いて復元画像の復元を行うようにする。
　＜撮像システム３０１の構成例＞
　図２６は、本開示の第１の実施の形態に係る撮像システム３０１の構成例を示すブロック図である。
　撮像システム３０１は、撮像部３１１及び信号処理部３１２を備える。
　撮像部３１１は、１以上のｎ台の撮像装置３２１－１乃至撮像装置３２１－ｎを備える。なお、以下、撮像装置３２１－１乃至撮像装置３２１－ｎを個々に区別する必要がない場合、単に撮像装置３２１と称する。
　各撮像装置３２１は、上述した入射角指向性を有する撮像素子１２１をそれぞれ１以上備える。各撮像装置３２１は、例えば、図２７に示されるように、空間内に離散的に配置することが可能である。すなわち、各撮像装置３２１は、必ずしも空間内に整列して配置する必要はなく、間隔を空けて無造作に配置することが可能である。
　各撮像装置３２１は、例えば、ＲＦＩＤ（Radio Frequency IDentifier）等の技術を用いて、信号処理部３１２のリーダライタ３３１と近距離無線通信を行い、各撮像素子１２１により得られる１以上の検出信号を含む検出信号セットを、リーダライタ３３１に送信する。また、各撮像装置３２１は、リーダライタ３３１から送信される電磁波を電力に変換し、変換した電力により駆動される。換言すれば、各撮像装置３２１は、リーダライタ３３１から送信される電磁波による起電力により駆動される。
　信号処理部３１２は、各撮像装置３２１による撮像を制御することにより、各撮像装置３２１から検出信号セットを取得し、取得した検出信号セットを用いて、復元画像の復元処理等を行う。信号処理部３１２は、リーダライタ３３１、及び、信号処理装置３３２を備える。
　リーダライタ３３１は、上述したように、例えば、ＲＦＩＤ等の技術を用いて、各撮像装置３２１と近距離無線通信を行うとともに、各撮像装置３２１に電力を供給する。
　信号処理装置３３２は、図２７に示されるように、リーダライタ３３１を介して各撮像装置３２１から受信した検出信号セットに基づいて、復元画像の復元処理等を行う。
　なお、以下では、撮像装置３２１の実施の形態に応じて、撮像装置３２１Ａ、撮像装置３２１Ｂのように符号の末尾に異なるアルファベットを付与するが、特にそれらを区別する必要がない場合、単に撮像装置３２１と称する。
　＜撮像装置３２１Ａの構成例＞
　図２８は、図２６の撮像装置３２１の第１の実施の形態である撮像装置３２１Ａの構成例を示すブロック図である。なお、図中、図２の撮像装置１０１と対応する部分には同じ符号を付してあり、その説明は適宜省略する。
　撮像装置３２１Ａは、撮像素子１２１、制御部４１１、関連付け部４１２、記憶部４１３、及び、通信部４１４を備える。また、制御部４１１、関連付け部４１２、記憶部４１３、及び、通信部４１４により、信号処理制御部４０１Ａが構成される。なお、撮像装置３２１Ａは、撮像レンズを含まない。
　また、撮像素子１２１、制御部４１１、関連付け部４１２、記憶部４１３、及び、通信部４１４は、バスＢ２を介して相互に接続されており、バスＢ２を介してデータの送受信等を行う。なお、以下、説明を簡単にするために、撮像装置３２１Ａの各部がバスＢ２を介してデータの送受信等を行う場合のバスＢ２の記載を省略する。
　撮像素子１２１は、各画素１２１ａから出力される１以上の検出信号からなる検出信号セットをバスＢ２に出力する。
　制御部４１１は、例えば、各種のプロセッサを備え、撮像装置３２１Ａの各部を制御する。
　関連付け部４１２は、信号処理装置３３２の関連付け部５０４（図３３）と協調して、或いは、単独で、撮像素子１２１により得られる検出信号セットと、検出信号セットに対応するメタデータとの関連付けを行う。
　記憶部４１３は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の記憶装置を１つ以上備え、例えば、撮像装置３２１Ａの処理に用いられるプログラムやデータ等を記憶する。記憶部４１３は、例えば、撮像装置３２１Ａを一意に識別するためのＩＤを記憶している。
　通信部４１４は、リーダライタ３３１と近距離無線通信を行うとともに、リーダライタ３３１から電磁波により送信される電力を受信する。通信部４１４は、送受信部４２１及びアンテナ４２２を備える。
　送受信部４２１は、リーダライタ３３１に対応した近距離無線通信方式により、アンテナ４２２を介して、リーダライタ３３１とデータの送受信を行う。
　アンテナ４２２は、リーダライタ３３１のアンテナ（不図示）との間の電磁波の送受信を行う。また、アンテナ４２２によりリーダライタ３３１から受信した電磁波が電力に変換され、その電力により撮像装置３２１Ａが駆動される。
　図２９は、撮像装置３２１Ａの外観の構成例を模式的に示している。図２９の上段には、撮像装置３２１Ａの表面の構成例が模式的に示され、下段には、撮像装置３２１Ａの裏面の構成例が模式的に示されている。
　撮像装置３２１Ａにおいては、中央の縦長の矩形の本体部４３１の左右に矩形のアンテナ４２２が設けられている。本体部４３１には、撮像素子１２１、制御部４１１、関連付け部４１２、記憶部４１３、及び、送受信部４２１が内蔵されている。また、本体部４３１の表面のほぼ中央には、撮像素子１２１の受光面１２１Ａが配置されている。
　図３０乃至図３２は、各撮像装置３２１Ａの撮像素子１２１の画素アレイ部のパターンの例を示している。なお、図３０乃至図３２の黒色の部分は、遮光膜１２１ｂによる遮光範囲を示している。
　図３０は、各撮像装置３２１Ａの撮像素子１２１が１つの画素１２１ａを備える場合の例を示している。
　パターンＰｔ１乃至パターンＰｔ４においては、それぞれ白色、赤色、緑色、又は、青色の異なる色のカラーフィルタ１２１ｄが設けられるとともに、右半分が遮光されている。尚、白色の場合、カラーフィルタ１２１ｄは、透明のフィルタでもよいし、無くてもよい。従って、パターンＰｔ１乃至パターンＰｔ４の４つの撮像装置３２１Ａを用いることにより、入射角指向性が同じで色（検出波長）が異なる検出信号を取得することができる。そして、例えば、各色の遮光範囲が異なる撮像装置３２１Ａを複数用いることにより、各色について、入射角指向性の異なる複数の検出信号が取得されるようになる。
　図３１は、各撮像装置３２１Ａの撮像素子１２１が３つの画素１２１ａを備える場合の例を示している。
　パターンＰｔ１１においては、各画素１２１ａが水平方向に並べられるとともに、各画素１２１ａに、それぞれ赤色、緑色、又は、青色の異なる色のカラーフィルタ１２１ｄが設けられている。また、各画素１２１ａの右半分が遮光されている。従って、パターンＰｔ１１の撮像装置３２１Ａを用いることにより、入射角指向性が同じで色（検出波長）が異なる検出信号を一度に取得することができる。そして、例えば、パターンＰｔ１１と同じ色配列であって、遮光範囲が異なる撮像装置３２１Ａを複数用いることにより、各色について、入射角指向性の異なる複数の検出信号が取得されるようになる。
　パターンＰｔ１２においては、パターンＰｔ１１と同様に、画素１２１ａが水平方向に並べられるとともに、各画素１２１ａに、それぞれ赤色、緑色、又は、青色の異なる色のカラーフィルタ１２１ｄが設けられている。また、赤色の画素１２１ａ及び青色の画素１２１ａにおいては、右半分が遮光され、緑色の画素１２１ａにおいては、左半分が遮光されている。従って、パターンＰｔ１２の撮像装置３２１Ａを用いることにより、入射角指向性及び色（検出波長）が異なる検出信号を一度に取得することができる。そして、例えば、パターンＰｔ１２と同じ色配列であって、遮光範囲が異なる撮像装置３２１Ａを複数用いることにより、各色について、入射角指向性の異なる複数の検出信号が取得されるようになる。
　図３２は、各撮像装置３２１Ａの撮像素子１２１が４つの画素１２１ａを備える例を示している。
　パターンＰｔ２１においては、各画素１２１ａが水平方向に並べられるとともに、各画素１２１ａに、それぞれ赤色、緑色、青色、又は、白色の異なる色のカラーフィルタ１２１ｄが設けられている。尚、白色の場合、カラーフィルタ１２１ｄは、透明のフィルタでもよいし、無くてもよい。また、各画素１２１ａの右半分が遮光されている。従って、パターンＰｔ２１の撮像装置３２１Ａを用いることにより、入射角指向性が同じで色（検出波長）が異なる検出信号を一度に取得することができる。そして、例えば、パターンＰｔ２１と同じ色配列であって、遮光範囲が異なる撮像装置３２１Ａを複数用いることにより、各色について、入射角指向性の異なる複数の検出信号が取得されるようになる。
　パターンＰｔ２２においては、各画素１２１ａが２行×２列に並べられるとともに、各画素１２１ａに、それぞれ赤色、緑色、青色、又は、白色の異なる色のカラーフィルタ１２１ｄが設けられている。尚、白色の場合、カラーフィルタ１２１ｄは、透明のフィルタでもよいし、無くてもよい。また、各画素１２１ａの右半分が遮光されている。従って、パターンＰｔ２２の撮像装置３２１Ａを用いることにより、入射角指向性が同じで色（検出波長）が異なる検出信号を一度に取得することができる。そして、例えば、パターンＰｔ２２と同じ色配列であって、遮光範囲が異なる撮像装置３２１Ａを複数用いることにより、各色について、入射角指向性の異なる複数の検出信号が取得されるようになる。
　パターンＰｔ２３においては、各画素１２１ａが２行×２列に並べられるとともに、各画素１２１ａの色配列がベイヤ配列に従っている。また、各画素１２１ａの遮光範囲がそれぞれ異なっている。従って、パターンＰｔ２３の撮像装置３２１Ａを用いることにより、入射角指向性及び色（検出波長）が異なる検出信号を一度に取得することができる。そして、例えば、パターンＰｔ２３と同じ色配列であって、遮光範囲が異なる撮像装置３２１Ａを複数用いることにより、各色について、入射角指向性の異なる複数の検出信号が取得されるようになる。
　パターンＰｔ２４においては、各画素１２１ａが２行×２列に並べられるとともに、各画素１２１ａに同じ色（この例では、白色）のカラーフィルタ１２１ｄが設けられている。尚、白色の場合、カラーフィルタ１２１ｄは、透明のフィルタでもよいし、無くてもよい。また、各画素１２１ａの遮光範囲がそれぞれ異なっている。従って、パターンＰｔ２３の撮像装置３２１Ａを用いることにより、入射角指向性が異なり色（検出波長）が同じ検出信号を一度に取得することができる。
　＜信号処理装置３３２の構成例＞
　図３３は、図２６の信号処理装置３３２の構成例を示すブロック図である。信号処理装置３３２は、復元部５０１、制御部５０２、入力部５０３、関連付け部５０４、表示部５０５、記憶部５０６、記録再生部５０７、記録媒体５０８、及び、通信部５０９を備える。
　復元部５０１、制御部５０２、入力部５０３、表示部５０５、記憶部５０６、記録再生部５０７、及び、通信部５０９は、バスＢ３を介して相互に接続されており、バスＢ３を介してデータの送受信等を行う。なお、以下、説明を簡単にするために、信号処理装置３３２の各部がバスＢ３を介してデータの送受信等を行う場合のバスＢ３の記載を省略する。
　復元部５０１は、リーダライタ３３１を介して、各撮像装置３２１から受信した検出信号セットを用いて、図２の撮像装置１０１の復元部１２２と同様の処理により、復元画像の復元処理等を行う。復元部５０１は、復元画像をバスＢ３に出力する。
　制御部５０２は、例えば、各種のプロセッサを備え、信号処理装置３３２の各部を制御する。
　入力部５０３は、信号処理装置３３２の操作や、処理に用いるデータの入力等を行うための入力デバイス（例えば、キー、スイッチ、ボタン、ダイヤル、タッチパネル、リモートコントローラ等）を備える。入力部５０３は、操作信号や入力されたデータ等をバスＢ３に出力する。
　関連付け部５０４は、撮像装置３２１Ａの関連付け部４１２と協調して、又は、単独で、各撮像装置３２１Ａから取得した検出信号セットと、各検出信号セットに対応するメタデータとの関連付けを行う。
　表示部５０５は、例えば、ディスプレイにより構成され、各種の情報（例えば、復元画像等）の表示を行う。なお、表示部５０５が、スピーカ等の音声出力部を備え、音声の出力を行うようにすることも可能である。
　記憶部５０６は、ＲＯＭ、ＲＡＭ、フラッシュメモリ等の記憶装置を１つ以上備え、例えば、信号処理装置３３２の処理に用いられるプログラムやデータを記憶する。例えば、記憶部５０６は、各撮像装置３２１Ａの位置（例えば、緯度及び経度等）、並びに、姿勢（例えば、向き及び傾き等）等を含む設置情報を記憶している。また、記憶部５０６は、例えば、現在の各撮像装置３２１Ａの設置状態における各撮像装置３２１Ａの撮像素子１２１に対応する係数セット群を記憶している。この係数セット群は、例えば、想定される被写体距離及び画角毎に用意される。
　記録再生部５０７は、記録媒体５０８へのデータの記録、及び、記録媒体５０８に記録されているデータの再生（読み出し）を行う。例えば、記録再生部５０７は、復元画像を記録媒体５０８に記録したり、記録媒体５０８から読み出したりする。また、例えば、記録再生部５０７は、検出信号セット及び対応するメタデータを、記録媒体５０８に記録したり、記録媒体５０８から読み出したりする。
　記録媒体５０８は、例えば、ＨＤＤ、ＳＳＤ、磁気ディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等のいずれか、又は、それらの組合せなどからなる。
　通信部５０９は、所定の通信方式により、他の機器（例えば、リーダライタ３３１や他の信号処理装置等）と通信を行う。なお、通信部５０９の通信方式は、有線又は無線のいずれであってもよい。また、通信部５０９が複数の通信方式に対応することも可能である。
　＜撮像システム３０１の処理＞
　次に、図３４乃至図３６を参照して、撮像システム３０１の処理について説明する。
　＜信号処理部３１２の処理＞
　まず、図３４のフローチャートを参照して、信号処理部３１２の処理について説明する。
　ステップＳ１０１において、信号処理部３１２は、撮像コマンドを送信する。
　具体的には、信号処理装置３３２の制御部５０２は、撮像コマンドを生成し、生成した撮像コマンドを符号化する。制御部５０２は、符号化した撮像コマンドを、通信部５０９を介してリーダライタ３３１に供給する。
　リーダライタ３３１は、電磁波からなる搬送波の送信を開始するともに、符号化された撮像コマンドにより搬送波を変調することにより、各撮像装置３２１に撮像コマンドを送信する。
　各撮像装置３２１は、後述する図３６のステップＳ１５１において、撮像コマンドを受信し、ステップＳ１５３において、撮像データを送信する。
　ステップＳ１０２において、信号処理部３１２は、各撮像装置３２１Ａから撮像データを受信する。
　具体的には、リーダライタ３３１は、送信した電磁波の反射波からなる搬送波を変調することにより各撮像装置３２１から送信されてくる撮像データを受信する。
　撮像データは、例えば、図３５に示されるパケットを用いて送信される。各パケットは、開始符号、ＩＤ、検出信号、及び、終了符号を含む。
　開始符号には、パケットの先頭を示す所定の符号が設定される。
　ＩＤは、パケットに含まれる検出信号を出力した撮像装置３２１Ａ及び画素１２１ａを識別するためのＩＤであり、例えば、各撮像装置３２１Ａを識別するためのＩＤと、撮像素子１２１内の各画素１２１ａを識別するためのＩＤとを組み合わせたＩＤとなる。これにより、パケットに含まれる検出信号を出力した撮像装置３２１Ａ及び画素１２１ａが特定される。
　検出信号には、送信対象となる検出信号の値（すなわち、検出信号レベル）が設定される。
　終了符号には、パケットの末尾を示す所定の符号が設定される。
　なお、例えば、ＩＤ及び検出信号は、必要に応じて符号化される。
　例えば、１つの検出信号につき１つのパケットが生成され、各検出信号が異なるパケットにより送信される。従って、各撮像装置３２１Ａから、少なくとも検出信号の数分のパケットが送信される。そして、１以上のパケットにより、各撮像装置３２１Ａの撮像素子１２１から出力される１以上の検出信号を含む検出信号セット、及び、検出信号セットに対応するメタデータ（例えば、ＩＤ等）が送信される。
　なお、例えば、１つのパケットにＩＤと検出信号の組み合わせを複数含めることにより、複数の検出信号を一度に送信するようにしてもよい。この場合、例えば、１つのパケットに全ての検出信号を含めて送信するのであれば、検出信号の並び順を固定することにより、各画素１２１ａのＩＤの送信を省略し、１つのパケット内に１つだけ撮像装置３２１ＡのＩＤを含めるようにすることも可能である。
　リーダライタ３３１は、各撮像装置３２１Ａから受信した撮像データの各パケットを復調し、信号処理装置３３２に供給する。信号処理装置３３２の復元部５０１は、通信部５０９を介して、復調された各パケットを取得し、各パケットに含まれるＩＤ及び検出信号を復号する。
　また、リーダライタ３３１は、所定の時間が経過した後、電磁波からなる搬送波の送信を停止する。
　ステップＳ１０３において、復元部５０１は、画像の復元に用いる係数を求める。具体的には、復元部５０１は、図２０のステップＳ２の撮像装置１０１の復元部１２２による処理と同様の処理により、被写体距離を設定する。そして、復元部１２２は、設定した被写体距離に対応付けられている係数セット群を記憶部５０６から読み出す。
　ステップＳ１０４において、復元部５０１は、検出信号セット及び係数を用いて、画像の復元を行う。すなわち、復元部５０１は、図２０のステップＳ３の撮像装置１０１の復元部１２２による処理と同様の処理により、各撮像装置３２１Ａから受信した撮像データに含まれる検出信号セット、及び、ステップＳ１０３の処理で求めた係数セット群を用いて、復元画像を復元する。
　ステップＳ１０５において、信号処理装置３３２は、復元画像に対して各種の処理を行う。例えば、復元部５０１は、必要に応じて、復元画像に対して、デモザイク処理、γ補正、ホワイトバランス調整、所定の圧縮形式への変換処理等を行う。また、復元部５０１は、例えば、必要に応じて、復元画像を表示部５０５に供給し、表示させたり、記録再生部５０７に供給し、記録媒体５０８に記録させたり、通信部５０９を介して、他の機器に出力したりする。
　その後、信号処理部３１２の処理は終了する。
　次に、図３６のフローチャートを参照して、図３４の信号処理部３１２の処理に対応して、各撮像装置３２１Ａにより実行される処理について説明する。
　ステップＳ１５１において、撮像装置３２１Ａは、撮像コマンドを受信する。具体的には、撮像装置３２１Ａのアンテナ４２２は、図３４のステップＳ１０１において、リーダライタ３３１から送信が開始される電磁波を受信し、受信した電磁波を電力に変換し、撮像装置３２１Ａの各部に供給する。これにより、撮像装置３２１Ａの各部が起動する。
　次に、送受信部４２１は、アンテナ４２２を介してリーダライタ３３１から受信した電磁波を復調し、その結果得られた符号化データを制御部４１１に供給する。
　制御部４１１は、符号化データを復号することにより、撮像コマンドを取得する。
　ステップＳ１５２において、撮像素子１２１は、図２０のステップＳ１の処理と同様に、被写体の撮像を行う。撮像素子１２１は、各画素１２１ａの検出信号からなる検出信号セットを関連付け部４１２に供給する。
　ステップＳ１５３において、撮像装置３２１Ａは、撮像データを送信する。
　具体的には、関連付け部４１２は、検出信号セットに含まれる検出信号毎に、図３５を参照して上述したパケットを生成する。これにより、各検出信号にＩＤが付与される。関連付け部４１２は、生成した各パケットを送受信部４２１に供給する。
　送受信部４２１は、例えば、アンテナ４２２を介して、リーダライタ３３１から受信した電磁波の反射波からなる搬送波を各パケットのデータにより変調することにより、リーダライタ３３１にパケット単位で撮像データを送信する。
　その後、リーダライタ３３１が電磁波の送信を停止することにより、リーダライタ３３１からの電力の供給が終了し、撮像装置３２１Ａがオフし、処理が終了する。
　以上のように、複数の撮像装置３２１Ａで分担して撮像を行うことにより、撮像装置３２１Ａをさらに小型化したり、消費電力を削減したり、撮像データの送信に係るデータ通信量を削減したりすることができる。また、撮像装置３２１Ａは、小型であり、バッテリ等の電源を必要とせず、無線通信により撮像データを送信するため、設置位置の自由度が高い。従って、撮像装置３２１Ａの適用範囲を拡大することができる。
　例えば、撮像システム３０１を農業の監視システムに適用し、農地内の複数の場所に撮像装置３２１Ａを配置し、上述した処理を行うことにより、遠隔地から天候や作物の状態を把握することが可能である。
　また、小型の撮像装置３２１Ａを分散して配置することにより、景観を損ねずに、撮像を行うことが可能になる。例えば、撮像システム３０１を建物の監視システムに適用し、建物の壁等に複数の撮像装置３２１Ａを分散して配置することにより、景観を損ねずに、建物の周辺を撮像し、遠隔地からの監視を行うことが可能である。また、この場合、撮像装置３２１Ａの存在に気付かれにくいという効果もある。
　さらに、撮像装置３２１Ａは、小型の機器や、機器の湾曲した部分にも設置することができるため、適用可能な機器の範囲が拡大する。例えば、各種のウエラブル端末、内視鏡カメラや眼底カメラ等の医療機器、カード型の装置等に、撮像装置３２１Ａを適用することができる。
　＜＜４．第２の実施の形態＞＞
　次に、図３７を参照して、本開示の第２の実施の形態について説明する。
　＜撮像装置３２１Ｂの構成例＞
　本開示の第２の実施の形態では、図２６の撮像システム３０１において、撮像装置３２１の第２の実施の形態である図３７の撮像装置３２１Ｂが用いられる。なお、図３７において、図２８の撮像装置３２１Ａと対応する部分には同じ符号を付してあり、その説明は適宜省略する。また、図３７において、電源部４５１から撮像装置３２１Ｂの各部に電力を供給する電源線の図示を省略している。
　撮像装置３２１Ｂは、撮像装置３２１Ａと比較して、電源部４５１が設けられている点が異なる。
　電源部４５１は、例えば、バッテリ、又は、ＡＣ／ＤＣ電源により構成され、撮像装置３２１Ｂの各部に駆動用の電力を供給する。なお、電源部４５１がＡＣ／ＤＣ電源の場合、電源部４５１は、外部の交流電源から供給される電力を直流に変換した後、撮像装置３２１Ｂの各部に電力を供給する。
　このように、電源部４５１を設けることにより、撮像装置３２１Ｂは、リーダライタ３３１から電力が供給されなくても、自律して撮像処理を行い、撮像データを送信することができる。
　これに対して、信号処理装置３３２は、各撮像装置３２１Ｂに撮像コマンドを送信することなく、各撮像装置３２１から送信されてくる撮像データを受信し、受信した撮像データを用いて、復元画像を復元することができる。
　＜＜５．第３の実施の形態＞＞
　次に、図３８を参照して、本開示の第３の実施の形態について説明する。
　＜撮像装置３２１Ｃの構成例＞
　本開示の第３の実施の形態では、図２６の撮像システム３０１において、撮像装置３２１の第３の実施の形態である図３８の撮像装置３２１Ｃが用いられる。なお、図３８において、図２８の撮像装置３２１Ａと対応する部分には同じ符号を付してあり、その説明は適宜省略する。また、図３８において、電源部４６１から撮像装置３２１Ｃの各部に電力を供給する電源線の図示を省略している。
　撮像装置３２１Ｃは、撮像装置３２１Ａと比較して、電源部４６１が設けられている点が異なる。
　電源部４６１は、太陽光発電により電力を生成する電源である。電源部４６１は、光電変換部４７１及び蓄電部４７２を備える。
　光電変換部４７１は、例えば、フォトダイオードを備え、受光した光を電荷に変換し、得られた電荷を蓄電部４７２に供給する。
　蓄電部４７２は、光電変換部４７１で変換された電荷を蓄積し、蓄積した電荷による電力を撮像装置３２１Ｃの各部に供給する。
　これにより、撮像装置３２１Ｃは、外部から電力の供給を受けたり、バッテリを交換したりしなくても、自ら発電し、その電力により動作することができる。
　なお、例えば、撮像素子１２１のフォトダイオードと光電変換部４７１のフォトダイオードを同じ半導体基板上に形成することにより、光電変換部４７１を撮像素子１２１と一体化させることが可能である。これにより、撮像装置３２１Ｃを小型化したり、製造工程を簡略化したりすることができる。
　＜＜６．第４の実施の形態＞＞
　次に、図３９乃至図４５を参照して、本開示の第４の実施の形態について説明する。
　撮像装置３２１は、上述したように小型かつ設置位置の自由度が高いため、予め決められた場所以外の任意の場所に置いて使用されることが想定される。例えば、複数の撮像装置３２１を無秩序にばらまいて使用することも想定される。
　一方、撮像装置３２１の位置及び姿勢が変化すると、復元対象となる被写体面に対する撮像素子１２１の受光面の傾きが変化し、被写体面の各点光源からの光線の入射角度が変化する。例えば、図３９に示されるように、撮像装置３２１が点線の位置から実線の位置に移動すると、被写体面３１の点光源Ｐからの光線の撮像装置３２１（の撮像素子１２１の受光面）への入射角度が変化する。
　一方、上述したように、撮像素子１２１の各画素１２１ａは、入射角指向性を有している。例えば、図４０は、撮像素子１２１のある画素１２１ａの水平方向の入射角度θｘに対する受光感度の例を示している。図４０の横軸は、水平方向の入射角度θｘを示し、縦軸は検出信号レベルを示している。
　例えば、被写体面３１の点光源Ｐから入射角度が０°で光線が入射している場合に、撮像素子１２１の水平方向の傾きがΔθｘだけ大きくなると、この図に示されるように、検出信号レベルが大きくなる。
　従って、撮像装置３２１の位置や姿勢が変化した場合、復元画像の復元に用いる係数を調整する必要がある。
　そこで、第４の実施の形態では、各撮像装置３２１の位置及び傾きを各撮像装置３２１で検出し、信号処理装置３３２が、検出結果に基づいて復元画像の復元に用いる係数を求めて、復元画像の復元を行うようにするものである。
　＜撮像装置３２１Ｄの構成例＞
　第４の実施の形態では、図２６の撮像システム３０１において、撮像装置３２１の第４の実施の形態である図４１の撮像装置３２１Ｄが用いられる。なお、図４１において、図２８の撮像装置３２１Ａと対応する部分には同じ符号を付してあり、その説明は適宜省略する。
　撮像装置３２１Ｄは、撮像装置３２１Ａと比較して、信号処理制御部４０１Ａの代わりに、信号処理制御部４０１Ｄが設けられている点が異なる。信号処理制御部４０１Ｄは、信号処理制御部４０１Ａと比較して、検出部６１１Ａが追加されている点が異なる。
　検出部６１１Ａは、位置検出部６２１及び傾き検出部６２２を備える。
　位置検出部６２１は、例えば、ＧＮＳＳ受信機等を備え、撮像装置３２１Ｄの現在位置（例えば、緯度及び経度で表される絶対位置）を検出する。位置検出部６２１は、検出した位置情報をバスＢ２に出力する。
　傾き検出部６２２は、例えば、加速度センサ又は傾斜センサを備え、重力の向きに対して垂直な平面に対する撮像素子１２１の受光面の傾きを検出する。例えば、図４２に示されるように、重力の方向をＺ軸とし、Ｚ軸に垂直で東西に延びる方向をＸ軸とし、Ｚ軸に垂直で南北に延びる方向をＹ軸とした場合、傾き検出部６２２は、傾きＸθ及び傾きＹθを検出する。傾きＸθは、Ｘ－Ｚ平面におけるＹ軸周りの傾きである。傾きＹθは、Ｙ－Ｚ平面におけるＸ軸周りの傾きである。傾き検出部６２２は、検出した傾き情報をバスＢ２に出力する。
　＜撮像システム３０１の処理＞
　次に、図４３乃至図４５を参照して、撮像システム３０１の処理について説明する。
　＜信号処理部３１２の処理＞
　まず、図４３のフローチャートを参照して、信号処理部３１２の処理について説明する。
　ステップＳ２０１において、図３４のステップＳ１０１の処理と同様に、撮像コマンドが送信される。
　ステップＳ２０２において、図３４のステップＳ１０２の処理と同様に、各撮像装置３２１Ｄから撮像データが受信される。ただし、図３４のステップＳ１０２の処理と、撮像データのパケットのデータ構成が異なっている。
　図４４は、第４の実施の形態で用いられる撮像データのパケットのデータ構成の例を示している。
　図４４のパケットのデータ構成を、図３５のパケットのデータ構成と比較すると、傾きＸθ、傾きＹθ、緯度、及び、経度が追加されている点が異なる。
　傾きＸθ及び傾きＹθには、撮像装置３２１Ｄの傾き検出部６２２により検出される撮像素子１２１の受光面の傾きＸθ及び傾きＹθがそれぞれ設定される。
　緯度及び経度には、撮像装置３２１Ｄの位置検出部６２１により検出される撮像装置３２１Ｄの現在位置の緯度及び経度がそれぞれ設定される。
　ステップＳ２０３において、復元部５０１は、画像の復元に用いる係数を求める。具体的には、復元部５０１は、図３４のステップＳ１０３の処理と同様に、被写体距離を設定する。
　次に、復元部５０１は、各撮像装置３２１Ｄ毎に、設定した被写体距離の被写体面（復元対象となる被写体面）に対する撮像素子１２１の受光面の傾きの変化量を算出する。すなわち、復元部５０１は、各撮像装置３２１Ｄが所定の基準位置から現在の位置に移動することに伴う被写体面に対する撮像素子１２１の受光面の傾きの変化量を算出する。
　以下、撮像装置３２１Ｄが基準位置に設置されている場合に撮像素子１２１の受光面と被写体面とが互いに対向し、かつ、ともに重力方向に垂直な面であるものとする。また、以下、基準位置の緯度及び経度をそれぞれ基準緯度及び基準経度と称する。なお、基準位置は、例えば、各撮像装置３２１Ｄ毎に予め設定される。
　この場合、撮像装置３２１Ｄの緯度及び経度、並びに、傾きＸθ及び傾きＹθが基準位置から変化した場合、被写体面の各点光源からの撮像素子１２１の受光面への光線のＸ軸方向の入射角度θｘの変化量Δθｘ、及び、Ｙ軸方向の入射角度θｙの変化量Δθｙは、次式（９）及び式（１０）で表される。
　Δθｘ＝ａｔａｎ（（移動後の経度－基準経度）／被写体距離）＋Ｘθ
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（９）
　Δθｙ＝ａｔａｎ（（移動後の緯度－基準緯度）／被写体距離）＋Ｙθ
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（１０）
　すなわち、被写体面の各点光源からの撮像素子１２１の受光面への光線のＸ軸方向の入射角度θｘ及びＹ軸方向の入射角度θｙが、それぞれΔθｘ及びΔθｙだけ大きくなる。
　なお、以下、入射角度θｘの変化量Δθｘを入射角変化量Δθｘと称し、入射角度θｙの変化量Δθｙを入射角変化量Δθｙと称する。
　そこで、復元部５０１は、各撮像装置３２１Ｄの緯度、経度、傾きＸθ、及び、傾きＹθに基づいて、設定した被写体距離の被写体面３１に対する各撮像装置３２１Ｄの入射角変化量Δθｘ及び入射角変化量Δθｙを算出する。この入射角変化量Δθｘ及び入射角変化量Δθｙは、各撮像装置３２１Ｄが所定の基準位置に設置されている場合を基準とする入射角度θｘ及び入射角度θｙの変化量である。
　このとき、例えば、記憶部５０６は、各撮像装置３２１Ｄが基準位置に設置されている場合の各被写体距離の被写体面に対する係数セット群だけでなく、各被写体面に対する入射角変化量Δθｘ及び入射角変化量Δθｙ毎の係数セット群も記憶している。そして、復元部５０１は、各撮像装置３２１Ｄに対応する係数セット群として、設定した被写体距離、並びに、算出した入射角変化量Δθｘ及び入射角変化量Δθｙに対応する係数セット群を記憶部５０６から読み出す。
　或いは、例えば、復元部５０１は、図９を参照して上述した重みＷｘ及び重みＷｙの特性を用いて係数を求める場合、撮像装置３２１Ｄが基準位置に設置されている場合の被写体面の各点光源からの入射光の入射角度θｘ及び入射角度θｙに、算出した入射角変化量Δθｘ及び入射角変化量Δθｙをそれぞれ加算した入射角度に対する重みＷｘ及び重みＷｙに基づいて、係数を求めるようにしてもよい。
　ステップＳ２０４において、図３４のステップＳ１０４の処理と同様に、検出信号セット及び係数を用いて、画像の復元が行われる。
　ステップＳ２０５において、図３４のステップＳ１０５の処理と同様に、復元画像に対して各種の処理が行われる。
　その後、信号処理部３１２の処理は終了する。
　＜撮像装置３２１Ｄの処理＞
　次に、図４５のフローチャートを参照して、図４３の信号処理部３１２の処理に対応して、各撮像装置３２１Ｄにより実行される処理について説明する。
　ステップＳ２５１において、図３６のステップＳ１５１の処理と同様に、撮像コマンドが受信される。
　ステップＳ２５２において、図３６のステップＳ１５２の処理と同様に、被写体の撮像が行われる。
　ステップＳ２５３において、検出部６１１Ａは、位置及び姿勢を検出する。具体的には、位置検出部６２１は、撮像装置３２１Ｄの現在位置の緯度及び経度を検出し、検出した位置情報をバスＢ２に出力する。傾き検出部６２２は、撮像装置３２１Ｄの撮像素子１２１の受光面の傾きＸθ及び傾きＹθを検出し、検出した傾き情報をバスＢ２に出力する。
　ステップＳ２５４において、図３６のステップＳ１５３の処理と同様に、撮像データが送信される。ただし、ステップＳ１５３の処理と異なり、撮像データが、図４４のパケットを用いて送信される。
　その後、撮像装置３２１Ｄの処理は終了する。
　このように、各撮像装置３２１Ｄが、自分の位置及び姿勢を検出し、信号処理装置３３２に通知することにより、事前の設定処理等を行わずに、各撮像装置３２１Ｄを自由に設置したり、動かしたりして、撮像処理を行うことができる。
　＜＜７．第５の実施の形態＞＞
　次に、図４６乃至図４８を参照して、本開示の第５の実施の形態について説明する。
　図４６の上段及び下段は、図８の右部と同様に、撮像素子１２１のある画素１２１ａの入射光の入射角に対する受光感度特性を示している。図４６の上段は、回転前の画素１２１ａの受光感度特性を示し、下段は、画素１２１ａが基準点（０，０）を中心に角度αだけ回転した後の画素１２１ａの受光感度特性を示している。
　例えば、被写体面３１の点光源Ｐから回転前の画素１２１ａに対して入射角度（θｘ１、θｙ１）で入射していた入射光は、回転後の画素１２１ａに対して入射角度（θｘ２、θｙ２）で入射するようになる。これにより、回転前と回転後で入射光に対する画素１２１ａの受光感度が変化し、検出信号レベルが変化する。
　従って、撮像装置３２１（撮像素子１２１）の向きが変化した場合にも、係数の調整を行う必要がある。
　そこで、第５の実施の形態では、さらに各撮像装置３２１の向きを各撮像装置３２１で検出し、信号処理装置３３２が、検出結果に基づいて復元画像の復元に用いる係数を求めて、復元画像の復元を行うようにするものである。
　＜撮像装置３２１Ｅの構成例＞
　第５の実施の形態では、図２６の撮像システム３０１において、撮像装置３２１の第５の実施の形態である図４７の撮像装置３２１Ｅが用いられる。なお、図４７において、図４１の撮像装置３２１Ｄと対応する部分には同じ符号を付してあり、その説明は適宜省略する。
　撮像装置３２１Ｅは、撮像装置３２１Ｄと比較して、信号処理制御部４０１Ｄの代わりに、信号処理制御部４０１Ｅが設けられている点が異なる。信号処理制御部４０１Ｅは、信号処理制御部４０１Ｄと比較して、検出部６１１Ａの代わりに検出部６１１Ｂが設けられている点が異なる。
　検出部６１１Ｂは、検出部６１１Ａと比較して、地磁気検出部６２３が追加されている点が異なる。
　地磁気検出部６２３は、東西南北などの撮像装置３２１Ｅの向きを検出する。例えば、撮像装置３２１Ｅの撮像素子１２１の受光面に平行な所定の軸の向きが、撮像装置３２１Ｅの向きとして検出される。地磁気検出部６２３は、検出した向きを示す方向情報をバスＢ２に出力する。
　図４８は、各撮像装置３２１Ｅから送信される撮像データのパケットのデータ構成の例を示している。
　図４８のパケットのデータ構成を、図４４のパケットのデータ構成と比較すると、方向が追加されている点が異なる。
　方向には、撮像装置３２１Ｅの地磁気検出部６２３により検出される撮像装置３２１Ｅの向きが設定される。
　例えば、撮像装置３２１Ｅが、基準位置に設置されている場合を基準にして、角度αだけ向きが変化した場合、復元対象となる被写体面の各点光源からの撮像素子１２１の受光面への光線のＸ軸方向の入射角度θｘの変化量Δθｘ’、及び、Ｙ軸方向の入射角度θｙの変化量Δθｙ’は、上述した式（９）の入射角変化量Δθｘ及び式（１０）の入射角変化量Δθｙを用いて、次式（１１）及び式（１２）で表される。
　Δθｘ’=Δθｘ×ｃｏｓα－Δθｙ×ｓｉｎα
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（１１）
　Δθｙ’=Δθｘ×ｓｉｎα＋Δθy×ｃｏｓα
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（１２）
　そして、信号処理装置３３２の復元部５０１は、式（９）の入射角変化量Δθｘ及び式（１０）の入射角変化量Δθｙの代わりに、式（１１）の入射角変化量Δθｘ’及び式（１２）の入射角変化量Δθｙ’を用いて、係数セット群を求め、求めた係数セット群を用いて、復元画像の復元を行う。これにより、より適切な係数を用いて復元画像の復元が行われるようになり、復元画像の復元精度や画質が向上する。
　＜＜８．第６の実施の形態＞＞
　次に、図４９乃至図５２を参照して、本開示の第６の実施の形態について説明する。
　＜撮像装置３２１Ｆの構成例＞
　本開示の第６の実施の形態では、図２６の撮像システム３０１において、撮像装置３２１の第６の実施の形態である図４９の撮像装置３２１Ｆが用いられる。なお、図４９において、図４７の撮像装置３２１Ｅと対応する部分には同じ符号を付してあり、その説明は適宜省略する。
　撮像装置３２１Ｆは、撮像装置３２１Ｅと比較して、信号処理制御部４０１Ｅの代わりに、信号処理制御部４０１Ｆが設けられている点が異なる。信号処理制御部４０１Ｆは、信号処理制御部４０１Ｅと比較して、検出部６１１Ｂの代わりに検出部６１１Ｃが設けられ、駆動部６５１が追加されている点が異なる。
　検出部６１１Ｃは、検出部６１１Ｂと比較して、高度検出部６２４が追加されている点が異なる。
　高度検出部６２４は、例えば、高度センサを備える。高度検出部６２４は、撮像装置３２１Ｆが設置されている位置の高度を検出し、検出した高度を示す高度情報をバスＢ２に出力する。
　駆動部６５１は、例えば、撮像装置３２１Ｆの位置や姿勢を移動（変化）させる駆動機構を備える。例えば、駆動部６５１は、撮像装置３２１Ｆを陸上移動させる車輪、空中移動させるプロペラ等を備える。或いは、例えば、駆動部６５１は、撮像装置３２１Ｆの向きや傾きを移動させるアクチュエータ等を備える。この駆動部６５１により、撮像装置３２１Ｆは、自分で位置や姿勢を変えることができる。
　＜撮像システム３０１の処理＞
　次に、図５０乃至図５２を参照して、撮像システム３０１の処理について説明する。
　＜信号処理部３１２の処理＞
　まず、図５０を参照して、信号処理部３１２の処理について説明する。
　ステップＳ３０１において、信号処理部３１２は、駆動コマンドを送信する。
　具体的には、信号処理装置３３２の制御部５０２は、駆動コマンドを生成し、生成した駆動コマンドを符号化する。駆動コマンドは、例えば、駆動対象となる撮像装置３２１Ｆの位置及び姿勢のうち少なくとも１つの移動に関する移動指令、並びに、駆動対象となる撮像装置３２１ＦのＩＤを含む。
　なお、移動指令は、絶対的な位置及び姿勢により示されてもよいし、相対的な位置及び姿勢により示されてもよい。前者の場合、例えば、撮像装置３２１Ｆを移動させる位置又は姿勢が、絶対的な数値（例えば、緯度、経度、方角、重力方向に対する角度等）により示される。後者の場合、例えば、現在の撮像装置３２１Ｆの位置又は姿勢に対する移動方向及び移動量が示される。
　制御部５０２は、符号化した駆動コマンドを、通信部５０９を介してリーダライタ３３１に供給する。
　リーダライタ３３１は、電磁波からなる搬送波の送信を開始するともに、符号化した駆動コマンドにより搬送波を変調することにより、各撮像装置３２１Ｆに駆動コマンドを送信する。
　なお、１つの駆動コマンドに複数の撮像装置３２１Ｆに対する移動指令を含むようにしてもよいし、駆動対象となる撮像装置３２１Ｆ毎に個別に駆動コマンドを送信するようにしてもよい。後者の場合、例えば、複数の撮像装置３２１Ｆの位置又は姿勢を変更するとき、ステップＳ３０１において、複数の駆動コマンドが送信される。
　駆動対象となった撮像装置３２１Ｆは、後述する図５２のステップＳ３５３において、駆動コマンドによる指令に従って、位置又は姿勢を変更する。
　なお、各撮像装置３２１Ｆの位置及び姿勢を変更する必要がない場合、ステップＳ３０１の処理は省略することが可能である。
　ステップＳ３０２において、図３４のステップＳ１０１の処理と同様に、撮像コマンドが送信される。
　ステップＳ３０３において、図３４のステップＳ１０２の処理と同様に、各撮像装置３２１Ｆから撮像データが受信される。ただし、図３４のステップＳ１０２の処理と、撮像データのパケットのデータ構成が異なっている。
　図５１は、第６の実施の形態で用いられる撮像データのパケットのデータ構成の例を示している。
　図５１のパケットのデータ構成を、図４８のパケットのデータ構成と比較すると、高度が追加されている点が異なる。
　高度には、撮像装置３２１Ｆの高度検出部６２４により検出される撮像装置３２１Ｆの高度が設定される。
　ステップＳ３０４において、図４３のステップＳ２０３の処理と同様に、画像の復元に用いる係数が求められる。ただし、復元部５０１は、例えば、上述した式（９）及び式（１０）の代わりに、次式（１３）及び式（１４）を用いて、撮像装置３２１Ｆの高度をさらに考慮して、入射角変化量Δθｘ及び入射角変化量Δθｙを算出する。
　Δθｘ＝ａｔａｎ（（移動後の経度－基準経度）／（被写体距離－高度））＋Ｘθ
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（１３）
　Δθｙ＝ａｔａｎ（（移動後の緯度－基準緯度）／（被写体距離－高度））＋Ｙθ
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（１４）
　さらに、復元部５０１は、上述した式（１１）及び式（１２）を用いて、入射角変化量Δθｘ’及び入射角変化量Δθｙ’を算出する。そして、復元部５０１は、設定した被写体距離、並びに、入射角変化量Δθｘ’及び入射角変化量Δθｙ’に対応する係数セット群を記憶部５０６から読み出す。
　ステップＳ３０５において、図３４のステップＳ１０４の処理と同様に、検出信号セット及び係数を用いて、画像の復元が行われる。
　ステップＳ３０６において、図３４のステップＳ１０５の処理と同様に、復元画像に対して各種の処理が行われる。
　その後、信号処理部３１２の処理は終了する。
　＜撮像装置３２１Ｆの処理＞
　次に、図５２のフローチャートを参照して、図５０の信号処理部３１２の処理に対応して、各撮像装置３２１Ｆにより実行される処理について説明する。
　ステップＳ３５１において、撮像装置３２１Ｆは、駆動コマンドを受信する。具体的には、撮像装置３２１Ｆのアンテナ４２２は、図５０のステップＳ３０１において、リーダライタ３３１から送信が開始される電磁波を受信し、受信した電磁波を電力に変換し、撮像装置３２１Ｆの各部に供給する。これにより、撮像装置３２１Ｆの各部が起動する。
　次に、送受信部４２１は、アンテナ４２２を介してリーダライタ３３１から受信した電磁波を復調し、その結果得られた符号化データを制御部４１１に供給する。
　制御部４１１は、符号化データを復号することにより、駆動コマンドを取得する。
　ステップＳ３５２において、制御部４１１は、位置又は姿勢の変更が指示されたか否かを判定する。例えば、制御部４１１は、駆動コマンドに含まれる駆動対象となる撮像装置のＩＤが自分のＩＤと一致する場合、位置又は姿勢の変更が指示されたと判定し、処理はステップＳ３５３に進む。
　ステップＳ３５３において、撮像装置３２１Ｆは、位置又は姿勢の変更を行う。具体的には、制御部４１１は、駆動部６５１を制御して、駆動コマンドに含まれる移動指令に従って、撮像装置３２１Ｆの位置又は姿勢を移動させる。
　その後、処理はステップＳ３５４に進む。
　一方、ステップＳ３５２において、例えば、制御部４１１は、駆動コマンドに含まれる駆動対象となる撮像装置のＩＤが自分のＩＤと一致しない場合、位置又は姿勢の変更が指示されていないと判定し、ステップＳ３５３の処理はスキップされ、処理はステップＳ３５４に進む。
　ステップＳ３５４において、図３６のステップＳ１５１の処理と同様に、撮像コマンドが受信される。
　ステップＳ３５５において、図３６のステップＳ１５２の処理と同様に、被写体の撮像が行われる。
　ステップＳ３５６において、検出部６１１Ｃは、位置及び姿勢を検出する。具体的には、位置検出部６２１は、撮像装置３２１Ｆの現在位置の緯度及び経度を検出し、検出した位置情報をバスＢ２に出力する。傾き検出部６２２は、撮像装置３２１Ｆの撮像素子１２１の受光面の傾きＸθ及び傾きＹθを検出し、検出した傾き情報をバスＢ２に出力する。地磁気検出部６２３は、撮像装置３２１Ｆの向きを検出し、検出した方向情報をバスＢ２に出力する。高度検出部６２４は、撮像装置３２１Ｆの高度を検出し、検出した高度情報をバスＢ２に出力する。
　ステップＳ３５７において、図３６のステップＳ１５３の処理と同様に、撮像データが送信される。ただし、ステップＳ１５３の処理と異なり、撮像データが、図５１のパケットを用いて送信される。
　その後、撮像装置３２１Ｆの処理は終了する。
　以上のようにして、遠隔操作により各撮像装置３２１Ｆの位置や姿勢を移動させながら、所望の被写体を撮像することが可能になる。
　また、撮像装置３２１Ｆの高度をさらに考慮して、係数を求めるため、より適切な係数を用いて復元画像の復元が行われるようになり、復元画像の復元精度や画質が向上する。
　なお、以上の説明では、駆動コマンドと撮像コマンドが連続して送信される例を示したが、駆動コマンドと撮像コマンドが異なるタイミングで送信されてもよい。すなわち、各撮像装置３２１Ｆの位置又は姿勢の移動と、撮像処理とが異なるタイミングで行われてもよい。
　また、例えば、各撮像装置３２１Ｆが、信号処理部３１２からの指示によらずに、自律的に位置又は姿勢を変更できるようにしてもよい。この場合、各撮像装置３２１Ｆは、リーダライタ３３１から電力の供給を受けずに動作できるようにする必要がある。
　そこで、例えば、各撮像装置３２１Ｆに図３７の電源部４５１又は図３８の電源部４６１を設けるようにしてもよい。或いは、例えば、各撮像装置３２１Ｆに外付けの直流電源を装着したり、外部から電源線を介して電力を供給したりするようにしてもよい。
　＜＜９．第７の実施の形態＞＞
　次に、図５３を参照して、本開示の第７の実施の形態について説明する。
　＜撮像装置３２１Ｇの構成例＞
　この第７の実施の形態では、図２６の撮像システム３０１の撮像装置３２１として、撮像装置３２１の第７の実施の形態である図５３の撮像装置３２１Ｇが用いられる。
　上述したように、撮像装置３２１は、無秩序にばらまいて使用することも想定される。しかし、撮像装置３２１をばらまいた場合、必ずしも撮像素子１２１の受光面１２１Ａが表を向くとは限らない。例えば、撮像素子１２１の受光面１２１Ａが地面の方向を向いてしまうと、その撮像装置３２１からは有効な検出信号セットを得ることができなくなる。
　そこで、例えば、撮像素子１２１の受光面１２１Ａが必ず表を向くように、撮像装置３２１の裏面に重りをつける等の対策が考えられる。しかし、撮像装置３２１に重りをつけても、必ず撮像素子１２１の受光面１２１Ａが表を向くとは限らないし、また、撮像装置３２１のサイズや重量が大きくなってしまう。
　これに対して、撮像装置３２１Ｇでは、表面の撮像素子１２１の受光面１２１Ａに加えて、裏面（表面と反対の面）に撮像素子１２１と同様の構成を有する撮像素子７０１（不図示）の受光面７０１Ａが設けられている。これにより、撮像装置３２１Ｆは、表面及び裏面のどちらが表を向いたとしても、被写体を撮像し、有効な検出信号セットを得ることができる。
　なお、撮像装置３２１Ｇは、撮像素子１２１と撮像素子７０１のいずれが有効であるかを判定し、有効と判定した方の撮像素子の検出信号セットのみを含む撮像データを送信するようにしてもよい。例えば、撮像装置３２１Ｇは、２つの撮像素子の検出信号セットのうち検出信号レベルの平均値が大きい方の撮像素子を有効であると判定し、有効と判定した撮像素子の検出信号セットのみを含む撮像データを送信するようにしてもよい。
　或いは、撮像装置３２１Ｇは、常に両方の撮像素子の検出信号セットを含む撮像データを送信し、信号処理装置３３２が、どちらの検出信号セットが有効であるかを判定するようにしてもよい。
　また、撮像素子１２１と撮像素子７０１を１つの撮像素子により構成するようにしてもよい。この場合、例えば、撮像素子は、１８０°に折り曲げられた構成を有し、一方の面の画素アレイ部と他方の面の画素アレイ部が、独立して動作することが可能とされる。
　さらに、撮像装置３２１Ｆを正四面体や正六面体等の方向が異なる３面以上の面を有する多面体により構成し、各面に撮像素子の受光面を設けるようにしてもよい。
　＜＜１０．変形例＞＞
　以下、上述した本開示の実施の形態の変形例について説明する。
　＜撮像装置及び撮像素子に関する変形例＞
　上述した撮像装置３２１Ａ乃至撮像装置３２１Ｆの特徴は、可能な範囲で組み合わせることが可能である。
　例えば、図４７の撮像装置３２１Ｅに、図４９の撮像装置３２１Ｆの高度検出部６２４を追加することが可能である。或いは、例えば、図４１の撮像装置３２１Ｄ、図４７の撮像装置３２１Ｅ、又は、図４９の撮像装置３２１Ｆに、図３７の撮像装置３２１Ｂの電源部４５１、又は、図３８の撮像装置３２１Ｃの電源部４６１を設けることが可能である。
　また、例えば、リーダライタ３３１から供給される電力、或いは、太陽光発電による電力により撮像装置３２１が駆動される場合、十分な電力が得られない場合が想定される。これに対して、十分な電力が得られない場合、一部の画素１２１ａを無効にするようにしてもよい。
　例えば、図５４の上段及び下段は、撮像素子１２１の画素アレイ部のパターンの例を示している。この例では、赤色のカラーフィルタが設けられたＲ画素、緑色のカラーフィルタが設けられたＧ画素、青色のカラーフィルタが設けられたＢ画素、及び、白色のカラーフィルタが設けられたＷ画素の１行×４列の画素ブロックを１単位とし、その画素ブロックが３行×２列に並べられている。また、各画素１２１ａの黒色の部分は、遮光膜１２１ｂを示している。なお、この例では、全ての画素１２１ａの遮光膜１２１ｂの遮光範囲が同じ範囲に設定されているが、必ずしも同じ範囲に設定する必要はない。
　例えば、電力の供給が十分な場合、上段に示されるように、全ての画素１２１ａが有効とされる。すなわち、全ての画素１２１ａの検出信号が読み出され、外部に送信される。
　一方、電力の供給が不十分な場合、上段に示されるように、一部の画素１２１ａが無効とされる。この例では、太線の枠で囲まれた５つの画素ブロック内の画素１２１ａが無効とされている。
　ここで、画素１２１ａを無効にするとは、例えば、その画素１２１ａの検出信号の読み出しを停止することである。例えば、無効な画素１２１ａの検出信号のＡＤ変換を停止することにより、検出信号の読み出しが停止される。
　なお、無効な画素１２１ａの検出信号を、外部に送信するようにしてもよいし、外部に送信しないようにしてもよい。外部に送信する場合には、例えば、所定のダミーの値の信号が、無効な画素１２１ａの検出信号として送信される。
　これにより、電力の供給が不足している場合でも、検出信号の一部を信号処理装置３３２に供給することができ、画像の復元を継続することが可能になる。
　なお、電力の不足量に応じて、無効にする画素１２１ａの数を変更するようにしてもよい。
　また、例えば、各画素１２１ａの遮光膜１２１ｂの形状には、上述した横帯タイプ、縦帯タイプ、Ｌ字タイプ、矩形の開口部を設けたタイプ以外の形状を採用することが可能である。
　さらに、例えば、図５を参照して上述した撮像素子１２１では、１つの画素１２１ａ内に２行×２列の４つのフォトダイオード１２１ｆを設ける例を示したが、フォトダイオード１２１ｆの数や配置は、この例に限定されるものではない。
　例えば、図５５に示されるように、１つの画素１２１ａにおいて、１個のオンチップレンズ１２１ｃに対して、例えば、３行×３列に並べられた９個のフォトダイオード１２１ｆ－１１１乃至１２１ｆ－１１９を設けるようにしてもよい。すなわち、１つの画素出力単位が、９個のフォトダイオード１２１ｆを備えるようにしてもよい。
　そして、例えば、フォトダイオード１２１ｆ－１１１，１２１ｆ－１１４，１２１ｆ－１１７乃至１２１ｆ－１１９の５画素の信号を読み出さないようにすることで、実質的に、フォトダイオード１２１ｆ－１１１，１２１ｆ－１１４，１２１ｆ－１１７乃至１２１ｆ－１１９の範囲に遮光膜１２１ｂが設定されたＬ字タイプの遮光膜１２１ｂを備える画素１２１ａと同様の入射角特性を得ることができる。
　このようにして、遮光膜１２１ｂを設けることなく、遮光膜１２１ｂを設けた場合と同様の入射角特性を得ることができる。また、信号を読み出さないフォトダイオード１２１ｆのパターンを切り替えることにより、遮光膜１２１ｂにより遮光される位置と範囲を変えた場合と同様に、入射角指向性を変化させることができる。
　また、以上の説明では、１つの画素１２１ａにより１つの画素出力単位が構成される例を示したが、複数の画素１２１ａにより１つの画素出力単位を構成することも可能である。
　例えば、図５６に示されるように、３行×３列に並べられた画素１２１ａ－１１１乃至画素１２１ａ－１１９により１つの画素出力単位８０１ｂを構成することが可能である。なお、画素１２１ａ－１１１乃至画素１２１ａ－１１９は、例えば、それぞれ１つのフォトダイオードを備え、オンチップレンズを備えていない。
　例えば、各画素１２１ａからの画素信号を加算することにより、検出画像の１画素分の検出信号を生成するともに、一部の画素１２１ａからの画素信号の出力を停止したり、加算しないようにすることにより、画素出力単位８０１ｂの入射角指向性を実現することができる。例えば、画素１２１ａ－１１２、画素１２１ａ－１１３、画素１２１ａ－１１５、及び、画素１２１ａ－１１６の画素信号を加算して検出信号を生成することにより、画素１２１ａ－１１１、画素１２１ａ－１１４、及び、画素１２１ａ－１１７乃至画素１２１ａ－１１９の範囲にＬ字タイプの遮光膜１２１ｂを設けた場合と同様の入射角指向性を得ることができる。
　また、画素信号を検出信号に加算する画素１２１ａのパターンを切り替えることにより、遮光膜１２１ｂにより遮光される位置と範囲を変えた場合と同様に、入射角指向性を異なる値に設定することができる。
　また、この場合、例えば、画素１２１ａの組合せを変更することにより、画素出力単位の範囲を変更することが可能である。例えば、画素１２１ａ－１１１、画素１２１ａ－１１２、画素１２１ａ－１１４、及び、画素１２１ａ－１１５からなる２行×２列の画素１２１ａにより画素出力単位８０１ｓを構成することができる。
　さらに、例えば、全ての画素１２１ａの画素信号を記録しておき、画素１２１ａの組合せを後で設定することにより、画素出力単位の範囲を後で設定することが可能である。さらに、設定した画素出力単位内の画素１２１ａのうち、画素信号を検出信号に加算する画素１２１ａを選択することにより、画素出力単位の入射角指向性を後で設定することが可能である。
　また、図４では、変調素子として遮光膜１２１ｂを用いたり、出力に寄与するフォトダイオードの組合せを変更したりすることにより画素毎に異なる入射角指向性を持たせる例を示したが、本開示では、例えば、図５７に示されるように、撮像素子９０１の受光面を覆う光学フィルタ９０２を変調素子として用いて、各画素に入射角指向性を持たせるようにすることも可能である。
　具体的には、光学フィルタ９０２は、撮像素子９０１の受光面９０１Ａから所定の間隔を空けて、受光面９０１Ａの全面を覆うように配置されている。被写体面３１からの光は、光学フィルタ９０２で変調されてから、撮像素子９０１の受光面９０１Ａに入射する。
　例えば、光学フィルタ９０２には、図５８に示される白黒の格子状のパターンを有する光学フィルタ９０２ＢＷを用いることが可能である。光学フィルタ９０２ＢＷには、光を透過する白パターン部と光を遮光する黒パターン部がランダムに配置されている。各パターンのサイズは、撮像素子９０１の画素のサイズとは独立して設定されている。
　図５９は、光学フィルタ９０２ＢＷを用いた場合の被写体面３１上の点光源ＰＡ及び点光源ＰＢからの光に対する撮像素子９０１の受光感度特性を示している。点光源ＰＡ及び点光源ＰＢからの光は、それぞれ光学フィルタ９０２ＢＷで変調されてから、撮像素子９０１の受光面９０１Ａに入射する。
　例えば、点光源ＰＡからの光に対する撮像素子９０１の受光感度特性は、波形Ｓａのようになる。すなわち、光学フィルタ９０２ＢＷの黒パターン部により影が生じるため、点光源ＰＡからの光に対する受光面９０１Ａ上の像に濃淡のパターンが生じる。同様に、点光源ＰＢからの光に対する撮像素子９０１の受光感度特性は、波形Ｓｂのようになる。すなわち、光学フィルタ９０２ＢＷの黒パターン部により影が生じるため、点光源ＰＢからの光に対する受光面９０１Ａ上の像に濃淡のパターンが生じる。
　なお、点光源ＰＡからの光と点光源ＰＢからの光とは、光学フィルタ９０２ＢＷの各白パターン部に対する入射角度が異なるため、受光面に対する濃淡のパターンの現れ方にズレが生じる。従って、撮像素子９０１の各画素は、被写体面３１の各点光源に対して入射角指向性を持つようになる。
　この方式の詳細は、例えば、上述した非特許文献１に開示されている。
　なお、光学フィルタ９０２ＢＷの黒パターン部の代わりに、図６０の光学フィルタ９０２ＨＷを用いるようにしてもよい。光学フィルタ９０２ＨＷは、偏光方向が等しい直線偏光素子９１１Ａと直線偏光素子９１１Ｂ、及び、１／２波長板９１２を備え、１／２波長板９１２は、直線偏光素子９１１Ａと直線偏光素子９１１Ｂの間に挟まれている。１／２波長板９１２には、光学フィルタ９０２ＢＷの黒パターン部の代わりに、斜線で示される偏光部が設けられ、白パターン部と偏光部がランダムに配置されている。
　直線偏光素子９１１Ａは、点光源ＰＡから出射されたほぼ無偏光の光のうち、所定の偏光方向の光のみを透過する。以下、直線偏光素子９１１Ａが、偏光方向が図面に平行な光のみを透過するものとする。直線偏光素子９１１Ａを透過した偏光光のうち、１／２波長板９１２の偏光部を透過した偏光光は、偏光面が回転されることにより、偏光方向が図面に垂直な方向に変化する。一方、直線偏光素子９１１Ａを透過した偏光光のうち、１／２波長板９１２の白パターン部を透過した偏光光は、偏光方向が図面に平行な方向のまま変化しない。そして、直線偏光素子９１１Ｂは、白パターン部を透過した偏光光を透過し、偏光部を透過した偏光光をほとんど透過しない。従って、偏光部を透過した偏光光は、白パターン部を透過した偏光光より光量が減少する。これにより、光学フィルタＢＷを用いた場合とほぼ同様の濃淡のパターンが、撮像素子９０１の受光面９０１Ａ上に生じる。
　また、図６１のＡに示されるように、光干渉マスクを光学フィルタ９０２ＬＦとして用いることが可能である。被写体面３１の点光源ＰＡ，ＰＢから出射された光は、光学フィルタ９０２ＬＦを介して撮像素子９０１の受光面９０１Ａに照射される。図６１のＡの下方の拡大図に示されるように、光学フィルタ９０２ＬＦの例えば光入射面には、波長程度の凹凸が設けられている。また、光学フィルタ９０２ＬＦは、鉛直方向から照射された特定波長の光の透過が最大となる。被写体面３１の点光源ＰＡ，ＰＢから出射された特定波長の光の光学フィルタ９０２ＬＦに対する入射角の変化（鉛直方向に対する傾き）が大きくなると光路長が変化する。ここで、光路長が半波長の奇数倍であるときは光が弱めあい、半波長の偶数倍であるときは光が強めあう。すなわち、点光源ＰＡ，ＰＢから出射されて光学フィルタ９０２ＬＦを透過した特定波長の透過光の強度は、図６１のＢに示すように、光学フィルタ９０２ＬＦに対する入射角に応じて変調されて撮像素子９０１の受光面９０１Ａに入射する。したがって、撮像素子９０１の各画素出力単位から出力される検出信号は、画素出力単位毎に各点光源の変調後の光強度を合成した信号となる。
　この方式の詳細は、例えば、上述した特許文献１に開示されている。
　なお、特許文献１及び非特許文献１の方式では、上述した図４の画素１２１ａ又は図５の画素１２１ａを用いた撮像素子１２１のように、隣接する画素に影響することなく画素１２１ａ単位で入射角指向性を独立して設定することができない。従って、例えば、光学フィルタ９０２ＢＷのパターン、又は、光学フィルタ９０２ＬＦの回折格子のパターンが異なると、撮像素子９０１の少なくとも隣接する複数の画素の入射角指向性が共に異なるものとされることになる。また、近い位置にある画素１２１ａ間で、互いに近い入射角指向性を有することになる。
　また、本開示は、赤外光等の可視光以外の波長の光の撮像を行う撮像装置や撮像素子にも適用することが可能である。この場合、復元画像は、ユーザが目視して被写体を認識できる画像とはならず、ユーザが被写体を視認できない画像となる。なお、通常の撮像レンズは遠赤外光を透過することが困難であるため、本技術は、例えば、遠赤外光の撮像を行う場合に有効である。したがって、復元画像は遠赤外光の画像であっても良く、また、遠赤外光に限らず、その他の可視光や非可視光の画像であっても良い。
　＜信号処理部に関する変形例＞
　例えば、信号処理装置３３２の関連付け部５０４が、各撮像装置３２１から取得した検出信号セットと、各検出信号セットに対応するメタデータとの関連付けを行うようにしてもよい。この場合、例えば、図２８、図３７、図３８、図４１、図４７、及び、図４９の関連付け部４１２を設けないようにすることも可能である。
　また、メタデータには、例えば、復元時の係数セット群を含んでいてもよいし、含んでいなくてもよい。後者の場合、例えば、メタデータに復元時の被写体距離、画角、各撮像装置３２１の撮像時の位置や姿勢を示すデータ（例えば、緯度、経度、傾きＸθ、傾きＹθ、向き、高度等）が含まれる。
　なお、検出信号セットとメタデータを関連付ける方法は、検出信号セットとメタデータとの対応関係を特定することができれば、特に限定されない。例えば、検出信号セットを含むデータにメタデータを付与したり、検出信号セットとメタデータに同じＩＤを付与したり、検出信号セットとメタデータを同じ記録媒体５０８に記録させたりすることにより、検出信号セットとメタデータが関連付けられる。また、各検出信号セットに個別にメタデータを関連付けてもよいし、検出信号セットを１つにまとめたデータにメタデータを関連付けてもよい。
　さらに、復元画像の復元に、必ずしも全ての撮像装置３２１の検出信号セットを用いる必要はなく、例えば、復元部５０１が、一部の撮像装置３２１の検出信号セットを用いて、復元画像を復元するようにしてもよい。
　例えば、撮像装置３２１毎に異なる被写体距離や画角の被写体面の撮像に適した撮像素子１２１を設けるようにしてもよい。そして、例えば、被写体距離や画角が特定できるような場合、復元部５０１が、全ての撮像装置３２１の検出信号セットを用いずに、特定された被写体距離や画角の撮像に適した撮像装置３２１の検出信号セットのみを用いて、復元画像を復元するようにしてもよい。この場合、必ずしも全ての撮像装置３２１において、適切な被写体距離や画角を異ならせる必要はなく、一部の撮像装置３２１で同じであってもよい。
　また、例えば、復元部５０１が、簡易的に復元した復元画像（以下、簡易復元画像と称する）に基づいて、復元画像の復元に用いる検出信号セットを選択するようにしてもよい。
　具体的には、まず、復元部５０１は、全ての撮像装置３２１の検出信号セットを用いて、復元画像を簡易的に復元する。例えば、復元部５０１は、各検出信号セットに含まれる各画素１２１ａの検出信号のうち、所定の画素１２１ａの検出信号を間引き、少ない画素数で簡易的に復元処理を行う。或いは、復元部５０１は、例えば、演算量（例えば、反復演算の回数等）を制限することにより、簡易的に復元処理を行う。
　次に、復元部５０１は、例えば、簡易復元画像に基づいて、主被写体を設定する。主被写体の設定方法は任意である。例えば、復元部５０１は、簡易復元画像内で最も大きな被写体、又は、簡易復元画像内の所定の種類の被写体（例えば、人等）を主被写体に設定する。或いは、例えば、ユーザが、簡易復元画像を視認し、簡易復元画像内の所望の被写体を主被写体に設定するようにしてもよい。
　次に、復元部５０１は、復元画像の復元に用いる検出信号セットを選択する。
　具体的には、各撮像装置３２１の各画素１２１ａの現実世界における撮像範囲は、例えば、各撮像装置３２１の位置及び姿勢、並びに、各画素１２１ａの遮光範囲に基づいて推定することが可能である。また、主被写体の現実世界における位置は、例えば、簡易復元画像内の主被写体の位置等に基づいて推定することが可能である。そこで、復元部５０１は、各画素１２１ａの現実世界における撮像範囲、及び、主被写体の現実世界における位置に基づいて、全ての撮像装置３２１の検出信号セットの中から、主被写体を含む（主被写体が写っている）検出信号セットを抽出し、復元画像の復元に用いる検出信号セットに選択する。
　或いは、例えば、復元部５０１は、マスタとなる撮像素子１２１（以下、マスタセンサと称する）を選択する。例えば、復元部５０１は、各画素１２１ａの現実世界における撮像範囲、及び、主被写体の現実世界における位置に基づいて、各撮像装置３２１の撮像素子１２１の撮像範以内における主被写体のサイズ及び位置を推定する。そして、復元部５０１は、主被写体のサイズ及び位置が最も適切な撮像素子１２１をマスタセンサに選択する。
　なお、主被写体の適切なサイズや位置は、主被写体の種類や、撮像するシーン等により異なる。
　次に、復元部５０１は、例えば、マスタセンサを除く撮像素子１２１の中から、撮像範囲がマスタセンサの撮像範囲と重なる領域の割合が所定の閾値以上となる撮像素子１２１を抽出する。復元部５０１は、マスタセンサの検出信号セット、及び、抽出した撮像素子１２１の検出信号セットを、復元画像の復元に用いる検出信号セットに選択する。
　そして、復元部５０１は、選択した検出信号セットを用いて、復元画像の復元処理を行う。例えば、復元部５０１は、選択した検出信号セットを取得した各撮像装置３２１の各画素１２１ａに対応する係数セットを用いて、上述した連立方程式を作成し、解くことにより、復元画像を復元する。
　これにより、復元画像における主被写体の画質（例えば、解像度等）を良好に保ちつつ、復元処理の負荷を軽減することができる。
　なお、選択した撮像装置３２１の画素１２１ａの中から、さらに復元画像の復元に用いる画素１２１ａを選択するようにしてもよい。例えば、復元部５０１が、選択した検出信号セットの中から、撮像範囲が主被写体と重なる画素１２１ａの検出信号を選択し、選択した検出信号を用いて、復元画像を復元するようにしてもよい。
　また、以上の説明では、式（９）乃至式（１４）の計算に用いる座標系（以下、基準座標系と称する）が、所定の基準位置（基準緯度、基準経度）に基づいて設定される例を示したが、基準位置は可変でもよい。
　例えば、主被写体の位置に基づいて、基準位置が設定されるようにしてよい。例えば、主被写体の所定の位置（例えば、重心）の現実世界における位置が、基準位置に設定されるようにしてもよい。
　或いは、例えば、マスタセンサの位置に基づいて、基準位置が設定されるようにしてもよい。例えば、マスタセンサの所定の位置（例えば、中央、左上隅等）の画素が、基準位置に設定されるようにしてもよい。
　この場合、例えば、マスタセンサに基づいて、基準座標系が設定されるようにしてもよい。例えば、マスタセンサの画素領域の座標系に基づいて、基準座標系のＸ軸及びＹ軸を設定し、マスタセンサの受光面に垂直な軸を基準座標系のＺ軸に設定するようにしてもよい。
　さらに、例えば、復元画像の被写体距離及び画角が、主被写体に基づいて設定されるようにしてもよい。例えば、主被写体の画質が最も良好になるように、復元画像の被写体距離が設定されるようにしてもよい。また、例えば、復元画像において主被写体が適切な大きさになるように、復元画像の画角が設定されるようにしてもよい。
　なお、例えば、撮像システム３０１が無限遠を前提に設計されている場合、被写体距離は常に無限遠に設定される。
　＜システムの構成に関する変形例＞
　図２６の撮像システム３０１の構成は、変更することが可能である。
　例えば、リーダライタ３３１と信号処理装置３３２を一体化したり、信号処理装置３３２の機能の一部をリーダライタ３３１に設けるようにしたりすることが可能である。
　また、一部の撮像装置にリーダライタ３３１の機能や信号処理装置３３２の機能を設けるようにしてもよい。
　図６２は、撮像システムの第１の変形例である撮像システム１００１の構成例を示している。なお、図中、図２６の撮像システム３０１と対応する部分には、同じ符号を付してあり、その説明は適宜省略する。
　撮像システム１００１は、撮像システム３０１と比較して、撮像部３１１の代わりに、撮像部１０１１が設けられ、リーダライタ３３１が削除されている点が異なる。撮像部１０１１は、撮像部３１１と比較して、撮像装置１０２１が追加されている点が異なる。
　撮像装置１０２１は、リーダライタ３３１の機能を備えている。すなわち、撮像装置１０２１は、各撮像装置３２１と近距離無線通信を行うとともに、各撮像装置３２１に電力を供給する。そして、撮像装置１０２１は、各撮像装置３２１に撮像コマンドを送信して、各撮像装置３２１による被写体の撮像の制御を行うとともに、自らも被写体の撮像を行う。そして、撮像装置１０２１は、各撮像装置３２１から撮像データを受信し、各撮像装置３２１から受信した撮像データ、及び、自らが撮像することにより取得した撮像データを信号処理装置３３２に送信する。すなわち、撮像装置１０２１は、各撮像装置３２１からの撮像データを信号処理装置３３２に中継する役割を果たす。
　なお、撮像装置１０２１は、例えば、図３７の撮像装置３２１Ｂの電源部４５１、又は、図３８の撮像装置３２１Ｃの電源部４６１と同様の電源部を備え、リーダライタ３３１からの電力の供給がなくても動作することが可能である。
　また、撮像システム１００１においては、撮像装置３２１の数は１台でもよい。
　図６３は、撮像システムの第２の変形例である撮像システム１１０１の構成例を示している。なお、図中、図２６の撮像システム３０１と対応する部分には、同じ符号を付してあり、その説明は適宜省略する。
　撮像システム１１０１は、撮像システム３０１と比較して、撮像部３１１の代わりに、撮像部１１１１が設けられ、リーダライタ３３１及び信号処理装置３３２が削除されている点が異なる。撮像部１１１１は、撮像部３１１と比較して、撮像装置１１２１が追加されている点が異なる。
　撮像装置１１２１は、図６２の撮像装置１０２１と同様の機能、及び、図２６の信号処理装置３３２と同様の機能を備える。そして、撮像装置１１２１は、各撮像装置３２１から受信した撮像データ、及び、自らが撮像することにより取得した撮像データに基づいて、復元画像の復元処理等を行う。
　なお、撮像システム１１０１においては、撮像装置３２１の数は１台でもよい。
　＜その他の変形例＞
　また、以上の説明では、各撮像装置３２１が、自分の位置や姿勢を検出して、検出結果を信号処理部３１２に通知する例を示したが、例えば、各撮像装置３２１の位置や姿勢を外部から検出するようにしてもよい。例えば、各撮像装置３２１が設置されている領域を外部から撮像し、撮像した画像に基づいて、各撮像装置３２１の位置や姿勢を検出するようにしてもよい。また、例えば、そのような検出機能を、リーダライタ３３１又は信号処理装置３３２が備えるようにしてもよい。
　さらに、上述した例では、撮像装置３２１の位置及び姿勢として、位置（絶対位置）、傾き、向き、及び、高さを検出する例を示したが、この組み合わせは自由に変更することが可能である。また、撮像装置３２１の位置又は姿勢を示す別のデータを検出するようにしてもよい。さらに、例えば、撮像装置３２１の位置及び姿勢のうちいずれか一方のみを検出するようにしてもよい。
　また、例えば、ディープラーニング等の機械学習を適用することにより、復元後の復元画像を用いずに、復元前の検出画像や検出信号セットを用いて画像認識等を行うようにすることも可能である。この場合も、本技術を用いることにより、復元前の検出画像を用いた画像認識の精度が向上する。換言すれば、復元前の検出画像の画質が向上する。
　＜＜１１．その他＞＞
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータ（例えば、制御部１２３等）などが含まれる。
　コンピュータが実行するプログラムは、例えば、パッケージメディア等としての記録媒体（例えば、記録媒体１３０等）に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　尚、本開示は、以下のような構成も取ることができる。
（１）
　撮像レンズ及びピンホールのいずれも介さず入射する被写体からの入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号を１つ出力する画素出力単位を１以上備え、１以上の前記検出信号を含む検出信号セットを出力する撮像素子と、
　前記検出信号セット、並びに、位置及び姿勢のうち少なくとも１つを示す位置姿勢データを含む撮像データを無線通信により通信装置に送信する通信部と
　を備える撮像装置。
（２）
　少なくとも１つの前記画素出力単位が、前記入射光の入射角に対する指向性を示す入射角指向性を独立に設定可能な構成を有する
　前記（１）に記載の撮像装置。
（３）
　前記撮像素子は、検出波長がそれぞれ異なる複数の前記画素出力単位を備える
　前記（２）に記載の撮像装置。
（４）
　各前記画素出力単位の前記入射角指向性が同じである
　前記（３）に記載の撮像装置。
（５）
　前記撮像素子は、検出波長が同じ複数の前記画素出力単位を備え、
　各前記画素出力単位の前記入射角指向性がそれぞれ異なる
　前記（２）に記載の撮像装置。
（６）
　前記撮像装置の位置及び姿勢のうち少なくとも１つを検出する検出部を
　さらに備える前記（１）乃至（５）のいずれかに記載の撮像装置。
（７）
　前記位置姿勢データは、前記撮像装置の絶対位置、傾き、向き、及び、高度のうち少なくとも１つを含む
　前記（６）に記載の撮像装置。
（８）
　前記通信装置から送信されてくる指令により、前記撮像装置の位置及び姿勢のうち少なくとも１つを変更する駆動部を
　さらに備える前記（６）又は（７）に記載の撮像装置。
（９）
　前記撮像データは、前記撮像装置を識別するための識別情報を含む
　前記（１）乃至（８）のいずれかに記載の撮像装置。
（１０）
　方向が異なる複数の受光面を備える
　前記（１）乃至（９）のいずれかに記載の撮像装置。
（１１）
　各前記受光面をそれぞれ備える複数の前記撮像素子を
　備える前記（１０）に記載の撮像装置。
（１２）
　前記通信部は、複数の前記撮像素子のうち有効な前記撮像素子の前記検出信号を含む撮像データを送信する
　前記（１１）に記載の撮像装置。
（１３）
　前記撮像装置の第１の面に設けられた第１の受光面と、
　前記撮像装置の第１の面と反対の第２の面に設けられた第２の受光面と
　を備える前記（１０）乃至（１２）のいずれかに記載の撮像装置。
（１４）
　前記通信部は、前記通信装置から電磁波により供給される電力を受信する
　前記（１）乃至（１３）のいずれかに記載の撮像装置。
（１５）
　前記撮像素子は、２以上の前記画素出力単位を備え、前記通信装置から供給される電力に応じて、一部の前記画素出力単位を無効にする
　前記（１４）に記載の撮像装置。
（１６）
　前記撮像素子及び前記通信部を駆動する電力を供給する電源部を
　さらに備える前記（１）乃至（１３）のいずれかに記載の撮像装置。
（１７）
　前記電源部は、発電機能を有する
　前記（１６）に記載の撮像装置。
（１８）
　前記電源部は、太陽光により発電し、
　前記電源部の光電変換部と前記撮像素子の光電変換部とが、同じ半導体基板に形成されている
　前記（１７）に記載の撮像装置。
（１９）
　撮像レンズ及びピンホールのいずれも介さず入射する被写体からの入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号を１つ出力する画素出力単位を１以上備え、１以上の前記検出信号からなる検出信号セットを出力する撮像素子をそれぞれ備える複数の撮像装置からの複数の撮像データにそれぞれ含まれる複数の前記検出信号セットを用いて、復元画像を復元する復元部を
　備える信号処理装置。
（２０）
　各前記撮像データは、各前記撮像装置の位置及び姿勢のうち少なくとも１つを示す位置姿勢データを含み、
　前記復元部は、さらに各前記撮像装置の前記位置姿勢データを用いて、前記復元画像を復元する
　前記（１９）に記載の信号処理装置。
（２１）
　前記復元部は、各前記画素出力単位の前記検出信号、及び、前記被写体からの入射光の入射角に対する各前記画素出力単位の指向性を示す複数の係数を用いて、前記復元画像を復元する
　前記（１９）又は（２０）に記載の信号処理装置。
（２２）
　前記複数の撮像装置から前記複数の撮像データを無線通信により受信し、前記複数の撮像装置のうちの１以上に電磁波により電力を供給する通信部を
　さらに備える前記（１９）乃至（２１）のいずれかに記載の信号処理装置。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　１０１　撮像装置，　１１１　信号処理制御部，　１２１　撮像素子，　１２１ａ，１２１ａ’　画素，　１２１Ａ　受光面，　１２１ｂ　遮光膜，　１２１ｃ　オンチップレンズ，　１２１ｅ，１２１ｆ　フォトダイオード，　１２２　復元部，　１２３　制御部，　１２５　検出部，　１２６　関連付け部，　３０１　撮像システム，　３１１　撮像部，　３１２　信号処理部，　３２１，３２１Ａ乃至３２１Ｇ　撮像装置，　３３１　リーダライタ，　３３２　信号処理装置，　４０１Ａ乃至４０１Ｆ　信号処理制御部，　４１１　制御部，　４１２　関連付け部,　４１４　通信部，　４２１　送受信部，　４２２　アンテナ，　４５１，４６１　電源部，　４７１　光電変換部，　４７２　蓄電部，　５０１　復元部，　５０２　制御部，　５０４　関連付け部，　６１１Ａ乃至６１１Ｃ　検出部，　６２１　位置検出部，　６２２　傾き検出部，　６２３　地磁気検出部，　６２４　高度検出部，　６５１　駆動部，　７０１　撮像素子，　７０１Ａ　受光面，　８０１ｂ，８０１ｓ　画素出力単位，　９０１　撮像素子，　９０１Ａ　受光面，　９０２，９０２ＢＷ，　９０２Ｆ　光学フィルタ，　１００１　撮像システム，　１０１１　撮像部，　１０２１　撮像装置，　１１０１　撮像システム，　１１１１　撮像部，　１１２１　撮像装置

Claims (22)

  1. 　撮像レンズ及びピンホールのいずれも介さず入射する被写体からの入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号を１つ出力する画素出力単位を１以上備え、１以上の前記検出信号を含む検出信号セットを出力する撮像素子と、
    　前記検出信号セット、並びに、位置及び姿勢のうち少なくとも１つを示す位置姿勢データを含む撮像データを無線通信により通信装置に送信する通信部と
    　を備える撮像装置。
  2. 　少なくとも１つの前記画素出力単位が、前記入射光の入射角に対する指向性を示す入射角指向性を独立に設定可能な構成を有する
    　請求項１に記載の撮像装置。
  3. 　前記撮像素子は、検出波長がそれぞれ異なる複数の前記画素出力単位を備える
    　請求項２に記載の撮像装置。
  4. 　各前記画素出力単位の前記入射角指向性が同じである
    　請求項３に記載の撮像装置。
  5. 　前記撮像素子は、検出波長が同じ複数の前記画素出力単位を備え、
    　各前記画素出力単位の前記入射角指向性がそれぞれ異なる
    　請求項２に記載の撮像装置。
  6. 　前記撮像装置の位置及び姿勢のうち少なくとも１つを検出する検出部を
    　さらに備える請求項１に記載の撮像装置。
  7. 　前記位置姿勢データは、前記撮像装置の絶対位置、傾き、向き、及び、高度のうち少なくとも１つを含む
    　請求項６に記載の撮像装置。
  8. 　前記通信装置から送信されてくる指令により、前記撮像装置の位置及び姿勢のうち少なくとも１つを変更する駆動部を
    　さらに備える請求項６に記載の撮像装置。
  9. 　前記撮像データは、前記撮像装置を識別するための識別情報を含む
    　請求項１に記載の撮像装置。
  10. 　方向が異なる複数の受光面を備える
    　請求項１に記載の撮像装置。
  11. 　各前記受光面をそれぞれ備える複数の前記撮像素子を
    　備える請求項１０に記載の撮像装置。
  12. 　前記通信部は、複数の前記撮像素子のうち有効な前記撮像素子の前記検出信号を含む撮像データを送信する
    　請求項１１に記載の撮像装置。
  13. 　前記撮像装置の第１の面に設けられた第１の受光面と、
    　前記撮像装置の第１の面と反対の第２の面に設けられた第２の受光面と
    　を備える請求項１０に記載の撮像装置。
  14. 　前記通信部は、前記通信装置から電磁波により供給される電力を受信する
    　請求項１に記載の撮像装置。
  15. 　前記撮像素子は、２以上の前記画素出力単位を備え、前記通信装置から供給される電力に応じて、一部の前記画素出力単位を無効にする
    　請求項１４に記載の撮像装置。
  16. 　前記撮像素子及び前記通信部を駆動する電力を供給する電源部を
    　さらに備える請求項１に記載の撮像装置。
  17. 　前記電源部は、発電機能を有する
    　請求項１６に記載の撮像装置。
  18. 　前記電源部は、太陽光により発電し、
    　前記電源部の光電変換部と前記撮像素子の光電変換部とが、同じ半導体基板に形成されている
    　請求項１７に記載の撮像装置。
  19. 　撮像レンズ及びピンホールのいずれも介さず入射する被写体からの入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号を１つ出力する画素出力単位を１以上備え、１以上の前記検出信号からなる検出信号セットを出力する撮像素子をそれぞれ備える複数の撮像装置からの複数の撮像データにそれぞれ含まれる複数の前記検出信号セットを用いて、復元画像を復元する復元部を
    　備える信号処理装置。
  20. 　各前記撮像データは、各前記撮像装置の位置及び姿勢のうち少なくとも１つを示す位置姿勢データを含み、
    　前記復元部は、さらに各前記撮像装置の前記位置姿勢データを用いて、前記復元画像を復元する
    　請求項１９に記載の信号処理装置。
  21. 　前記復元部は、各前記画素出力単位の前記検出信号、及び、前記被写体からの入射光の入射角に対する各前記画素出力単位の指向性を示す複数の係数を用いて、前記復元画像を復元する
    　請求項１９に記載の信号処理装置。
  22. 　前記複数の撮像装置から前記複数の撮像データを無線通信により受信し、前記複数の撮像装置のうちの１以上に電磁波により電力を供給する通信部を
    　さらに備える請求項１９に記載の信号処理装置。
PCT/JP2018/038943 2017-10-19 2018-10-19 撮像装置および信号処理装置 WO2019078336A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201880066133.5A CN111201779B (zh) 2017-10-19 2018-10-19 成像装置和信号处理装置
EP18868008.6A EP3700192B1 (en) 2017-10-19 2018-10-19 Imaging device and signal processing device
JP2019548811A JP7259756B2 (ja) 2017-10-19 2018-10-19 撮像装置および信号処理装置
US16/754,586 US11431911B2 (en) 2017-10-19 2018-10-19 Imaging device and signal processing device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017202861 2017-10-19
JP2017-202861 2017-10-19

Publications (1)

Publication Number Publication Date
WO2019078336A1 true WO2019078336A1 (ja) 2019-04-25

Family

ID=66173307

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/038943 WO2019078336A1 (ja) 2017-10-19 2018-10-19 撮像装置および信号処理装置

Country Status (5)

Country Link
US (1) US11431911B2 (ja)
EP (1) EP3700192B1 (ja)
JP (1) JP7259756B2 (ja)
CN (1) CN111201779B (ja)
WO (1) WO2019078336A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020218074A1 (ja) * 2019-04-26 2020-10-29 ソニー株式会社 撮像システム及び撮像素子
WO2022244354A1 (ja) * 2021-05-17 2022-11-24 ソニーセミコンダクタソリューションズ株式会社 撮像素子及び電子機器

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7247890B2 (ja) * 2017-10-19 2023-03-29 ソニーグループ株式会社 電子機器及び信号処理装置
CN112106343A (zh) 2018-03-29 2020-12-18 索尼公司 信息处理装置、信息处理方法、程序和信息处理系统
JP2023042368A (ja) * 2021-09-14 2023-03-27 株式会社東芝 固体撮像素子、及び固体撮像装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012186674A (ja) * 2011-03-07 2012-09-27 Hitachi Kokusai Electric Inc 監視カメラシステム
JP2013132139A (ja) * 2011-12-21 2013-07-04 Nikon Corp 電子機器、撮像装置、および電子機器の制御プログラム
WO2016009688A1 (ja) * 2014-07-16 2016-01-21 株式会社リコー システム、機械、制御方法、プログラム
JP2016510910A (ja) 2013-03-05 2016-04-11 ラムバス・インコーポレーテッド 高解像度レンズなし光学検知の奇対称を有する位相格子
JP2016092413A (ja) * 2014-10-29 2016-05-23 株式会社半導体エネルギー研究所 撮像装置および電子機器
WO2016123529A1 (en) 2015-01-29 2016-08-04 William Marsh Rice University Lensless imaging system using an image sensor with one or more attenuating layers

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6731305B1 (en) * 2000-07-17 2004-05-04 Imove, Inc. Camera system which records camera identification in image file
JP4141800B2 (ja) * 2002-11-01 2008-08-27 株式会社リコー デジタルカメラ
JP2006229583A (ja) * 2005-02-17 2006-08-31 Eastman Kodak Co 通信システム及びデジタルカメラ並びにドック装置
GB2434934A (en) * 2006-02-06 2007-08-08 Qinetiq Ltd Processing coded aperture image data by applying weightings to aperture functions and data frames
JP2009200752A (ja) * 2008-02-20 2009-09-03 Panasonic Corp カメラモジュール
US8862987B2 (en) 2009-03-31 2014-10-14 Intel Corporation Capture and display of digital images based on related metadata
JP5277063B2 (ja) * 2009-04-20 2013-08-28 パナソニック株式会社 集光素子、集光素子群および固体撮像装置
US9237317B2 (en) * 2009-05-02 2016-01-12 Steven J. Hollinger Throwable camera and network for operating the same
JP5496794B2 (ja) * 2010-07-01 2014-05-21 パナソニック株式会社 固体撮像装置
JP5682473B2 (ja) * 2011-06-21 2015-03-11 コニカミノルタ株式会社 広角歪補正処理を有する画像処理方法、画像処理装置及び撮像装置
CN104025581B (zh) * 2011-12-28 2015-06-03 富士胶片株式会社 摄像装置
DE112013005594T5 (de) * 2012-11-22 2015-10-22 Fujifilm Corporation Abbildungsvorrichtung, Unschärfebetrag-Berechnungsverfahren und Objektivvorrichtung
US9432568B2 (en) * 2014-06-30 2016-08-30 Semiconductor Components Industries, Llc Pixel arrangements for image sensors with phase detection pixels
JP6632239B2 (ja) * 2015-07-22 2020-01-22 キヤノン株式会社 無線通信可能な電子機器、その制御方法、プログラム
US10462377B2 (en) * 2016-07-29 2019-10-29 Nokia Of America Corporation Single-aperture multi-sensor lensless compressive image acquisition
US20180035046A1 (en) * 2016-07-29 2018-02-01 Xin Yuan Block-based lensless compressive image acquisition
US10616516B2 (en) * 2016-09-30 2020-04-07 Planet Labs Inc. Systems and methods for implementing time delay integration imaging techniques in conjunction with distinct imaging regions on a monolithic charge-coupled device image sensor
JP6713549B2 (ja) * 2016-12-27 2020-06-24 富士フイルム株式会社 撮像装置及び撮像モジュール
US11257856B2 (en) * 2017-10-13 2022-02-22 Trustees Of Boston University Lens-free compound eye cameras based on angle-sensitive meta-surfaces
US10594914B2 (en) * 2018-04-10 2020-03-17 The Boeing Company Paint applied camera system
US10984287B2 (en) * 2018-05-14 2021-04-20 Panasonic Intellectual Property Management Co., Ltd. Learning device, learning method, and storage medium

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012186674A (ja) * 2011-03-07 2012-09-27 Hitachi Kokusai Electric Inc 監視カメラシステム
JP2013132139A (ja) * 2011-12-21 2013-07-04 Nikon Corp 電子機器、撮像装置、および電子機器の制御プログラム
JP2016510910A (ja) 2013-03-05 2016-04-11 ラムバス・インコーポレーテッド 高解像度レンズなし光学検知の奇対称を有する位相格子
WO2016009688A1 (ja) * 2014-07-16 2016-01-21 株式会社リコー システム、機械、制御方法、プログラム
JP2016092413A (ja) * 2014-10-29 2016-05-23 株式会社半導体エネルギー研究所 撮像装置および電子機器
WO2016123529A1 (en) 2015-01-29 2016-08-04 William Marsh Rice University Lensless imaging system using an image sensor with one or more attenuating layers

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
M. SALMAN ASIFFOUR OTHERS: "Flatcam: Replacing lenses with masks and computation", 2015 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION WORKSHOP (ICCVW, 2015, pages 663 - 666, XP032865019, DOI: 10.1109/ICCVW.2015.89

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020218074A1 (ja) * 2019-04-26 2020-10-29 ソニー株式会社 撮像システム及び撮像素子
WO2022244354A1 (ja) * 2021-05-17 2022-11-24 ソニーセミコンダクタソリューションズ株式会社 撮像素子及び電子機器

Also Published As

Publication number Publication date
CN111201779A (zh) 2020-05-26
US11431911B2 (en) 2022-08-30
EP3700192B1 (en) 2023-08-30
JP7259756B2 (ja) 2023-04-18
US20200358959A1 (en) 2020-11-12
CN111201779B (zh) 2022-11-01
EP3700192A4 (en) 2020-11-18
JPWO2019078336A1 (ja) 2020-12-17
EP3700192A1 (en) 2020-08-26

Similar Documents

Publication Publication Date Title
JP7259756B2 (ja) 撮像装置および信号処理装置
JP7259757B2 (ja) 撮像装置、並びに、画像処理装置および方法
JP7238887B2 (ja) 情報処理装置、プログラム、及び、情報処理システム
US11460666B2 (en) Imaging apparatus and method, and image processing apparatus and method
KR20200074101A (ko) 촬상 장치 및 방법, 및, 화상 처리 장치 및 방법
US11375103B2 (en) Imaging device, image processing apparatus, and image processing method
JP2023041751A (ja) 撮像装置及び信号処理装置
WO2019078333A1 (ja) 撮像装置、露出制御方法、プログラム、及び、撮像素子
WO2019189099A1 (ja) 撮像素子、撮像装置、並びに、情報処理方法
JP7147841B2 (ja) 撮像装置および方法、画像処理装置および方法、並びに、撮像素子

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18868008

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019548811

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018868008

Country of ref document: EP

Effective date: 20200519