WO2017119447A1 - 撮像装置および電子カメラ - Google Patents

撮像装置および電子カメラ Download PDF

Info

Publication number
WO2017119447A1
WO2017119447A1 PCT/JP2017/000144 JP2017000144W WO2017119447A1 WO 2017119447 A1 WO2017119447 A1 WO 2017119447A1 JP 2017000144 W JP2017000144 W JP 2017000144W WO 2017119447 A1 WO2017119447 A1 WO 2017119447A1
Authority
WO
WIPO (PCT)
Prior art keywords
electrode
imaging
unit
electrodes
image data
Prior art date
Application number
PCT/JP2017/000144
Other languages
English (en)
French (fr)
Inventor
史郎 綱井
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to CN201780014680.4A priority Critical patent/CN108702472A/zh
Priority to JP2017560404A priority patent/JP6607262B2/ja
Priority to US16/068,038 priority patent/US11012604B2/en
Publication of WO2017119447A1 publication Critical patent/WO2017119447A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14665—Imagers using a photoconductor layer
    • H01L27/14667—Colour imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14634—Assemblies, i.e. Hybrid structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K39/00—Integrated devices, or assemblies of multiple devices, comprising at least one organic radiation-sensitive element covered by group H10K30/00
    • H10K39/30—Devices controlled by radiation
    • H10K39/32—Organic image sensors

Definitions

  • the present invention relates to an imaging device and an electronic camera.
  • a technique for acquiring a plurality of digital images by replacing a plurality of different masks having a complicated aperture shape in a part of a lens optical system to obtain a high-resolution image or a refocus image for example, non-patent
  • a complicated operation of performing imaging a plurality of times by replacing a plurality of masks is involved.
  • the imaging apparatus includes a plurality of first electrodes provided on one surface of a light receiving unit that receives incident light, and a plurality of second electrodes provided on the other surface of the light receiving unit.
  • a plurality of the first electrodes are provided in the first direction for each of the pixels, and the second electrode is provided for each of the pixels. It is preferable to provide a plurality in a second direction that intersects the direction.
  • the first imaging unit having the plurality of pixels, the second imaging unit that receives light transmitted through the first imaging unit, and the It is preferable to include an image generation unit that generates image data of a plurality of different imaging planes based on the signal from the first imaging unit.
  • the output unit includes at least one first electrode of the plurality of first electrodes and at least one of the plurality of second electrodes. Each time a combination of two second electrodes is set and a plurality of different combinations are set, a signal generated by the light receiving unit corresponding to the combination is output, and the image generation unit outputs each combination.
  • the output unit designates each of the plurality of second electrodes each time a voltage is sequentially applied to each of the plurality of first electrodes.
  • the combination is set by performing non-designation, and the output unit applies the first electrode to which the voltage is applied and the designated second electrode each time a voltage is sequentially applied to the first electrode. It is preferable to output a signal generated by the light receiving unit sandwiched between the two.
  • the image generation unit has an image having a single imaging plane based on a signal from the second imaging unit.
  • the electronic camera includes the imaging device according to any one of the first to seventh aspects.
  • FIG. 1 is a figure which shows typically the partial area
  • (b) is a figure which shows typically the combination of a 1st electrode and a 2nd electrode. It is. It is a flowchart explaining the flow of a focus detection process. It is a figure which shows typically the example of arrangement
  • FIG. 1 is a block diagram illustrating the main configuration of a digital camera 1 which is an example of an imaging apparatus according to the first embodiment.
  • the digital camera 1 includes a photographing optical system 10, a control unit 11, an imaging unit 12, an operation unit 13, a liquid crystal monitor 15, and a buffer memory 16.
  • a memory card 17 is attached to the digital camera 1.
  • the photographing optical system 10 is composed of a plurality of lenses, and forms a subject image on the imaging surface of the imaging unit 12.
  • the photographing optical system 10 is represented by a single lens.
  • the control unit 11 includes a microprocessor and its peripheral circuits, and performs various controls of the digital camera 1 by executing a control program stored in a ROM (not shown). Further, the control unit 11 includes a read control unit 111 and an image generation unit 115 as functions.
  • the read control unit 111 controls reading of a signal (that is, a photoelectric conversion signal) from a first image sensor 31 described later and reading of a signal (that is, a photoelectric conversion signal) from a second image sensor 32 described later.
  • the image generation unit 115 generates image data by performing various image processing using the photoelectric conversion signals from the first image sensor 31 and the second image sensor 32 read by the read control unit 111.
  • the image generation unit 115 will be described as having the first generation unit 113 and the second generation unit 114 as functions.
  • the first generation unit 113 generates image data by performing various image processing using the photoelectric conversion signal read from the first imaging element 31.
  • the second generation unit 114 generates image data by performing various image processing using the photoelectric conversion signal read from the second image sensor 32.
  • Each of these functional units is implemented in software by the control program described above.
  • Each of these functional units can also be configured by an electronic circuit.
  • the subject image formed on the imaging unit 12 by the imaging optical system 10 is photoelectrically converted by the imaging unit 12.
  • An output signal from the imaging unit 12 is converted into a digital image signal by an A / D conversion unit (not shown) and stored in the buffer memory 16.
  • the digital image signal stored in the buffer memory 16 is displayed on the liquid crystal monitor 15 or stored in the memory card 17 after various image processing is performed.
  • the memory card 17 is configured by a non-volatile flash memory or the like and is detachable from the digital camera 1.
  • the operation unit 13 includes various operation buttons such as a release button, a mode switching button, and a power button, and is operated by a photographer.
  • the operation unit 13 outputs an operation signal corresponding to the operation of each operation button by the photographer to the control unit 11.
  • FIG. 2A is a diagram illustrating a relationship between a part of a cross section of the imaging unit 12 and the photographing optical system 10
  • FIG. 2B is a cross section of the imaging unit 12 illustrated in FIG. It is a figure which expands and illustrates a part.
  • the imaging unit 12 includes a second imaging element 32 formed on a semiconductor substrate, a first imaging element 31 using an organic photoelectric film 310, and a microlens ML.
  • the first image sensor 31 and the second image sensor 32 are stacked on the same optical path.
  • the first image sensor 31 On the incident light side of the first image sensor 31, that is, on the side opposite to the second image sensor 32, a microlens array in which a plurality of microlenses ML are two-dimensionally arranged is stacked with a planarization film interposed therebetween.
  • the first image sensor 31 is arranged with respect to the microlens ML so as to have a conjugate relationship with the exit pupil of the photographing optical system 10.
  • the first image sensor 31 is composed of an organic photoelectric film 310 that absorbs (photoelectrically converts) light of a predetermined color component (details will be described later).
  • FIG. 3 is a perspective view illustrating an outline of the imaging unit 12.
  • FIG. 3 is a diagram illustrating a part of the imaging unit 12, and for convenience of illustration, the microlens array and the first imaging element 31 are shown separated in a direction along the optical path.
  • the first imaging element 31 has a plurality of first pixels P1 arranged two-dimensionally, and the first pixel P1 and the microlens ML are provided at corresponding positions, that is, on the same optical path.
  • the second image sensor 32 is a photodiode (semiconductor element) made of Si or the like.
  • the second image sensor 32 has a plurality of second pixels P2 arranged two-dimensionally, and the second pixels P2 and the microlenses ML are provided at corresponding positions, that is, on the same optical path. Therefore, as also shown in FIG. 2, for each microlens ML, the first pixel P1 of the first image sensor 31 and the second pixel P2 of the second image sensor 32 are provided on the same optical path. Thereby, a part of the light transmitted through the microlens ML is absorbed by the first pixel P1 of the first imaging element 31 arranged on the same optical path. The light that has not been absorbed by the first pixel P1 passes through the first image sensor 31 and enters the second pixel P2 of the second image sensor 32 disposed on the same optical path as the first pixel P1. Photoelectric conversion is performed by the image sensor 32.
  • the plurality of first electrodes 311 are arranged on the incident light side of the organic photoelectric film 310, that is, on the microlens ML side, and the plurality of second electrodes 312 are organic photoelectric films. It is arranged on the outgoing light side of 310, that is, on the second imaging element 32 side. That is, the first imaging element 31 is configured by arranging the first electrode 311 and the second electrode 312 with the organic photoelectric film 310 interposed therebetween.
  • the first electrode 311 and the second electrode 312 are transparent electrodes.
  • the first electrode 311 and the second electrode 312 extend along different directions. In the present embodiment, the first electrode 311 and the second electrode 312 are orthogonal to each other. The details of the first electrode 311 and the second electrode 312 will be described later.
  • One light receiving unit 400 is configured. Since one first pixel P1 includes a plurality of first electrodes 311 and a plurality of second electrodes 312, a plurality of light receiving portions 400 are two-dimensionally arranged in one first pixel P1. Thereby, in each first pixel P1, the light beams that have passed through the partial areas Q1 and Q2 of the exit pupil of the photographing optical system 10 can be received by the plurality of light receiving units 400 through the microlens ML (FIG. 2). (See (a) and FIG. 4 (a)).
  • a light beam that has passed through the partial area Q1 (FIG. 2A) of the photographing optical system 10 is received by the light receiving unit 400a (FIG. 4A), and the partial area Q2 of the photographing optical system 10 (FIG. 2A). )) Is received by the light receiving unit 400b (FIG. 4A).
  • each second pixel P2 is located at a position corresponding to each light receiving unit 400 of the first imaging element 31, that is, a subject. It may be provided along the optical path of light.
  • the second pixel P2 is not limited to the position where the second pixel P2 is disposed at a position corresponding to the light receiving unit 400 of the first imaging element 31, and each of the plurality of second pixels P2 transmits light transmitted through a predetermined number of light receiving units 400. It may be arranged to receive light.
  • the blur is repaired or a specific position is focused. It is possible to obtain parallax information necessary for refocus processing such as generation of an image. That is, image data obtained by inserting a known coded aperture at the exit pupil position of the imaging optical system is electrically connected to the light receiving unit 400 that designates the first electrode 311 and the second electrode 312 and outputs a photoelectric conversion signal. It can be acquired by specifying.
  • the subject light incident on the imaging unit 12 passes through the transparent first electrode 311 of the first imaging element 31 and is photoelectrically converted by the organic photoelectric film 310. That is, all the light receiving units 400 included in the first pixel P1 receive incident light from the subject and perform photoelectric conversion. Photoelectric conversion generated by photoelectric conversion in the light receiving unit 400 sandwiched between the first electrode 311 designated as described later and the designated second electrode 312 in the light receiving unit 400 of the first pixel P1. The signal is output from the signal output end via the wiring layer.
  • the light that has not been photoelectrically converted by the first image sensor 31 passes through the first image sensor 31 and enters the second image sensor 32.
  • the second image sensor 32 photoelectrically converts light incident on the surface side of the semiconductor substrate with a photodiode, and outputs a photoelectric conversion signal via a wiring layer formed on the surface side of the semiconductor substrate.
  • the color component photoelectrically converted by the first image sensor 31 and the color component photoelectrically converted by the second image sensor 32 can be in a complementary color relationship.
  • the first pixel P1 that photoelectrically converts Mg (magenta) light transmits G (green) light that is a complementary color of Mg
  • the second pixel P2 photoelectrically converts G light.
  • the first pixel P1 that photoelectrically converts Ye (yellow) light transmits B (blue) light that is a complementary color of Ye
  • the first pixel P1 that photoelectrically converts Cy (cyan) light transmits R (red) that is a complementary color of Cy
  • the second pixel P2 photoelectrically converts R light can be in a complementary color relationship.
  • first pixels P1 that photoelectrically convert Mg and Ye light are alternately arranged as first pixels P1 in odd rows, and first pixels that photoelectrically convert Cy and Mg light as first pixels P1 in even rows.
  • P1 is alternately arranged.
  • the first imaging element 31 configured by the organic photoelectric film 310 serves as a color filter for the second imaging element 32, and the complementary color of the first imaging element 31 from the second imaging element 32.
  • An image is obtained.
  • the imaging unit 12 can acquire a CMY image including three colors of Cy, Mg, and Ye from the first imaging element 31, and includes three colors of R, G, and B from the second imaging element 32.
  • An RGB image can be acquired.
  • the first imaging element 31 is not limited to the one having the organic photoelectric film 310, and may be configured using a material having a characteristic of absorbing light of a predetermined color component and transmitting light of another color component. good.
  • FIG. 4 is a plan view schematically showing the first electrode 311 and the second electrode 312 included in one first pixel P1.
  • the horizontal direction of the paper surface in FIG. 4 is referred to as “row direction”, and the vertical direction of the paper surface is referred to as “column direction”.
  • a plurality of first electrodes 311a to 311h extending in the column direction are arranged along the row direction.
  • a plurality of second electrodes 312a to 312h extending in the row direction are arranged along the column direction.
  • the first electrode 311 may extend in the row direction
  • the second electrode 312 may extend in the column direction.
  • the number of the first electrodes 311 and the second electrodes 312 provided for one first pixel P1 shown in FIG. 4 is an example, and the number may be larger or smaller than the number shown in FIG.
  • At least one first electrode 311 among the plurality of first electrodes 311 is designated according to an electrode designation signal from the read control unit 111, and a voltage is applied.
  • At least one second electrode 312 among the plurality of second electrodes 312 is designated according to the electrode designation signal from the read control unit 111, and the photoelectric conversion signal generated by the light receiving unit 400 is read. That is, in the organic photoelectric film 310, the photoelectric conversion signal photoelectrically converted in a part of the region sandwiched between the first electrode 311 to which the voltage is supplied and the designated second electrode 312 is transmitted from the second electrode 312. Is output.
  • the read control unit 111 functions as an output unit that outputs a signal generated by the light receiving unit 400 sandwiched between the first electrode 311 to which the voltage is applied and the second electrode 312.
  • the light receiving unit 400 includes one first electrode 311, one second electrode 312, and the organic photoelectric film 310 sandwiched between the first electrode 311 and the second electrode 312. .
  • the first electrode 311 is provided on one surface of the light receiving unit 400
  • the second electrode 312 is provided on the other surface of the light receiving unit 400.
  • the plurality of first pixels P ⁇ b> 1 includes a plurality of first electrodes 311 provided on one surface of the light receiving unit 400 and a plurality of second electrodes 312 provided on the other surface of the light receiving unit 400.
  • the first electrodes 311 are arranged with the same members and the same width in the column direction.
  • the second electrodes 312 are arranged in the row direction with the same width.
  • the present invention is not limited to this example.
  • a plurality of first electrodes 311 provided in a plurality of light receiving units 400 arranged in the column direction are replaced with a first electrode 311.
  • Different members may be connected with different widths.
  • a plurality of second electrodes 312 arranged in the row direction may be connected with members different from the second electrodes 312 and with different widths.
  • the lengths (widths) in the row direction of the first electrodes 311a to 311h are equal to each other.
  • 311a to 311h may have different lengths (widths) in the row direction.
  • at least one of the first electrodes 311 may have a width different from that of the other first electrode 311, or all the first electrodes 311 may have different widths.
  • the second electrodes 312a to 312h may have different lengths (widths) in the column direction.
  • the organic photoelectric film 310 may be provided for each first pixel P1, or the organic photoelectric film 310 may be provided for each light receiving unit 400. When the color component photoelectrically converted by the first image sensor 31 and the color component photoelectrically converted by the second image sensor 32 do not have a complementary color relationship, the same member is used for all the first pixels P1.
  • An organic photoelectric film 310 made of may be provided.
  • FIG. 5 is a diagram illustrating a circuit configuration of one first pixel P1 and second pixel P2 in the imaging unit 12.
  • the second pixel P2 includes a photodiode PD, a transfer transistor Tx, a reset transistor R2, an output transistor SF2, and a selection transistor SEL2.
  • the photodiode PD accumulates charges according to the amount of incident light.
  • the transfer transistor Tx transfers the charge accumulated in the photodiode PD to the floating diffusion region (FD portion) on the output transistor SF2 side.
  • the output transistor SF2 constitutes a current source PW2 and a source follower via the selection transistor SEL2, and outputs an electric signal corresponding to the electric charge accumulated in the FD section as an output signal OUT2 to the vertical signal line VLINE2.
  • the reset transistor R2 resets the charge in the FD portion to the power supply voltage Vcc.
  • the first pixel P1 includes an organic photoelectric film 310, a reset transistor R1, an output transistor SF1, a selection transistor SEL1, designation switches SW11 to SW1n, and designation switches SW21 to SW2n (n is 2 or more). Natural number).
  • the designation switches SW11 to SW1n are provided according to the first electrodes 311a to 311h, respectively, and one is turned on according to the electrode designation signal from the read control unit 111.
  • the designation switches SW21 to SW2n are provided according to the second electrodes 312a to 312h, respectively, and one is turned on according to the electrode designation signal from the read control unit 111.
  • the organic photoelectric film 310 converts the non-transmitted light into an electric signal corresponding to the amount of light, and outputs it to the vertical signal line VLINE1 as the output signal OUT1 via the selection transistor SEL1 and the output transistor SF1 constituting the source follower. To do.
  • the reset transistor R1 resets the output signal of the organic photoelectric film 310 to the reference voltage Vref. Further, a high voltage Vpc is applied for the operation of the organic photoelectric film 310.
  • Each transistor is composed of a MOSFET.
  • the power supply voltage Vcc and the reference voltage Vref may be the same. That is, the reset transistor R1 and the output transistor SF1 may be operated with the same voltage.
  • the output signal OUT2 of each second pixel P2 read out to the vertical signal line VLINE2 is temporarily held for each row in a horizontal output circuit (not shown) and then output from the imaging unit 12. In this manner, a signal is read from each second pixel P2 of the second imaging element 32 of the imaging unit 12.
  • the operation of the circuit relating to the first image sensor 31 will be described. First, when the selection signal ⁇ SEL1 becomes “High”, the selection transistor SEL1 is turned on. Next, the reset signal ⁇ R1 becomes “High”, and the output signal OUT1 also becomes the reset level. Then, charge accumulation of the organic photoelectric film 310 is started immediately after the reset signal ⁇ R1 becomes “Low”, and the output signal OUT1 changes according to the amount of charge. The output signal OUT1 is temporarily held for each row in a horizontal output circuit (not shown) and then output from the imaging unit 12. In this way, a signal is read from each first pixel P1 of the first imaging element 31 of the imaging unit 12. With the circuit configuration as described above, the photoelectric conversion signal can be output from the light receiving unit 400 included in an arbitrary partial region from the first image sensor 31 of the imaging unit 12 as described above.
  • the light receiving unit 400 from which a photoelectric conversion signal is output by the designated first electrode 311 and second electrode 312 will be described.
  • the first electrode 311a and the second electrode 312a are designated by the circuit shown in FIG. 5A
  • the light receiving unit 4011 is selected, and a photoelectric conversion signal photoelectrically converted by the light receiving unit 4011 is output.
  • the first electrode 311a and the second electrodes 312a and 312d are designated, the light receiving units 4011 and 4014 are selected, and photoelectric conversion signals photoelectrically converted by the light receiving units 4011 and 4012 are output.
  • parallax information necessary for refocus processing such as restoration of blur or generation of an image in focus at a specific position according to the combination of the first electrode 311 and the second electrode 312 to be designated.
  • image data obtained by inserting a known coded aperture at the exit pupil position of the imaging optical system is electrically connected to the light receiving unit 400 that designates the first electrode 311 and the second electrode 312 and outputs a photoelectric conversion signal. It can be acquired by specifying. For example, as shown in FIG. 6B, a first photoelectric conversion signal corresponding to light passing through a two-dimensional code aperture that is inserted into and extracted from the position of the exit pupil of the imaging optical system 10 as a known coded aperture 500 is a first.
  • the shaded area 501 is a light shielding part
  • the non-hatched area 502 is a light transmitting part.
  • the first electrode 311 and the second electrode 312 are designated so that a photoelectrically converted photoelectric conversion signal is output, and a voltage is applied to the first electrode 311.
  • the light receiving portions 4012, 4017, 4023, 4024, 4027, 4037, 4041, 4043, 4044, 4052, 4053, 4054, 4062, 4063, corresponding to the region 502, are shown.
  • 4065, 4067, 4071, 4074, 4075, and 4077 are indicated by hatching.
  • the first electrode 311 and the second electrode 312 are specified as follows, and a voltage is applied to the first electrode 311, whereby a photoelectric conversion signal is output from the light receiving unit 400.
  • the first electrodes 311b and 311g are designated for the second electrode 312a, and among the photoelectric conversion signals generated by photoelectric conversion in all the light receiving units 400, the photoelectric conversion signals photoelectrically converted by the light receiving units 4012 and 4017 are obtained. Is output. Subsequently, the first electrodes 311c, 311d, and 311g are designated and voltage is applied to the second electrode 312b, and photoelectric conversion signals photoelectrically converted by the light receiving units 4023, 4024, and 4027 are output. Thereafter, each time the second electrode 312 in the row direction is sequentially designated, the first electrode 311 in the column direction corresponding to the position corresponding to the region 502 is designated, a voltage is applied, and the light receiving unit 400 performs photoelectric conversion.
  • a photoelectric conversion signal is output.
  • designation that is, voltage application
  • non-designation that is, voltage non-application
  • a combination is set.
  • a photoelectric conversion signal is output from the light receiving unit 400 including the first electrode 311 to which the designated voltage is applied and the designated second electrode 312. Accordingly, in each first pixel P1, a photoelectric conversion signal corresponding to light incident on an arbitrary light receiving unit 400 of the first image sensor 31 is generated according to the combination of the designated first electrode 311 and second electrode 312. Can be output.
  • the photoelectric conversion signal output from each first pixel P1 of the first image sensor 31 includes parallax information at the exit pupil position. That is, the photoelectric conversion signal including the parallax information equivalent to the photoelectric conversion signal obtained each time a plurality of types of coded apertures having different code apertures are inserted into the exit pupil position, without inserting or removing the coded aperture, It can be obtained by making the combination with the second electrode 312 different. As described above, light that is not received by each first pixel P1 of the first image sensor 31 is transmitted.
  • the light that is not absorbed by the organic photoelectric film 310 and is not subjected to photoelectric conversion passes through the organic photoelectric film 310 and is second imaged. Incident on the element 32.
  • the readout control unit 111 causes the first electrode 311 and the second electrode so that the photoelectric conversion signal is output from the light receiving unit 400 included in a partial region of the first imaging element 31. This is done by setting a combination of electrodes 312. By changing the combination of the first electrode 311 and the second electrode 312 and synthesizing the image data generated for each different combination, a point image incident from different positions in the depth direction in the subject space can be obtained. The same effect as that when the image is formed on the light receiving surface 31 is obtained.
  • pattern information information relating to the combination of the first electrode 311 and the second electrode 312 corresponding to the coded aperture 500 as shown in FIG. 6B is stored in a predetermined storage area in advance.
  • a plurality of types of pattern information are prepared according to the shapes of the plurality of code openings.
  • the readout control unit 111 sets a combination of the first electrode 311 and the second electrode 312 according to one pattern information read out from a plurality of pattern information at the start of the photographing operation, and outputs an electrode designation signal To do. For example, when the pattern information corresponds to FIG. 6B, the read control unit 111 outputs a photoelectric conversion signal from the light receiving unit 400 indicated by hatching in FIG. 6C.
  • Output electrode designation signal Therefore, for each first pixel P1 of the first image sensor 31, a photoelectric conversion signal corresponding to the light incident on the light receiving unit 400 included in the region corresponding to the region 502 in FIG. 6B is obtained.
  • the first generation unit 113 generates image data of an image on a predetermined imaging plane in the photographing optical system 10 using the photoelectric conversion signal.
  • the readout control unit 111 sets a combination of the first electrode 311 and the second electrode 312 for each different pattern information, and causes the first imaging element 31 to read out a photoelectric conversion signal.
  • the first generation unit 113 generates image data each time a photoelectric conversion signal is output according to a combination of the different first electrode 311 and the second electrode 312, so that each imaging plane in the imaging optical system 10 is different.
  • the image data of the image is generated.
  • the first generation unit 113 generates image data that can be refocused by synthesizing the generated image data of different image planes, and stores the image data in a storage medium such as the memory card 17.
  • the second image sensor 32 During the photographing operation, light transmitted through the entire region of the organic photoelectric film 310 in each first pixel P1 enters the entire region of the second image sensor 32.
  • the second image sensor 32 generates a photoelectric conversion signal corresponding to the light incident on the entire area of each second pixel P2. That is, the second image sensor 32 captures the subject image projected by the photographing optical system 10.
  • the second generation unit 114 performs image processing on the generated photoelectric conversion signal to generate image data. That is, the second generation unit 114 generates image data having one image plane in the photographing optical system 10 based on the signal from the second image sensor 32.
  • the second generation unit 114 stores image data generated from the photoelectric conversion signal from the second image sensor 32 in a storage medium such as the memory card 17.
  • the first generation unit 113 is not limited to the one that generates image data using the photoelectric conversion signal from the first image sensor 31, and the photoelectric conversion signal from the first image sensor 31 and the second image sensor 32 is used. Then, image data may be generated. In this case, the first generation unit 113 generates image data using the photoelectric conversion signal from the first image sensor 31 in the same manner as described above. Further, the first generation unit 113 generates the image data generated by using the photoelectric conversion signal from the second image sensor 32 by the second generation unit 114 using the photoelectric conversion signal from the first image sensor 31. The image data is subtracted to generate new image data. As a result, for example, when image data corresponding to the pattern information shown in FIG. 6B is generated using the photoelectric conversion signal from the first image sensor 31, the reverse pattern in which the light shielding unit 501 and the transmission unit 502 are interchanged. The image data corresponding to the code opening can be generated.
  • a process of acquiring image data for each of a plurality of different imaging planes using a photoelectric conversion signal from the first image sensor 31 will be described using the flowchart shown in FIG.
  • Each process shown in the flowchart of FIG. 7 is included in a control program executed by the control unit 11.
  • a predetermined focus detection operation for example, an operation of fully pressing the release button
  • the control unit 11 starts the process illustrated in FIG.
  • step S11 the pattern information is read, the combination of the first electrode 311 and the second electrode 312 is set, and the process proceeds to step S12.
  • step S12 an electrode designation signal is output to the first electrode 311 and the second electrode 312 according to the set combination, and the process proceeds to step S13.
  • step S13 a photoelectric conversion signal is read from the first image sensor 31 according to the designated combination of the first electrode 311 and the second electrode 312, and image data is generated using the read photoelectric conversion signal. Proceed to step S14.
  • step S14 when imaging is performed for refocusing, it is determined whether or not all combinations of the first electrode 311 and the second electrode 312 have been executed.
  • step S14 When all the combinations have been executed, an affirmative determination is made in step S14 and the process proceeds to step S15. If all combinations have not been executed, a negative determination is made in step S14 and the process returns to step S11. Note that the number of image data required for refocusing may be set by the user, and image data may not be generated for all pattern information. In step S15, the generated image data is synthesized and recorded on a recording medium (not shown), and the process ends.
  • the first imaging element 31 includes a plurality of light receiving units 400 arranged for each microlens ML.
  • the light receiving unit 400 includes an organic photoelectric film 310 that photoelectrically converts a received light beam, a first electrode 311 provided on one surface of the organic photoelectric film 310, and a second electrode provided on the other surface of the organic photoelectric film 310. And an electrode 312.
  • a plurality of first electrodes 311 are arranged in the column direction for each microlens ML, and a plurality of second electrodes 312 are arranged in the row direction for each microlens ML.
  • the read control unit 111 includes at least one first electrode 311 of the plurality of first electrodes 311 and at least one second of the plurality of second electrodes 312. A combination including the electrode 312 is set, and a photoelectric conversion signal is output from the light receiving unit 400 included in a region corresponding to the combination. Each time a plurality of different combinations are set, the read control unit 111 outputs a photoelectric conversion signal from the light receiving unit 400 included in the region corresponding to the combination, and the first generation unit 113 reads the photoelectric read out for each combination. Image data for each of a plurality of different imaging planes of the photographing optical system 10 is generated using the converted signal.
  • the imaging optical system 10 is similar to the case where the insertion and removal of a plurality of types of coded apertures are repeated. Since the image data can be generated for each of the different imaging planes, the convenience is improved. Furthermore, the time required to repeatedly insert and remove multiple types of coded apertures can be shortened, so that even when moving subjects are photographed in particular, it is possible to prevent generation of image data that is greatly out of position or the like. Can do.
  • the second imaging unit 32 is provided for each microlens ML and includes a second imaging element 32 that receives a light beam transmitted through the first imaging element 31 and outputs a photoelectric conversion signal. Image data is generated using the photoelectric conversion signal from. Therefore, a normal imaging operation can be performed using the second imaging element 32 while generating image data of images on different imaging planes of the imaging optical system 10 using the first imaging element 31. Further, the first generation unit 113 generates new image data by subtracting the image data generated using the photoelectric conversion signal from the first image sensor 31 from the image data generated by the second generation unit 114. be able to. Thereby, image data for each of two different imaging planes can be generated by photographing one frame, which contributes to shortening the photographing time.
  • the plurality of pixels P1 include a plurality of first electrodes 311 provided on one surface of the light receiving unit 400 that receives incident light, and a plurality of second electrodes 312 provided on the other surface of the light receiving unit 400. And have.
  • the read control unit 111 outputs a signal generated by receiving light incident on the light receiving unit 400 sandwiched between the first electrode 311 to which the voltage is applied and the second electrode 312.
  • the read control unit 111 controls the voltage applied to the first electrode 311 and the second electrode 312, so that the first image sensor 31 generates a signal for generating image data of an image on an image plane. Can be generated. This eliminates the need to insert / remove the coded aperture for the purpose of generating image data for refocus processing, and can improve convenience.
  • the digital camera 1 includes a first image sensor 31, a second image sensor 32 that receives light transmitted through the first image sensor 31, and a plurality of different image formations based on signals from the first image sensor 31.
  • the image generation unit 115 generates image data having one image plane based on the signal from the second image sensor 32. As a result, a normal photographing operation can be performed using the second image sensor 32 while generating image data of different image planes that can be refocused using the first image sensor 31.
  • focus detection processing is configured to be possible using photoelectric conversion signals read from the first image sensor 31 and the second image sensor 32.
  • the control unit 11 of the digital camera 1 includes a focus detection unit 112 as a function.
  • the focus detection unit 112 performs focus detection processing by a known pupil division phase difference method based on the photoelectric conversion signals read from the first image sensor 31 and the second image sensor 32, and the focus state of the imaging optical system 10. Adjust.
  • FIG. 9 schematically illustrates a region where a photoelectric conversion signal is output and a combination of the first electrode 311 and the second electrode 312 in each first pixel P1 of the first image sensor 31 when performing focus detection processing.
  • Shown in FIG. 9A is a diagram schematically illustrating a partial region r1 of the first pixel P1 from which the photoelectric conversion signal is output in the first imaging element 31.
  • FIG. 9A is a diagram schematically illustrating a partial region r1 of the first pixel P1 from which the photoelectric conversion signal is output in the first imaging element 31.
  • the readout control unit 111 sets the first electrode 311, the second electrode 312, and the right half of the first pixel P 1 of the first image sensor 31 as the partial region r 1.
  • the read control unit 111 designates the first electrodes 311e to 311h and the second electrodes 312a to 312h. Accordingly, a photoelectric conversion signal is output from the light receiving unit 400 included in the region corresponding to the combination of the first electrodes 311e to 311h and the second electrodes 312a to 312h in the first imaging element 31, that is, the partial region r1.
  • a photoelectric conversion signal corresponding to the light incident on the right partial region r1 is output for each first pixel P1 of the first image sensor 31.
  • the first generation unit 113 generates first image data from the photoelectric conversion signal output from the first image sensor 31.
  • Read control unit 111 causes the second image sensor 32 to output a photoelectric conversion signal.
  • the light transmitted through the entire area of the first pixel P1 enters the entire area of the second pixel P2 of the second image sensor 32.
  • a photoelectric conversion signal corresponding to the light incident on the entire region in each second pixel P2 is output.
  • the second generation unit 114 generates second image data using a photoelectric conversion signal from each second pixel P2 of the second imaging element 32.
  • the focus detection unit 112 of the control unit 11 uses the first image data generated by the first generation unit 113 and the second image data generated by the second generation unit 114 to use the left half of each pixel P. Image data corresponding to the light incident on the region is generated.
  • the focus detection unit 112 obtains the first image data based on the photoelectric conversion signal output from the first image sensor 31 from the second image data based on the photoelectric conversion signal output from the second image sensor 32. Subtract. That is, the focus detection unit 112 subtracts the first image data corresponding to the right half region of the first pixel P1 from the second image data corresponding to the entire region of the second pixel P2, thereby obtaining the first pixel P1.
  • the first image data and the third image data correspond to light that has passed through different exit pupils.
  • the focus detection unit 112 uses the first image data as the first focus detection data, and uses the generated third image data as the second focus detection data, thereby executing focus detection processing by the pupil division phase difference method. Then, a defocus amount indicating the focus adjustment state of the photographing optical system 10 is calculated. Since focus detection processing by the pupil division phase difference method is a well-known technique, detailed description thereof is omitted.
  • the focus detection process executed by the control unit 11 will be described using the flowchart shown in FIG. Each process shown in the flowchart of FIG. 10 is included in a control program executed by the control unit 11.
  • a predetermined focus detection operation for example, an operation of pressing the release button halfway
  • the control unit 11 starts the focus detection process illustrated in FIG.
  • step S1 the combination of the first electrode 311 and the second electrode 312 is determined in order to set the right half region of each first pixel P1 as the partial region r1, and the process proceeds to step S2.
  • step S2 the imaging unit 12 captures a subject image, that is, the photoelectric conversion signal is output from the first image sensor 31 and the second image sensor 32, and the process proceeds to step S3.
  • each first pixel of the first image sensor 31 is output to the first image sensor 31 by outputting an electrode designation signal to the first electrode 311 and the second electrode 312 designated in step S1.
  • a photoelectric conversion signal is output from the light receiving unit 400 included in the partial region r1 of P1.
  • the first generation unit 113 generates first image data using a photoelectric conversion signal from each first pixel P ⁇ b> 1 of the first image sensor 31, and the second generation unit 114 generates each second pixel P ⁇ b> 2 of the second image sensor 32.
  • the second image data is generated using the photoelectric conversion signal from.
  • step S3 the third image data is generated using the second image data and the first image data, and the process proceeds to step S4.
  • the defocus amount is calculated by the pupil division phase difference method using the first image data and the third image data, and a lens driving unit (not shown) is controlled based on the calculated defocus amount.
  • the focus lens of the photographing optical system 10 is moved to the in-focus position, and the process proceeds to step S5.
  • step S5 it is determined whether an instruction to end the focus detection process has been issued. When the end of the focus detection process is instructed, step S5 is affirmed and the control unit 11 ends the focus detection process. If the end of the focus detection process is not instructed, the determination in step S5 is negative, and the control unit 11 returns to step S1.
  • each first pixel P1 of the first image sensor 31 is the partial region r1, but the present invention is not limited to this example.
  • the position of the partial region r1 may be, for example, the left side of each first pixel P1 of the first image sensor 31, may be the upper portion, or may be the lower portion.
  • the first electrode 311 and the second electrode 312 are designated in the same manner as in the first embodiment, so that the photographing optical system is designated. The image data of the image for each different imaging plane in 10 is generated.
  • the focus detection unit 112 converts the first image data based on the photoelectric conversion signal from the first image sensor 31 read in the combination set by the read control unit 111 into the photoelectric conversion signal output from the second image sensor 32.
  • the focus adjustment state of the photographing optical system 10 is detected using the third image data generated by subtracting the second image data based on the second image data and the first image data. Accordingly, it is possible to obtain a pair of focus detection data that enables focus adjustment by the pupil division type phase difference method without providing focus detection pixels.
  • the following modifications are also within the scope of the present invention, and one or a plurality of modifications can be combined with the above-described embodiment.
  • (1) It is not limited to what the 1st electrode 311 and the 2nd electrode 312 are provided so that it may mutually orthogonally cross.
  • the second electrode 312 may intersect the first electrode 311 extending in the column direction and arranged in the row direction in an oblique direction.
  • the image capturing unit 12 of the digital camera 1 may include only the first image sensor 31 instead of the first image sensor 31 and the second image sensor 32. Also in this case, the reading control unit 111 controls the combination of the first electrode 311 and the second electrode 312, and the light incident on the light receiving unit 400 included in the partial region of each first pixel P 1 of the first image sensor 31. Can be photoelectrically converted to output a photoelectric conversion signal. For example, when the focus detection process is performed, the readout control unit 111 performs photoelectric detection from the right half region r1 of each first pixel P1 of the first image sensor 31 as illustrated in FIGS. The first electrode 311 and the second electrode 312 are designated so that the conversion signal is output.
  • the first generation unit 113 generates first image data from the photoelectric conversion signal.
  • the readout control unit 111 outputs the photoelectric conversion signal from the first electrode 311 and the first electrode 311 so that a photoelectric conversion signal is output from the left half region r2 of each first pixel P1 of the first imaging element 31.
  • Two electrodes 312 are designated.
  • generation part 113 produces
  • the focus detection unit 112 performs focus detection processing by the pupil division phase difference method using the first image data and the second image data, and calculates a defocus amount indicating the focus adjustment state of the imaging optical system 10. Can be calculated.
  • the readout control unit 111 controls the combination of the first electrode 311 and the second electrode 312 so that the incident light is incident from different positions in the depth direction in the subject space.
  • the point image to be formed can be formed on the light receiving surface of the first image sensor 31.
  • the imaging device described in the first and second embodiments and the modifications described above is an electronic device mounted on a smartphone, a tablet, a camera built in a PC, an in-vehicle camera, an unmanned aircraft (such as a drone or a radio control machine). You may apply to a camera etc.
  • the present invention is not limited to the above-described embodiments, and other forms conceivable within the scope of the technical idea of the present invention are also included in the scope of the present invention. .
  • DESCRIPTION OF SYMBOLS 1 ... Digital camera, 10 ... Imaging optical system, 11 ... Control part, 12 ... Imaging part, 31 ... 1st image sensor, 32 ... 2nd image sensor, 111 ... Read-out control part, 112: focus detection unit, 113: first generation unit, 114 ... second generation unit, 115 ... Image generation unit, 310 ... Organic photoelectric film, 311 ... First electrode, 312 ... Second electrode, 400 ... Light receiving part

Abstract

撮像装置は、入射光を受光する受光部の一方の面に設けられた複数の第１電極と、受光部の他方の面に設けられた複数の第２電極とを有する複数の画素と、電圧が印加された第１電極と、第２電極とに挟まれた受光部が入射光を受光して生成した信号を出力する出力部と、を有する。

Description

撮像装置および電子カメラ
　本発明は、撮像装置および電子カメラに関する。
　レンズ光学系の一部に複雑な開口形状を有する異なる複数のマスクを入れ替えて、複数枚のデジタル画像を取得し、高解像度画像やリフォーカス画像を得る技術が知られている（例えば、非特許文献）。しかしながら、複数のマスクを入れ替えて複数回の撮像を行うという煩雑な操作を伴うという問題がある。
Ａ．Ｌｅｖｉｎ，Ｒ．Ｆｅｒｇｕｓ，Ｆ．Ｄｕｒａｎｄ　ａｎｄ　Ｗ．Ｆｒｅｅｍａｎ　"Ｉｍａｇｅ　ａｎｄ　Ｄｅｐｔｈ　ｆｒｏｍ　ａ　Ｃｏｎｖｅｎｔｉｏｎａｌ　Ｃａｍｅｒａ　ｗｉｔｈ　ａ　Ｃｏｄｅｄ　Ａｐｅｒｔｕｒｅ"，ＳＩＧＧＲＡＰＨ　２００７
　第１の態様によれば、撮像装置は、入射光を受光する受光部の一方の面に設けられた複数の第１電極と、前記受光部の他方の面に設けられた複数の第２電極とを有する複数の画素と、電圧が印加された前記第１電極と、前記第２電極とに挟まれた前記受光部が前記入射光を受光して生成した信号を出力する出力部と、を有する。
　第２の態様によれば、第１の態様の撮像装置において、前記第１電極は、前記画素ごとに第１の方向に複数設けられ、前記第２電極は、前記画素ごとに前記第１の方向と交差する第２の方向に複数設けられることが好ましい。
　第３の態様によれば、第１または第２の態様撮像装置において、前記複数の画素を有する第１撮像部と、前記第１撮像部を透過した光を受光する第２撮像部と、前記第１撮像部からの前記信号に基づいて複数の異なる結像面の画像データを生成する画像生成部と、を有することが好ましい。
　第４の態様によれば、第３の態様の撮像装置において、前記出力部は、前記複数の第１電極のうちの少なくとも１つの第１電極と、前記複数の第２電極のうちの少なくとも１つの第２電極とからなる組み合わせを設定し、異なる複数の前記組み合わせを設定するごとに、前記組み合わせに対応する前記受光部が生成した信号を出力し、前記画像生成部は、前記組み合わせごとに出力された前記信号を用いて、前記複数の異なる結像面の画像データを生成することが好ましい。
　第５の態様によれば、第４の態様の撮像装置において、前記出力部は、前記複数の第１電極それぞれに順次電圧を印加するごとに、前記複数の第２電極のそれぞれに対して指定または非指定を行うことによって前記組み合わせを設定し、前記出力部は、前記第１電極に順次電圧を印加するごとに、前記電圧が印加された前記第１電極と、前記指定された第２電極とに挟まれた前記受光部が生成した信号を出力することが好ましい。
　第６の態様によれば、第３乃至第５の何れか一つの態様の撮像装置において、前記画像生成部は、前記第２撮像部からの信号に基づいて、一つの結像面を有する画像データを生成することが好ましい。
　第７の態様によれば、第６の態様の撮像装置において、前記第１撮像部からの信号に基づいて生成された前記画像データと、前記第２撮像部からの信号に基づいて生成された前記画像データとを用いて、前記撮影光学系の焦点調節状態を検出する焦点検出部を備えることが好ましい。
　第８の態様によれば、電子カメラは、第１乃至第７の何れか一つの態様の撮像装置を備える。
[規則91に基づく訂正 23.01.2017]　
第１の実施の形態によるデジタルカメラの構成例を説明するブロック図である。 撮像部の概要を説明する図である。 撮像部の断面の一部を例示する図である。 第１撮像素子の第１電極および第２電極の配置例を模式的に示す図である。 撮像部における一つの画素の回路構成を例示する図である。 第１撮像素子において、指定される第１電極および第２電極と、光電変換信号を出力する受光部との関係を説明する図である。 撮影処理の流れを説明するフローチャートである。 第２の実施の形態によるデジタルカメラの構成例を説明するブロック図である。 （ａ）は焦点検出処理を行う場合に第１撮像素子上で選択される部分領域を模式的に示す図であり、（ｂ）は第１電極および第２電極の組み合わせを模式的に示す図である。 焦点検出処理の流れを説明するフローチャートである。 変形例における第１電極および第２電極の配置例を模式的に示す図である。
－第１の実施の形態－
　図１は、第１の実施の形態による撮像装置の一例であるデジタルカメラ１の要部構成を例示するブロック図である。デジタルカメラ１は、撮影光学系１０と、制御部１１と、撮像部１２と、操作部１３と、液晶モニタ１５と、バッファメモリ１６とを有する。また、デジタルカメラ１には、メモリカード１７が装着されている。
　撮影光学系１０は、複数のレンズにより構成され、撮像部１２の撮像面に被写体像を結像させる。なお、図１においては、図示の都合上、撮影光学系１０を１枚のレンズで代表して表す。
　制御部１１は、マイクロプロセッサおよびその周辺回路から構成され、不図示のＲＯＭに格納された制御プログラムを実行することにより、デジタルカメラ１の各種の制御を行う。また、制御部１１は、読出し制御部１１１と、画像生成部１１５とを機能として備える。読出し制御部１１１は、後述する第１撮像素子３１からの信号（すなわち光電変換信号）の読出しと、後述する第２撮像素子３２からの信号（すなわち光電変換信号）の読出しとを制御する。画像生成部１１５は、読出し制御部１１１により読出された第１撮像素子３１や第２撮像素子３２からの光電変換信号を用いて種々の画像処理を施すことにより画像データを生成する。以下、画像生成部１１５は、第１生成部１１３と第２生成部１１４とを機能として有するものとして説明を行う。第１生成部１１３は、第１撮像素子３１から読み出された光電変換信号を用いて、種々の画像処理を施すことにより画像データを生成する。第２生成部１１４は、第２撮像素子３２から読み出された光電変換信号を用いて、種々の画像処理を施すことにより画像データを生成する。これらの各機能部は、上記の制御プログラムによりソフトウェア的に実装される。なお、これらの各機能部を電子回路により構成することも可能である。
　撮影光学系１０によって撮像部１２上に結像された被写体像は、撮像部１２によって光電変換される。撮像部１２からの出力信号は、不図示のＡ／Ｄ変換部でデジタル画像信号に変換され、バッファメモリ１６に格納される。バッファメモリ１６に格納されたデジタル画像信号は、各種の画像処理が行われた後、液晶モニタ１５に表示されたり、メモリカード１７に格納されたりする。メモリカード１７は、不揮発性のフラッシュメモリ等により構成され、デジタルカメラ１に対して着脱可能である。操作部１３は、レリーズボタンやモード切替ボタンや電源ボタン等の各種の操作ボタンから構成され、撮影者により操作される。操作部１３は、撮影者による上記の各操作ボタンの操作に応じた操作信号を制御部１１へ出力する。
＜撮像部１２の説明＞
　図２（ａ）は、撮像部１２の断面の一部と撮影光学系１０との関係を例示する図であり、図２（ｂ）は、図２（ａ）に示す撮像部１２の断面の一部を拡大して例示する図である。撮像部１２は、半導体基板上に形成された第２撮像素子３２と、有機光電膜３１０を用いた第１撮像素子３１と、マイクロレンズＭＬとを有する。第１撮像素子３１と第２撮像素子３２とは、同一光路上に積層配置されている。第１撮像素子３１の入射光側、即ち第２撮像素子３２とは反対側には、複数のマイクロレンズＭＬが二次元状に配置されたマイクロレンズアレイが平坦化膜を挟んで積層される。第１撮像素子３１は、撮影光学系１０の射出瞳と共役関係を有するように、マイクロレンズＭＬに対して配置される。第１撮像素子３１は、所定の色成分（詳しくは後述する）の光を吸収（光電変換）する有機光電膜３１０で構成される。
　図３は撮像部１２の概要を例示する斜視図である。なお、図３は、撮像部１２の一部を例示する図であり、図示の都合上、マイクロレンズアレイと第１撮像素子３１とを光路に沿った方向に沿って離れた状態で示す。第１撮像素子３１は、二次元状に配置された複数の第１画素Ｐ１を有し、第１画素Ｐ１とマイクロレンズＭＬとは、それぞれ対応する位置、すなわち同一光路上に設けられる。第２撮像素子３２は、Ｓｉ等により構成されるフォトダイオード（半導体素子）である。第２撮像素子３２は、二次元状に配置された複数の第２画素Ｐ２を有し、第２画素Ｐ２とマイクロレンズＭＬとは、それぞれ対応する位置、すなわち同一光路上に設けられる。したがって、図２においても示すように、各マイクロレンズＭＬのそれぞれについて、第１撮像素子３１の第１画素Ｐ１と第２撮像素子３２の第２画素Ｐ２とが同一光路上に設けられる。これにより、マイクロレンズＭＬを透過した光は、同一光路上に配置された第１撮像素子３１の第１画素Ｐ１で一部が吸収される。第１画素Ｐ１で吸収されなかった光は、第１撮像素子３１を透過して、第１画素Ｐ１と同一光路上に配置された第２撮像素子３２の第２画素Ｐ２に入射し、第２撮像素子３２で光電変換される。
　図２に示すように、それぞれの第１画素Ｐ１において、複数の第１電極３１１は有機光電膜３１０の入射光側、即ちマイクロレンズＭＬ側に配置され、複数の第２電極３１２は有機光電膜３１０の出射光側、即ち第２撮像素子３２側に配置される。即ち、第１電極３１１と第２電極３１２とが有機光電膜３１０を挟んで配置されることにより第１撮像素子３１が構成される。第１電極３１１と第２電極３１２とは透明電極である。第１電極３１１と第２電極３１２とは互いに異なる方向に沿って延在する。本実施の形態では、第１電極３１１と第２電極３１２とは互いに直交する。なお、第１電極３１１および第２電極３１２の詳細については、説明を後述する。
　本実施の形態では、詳細を後述するように、１つの第１電極３１１と、１つの第２電極３１２と、これら１つの第１電極３１１および第２電極３１２に挟まれる有機光電膜３１０とが、１つの受光部４００を構成する。１つの第１画素Ｐ１は、複数の第１電極３１１と複数の第２電極３１２とを有するので、１つの第１画素Ｐ１において複数の受光部４００が二次元状に配置される。これにより、各第１画素Ｐ１において、撮影光学系１０の射出瞳の異なる部分領域Ｑ１、Ｑ２を通過した光束を、マイクロレンズＭＬを介して複数の受光部４００で受光することができる（図２（ａ）、図４（ａ）参照）。たとえば、撮影光学系１０の部分領域Ｑ１（図２（ａ））を通過した光束を、受光部４００ａ（図４（ａ））で受光し、撮影光学系１０の部分領域Ｑ２（図２（ａ））を通過した光束を、受光部４００ｂ（図４（ａ））で受光する。
なお、１つのマイクロレンズＭＬに対して１つの第２画素Ｐ２が設けられるものに限定されず、複数の第２画素Ｐ２が設けられても良い。たとえば、図２（ｃ）の撮像部１２の断面の一部を拡大して示す図のように、各第２画素Ｐ２は、第１撮像素子３１の各受光部４００に対応する位置、すなわち被写体光の光路上に沿って設けられれば良い。なお、第２画素Ｐ２が第１撮像素子３１の受光部４００に対応する位置に配置されるものに限定されず、複数の第２画素Ｐ２のそれぞれが所定個数の受光部４００を透過した光を受光するように配置されても良い。
　本実施の形態では、詳細を後述するように、第１画素Ｐ１の複数の受光部４００のうち光電変換信号を出力する受光部４００を指定することにより、ボケの修復や特定位置にピントが合った画像の生成等のリフォーカス処理に必要となる視差情報を得ることができる。即ち、公知のコーデッドアパーチャを撮影光学系の射出瞳位置に挿入することにより得られる画像データを、第１電極３１１と第２電極３１２とを指定し光電変換信号を出力する受光部４００を電気的に指定することにより取得できる。
　撮像部１２に入射した被写体光は、第１撮像素子３１の透明な第１電極３１１を透過して有機光電膜３１０にて光電変換される。すなわち、第１画素Ｐ１に含まれる全ての受光部４００は、被写体からの入射光を受光して光電変換を行う。第１画素Ｐ１の受光部４００のうち、後述するようにして指定された第１電極３１１と指定された第２電極３１２とに挟まれた受光部４００にて光電変換されて生成された光電変換信号は、配線層を介して信号出力端から出力される。第１撮像素子３１で光電変換されなかった光は、第１撮像素子３１を透過して第２撮像素子３２に入射する。第２撮像素子３２は、半導体基板の表面側に入射した光をフォトダイオードにて光電変換し、半導体基板の表面側に形成された配線層を介して光電変換信号を出力する。
　なお、第１撮像素子３１で光電変換される色成分と、第２撮像素子３２で光電変換される色成分とが、補色の関係となるようにすることができる。たとえば、Ｍｇ（マジェンタ）の光を光電変換する第１画素Ｐ１は、Ｍｇの補色であるＧ（グリーン）の光を透過して、第２画素Ｐ２がＧの光を光電変換する。Ｙｅ（イエロー）の光を光電変換する第１画素Ｐ１は、Ｙｅの補色であるＢ（ブルー）の光を透過して、第２画素Ｐ２がＢの光を光電変換する。Ｃｙ（シアン）の光を光電変換する第１画素Ｐ１は、Ｃｙの補色であるＲ（レッド）を透過して、第２画素Ｐ２がＲの光を光電変換する。
　この場合、奇数行の第１画素Ｐ１としてＭｇとＹｅの光を光電変換する第１画素Ｐ１を交互に配置し、偶数行の第１画素Ｐ１としてＣｙとＭｇの光を光電変換する第１画素Ｐ１を交互に配置する。これにより、撮像部１２では、有機光電膜３１０で構成される第１撮像素子３１が第２撮像素子３２に対してカラーフィルターの役割を果たし、第２撮像素子３２から第１撮像素子３１の補色画像が得られる。したがって、撮像部１２では、第１撮像素子３１からはＣｙ、Ｍｇ、Ｙｅの３色からなるＣＭＹ画像を取得することができ、第２撮像素子３２からはＲ、Ｇ、Ｂの３色からなるＲＧＢ画像を取得することができる。
　なお、第１撮像素子３１は有機光電膜３１０を有するものに限定されず、所定の色成分の光を吸収し、他の色成分の光を透過させる特性を有する材料を用いて構成されても良い。
　図４は、１つの第１画素Ｐ１が有する第１電極３１１と第２電極３１２とを模式的に示す平面図である。また、以下の説明では、図４における紙面の左右方向を「行方向」、紙面の上下方向を「列方向」と呼ぶ。
　図４（ａ）に示すように、第１画素Ｐ１において、列方向に延在する複数の第１電極３１１ａ～３１１ｈが、行方向に沿って配置される。行方向に延在する複数の第２電極３１２ａ～３１２ｈが、列方向に沿って配置される。なお、第１電極３１１が行方向に延在し、第２電極３１２が列方向に延在しても良い。また、図４に示す１つの第１画素Ｐ１について設けられる第１電極３１１および第２電極３１２の個数は一例であり、図４に示す個数よりも多くても良いし、少なくても良い。
　複数の第１電極３１１のうち少なくとも１つの第１電極３１１が、読出し制御部１１１からの電極指定信号に従って指定され、電圧が印加される。複数の第２電極３１２のうち少なくとも１つの第２電極３１２が、読出し制御部１１１からの電極指定信号に従って指定され、受光部４００で生成された光電変換信号が読み出される。すなわち、有機光電膜３１０のうち、電圧が供給された第１電極３１１と、指定された第２電極３１２とによって挟まれる一部の領域で光電変換された光電変換信号が、第２電極３１２から出力される。読出し制御部１１１は、電圧が印加された第１電極３１１と、第２電極３１２とに挟まれた受光部４００が生成した信号を出力する出力部として機能する。
　受光部４００は、上述したように、１つの第１電極３１１と、１つの第２電極３１２と、これら１つの第１電極３１１および第２電極３１２に挟まれる有機光電膜３１０とにより構成される。換言すると、受光部４００の一方の面に第１電極３１１が設けられ、受光部４００の他方の面に第２電極３１２が設けられる。したがって、複数の第１画素Ｐ１は、受光部４００の一方の面に設けられた複数の第１電極３１１と、受光部４００の他方の面に設けられた複数の第２電極３１２とを備える。
　なお、図４（ａ）においては、第１電極３１１を、列方向に同一の部材で同一の幅で配置させた。また、第２電極３１２を、行方向に同一で同一の幅で配置させた。しかしこの例に限定されるものではなく、例えば、図４（ｂ）に示すように、列方向に配置された複数の受光部４００に設けられた複数の第１電極３１１を、第１電極３１１とは異なる部材、異なる幅で接続しても良い。同様に、図４（ｃ）に示すように、行方向に配置された複数の第２電極３１２を、第２電極３１２とは異なる部材、異なる幅で接続しても良い。
　また、図４（ａ）に示す例では、第１電極３１１ａ～３１１ｈの行方向の長さ（幅）が互いに等しい場合を示しているが、この例に限定されるものではなく、第１電極３１１ａ～３１１ｈのうち行方向の長さ（幅）が異なるものが含まれていても良い。換言すると、第１電極３１１のうち少なくとも１つの第１電極３１１が他の第１電極３１１に対して幅が異なっていても良いし、全ての第１電極３１１が互いに異なる幅を有していても良い。同様に、第２電極３１２ａ～３１２ｈのうち列方向の長さ（幅）が異なるものが含まれていても良い。
　また、各第１画素Ｐ１ごとに有機光電膜３１０を設けても良いし、各受光部４００ごとに有機光電膜３１０を設けても良い。第１撮像素子３１で光電変換される色成分と、第２撮像素子３２で光電変換される色成分とが、補色の関係となるようにしない場合には、全ての第１画素Ｐ１に同一部材からなる有機光電膜３１０を設けても良い。
　図５は、撮像部１２における１つの第１画素Ｐ１および第２画素Ｐ２の回路構成を例示する図である。第２画素Ｐ２は、フォトダイオードＰＤと、転送トランジスタＴｘと、リセットトランジスタＲ２と、出力トランジスタＳＦ２と、選択トランジスタＳＥＬ２とを有する。フォトダイオードＰＤは、入射光の光量に応じた電荷を蓄積する。転送トランジスタＴｘは、フォトダイオードＰＤに蓄積された電荷を出力トランジスタＳＦ２側の浮遊拡散領域（ＦＤ部）に転送する。出力トランジスタＳＦ２は選択トランジスタＳＥＬ２を介して電流源ＰＷ２とソースホロワを構成し、ＦＤ部に蓄積された電荷に応じた電気信号を出力信号ＯＵＴ２として垂直信号線ＶＬＩＮＥ２に出力する。なお、リセットトランジスタＲ２は、ＦＤ部の電荷を電源電圧Ｖｃｃにリセットする。
　また、第１画素Ｐ１は、有機光電膜３１０と、リセットトランジスタＲ１と、出力トランジスタＳＦ１と、選択トランジスタＳＥＬ１と、指定スイッチＳＷ１１～ＳＷ１ｎと、指定スイッチＳＷ２１～ＳＷ２ｎとを有する（ｎは２以上の自然数）。指定スイッチＳＷ１１～ＳＷ１ｎは、それぞれ第１電極３１１ａ～３１１ｈに応じて設けられ、読出し制御部１１１からの電極指定信号に従って１つがＯＮする。指定スイッチＳＷ２１～ＳＷ２ｎは、それぞれ第２電極３１２ａ～３１２ｈに応じて設けられ、読出し制御部１１１からの電極指定信号に従って１つがＯＮする。有機光電膜３１０は、非透過光を光量に応じた電気信号に変換し、選択トランジスタＳＥＬ１を介して電流源ＰＷ１とソースホロワを構成する出力トランジスタＳＦ１を介して出力信号ＯＵＴ１として垂直信号線ＶＬＩＮＥ１に出力する。なお、リセットトランジスタＲ１は、有機光電膜３１０の出力信号をリファレンス電圧Ｖｒｅｆにリセットする。また、有機光電膜３１０の動作用として高電圧Ｖｐｃが与えられている。各トランジスタはＭＯＳＦＥＴで構成される。
　なお、電源電圧Ｖｃｃとリファレンス電圧Ｖｒｅｆとは同一であってもよい。すなわち、リセットトランジスタＲ１および出力トランジスタＳＦ１を同じ電圧で動作させても良い。
　第２撮像素子３２に係る回路の動作について説明する。まず、選択信号φＳＥＬ２が“Ｈｉｇｈ”になると、選択トランジスタＳＥＬ２がオンする。次に、リセット信号φＲ２が“Ｈｉｇｈ”になると、ＦＤ部で電源電圧Ｖｃｃにリセットされ、出力信号ＯＵＴ２もリセットレベルになる。そして、リセット信号φＲ２が“Ｌｏｗ”になった後、転送信号φＴｘが“Ｈｉｇｈ”になり、フォトダイオードＰＤに蓄積された電荷がＦＤ部に転送され、電荷量に応じた出力信号ＯＵＴ２が垂直信号線ＶＬＩＮＥ２から出力される。垂直信号線ＶＬＩＮＥ２に読み出された各第２画素Ｐ２の出力信号ＯＵＴ２は、不図示の水平出力回路に行毎に一時的に保持された後、撮像部１２から出力される。このようにして、撮像部１２の第２撮像素子３２の各第２画素Ｐ２から信号が読み出される。
　第１撮像素子３１に係る回路の動作について説明する。まず、選択信号φＳＥＬ１が“Ｈｉｇｈ”になると、選択トランジスタＳＥＬ１がオンする。次にリセット信号φＲ１が“Ｈｉｇｈ”になり、出力信号ＯＵＴ１もリセットレベルになる。そして、リセット信号φＲ１が“Ｌｏｗ”になった直後から有機光電膜３１０の電荷蓄積が開始され、電荷量に応じて出力信号ＯＵＴ１が変化する。そして、出力信号ＯＵＴ１が不図示の水平出力回路に行毎に一時的に保持された後、撮像部１２から出力される。このようにして、撮像部１２の第１撮像素子３１の各第１画素Ｐ１から信号が読み出される。
　以上のような回路構成を有することにより、撮像部１２の第１撮像素子３１からは、上述したように、任意の部分領域に含まれる受光部４００から光電変換信号を出力させることができる。
　図６を参照して、指定される第１電極３１１と第２電極３１２とにより、光電変換信号が出力される受光部４００について説明する。例えば、図５（ａ）に示す回路によって、第１電極３１１ａと第２電極３１２ａとが指定されると、受光部４０１１が選択され、受光部４０１１で光電変換された光電変換信号が出力される。また、第１電極３１１ａと第２電極３１２ａおよび３１２ｄとが指定されると、受光部４０１１および４０１４が選択され、受光部４０１１および４０１２で光電変換された光電変換信号が出力される。
　本実施の形態では、指定する第１電極３１１と第２電極３１２との組み合わせに応じて、ボケの修復や特定位置にピントが合った画像の生成等のリフォーカス処理に必要となる視差情報を得ることができる。即ち、公知のコーデッドアパーチャを撮影光学系の射出瞳位置に挿入することにより得られる画像データを、第１電極３１１と第２電極３１２とを指定し光電変換信号を出力する受光部４００を電気的に指定することにより取得できる。たとえば、図６（ｂ）に示すような、公知のコーデッドアパーチャ５００として撮影光学系１０の射出瞳の位置に挿抜される二次元状のコード開口を通過した光に対応する光電変換信号を第１電極３１１と第２電極３１２とによって再現することができる。なお、図６（ｂ）におけるコーデッドアパーチャ５００では、斜線を付した領域５０１が遮光部、斜線を付していない領域５０２が透光部である。図６（ｂ）に示すコーデッドアパーチャ５００を第１撮像素子３１上で再現するために、図６（ｃ）に示すように、第１撮像素子３１上において、領域５０２に相当する受光部４００で光電変換された光電変換信号が出力されるように、第１電極３１１および第２電極３１２が指定され、第１電極３１１に電圧が印加される。なお、図６（ｃ）においては、図示の都合上、領域５０２に相当する受光部４０１２、４０１７、４０２３、４０２４、４０２７、４０３７、４０４１、４０４３、４０４４、４０５２、４０５３、４０５４、４０６２、４０６３、４０６５、４０６７、４０７１、４０７４、４０７５および４０７７に斜線を付して示す。この場合、次のようにして第１電極３１１および第２電極３１２が指定されて、第１電極３１１に電圧が印加されることによって、受光部４００から光電変換信号が出力される。
　まず、第２電極３１２ａに対して第１電極３１１ｂおよび３１１ｇが指定され、全受光部４００で光電変換により生成された光電変換信号のうち、受光部４０１２および４０１７で光電変換された光電変換信号が出力される。続いて、第２電極３１２ｂに対して第１電極３１１ｃ、３１１ｄおよび３１１ｇが指定され電圧が印加されて、受光部４０２３、４０２４および４０２７で光電変換された光電変換信号が出力される。以後、行方向の第２電極３１２が順次指定されるごとに、領域５０２に対応する位置に応じた列方向の第１電極３１１が指定されて電圧が印加され、受光部４００で光電変換された光電変換信号が出力される。換言すると、第２電極３１２が順次指定されるごとに、第１電極３１１のそれぞれに対する指定（すなわち電圧の印加）または非指定（すなわち電圧の非印加）が行われることにより、領域５０２に対応する組み合わせが設定される。そして、指定され電圧が印加された第１電極３１１と、指定された第２電極３１２とを有する受光部４００から光電変換信号が出力される。これにより、各第１画素Ｐ１において、指定する第１電極３１１と第２電極３１２との組み合わせに応じて、第１撮像素子３１の任意の受光部４００に入射した光に対応する光電変換信号を出力させることができる。
　上述したように、第１撮像素子３１は、マイクロレンズＭＬに対して撮影光学系１０の射出瞳と共役の関係を有するので、指定する第１電極３１１と第２電極３１２との組み合わせに応じて第１撮像素子３１の各第１画素Ｐ１から出力される光電変換信号は、射出瞳位置における視差情報を含む。即ち、射出瞳位置にコード開口の異なる複数種のコーデッドアパーチャを挿入するごとに得られる光電変換信号と同等の視差情報を含む光電変換信号を、コーデッドアパーチャを挿抜することなく、第１電極３１１と第２電極３１２との組み合わせを種々異ならせることによって得ることができる。
　なお、上述したように、第１撮像素子３１の各第１画素Ｐ１において受光されない光は透過される。従って、第１電極３１１や第２電極３１２が指定されているか否かに関わらず、有機光電膜３１０で吸収されず、光電変換されなかった光は、有機光電膜３１０を透過して第２撮像素子３２に入射する。
　上述した処理は撮影動作の際に、読出し制御部１１１が、第１撮像素子３１の一部の部分領域に含まれる受光部４００から光電変換信号が出力されるように第１電極３１１および第２電極３１２の組み合わせを設定することにより行われる。第１電極３１１および第２電極３１２の組み合わせを異ならせ、異なる組み合わせ毎に生成される画像データを合成することにより、被写体空間において深さ方向に異なる位置から入射する点像を、第１撮像素子３１の受光面上で結像させた場合と同等の作用を得る。
　この場合、図６（ｂ）に示すようなコーデッドアパーチャ５００に相当するような第１電極３１１と第２電極３１２との組み合わせに関する情報（以後、パターン情報と呼ぶ）が予め所定の記憶領域に記憶されている。パターン情報は、複数のコード開口の形状に応じて複数種が用意されている。読出し制御部１１１は、撮影動作の開始の際に、複数のパターン情報の中から読み出した１つのパターン情報に従って、第１電極３１１と第２電極３１２との組み合わせを設定し、電極指定信号を出力する。例えば、パターン情報が図６（ｂ）に対応する場合には、読出し制御部１１１は、図６（ｃ）にて斜線を付して示した受光部４００から光電変換信号が出力されるように電極指定信号を出力する。従って、第１撮像素子３１の各第１画素Ｐ１について、図６（ｂ）の領域５０２に対応する領域に含まれる受光部４００に入射した光に応じた光電変換信号が得られる。第１生成部１１３は、この光電変換信号を用いて、撮影光学系１０における所定の結像面での像の画像データを生成する。
　以後、同様にして、読出し制御部１１１は、異なるパターン情報ごとに第１電極３１１と第２電極３１２との組み合わせを設定して、第１撮像素子３１から光電変換信号を読み出させる。第１生成部１１３は、異なる第１電極３１１と第２電極３１２との組み合わせに応じて光電変換信号が出力されるごとに画像データを生成することにより、撮影光学系１０における異なる結像面ごとの像の画像データを生成する。第１生成部１１３は、生成した異なる結像面ごとの像の画像データを合成することにより、リフォーカス処理が可能な画像データを生成し、メモリカード１７等の記憶媒体に記憶させる。
　撮影動作時には、各第１画素Ｐ１において有機光電膜３１０の全領域を透過した光が第２撮像素子３２の全領域に入射する。撮影動作の際には、第２撮像素子３２は各第２画素Ｐ２の全領域に入射した光に応じた光電変換信号を生成する。すなわち第２撮像素子３２は、撮影光学系１０によって投射された被写体像を撮像する。第２生成部１１４は生成された光電変換信号に対して画像処理を施して画像データを生成する。すなわち、第２生成部１１４は、第２撮像素子３２からの信号に基づいて、撮影光学系１０における一つの結像面を有する画像データを生成する。第２生成部１１４は、第２撮像素子３２からの光電変換信号から生成した画像データをメモリカード１７等の記憶媒体に記憶させる。
　なお、第１生成部１１３が第１撮像素子３１からの光電変換信号を用いて画像データを生成するものに限定されず、第１撮像素子３１および第２撮像素子３２からの光電変換信号を用いて画像データを生成しても良い。この場合、第１生成部１１３は、上記と同様にして第１撮像素子３１からの光電変換信号を用いて画像データを生成する。さらに、第１生成部１１３は、第２生成部１１４によって第２撮像素子３２からの光電変換信号を用いて生成された画像データから、第１撮像素子３１からの光電変換信号を用いて生成した画像データを差し引いて、新たな画像データを生成する。この結果、例えば図６（ｂ）に示すパターン情報に対応する画像データが第１撮像素子３１からの光電変換信号を用いて生成された場合、遮光部５０１と透過部５０２とが入れ替わった逆パターンのコード開口に対応する画像データを生成することができる。
　図７に示すフローチャートを用いて、第１撮像素子３１からの光電変換信号を用いて異なる複数の結像面ごとの画像データを取得する処理について説明する。図７のフローチャートに示す各処理は、制御部１１が実行する制御プログラムに含まれる。撮影者により所定の焦点検出操作（例えばレリーズボタンを全押しする操作等）が行われると、制御部１１は、図７に示す処理を開始する。
　ステップＳ１１では、パターン情報を読み出して、第１電極３１１と第２電極３１２との組み合わせを設定してステップＳ１２へ進む。リフォーカスのために撮像を行う場合には、複数の組み合わせを設定する。ステップＳ１２では、設定した組み合わせに応じて、第１電極３１１と第２電極３１２とへ電極指定信号を出力してステップＳ１３へ進む。ステップＳ１３では、指定された第１電極３１１と第２電極３１２との組み合わせに従って第１撮像素子３１から光電変換信号を読み出させ、読み出された光電変換信号を用いて画像データを生成してステップＳ１４へ進む。ステップＳ１４では、リフォーカスのために撮像する場合は、第１電極３１１および第２電極３１２の全ての組み合わせが実行されたか否かを判定する。全ての組み合わせが実行された場合には、ステップＳ１４が肯定判定されてステップＳ１５へ進む。全ての組み合わせが実行されていない場合には、ステップＳ１４が否定判定されてステップＳ１１へ戻る。なお、リフォーカスのために必要な画像データの個数は、ユーザによって設定可能に構成されていても良く、全てのパターン情報に対して画像データが生成されなくても良い。ステップＳ１５では、生成された画像データを合成して、記録媒体（不図示）に記録して処理を終了する。
　上述した第１の実施の形態によれば、次の作用効果が得られる。
（１）第１撮像素子３１は、マイクロレンズＭＬごとに配置された複数の受光部４００を有する。受光部４００は、受光した光束を光電変換する有機光電膜３１０と、有機光電膜３１０の一方の面に設けられた第１電極３１１と、有機光電膜３１０の他方の面に設けられた第２電極３１２とを有する。第１電極３１１は、マイクロレンズＭＬごとに列方向に複数配置され、第２電極３１２は、マイクロレンズＭＬごとに行方向に複数配置される。したがって、撮影光学系１０の所定の結像面における像の画像データを生成するために第１撮像素子３１の部分領域から光電変換信号を得る目的のために、コーデッドアパーチャを挿抜する必要が無くなり、利便性を向上させることができる。
（２）読出し制御部１１１は、第１撮像素子３１に対して、複数の第１電極３１１のうちの少なくとも１つの第１電極３１１と、複数の第２電極３１２のうちの少なくとも１つの第２電極３１２とからなる組み合わせを設定し、組み合わせに対応する領域に含まれる受光部４００から光電変換信号を出力させる。読出し制御部１１１は、異なる複数の組み合わせを設定するごとに、組み合わせに対応する領域に含まれる受光部４００から光電変換信号を出力させ、第１生成部１１３は、組み合わせごとに読み出された光電変換信号を用いて、撮影光学系１０の複数の異なる結像面ごとにおける画像データを生成する。したがって、第１電極３１１と第２電極３１２との組み合わせを複数設定し、設定した組み合わせごとに画像データを生成することにより、複数種のコーデッドアパーチャの挿抜を繰り返した場合と同様に撮影光学系１０の異なる結像面ごとにおける画像データを生成できるので、利便性が向上する。さらに、複数種のコーデッドアパーチャの挿抜を繰り返す際に要する時間を短縮できるので、特に動きのある被写体を撮影する場合であっても、大きく位置等がずれた画像データが生成されることを防ぐことができる。
（３）マイクロレンズＭＬごとに配置され、第１撮像素子３１を透過した光束を受光して光電変換信号を出力する第２撮像素子３２を備え、第２生成部１１４は、第２撮像素子３２からの光電変換信号を用いて画像データを生成する。したがって、第１撮像素子３１を用いて、撮影光学系１０の異なる結像面ごとにおける像の画像データを生成しながら、第２撮像素子３２を用いて、通常の撮影動作を行うことができる。さらに、第１生成部１１３は、第２生成部１１４によって生成された画像データから、第１撮像素子３１からの光電変換信号を用いて生成した画像データを差し引いて、新たな画像データを生成することができる。これにより、１フレームの撮影で、異なる２つの結像面ごとの画像データを生成することができるので、撮影時間の短縮に寄与する。
（４）複数の画素Ｐ１は、入射光を受光する受光部４００の一方の面に設けられた複数の第１電極３１１と、受光部４００の他方の面に設けられた複数の第２電極３１２とを有する。読出し制御部１１１は、電圧が印加された第１電極３１１と、第２電極３１２とに挟まれた受光部４００が入射光を受光して生成した信号を出力する。読出し制御部１１１により第１電極３１１と第２電極３１２とに対して印加する電圧が制御されることで、第１撮像素子３１は、ある結像面における像の画像データを生成するための信号を生成することが可能になる。これにより、リフォーカス処理のための画像データを生成する目的のために、コーデッドアパーチャを挿抜する必要が無くなり、利便性を向上させることができる。
（５）デジタルカメラ１は、第１撮像素子３１と、第１撮像素子３１を透過した光を受光する第２撮像素子３２と、第１撮像素子３１からの信号に基づいて複数の異なる結像面の画像データを生成する画像生成部１１５とを備える。画像生成部１１５は、第２撮像素子３２からの信号に基づいて１つの結像面を有する画像データを生成する。これにより、第１撮像素子３１を用いてリフォーカス処理が可能となる異なる結像面の画像データを生成しながら、第２撮像素子３２を用いて通常の撮影動作を行うことができる。
－第２の実施の形態－
　図面を参照して、本発明の第２の実施の形態について説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、第１撮像素子３１および第２撮像素子３２から読み出された光電変換信号を用いて焦点検出処理を可能に構成されている。
　図８のブロック図に示すように、デジタルカメラ１の制御部１１は、焦点検出部１１２を機能として備える。焦点検出部１１２は、第１撮像素子３１および第２撮像素子３２から読み出された光電変換信号に基づいて、周知の瞳分割位相差方式による焦点検出処理を行い、撮影光学系１０の焦点状態を調節する。
　以下、第２の実施の形態において、焦点検出処理を行う場合の処理について説明する。制御部１１の読出し制御部１１１は、第１撮像素子３１の複数の第１電極３１１と複数の第２電極３１２との中から指定する第１電極３１１と第２電極３１２との組み合わせを設定する。
　図９に、焦点検出処理を行う場合に、第１撮像素子３１の各第１画素Ｐ１において、光電変換信号が出力される領域と、第１電極３１１および第２電極３１２の組み合わせとを模式的に示す。
　図９（ａ）は、第１撮像素子３１のうち、光電変換信号が出力される第１画素Ｐ１の部分領域ｒ１を模式的に示す図である。図示のように、一例として、読出し制御部１１１は、第１撮像素子３１の第１画素Ｐ１のうち右側の半分の領域を部分領域ｒ１とするために、第１電極３１１と第２電極３１２との組み合わせを設定する。この場合、図９（ｂ）に示すように、読出し制御部１１１は、第１電極３１１ｅ～３１１ｈと、第２電極３１２ａ～３１２ｈとを指定する。従って、第１撮像素子３１のうち第１電極３１１ｅ～３１１ｈと、第２電極３１２ａ～３１２ｈとの組み合わせに応じた領域、即ち部分領域ｒ１に含まれる受光部４００から光電変換信号が出力される。換言すると、第１撮像素子３１の各第１画素Ｐ１について右側の半分の部分領域ｒ１に入射した光に応じた光電変換信号が出力される。第１生成部１１３は、第１撮像素子３１から出力された上記の光電変換信号から第１画像データを生成する。
　読出し制御部１１１は、第２撮像素子３２から光電変換信号を出力させる。この場合、第１画素Ｐ１の全領域を透過した光が第２撮像素子３２の第２画素Ｐ２の全領域に入射する。これにより、第２撮像素子３２については各第２画素Ｐ２において全領域に入射した光に応じた光電変換信号が出力される。第２生成部１１４は、第２撮像素子３２の各第２画素Ｐ２からの光電変換信号を用いて第２画像データを生成する。制御部１１の焦点検出部１１２は、第１生成部１１３で生成された第１画像データと、第２生成部１１４で生成された第２画像データとを用いて、各画素Ｐについて左側の半分の領域に入射した光に応じた画像データを生成する。この場合、一例として、焦点検出部１１２は、第２撮像素子３２から出力された光電変換信号に基づく第２画像データから第１撮像素子３１から出力された光電変換信号に基づく第１画像データを差し引く。即ち、焦点検出部１１２は、第２画素Ｐ２の全領域に対応する第２画像データから、第１画素Ｐ１の右側の半分の領域に対応する第１画像データを減じることにより、第１画素Ｐ１の左側の半分の領域、即ち図９（ａ）の領域ｒ２に対応する第３画像データを生成する。
　上述したように、第１撮像素子３１は、マイクロレンズＭＬに対して撮影光学系１０と共役の関係を有するので、第１画像データと第３画像データとは異なる射出瞳を通過した光に対応する信号となる。焦点検出部１１２は、第１画像データを第１の焦点検出データとして用い、生成した第３画像データを第２の焦点検出データとして用いることにより、瞳分割位相差方式による焦点検出処理を実行し、撮影光学系１０の焦点調節状態を示すデフォーカス量を算出する。なお、瞳分割位相差方式による焦点検出処理については周知技術であるため、詳細な説明は省略する。
　図１０に示すフローチャートを用いて、制御部１１により実行される焦点検出処理について説明する。図１０のフローチャートに示す各処理は、制御部１１が実行する制御プログラムに含まれる。撮影者により所定の焦点検出操作（例えばレリーズボタンを半押しする操作等）が行われると、制御部１１は、図１０に示す焦点検出処理を開始する。
　ステップＳ１では、各第１画素Ｐ１の右側の半分の領域を部分領域ｒ１とするために、第１電極３１１と第２電極３１２との組み合わせを決定してステップＳ２へ進む。ステップＳ２では、撮像部１２に被写体像を撮像させる、すなわち第１撮像素子３１および第２撮像素子３２から光電変換信号を出力させてステップＳ３へ進む。このとき、第１撮像素子３１に対しては、ステップＳ１で指定された第１電極３１１および第２電極３１２に対して電極指定信号を出力することによって、第１撮像素子３１の各第１画素Ｐ１の部分領域ｒ１に含まれる受光部４００から光電変換信号を出力させる。第１生成部１１３は第１撮像素子３１の各第１画素Ｐ１からの光電変換信号を用いて第１画像データを生成し、第２生成部１１４は第２撮像素子３２の各第２画素Ｐ２からの光電変換信号を用いて第２画像データを生成する。
　ステップＳ３においては、第２画像データと第１画像データとを用いて、第３画像データを生成してステップＳ４へ進む。ステップＳ４では、第１画像データと第３画像データとを用いて、瞳分割位相差方式によりデフォーカス量を算出し、算出したデフォーカス量に基づいてレンズ駆動部（不図示）を制御して、撮影光学系１０のフォーカスレンズを合焦位置へ移動させてステップＳ５へ進む。ステップＳ５では、焦点検出処理の終了が指示されたか否かを判定する。焦点検出処理の終了が指示された場合にはステップＳ５を肯定判定して、制御部１１は焦点検出処理を終了する。焦点検出処理の終了が指示されていない場合には、ステップＳ５を否定判定して、制御部１１は、ステップＳ１へ戻る。
　なお、以上の説明では、第１撮像素子３１の各第１画素Ｐ１の右側を部分領域ｒ１としたが、この例に限定されない。部分領域ｒ１の位置は、例えば、第１撮像素子３１の各第１画素Ｐ１の左側であっても良いし、上部であっても良いし、下部であっても良い。
　なお、第２の実施の形態においても、撮影動作の際には、第１の実施の形態の場合と同様にして、第１電極３１１および第２電極３１２とを指定することにより、撮影光学系１０における異なる結像面ごとの像の画像データを生成する。
　以上で説明した第２の実施の形態によれば、第１の実施の形態により得られる作用効果に加えて、次の作用効果が得られる。
　焦点検出部１１２は、読出し制御部１１１によって設定された組み合わせで読み出された第１撮像素子３１からの光電変換信号に基づく第１画像データを第２撮像素子３２から出力された光電変換信号に基づく第２画像データから差し引いて生成した第３画像データと、第１画像データとを用いて、撮影光学系１０の焦点調節状態を検出する。したがって、焦点検出用の画素を設けることなく、瞳分割式位相差方式による焦点調節が可能となる一対の焦点検出データを得ることができる。
　次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
（１）第１電極３１１と第２電極３１２とがそれぞれ直交するように設けられるものに限定されない。例えば、図１１に示すように、列方向に延在し行方向に沿って配置された第１電極３１１に対して、第２電極３１２が斜め方向に交差するものでも良い。
（２）デジタルカメラ１の撮像部１２が第１撮像素子３１と第２撮像素子３２とを有するものに代えて、第１撮像素子３１のみを有しても良い。この場合も、読出し制御部１１１は、第１電極３１１および第２電極３１２の組み合わせを制御して、第１撮像素子３１の各第１画素Ｐ１の部分領域に含まれる受光部４００に入射した光を光電変換させて光電変換信号を出力させることができる。例えば、焦点検出処理を行う場合には、読出し制御部１１１は、図９（ａ）、（ｂ）に示すように第１撮像素子３１の各第１画素Ｐ１の右側の半分の領域ｒ１から光電変換信号が出力されるように、第１電極３１１および第２電極３１２を指定する。第１生成部１１３は、この光電変換信号から第１画像データを生成する。次フレームの画像を取得する際に、読出し制御部１１１は、第１撮像素子３１の各第１画素Ｐ１の左側の半分の領域ｒ２から光電変換信号が出力されるように第１電極３１１および第２電極３１２を指定する。第１生成部１１３は、この光電変換信号を用いて第２画像データを生成する。そして、焦点検出部１１２は、この第１画像データと第２画像データとを用いて、瞳分割位相差方式により焦点検出処理を実行し、撮影光学系１０の焦点調節状態を示すデフォーカス量を算出することができる。
　また、リフォーカスのために距離情報を得る場合についても、読出し制御部１１１は、第１電極３１１と第２電極３１２との組み合わせを制御することにより、被写体空間において深さ方向に異なる位置から入射する点像を第１撮像素子３１の受光面上で結像させることができる。
（３）上述の第１および第２実施の形態および変形例で説明した撮像装置は、スマートフォン、タブレット、ＰＣに内蔵のカメラ、車載カメラ、無人航空機（ドローン、ラジコン機等）に搭載される電子カメラ等に適用されてもよい。
　本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。
　次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
　日本国特許出願２０１６年第２７３１号（２０１６年１月８日出願）
１…デジタルカメラ、１０…撮影光学系、１１…制御部、１２…撮像部、
３１…第１撮像素子、３２…第２撮像素子、１１１…読出し制御部、
１１２…焦点検出部、１１３…第１生成部、１１４…第２生成部、
１１５…画像生成部、３１０…有機光電膜、３１１…第１電極、
３１２…第２電極、４００…受光部
 
 

Claims (8)

  1. 　入射光を受光する受光部の一方の面に設けられた複数の第１電極と、前記受光部の他方の面に設けられた複数の第２電極とを有する複数の画素と、
    　電圧が印加された前記第１電極と、前記第２電極とに挟まれた前記受光部が前記入射光を受光して生成した信号を出力する出力部と、を有する撮像装置。
  2. 　請求項１に記載の撮像装置において、
    　前記第１電極は、前記画素ごとに第１の方向に複数設けられ、
    　前記第２電極は、前記画素ごとに前記第１の方向と交差する第２の方向に複数設けられる撮像装置。
  3. 　請求項１または２に記載の撮像装置において、
    　前記複数の画素を有する第１撮像部と、
    　前記第１撮像部を透過した光を受光する第２撮像部と、
    　前記第１撮像部からの前記信号に基づいて複数の異なる結像面の画像データを生成する画像生成部と、を有する撮像装置。
  4. 　請求項３に記載の撮像装置において、
    　前記出力部は、前記複数の第１電極のうちの少なくとも１つの第１電極と、前記複数の第２電極のうちの少なくとも１つの第２電極とからなる組み合わせを設定し、異なる複数の前記組み合わせを設定するごとに、前記組み合わせに対応する前記受光部が生成した信号を出力し、
    　前記画像生成部は、前記組み合わせごとに出力された前記信号を用いて、前記複数の異なる結像面の画像データを生成する撮像装置。
  5. 　請求項４に記載の撮像装置において、
    　前記出力部は、前記複数の第１電極それぞれに順次電圧を印加するごとに、前記複数の第２電極のそれぞれに対して指定または非指定を行うことによって前記組み合わせを設定し、
    　前記出力部は、前記第１電極に順次電圧を印加するごとに、前記電圧が印加された前記第１電極と、前記指定された第２電極とに挟まれた前記受光部が生成した信号を出力する撮像装置。
  6. 　請求項３乃至５の何れか一項に記載の撮像装置において、
    　前記画像生成部は、前記第２撮像部からの信号に基づいて、一つの結像面を有する画像データを生成する撮像装置。
  7. 　請求項６に記載の撮像装置において、
    　前記第１撮像部からの信号に基づいて生成された前記画像データと、前記第２撮像部からの信号に基づいて生成された前記画像データとを用いて、撮影光学系の焦点調節状態を検出する焦点検出部を備える撮像装置。
  8. 　請求項１乃至７の何れか一項に記載の撮像装置を有する電子カメラ。
     
PCT/JP2017/000144 2016-01-08 2017-01-05 撮像装置および電子カメラ WO2017119447A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201780014680.4A CN108702472A (zh) 2016-01-08 2017-01-05 摄像装置及电子相机
JP2017560404A JP6607262B2 (ja) 2016-01-08 2017-01-05 撮像素子および撮像装置
US16/068,038 US11012604B2 (en) 2016-01-08 2017-01-05 Image-capturing device and electronic camera

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016002731 2016-01-08
JP2016-002731 2016-01-08

Publications (1)

Publication Number Publication Date
WO2017119447A1 true WO2017119447A1 (ja) 2017-07-13

Family

ID=59274099

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/000144 WO2017119447A1 (ja) 2016-01-08 2017-01-05 撮像装置および電子カメラ

Country Status (4)

Country Link
US (1) US11012604B2 (ja)
JP (2) JP6607262B2 (ja)
CN (1) CN108702472A (ja)
WO (1) WO2017119447A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110326284B (zh) * 2017-03-27 2021-11-30 株式会社尼康 摄像装置及摄像元件

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007282109A (ja) * 2006-04-11 2007-10-25 Nikon Corp 撮像装置、カメラおよび画像処理方法
JP2013145292A (ja) * 2012-01-13 2013-07-25 Nikon Corp 固体撮像装置および電子カメラ
JP2015162562A (ja) * 2014-02-27 2015-09-07 株式会社ニコン 撮像装置およびデジタルカメラ

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6852566B2 (en) * 2003-03-12 2005-02-08 Taiwan Semiconductor Manufacturing Co., Ltd Self-aligned rear electrode for diode array element
JP5451111B2 (ja) * 2008-03-11 2014-03-26 キヤノン株式会社 焦点検出装置およびそれを有する撮像装置
KR101435517B1 (ko) 2008-05-28 2014-08-29 삼성전자주식회사 광검출 분자를 이용한 이미지 센서 및 그 구동방법
US8471939B2 (en) * 2008-08-01 2013-06-25 Omnivision Technologies, Inc. Image sensor having multiple sensing layers
JP2014127545A (ja) * 2012-12-26 2014-07-07 Sony Corp 固体撮像素子およびこれを備えた固体撮像装置
JP2015207594A (ja) * 2014-04-17 2015-11-19 パナソニックＩｐマネジメント株式会社 固体撮像装置
KR102437162B1 (ko) * 2015-10-12 2022-08-29 삼성전자주식회사 이미지 센서

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007282109A (ja) * 2006-04-11 2007-10-25 Nikon Corp 撮像装置、カメラおよび画像処理方法
JP2013145292A (ja) * 2012-01-13 2013-07-25 Nikon Corp 固体撮像装置および電子カメラ
JP2015162562A (ja) * 2014-02-27 2015-09-07 株式会社ニコン 撮像装置およびデジタルカメラ

Also Published As

Publication number Publication date
CN108702472A (zh) 2018-10-23
US20190222741A1 (en) 2019-07-18
JP2020080534A (ja) 2020-05-28
JPWO2017119447A1 (ja) 2018-12-06
JP6607262B2 (ja) 2019-11-20
US11012604B2 (en) 2021-05-18

Similar Documents

Publication Publication Date Title
JP7001080B2 (ja) 撮像装置
JP6848941B2 (ja) 撮像素子および撮像装置
JP5547349B2 (ja) デジタルカメラ
KR101428596B1 (ko) 촬상소자
US10136079B2 (en) Method and apparatus for imaging an object
JP6066593B2 (ja) 撮像システムおよび撮像システムの駆動方法
JP6760486B2 (ja) 撮像装置
JP6207293B2 (ja) 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
JP6607262B2 (ja) 撮像素子および撮像装置
JP6929511B2 (ja) 撮像素子、及び、撮像装置
JP5871535B2 (ja) 撮像装置及び撮像装置の制御方法
JP7095774B2 (ja) 撮像素子および撮像装置
JP2018046563A (ja) 撮像素子
JP5730419B2 (ja) 撮像装置
JP2014232899A (ja) 固体撮像装置及びデジタルカメラ
JP6289515B2 (ja) 撮像装置及び撮像装置の制御方法
JP5961720B2 (ja) 撮像装置
JP2016057456A (ja) レンズ装置及び撮像装置
JP2013127532A (ja) 撮像装置およびその制御方法
JP2014215526A (ja) 撮像素子およびカメラ

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17735984

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2017560404

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17735984

Country of ref document: EP

Kind code of ref document: A1