WO2018198690A1 - 固体撮像装置および固体撮像装置の制御方法 - Google Patents

固体撮像装置および固体撮像装置の制御方法 Download PDF

Info

Publication number
WO2018198690A1
WO2018198690A1 PCT/JP2018/014212 JP2018014212W WO2018198690A1 WO 2018198690 A1 WO2018198690 A1 WO 2018198690A1 JP 2018014212 W JP2018014212 W JP 2018014212W WO 2018198690 A1 WO2018198690 A1 WO 2018198690A1
Authority
WO
WIPO (PCT)
Prior art keywords
solid
imaging device
state imaging
iris
unit
Prior art date
Application number
PCT/JP2018/014212
Other languages
English (en)
French (fr)
Inventor
亮 広野
泰 斎藤
智哉 竹田
小野　博明
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US16/605,362 priority Critical patent/US11317044B2/en
Priority to CN201880026192.XA priority patent/CN110537198A/zh
Priority to EP18792131.7A priority patent/EP3617988A4/en
Publication of WO2018198690A1 publication Critical patent/WO2018198690A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14634—Assemblies, i.e. Hybrid structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14636—Interconnect structures
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02S—GENERATION OF ELECTRIC POWER BY CONVERSION OF INFRARED RADIATION, VISIBLE LIGHT OR ULTRAVIOLET LIGHT, e.g. USING PHOTOVOLTAIC [PV] MODULES
    • H02S50/00—Monitoring or testing of PV systems, e.g. load balancing or fault identification
    • H02S50/10—Testing of PV devices, e.g. of PV modules or single PV cells
    • H02S50/15—Testing of PV devices, e.g. of PV modules or single PV cells using optical means, e.g. using electroluminescence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/50—Photovoltaic [PV] energy

Definitions

  • the present disclosure relates to a solid-state imaging device and a control method for the solid-state imaging device.
  • the human eyeball is imaged, and the iris information in the eyeball is acquired from the captured image.
  • setting of the imaging conditions such as exposure and shutter speed suitable for iris authentication Is required to be performed at high speed.
  • the present disclosure proposes a new and improved solid-state imaging device and control method capable of setting an imaging condition optimal for iris authentication at high speed.
  • a pixel array in which pixels are arranged on a matrix
  • an iris authentication unit that extracts iris information used in iris authentication processing from image data obtained by photoelectric conversion from the pixel array, and the iris information
  • a solid-state imaging device comprising: an imaging condition control unit that performs control for setting imaging conditions when obtaining the image data for the iris authentication process using information obtained in the extraction process.
  • it further includes: a first semiconductor substrate on which at least a pixel array is formed; and a second semiconductor substrate on which at least a logic circuit is formed bonded to the first semiconductor substrate, the pixel array comprising: Pixels are arranged on a matrix to output image data, and the logic circuit controls exposure or focus based on an iris authentication unit that extracts iris information from the image data and a result of the iris authentication unit.
  • An imaging condition control unit is provided.
  • the iris information used in the iris authentication process is extracted from the image data obtained by photoelectric conversion from the pixel array in which the pixels are arranged on the matrix, and obtained in the process of extracting the iris information.
  • a control method for a solid-state imaging device is provided, including performing control to set an imaging condition when obtaining the image data for the iris authentication process using information.
  • FIG. 12 is a cross-sectional view illustrating a first configuration example of a stacked solid-state imaging device 23020.
  • FIG. 11 is a cross-sectional view illustrating a second configuration example of a stacked solid-state imaging device 23020. It is sectional drawing which shows the 3rd structural example of the lamination type solid-state imaging device 23020. It is a figure which shows the other structural example of the lamination type solid-state imaging device which can apply the technique which concerns on this indication.
  • FIG. 3 is an explanatory diagram illustrating a functional configuration example of a solid-state imaging element according to a first embodiment of the present disclosure.
  • FIG. 4 is an explanatory diagram illustrating a circuit configuration example of a clip circuit according to the embodiment.
  • FIG. 3 is an explanatory diagram illustrating a circuit configuration example of a reference signal generation unit, a current source, and a comparator according to the embodiment.
  • FIG. It is explanatory drawing which shows the operation
  • FIG. 3 is a flowchart showing an operation example of the solid-state imaging device according to the embodiment. It is explanatory drawing which shows the comparative example of the embodiment. It is explanatory drawing which shows the structural example of the information processing apparatus provided with the solid-state imaging device concerning the embodiment. It is explanatory drawing which shows the example of the screen displayed on the display of information processing apparatus. It is explanatory drawing which shows the structural example of the information processing apparatus provided with the solid-state imaging device concerning the embodiment. It is explanatory drawing which shows the structural example of the information processing apparatus which concerns on the same embodiment.
  • FIG. 1 illustrates a schematic configuration of a CMOS solid-state imaging device as an example of a configuration of a solid-state imaging device according to an embodiment of the present disclosure.
  • This CMOS solid-state imaging device is applied to the solid-state imaging device of each embodiment.
  • the solid-state imaging device 1 of this example includes a pixel array (a so-called pixel) in which pixels 2 including a plurality of photoelectric conversion units are regularly arranged in a semiconductor substrate 11, for example, a silicon substrate. Region) 3 and a peripheral circuit portion.
  • the pixel 2 includes, for example, a photodiode serving as a photoelectric conversion unit and a plurality of pixel transistors (so-called MOS transistors).
  • the plurality of pixel transistors can be constituted by three transistors, for example, a transfer transistor, a reset transistor, and an amplification transistor.
  • a selection transistor may be added to configure the transistor with four transistors.
  • An example of an equivalent circuit of the unit pixel will be described later separately.
  • the pixel 2 can be configured as one unit pixel. Further, the pixel 2 may have a shared pixel structure. This shared pixel structure includes a plurality of photodiodes, a plurality of transfer transistors, a shared floating diffusion, and a shared other pixel transistor. That is, in the shared pixel, a photodiode and a transfer transistor that constitute a plurality of unit pixels are configured by sharing each other pixel transistor.
  • the peripheral circuit section includes a vertical drive circuit 4, a column signal processing circuit 5, a horizontal drive circuit 6, an output circuit 7, a control circuit 8, and the like.
  • the control circuit 8 receives an input clock and data for instructing an operation mode, and outputs data such as internal information of the solid-state imaging device. That is, the control circuit 8 generates a clock signal and a control signal that serve as a reference for operations of the vertical drive circuit 4, the column signal processing circuit 5, and the horizontal drive circuit 6 based on the vertical synchronization signal, the horizontal synchronization signal, and the master clock. To do. These signals are input to the vertical drive circuit 4, the column signal processing circuit 5, the horizontal drive circuit 6, and the like.
  • the vertical drive circuit 4 is constituted by, for example, a shift register, selects a pixel drive wiring, supplies a pulse for driving the pixel to the selected pixel drive wiring, and drives the pixels in units of rows. That is, the vertical drive circuit 4 sequentially scans each pixel 2 of the pixel array 3 in the vertical direction sequentially in units of rows, and responds to the amount of light received by, for example, a photodiode serving as a photoelectric conversion unit of each pixel 2 through the vertical signal line 9. A pixel signal based on the generated signal charge is supplied to the column signal processing circuit 5.
  • the column signal processing circuit 5 is arranged for each column of the pixels 2, for example, and performs signal processing such as noise removal on the signal output from the pixels 2 for one row for each pixel column. That is, the column signal processing circuit 5 performs signal processing such as CDS, signal amplification, and AD conversion for removing fixed pattern noise unique to the pixel 2.
  • a horizontal selection switch (not shown) is connected to the horizontal signal line 10 at the output stage of the column signal processing circuit 5.
  • the horizontal drive circuit 6 is constituted by, for example, a shift register, and sequentially outputs horizontal scanning pulses to select each of the column signal processing circuits 5 in order, and the pixel signal is output from each of the column signal processing circuits 5 to the horizontal signal line. 10 to output.
  • the output circuit 7 performs signal processing on the signals sequentially supplied from each of the column signal processing circuits 5 through the horizontal signal line 10 and outputs the signals. For example, only buffering may be performed, or black level adjustment, column variation correction, various digital signal processing, and the like may be performed.
  • the input / output terminal 12 exchanges signals with the outside.
  • FIG. 2 is a diagram illustrating an outline of a configuration example of a stacked solid-state imaging device to which the technology according to the present disclosure can be applied.
  • FIG. 2A shows a schematic configuration example of a non-stacked solid-state imaging device.
  • the solid-state imaging device 23010 includes a single die (semiconductor substrate) 23011 as shown in FIG.
  • the die 23011 is mounted with a pixel region 23012 in which pixels are arranged in an array, a control circuit 23013 for driving the pixel and other various controls, and a logic circuit 23014 for signal processing.
  • the solid-state imaging device 23020 is configured as one semiconductor chip in which two dies, a sensor die 23021 and a logic die 23024, are stacked and electrically connected.
  • the sensor die 23021 has a pixel region 23012 and a control circuit 23013 mounted thereon, and the logic die 23024 has a logic circuit 23014 including a signal processing circuit for performing signal processing.
  • the pixel region 23012 is mounted on the sensor die 23021, and the control circuit 23013 and the logic circuit 23014 are mounted on the logic die 23024.
  • FIG. 3 is a cross-sectional view showing a first configuration example of a stacked solid-state imaging device 23020.
  • a PD photodiode
  • an FD floating diffusion
  • a Tr MOS FET
  • a Tr serving as a control circuit 23013, and the like constituting a pixel serving as a pixel region 23012 are formed.
  • the sensor die 23021 is formed with a wiring layer 23101 having a plurality of layers, in this example, three layers of wiring 23110.
  • the control circuit 23013 (which is the Tr) can be configured not on the sensor die 23021 but on the logic die 23024.
  • a Tr constituting the logic circuit 23014 is formed. Further, the logic die 23024 is formed with a wiring layer 23161 having a plurality of layers 23170 in this example. In the logic die 23024, a connection hole 23171 having an insulating film 23172 formed on the inner wall surface is formed, and a connection conductor 23173 connected to the wiring 23170 and the like is embedded in the connection hole 23171.
  • the sensor die 23021 and the logic die 23024 are bonded together so that the wiring layers 23101 and 23161 face each other, thereby forming a stacked solid-state imaging device 23020 in which the sensor die 23021 and the logic die 23024 are stacked.
  • a film 23191 such as a protective film is formed on the surface where the sensor die 23021 and the logic die 23024 are bonded.
  • connection hole 23111 is formed which penetrates the sensor die 23021 from the back side (side where light enters the PD) (upper side) of the sensor die 23021 to reach the uppermost wiring 23170 of the logic die 23024.
  • a connection hole 23121 is formed in the sensor die 23021 in the vicinity of the connection hole 23111 so as to reach the first layer wiring 23110 from the back surface side of the sensor die 23021.
  • An insulating film 23112 is formed on the inner wall surface of the connection hole 23111, and an insulating film 23122 is formed on the inner wall surface of the connection hole 23121.
  • Connection conductors 23113 and 23123 are embedded in the connection holes 23111 and 23121, respectively.
  • connection conductor 23113 and the connection conductor 23123 are electrically connected on the back side of the sensor die 23021, whereby the sensor die 23021 and the logic die 23024 are connected to the wiring layer 23101, the connection hole 23121, the connection hole 23111, and the wiring layer. Electrical connection is established via 23161.
  • FIG. 4 is a cross-sectional view showing a second configuration example of the stacked solid-state imaging device 23020.
  • the sensor die 23021 (the wiring layer 23101 (the wiring 23110)) and the logic die 23024 (the wiring layer 23161 (the wiring thereof) are formed by one connection hole 23211 formed in the sensor die 23021. 23170)) are electrically connected.
  • connection hole 23211 is formed so as to penetrate the sensor die 23021 from the back side of the sensor die 23021 to reach the uppermost layer wiring 23170 of the logic die 23024 and to reach the uppermost layer wiring 23110 of the sensor die 23021. Is done.
  • An insulating film 23212 is formed on the inner wall surface of the connection hole 23211, and a connection conductor 23213 is embedded in the connection hole 23211.
  • the sensor die 23021 and the logic die 23024 are electrically connected through the two connection holes 23111 and 23121.
  • the sensor die 23021 and the logic die 23024 are connected through the single connection hole 23211. Electrically connected.
  • FIG. 5 is a cross-sectional view showing a third configuration example of the stacked solid-state imaging device 23020.
  • the solid-state imaging device 23020 in FIG. 5 is provided on the surface on which the sensor die 23021 and the logic die 23024 are bonded together in that the film 23191 such as a protective film is not formed on the surface on which the sensor die 23021 and the logic die 23024 are bonded.
  • 3 is different from the case of FIG. 3 in which a film 23191 such as a protective film is formed.
  • the sensor die 23021 and the logic die 23024 are superposed so that the wirings 23110 and 23170 are in direct contact, and heated while applying a required weight, thereby directly joining the wirings 23110 and 23170. Composed.
  • FIG. 6 is a cross-sectional view illustrating another configuration example of the stacked solid-state imaging device to which the technology according to the present disclosure can be applied.
  • the solid-state imaging device 23401 has a three-layer stacked structure in which three dies of a sensor die 23411, a logic die 23412, and a memory die 23413 are stacked.
  • the memory die 23413 includes, for example, a memory circuit that stores data temporarily required for signal processing performed by the logic die 23412.
  • the logic die 23412 and the memory die 23413 are stacked in that order under the sensor die 23411. Can be laminated under 23411.
  • the sensor die 23411 is formed with a PD serving as a photoelectric conversion unit of the pixel and a source / drain region of the pixel Tr.
  • a gate electrode is formed around the PD via a gate insulating film, and a pixel Tr23421 and a pixel Tr23422 are formed by a source / drain region paired with the gate electrode.
  • the pixel Tr23421 adjacent to the PD is the transfer Tr, and one of the pair of source / drain regions constituting the pixel Tr23421 is FD.
  • an interlayer insulating film is formed in the sensor die 23411, and a connection hole is formed in the interlayer insulating film.
  • a connection hole is formed in the connection hole, a pixel Tr23421 and a connection conductor 23431 connected to the pixel Tr23422 are formed.
  • the sensor die 23411 is formed with a wiring layer 23433 having a plurality of layers of wirings 23432 connected to the respective connection conductors 23431.
  • an aluminum pad 23434 serving as an electrode for external connection is formed in the lowermost layer of the wiring layer 23433 of the sensor die 23411.
  • the aluminum pad 23434 is formed at a position closer to the bonding surface 23440 with the logic die 23412 than to the wiring 23432.
  • the aluminum pad 23434 is used as one end of a wiring related to signal input / output with the outside.
  • a contact 23441 used for electrical connection with the logic die 23412 is formed on the sensor die 23411.
  • the contact 23441 is connected to the contact 23451 of the logic die 23412 and also to the aluminum pad 23442 of the sensor die 23411.
  • a pad hole 23443 is formed so as to reach the aluminum pad 23442 from the back side (upper side) of the sensor die 23411.
  • the technology according to the present disclosure can be applied to the solid-state imaging device as described above.
  • Cu copper
  • FIG. 5 a configuration in which the wirings (for example, the wirings 23110 and 23170 shown in FIG. 5) are directly joined between the sensor dies stacked on each other is also referred to as “Cu—Cu joining”.
  • FIG. 7 is a block diagram illustrating an example of a partial functional configuration of the solid-state imaging device according to an embodiment of the present disclosure.
  • the solid-state imaging device 1 illustrated in FIG. 7 is an imaging element that captures a subject and obtains digital data of the captured image, such as a complementary metal oxide semiconductor (CMOS) image sensor or a charge coupled device (CCD) image sensor. .
  • CMOS complementary metal oxide semiconductor
  • CCD charge coupled device
  • the solid-state imaging device 1 includes a control unit 101, a pixel array unit 111, a selection unit 112, an A / D conversion unit (ADC (Analog Digital Converter)) 113, and a constant current circuit unit 114. .
  • ADC Analog Digital Converter
  • the control unit 101 controls each unit of the solid-state imaging device 1 to execute processing related to reading of image data (pixel signal).
  • the pixel array unit 111 is a pixel region in which pixel configurations having photoelectric conversion elements such as photodiodes are arranged in a matrix (array).
  • the pixel array unit 111 is controlled by the control unit 101 to receive the light of the subject at each pixel, photoelectrically convert the incident light to accumulate charges, and store the charges accumulated in each pixel at a predetermined timing. Output as a pixel signal.
  • the pixel 121 and the pixel 122 indicate two pixels that are adjacent in the vertical direction in the pixel group arranged in the pixel array unit 111.
  • the pixel 121 and the pixel 122 are pixels in consecutive rows in the same column.
  • a photoelectric conversion element and four transistors are used in the circuit of each pixel.
  • the circuit configuration of each pixel is arbitrary and may be other than the example shown in FIG.
  • output lines for pixel signals are provided for each column.
  • two (two systems) output lines are provided for each column.
  • the circuit of the pixel in one column is alternately connected to these two output lines every other row.
  • the circuit of the pixel 121 is connected to the first output line (VSL1)
  • the circuit of the pixel 122 is connected to the second output line (VSL2).
  • FIG. 7 only one output line for one column is shown for convenience of explanation, but actually, two output lines are provided for each column in the same manner. Each output line is connected to every other row of pixel circuits in that column.
  • the selection unit 112 includes a switch that connects each output line of the pixel array unit 111 to the input of the ADC 113, and is controlled by the control unit 101 to control connection between the pixel array unit 111 and the ADC 113. That is, the pixel signal read from the pixel array unit 111 is supplied to the ADC 113 via the selection unit 112.
  • the selection unit 112 includes a switch 131, a switch 132, and a switch 133.
  • the switch 131 (selection SW) controls connection of two output lines corresponding to the same column. For example, the first output line (VSL1) and the second output line (VSL2) are connected when the switch 131 is turned on (ON), and disconnected when the switch 131 is turned off (OFF).
  • one ADC is provided for each output line (column ADC). Therefore, if both the switch 132 and the switch 133 are in the on state, when the switch 131 is in the on state, the two output lines of the same column are connected, so that the circuit of one pixel is connected to the two ADCs. Will be. Conversely, when the switch 131 is turned off, the two output lines in the same column are disconnected, and the circuit of one pixel is connected to one ADC. That is, the switch 131 selects the number of ADCs (column ADCs) that are output destinations of signals of one pixel.
  • the solid-state imaging device 1 outputs more various pixel signals according to the number of ADCs by controlling the number of ADCs to which the pixel signals are output by the switch 131 in this way. be able to. That is, the solid-state imaging device 1 can realize more various data outputs.
  • the switch 132 controls the connection between the first output line (VSL1) corresponding to the pixel 121 and the ADC corresponding to the output line.
  • VSL1 first output line
  • ADC ADC corresponding to the output line.
  • the switch 133 controls the connection between the second output line (VSL2) corresponding to the pixel 122 and the ADC corresponding to the output line.
  • VSL2 the second output line
  • ADC the ADC corresponding to the output line.
  • the selection unit 112 can control the number of ADCs (column ADCs) that are output destinations of signals of one pixel by switching the states of the switches 131 to 133 according to the control of the control unit 101. .
  • each output line may be always connected to the ADC corresponding to the output line.
  • the selection of the number of ADCs (column ADCs) that are the output destinations of signals of one pixel is expanded by enabling these switches to control connection / disconnection of these pixels. That is, by providing these switches, the solid-state imaging device 1 can output more various pixel signals.
  • the selection unit 112 has the same configuration as that shown in FIG. 133). That is, the selection unit 112 performs connection control similar to that described above for each column according to the control of the control unit 101.
  • the ADC 113 A / D converts each pixel signal supplied from the pixel array unit 111 via each output line, and outputs it as digital data.
  • the ADC 113 includes an ADC (column ADC) for each output line from the pixel array unit 111. That is, the ADC 113 has a plurality of column ADCs.
  • a column ADC corresponding to one output line is a single slope type ADC having a comparator, a D / A converter (DAC), and a counter.
  • the comparator compares the DAC output with the signal value of the pixel signal.
  • the counter increments the count value (digital value) until the pixel signal and the DAC output become equal.
  • the comparator stops the counter when the DAC output reaches the signal value. Thereafter, the signals digitized by the counters 1 and 2 are output to the outside of the solid-state imaging device 1 from DATA1 and DATA2.
  • the counter returns the count value to the initial value (for example, 0) after outputting the data for the next A / D conversion.
  • the ADC 113 has two column ADCs for each column. For example, a comparator 141 (COMP1), a DAC 142 (DAC1), and a counter 143 (counter 1) are provided for the first output line (VSL1), and a comparison is made for the second output line (VSL2). A device 151 (COMP2), a DAC 152 (DAC2), and a counter 153 (counter 2) are provided. Although not shown, the ADC 113 has the same configuration for output lines of other columns.
  • the DAC can be shared among these configurations. DAC sharing is performed for each system. That is, DACs of the same system in each column are shared. In the example of FIG. 7, the DAC corresponding to the first output line (VSL1) of each column is shared as the DAC 142, and the DAC corresponding to the second output line (VSL2) of each column is shared as the DAC 152. ing. Note that a comparator and a counter are provided for each output line system.
  • the constant current circuit unit 114 is a constant current circuit connected to each output line, and is driven by being controlled by the control unit 101.
  • the circuit of the constant current circuit unit 114 includes, for example, a MOS (Metal Oxide Semiconductor) transistor or the like.
  • MOS Metal Oxide Semiconductor
  • FIG. 7 for convenience of explanation, a MOS transistor 161 (LOAD1) is provided for the first output line (VSL1), and for the second output line (VSL2).
  • LOAD2 MOS transistor 162
  • the control unit 101 receives a request from the outside such as a user, selects a read mode, controls the selection unit 112, and controls connection to the output line. Further, the control unit 101 controls driving of the column ADC according to the selected read mode. Further, in addition to the column ADC, the control unit 101 controls driving of the constant current circuit unit 114 as necessary, and controls driving of the pixel array unit 111 such as a reading rate and timing. .
  • control unit 101 can operate not only the selection unit 112 but also each unit other than the selection unit 112 in more various modes. Therefore, the solid-state imaging device 1 can output more various pixel signals.
  • each part shown in FIG. 7 is arbitrary as long as there is no shortage.
  • three or more output lines may be provided for each column.
  • the number of pixel signals output in parallel to the outside may be increased by increasing the number of parallel pixel signals output from the ADC 132 or the number of ADCs 132 themselves shown in FIG.
  • FIG. 8 is a diagram illustrating an example of a circuit configuration of a unit pixel according to an embodiment of the present disclosure.
  • the unit pixel 121 includes a photoelectric conversion unit, for example, a photodiode PD and four pixel transistors.
  • the four pixel transistors are, for example, a transfer transistor Tr11, a reset transistor Tr12, an amplification transistor Tr13, and a selection transistor Tr14.
  • These pixel transistors can be composed of, for example, n-channel MOS transistors.
  • the transfer transistor Tr11 is connected between the cathode of the photodiode PD and the floating diffusion portion FD.
  • the signal charges (here, electrons) that have been photoelectrically converted by the photodiode PD and stored therein are transferred to the floating diffusion portion FD when a transfer pulse ⁇ TRG is applied to the gate.
  • Reference symbol Cfd schematically shows the parasitic capacitance of the floating diffusion portion FD.
  • the reset transistor Tr12 has a drain connected to the power supply VDD and a source connected to the floating diffusion portion FD. Prior to the transfer of signal charges from the photodiode PD to the floating diffusion portion FD, the potential of the floating diffusion portion FD is reset by applying a reset pulse ⁇ RST to the gate.
  • the amplification transistor Tr13 has a gate connected to the floating diffusion portion FD, a drain connected to the power supply VDD, and a source connected to the drain of the selection transistor Tr14.
  • the amplification transistor Tr13 outputs the potential of the floating diffusion portion FD after being reset by the reset transistor Tr12 to the selection transistor Tr14 as a reset level. Further, the amplification transistor Tr13 outputs the potential of the floating diffusion portion FD after the signal charge is transferred by the transfer transistor Tr11 as a signal level to the selection transistor Tr14.
  • the selection transistor Tr14 has a drain connected to the source of the amplification transistor Tr13 and a source connected to the vertical signal line 9.
  • the selection pulse ⁇ SEL is applied to the gate of the selection transistor Tr14, the selection transistor Tr14 is turned on, and the signal output from the amplification transistor Tr13 is output to the vertical signal line 9.
  • the selection transistor Tr14 may be configured to be connected between the power supply VDD and the drain of the amplification transistor Tr13.
  • the solid-state imaging device 1 is configured as a stacked solid-state imaging device
  • elements such as a photodiode and a plurality of MOS transistors are provided in the sensor die 23021 in FIG. It is formed. Further, the transfer pulse, reset pulse, selection pulse, and power supply voltage are supplied from the logic die 23024 in B or C of FIG. Further, the elements subsequent to the vertical signal line 9 connected to the drain of the selection transistor are configured in the logic circuit 23014, and the elements subsequent to the vertical signal line 9 connected to the drain of the selection transistor are configured in the logic die 23024. Formed.
  • the solid-state imaging device 1 internally completes the encryption process using the unique information without outputting the unique information to the outside.
  • FIG. 9 is an explanatory diagram illustrating a functional configuration example of the solid-state imaging element according to the first embodiment of the present disclosure.
  • FIG. 9 shows an example of a functional configuration of the solid-state imaging device 1 that internally completes an encryption process using unique information.
  • FIG. 9 a functional configuration example of the solid-state imaging device according to the first embodiment of the present disclosure will be described using FIG. 9.
  • the solid-state imaging device 1 includes pixels that include a drive control unit 210, an imaging unit 212, and a unique information generation unit 214, which are configured in predetermined rows and columns.
  • the array unit 211, the clip circuit 215, the reference signal generation unit 216, the current source 217, the detection unit 218, the eigenvalue calculation unit 220, the encryption unit 222, and the communication control unit 224 are configured.
  • the drive control unit 210 generates a signal for driving an imaging unit 212 and a specific information generation unit 214 (to be described later) based on a predetermined input clock and data, and drives the imaging unit 212 and the specific information generation unit 214.
  • the drive control unit 210 may include, for example, the control circuit 8, the vertical drive circuit 4, and the horizontal drive circuit 6 in the configuration of the solid-state imaging device 1 described with reference to FIG.
  • the drive controller 210 can be provided in the control circuit 23013 shown in FIG.
  • the drive control unit 210 may have a function of switching between driving of the imaging unit 212 and driving of the unique information generation unit 214 when driving the pixel array unit 211. Since the drive control unit 210 has a function of switching between driving of the imaging unit 212 and driving of the unique information generating unit 214, the circuit of the imaging unit 212 and the unique information generating unit 214 can be shared. Further, since the drive control unit 210 has a function of switching between driving of the imaging unit 212 and driving of the unique information generating unit 214, a special element for generating unique information is not required, and the eigenvalue is difficult to analyze.
  • the drive control unit 210 may have a function of separating an element to be driven when outputting an image and an element to be driven to detect element specific information in the pixel array unit 211. Since the drive control unit 210 has a function of separating an element to be driven when outputting an image and an element to be driven to detect element specific information, the element specific information is not leaked.
  • the drive control unit 210 may perform control to drive with a bias current different from that used to output an image when driving for detecting element-specific information.
  • the drive control unit 210 is controlled to drive with a bias current different from the driving for outputting an image, so that it is suitable for stably obtaining an eigenvalue. Drive becomes possible.
  • the MOS transistor 161 (LOAD1) and the MOS transistor 162 (LOAD2) in the circuit shown in FIG. 7 are driven for detecting element-specific information and driving for outputting an image. Change at the time of.
  • the drive control unit 210 performs control to drive with a bias current corresponding to the chip temperature of the solid-state imaging device 1 when performing drive for detecting element-specific information with a bias current different from the drive for outputting an image. You may do it.
  • the pixel array unit 211 has unit pixels arranged in predetermined rows and columns, and is configured to output data by a source follower circuit.
  • the imaging unit 212 has a pixel array in which pixels including a plurality of photoelectric conversion units are arranged in a two-dimensional array, and is driven by the drive control unit 210 to output an analog signal.
  • the circuit configuration of each pixel in the imaging unit 212 is, for example, as shown in FIG.
  • the unique information generation unit 214 for example, circuits having the same configuration as the pixels provided in the imaging unit 212 are arranged one-dimensionally, and are driven by the drive control unit 210 to output an analog signal.
  • the circuit formed as the unique information generation unit 214 may be manufactured in substantially the same manufacturing process as the pixels provided in the imaging unit 212. Further, the drive control unit 210 may switch between driving of the imaging unit 212 and driving of the unique information generation unit 214.
  • the unique information generation unit 214 may be a pixel provided in an optical black (OPB) region in the pixel array. Each element in the circuit configured as the unique information generation unit 214 has physical variations during manufacturing. In the solid-state imaging device 1 according to the first embodiment of the present disclosure, the analog signal output by the unique information generation unit 214 is based on information that cannot be specifically copied (element unique information).
  • the photodiode PD has a noise component due to crystal defects during manufacturing. Crystal defects cause dark current variations. Crystal defects appear as fixed pattern noise.
  • the selection transistor SEL has a noise component due to variations in the threshold voltage Vth.
  • the variation in the threshold voltage Vth is caused by structural factors such as an oxide film, a channel width, a channel length, and impurities.
  • the variation in the threshold voltage Vth appears as fixed pattern noise.
  • the reset transistor RST also has a noise component due to variations in the threshold voltage Vth.
  • the variation in the threshold voltage Vth is caused by structural factors such as an oxide film, a channel width, a channel length, and impurities.
  • the variation in the threshold voltage Vth appears as fixed pattern noise.
  • the floating diffusion portion FD has a noise component due to crystal defects during manufacturing. Crystal defects cause dark current variations. Crystal defects appear as fixed pattern noise.
  • kTC noise reset noise
  • This kTC noise is temporarily generated.
  • feedthrough appears in the floating diffusion portion FD. This feedthrough is caused by parasitic capacitance variations and thresholds, and appears as fixed pattern noise.
  • the amplification transistor AMP also has a noise component due to variations in the threshold voltage Vth.
  • the variation in the threshold voltage Vth is caused by structural factors such as an oxide film, a channel width, a channel length, and impurities.
  • the variation in the threshold voltage Vth appears as fixed pattern noise.
  • the amplification transistor AMP includes a noise component due to overdrive voltage, a noise component due to thermal noise, a noise component due to 1 / f noise, and a noise component due to random telegraph noise (RTN).
  • RTN is considered to be caused by charge trapping / detrapping due to defects in the oxide film.
  • the presence or absence of defects in the oxide film is an inherent variation, but what is observed is a binary or multilevel temporal signal level fluctuation.
  • noise components are transmitted to the detection unit 218 at the subsequent stage via the signal line (VSL).
  • VSL signal line
  • noise components that do not change before and after signal transfer are removed by CDS processing.
  • the solid-state imaging device 1 when generating the eigenvalue, the solid-state imaging device 1 does not remove these noise components but uses them as element eigeninformation that is the basis of the eigenvalue.
  • the noise component included in the analog signal output from the unique information generation unit 214 as the basis of the unique value, the solid-state imaging device 1 can generate a unique value that is difficult to analyze.
  • the unique information generation unit 214 can be provided, for example, at a position where light from the outside does not reach (light-shielded position). By providing the unique information generation unit 214 at a light-shielded position, the solid-state imaging device 1 can generate stable unique information without being affected by external light.
  • the unique information generation unit 214 may include one or more rows of circuits having the same number as the number of columns of the pixel array of the imaging unit 212.
  • the unique information generation unit 214 may include a row selection switch that operates according to a control signal from the drive control unit 210.
  • the clip circuit 215 is a circuit arranged in n columns in the same manner as the number of columns of the pixel array unit 211, and is a source follower circuit connected in parallel with the source follower circuit of the pixel array unit 211.
  • the clip circuit 215 has a function of clipping so that the voltage (VSL voltage) of the output line for each column is in a predetermined range.
  • FIG. 10A is an explanatory diagram showing a circuit configuration example of the clip circuit 215.
  • the clip circuit 215 is a row selectable source follower circuit connected to the output line VSL in parallel with the pixels.
  • the clip circuit 215 includes transistors CLPSEL and CLPAMP corresponding to the respective output lines VSL.
  • the transistor CLPSEL is a linearly operated transistor, and controls to connect the source of the transistor CLPAMP and the output line VSL. This control is performed by a clip selection pulse.
  • the transistor CLPAMP is a transistor that performs a saturation operation, and outputs a signal corresponding to an input when a bias current is supplied from a current source, similarly to the amplification transistor AMP of the pixel.
  • the input is given by a clip voltage, and is usually an intermediate potential of about 1V to 2V.
  • the bias current flows preferentially through the clip circuit 215. Become.
  • the source follower output of the pixel in the selected row does not function, and the voltage of the output line VSL is clipped to the output level corresponding to the clipping voltage.
  • the clip voltage a common DC voltage is supplied to the unit clip circuit for each column. At this time, like the pixel source follower, the threshold variation and the overdrive voltage vary individually.
  • the reference signal generator 216 averages and outputs the VSL voltage output from the clip circuit 215 for each column.
  • the current source 217 is a circuit for supplying a constant current and outputting a VSL voltage, and is driven by the current control voltage generation unit 219.
  • the current sources 217 are arranged in n columns, and form an amplification transistor and a source follower circuit in the unit pixel.
  • the current control voltage generation unit 219 generates a current control voltage using a band gap reference circuit so that the current value of the current source 217 does not depend on temperature.
  • the detection unit 218 performs signal processing for converting the analog signal output from the unique information generation unit 214 into a digital signal.
  • the detection unit 218 includes a comparator 231, a DA converter 232, and a counter 233.
  • the comparator 231 compares the VSL voltage output from the current source 217 with the reference waveform output from the DA converter 232 and converts the voltage into time.
  • the comparator 231 includes an input capacitor provided on the input side and a switch that short-circuits the input and output of the comparator 231.
  • the DA converter 232 generates a reference waveform to be supplied to the comparator 231.
  • the counter 233 has a function of counting until the output of the comparator 231 is inverted and converting the time into a count number.
  • the detection unit 218 outputs the converted digital signal to the eigenvalue calculation unit 220.
  • the detection unit 218 can have a function of performing differential processing on two input signals and a function of removing variations generated in the detection unit 218 itself. By providing the function of removing the variation generated in the detection unit 218 itself, it is possible to improve the quality of the signal that is the basis of the eigenvalue because the variation from the signal from the specific information generation unit 214 is not added.
  • the detection unit 218 may perform column parallel processing or pixel parallel processing on the analog signal output from the unique information generation unit 214.
  • the detection unit 218 may include a capacitor for clamping the potential of the signal line and a switch for setting one end of the capacitor to the reference potential.
  • the ADC 113 shown in FIG. 7 may include a switch that connects one end of a capacitive element provided on the input side of the comparators 141 and 151 and the output side of the comparators 141 and 151. By connecting one end of the capacitive element to the output side of the comparators 141 and 151 by the switch, a transistor that is diode-connected among the transistors included in the comparators 141 and 151 is generated. As a result, one end of the capacitor for clamping the potential of the signal line is set to a predetermined reference potential, so that variations in the analog region can be removed.
  • the detection unit 218 may perform difference processing on the digital value after AD conversion.
  • the detection unit 218 can remove variations in the digital region by performing a difference process on the digital value after AD conversion.
  • the detection unit 218 may have a function of shifting the clamp level as will be described later.
  • the detection unit 218 can optimize the distribution of analog values centered on a predetermined reference when converting an analog value to a digital value by shifting the clamp level. By optimizing the distribution of analog values, it is possible to obtain the unique information output by the unique information generation unit 214 without loss.
  • each detection unit 218 has a function of taking a difference between a signal input to each detection unit 218 and a reference signal common to the plurality of detection units 218. Also good.
  • the reference signal common to the plurality of detection units 218 may be substantially the same as the average of the signals input to the detection units 218, respectively.
  • a memory for temporarily holding the unique information output by the unique information generation unit 214 may be provided.
  • the analog memory may be a parasitic capacitance of a signal line as described below.
  • a switch for short-circuiting the analog memories may be provided. The generation of unique information is facilitated, and the unique information held in each analog memory is erased by short-circuiting the analog memories and averaging.
  • FIG. 10B is an explanatory diagram illustrating a circuit configuration example of the reference signal generation unit 216, the current source 217, and the comparator 231.
  • FIG. 10B shows the (n ⁇ 1) th output line VSL (n ⁇ 1), the nth output line VSL (n), and the (n + 1) th output line VSL (n + 1).
  • the output line VSL (n ⁇ 1) is provided with switches 251a and 252a as the reference signal generation unit 216, and the output line VSL (n ⁇ 1) has a parasitic capacitance 253a.
  • the output line VSL (n) is provided with switches 251b and 252b as the reference signal generator 216, and the output line VSL (n) has a parasitic capacitance 253b.
  • the output line VSL (n + 1) is provided with switches 251c and 252c as the reference signal generator 216, and the output line VSL (n + 1) has a parasitic capacitance 253c.
  • the transistor 261a is connected to one end of the switch 252a
  • the transistor 261b is connected to one end of the switch 252b
  • the transistor 261c is connected to one end of the switch 252c.
  • the output line VSL (n ⁇ 1) there are input capacitors 271a and 272a, switches 273a and 274a, and a comparator 275a as the comparator 231.
  • input capacitors 271b and 272b, switches 273b and 274b, and a comparator 275b exist as the comparator 231.
  • input capacitors 271c and 272c, switches 273c and 274c, and a comparator 275c exist as the comparator 231.
  • FIG. 11 is an explanatory diagram showing operations of the reference signal generation unit 216, the current source 217, and the comparator 231 in a timing chart when generating unique information.
  • an operation of each element provided on or along the output line VSL (n ⁇ 1) will be described. Note that the operations of the reference signal generation unit 216, the current source 217, and the comparator 231 when generating the unique information are not limited to those illustrated in FIG.
  • the current source disconnecting pulse for disconnecting the current source 217 is high, and the switch 252a is on.
  • the VSL averaging pulse that averages the VSL voltage is low and the switch 251a is off. Thereby, even when the source follower is operating, variation information for each source follower is output to the output line VSL.
  • the row selection signal (selection pulse) ⁇ SEL and the current source disconnection pulse simultaneously become low, and the VSL voltage for each column is held in the parasitic capacitance 253a of VSL.
  • the VSL averaging pulse goes high, and the VSL voltages in each column are averaged. This averaged VSL voltage becomes a reference signal.
  • the internal offset of the comparator 275a, the difference between the VSL voltage and the reference waveform are charged in the input capacitor 272a, and the operating point of the comparator 275a is initialized.
  • the short circuit pulse becomes low and the switches 273a and 274a are turned off. This causes kTC noise and feedthrough variations in the switches 273a and 274a.
  • Times t5 to t6 are the first AD conversion period (ADC period 1).
  • ADC period 1 the DA converter 232 changes the reference waveform linearly with a predetermined slope.
  • the comparator 275a AD converts the reference signal using the reference waveform.
  • the DA converter 232 may have a function of shifting the reference waveform. That is, the DA converter 232 may have a function of shifting the clamp level.
  • the DA converter 232 can offset the output of the counter 233 by shifting the reference waveform.
  • an inversion delay of the comparator 275a, a reference waveform delay, and a counter clock delay occur.
  • the triangle indicates the inversion timing of the comparator 275a.
  • the row selection signal ⁇ SEL becomes high, the current source disconnecting pulse becomes high, and the VSL averaging pulse becomes low. That is, the switch 251a is turned off and the switch 252a is turned on. As a result, even when the source follower is operating, variation information (variation in output of the amplification transistor) for each source follower is output to the output line VSL.
  • Times t7 to t8 are the second AD conversion period (ADC period 2). Also during this period, the DA converter 232 changes the reference waveform linearly with a predetermined slope.
  • the comparator 275a AD converts the reference signal using the reference waveform.
  • the converted digital value includes kTC noise and feedthrough variations at the switches 273a and 274a generated at time t4, the inversion delay of the comparator 275a generated during the ADC period 1, the delay of the reference waveform, and the counter clock. A delay is also included. In FIG. 11, the triangle indicates the inversion timing of the comparator 275a.
  • the output of the counter 233 is offset in the ADC period 1, even if the difference process is performed, the variation by the unique information generation unit 214 is not lost.
  • the variation by the unique information generation unit 214 is normally distributed around the reference signal. Therefore, if there is no offset, a negative value occurs in the variation by the unique information generation unit 214, and all values less than or equal to 0 become 0.
  • the slope of the reference waveform during AD conversion is adjusted (analog gain adjustment) so as to obtain a desired digital value.
  • the current (drain current Id) of the current source may be made smaller than the normal reading.
  • the overdrive voltage is obtained by 2 ⁇ Id / gm, the variation is also proportional to the overdrive voltage. Therefore, when the drain current Id is reduced, the variation component of the overdrive voltage included in the source follower is relatively reduced. In other words, information on variation in threshold value of the amplification transistor AMP can be mainly detected.
  • the current of the current source may be increased as compared with the normal reading. By increasing the current of the current source, the variation component of the overdrive voltage in the variation information included in the source follower can be relatively increased.
  • Temporal noise includes thermal noise of the amplification transistor AMP, 1 / f noise, RTN, and thermal noise of peripheral circuits, and these can be suppressed by performing a plurality of readings and adding (average). .
  • the solid-state imaging device 1 is driven and controlled under the following conditions.
  • hot carrier injection it is desirable that the current during operation be small. That is, it is desirable to control the bias current to be small.
  • the operation time is short in consideration of hot carrier injection. For example, it is desirable to control to drive only at the time of startup or request.
  • hot carrier injection it is desirable that no current flow when not in use. That is, it is desirable to turn off the selection transistor SEL when not in use.
  • the voltage difference between the gate and the source or drain of the target element is small when not in use. That is, it is desirable to turn on the reset transistor RST when not in use.
  • the unique information generation unit 214 is preferably shielded from light.
  • the high level potential of the selection pulse ⁇ SEL may be about VDD (2.7 V), but may be an intermediate potential (about 1 V to about 1.5 V).
  • VDS potential difference
  • the drain voltage of the selection transistor SEL is 2.7 V
  • the drain side of the selection transistor SEL is usually about 2.2 V.
  • the saturation operation can be performed.
  • an output corresponding to the gate voltage of the selection transistor SEL is transmitted to the output line VSL.
  • the threshold value and the overdrive voltage vary from element to element, so that variations in the threshold value and overdrive voltage of the selection transistor SEL can be detected.
  • the selection switches of the pixels in the non-selected rows and the clip circuit 215 are off and are not involved in reading.
  • the eigenvalue calculation unit 220 calculates a value (eigenvalue) unique to the solid-state imaging device 1 based on the digital signal sent from the detection unit 218.
  • the eigenvalue calculation unit 220 generates a value having a predetermined bit length as the eigenvalue.
  • An example of a method for calculating the eigenvalue of the solid-state imaging device 1 by the eigenvalue calculation unit 220 will be described in detail later.
  • the eigenvalue calculation unit 220 After calculating the eigenvalue of the solid-state imaging device 1, the eigenvalue calculation unit 220 sends the eigenvalue to the encryption unit 222.
  • the eigenvalue generated by the eigenvalue calculation unit 220 can be a seed used in the encryption process in the encryption unit 222 or the key itself.
  • the eigenvalue calculation unit 220 may select which element specific information is to be adopted among the plurality of element specific information.
  • the eigenvalue calculation unit 220 may select which element specific information is to be adopted by an operation based on the element specific information when selecting the element specific information, and selects whether to use the element specific information by a random number. May be.
  • the selection conditions for selecting the element specific information may be stored in the nonvolatile memory.
  • the selection condition may be written to the nonvolatile memory only once.
  • the timing of writing to the nonvolatile memory can be, for example, at the time of inspection, at the time of shipment, at the time of first use, and the like.
  • the eigenvalue calculation unit 220 can repeatedly calculate eigenvalues using element specific information based on all manufacturing variations occurring in the chip of the solid-state imaging device 1 including element specific information with a relatively small amount of information. . That is, the information amount of element specific information can be increased.
  • the eigenvalue calculation unit 220 may calculate the eigenvalue by combining a plurality of element specific information among the element specific information generated by the specific information generation unit 214. By calculating the eigenvalue by combining a plurality of element specific information, it is difficult to analyze how the eigenvalue is calculated.
  • the eigenvalue generated by the eigenvalue calculation unit 220 may be temporarily stored in the memory. By storing the eigenvalue generated by the eigenvalue calculation unit 220 in the memory, it is difficult to analyze the eigenvalue calculation timing. That is, the solid-state imaging device 1 may use a unique value generated in advance according to the encryption request, instead of generating the unique value at the timing of the encryption request. For example, the solid-state imaging device 1 may calculate the eigenvalue after a predetermined time elapses after driving during normal imaging. Further, the solid-state imaging device 1 may generate the eigenvalue at the timing of receiving the request for generating the eigenvalue instead of the timing of the encryption request.
  • the eigenvalue calculation unit 220 may average eigenvalues obtained under the same driving conditions. By averaging the eigenvalues obtained under the same driving conditions, noise in the time direction can be suppressed.
  • the encryption unit 222 uses the eigenvalue generated by the eigenvalue calculation unit 220 to execute data encryption processing.
  • the encryption unit 222 can be provided, for example, in the logic circuit 23014 shown in FIG. Specifically, the encryption unit 222 performs data encryption processing using the eigenvalue generated by the eigenvalue calculation unit 220 as a seed or key itself.
  • the target of encryption may be eigenvalues themselves, image information, feature quantities based on image information, and the like.
  • the communication control unit 224 transmits data to the outside of the solid-state imaging device 1.
  • the communication control unit 224 may perform different processes depending on whether the imaging data is output or the data encrypted by the encryption unit 222 is output.
  • the path for processing the unique information is formed so as not to appear on the surface of the solid-state imaging device 1.
  • the path for processing the unique information is arranged so as to be covered with an upper layer metal including the outermost layer.
  • the path for processing the unique information may be covered with a predetermined shield layer, or may be covered with a VDD or VSS wiring.
  • the path for processing the unique information may include, for example, the unique information generation unit 214, the detection unit 218, the eigenvalue calculation unit 220, and the encryption unit 222.
  • the solid-state imaging device 1 is formed so that a pad for monitoring the unique information is not provided in the path for processing the unique information.
  • the solid-state imaging device 1 By forming the solid-state imaging device 1 in this way, not only the outflow of the unique information of the solid-state imaging device 1 used for the encryption processing to the outside is prevented, but also when trying to analyze the unique information, the solid-state imaging device 1 Is unavoidable, and as a result, the analysis of unique information becomes impossible.
  • the solid-state imaging device 1 according to the present embodiment does not hold unique information internally, generates unique information each time, and performs an encryption process using a unique value based on the generated unique information. Therefore, the solid-state imaging device 1 according to the present embodiment can perform extremely secure encryption processing.
  • the solid-state imaging device 1 Since the solid-state imaging device 1 according to the present embodiment does not hold the unique information internally, the encrypted data cannot be decrypted if the unique value generated based on the unique information changes every time it is generated. Become. Therefore, the eigenvalue is required to be the same value whenever calculated. Therefore, the solid-state imaging device 1 according to this embodiment uses the eigenvalue calculated by the eigenvalue calculation unit 220 based on the signal output from the specific information generation unit 214 according to the temperature of the chip in which the specific information generation unit 214 is provided. A correction function may be provided. Further, the solid-state imaging device 1 according to the present embodiment may be provided with a function of detecting the temperature of the chip in which the unique information generation unit 214 is provided.
  • FIG. 12 is an explanatory diagram showing another functional configuration example of the solid-state imaging device 1 according to the present embodiment.
  • FIG. 12 illustrates a configuration in which a chip temperature detection unit 226 and a signal correction unit 228 are provided in addition to the configuration of the solid-state imaging device 1 illustrated in FIG. 9.
  • the chip temperature detection unit 226 detects the temperature of the chip in which the unique information generation unit 214 is provided.
  • the chip temperature detection unit 226 sends the detected chip temperature information to the signal correction unit 228.
  • the signal correction unit 228 corrects the eigenvalue calculated by the eigenvalue calculation unit 220 based on the temperature of the chip provided with the eigeninformation generation unit 214 detected by the chip temperature detection unit 226.
  • the signal correction unit 228 may hold a table in which correction values corresponding to temperatures are stored, and determine correction values based on the temperatures detected by the chip temperature detection unit 226.
  • FIG. 13 is a flowchart illustrating an operation example of the solid-state imaging device according to the present embodiment.
  • FIG. 13 shows an operation example when the solid-state imaging device 1 calculates an eigenvalue and performs an encryption process using the eigenvalue.
  • the solid-state imaging device 1 generates analog unique information that is a basis of the unique value (step S201).
  • the analog unique information is generated when the drive control unit 210 drives the unique information generation unit 214.
  • the solid-state imaging device 1 subsequently converts the analog unique information into a digital value (step S202).
  • the detection unit 218 converts the analog unique information into a digital value. The conversion process of the analog unique information into the digital value by the detection unit 218 is as described above.
  • the solid-state imaging device 1 calculates the unique value of the solid-state imaging device 1 using the converted digital value (step S203).
  • the eigenvalue calculation unit 220 calculates the eigenvalue of the solid-state imaging device 1.
  • the solid-state imaging device 1 When the eigenvalue of the solid-state imaging device 1 is calculated, the solid-state imaging device 1 subsequently performs data encryption processing using the eigenvalue (step S204).
  • the encryption unit 222 performs data encryption processing using the eigenvalue.
  • the solid-state imaging device 1 according to the present embodiment can complete the encryption process using the unique information internally without outputting the unique information to the outside by executing the above-described series of operations. .
  • the solid-state imaging device 1 according to the present embodiment can encrypt and output important information extremely safely by performing encryption processing using unique information that does not flow out to the outside.
  • Biometric authentication process Next, biometric authentication processing using the solid-state imaging device 1 according to the present embodiment and control of the solid-state imaging device 1 will be described. Before describing the biometric authentication process using the solid-state imaging device 1 according to the present embodiment and the control of the solid-state imaging device 1 in detail, a comparative example will be described in order to understand the present embodiment.
  • FIG. 14 is an explanatory diagram illustrating a comparative example of the present embodiment.
  • a lens module 1001 a solid-state imaging device 1002 that converts light passing through the lens module 1001 into an electrical signal, and image processing using the electrical signal output from the solid-state imaging device 1002, particularly biometric authentication processing, are performed.
  • An information processing apparatus 1000 including an application processor 1003 is shown.
  • the biometric authentication process a biometric detection process for determining whether the captured image is a living body, or an iris authentication process for determining whether there is a human iris that matches the iris information registered in advance. and so on.
  • the information processing apparatus 1000 performs an iris authentication process as a biometric authentication process.
  • the application processor 1003 includes an iris authentication unit 1010 using an electrical signal output from the solid-state imaging device 1002, an iris information storage unit 1020 in which iris information to be authenticated is stored in advance, and accuracy of iris authentication processing by the iris authentication unit 1010.
  • An imaging condition control unit 1030 for controlling imaging conditions such as focus and exposure to increase the image quality.
  • the iris authentication unit 1010 also detects a human eye, in particular, an eyeball region from the electrical signal output from the solid-state imaging device 1002, and the human eye from the human eye region detected by the region detection unit 1011.
  • An iris extraction unit 1012 that extracts the iris information of the iris
  • an iris collation unit 1013 that collates the iris information extracted by the iris extraction unit 1012 and the iris information stored in the iris information storage unit 1020.
  • I2C Inter-Integrated Circuit
  • the imaging condition control unit 1030 may focus the eye during imaging, Control to increase the exposure time or increase the gain. At this time, for example, if the average luminance of the entire area of the electric signal output by the solid-state imaging device 1002 is used as an evaluation value and control is performed for proper exposure of the target, skin color other than iris, presence of glasses, eyelashes, presence of makeup Depending on other factors, the iris itself may not be properly exposed.
  • the imaging condition control unit 1030 uses the information on the human eyeball region detected by the region detection unit 1011 to focus on the eyeball region, or the average luminance of only the iris region as an evaluation value.
  • the exposure can be set so that iris information can be acquired by controlling the exposure to be appropriate for the target.
  • control is performed within the solid-state imaging device 1 to obtain imaging conditions appropriate for iris authentication processing.
  • control is performed within the solid-state imaging device 1 so that the imaging condition is appropriate for the iris authentication process, it is possible to shorten the time until the completion of the control with the imaging condition appropriate for the iris authentication process.
  • FIG. 15 is an explanatory diagram illustrating a configuration example of the information processing device 300 including the solid-state imaging device 1 according to the present embodiment.
  • FIG. 15 is an explanatory diagram illustrating a configuration example of the information processing device 300 including the solid-state imaging device 1 according to the present embodiment.
  • a configuration example of the information processing apparatus 300 according to the present embodiment will be described with reference to FIG.
  • the information processing apparatus 300 is an apparatus that performs authentication using human iris information.
  • an authentication included in a portable terminal such as a smartphone or a tablet terminal or an immigration system installed in an airport or the like. It may be an unlocking device for unlocking a device, a car door or a handle.
  • the information processing apparatus 300 according to the present embodiment includes a lens module 1001 and a solid-state imaging apparatus 1 that converts light passing through the lens module 1001 into an electrical signal.
  • the solid-state imaging device 1 includes an imaging control unit 301, an iris authentication unit 310, an iris information storage unit 320, an imaging condition control unit 330, an application processor 370, and a display 380.
  • the imaging control unit 301 controls each unit of the solid-state imaging device 1 to execute processing related to reading of image data (pixel signals).
  • the imaging control unit 301 controls a time (that is, an exposure time or a shutter speed) for reading an electrical signal converted from light passing through the lens module 1001 from a pixel (for example, the pixel array 3 shown in FIG. 1).
  • the imaging condition control unit 330 performs control related to automatic exposure (AE) that automatically obtains exposure according to the brightness of the subject.
  • Information on the exposure time determined by the imaging condition control unit 330 is reflected in the imaging control unit 301.
  • the imaging condition control unit 330 also performs drive control (AF) of an actuator (not shown) that drives a lens included in the lens module 1001 in order to focus on the subject.
  • Information on the lens position determined by the imaging condition control unit 330 is reflected in the lens module 1001.
  • the iris authentication unit 310 executes an iris authentication process using the image data generated by the solid-state imaging device 1.
  • the iris authentication unit 310 detects a human eye, particularly an eyeball region, from the image data, and an iris extraction that extracts the human iris information from the human eye region detected by the region detection unit 311. 312, and an iris collation unit 313 that collates the iris information extracted by the iris extraction unit 312 with the iris information stored in advance in the iris information storage unit 320.
  • the region detection unit 311 detects the region of the human eye, particularly the iris or pupil of the eyeball, in the image data generated by the solid-state imaging device 1.
  • the area detection unit 311 detects an eyeball area by, for example, pattern matching.
  • the iris extraction unit 312 extracts the human iris information from the human eye region detected by the region detection unit 311.
  • the iris extraction unit 312 extracts iris information by a filter process such as a Gabor filter.
  • the iris collation unit 313 collates the iris information extracted by the iris extraction unit 312 with the iris information stored in advance in the iris information storage unit 320.
  • the information processing apparatus 300 can complete the iris authentication process inside the solid-state imaging device 1. Therefore, the iris authentication unit 310 may output the image data to the application processor 370 at the subsequent stage, but may output only the result of the iris authentication to the application processor 370. The information processing apparatus 300 according to the present embodiment outputs only the result of iris authentication to the application processor 370, thereby performing iris authentication processing without causing image data including a human face to flow outside the solid-state imaging device 1. Can be executed.
  • the imaging condition control unit 330 controls imaging conditions such as focus and exposure using information obtained in the process of iris authentication processing in the iris authentication unit 310. For example, when the region detection unit 311 detects the region of the eyeball from the image data, if the focus is not on the eyeball, the imaging condition control unit 330 receives information from the region detection unit 311 that the focus is not on the eyeball. Receive. Then, the imaging condition control unit 330 instructs the lens module 1001 to drive an actuator (not shown) that drives a lens (not shown) included in the lens module 1001 so as to focus the eyeball.
  • the imaging condition control unit 330 receives exposure from the iris extraction unit 312. Receive information indicating under or over. Then, the imaging condition control unit 330 instructs the imaging control unit 301 to perform control to slow down the shutter speed to increase the exposure time or increase the gain so that the iris information can be extracted.
  • the iris extraction unit 312 uses, for example, a Gabor filter when extracting iris information, but it can also be determined whether or not the focus is on the eyeball by the magnitude of the absolute value of the output value of the filter. If the absolute value of the output value of the filter is small, the iris extracting unit 312 can determine that the focus is not on the eyeball. Therefore, the imaging condition control unit 330 may acquire information on the absolute value of the output value of the Gabor filter from the iris extraction unit 312. The imaging condition control unit 330 drives an actuator (not shown) that drives a lens (not shown) included in the lens module 1001 so that the output value of the Gabor filter increases, that is, the focus is on the eyeball. The lens module 1001 is instructed to do so.
  • the information processing apparatus 300 enables control by interruption and data access using the memory inside the solid-state imaging device 1 by completing control related to focus and exposure inside the solid-state imaging device 1. Yes.
  • the information processing apparatus 300 according to the present embodiment can avoid a delay in inter-chip communication such as I2C.
  • the information processing device 300 according to the present embodiment takes the time until the completion of the control with the imaging condition appropriate for the iris authentication processing. This can be shortened compared to the comparative example described above.
  • the information processing apparatus 300 according to the present embodiment can improve the accuracy of the iris authentication process by performing imaging under an imaging condition appropriate for the iris authentication process.
  • the information processing apparatus 300 may perform a guide display on the display 380 for aligning the eyes with a person who is going to receive authentication when executing the iris authentication process.
  • FIG. 16 is an explanatory diagram illustrating an example of a screen displayed on the display 380 of the information processing apparatus 300.
  • FIG. 16 shows a display 380, a lens module 1001, and a light source 390 that irradiates a subject with light.
  • the application processor 370 causes the display 380 to display a guide 381 for obtaining the eye position together.
  • the person who wants to receive authentication moves the face and the information processing apparatus 300 so that both eyes are included in the guide 381. Since the guide 381 is displayed on the display 380 as described above, the solid-state imaging device 1 detects an eyeball region only with respect to the region of the guide 381 or extracts an iris when executing the iris authentication process. It is sufficient to execute the process.
  • the information processing apparatus 300 In preparation for executing the iris authentication process, it is necessary to have the iris information registered in advance by a person who wants to be authenticated. Naturally, the information processing apparatus 300 according to the present embodiment can also be used for registration of iris information. Even in the case of registering iris information, the information processing apparatus 300 according to the present embodiment can execute the setting of an imaging condition that provides exposure and focus suitable for extraction of iris information within the solid-state imaging device 1. it can.
  • the iris authentication process has been described as an example of the biometric authentication process, but the present disclosure is not limited to such an example. Subsequently, as biometric authentication processing, whether the image is a living body or not, that is, whether the image is a living person, or a mask, a doll, or a photograph.
  • biometric authentication processing whether the image is a living body or not, that is, whether the image is a living person, or a mask, a doll, or a photograph.
  • An example of an information processing apparatus including a solid-state imaging device that performs a living body detection process for determining whether or not an image is present will be described.
  • FIG. 17 is an explanatory diagram illustrating a configuration example of the information processing apparatus 300 including the solid-state imaging device 1 according to the present embodiment.
  • a configuration example of the information processing apparatus 300 according to the present embodiment will be described with reference to FIG.
  • the information processing apparatus 300 is an apparatus that performs biometric authentication using image data.
  • an authentication apparatus included in an immigration system installed in a portable terminal such as a smartphone or a tablet terminal, an airport, or the like.
  • Etc. As illustrated in FIG. 17, the information processing apparatus 300 according to the present embodiment includes a lens module 1001 and a solid-state imaging apparatus 1 that converts light passing through the lens module 1001 into an electrical signal.
  • the solid-state imaging device 1 includes an imaging control unit 301, a living body detection unit 340, an imaging condition control unit 330, an application processor 370, and a display 380.
  • the living body detection unit 340 having a configuration different from that of the information processing apparatus 300 illustrated in FIG. 15 will be described.
  • the living body detection unit 340 executes a living body detection process using the image data generated by the solid-state imaging device 1.
  • a living body detection process executed by the living body detection unit 340 will be described.
  • the living body detection unit 340 analyzes the Purkinje image using the image data generated by the solid-state imaging device 1.
  • a Purkinje image is a cornea reflection image in which light from a light source is reflected by the cornea. If a living body, this Purkinje image appears in the eye.
  • the living body detection unit 340 performs the living body detection process using the luminance information and positional relationship of the Purkinje image.
  • the imaging condition control unit 330 instructs the imaging control unit 301 so that the exposure is easy to detect the Purkinje image when the living body detection unit 340 analyzes the Purkinje image from the image data.
  • the living body detection unit 340 analyzes the presence or absence of pupil fluctuation using the image data generated by the solid-state imaging device 1.
  • Pupil swaying means that in the case of the eyes of a living body, even when the surrounding brightness is constant, the pupil repeats slight contraction and dilation.
  • the living body detection unit 340 uses information on temporal variation in the radius ratio between the pupil and the iris when detecting pupil fluctuation. For this reason, when performing biometric detection processing by detecting pupil fluctuation, the AE is controlled to make the brightness that makes it easy to detect the peripheral part of the pupil and iris, or the shutter speed is shortened to suppress blurring. It is desirable to do. Therefore, the imaging condition control unit 330 instructs the imaging control unit 301 to make exposure easy to detect the peripheral portion of the pupil and the iris when the living body detection unit 340 analyzes the presence or absence of pupil fluctuation from the image data. To do.
  • the living body detection unit 340 analyzes the presence / absence of a saccade using image data generated by the solid-state imaging device 1.
  • the saccade means a quick movement of the eyeball, and the living body detection unit 340 can analyze the presence / absence of the saccade based on whether or not there is a jumping change in the movement of the eyeball, for example, the center of the pupil. That is, if there is a saccade, it is possible to determine that the eye is a living body. Therefore, when performing a living body detection process by detecting a saccade, it is desirable to control the AE so that the center portion of the pupil is easily detected, or the shutter speed is shortened to suppress blur. . Therefore, the imaging condition control unit 330 instructs the imaging control unit 301 so that exposure is easy to detect the central portion of the pupil when the living body detection unit 340 analyzes the presence or absence of a saccade from the image data.
  • the living body detection unit 340 analyzes the presence or absence of blinking using the image data generated by the solid-state imaging device 1. That is, if there is a blink, it can be determined that the eye is a living body.
  • the living body detection unit 340 can analyze the presence or absence of blinking by looking at the temporal variation in the number of pixels at the edge points of the eyelids and the pupil.
  • the imaging condition control unit 330 instructs the imaging control unit 301 to make exposure that facilitates detection of eyelids or pupil edges when the living body detection unit 340 analyzes the presence or absence of blinking from the image data.
  • the living body detection unit 340 performs eye tracking using the image data generated by the solid-state imaging device 1.
  • the living body detection unit 340 uses the positional relationship between the eyes or the Purkinje image and the pupil.
  • the information processing apparatus 300 instructs a person who wants to undergo biological detection to move his / her line of sight, and determines whether or not the person is a living body based on whether the person has moved his / her line of sight.
  • the imaging condition control unit 330 instructs the imaging control unit 301 so that the exposure is easy to detect the Purkinje image and the pupil when the living body detection unit 340 performs eye tracking from the image data.
  • the living body detection unit 340 detects the unevenness of the face using the image data generated by the solid-state imaging device 1.
  • the living body detection unit 340 detects the unevenness of the face by imaging while changing the focus.
  • a method of measuring a three-dimensional shape by a method called Shape From Focus / Defocus method is known, and the living body detection unit 340 detects facial irregularities using image data using such a method.
  • the imaging condition control unit 330 instructs the lens module 1001 to perform focus control so that the unevenness of the face can be captured in a short time when the living body detection unit 340 detects the unevenness of the face from the image data.
  • the living body detection unit 340 determines whether or not the subject included in the image data is a living body by combining one or more of the above-described living body detection processes.
  • the living body detecting unit 340 may perform parallel processing on those that can be determined under similar imaging conditions. For example, when the living body detection unit 340 determines whether or not the body is a living body by pupil movement and saccade, when the center and position of the pupil can be detected with high accuracy under the same imaging conditions, the living body detection processing by pupil movement and the living body by saccade The detection process may be performed in parallel.
  • the information processing apparatus 300 enables control by interruption and data access using the memory inside the solid-state imaging device 1 by completing control related to focus and exposure inside the solid-state imaging device 1. Yes.
  • the information processing apparatus 300 according to the present embodiment can avoid a delay in inter-chip communication such as I2C.
  • the information processing apparatus 300 according to the present embodiment sets the time until the completion of the control with the imaging condition appropriate for the living body detection process. As in the case of the above-described iris authentication process, it can be shortened.
  • the information processing apparatus 300 according to the present embodiment can improve the accuracy of the biological detection process by performing imaging under imaging conditions appropriate for the biological detection process.
  • the information processing apparatus 300 may perform both iris authentication processing and biological detection processing.
  • the information processing apparatus 300 sequentially performs the iris authentication process and the living body detection process, thereby determining whether the subject is a living body and the iris information of the living body matches that registered in advance. I can do it.
  • the information processing apparatus 300 may perform the order from the iris authentication process to the biometric detection process, but the information processing apparatus 300 may perform the process from the biometric detection process to the iris authentication process. Since the iris authentication process requires time for matching processing with a pre-registered one, the information processing apparatus 300 first performs the biometric detection process, and cancels the iris authentication process if it is not a living body. When there is no processing time, the processing time can be shortened.
  • FIG. 18 is an explanatory diagram showing a configuration example of the information processing apparatus 300 according to the present embodiment, and is an example of the information processing apparatus 300 configured to execute both the biometric detection process and the iris authentication process.
  • the application processor 370 and the display 380 are not shown.
  • the solid-state imaging device 1 included in the information processing apparatus 300 illustrated in FIG. 18 includes both the iris authentication unit 310 described with reference to FIG. 15 and the living body detection unit 340 described with reference to FIG. Thus, it is naturally possible to execute both the living body detection process and the iris authentication process in the solid-state imaging device 1.
  • the solid-state imaging device 1 may perform biometric detection processing and iris authentication processing on the same frame image, or may be performed on another frame image. In order to increase the security strength, the solid-state imaging device 1 performs, for example, a continuous frame or an image of a frame after a short time, when performing biometric detection processing and iris authentication processing on images of different frames. It is desirable to be done.
  • the living body detection process and the iris authentication process may be performed under the same imaging conditions, but the biological detection process and the iris authentication process may not always obtain optimal image data under the same imaging conditions. Since there is not, you may carry out on another imaging condition.
  • near-infrared imaging is performed using a visible light cut filter that cuts visible light, an infrared LED that irradiates infrared light, and the like.
  • visible light is captured using an IR cut filter that cuts infrared light. Therefore, when performing iris authentication processing on a smartphone or the like, a solid-state imaging device that performs normal imaging and imaging for iris authentication processing so that both normal imaging and imaging for iris authentication processing can be performed
  • a smartphone is equipped with two solid-state imaging devices that perform the above.
  • FIG. 19 is an explanatory diagram illustrating a configuration example of the information processing apparatus 300 including the solid-state imaging device 1 according to the present embodiment.
  • FIG. 19 illustrates an information processing apparatus 300 including the solid-state imaging device 1 that can operate in both a control mode optimized for iris authentication processing and a control mode optimized for normal imaging. It is a structural example.
  • a configuration example of the information processing apparatus 300 according to the present embodiment will be described with reference to FIG.
  • the information processing apparatus 300 includes a lens module 1001 and a solid-state imaging device 1 that converts light passing through the lens module 1001 into an electrical signal.
  • the solid-state imaging device 1 includes an imaging control unit 301, an iris authentication unit 310, an iris information storage unit 320, an imaging condition control unit 330, and an analysis unit 350.
  • the analysis unit 350 that does not exist in the solid-state imaging device 1 illustrated in FIG. 15 will be described.
  • the analysis unit 350 analyzes image data obtained by the solid-state imaging device 1 during normal imaging. Specifically, the analysis unit 350 measures the brightness and contrast of image data obtained by the solid-state imaging device 1. Then, the analysis unit 350 sends the analysis result of the image data to the imaging condition control unit 330.
  • the imaging condition control unit 330 uses the analysis result sent from the analysis unit 350 to drive the actuator with respect to the lens module 1001, shutter speed, gain, etc. so that the imaging control unit 301 has an appropriate exposure. Control to adjust.
  • image data obtained by the solid-state imaging device 1 By performing the analysis, it is possible to set appropriate imaging conditions at high speed for normal imaging and for iris authentication processing.
  • the iris authentication processing is performed inside the solid-state imaging device 1
  • the extraction of iris information is performed inside the solid-state imaging device 1
  • the extracted iris information and previously registered iris information are displayed.
  • the matching process may be performed by a subsequent application processor or a server connected through a network.
  • it is suitable to perform matching processing outside the solid-state imaging device 1 for example, when the data size of a feature amount extracted by combining with face authentication is large, the calculation amount of the matching processing is algorithmically large. In the case of a large number, this is the case of a system that searches whether there is a corresponding database out of a large amount of data stored. If matching processing between the extracted iris information and previously registered iris information is performed by a subsequent application processor or a server connected through a network, the iris information is output from the solid-state imaging device 1 as it is. There is a risk of iris information leaking.
  • the solid-state imaging device 1 can perform encryption processing using information generated internally as a key. Accordingly, when the matching process is performed outside the solid-state imaging device 1, the solid-state imaging device 1 can safely exchange the iris information by encrypting and outputting the iris information.
  • FIG. 20 is an explanatory diagram showing a configuration example of an iris authentication system.
  • FIG. 20 shows an iris authentication system in which an information processing apparatus 300 that performs iris information extraction and a server 800 that performs iris information matching processing are connected via a network 900.
  • the solid-state imaging device 1 illustrated in FIG. 20 includes an imaging control unit 301, an iris processing unit 302, an encryption processing unit 315, and an imaging condition control unit 330.
  • the iris processing unit 302 includes an area detection unit 311 and an iris extraction unit 312. That is, the iris processing unit 302 performs extraction of iris information.
  • the encryption processing unit 315 performs encryption processing on the iris information output from the iris processing unit 302. As described above, the encryption processing unit 315 performs encryption processing using unique information unique to the solid-state imaging device 1. The encryption processing unit 315 can exchange information with the outside extremely securely by executing encryption processing using unique information unique to the solid-state imaging device 1.
  • the server 800 includes a decoding processing unit 810, an iris collation unit 820, and an iris information storage unit 830.
  • the decryption processing unit 810 decrypts the iris information encrypted by the encryption processing unit 315.
  • the server 800 acquires specific information specific to the solid-state imaging device 1 from the information processing device 300 in advance by an arbitrary method.
  • the decryption processing unit 810 decrypts the encrypted iris information using the unique information acquired from the information processing apparatus 300.
  • the iris collation unit 820 collates the iris information acquired from the information processing apparatus 300 with the iris information stored in advance in the iris information storage unit 830, similarly to the iris collation unit 313 described above.
  • the iris information is transmitted from the information processing apparatus 300 to the server 800 and the iris authentication process is executed by the server 800, the iris information is obtained in the process of extracting the iris information inside the solid-state imaging device 1. Using the information, focus control and exposure control can be executed inside the solid-state imaging device 1.
  • FIG. 21 is an explanatory diagram illustrating a circuit configuration example formed in the logic die 23024 that configures the solid-state imaging device 1 according to the present embodiment.
  • a communication unit 23201 In the logic die 23024, a communication unit 23201, a CPU 23202, a ROM 23203, a RAM 23204, an image processing unit 23205, and the above-described imaging control unit 301 are formed. In addition, a secure area 23300 is formed in the logic die 23024.
  • the communication unit 23201 communicates with other elements, for example, an application processor by, for example, I2C communication. Also, pixel data is sent from the pixel region 23102 to the image processing unit 23205, for example.
  • a CPU 23301, ROM 23302, RAM 23303, NVM (Non-volatile memory) 23304, and the encryption unit 222 and iris authentication unit 310 described above are formed in the secure area 23300.
  • a RAM 23104 is formed in the iris authentication unit 310.
  • circuit configuration example shown in FIG. 21 is merely an example, and the logic die 23024 constituting the solid-state imaging device 1 can have various layouts.
  • FIG. 22 is a flowchart showing an operation example of the solid-state imaging device 1 according to the present embodiment.
  • FIG. 22 shows an operation example of the solid-state imaging device 1 operating in the living body detection mode.
  • imaging control suitable for living body detection that is, setting of exposure, gain, etc. suitable for living body detection are performed using the obtained image data ( Step S301).
  • the solid-state imaging device 1 performs living body detection processing using the obtained image data, and the subject Is determined to be a living body (step S303).
  • the solid-state imaging device 1 subsequently shifts to the iris authentication mode.
  • the solid-state imaging device 1 waits until time-out (step S304).
  • step S304 When time-out occurs (step S304, Yes), the solid-state imaging device 1 ends the process on the assumption that the identity cannot be confirmed by the living body detection (step S305). Note that, as a result of the determination in step S302, if the imaging condition is not suitable for living body detection (No in step S302), the solid-state imaging device 1 waits until time-out (step S306). When the time-out has occurred (step S306, Yes), the solid-state imaging device 1 ends the process on the assumption that the identity cannot be confirmed by the living body detection (step S305).
  • a timer may be provided in the solid-state imaging device 1, and the biometric detection process may be terminated by an interruption due to the timer measuring a predetermined time-out time. If the timer counts a predetermined timeout time, the application processor 370 may notify the solid-state imaging device 1 that the timeout has occurred, thereby terminating the living body detection process.
  • FIG. 23 is a flowchart showing an operation example of the solid-state imaging device 1 according to the present embodiment.
  • FIG. 23 shows an operation example of the solid-state imaging device 1 operating in the iris authentication mode.
  • the obtained image data is used to perform imaging control suitable for iris authentication, that is, setting of exposure, gain, etc. suitable for iris authentication (Ste S311).
  • the solid-state imaging device 1 performs iris authentication processing using the obtained image data, and subjects It is determined whether or not the iris information matches the previously registered iris information (step S313). As a result of the iris authentication, if the iris information of the subject matches the iris information registered in advance (Yes in step S313), the solid-state imaging device 1 ends the process assuming that the subject is the person (step S314). . On the other hand, as a result of iris authentication, if the iris information of the subject does not match the previously registered iris information (No in step S313), the solid-state imaging device 1 waits until time-out (step S315).
  • step S315, Yes the solid-state imaging device 1 ends the process on the assumption that the identity cannot be confirmed by iris authentication (step S316).
  • step S316 if the imaging condition is not suitable for iris authentication (No in step S312), the solid-state imaging device 1 waits until time-out (step S317).
  • step S317, Yes the solid-state imaging device 1 ends the process on the assumption that the identity cannot be confirmed by iris authentication (step S316).
  • a timer may be provided in the solid-state imaging device 1, and the iris authentication process may be terminated by interruption due to the timer measuring a predetermined time-out time.
  • the application processor 370 may notify the solid-state imaging device 1 that the time-out has been completed, thereby terminating the iris authentication process.
  • the control by setting the imaging conditions suitable for the iris authentication process and the biometric authentication process, the control until the completion of the control to be the imaging condition appropriate for the iris authentication process is completed.
  • the solid-state imaging device 1 that can shorten the time can be provided.
  • each step in the processing executed by each device in this specification does not necessarily have to be processed in chronological order in the order described as a sequence diagram or flowchart.
  • each step in the processing executed by each device may be processed in an order different from the order described as the flowchart, or may be processed in parallel.
  • a pixel array in which pixels are arranged on a matrix An iris authentication unit for extracting iris information used in iris authentication processing from image data obtained by photoelectric conversion from the pixel array; An imaging condition control unit that performs control to set an imaging condition when obtaining the image data for the iris authentication process, using information obtained in the process of extracting the iris information; A solid-state imaging device.
  • the solid-state imaging device according to (1) wherein the imaging condition control unit performs control to set an exposure when obtaining the image data as the imaging condition.
  • the imaging condition control unit performs focus control when obtaining the image data as the imaging condition.
  • the iris authentication unit includes an iris extraction unit that extracts iris information from the image data.
  • the iris authentication unit includes a region detection unit that detects a region including iris information from the image data, The solid-state imaging device according to (4), wherein the iris extraction unit extracts iris information from a region detected by the region detection unit.
  • the iris authentication unit further includes an iris matching unit that performs an iris authentication process using the iris information extracted by the iris extraction unit.
  • the solid-state imaging device according to any one of (1) to (6), further including an encryption processing unit that encrypts the iris information extracted by the iris authentication unit.
  • the solid-state imaging device (8) The solid-state imaging device according to (7), wherein the encryption processing unit performs encryption using unique information acquired from the pixel array.
  • the solid-state imaging device according to any one of (1) to (8), wherein two or more semiconductor substrates are bonded.
  • the iris authentication unit and the imaging condition control unit are the solid-state imaging device according to (10), which is formed in the logic circuit.
  • the solid-state imaging device according to (10) or (11), wherein the first semiconductor substrate and the second semiconductor substrate are directly joined to each other.
  • the logic circuit is An iris authentication unit for extracting iris information from the image data; Based on the result of the iris authentication unit, an imaging condition control unit that controls exposure or focus; A solid-state imaging device.
  • Solid-state imaging device 300 Information processing device 380: Display 381: Guide 390: Light source 800: Server 900: Network

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Power Engineering (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Collating Specific Patterns (AREA)
  • Image Input (AREA)
  • Studio Devices (AREA)

Abstract

【課題】虹彩認証に最適な撮像条件の設定を高速に行うことが可能な固体撮像装置を提供する。 【解決手段】画素がマトリクス上に配置された画素アレイと、前記画素アレイから光電変換により得られる画像データから虹彩認証処理で用いられる虹彩情報を抽出する虹彩認証部と、前記虹彩情報の抽出の過程で得られる情報を用いて、前記虹彩認証処理のための前記画像データを得る際の撮像条件を設定する制御を行う撮像条件制御部と、を備える、固体撮像装置が提供される。

Description

固体撮像装置および固体撮像装置の制御方法
　本開示は、固体撮像装置および固体撮像装置の制御方法に関する。
　従来、人間の身体的特徴から個人を識別する生体認証技術が提案されている。例えば、指紋、掌形、網膜、顔、音声等が生体認証に利用されている。また、人間の眼球にある虹彩も個人で異なる特徴を持つため、虹彩の特徴を利用した虹彩認証システムが、例えば下記特許文献１で提案されている。
特開２０１５－１７００９９号公報
　虹彩認証システムでは人間の眼球を撮像し、眼球にある虹彩の情報を撮像画像から取得するが、虹彩認証を高速に行うためには、虹彩認証に適した露出やシャッタースピード等の撮像条件の設定を高速に行うことが求められる。
　そこで、本開示では、虹彩認証に最適な撮像条件の設定を高速に行うことが可能な、新規かつ改良された固体撮像装置および制御方法を提案する。
　本開示によれば、画素がマトリクス上に配置された画素アレイと、前記画素アレイから光電変換により得られる画像データから虹彩認証処理で用いられる虹彩情報を抽出する虹彩認証部と、前記虹彩情報の抽出の過程で得られる情報を用いて、前記虹彩認証処理のための前記画像データを得る際の撮像条件を設定する制御を行う撮像条件制御部と、を備える、固体撮像装置が提供される。
　また本開示によれば、少なくとも画素アレイが形成された第１半導体基板と、前記第１半導体基板に接合され、少なくともロジック回路が形成された第２半導体基板と、を備え、前記画素アレイは、画素がマトリクス上に配置されて画像データを出力し、前記ロジック回路は、前記画像データから虹彩情報を抽出する虹彩認証部と、前記虹彩認証部の結果に基づいて、露出またはフォーカスの制御を行う撮像条件制御部と、を備える、固体撮像装置が提供される。
　また本開示によれば、画素がマトリクス上に配置された画素アレイから光電変換により得られる画像データから虹彩認証処理で用いられる虹彩情報を抽出することと、前記虹彩情報の抽出の過程で得られる情報を用いて、前記虹彩認証処理のための前記画像データを得る際の撮像条件を設定する制御を行うことと、を含む、固体撮像装置の制御方法が提供される。
　以上説明したように本開示によれば、虹彩認証に最適な撮像条件の設定を高速に行うことが可能な、新規かつ改良された固体撮像装置および固体撮像装置の制御方法を提供することが出来る。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る固体撮像装置の構成の一例を示す概略構成図である。 本開示に係る技術を適用し得る積層型の固体撮像装置の構成例の概要を示す図である。 積層型の固体撮像装置23020の第１の構成例を示す断面図である。 積層型の固体撮像装置23020の第２の構成例を示す断面図である。 積層型の固体撮像装置23020の第３の構成例を示す断面図である。 本開示に係る技術を適用し得る積層型の固体撮像装置の他の構成例を示す図である。 本開示の一実施形態に係る固体撮像装置の一部の機能構成の一例を示すブロック図である。 本開示の一実施形態に係る単位画素の回路構成の一例を示した図である。 本開示の第１の実施形態に係る固体撮像素子の機能構成例を示す説明図である。 同実施形態に係るクリップ回路の回路構成例を示す説明図である。 同実施形態に係る基準信号生成部、電流源及びコンパレータの回路構成例を示す説明図である。 同実施形態に係る固有情報を生成する際における動作をタイミングチャートで示す説明図である。 同実施形態に係る固体撮像素子の機能構成例を示す説明図である。 同実施形態に係る固体撮像素子の動作例を示す流れ図である。 同実施形態の比較例を示す説明図である。 同実施形態に係る固体撮像装置を備えた情報処理装置の構成例を示す説明図である。 情報処理装置のディスプレイに表示される画面の例を示す説明図である。 同実施形態に係る固体撮像装置を備えた情報処理装置の構成例を示す説明図である。 同実施形態に係る情報処理装置の構成例を示す説明図である。 同実施形態に係る固体撮像装置を備えた情報処理装置の構成例を示す説明図である。 虹彩認証システムの構成例を示す説明図である。 同実施形態に係る固体撮像装置を構成するロジックダイに形成される回路構成例を示す説明図である。 同実施形態に係る固体撮像装置の動作例を示す流れ図である。 同実施形態に係る固体撮像装置の動作例を示す流れ図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．固体撮像装置の構成例
　　１．１．概略構成
　　１．２．機能構成
　　１．３．単位画素の回路構成
　　１．４．暗号化処理
　　　１．４．１．構成例
　　　１．４．２．動作例
　　１．５．生体認証処理
　　　１．５．１．比較例
　　　１．５．２．構成例
　　　１．５．３．動作例
　　　１．５．４．応用例
　　２．まとめ
　＜＜１．固体撮像装置の構成例＞＞
　本実施形態に係る固体撮像装置の一構成例について以下に説明する。
　　＜１．１．概略構成＞
　図１に、本開示の一実施形態に係る固体撮像装置の構成の一例として、ＣＭＯＳ固体撮像装置の概略構成を示す。このＣＭＯＳ固体撮像装置は、各実施の形態の固体撮像装置に適用される。本例の固体撮像装置１は、図１に示すように、半導体基板１１、例えばシリコン基板に複数の光電変換部を含む画素２が規則的に２次元アレイ状に配列された画素アレイ（いわゆる画素領域）３と、周辺回路部とを有して構成される。画素２は、光電変換部となる例えばフォトダイオードと、複数の画素トランジスタ（いわゆるＭＯＳトランジスタ）を有して成る。複数の画素トランジスタは、例えば転送トランジスタ、リセットトランジスタ及び増幅トランジスタの３つのトランジスタで構成することができる。その他、選択トランジスタ追加して４つのトランジスタで構成することもできる。なお、単位画素の等価回路の一例については別途後述する。画素２は、１つの単位画素として構成することができる。また、画素２は、共有画素構造とすることもできる。この共有画素構造は、複数のフォトダイオードと、複数の転送トランジスタと、共有する１つのフローティングディフージョンと、共有する１つずつの他の画素トランジスタとから構成される。すなわち、共有画素では、複数の単位画素を構成するフォトダイオード及び転送トランジスタが、他の１つずつの画素トランジスタを共有して構成される。
　周辺回路部は、垂直駆動回路４と、カラム信号処理回路５と、水平駆動回路６と、出力回路７と、制御回路８などを有して構成される。
　制御回路８は、入力クロックと、動作モードなどを指令するデータを受け取り、また固体撮像装置の内部情報などのデータを出力する。すなわち、制御回路８では、垂直同期信号、水平同期信号及びマスタクロックに基づいて、垂直駆動回路４、カラム信号処理回路５及び水平駆動回路６などの動作の基準となるクロック信号や制御信号を生成する。そして、これらの信号を垂直駆動回路４、カラム信号処理回路５及び水平駆動回路６等に入力する。
　垂直駆動回路４は、例えばシフトレジスタによって構成され、画素駆動配線を選択し、選択された画素駆動配線に画素を駆動するためのパルスを供給し、行単位で画素を駆動する。すなわち、垂直駆動回路４は、画素アレイ３の各画素２を行単位で順次垂直方向に選択走査し、垂直信号線９を通して各画素２の光電変換部となる例えばフォトダイオードにおいて受光量に応じて生成した信号電荷に基づく画素信号をカラム信号処理回路５に供給する。
　カラム信号処理回路５は、画素２の例えば列ごとに配置されており、１行分の画素２から出力される信号を画素列ごとにノイズ除去などの信号処理を行う。すなわちカラム信号処理回路５は、画素２固有の固定パターンノイズを除去するためのＣＤＳや、信号増幅、ＡＤ変換等の信号処理を行う。カラム信号処理回路５の出力段には水平選択スイッチ（図示せず）が水平信号線１０との間に接続されて設けられる。
　水平駆動回路６は、例えばシフトレジスタによって構成され、水平走査パルスを順次出力することによって、カラム信号処理回路５の各々を順番に選択し、カラム信号処理回路５の各々から画素信号を水平信号線１０に出力させる。
　出力回路７は、カラム信号処理回路５の各々から水平信号線１０を通して順次に供給される信号に対し、信号処理を行って出力する。例えば、バファリングだけする場合もあるし、黒レベル調整、列ばらつき補正、各種デジタル信号処理などが行われる場合もある。入出力端子１２は、外部と信号のやりとりをする。
　また、図２は、本開示に係る技術を適用し得る積層型の固体撮像装置の構成例の概要を示す図である。
　図２のＡは、非積層型の固体撮像装置の概略構成例を示している。固体撮像装置23010は、図２のＡに示すように、１枚のダイ（半導体基板）23011を有する。このダイ23011には、画素がアレイ状に配置された画素領域23012と、画素の駆動その他の各種の制御を行う制御回路23013と、信号処理するためのロジック回路23014とが搭載されている。
　図２のＢ及びＣは、積層型の固体撮像装置の概略構成例を示している。固体撮像装置23020は、図２のＢ及びＣに示すように、センサダイ23021とロジックダイ23024との2枚のダイが積層され、電気的に接続されて、１つの半導体チップとして構成されている。
　図２のＢでは、センサダイ23021には、画素領域23012と制御回路23013が搭載され、ロジックダイ23024には、信号処理を行う信号処理回路を含むロジック回路23014が搭載されている。
　図２のＣでは、センサダイ23021には、画素領域23012が搭載され、ロジックダイ23024には、制御回路23013及びロジック回路23014が搭載されている。
　図３は、積層型の固体撮像装置23020の第１の構成例を示す断面図である。
　センサダイ23021には、画素領域23012となる画素を構成するPD（フォトダイオード）や、FD（フローティングディフュージョン）、Tr（MOS FET）、及び、制御回路23013となるTr等が形成される。さらに、センサダイ23021には、複数層、本例では３層の配線23110を有する配線層23101が形成される。なお、制御回路23013（となるTr）は、センサダイ23021ではなく、ロジックダイ23024に構成することができる。
　ロジックダイ23024には、ロジック回路23014を構成するTrが形成される。さらに、ロジックダイ23024には、複数層、本例では３層の配線23170を有する配線層23161が形成される。また、ロジックダイ23024には、内壁面に絶縁膜23172が形成された接続孔23171が形成され、接続孔23171内には、配線23170等と接続される接続導体23173が埋め込まれる。
　センサダイ23021とロジックダイ23024とは、互いの配線層23101及び23161が向き合うように貼り合わされ、これにより、センサダイ23021とロジックダイ23024とが積層された積層型の固体撮像装置23020が構成されている。センサダイ23021とロジックダイ23024とが貼り合わされる面には、保護膜等の膜23191が形成されている。
　センサダイ23021には、センサダイ23021の裏面側（PDに光が入射する側）（上側）からセンサダイ23021を貫通してロジックダイ23024の最上層の配線23170に達する接続孔23111が形成される。さらに、センサダイ23021には、接続孔23111に近接して、センサダイ23021の裏面側から１層目の配線23110に達する接続孔23121が形成される。接続孔23111の内壁面には、絶縁膜23112が形成され、接続孔23121の内壁面には、絶縁膜23122が形成される。そして、接続孔23111及び23121内には、接続導体23113及び23123がそれぞれ埋め込まれる。接続導体23113と接続導体23123とは、センサダイ23021の裏面側で電気的に接続され、これにより、センサダイ23021とロジックダイ23024とが、配線層23101、接続孔23121、接続孔23111、及び、配線層23161を介して、電気的に接続される。
　図４は、積層型の固体撮像装置23020の第２の構成例を示す断面図である。
　固体撮像装置23020の第２の構成例では、センサダイ23021に形成する１つの接続孔23211によって、センサダイ23021（の配線層23101（の配線23110））と、ロジックダイ23024（の配線層23161（の配線23170））とが電気的に接続される。
　すなわち、図４では、接続孔23211が、センサダイ23021の裏面側からセンサダイ23021を貫通してロジックダイ23024の最上層の配線23170に達し、且つ、センサダイ23021の最上層の配線23110に達するように形成される。接続孔23211の内壁面には、絶縁膜23212が形成され、接続孔23211内には、接続導体23213が埋め込まれる。上述の図３では、２つの接続孔23111及び23121によって、センサダイ23021とロジックダイ23024とが電気的に接続されるが、図４では、１つの接続孔23211によって、センサダイ23021とロジックダイ23024とが電気的に接続される。
　図５は、積層型の固体撮像装置23020の第３の構成例を示す断面図である。
　図５の固体撮像装置23020は、センサダイ23021とロジックダイ23024とが貼り合わされる面に、保護膜等の膜23191が形成されていない点で、センサダイ23021とロジックダイ23024とが貼り合わされる面に、保護膜等の膜23191が形成されている図３の場合と異なる。
　図５の固体撮像装置23020は、配線23110及び23170が直接接触するように、センサダイ23021とロジックダイ23024とを重ね合わせ、所要の加重をかけながら加熱し、配線23110及び23170を直接接合することで構成される。
　図６は、本開示に係る技術を適用し得る積層型の固体撮像装置の他の構成例を示す断面図である。
　図６では、固体撮像装置23401は、センサダイ23411と、ロジックダイ23412と、メモリダイ23413との3枚のダイが積層された３層の積層構造になっている。
　メモリダイ23413は、例えば、ロジックダイ23412で行われる信号処理において一時的に必要となるデータの記憶を行うメモリ回路を有する。
　図６では、センサダイ23411の下に、ロジックダイ23412及びメモリダイ23413が、その順番で積層されているが、ロジックダイ23412及びメモリダイ23413は、逆順、すなわち、メモリダイ23413及びロジックダイ23412の順番で、センサダイ23411の下に積層することができる。
　なお、図６では、センサダイ23411には、画素の光電変換部となるPDや、画素Trのソース／ドレイン領域が形成されている。
　PDの周囲にはゲート絶縁膜を介してゲート電極が形成され、ゲート電極と対のソース／ドレイン領域により画素Tr23421、画素Tr23422が形成されている。
　PDに隣接する画素Tr23421が転送Trであり、その画素Tr23421を構成する対のソース／ドレイン領域の一方がFDになっている。
　また、センサダイ23411には、層間絶縁膜が形成され、層間絶縁膜には、接続孔が形成される。接続孔には、画素Tr23421、及び、画素Tr23422に接続する接続導体23431が形成されている。
　さらに、センサダイ23411には、各接続導体23431に接続する複数層の配線23432を有する配線層23433が形成されている。
　また、センサダイ23411の配線層23433の最下層には、外部接続用の電極となるアルミパッド23434が形成されている。すなわち、センサダイ23411では、配線23432よりもロジックダイ23412との接着面23440に近い位置にアルミパッド23434が形成されている。アルミパッド23434は、外部との信号の入出力に係る配線の一端として用いられる。
　さらに、センサダイ23411には、ロジックダイ23412との電気的接続に用いられるコンタクト23441が形成されている。コンタクト23441は、ロジックダイ23412のコンタクト23451に接続されるとともに、センサダイ23411のアルミパッド23442にも接続されている。
　そして、センサダイ23411には、センサダイ23411の裏面側（上側）からアルミパッド23442に達するようにパッド孔23443が形成されている。
　本開示に係る技術は、以上のような固体撮像装置に適用することができる。
　なお、図３～図６を参照して説明した例において、各種配線には、例えば、銅（Ｃｕ）配線が用いられる。また、以降では、図５に示すように、互いに積層されるセンサダイ間において配線間（例えば、図５に示す配線23110及び23170間）を直接接合する構成を「Ｃｕ－Ｃｕ接合」とも称する。
　　＜１．２．機能構成＞
　続いて、図７を参照して、本開示の一実施形態に係る固体撮像装置の機能構成の一例について説明する。図７は、本開示の一実施形態に係る固体撮像装置の一部の機能構成の一例を示すブロック図である。図７に示される固体撮像装置１は、例えば、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）イメージセンサやＣＣＤ（Charge　Coupled　Device）イメージセンサ等の、被写体を撮像し、撮像画像のデジタルデータを得る撮像素子である。
　図７に示されるように、固体撮像装置１は、制御部１０１、画素アレイ部１１１、選択部１１２、Ａ／Ｄ変換部（ＡＤＣ（Analog　Digital　Converter））１１３、及び定電流回路部１１４を有する。
　制御部１０１は、固体撮像装置１の各部を制御し、画像データ（画素信号）の読み出し等に関する処理を実行させる。
　画素アレイ部１１１は、フォトダイオード等の光電変換素子を有する画素構成が行列（アレイ）状に配置される画素領域である。画素アレイ部１１１は、制御部１０１に制御されて、各画素で被写体の光を受光し、その入射光を光電変換して電荷を蓄積し、所定のタイミングにおいて、各画素に蓄積された電荷を画素信号として出力する。
　画素１２１および画素１２２は、その画素アレイ部１１１に配置される画素群の中の、上下に隣接する２画素を示している。画素１２１および画素１２２は、互いに同じカラム（列）の連続する行の画素である。図７の例の場合、画素１２１および画素１２２に示されるように、各画素の回路には、光電変換素子並びに４つのトランジスタが用いられている。なお、各画素の回路の構成は、任意であり、図７に示される例以外であってもよい。
　一般的な画素アレイには、カラム（列）毎に、画素信号の出力線が設けられる。画素アレイ部１１１の場合、１カラム（列）毎に、２本（２系統）の出力線が設けられる。１カラムの画素の回路は、１行おきに、この２本の出力線に交互に接続される。例えば、上から奇数番目の行の画素の回路が一方の出力線に接続され、偶数番目の行の画素の回路が他方の出力線に接続される。図７の例の場合、画素１２１の回路は、第１の出力線（ＶＳＬ１）に接続され、画素１２２の回路は、第２の出力線（ＶＳＬ２）に接続される。
　なお、図７においては、説明の便宜上、１カラム分の出力線のみ示されているが、実際には、各カラムに対して、同様に２本ずつ出力線が設けられる。各出力線には、そのカラムの画素の回路が１行おきに接続される。
　選択部１１２は、画素アレイ部１１１の各出力線をＡＤＣ１１３の入力に接続するスイッチを有し、制御部１０１に制御されて、画素アレイ部１１１とＡＤＣ１１３との接続を制御する。つまり、画素アレイ部１１１から読み出された画素信号は、この選択部１１２を介してＡＤＣ１１３に供給される。
　選択部１１２は、スイッチ１３１、スイッチ１３２、およびスイッチ１３３を有する。スイッチ１３１（選択SW）は、互いに同じカラムに対応する２本の出力線の接続を制御する。例えば、スイッチ１３１がオン（ＯＮ）状態になると、第１の出力線（ＶＳＬ１）と第２の出力線（ＶＳＬ２）が接続され、オフ（ＯＦＦ）状態になると切断される。
　詳細については後述するが、固体撮像装置１においては、各出力線に対してＡＤＣが１つずつ設けられている（カラムＡＤＣ）。したがって、スイッチ１３２およびスイッチ１３３がともにオン状態であるとすると、スイッチ１３１がオン状態になれば、同カラムの２本の出力線が接続されるので、１画素の回路が２つのＡＤＣに接続されることになる。逆に、スイッチ１３１がオフ状態になると、同カラムの２本の出力線が切断されて、１画素の回路が１つのＡＤＣに接続されることになる。つまり、スイッチ１３１は、１つの画素の信号の出力先とするＡＤＣ（カラムＡＤＣ）の数を選択する。
　詳細については後述するが、このようにスイッチ１３１が画素信号の出力先とするＡＤＣの数を制御することにより、固体撮像装置１は、そのＡＤＣの数に応じてより多様な画素信号を出力することができる。つまり、固体撮像装置１は、より多様なデータ出力を実現することができる。
　スイッチ１３２は、画素１２１に対応する第１の出力線（ＶＳＬ１）と、その出力線に対応するＡＤＣとの接続を制御する。スイッチ１３２がオン（ＯＮ）状態になると、第１の出力線が、対応するＡＤＣの比較器の一方の入力に接続される。また、オフ（ＯＦＦ）状態になるとそれらが切断される。
　スイッチ１３３は、画素１２２に対応する第２の出力線（ＶＳＬ２）と、その出力線に対応するＡＤＣとの接続を制御する。スイッチ１３３がオン（ＯＮ）状態になると、第２の出力線が、対応するＡＤＣの比較器の一方の入力に接続される。また、オフ（ＯＦＦ）状態になるとそれらが切断される。
　選択部１１２は、制御部１０１の制御に従って、このようなスイッチ１３１～スイッチ１３３の状態を切り替えることにより、１つの画素の信号の出力先とするＡＤＣ（カラムＡＤＣ）の数を制御することができる。
　なお、スイッチ１３２やスイッチ１３３（いずれか一方もしくは両方）を省略し、各出力線と、その出力線に対応するＡＤＣとを常時接続するようにしてもよい。ただし、これらのスイッチによって、これらの接続・切断を制御することができるようにすることにより、１つの画素の信号の出力先とするＡＤＣ（カラムＡＤＣ）の数の選択の幅が拡がる。つまり、これらのスイッチを設けることにより、固体撮像装置１は、より多様な画素信号を出力することができる。
　なお、図７においては、１カラム分の出力線に対する構成のみ示されているが、実際には、選択部１１２は、カラム毎に、図７に示されるのと同様の構成（スイッチ１３１～スイッチ１３３）を有している。つまり、選択部１１２は、各カラムについて、制御部１０１の制御に従って、上述したのと同様の接続制御を行う。
　ＡＤＣ１１３は、画素アレイ部１１１から各出力線を介して供給される画素信号を、それぞれＡ／Ｄ変換し、デジタルデータとして出力する。ＡＤＣ１１３は、画素アレイ部１１１からの出力線毎のＡＤＣ（カラムＡＤＣ）を有する。つまり、ＡＤＣ１１３は、複数のカラムＡＤＣを有する。１出力線に対応するカラムＡＤＣは、比較器、Ｄ／Ａ変換器（ＤＡＣ）、およびカウンタを有するシングルスロープ型のＡＤＣである。
　比較器は、そのDAC出力と画素信号の信号値とを比較する。カウンタは、画素信号とＤＡＣ出力が等しくなるまで、カウント値（デジタル値）をインクリメントする。比較器は、ＤＡＣ出力が信号値に達すると、カウンタを停止する。その後カウンタ１，２によってデジタル化された信号をＤＡＴＡ１およびＤＡＴＡ２より固体撮像装置１の外部に出力する。
　カウンタは、次のＡ／Ｄ変換のためデータ出力後、カウント値を初期値（例えば０）に戻す。
　ＡＤＣ１１３は、各カラムに対して２系統のカラムＡＤＣを有する。例えば、第１の出力線（ＶＳＬ１）に対して、比較器１４１（ＣＯＭＰ１）、ＤＡＣ１４２（ＤＡＣ1）、およびカウンタ１４３（カウンタ１）が設けられ、第２の出力線（ＶＳＬ２）に対して、比較器１５１（ＣＯＭＰ２）、ＤＡＣ１５２（ＤＡＣ2）、およびカウンタ１５３（カウンタ２）が設けられている。図示は省略しているが、ＡＤＣ１１３は、他のカラムの出力線に対しても同様の構成を有する。
　ただし、これらの構成の内、ＤＡＣは、共通化することができる。ＤＡＣの共通化は、系統毎に行われる。つまり、各カラムの互いに同じ系統のＤＡＣが共通化される。図７の例の場合、各カラムの第１の出力線（ＶＳＬ１）に対応するＤＡＣがＤＡＣ１４２として共通化され、各カラムの第２の出力線（ＶＳＬ２）に対応するＤＡＣがＤＡＣ１５２として共通化されている。なお、比較器とカウンタは、各出力線の系統毎に設けられる。
　定電流回路部１１４は、各出力線に接続される定電流回路であり、制御部１０１により制御されて駆動する。定電流回路部１１４の回路は、例えば、ＭＯＳ（Metal　Oxide　Semiconductor）トランジスタ等により構成される。この回路構成は任意であるが、図７においては、説明の便宜上、第１の出力線（ＶＳＬ１）に対して、ＭＯＳトランジスタ１６１（ＬＯＡＤ１）が設けられ、第２の出力線（ＶＳＬ２）に対して、ＭＯＳトランジスタ１６２（ＬＯＡＤ２）が設けられている。
　制御部１０１は、例えばユーザ等の外部から要求を受け付けて読み出しモードを選択し、選択部１１２を制御して、出力線に対する接続を制御する。また、制御部１０１は、選択した読み出しモードに応じて、カラムＡＤＣの駆動を制御したりする。さらに、制御部１０１は、カラムＡＤＣ以外にも、必要に応じて、定電流回路部１１４の駆動を制御したり、例えば、読み出しのレートやタイミング等、画素アレイ部１１１の駆動を制御したりする。
　つまり、制御部１０１は、選択部１１２の制御だけでなく、選択部１１２以外の各部も、より多様なモードで動作させることができる。したがって、固体撮像装置１は、より多様な画素信号を出力することができる。
　なお、図７に示す各部の数は、不足しない限り任意である。例えば、各カラムに対して、出力線が３系統以上設けられるようにしてもよい。また、図７に示した、ＡＤＣ１３２から出力される画素信号の並列数や、ＡＤＣ１３２自体の数を増やすことで、外部に並列して出力される画素信号の数を増やしてもよい。
　以上、図７を参照して、本開示の一実施形態に係る固体撮像装置の機能構成の一例について説明した。
　　＜１．３．単位画素の回路構成＞
　続いて、図８を参照して、単位画素の回路構成の一例について説明する。図８は、本開示の一実施形態に係る単位画素の回路構成の一例を示した図である。図８に示すように、本開示の一実施形態に係る単位画素１２１は、光電変換部、例えばフォトダイオードＰＤと、４つの画素トランジスタとを含む。４つの画素トランジスタは、例えば、転送トランジスタＴｒ１１、リセットトランジスタＴｒ１２、増幅トランジスタＴｒ１３、及び選択トランジスタＴｒ１４である。これらの画素トランジスタは、例えば、ｎチャネルのＭＯＳトランジスタにより構成され得る。
　転送トランジスタＴｒ１１は、フォトダイオードＰＤのカソードとフローティングディフュージョン部ＦＤとの間に接続される。フォトダイオードＰＤで光電変換され、ここに蓄積された信号電荷（ここでは、電子）を、ゲートに転送パルスφＴＲＧが与えられることによってフローティングディフュージョン部ＦＤに転送する。なお、参照符号Ｃｆｄは、フローティングディフュージョン部ＦＤの寄生容量を模式的に示している。
　リセットトランジスタＴｒ１２は、電源ＶＤＤにドレインが、フローティングディフュージョン部ＦＤにソースがそれぞれ接続される。そして、フォトダイオードＰＤからフローティングディフュージョン部ＦＤへの信号電荷の転送に先立って、ゲートにリセットパルスφＲＳＴが与えられることによってフローティングディフュージョン部ＦＤの電位をリセットする。
　増幅トランジスタＴｒ１３は、フローティングディフュージョン部ＦＤにゲートが、電源ＶＤＤにドレインが、選択トランジスタＴｒ１４のドレインにソースがそれぞれ接続される。増幅トランジスタＴｒ１３は、リセットトランジスタＴｒ１２によってリセットした後のフローティングディフュージョン部ＦＤの電位をリセットレベルとして選択トランジスタＴｒ１４に出力する。さらに増幅トランジスタＴｒ１３は、転送トランジスタＴｒ１１によって信号電荷を転送した後のフローティングディフュージョン部ＦＤの電位を信号レベルとして選択トランジスタＴｒ１４に出力する。
　選択トランジスタＴｒ１４は、例えば、増幅トランジスタＴｒ１３のソースにドレインが、垂直信号線９にソースがそれぞれ接続される。そして選択トランジスタＴｒ１４のゲートに選択パルスφＳＥＬが与えられることによってオン状態となり、増幅トランジスタＴｒ１３から出力される信号を垂直信号線９に出力する。なお、この選択トランジスタＴｒ１４については、電源ＶＤＤと増幅トランジスタＴｒ１３のドレインとの間に接続した構成を採ることも可能である。
　なお、本実施形態に係る固体撮像装置１を、積層型の固体撮像装置として構成する場合には、例えば、フォトダイオード及び複数のＭＯＳトランジスタ等の素子が、図２のＢまたはＣにおけるセンサダイ23021に形成される。また、転送パルス、リセットパルス、選択パルス、電源電圧は、図２のＢまたはＣにおけるロジックダイ23024から供給される。また、選択トランジスタのドレインに接続される垂直信号線９から後段の素子は、選択トランジスタのドレインに接続される垂直信号線９から後段の素子は、ロジック回路23014に構成されており、ロジックダイ23024に形成される。
　以上、図８を参照して、単位画素の回路構成の一例について説明した。
　　＜１．４．暗号化処理＞
　続いて、内部で暗号化処理を完結させる固体撮像素子について説明する。従来、固体撮像素子に固有の固有情報に基づき、撮像装置の内部で暗号キーを生成する技術は存在していた。しかし、固体撮像素子から固有情報を出力し、固体撮像素子とは別の機能ブロックで暗号化すると、暗号化に用いられる固有情報が流出する可能性がある。
　そこで、本実施形態に係る固体撮像装置１は、固有情報を外部に出力せずに、固有情報を用いた暗号化処理を内部で完結させる。
　　＜１．４．１．構成例＞
　図９は、本開示の第１の実施形態に係る固体撮像素子の機能構成例を示す説明図である。図９に示したのは、固有情報を用いた暗号化処理を内部で完結させる固体撮像装置１の機能構成例である。以下、図９を用いて本開示の第１の実施形態に係る固体撮像素子の機能構成例について説明する。
　図９に示したように、本開示の第１の実施形態に係る固体撮像装置１は、駆動制御部２１０と、撮像部２１２及び固有情報生成部２１４を含む、所定の行及び列からなる画素アレイ部２１１と、クリップ回路２１５と、基準信号生成部２１６と、電流源２１７と、検出部２１８と、固有値計算部２２０と、暗号化部２２２と、通信制御部２２４と、を含んで構成される。
　駆動制御部２１０は、所定の入力クロック及びデータに基づいて、後述の撮像部２１２や固有情報生成部２１４を駆動させるための信号を生成して、撮像部２１２や固有情報生成部２１４を駆動させる。駆動制御部２１０は、例えば、図１を用いて説明した固体撮像装置１の構成における制御回路８、垂直駆動回路４、水平駆動回路６を含みうる。また駆動制御部２１０は、図２に示した制御回路23013に設けられ得る。
　駆動制御部２１０は、画素アレイ部２１１を駆動させる際に、撮像部２１２の駆動と、固有情報生成部２１４の駆動とを切り替える機能を有していても良い。駆動制御部２１０が撮像部２１２の駆動と、固有情報生成部２１４の駆動とを切り替える機能を有することで、撮像部２１２と固有情報生成部２１４との回路との共通化が可能となる。また駆動制御部２１０が撮像部２１２の駆動と固有情報生成部２１４の駆動とを切り替える機能を有することで、固有情報を生成するための特別な素子を必要とせず、固有値が解析されにくくなる。
　また駆動制御部２１０は、画素アレイ部２１１における、画像を出力する際に駆動させる素子と、素子固有情報を検出するために駆動させる素子とを分ける機能を有していても良い。駆動制御部２１０が、画像を出力する際に駆動させる素子と、素子固有情報を検出するために駆動させる素子とを分ける機能を有することで、素子固有情報が流出されなくなる。
　また駆動制御部２１０は、素子固有情報を検出するための駆動の際は、画像を出力する際の駆動とは異なるバイアス電流で駆動するよう制御しても良い。駆動制御部２１０が、素子固有情報を検出するための駆動の際は、画像を出力する際の駆動とは異なるバイアス電流で駆動するよう制御することで、安定して固有値を得るのに適した駆動が可能となる。具体的には、例えば図７に示した回路におけるＭＯＳトランジスタ１６１（ＬＯＡＤ１）、ＭＯＳトランジスタ１６２（ＬＯＡＤ２）の駆動を、素子固有情報を検出するための駆動の際と、画像を出力するための駆動の際とで変化させる。ＭＯＳトランジスタ１６１（ＬＯＡＤ１）、ＭＯＳトランジスタ１６２（ＬＯＡＤ２）の駆動を変化させることで、増幅トランジスタＡＭＰに出てくる特性を変化させることができる。駆動制御部２１０が、温度に応じたバイアス電流で素子固有情報を検出するための駆動を行うよう制御することで、より安定して固有値を得るのに適した駆動が可能となる。
　駆動制御部２１０は、画像を出力する際の駆動とは異なるバイアス電流で素子固有情報を検出するための駆動を行う際は、固体撮像装置１のチップ温度に応じたバイアス電流で駆動するよう制御しても良い。
　画素アレイ部２１１は、所定の行及び列からなる単位画素が配列されており、ソースフォロワ回路でデータを出力するよう構成されている。
　撮像部２１２は、複数の光電変換部を含む画素が２次元アレイ状に配列された画素アレイを有しており、駆動制御部２１０により駆動されてアナログ信号を出力する。撮像部２１２における各画素の回路構成は例えば図８に示したものである。
　固有情報生成部２１４は、例えば撮像部２１２において設けられている画素と同じ構成を有する回路が一次元に配列されており、駆動制御部２１０により駆動されてアナログ信号を出力する。固有情報生成部２１４として形成される回路は、撮像部２１２において設けられている画素と略同一の製造工程で作製されても良い。また駆動制御部２１０は、撮像部２１２の駆動と、固有情報生成部２１４の駆動とを切り替えても良い。
　固有情報生成部２１４は、画素アレイにおけるオプティカルブラック（ＯＰＢ）領域に設けられる画素であってもよい。固有情報生成部２１４として構成される回路における各素子は、製造時に物理的なばらつきを有する。本開示の第１の実施形態に係る固体撮像装置１は、この固有情報生成部２１４が出力するアナログ信号を、固有の複製できない情報（素子固有情報）の基とする。
　固有情報生成部２１４が出力するアナログ信号の生成元の一例を挙げる。以下の説明では、固有情報生成部２１４が図７や図８に示した画素１２１と同様の構成を有しているものとして説明する。
　（フォトダイオードＰＤ）
　フォトダイオードＰＤには、製造時の結晶欠陥に起因するノイズ成分がある。結晶欠陥は暗電流のばらつきを引き起こす。結晶欠陥は固定パターンノイズとして現れる。
　（選択トランジスタＳＥＬ）
　選択トランジスタＳＥＬには、閾値電圧Ｖｔｈのばらつきに起因するノイズ成分がある。閾値電圧Ｖｔｈのばらつきは、酸化膜、チャネル幅、チャネル長、不純物等の構造的なものに起因する。閾値電圧Ｖｔｈのばらつきは固定パターンノイズとして現れる。
　（リセットトランジスタＲＳＴ）
　リセットトランジスタＲＳＴにも、閾値電圧Ｖｔｈのばらつきに起因するノイズ成分がある。閾値電圧Ｖｔｈのばらつきは、酸化膜、チャネル幅、チャネル長、不純物等の構造的なものに起因する。閾値電圧Ｖｔｈのばらつきは固定パターンノイズとして現れる。
　（フローティングディフュージョン部ＦＤ）
　フローティングディフュージョン部ＦＤには、製造時の結晶欠陥に起因するノイズ成分がある。結晶欠陥は暗電流のばらつきを引き起こす。結晶欠陥は固定パターンノイズとして現れる。リセットトランジスタＲＳＴがオンからオフに切り替わる際に、フローティングディフュージョン部ＦＤにはｋＴＣノイズ（リセットノイズ）が現れる。このｋＴＣノイズは一時的に生じるものである。リセットトランジスタＲＳＴがオンからオフに切り替わる際に、フローティングディフュージョン部ＦＤにはフィードスルーが現れる。このフィードスルーは寄生容量のばらつきやしきい値に起因するものであり、固定パターンノイズとして現れる。
　（増幅トランジスタＡＭＰ）
　増幅トランジスタＡＭＰにも、閾値電圧Ｖｔｈのばらつきに起因するノイズ成分がある。閾値電圧Ｖｔｈのばらつきは、酸化膜、チャネル幅、チャネル長、不純物等の構造的なものに起因する。閾値電圧Ｖｔｈのばらつきは固定パターンノイズとして現れる。また増幅トランジスタＡＭＰには、オーバドライブ電圧に起因するノイズ成分、熱雑音に起因するノイズ成分、１／ｆ雑音に起因するノイズ成分、ランダムテレグラフノイズ（ＲＴＮ）に起因するノイズ成分がある。ＲＴＮは酸化膜中の欠陥による電荷のトラップ・デトラップに起因すると考えられている。酸化膜中の欠陥の有無は固有のばらつきであるが、観測されるのは２値又は多値の時間的な信号レベル変動である。
　これらのノイズ成分が、信号線（ＶＳＬ）を介して後段の検出部２１８に伝達される。通常の駆動時には、これらのノイズ成分のうち、信号の転送の前後で変化しないノイズ成分はＣＤＳ処理により除去されることになる。本実施形態では、固体撮像装置１は、固有値を生成する際には、これらのノイズ成分を除去するのでは無く、固有値の基となる素子固有情報として用いる。固有情報生成部２１４が出力するアナログ信号に含まれるノイズ成分を固有値の基とすることで、固体撮像装置１は、解析されにくい固有値の生成を可能とする。
　固有情報生成部２１４は、例えば外部からの光が届かない位置（遮光された位置）に設けられ得る。固有情報生成部２１４が遮光された位置に設けられることで、固体撮像装置１は、外光の影響を受けずに安定した固有情報の生成を可能とする。また固有情報生成部２１４は、撮像部２１２の画素アレイの列数と同じ数の回路を１または複数行有していても良い。また固有情報生成部２１４は、駆動制御部２１０からの制御信号により動作する行選択スイッチを設けていても良い。
　クリップ回路２１５は、画素アレイ部２１１の列数と同じくｎ列配列される回路であり、画素アレイ部２１１のソースフォロワ回路と並列に接続されるソースフォロワ回路である。クリップ回路２１５は、列ごとの出力線の電圧（ＶＳＬ電圧）が所定の範囲となるようにクリップする機能を有する。
　図１０Ａは、クリップ回路２１５の回路構成例を示す説明図である。クリップ回路２１５は、画素と並列に、出力線ＶＳＬに接続された、行選択可能なソースフォロワ回路である。クリップ回路２１５は、それぞれの出力線ＶＳＬに対応して、トランジスタＣＬＰＳＥＬ、ＣＬＰＡＭＰを備える。トランジスタＣＬＰＳＥＬは、線形動作するトランジスタであり、トランジスタＣＬＰＡＭＰのソースと出力線ＶＳＬとを接続する制御を行う。当該制御はクリップ選択パルスによって行われる。トランジスタＣＬＰＡＭＰは、飽和動作するトランジスタであり、画素の増幅トランジスタＡＭＰと同様に、電流源によりバイアス電流を流すと入力に応じた信号を出力する。入力はクリップ電圧で与えられ、通常は１Ｖ～２Ｖ程度の中間電位である。
　選択状態では、出力線ＶＳＬに接続されるソースフォロワ（選択行の画素）の出力電圧がクリップ電圧に応じて出力される電圧よりも低くなると、クリップ回路２１５に優先的にバイアス電流が流れるようになる。結果、選択行の画素のソースフォロワ出力は機能しなくなり、クリップ電圧に応じた出力レベルに出力線ＶＳＬの電圧がクリップされる。クリップ電圧は列ごとの単位クリップ回路に共通のＤＣ電圧が供給されるが、このとき、画素ソースフォロワと同様に、個々にしきい値ばらつきやオーバドライブ電圧がばらつく。
　基準信号生成部２１６は、クリップ回路２１５が列ごとに出力するＶＳＬ電圧を平均化して出力する。電流源２１７は、定電流を流し、ＶＳＬ電圧を出力するための回路であり、電流制御電圧生成部２１９によって駆動される。電流源２１７はｎ列配列され、単位画素内の増幅トランジスタとソースフォロワ回路を形成する。電流制御電圧生成部２１９は、バンドギャップリファレンス回路により、電流源２１７の電流値が温度に依存しないよう、電流制御電圧を生成する。
　検出部２１８は、固有情報生成部２１４が出力するアナログ信号をデジタル信号に変換する信号処理を行う。検出部２１８は、コンパレータ２３１と、ＤＡ変換器２３２と、カウンタ２３３と、を含む。コンパレータ２３１は、電流源２１７が出力するＶＳＬ電圧と、ＤＡ変換器２３２が出力する参照波形とを比較して電圧を時間に変換する。コンパレータ２３１は、入力側に設けられる入力容量と、コンパレータ２３１の入出力を短絡するスイッチとを備える。ＤＡ変換器２３２は、コンパレータ２３１に供給する参照波形を生成する。カウンタ２３３は、コンパレータ２３１の出力が反転するまでカウントし、時間をカウント数に変換する機能を有する。
　検出部２１８は、変換後のデジタル信号を固有値計算部２２０に出力する。検出部２１８は、アナログ信号をデジタル信号に変換する機能に加え、２つの入力信号に対して差分処理する機能と、検出部２１８自身で発生するばらつきを除去する機能を備えうる。検出部２１８自身で発生するばらつきを除去する機能を備えることで、固有情報生成部２１４からの信号に余計にばらつきを加えないため、固有値の基となる信号の品質を高めることが可能となる。また検出部２１８は、固有情報生成部２１４が出力するアナログ信号に対して列並列処理を行ってもよく、画素並列処理を行ってもよい。
　検出部２１８は、信号線の電位をクランプする容量と、当該容量の一端を基準電位に設定するためのスイッチを備えてもよい。具体的には、図７に示したＡＤＣ１１３の、比較器１４１、１５１の入力側に設けられる容量素子の一端と、比較器１４１、１５１の出力側とを接続するスイッチを備えていても良い。当該スイッチによって容量素子の一端と、比較器１４１、１５１の出力側とが接続されることで、比較器１４１、１５１に含まれるトランジスタの内、ダイオード接続されるトランジスタが発生することになる。これにより、信号線の電位をクランプする容量の一端が所定の基準電位に設定されるので、アナログ領域でのばらつきの除去が可能となる。また検出部２１８は、ＡＤ変換後のデジタル値を差分処理してもよい。検出部２１８は、ＡＤ変換後のデジタル値を差分処理によって、デジタル領域でのばらつきの除去が可能となる。
　また検出部２１８は、後述するようにクランプのレベルをシフトさせる機能を有していてもよい。検出部２１８は、クランプのレベルをシフトさせることで、アナログ値からデジタル値への変換の際に、所定の基準を中心としたアナログ値の分布を最適なものとすることができる。アナログ値の分布を最適なものとすることで、固有情報生成部２１４が出力する固有情報を損失無く得ることが可能となる。
　検出部２１８が複数配列されている場合、それぞれの検出部２１８は、検出部２１８にそれぞれ入力される信号と、複数の検出部２１８に共通の基準信号との差分を取る機能を有していても良い。この場合、複数の検出部２１８に共通の基準信号は、検出部２１８にそれぞれ入力される信号の平均と略同一であってもよい。
　固有情報生成部２１４と検出部２１８との間には、固有情報生成部２１４が出力する固有情報を一時的に保持するためのメモリ、特にアナログメモリが設けられても良い。アナログメモリとしては、以下で説明するように信号線の寄生容量であっても良い。また、固有情報生成部２１４と複数の検出部２１８との間にそれぞれアナログメモリが設けられる場合、アナログメモリ間を短絡させるスイッチが設けられても良い。固有情報の生成が容易になると共に、アナログメモリ間を短絡させて平均化することで、それぞれのアナログメモリに保持された固有情報は消去される。
　図１０Ｂは、基準信号生成部２１６、電流源２１７及びコンパレータ２３１の回路構成例を示す説明図である。図１０Ｂには、（ｎ－１）番目の出力線ＶＳＬ（ｎ－１）、ｎ番目の出力線ＶＳＬ（ｎ）、（ｎ＋１）番目の出力線ＶＳＬ（ｎ＋１）が示されている。
　出力線ＶＳＬ（ｎ－１）には、基準信号生成部２１６としてスイッチ２５１ａ、２５２ａが設けられており、出力線ＶＳＬ（ｎ－１）には寄生容量２５３ａが存在する。出力線ＶＳＬ（ｎ）には、基準信号生成部２１６としてスイッチ２５１ｂ、２５２ｂが設けられており、出力線ＶＳＬ（ｎ）には寄生容量２５３ｂが存在する。出力線ＶＳＬ（ｎ＋１）には、基準信号生成部２１６としてスイッチ２５１ｃ、２５２ｃが設けられており、出力線ＶＳＬ（ｎ＋１）には寄生容量２５３ｃが存在する。
　電流源２１７として、スイッチ２５２ａの一端にトランジスタ２６１ａが、スイッチ２５２ｂの一端にトランジスタ２６１ｂが、スイッチ２５２ｃの一端にトランジスタ２６１ｃが、それぞれ接続される。
　出力線ＶＳＬ（ｎ－１）には、コンパレータ２３１として入力容量２７１ａ、２７２ａ、スイッチ２７３ａ、２７４ａ、コンパレータ２７５ａが存在する。出力線ＶＳＬ（ｎ）には、コンパレータ２３１として入力容量２７１ｂ、２７２ｂ、スイッチ２７３ｂ、２７４ｂ、コンパレータ２７５ｂが存在する。出力線ＶＳＬ（ｎ＋１）には、コンパレータ２３１として入力容量２７１ｃ、２７２ｃ、スイッチ２７３ｃ、２７４ｃ、コンパレータ２７５ｃが存在する。
　図１１は、固有情報を生成する際における、基準信号生成部２１６、電流源２１７及びコンパレータ２３１の動作をタイミングチャートで示す説明図である。以下では、出力線ＶＳＬ（ｎ－１）上に、または出力線ＶＳＬ（ｎ－１）に沿って設けられる各素子の動作について説明する。なお、固有情報を生成する際における、基準信号生成部２１６、電流源２１７及びコンパレータ２３１の動作は、図１１に示したものに限定されるものではない。
　時刻ｔ１で１水平読み出し期間がスタートする。この時点で行選択信号φＳＥＬがハイになり、行選択が始まる。この時点ではリセットトランジスタＲＳＴがオン状態であるので、フローティングディフュージョン部ＦＤの電圧はＶＤＤに固定されている。これによりフローティングディフュージョン部ＦＤのばらつきは除去される。また固有情報を生成する際に、転送パルスφＴＲＧはローで固定される。転送パルスφＴＲＧがローで固定されることで転送トランジスタＴＲＧがオフとなり、フォトダイオードＰＤのばらつきを除去することが出来る。
　また、時刻ｔ１では電流源２１７を切り離すための電流源切り離しパルスがハイであり、スイッチ２５２ａがオンとなっている。また時刻ｔ１では、ＶＳＬ電圧を平均化するＶＳＬ平均化パルスがローであり、スイッチ２５１ａがオフとなっている。これにより、ソースフォロワ動作していても、ソースフォロワ毎のばらつき情報が出力線ＶＳＬに出力される。
　時刻ｔ２で、行選択信号（選択パルス）φＳＥＬと、電流源切り離しパルスが同時にローになり、列ごとのＶＳＬ電圧が、ＶＳＬの寄生容量２５３ａに保持される。また時刻ｔ２で、ＶＳＬ平均化パルスがハイになり、各列のＶＳＬ電圧が平均化される。この平均化されたＶＳＬ電圧が基準信号となる。
　時刻ｔ３の時点で、コンパレータ２７５ａの内部オフセットと、ＶＳＬ電圧及び参照波形の差分が、入力容量２７２ａに充電され、コンパレータ２７５ａの動作点が初期化される。
　時刻ｔ４で、短絡パルスがローになり、スイッチ２７３ａ、２７４ａがオフになる。これにより、スイッチ２７３ａ、２７４ａでのｋＴＣノイズとフィードスルーばらつきが発生する。
　時刻ｔ５～ｔ６が１回目のＡＤ変換期間（ＡＤＣ期間１）である。この期間において、ＤＡ変換器２３２は参照波形を直線状に所定の傾きで変化させる。そしてコンパレータ２７５ａは、その参照波形を用いて基準信号をＡＤ変換する。ＤＡ変換器２３２は参照波形をシフトする機能を有しても良い。すなわち、ＤＡ変換器２３２はクランプレベルをシフトする機能を有していてもよい。ＤＡ変換器２３２は参照波形をシフトすることで、カウンタ２３３の出力にオフセットを付けることが出来る。このＡＤＣ期間１では、コンパレータ２７５ａの反転遅延、参照波形の遅延、カウンタのクロック遅延が発生している。なお図１１において三角形が示しているのは、コンパレータ２７５ａの反転タイミングである。
　時刻ｔ６でＡＤＣ期間１が終わると、行選択信号φＳＥＬがハイに、電流源切り離しパルスがハイに、ＶＳＬ平均化パルスがローになる。すなわち、スイッチ２５１ａがオフとなり、スイッチ２５２ａがオンとなっている。これにより、ソースフォロワ動作していても、ソースフォロワ毎のばらつき情報（増幅トランジスタの出力のばらつき）が出力線ＶＳＬに出力される。
　時刻ｔ７～ｔ８が２回目のＡＤ変換期間（ＡＤＣ期間２）である。この期間においても、ＤＡ変換器２３２は参照波形を直線状に所定の傾きで変化させる。そしてコンパレータ２７５ａは、その参照波形を用いて基準信号をＡＤ変換する。ここで、変換後のデジタル値には、時刻ｔ４で生じたスイッチ２７３ａ、２７４ａでのｋＴＣノイズとフィードスルーばらつきと、ＡＤＣ期間１で生じたコンパレータ２７５ａの反転遅延、参照波形の遅延、カウンタのクロック遅延が、同じく含まれる。なお図１１において三角形が示しているのは、コンパレータ２７５ａの反転タイミングである。
　そこで、ＡＤＣ期間２が終わると、ＡＤＣ期間１でのカウンタ２３３のカウント値と、ＡＤＣ期間２でのカウンタ２３３のカウント値との差分処理を行う。この差分処理によって、検出部２１８で生じるばらつきを除去することが出来る。従って、素子固有情報に、検出部２１８で生じるばらつきが含まれることを防ぐことができる。
　またＡＤＣ期間１において、カウンタ２３３の出力にオフセットを付けているので、上記差分処理が行われても、固有情報生成部２１４によるばらつきが欠損することは無い。固有情報生成部２１４によるばらつきは、基準信号を中心に正規分布する。従って、オフセットが無いと固有情報生成部２１４によるばらつきに負値が発生し、０以下の値が全て０となってしまう。
　ＡＤ変換の際の参照波形の傾きは、所望のデジタル値が得られるように調整（アナログゲイン調整）されるのが望ましい。また、素子固有情報の読み出しの際には、通常の読み出しに対して、電流源の電流（ドレイン電流Ｉｄ）を小さくしてもよい。オーバドライブ電圧は、２×Ｉｄ／ｇｍで求まるが、ばらつきもオーバドライブ電圧に比例するので、ドレイン電流Ｉｄを小さくすると、ソースフォロワに含まれるオーバドライブ電圧のばらつき成分が相対的に小さくなる。つまり、主に増幅トランジスタＡＭＰのしきい値のばらつきの情報が検出できる。また、素子固有情報の読み出しの際には、通常の読み出しに対して、電流源の電流（ドレイン電流Ｉｄ）を大きくしてもよい。電流源の電流を大きくすることで、ソースフォロワに含まれるばらつき情報の内、オーバドライブ電圧のばらつき成分を相対的に大きくすることも出来る。
　テンポラルノイズとして、増幅トランジスタＡＭＰの熱雑音、１／ｆノイズ、ＲＴＮ、周辺回路の熱雑音が含まれるが、これらは、複数回の読み出しを行って加算（平均）すれば、抑圧することができる。
　経時劣化を抑えるために、固体撮像装置１は、以下の条件で、駆動制御することが望ましい。ホットキャリア注入を考慮し、動作時の電流は小さいことが望ましい。すなわちバイアス電流は小さくなるように制御することが望ましい。また同様にホットキャリア注入を考慮し、動作時間が短いことが望ましい。たとえば起動時やリクエスト時のみ駆動するよう制御することが望ましい。また同様にホットキャリア注入を考慮し、不使用時は電流を流さないことが望ましい。すなわち、不使用時には選択トランジスタＳＥＬをオフにすることが望ましい。また酸化膜の破壊を考慮し、不使用時は、対象素子のゲートとソースまたはドレインとの電圧差が小さいことが望ましい。すなわち、不使用時にはリセットトランジスタＲＳＴをオンすることが望ましい。また基板ホットキャリア注入を考慮し、固有情報生成部２１４は、遮光されていることが望ましい。
　選択パルスφＳＥＬのハイレベルの電位はＶＤＤ（２．７Ｖ）程度としてもよいが、中間電位（およそ１Ｖ～１．５Ｖ程度）としてもよい。選択トランジスタＳＥＬのドレインソース間の電位差（ＶＤＳ）をとり飽和動作させればソースフォロワとなる。例えば、選択トランジスタＳＥＬのドレイン電圧を２．７Ｖとして、選択トランジスタＳＥＬのドレイン側（増幅トランジスタＡＭＰのソース側）は通常２．２Ｖ程度である。これに対して、選択トランジスタＳＥＬのＶＤＳを充分に取れば（少なくとも数百～７００ｍＶ程度の差が有れば）飽和動作させることが出来る。これにより、選択トランジスタＳＥＬのゲート電圧に応じた出力が出力線ＶＳＬに伝達される。選択トランジスタＳＥＬも増幅トランジスタＡＭＰと同様、飽和動作させると、しきい値とオーバドライブ電圧とが素子ごとにばらつくので、選択トランジスタＳＥＬのしきい値とオーバドライブ電圧のばらつきを検出することができる。この際、非選択行の画素とクリップ回路２１５は、選択スイッチがオフされており、読み出しに関与しない。
　固有値計算部２２０は、検出部２１８から送られるデジタル信号に基づき、固体撮像装置１に固有の値（固有値）を計算する。固有値計算部２２０は、固有値として所定のビット長を有する値を生成する。固有値計算部２２０による固体撮像装置１の固有値の計算方法の一例については後に詳述する。固有値計算部２２０は、固体撮像装置１の固有値を計算すると、その固有値を暗号化部２２２に送る。固有値計算部２２０が生成した固有値は、暗号化部２２２における暗号化処理で用いられるシード、または鍵そのものとなり得る。
　固有値計算部２２０は、複数の素子固有情報のうち、どの素子固有情報を採用するかを選択しても良い。固有値計算部２２０は、素子固有情報を選択する際に、素子固有情報に基づいた演算によってどの素子固有情報を採用するかを選択してもよく、乱数によって素子固有情報を採用するかを選択してもよい。また素子固有情報を選択する際の選択条件は、不揮発性メモリに記憶されていても良い。不揮発性メモリへの選択条件の書き込みは一度だけ行われても良い。不揮発性メモリへの書き込みのタイミングは、例えば検査時、出荷時、最初の使用時など、があり得る。固有値計算部２２０は、比較的情報量の少ない素子固有情報を含めて、固体撮像装置１のチップ内で発生するあらゆる製造ばらつきに基づく素子固有情報を用いて、繰り返して固有値を算出することが出来る。すなわち、素子固有情報の情報量を増やすことが出来る。
　また固有値計算部２２０は、固有情報生成部２１４が生成した素子固有情報のうち、複数の素子固有情報を組み合わせて固有値を計算しても良い。複数の素子固有情報を組み合わせて固有値を計算することで、どのように固有値を算出したかが解析されにくくなる。
　また、固有値計算部２２０が生成した固有値は一時的にメモリに格納されていても良い。固有値計算部２２０が生成した固有値をメモリに格納することで、固有値の算出タイミングを解析されにくくなる。すなわち、固体撮像装置１は、暗号化のリクエストのタイミングで固有値を生成するのでは無く、予め生成しておいた固有値を、暗号化のリクエストに応じて使用してもよい。固体撮像装置１は、例えば、通常の撮像時の駆動を行ってから所定時間経過した後に固有値を計算してもよい。また固体撮像装置１は、暗号化のリクエストのタイミングではなく、固有値を生成するリクエストを受けたタイミングで固有値を生成してもよい。
　また固有値計算部２２０は、同一の駆動条件で得られた固有値を平均化しても良い。同一の駆動条件で得られた固有値を平均化することで、時間方向のノイズを抑圧することができる。
　暗号化部２２２は、固有値計算部２２０が生成した固有値を用いて、データの暗号化処理を実行する。暗号化部２２２は、例えば図２に示したロジック回路23014に設けられ得る。具体的には、暗号化部２２２は、固有値計算部２２０が生成した固有値をシードまたは鍵そのものとして用いてデータの暗号化処理を行う。暗号化の対象となるのは、固有値そのもの、画像情報、画像情報に基づく特徴量、などがありうる。固有値計算部２２０が生成した固有値を用いて暗号化処理を行うことで、固体撮像装置１は、データを極めてセキュアに暗号化することが出来る。
　通信制御部２２４は、データを固体撮像装置１の外部に送信する。通信制御部２２４は、撮像データを出力する場合と、暗号化部２２２が暗号化したデータを出力する場合とで異なる処理を行っても良い。
　図９に示した固体撮像装置１の構成のうち、少なくとも、固有情報を処理する経路は、固体撮像装置１の表面に現れないように形成される。例えば、固有情報を処理する経路は、最表層を含むより上層のメタルで覆われるように配置される。固有情報を処理する経路は所定のシールド層で覆われても良く、ＶＤＤまたはＶＳＳの配線で覆われても良い。固有情報を処理する経路としては、例えば固有情報生成部２１４と、検出部２１８と、固有値計算部２２０と、暗号化部２２２と、が含まれうる。また固有情報を処理する経路には、固有情報をモニタするためのパッドが設けられないように、固体撮像装置１が形成される。このように固体撮像装置１が形成されることで、暗号化処理に用いられる固体撮像装置１の固有情報の外部への流出が妨げられるだけでなく、固有情報を解析しようとすると固体撮像装置１の破壊が避けられず、結果として固有情報の解析が不可能となる。また、本実施形態に係る固体撮像装置１は、固有情報を内部で保持せず、固有情報を都度生成し、生成した固有情報に基づく固有値を用いた暗号化処理を行っている。従って、本実施形態に係る固体撮像装置１は、極めてセキュアな暗号化処理を実施することが可能となる。
　本実施形態に係る固体撮像装置１は、固有情報を内部で保持していないので、固有情報に基づき生成される固有値が生成の度に変化しては、暗号化されたデータの復号が不可能になってしまう。従って、固有値はいつ計算しても同じ値となることが求められる。従って、本実施形態に係る固体撮像装置１は、固有情報生成部２１４が設けられているチップの温度に応じて固有情報生成部２１４が出力する信号に基づいて固有値計算部２２０が計算した固有値を補正する機能を設けても良い。また本実施形態に係る固体撮像装置１は、固有情報生成部２１４が設けられているチップの温度を検出する機能を設けても良い。
　図１２は、本実施形態に係る固体撮像装置１の別の機能構成例を示す説明図である。図１２には、図９に示した固体撮像装置１の構成に加え、チップ温度検出部２２６と、信号補正部２２８と、が設けられている構成が示されている。
　チップ温度検出部２２６は、固有情報生成部２１４が設けられているチップの温度を検出する。チップ温度検出部２２６は、検出したチップの温度の情報を信号補正部２２８に送る。信号補正部２２８は、チップ温度検出部２２６が検出した固有情報生成部２１４が設けられているチップの温度に基づいて、固有値計算部２２０が計算した固有値を補正する。信号補正部２２８は、温度に応じた補正値が格納されたテーブルを保持し、チップ温度検出部２２６が検出した温度に基づいて補正値を決定しても良い。
　　＜１．４．２．動作例＞
　続いて、本実施形態に係る固体撮像装置の動作例を説明する。図１３は、本実施形態に係る固体撮像装置の動作例を示す流れ図である。図１３に示したのは、固体撮像装置１が固有値を計算し、その固有値を用いた暗号化処理を行う際の動作例である。
　固体撮像装置１は、まず固有値の基となる、アナログの固有情報を生成する（ステップＳ２０１）。アナログの固有情報は、駆動制御部２１０が固有情報生成部２１４を駆動させることによって生成される。
　アナログの固有情報を生成すると、続いて固体撮像装置１は、アナログの固有情報をデジタル値に変換する（ステップＳ２０２）。アナログの固有情報のデジタル値への変換は、検出部２１８が行う。検出部２１８によるアナログの固有情報のデジタル値への変換処理は上述した通りである。
　アナログの固有情報をデジタル値に変換すると、続いて固体撮像装置１は、変換後のデジタル値を用いて、固体撮像装置１の固有値を計算する（ステップＳ２０３）。固体撮像装置１の固有値の計算は、固有値計算部２２０が行う。
　固体撮像装置１の固有値の計算を行うと、続いて固体撮像装置１は、固有値を用いたデータの暗号化処理を行う（ステップＳ２０４）。固有値を用いたデータの暗号化処理は、暗号化部２２２が行う。
　本実施形態に係る固体撮像装置１は、上述の一連の動作を実行することで、固有情報を外部に出力せずに、固有情報を用いた暗号化処理を内部で完結させることが可能となる。本実施形態に係る固体撮像装置１は、外部に流出されることのない固有情報を用いた暗号化処理を行うことで、重要な情報を極めて安全に暗号化して出力することが出来る。
　　＜１．５．生体認証処理＞
　続いて、本実施形態に係る固体撮像装置１を用いた生体認証処理及び固体撮像装置１の制御について説明する。本実施形態に係る固体撮像装置１を用いた生体認証処理及び固体撮像装置１の制御について詳細に説明する前に、本実施形態についての理解のために比較例を説明する。
　　＜１．５．１．比較例＞
　図１４は、本実施形態の比較例を示す説明図である。図１４には、レンズモジュール１００１と、レンズモジュール１００１を通過する光を電気信号に変換する固体撮像装置１００２と、固体撮像装置１００２が出力する電気信号を用いた画像処理、特に生体認証処理を行うアプリケーションプロセッサ１００３と、を含む情報処理装置１０００が示されている。生体認証処理には、撮像されたものが生体か否かを判定する生体検知処理や、人間の虹彩を認識して予め登録されている虹彩情報と一致するものがあるかを判定する虹彩認証処理などがある。この説明では、情報処理装置１０００は、生体認証処理として虹彩認証処理を実行するものとする。
　アプリケーションプロセッサ１００３は、固体撮像装置１００２が出力する電気信号を用いた虹彩認証部１０１０と、認証対象の虹彩情報が予め格納された虹彩情報記憶部１０２０と、虹彩認証部１０１０による虹彩認証処理の精度を上げるためにフォーカス、露出等の撮像条件を制御する撮像条件制御部１０３０と、を含む。また虹彩認証部１０１０は、固体撮像装置１００２が出力する電気信号から人間の目、特に眼球の領域を検出する領域検出部１０１１と、領域検出部１０１１が検出した人間の目の領域から、その人間の虹彩情報を抽出する虹彩抽出部１０１２と、虹彩抽出部１０１２が抽出した虹彩情報と、虹彩情報記憶部１０２０に格納されている虹彩情報とを照合する虹彩照合部１０１３と、を含んで構成される。アプリケーションプロセッサ１００３からレンズモジュール１００１や固体撮像装置１００２への通信は、例えばＩ２Ｃ（Inter-Integrated　Circuit）通信が用いられうる。
　虹彩認証部１０１０による虹彩認証処理の精度を上げるためには、固体撮像装置１００２が出力する電気信号から虹彩情報を精度良く抽出する必要がある。領域検出部１０１１で人間の目の位置を検出できなかったり、虹彩抽出部１０１２で虹彩情報を抽出出来なかった場合には、撮像条件制御部１０３０は、撮像時に目にフォーカスが合うようにしたり、露光時間を長くしたり、ゲインを上げたりする制御を行う。この際、例えば固体撮像装置１００２が出力する電気信号の全領域の平均輝度を評価値として、ターゲットの適正露光に制御しようとすると、虹彩以外の肌の色、メガネの有無、睫毛、化粧の有無などの要因に左右され、虹彩自体を適正露光に出来ない可能性がある。従って、撮像条件制御部１０３０は、領域検出部１０１１が検出した人間の眼球の領域の情報を用いて、その眼球の領域に対してフォーカスを合わせたり、虹彩領域のみの平均輝度を評価値として、ターゲットの適正露光に制御することで虹彩情報を取得できる露出に設定したりすることが出来る。
　しかし、図１４に示したように、アプリケーションプロセッサ１００３からレンズモジュール１００１や固体撮像装置１００２に対して撮像条件を制御する場合、虹彩認証処理に適正な撮像条件とする制御の完了までに時間がかかる。これは、固体撮像装置１００２とアプリケーションプロセッサ１００３との間の通信速度や、固体撮像装置１００２からアプリケーションプロセッサ１００３への電気信号の通信量に限りがあるからである。
　そこで、本実施形態では、固体撮像装置１の内部で虹彩認証処理に適正な撮像条件とする制御を実行する。固体撮像装置１の内部で虹彩認証処理に適正な撮像条件とする制御を実行することで、虹彩認証処理に適正な撮像条件とする制御の完了までの時間を短縮させることが可能となる。
　　＜１．５．２．構成例＞
　図１５は、本実施形態に係る固体撮像装置１を備えた情報処理装置３００の構成例を示す説明図である。以下、図１５を用いて本実施形態に係る情報処理装置３００の構成例を説明する。
　本実施形態に係る情報処理装置３００は、人間の虹彩情報を用いて認証を行う装置であり、例えばスマートフォンやタブレット型端末等の携帯端末や、空港等に設置される入国管理システムに含まれる認証装置、自動車のドアやハンドルのロックを解除するためのロック解除装置であり得る。図１５に示したように、本実施形態に係る情報処理装置３００は、レンズモジュール１００１と、レンズモジュール１００１を通過する光を電気信号に変換する固体撮像装置１と、を含む。
　固体撮像装置１は、撮像制御部３０１と、虹彩認証部３１０と、虹彩情報記憶部３２０と、撮像条件制御部３３０と、アプリケーションプロセッサ３７０と、ディスプレイ３８０と、を含んで構成される。
　撮像制御部３０１は、固体撮像装置１の各部を制御し、画像データ（画素信号）の読み出し等に関する処理を実行させる。撮像制御部３０１は、レンズモジュール１００１を通過する光から変換される電気信号を画素（例えば図１に示した画素アレイ３）から読み出す時間（すなわち、露光時間またはシャッタースピード）の制御を行う。なお、被写体の明度に応じた露光を自動的に得る自動露出（ＡＥ）に関する制御は、撮像条件制御部３３０が行う。撮像条件制御部３３０が決定した露光時間の情報は撮像制御部３０１に反映される。また、被写体にフォーカスを合わせるために、レンズモジュール１００１に含まれるレンズを駆動させるアクチュエータ（図示せず）の駆動制御（ＡＦ）も、撮像条件制御部３３０が行う。撮像条件制御部３３０が決定したレンズの位置に関する情報はレンズモジュール１００１に反映される。
　虹彩認証部３１０は、固体撮像装置１が生成した画像データを用いた虹彩認証処理を実行する。虹彩認証部３１０は、画像データから人間の目、特に眼球の領域を検出する領域検出部３１１と、領域検出部３１１が検出した人間の目の領域から、その人間の虹彩情報を抽出する虹彩抽出部３１２と、虹彩抽出部３１２が抽出した虹彩情報と、虹彩情報記憶部３２０に予め格納されている虹彩情報とを照合する虹彩照合部３１３と、を含んで構成される。
　領域検出部３１１は、固体撮像装置１が生成した画像データにおける、人間の目、特に眼球の虹彩や瞳孔の領域を検出する。領域検出部３１１は、眼球の領域を例えばパターンマッチングなどによって検出する。
　虹彩抽出部３１２は、領域検出部３１１が検出した人間の目の領域から、その人間の虹彩情報を抽出する。虹彩抽出部３１２は、例えばガボールフィルタなどのフィルタ処理によって虹彩情報を抽出する。虹彩照合部３１３は、虹彩抽出部３１２が抽出した虹彩情報と、虹彩情報記憶部３２０に予め格納されている虹彩情報とを照合する。
　本実施形態に係る情報処理装置３００は、固体撮像装置１の内部において虹彩認証処理を完結させることが出来る。従って、虹彩認証部３１０は、画像データを後段のアプリケーションプロセッサ３７０に出力しても良いが、虹彩認証の結果のみをアプリケーションプロセッサ３７０に出力しても良い。本実施形態に係る情報処理装置３００は、虹彩認証の結果のみをアプリケーションプロセッサ３７０に出力することで、人間の顔が含まれる画像データを固体撮像装置１の外部に流出させずに虹彩認証処理を実行することが出来る。
　撮像条件制御部３３０は、虹彩認証部３１０での虹彩認証処理の過程で得られる情報を用いて、フォーカス、露出等の撮像条件を制御する。例えば、領域検出部３１１が画像データから眼球の領域を検出する際に、フォーカスが眼球に合っていなければ、撮像条件制御部３３０は、領域検出部３１１からフォーカスが眼球に合っていない旨の情報を受け取る。そして撮像条件制御部３３０は、フォーカスを眼球に合わせるように、レンズモジュール１００１に含まれるレンズ（図示せず）を駆動させるアクチュエータ（図示せず）を駆動させるようレンズモジュール１００１に指示する。また例えば、虹彩抽出部３１２が虹彩情報を抽出する際に、露出が足りずに、または露出オーバーにより虹彩情報を抽出できない場合には、撮像条件制御部３３０は、虹彩抽出部３１２から、露出がアンダーまたはオーバーである旨の情報を受け取る。そして撮像条件制御部３３０は、虹彩情報を抽出できる露出となるようにシャッタースピードを遅くして露光時間を長くしたり、ゲインを上げたりする制御を行うよう撮像制御部３０１に指示する。
　虹彩抽出部３１２は、虹彩情報を抽出する際に、例えばガボールフィルタを用いるが、そのフィルタの出力値の絶対値の大小によって、フォーカスが眼球に合っているかどうかも分かる。虹彩抽出部３１２は、フィルタの出力値の絶対値が小さければフォーカスが眼球に合っていないと判定することが可能である。従って、撮像条件制御部３３０は、虹彩抽出部３１２から、ガボールフィルタの出力値の絶対値の情報を取得しても良い。撮像条件制御部３３０は、ガボールフィルタの出力値が大きくなるように、すなわちフォーカスが眼球に合うように、レンズモジュール１００１に含まれるレンズ（図示せず）を駆動させるアクチュエータ（図示せず）を駆動させるようレンズモジュール１００１に指示する。
　本実施形態に係る情報処理装置３００は、固体撮像装置１の内部においてフォーカスや露出に関する制御を完結させることで、割込みによる制御や、固体撮像装置１の内部のメモリを用いたデータアクセスを可能としている。そして本実施形態に係る情報処理装置３００は、Ｉ２Ｃ等のチップ間通信の遅延を回避することができる。このように、固体撮像装置１の内部においてフォーカスや露出に関する制御を完結させることで、本実施形態に係る情報処理装置３００は、虹彩認証処理に適正な撮像条件とする制御の完了までの時間を、上述の比較例の場合と比べて短縮させることが可能となる。また本実施形態に係る情報処理装置３００は、虹彩認証処理に適正な撮像条件で撮像を行うことで、虹彩認証処理の精度を向上させることも可能となる。
　本実施形態に係る情報処理装置３００は、虹彩認証処理を実行する際に、ディスプレイ３８０へ、認証を受けようとする者に対して目の位置を合わせるためのガイド表示を行っても良い。図１６は、情報処理装置３００のディスプレイ３８０に表示される画面の例を示す説明図である。図１６には、ディスプレイ３８０と、レンズモジュール１００１と、被写体に光を照射する光源３９０と、が示されている。例えば、アプリケーションプロセッサ３７０は、ディスプレイ３８０に、目の位置を併せてもらうためのガイド３８１を表示させる。認証を受けようとする者は、両目がガイド３８１の中に含まれるように顔や情報処理装置３００を動かす。このようにガイド３８１がディスプレイ３８０に表示されていることで、固体撮像装置１は、虹彩認証処理の実行の際にガイド３８１の領域に対してのみ眼球の領域を検出したり、虹彩を抽出したりする処理を実行すれば良いことになる。
　虹彩認証処理の実行の準備として、虹彩情報を予め認証を受けようとする者に登録してもらう必要がある。本実施形態に係る情報処理装置３００は、虹彩情報の登録にも当然用いることができる。虹彩情報を登録する場合にも、本実施形態に係る情報処理装置３００は、虹彩情報の抽出に適した露出やフォーカスとなるような撮像条件の設定を固体撮像装置１の内部で実行することができる。
　ここまでは、生体認証処理の例として虹彩認証処理を挙げたが、本開示は係る例に限定されるものでは無い。続いて生体認証処理として、画像に写っているものが生体かそうでないか、すなわち、写っているものが生身の人間であるのか、またはマスクを被ったり、人形であったり、写真であったりしているかどうかを判定する生体検知処理を行う固体撮像装置を備えた情報処理装置の例を説明する。
　図１７は、本実施形態に係る固体撮像装置１を備えた情報処理装置３００の構成例を示す説明図である。以下、図１７を用いて本実施形態に係る情報処理装置３００の構成例を説明する。
　本実施形態に係る情報処理装置３００は、画像データを用いて生体認証を行う装置であり、例えばスマートフォンやタブレット型端末等の携帯端末や、空港等に設置される入国管理システムに含まれる認証装置等であり得る。図１７に示したように、本実施形態に係る情報処理装置３００は、レンズモジュール１００１と、レンズモジュール１００１を通過する光を電気信号に変換する固体撮像装置１と、を含む。
　固体撮像装置１は、撮像制御部３０１と、生体検知部３４０と、撮像条件制御部３３０と、アプリケーションプロセッサ３７０と、ディスプレイ３８０と、を含んで構成される。ここでは、図１５に示した情報処理装置３００とは異なる構成である生体検知部３４０について説明する。
　生体検知部３４０は、固体撮像装置１が生成した画像データを用いた生体検知処理を実行する。ここで、生体検知部３４０が実行する生体検知処理について説明する。
　例えば、生体検知部３４０は、固体撮像装置１が生成した画像データを用いてプルキニエ像の解析を行う。プルキニエ像は、光源の光が角膜において反射された角膜反射像であり、生体であればこのプルキニエ像が眼に現れる。生体検知部３４０は、プルキニエ像の輝度情報や位置関係を用いて生体検知処理を実行する。プルキニエ像の輝度情報や位置関係を用いて生体検知処理を実行する場合、ＡＥを制御することでプルキニエ像を検出しやすい輝度にしたり、ブラーを抑制するためにシャッタースピードを短くしたりすることが望ましい。従って、撮像条件制御部３３０は、生体検知部３４０が画像データからプルキニエ像の解析を行う際に、プルキニエ像を検出しやすい露出となるように撮像制御部３０１に指示する。
　例えば、生体検知部３４０は、固体撮像装置１が生成した画像データを用いて瞳孔動揺の有無の解析を行う。瞳孔動揺とは、生体の眼であれば、周囲の明るさが一定の場合でも、その瞳孔がわずかな収縮や散大を繰り返すことをいう。生体検知部３４０は、瞳孔動揺を検出する際は、瞳孔と虹彩の半径比の時間変動の情報を用いる。そのため、瞳孔動揺を検出することで生体検知処理を実行する場合、ＡＥを制御することで瞳孔と虹彩の円周部分を検出しやすい輝度にしたり、ブラーを抑制するためにシャッタースピードを短くしたりすることが望ましい。従って、撮像条件制御部３３０は、生体検知部３４０が画像データから瞳孔動揺の有無の解析を行う際に、瞳孔と虹彩の円周部分を検出しやすい露出となるように撮像制御部３０１に指示する。
　例えば、生体検知部３４０は、固体撮像装置１が生成した画像データを用いてサッケードの有無の解析を行う。サッケードとは、眼球の素早い動きのことをいい、生体検知部３４０は、眼球の、例えば瞳孔の中心の動きに跳躍的な変化があるかどうかでサッケードの有無を解析することができる。すなわち、サッケードがあればその目は生体のものであると判定することが可能となる。そのため、サッケードを検出することで生体検知処理を実行する場合、ＡＥを制御することで瞳孔の中心部分を検出しやすい輝度にしたり、ブラーを抑制するためにシャッタースピードを短くしたりすることが望ましい。従って、撮像条件制御部３３０は、生体検知部３４０が画像データからサッケードの有無の解析を行う際に、瞳孔の中心部分を検出しやすい露出となるように撮像制御部３０１に指示する。
　例えば、生体検知部３４０は、固体撮像装置１が生成した画像データを用いて瞬きの有無の解析を行う。すなわち、瞬きがあればその目は生体のものであると判定することが可能となる。生体検知部３４０は、瞼や瞳孔のエッジ点の画素数の時間変動をみることで瞬きの有無を解析することができる。瞬きを検出することで生体検知処理を実行する場合、ＡＥを制御することで瞼や瞳孔のエッジを検出しやすい輝度にしたり、ブラーを抑制するためにシャッタースピードを短くしたりすることが望ましい。従って、撮像条件制御部３３０は、生体検知部３４０が画像データから瞬きの有無の解析を行う際に、瞼や瞳孔のエッジを検出しやすい露出となるように撮像制御部３０１に指示する。
　例えば、生体検知部３４０は、固体撮像装置１が生成した画像データを用いてアイトラッキングを行う。生体検知部３４０は、アイトラッキングを行う際には、目頭、またはプルキニエ像と瞳孔との位置関係を用いる。例えば、情報処理装置３００は、生体検知を受けようとする者に対して視線を動かすよう指示し、その者が視線を動かしたかどうかで生体であるかどうかを判定する。アイトラッキングを行うことで生体検知処理を実行する場合、ＡＥを制御することでプルキニエ像や瞳孔を検出しやすい輝度にしたり、ブラーを抑制するためにシャッタースピードを短くしたりすることが望ましい。従って、撮像条件制御部３３０は、生体検知部３４０が画像データからアイトラッキングを行う際に、プルキニエ像や瞳孔を検出しやすい露出となるように撮像制御部３０１に指示する。
　例えば、生体検知部３４０は、固体撮像装置１が生成した画像データを用いて顔の凹凸を検知する。生体検知部３４０は、顔の凹凸を検知する際には、フォーカスを変えながら撮像することにより行う。例えばShape　From　Focus/Defocus法と呼ばれる方法により三次元の形状を計測する方法が知られており、生体検知部３４０はこのような方法を用いて画像データを用いた顔の凹凸の検知を行う。顔の凹凸を検知する場合、顔の凹凸を短時間で捉えられるようなフォーカス制御が行われることが望ましい。従って、撮像条件制御部３３０は、生体検知部３４０が画像データから顔の凹凸を検知する際に、顔の凹凸を短時間で捉えられるようなフォーカス制御を行うようレンズモジュール１００１に指示する。
　生体検知部３４０は、上述した生体検知処理の中から１つ、または２つ以上を組み合わせることで、画像データに含まれる被写体が生体であるかどうかを判定する。上述した生体検知処理の中から２つ以上を組み合わせて被写体が生体であるかどうかを判定する場合、生体検知部３４０は、同じような撮像条件で判定できるものは並列処理しても良い。例えば、生体検知部３４０が瞳孔動揺とサッケードによって生体であるかどうかを判定する場合、瞳孔の中心や位置が同一の撮像条件で精度良く検出できるときは、瞳孔動揺による生体検知処理とサッケードによる生体検知処理とを並列に行っても良い。
　本実施形態に係る情報処理装置３００は、固体撮像装置１の内部においてフォーカスや露出に関する制御を完結させることで、割込みによる制御や、固体撮像装置１の内部のメモリを用いたデータアクセスを可能としている。そして本実施形態に係る情報処理装置３００は、Ｉ２Ｃ等のチップ間通信の遅延を回避することができる。このように、固体撮像装置１の内部においてフォーカスや露出に関する制御を完結させることで、本実施形態に係る情報処理装置３００は、生体検知処理に適正な撮像条件とする制御の完了までの時間を、上述の虹彩認証処理の場合と同様に短縮させることが可能となる。また本実施形態に係る情報処理装置３００は、生体検知処理に適正な撮像条件で撮像を行うことで、生体検知処理の精度を向上させることも可能となる。
　本実施形態に係る情報処理装置３００は、虹彩認証処理と生体検知処理の両方を行っても良い。情報処理装置３００は、虹彩認証処理と生体検知処理とを順次行うことで、被写体が生体であり、かつ、その生体の虹彩情報が予め登録されているものと一致するかどうかの判定を行うことが出来る。情報処理装置３００は、虹彩認証処理から生体検知処理の順に行っても良いが、情報処理装置３００は、生体検知処理から虹彩認証処理の順に行っても良い。虹彩認証処理は、予め登録されているものとのマッチング処理に時間を要するため、情報処理装置３００は、先に生体検知処理を行い、生体で無ければ虹彩認証処理をキャンセルすることで、生体で無かった場合の処理時間を短縮させることができる。
　図１８は、本実施形態に係る情報処理装置３００の構成例を示す説明図であり、生体検知処理と虹彩認証処理の双方を実行するよう構成された情報処理装置３００の例である。なお図１８ではアプリケーションプロセッサ３７０及びディスプレイ３８０は図示を省略している。
　図１８に示した情報処理装置３００に含まれる固体撮像装置１は、図１５を用いて説明した虹彩認証部３１０と、図１７を用いて説明した生体検知部３４０の双方が含まれている。このように、固体撮像装置１において、生体検知処理と虹彩認証処理の双方を実行することも、当然可能である。
　固体撮像装置１は、生体検知処理と虹彩認証処理を、同一のフレームの画像に対して行っても良いが、別のフレームの画像に対して行っても良い。セキュリティ強度を高めるためには、固体撮像装置１は、生体検知処理と虹彩認証処理を別のフレームの画像に対して行う場合、例えば連続したフレームであるとか、短時間後のフレームの画像に対して行われることが望ましい。また固体撮像装置１は、生体検知処理と虹彩認証処理は、同一の撮像条件で行ってもよいが、生体検知処理と虹彩認証処理は必ずしも同じ撮像条件で最適な画像データが得られるとは限らないので、別の撮像条件で行っても良い。
　虹彩認証処理を行う際には、可視光をカットする可視光カットフィルタと、赤外光を照射する赤外ＬＥＤ等を用いて近赤外での撮像が行われる。一方、通常の画像を撮像する際には赤外光をカットするＩＲカットフィルタを用いた可視光の撮像が行われる。そのため、スマートフォンなどで虹彩認証処理を実行する場合には、通常の撮像と、虹彩認証処理のための撮像の両方を行えるよう、通常の撮像を行う固体撮像装置と、虹彩認証処理のための撮像を行う固体撮像装置の２つがスマートフォンに備えられることが多い。
　一方、１つの固体撮像装置で、通常の撮像と、近赤外での撮像の双方を行う技術もある。具体的には、可視光カットフィルタとＩＲフィルタとを機械的に切り替えることで通常の撮像と近赤外での撮像との双方を行う技術や、可視光領域を撮像する通常のＲＧＢ画素だけでなく、近赤外領域を透過するカラーフィルタを用いた画素を混在させることで通常の撮像と近赤外での撮像との双方を行う画素アレイを構築する技術がある。また有機薄膜への電圧付加によって感度波長域を変化させる技術もある。従って、このように通常の撮像と、近赤外での撮像の双方を行うことが可能な固体撮像装置であれば、上述したように、虹彩認証処理に最適化した制御モードと、通常の撮像に最適化した制御モードとの双方で動作させることが可能となる。
　図１９は、本実施形態に係る固体撮像装置１を備えた情報処理装置３００の構成例を示す説明図である。図１９に示したのは、虹彩認証処理に最適化した制御モードと、通常の撮像に最適化した制御モードとの双方で動作することが可能な固体撮像装置１を備えた情報処理装置３００の構成例である。以下、図１９を用いて本実施形態に係る情報処理装置３００の構成例を説明する。
　図１９に示したように、本実施形態に係る情報処理装置３００は、レンズモジュール１００１と、レンズモジュール１００１を通過する光を電気信号に変換する固体撮像装置１と、を含む。
　固体撮像装置１は、撮像制御部３０１と、虹彩認証部３１０と、虹彩情報記憶部３２０と、撮像条件制御部３３０と、解析部３５０と、を含んで構成される。ここでは、図１５に示した固体撮像装置１には存在していない解析部３５０について説明する。
　解析部３５０は、通常の撮像時において、固体撮像装置１で得られる画像データの解析を行う。具体的には、解析部３５０は、固体撮像装置１で得られる画像データの輝度やコントラストの測定を行う。そして解析部３５０は、画像データの解析結果を撮像条件制御部３３０に送る。撮像条件制御部３３０は、解析部３５０から送られた解析結果を用いて、レンズモジュール１００１に対してアクチュエータを駆動させたり、撮像制御部３０１に対して適切な露出となるようシャッタースピード、ゲインなどを調整したりする制御を行う。
　このように、虹彩認証処理に最適化した制御モードと、通常の撮像に最適化した制御モードとの双方で動作することが可能な固体撮像装置１において、固体撮像装置１で得られる画像データの解析を行うことで、通常の撮像時と、虹彩認証処理時とで、それぞれ適切な撮像条件を高速に設定することが可能となる。
　ここまでは、虹彩認証処理を固体撮像装置１の内部で行った例を示したが、虹彩情報の抽出までを固体撮像装置１の内部で行い、抽出した虹彩情報と予め登録されている虹彩情報とのマッチング処理を、後段のアプリケーションプロセッサや、またネットワークを通じて接続されているサーバで行っても良い。固体撮像装置１の外部でマッチング処理を行うことが適している場合としては、例えば、顔認証などと組み合わせることで抽出される特徴量のデータサイズが大きい場合、アルゴリズム上、照合処理の計算量が多い場合、大量のデータが格納されているデータベースの中から該当するものがあるかどうかを検索するシステムの場合、などである。抽出した虹彩情報と予め登録されている虹彩情報とのマッチング処理を、後段のアプリケーションプロセッサや、またネットワークを通じて接続されているサーバで行う場合、虹彩情報をそのまま固体撮像装置１から出力してしまうと虹彩情報の流出のおそれがある。
　ここで、上述したように、固体撮像装置１は、内部で生成した情報を鍵として用いた暗号化処理を行うことが出来る。従ってマッチング処理を固体撮像装置１の外で行う場合、固体撮像装置１は、虹彩情報を暗号化して出力することで、安全に虹彩情報をやり取りすることができる。
　図２０は、虹彩認証システムの構成例を示す説明図である。図２０には、虹彩情報の抽出までを行う情報処理装置３００と、虹彩情報のマッチング処理を行うサーバ８００と、がネットワーク９００を通じて接続されている虹彩認証システムが示されている。図２０に示された固体撮像装置１は、撮像制御部３０１と、虹彩処理部３０２と、暗号化処理部３１５と、撮像条件制御部３３０と、を含んで構成される。虹彩処理部３０２は、領域検出部３１１と、虹彩抽出部３１２と、を含む。すなわち、虹彩処理部３０２は虹彩情報の抽出までを行う。
　暗号化処理部３１５は、虹彩処理部３０２から出力される虹彩情報に対して暗号化処理を行う。暗号化処理部３１５は、上述したように、固体撮像装置１に固有の固有情報を用いて暗号化処理を実行する。暗号化処理部３１５は、固体撮像装置１に固有の固有情報を用いて暗号化処理を実行することで、極めてセキュアに情報を外部とやり取りすることができる。
　サーバ８００は、復号処理部８１０と、虹彩照合部８２０と、虹彩情報記憶部８３０と、を含んで構成される。
　復号処理部８１０は、暗号化処理部３１５で暗号化された虹彩情報の復号を行う。サーバ８００は、予め任意の方法によって固体撮像装置１に固有の固有情報を情報処理装置３００から取得しておく。復号処理部８１０は、情報処理装置３００から取得したその固有情報を用いて暗号化された虹彩情報を復号する。
　虹彩照合部８２０は、上述の虹彩照合部３１３と同様に、情報処理装置３００から取得した虹彩情報と、虹彩情報記憶部８３０に予め格納されている虹彩情報とを照合する。
　このように、情報処理装置３００から虹彩情報をサーバ８００へ送信し、サーバ８００で虹彩認証処理を実行する場合であっても、固体撮像装置１の内部での虹彩情報の抽出の過程で得られる情報を用いて、フォーカス制御や露出制御を固体撮像装置１の内部で実行することが出来る。
　ここで、上述した固体撮像装置１の具体的な回路構成例を示す。図２１は、本実施形態に係る固体撮像装置１を構成するロジックダイ２３０２４に形成される回路構成例を示す説明図である。
　ロジックダイ２３０２４には、通信部２３２０１、ＣＰＵ２３２０２、ＲＯＭ２３２０３、ＲＡＭ２３２０４、画像処理部２３２０５、及び、上述した撮像制御部３０１が形成される。またロジックダイ２３０２４には、セキュア領域２３３００が形成される。通信部２３２０１は、例えばＩ２Ｃ通信によって他の要素、例えばアプリケーションプロセッサと通信する。また画像処理部２３２０５には、例えば画素領域２３１０２から画素データが送られる。
　そしてセキュア領域２３３００には、ＣＰＵ２３３０１、ＲＯＭ２３３０２、ＲＡＭ２３３０３、ＮＶＭ（Non-volatile　memory；不揮発性メモリ）２３３０４、及び上述した暗号化部２２２、虹彩認証部３１０が形成される。虹彩認証部３１０にはＲＡＭ２３１０４が形成される。
　もちろん、図２１に示した回路構成例は一例に過ぎないことは言うまでも無く、固体撮像装置１を構成するロジックダイ２３０２４は様々なレイアウトを有することが可能である。
　　＜１．５．３．動作例＞
　続いて、本開示の実施の形態に係る固体撮像装置１の動作例を説明する。以下で説明するのは、撮像によって得られる画像データを用いて本人確認を行う際に、生体検知処理を行う生体検知モードでまず動作して、生体検知処理によって生体であると判定した場合に、続いて虹彩認証処理を行う虹彩認証モードで動作する、固体撮像装置１の動作例である。
　図２２は、本実施形態に係る固体撮像装置１の動作例を示す流れ図である。図２２に示したのは、生体検知モードで動作する固体撮像装置１の動作例である。
　固体撮像装置１は、生体検知モードで動作する際には、まず、得られた画像データを用いて、生体検知に適した撮像制御、すなわち生体検知に適した露出、ゲインなどの設定を行う（ステップＳ３０１）。
　生体検知に適した撮像制御を行い、撮像条件が生体検知に適したものとなれば（ステップＳ３０２、Ｙｅｓ）、固体撮像装置１は、得られた画像データを用いた生体検知処理を行い、被写体が生体かどうか判断する（ステップＳ３０３）。生体検知の結果、画像に写っていた被写体が生体であれば（ステップＳ３０３、Ｙｅｓ）、固体撮像装置１は、続いて虹彩認証モードに移行する。一方、生体検知の結果、画像に写っていた被写体が生体でなければ（ステップＳ３０３、Ｎｏ）、固体撮像装置１は、タイムアウトするまで待機する（ステップＳ３０４）。タイムアウトした場合には（ステップＳ３０４、Ｙｅｓ）、固体撮像装置１は、生体検知による本人確認が出来なかったとして処理を終了する（ステップＳ３０５）。なお、ステップＳ３０２の判断の結果、撮像条件が生体検知に適したものでなければ（ステップＳ３０２、Ｎｏ）、固体撮像装置１は、タイムアウトするまで待機する（ステップＳ３０６）。タイムアウトした場合には（ステップＳ３０６、Ｙｅｓ）、固体撮像装置１は、生体検知による本人確認が出来なかったとして処理を終了する（ステップＳ３０５）。
　ここでステップＳ３０４、Ｓ３０６のタイムアウト処理としては、固体撮像装置１の内部にタイマを設け、そのタイマが所定のタイムアウト時間を計時したことによる割り込みによって生体検知処理を終了させてもよく、アプリケーションプロセッサ３７０の内部にタイマを設け、そのタイマが所定のタイムアウト時間を計時すると、アプリケーションプロセッサ３７０が固体撮像装置１にタイムアウトしたことを通知することで生体検知処理を終了させてもよい。
　図２３は、本実施の形態に係る固体撮像装置１の動作例を示す流れ図である。図２３に示したのは、虹彩認証モードで動作する固体撮像装置１の動作例である。
　固体撮像装置１は、虹彩認証モードで動作する際には、まず、得られた画像データを用いて、虹彩認証に適した撮像制御、すなわち虹彩認証に適した露出、ゲインなどの設定を行う（ステップＳ３１１）。
　虹彩認証に適した撮像制御を行い、撮像条件が虹彩認証に適したものとなれば（ステップＳ３１２、Ｙｅｓ）、固体撮像装置１は、得られた画像データを用いた虹彩認証処理を行い、被写体の虹彩情報が予め登録されている虹彩情報と一致するかどうか判断する（ステップＳ３１３）。虹彩認証の結果、被写体の虹彩情報が予め登録されている虹彩情報と一致していれば（ステップＳ３１３、Ｙｅｓ）、固体撮像装置１は、被写体が本人であるとして処理を終了する（ステップＳ３１４）。一方、虹彩認証の結果、被写体の虹彩情報が予め登録されている虹彩情報と一致していなければ（ステップＳ３１３、Ｎｏ）、固体撮像装置１は、タイムアウトするまで待機する（ステップＳ３１５）。タイムアウトした場合には（ステップＳ３１５、Ｙｅｓ）、固体撮像装置１は、虹彩認証による本人確認が出来なかったとして処理を終了する（ステップＳ３１６）。なお、ステップＳ３１２の判断の結果、撮像条件が虹彩認証に適したものでなければ（ステップＳ３１２、Ｎｏ）、固体撮像装置１は、タイムアウトするまで待機する（ステップＳ３１７）。タイムアウトした場合には（ステップＳ３１７、Ｙｅｓ）、固体撮像装置１は、虹彩認証による本人確認が出来なかったとして処理を終了する（ステップＳ３１６）。
　ここでステップＳ３１５、Ｓ３１７のタイムアウト処理としては、固体撮像装置１の内部にタイマを設け、そのタイマが所定のタイムアウト時間を計時したことによる割り込みによって虹彩認証処理を終了させてもよく、アプリケーションプロセッサ３７０の内部にタイマを設け、そのタイマが所定のタイムアウト時間を計時すると、アプリケーションプロセッサ３７０が固体撮像装置１にタイムアウトしたことを通知することで虹彩認証処理を終了させてもよい。
　＜２．まとめ＞
　以上説明したように本開示の実施の形態によれば、内部で虹彩認証処理や生体認証処理に適した撮像条件を設定することで、虹彩認証処理に適正な撮像条件とする制御の完了までの時間を短縮させることが可能な固体撮像装置１を提供することが出来る。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　本明細書の各装置が実行する処理における各ステップは、必ずしもシーケンス図またはフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、各装置が実行する処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
　また、各装置に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した各装置の構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供されることが可能である。また、機能ブロック図で示したそれぞれの機能ブロックをハードウェアで構成することで、一連の処理をハードウェアで実現することもできる。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　画素がマトリクス上に配置された画素アレイと、
　前記画素アレイから光電変換により得られる画像データから虹彩認証処理で用いられる虹彩情報を抽出する虹彩認証部と、
　前記虹彩情報の抽出の過程で得られる情報を用いて、前記虹彩認証処理のための前記画像データを得る際の撮像条件を設定する制御を行う撮像条件制御部と、
を備える、固体撮像装置。
（２）
　前記撮像条件制御部は、前記撮像条件として前記画像データを得る際の露出を設定する制御を行う、前記（１）に記載の固体撮像装置。
（３）
　前記撮像条件制御部は、前記撮像条件として前記画像データを得る際のフォーカス制御を行う、前記（１）に記載の固体撮像装置。
（４）
　前記虹彩認証部は、前記画像データから虹彩情報を抽出する虹彩抽出部を含む、前記（１）～（３）のいずれかに記載の固体撮像装置。
（５）
　前記虹彩認証部は、前記画像データから虹彩情報が含まれる領域を検出する領域検出部を含み、
　前記虹彩抽出部は、前記領域検出部が検出した領域から虹彩情報を抽出する、前記（４）に記載の固体撮像装置。
（６）
　前記虹彩認証部は、さらに、前記虹彩抽出部が抽出した虹彩情報を用いた虹彩認証処理を実行する虹彩照合部を含む、前記（４）または（５）に記載の固体撮像装置。
（７）
　前記虹彩認証部が抽出した虹彩情報を暗号化する暗号化処理部をさらに備える、前記（１）～（６）のいずれかに記載の固体撮像装置。
（８）
　前記暗号化処理部は、前記画素アレイから取得される固有情報を用いて暗号化する、前記（７）に記載の固体撮像装置。
（９）
　２つ以上の半導体基板が接合されている、前記（１）～（８）のいずれかに記載の固体撮像装置。
（１０）
　前記半導体基板は、少なくとも前記画素アレイが形成された第１半導体基板と、少なくともロジック回路が形成された第２半導体基板と、を備える、前記（９）に記載の固体撮像装置。
（１１）
　前記虹彩認証部及び前記撮像条件制御部は、前記ロジック回路に形成される、前記（１０）に記載の固体撮像装置。
（１２）
　前記第１半導体基板と、前記第２半導体基板とは、配線同士が直接接合されている、前記（１０）または（１１）に記載の固体撮像装置。
（１３）
　少なくとも画素アレイが形成された第１半導体基板と、
　前記第１半導体基板に接合され、少なくともロジック回路が形成された第２半導体基板と、を備え、
　前記画素アレイは、画素がマトリクス上に配置されて画像データを出力し、
　前記ロジック回路は、
　前記画像データから虹彩情報を抽出する虹彩認証部と、
　前記虹彩認証部の結果に基づいて、露出またはフォーカスの制御を行う撮像条件制御部と、
を備える、固体撮像装置。
（１４）
　画素がマトリクス上に配置された画素アレイから光電変換により得られる画像データから虹彩認証処理で用いられる虹彩情報を抽出することと、
　前記虹彩情報の抽出の過程で得られる情報を用いて、前記虹彩認証処理のための前記画像データを得る際の撮像条件を設定する制御を行うことと、
を含む、固体撮像装置の制御方法。
１　　　　：固体撮像装置
３００　　：情報処理装置
３８０　　：ディスプレイ
３８１　　：ガイド
３９０　　：光源
８００　　：サーバ
９００　　　：ネットワーク

Claims (14)

  1. 　画素がマトリクス上に配置された画素アレイと、
    　前記画素アレイから光電変換により得られる画像データから虹彩認証処理で用いられる虹彩情報を抽出する虹彩認証部と、
    　前記虹彩情報の抽出の過程で得られる情報を用いて、前記虹彩認証処理のための前記画像データを得る際の撮像条件を設定する制御を行う撮像条件制御部と、
    を備える、固体撮像装置。
  2. 　前記撮像条件制御部は、前記撮像条件として前記画像データを得る際の露出を設定する制御を行う、請求項１に記載の固体撮像装置。
  3. 　前記撮像条件制御部は、前記撮像条件として前記画像データを得る際のフォーカス制御を行う、請求項１に記載の固体撮像装置。
  4. 　前記虹彩認証部は、前記画像データから虹彩情報を抽出する虹彩抽出部を含む、請求項１に記載の固体撮像装置。
  5. 　前記虹彩認証部は、前記画像データから虹彩情報が含まれる領域を検出する領域検出部を含み、
    　前記虹彩抽出部は、前記領域検出部が検出した領域から虹彩情報を抽出する、請求項４に記載の固体撮像装置。
  6. 　前記虹彩認証部は、さらに、前記虹彩抽出部が抽出した虹彩情報を用いた虹彩認証処理を実行する虹彩照合部を含む、請求項４に記載の固体撮像装置。
  7. 　前記虹彩認証部が抽出した虹彩情報を暗号化する暗号化処理部をさらに備える、請求項１に記載の固体撮像装置。
  8. 　前記暗号化処理部は、前記画素アレイから取得される固有情報を用いて暗号化する、請求項７に記載の固体撮像装置。
  9. 　２つ以上の半導体基板が接合されている、請求項１に記載の固体撮像装置。
  10. 　前記半導体基板は、少なくとも前記画素アレイが形成された第１半導体基板と、少なくともロジック回路が形成された第２半導体基板と、を備える、請求項９に記載の固体撮像装置。
  11. 　前記虹彩認証部及び前記撮像条件制御部は、前記ロジック回路に形成される、請求項１０に記載の固体撮像装置。
  12. 　前記第１半導体基板と、前記第２半導体基板とは、配線同士が直接接合されている、請求項１０に記載の固体撮像装置。
  13. 　少なくとも画素アレイが形成された第１半導体基板と、
    　前記第１半導体基板に接合され、少なくともロジック回路が形成された第２半導体基板と、を備え、
    　前記画素アレイは、画素がマトリクス上に配置されて画像データを出力し、
    　前記ロジック回路は、
    　前記画像データから虹彩情報を抽出する虹彩認証部と、
    　前記虹彩認証部の結果に基づいて、露出またはフォーカスの制御を行う撮像条件制御部と、
    を備える、固体撮像装置。
  14. 　画素がマトリクス上に配置された画素アレイから光電変換により得られる画像データから虹彩認証処理で用いられる虹彩情報を抽出することと、
    　前記虹彩情報の抽出の過程で得られる情報を用いて、前記虹彩認証処理のための前記画像データを得る際の撮像条件を設定する制御を行うことと、
    を含む、固体撮像装置の制御方法。
PCT/JP2018/014212 2017-04-27 2018-04-03 固体撮像装置および固体撮像装置の制御方法 WO2018198690A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/605,362 US11317044B2 (en) 2017-04-27 2018-04-03 Solid state imaging device and method of controlling solid state imaging device
CN201880026192.XA CN110537198A (zh) 2017-04-27 2018-04-03 固态成像装置和用于控制固态成像装置的方法
EP18792131.7A EP3617988A4 (en) 2017-04-27 2018-04-03 SOLID IMAGING DEVICE AND METHOD FOR CONTROLLING A SOLID IMAGING DEVICE

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-088649 2017-04-27
JP2017088649A JP2018185749A (ja) 2017-04-27 2017-04-27 固体撮像装置および固体撮像装置の制御方法

Publications (1)

Publication Number Publication Date
WO2018198690A1 true WO2018198690A1 (ja) 2018-11-01

Family

ID=63919723

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/014212 WO2018198690A1 (ja) 2017-04-27 2018-04-03 固体撮像装置および固体撮像装置の制御方法

Country Status (5)

Country Link
US (1) US11317044B2 (ja)
EP (1) EP3617988A4 (ja)
JP (1) JP2018185749A (ja)
CN (1) CN110537198A (ja)
WO (1) WO2018198690A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020202785A1 (ja) * 2019-04-02 2020-10-08 株式会社ジャパンディスプレイ 生体認証システム及び生体情報検出装置
WO2021061112A1 (en) * 2019-09-25 2021-04-01 Google Llc Gain control for face authentication
US11164337B2 (en) 2019-10-04 2021-11-02 Google Llc Autocalibration for multiple cameras using near-infrared illuminators
EP3896723A4 (en) * 2018-12-13 2022-03-02 Sony Semiconductor Solutions Corporation SOLID-STATE IMAGING ELEMENT AND VIDEO RECORDING DEVICE
US12046072B2 (en) 2019-10-10 2024-07-23 Google Llc Camera synchronization and image tagging for face authentication

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020121520A1 (ja) * 2018-12-14 2021-10-14 日本電気株式会社 画像処理装置、認証システム、画像処理方法、認証方法、及び、プログラム
JP2022043369A (ja) * 2018-12-26 2022-03-16 ソニーセミコンダクタソリューションズ株式会社 半導体装置および電子機器
JP2020154408A (ja) * 2019-03-18 2020-09-24 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、及び情報処理システム
JP7132164B2 (ja) * 2019-03-28 2022-09-06 トヨタ自動車株式会社 車両用認証装置
JP2020181305A (ja) * 2019-04-24 2020-11-05 凸版印刷株式会社 生体判別装置及び生体判別方法、並びに個人認証方法
CN111491088B (zh) * 2020-04-23 2021-08-31 支付宝(杭州)信息技术有限公司 安全摄像头、图像加密方法及装置和电子设备
JP7558822B2 (ja) * 2020-10-29 2024-10-01 キヤノン株式会社 光電変換装置、光電変換システム、および移動体
US11653083B2 (en) * 2020-12-15 2023-05-16 Qualcomm Incorporated Image sensor module
WO2022201240A1 (ja) 2021-03-22 2022-09-29 日本電気株式会社 虹彩撮像システム、虹彩撮像方法、及びコンピュータプログラム
EP4395350A1 (en) * 2021-11-29 2024-07-03 Samsung Electronics Co., Ltd. Electronic device for autofocusing and method for operating same
JPWO2023149295A1 (ja) * 2022-02-01 2023-08-10

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005244356A (ja) * 2004-02-24 2005-09-08 Sony Corp 暗号化装置及び暗号化方法
JP2007093874A (ja) * 2005-09-28 2007-04-12 Matsushita Electric Ind Co Ltd オートフォーカス装置
JP2009205576A (ja) * 2008-02-29 2009-09-10 Oki Electric Ind Co Ltd 生体認証装置、虹彩認証装置、及び装着具
JP2015170099A (ja) 2014-03-06 2015-09-28 ソニー株式会社 情報処理装置、情報処理方法、アイウェア端末および認証システム
WO2016185901A1 (ja) * 2015-05-15 2016-11-24 ソニー株式会社 固体撮像装置およびその製造方法、並びに電子機器

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1209073C (zh) * 2001-12-18 2005-07-06 中国科学院自动化研究所 基于活体虹膜的身份识别方法
US8213782B2 (en) * 2008-08-07 2012-07-03 Honeywell International Inc. Predictive autofocusing system
JP2014099582A (ja) * 2012-10-18 2014-05-29 Sony Corp 固体撮像装置
WO2015127313A1 (en) 2014-02-21 2015-08-27 Samsung Electronics Co., Ltd. Multi-band biometric camera system having iris color recognition
US10049272B2 (en) * 2015-09-24 2018-08-14 Microsoft Technology Licensing, Llc User authentication using multiple capture techniques
KR102458241B1 (ko) * 2016-12-13 2022-10-24 삼성전자주식회사 사용자 인식 장치 및 방법
CN106603940A (zh) * 2016-12-29 2017-04-26 上海集成电路研发中心有限公司 全局像元虹膜识别图像传感器

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005244356A (ja) * 2004-02-24 2005-09-08 Sony Corp 暗号化装置及び暗号化方法
JP2007093874A (ja) * 2005-09-28 2007-04-12 Matsushita Electric Ind Co Ltd オートフォーカス装置
JP2009205576A (ja) * 2008-02-29 2009-09-10 Oki Electric Ind Co Ltd 生体認証装置、虹彩認証装置、及び装着具
JP2015170099A (ja) 2014-03-06 2015-09-28 ソニー株式会社 情報処理装置、情報処理方法、アイウェア端末および認証システム
WO2016185901A1 (ja) * 2015-05-15 2016-11-24 ソニー株式会社 固体撮像装置およびその製造方法、並びに電子機器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3617988A4

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3896723A4 (en) * 2018-12-13 2022-03-02 Sony Semiconductor Solutions Corporation SOLID-STATE IMAGING ELEMENT AND VIDEO RECORDING DEVICE
US11984466B2 (en) 2018-12-13 2024-05-14 Sony Semiconductor Solutions Corporation Solid-state imaging element and video recording apparatus
WO2020202785A1 (ja) * 2019-04-02 2020-10-08 株式会社ジャパンディスプレイ 生体認証システム及び生体情報検出装置
JP2020170317A (ja) * 2019-04-02 2020-10-15 株式会社ジャパンディスプレイ 生体認証システム及び生体情報検出装置
JP7300869B2 (ja) 2019-04-02 2023-06-30 株式会社ジャパンディスプレイ 生体認証システム及び生体情報検出装置
WO2021061112A1 (en) * 2019-09-25 2021-04-01 Google Llc Gain control for face authentication
CN113545028A (zh) * 2019-09-25 2021-10-22 谷歌有限责任公司 用于面部认证的增益控制
CN113545028B (zh) * 2019-09-25 2023-05-09 谷歌有限责任公司 用于面部认证的增益控制
US11687635B2 (en) 2019-09-25 2023-06-27 Google PLLC Automatic exposure and gain control for face authentication
US11164337B2 (en) 2019-10-04 2021-11-02 Google Llc Autocalibration for multiple cameras using near-infrared illuminators
US12046072B2 (en) 2019-10-10 2024-07-23 Google Llc Camera synchronization and image tagging for face authentication

Also Published As

Publication number Publication date
US20200128203A1 (en) 2020-04-23
JP2018185749A (ja) 2018-11-22
EP3617988A1 (en) 2020-03-04
US11317044B2 (en) 2022-04-26
CN110537198A (zh) 2019-12-03
EP3617988A4 (en) 2020-05-27

Similar Documents

Publication Publication Date Title
WO2018198690A1 (ja) 固体撮像装置および固体撮像装置の制御方法
US11916093B2 (en) Solid-state imaging device, driving method therefor, and electronic apparatus
US20190098239A1 (en) Solid-state imaging device, method for driving the same, and electronic device
US9456161B2 (en) Photoelectric conversion apparatus, image pickup system, and driving method of the photoelectric conversion apparatus
US11665448B2 (en) Information processing apparatus, information processing method, and recording medium
US20160141326A1 (en) Solid-state imaging device, driving method therefor, and electronic apparatus
US9160941B2 (en) Solid-state imaging element having substrates formed on semiconductor wafers and solid-state imaging apparatus having the same solid-state imaging element
US10277848B2 (en) Solid-state imaging device, method of driving the same, and electronic apparatus
JP6099373B2 (ja) 固体撮像装置および電子カメラ
CN107924931B (zh) 固态成像装置和电子设备
CN109845244B (zh) 固态摄像设备
US9118851B2 (en) High dynamic range image sensor read out architecture
US10446603B2 (en) Imaging element, driving method of imaging element, and electronic device
US11171164B2 (en) Image sensor, image processing method, and electronic device
CN107005666A (zh) 摄像装置、摄像装置的驱动方法和电子设备
CN109478891A (zh) Ad转换装置、ad转换方法、图像传感器和电子设备
US20200342122A1 (en) Solid-state imaging device and information processing method of solid-state imaging device
CN110557585A (zh) 图像传感器、操作图像传感器的方法及系统
CN114424522A (zh) 图像处理装置、电子设备、图像处理方法与程序
US20180048836A1 (en) Solid-state imaging device, driving method, and electronic apparatus
US10848700B2 (en) Imaging device with switch circuit
US20030090583A1 (en) Photosensor system and drive control method for the same
US20200404211A1 (en) Solid-state imaging element and electronic device
US20200029045A1 (en) Solid-state imaging device and electronic apparatus

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18792131

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018792131

Country of ref document: EP

Effective date: 20191127