WO2022059481A1 - 固体撮像装置及び電子機器 - Google Patents

固体撮像装置及び電子機器 Download PDF

Info

Publication number
WO2022059481A1
WO2022059481A1 PCT/JP2021/032044 JP2021032044W WO2022059481A1 WO 2022059481 A1 WO2022059481 A1 WO 2022059481A1 JP 2021032044 W JP2021032044 W JP 2021032044W WO 2022059481 A1 WO2022059481 A1 WO 2022059481A1
Authority
WO
WIPO (PCT)
Prior art keywords
event
solid
pixel
authentication
image
Prior art date
Application number
PCT/JP2021/032044
Other languages
English (en)
French (fr)
Inventor
佳孝 宮谷
晋一郎 納土
征志 中田
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US18/044,520 priority Critical patent/US20230336883A1/en
Priority to CN202180061770.5A priority patent/CN116075847A/zh
Priority to DE112021004867.8T priority patent/DE112021004867T5/de
Priority to JP2022550445A priority patent/JPWO2022059481A1/ja
Publication of WO2022059481A1 publication Critical patent/WO2022059481A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1341—Sensing with light passing through the finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14—Vascular patterns
    • G06V40/145—Sensors therefor

Definitions

  • This disclosure relates to a solid-state image sensor and an electronic device.
  • This fingerprint sensor realizes authentication by acquiring fingerprint information by a light receiving element.
  • a CMOS sensor is used to acquire the fingerprint information.
  • CMOS complementary metal-oxide-semiconductor
  • CMOS complementary metal-oxide-semiconductor
  • it is greatly affected by its performance in a dark place, its susceptibility to external light, its narrow dynamic range, and its light receiving performance for operating objects. It is necessary to deal with.
  • a solid-state image sensor and an electronic device capable of highly accurate authentication are provided.
  • the solid-state image sensor includes a light receiving unit and a control unit.
  • the light receiving unit includes event-driven pixels that output event generation based on a threshold value.
  • the control unit is a control unit that controls the light receiving unit, and when a first threshold value is set for the event-driven pixel and an event based on the first threshold value is detected, the control unit is used from the first threshold value. A small second threshold is set for the event-driven pixel.
  • the control unit may further set an ROI (Region of Interest) in which the event-driven pixel detects an event in the light receiving unit when an event based on the first threshold value is detected.
  • ROI Region of Interest
  • a signal processing unit that processes the signal output by the event-driven pixel may be further provided.
  • the signal processing unit may generate an authentication image by time-integrating the signal output by the event-driven pixel.
  • An authentication unit that executes authentication using an authentication image based on the signal output from the event-driven pixel may be further provided.
  • the authentication image may be a fingerprint image.
  • the authentication image may be a vein image.
  • An optical system may be further provided so that each event-driven pixel belonging to the light receiving unit receives light.
  • the optical system may include a pinhole array.
  • the optical system may include a microlens array.
  • the authentication image may be a fingerprint image and a vein image
  • the event-driven pixel may include a pixel for acquiring the fingerprint image and a pixel for acquiring the vein image.
  • the pixel for acquiring the fingerprint image and the pixel for acquiring the vein image may be arranged in a checkered pattern.
  • the optical system may be adjusted so that the focus position with respect to the pixel for acquiring the fingerprint image and the focus position with respect to the pixel for acquiring the vein image are different positions.
  • the electronic device may be equipped with the solid-state image sensor described in any of the above.
  • the electronic device may further include a light emitting unit that outputs an image, and the light receiving unit may be provided farther than the light emitting unit with respect to the target.
  • the figure which shows the state of the light receiving part which concerns on one Embodiment. The figure which shows the state of the light receiving part which concerns on one Embodiment.
  • the figure which shows the state of the light receiving part which concerns on one Embodiment. The figure which shows the state of the light receiving part which concerns on one Embodiment.
  • the figure which shows the state of the light receiving part which concerns on one Embodiment The figure which shows typically an example of the electronic device which concerns on one Embodiment. The figure which shows typically an example of the optical system which concerns on one Embodiment. The figure which shows typically an example of the optical system which concerns on one Embodiment. The figure which shows typically an example of the electronic device which concerns on one Embodiment. The figure which shows typically an example of the optical system which concerns on one Embodiment. The figure which shows an example of the block diagram of the light receiving part which concerns on one Embodiment. The circuit diagram which shows the position example of the circuit of the light receiving part which concerns on one Embodiment.
  • FIG. 1 is a diagram schematically showing an example of a module for acquiring an image or the like when an authentication device including an image pickup device according to an embodiment is used as a fingerprint authentication sensor.
  • the authentication device 10 includes a cover glass 12, an optical system 14, and a light receiving unit 16 as information acquisition units.
  • the user By placing a finger on the cover glass 12 of the authentication device 10, the user recognizes the fingerprint and acquires biometric data for authenticating access to various areas to the electronic device.
  • the cover glass 12 is arranged on the light receiving portion of the authentication device 10.
  • the authentication device 10 acquires data for various authentications such as fingerprint authentication based on the situation of the portion in contact with the cover glass 12.
  • the optical system 14 is arranged so that the light incident from the cover glass 12 is appropriately incident on the light receiving pixels provided in the light receiving unit 16.
  • the optical system 14 may be configured to include a pinhole or a lens.
  • the light receiving unit 16 is provided with a light receiving element, and light is incident through the cover glass 12 and the optical system 14.
  • the light receiving unit 16 includes event-driven pixels as a light receiving element.
  • the event-driven pixel is provided as a sensor that asynchronously detects a change in brightness of incident light and outputs coordinates and time as event data. By using event-driven pixels, it is possible to acquire information at high speed, low latency, and high efficiency.
  • the event-driven pixel When the event-driven pixel detects a change in luminance, it outputs the address of the pixel in which the luminance has changed, the time in which the change has occurred, and the polarity of the change in luminance. Since this output is executed asynchronously as described above, it is possible to acquire information on how the detection target moves by integrating the output from the event-driven pixels in the time direction.
  • the fingerprint information can be acquired by time-integrating the fingerprint information (for example, an image or a video).
  • the event-driven pixel is not limited to fingerprint information, and may acquire other information such as vein information that can be used for authentication.
  • the event-driven pixel By using the event-driven pixel, it is possible to accurately acquire information such as a fingerprint even when the finger is placed so as to cover the dark place performance, that is, the pixel to be authenticated. On the other hand, if the sensitivity in a dark place is improved too much, a lot of noise may be generated.
  • the threshold value in two stages, authentication having noise immunity against dark place performance is realized for a moving finger.
  • FIG. 2 is a block diagram showing the configuration of the solid-state image sensor 2 according to the embodiment.
  • the solid-state image sensor 2 includes a light receiving unit 16, a control unit 18, a storage unit 20, a signal processing unit 22, an image processing unit 24, and an authentication unit 26. Each configuration is the same as the authentication device 10 described below, and will be described later.
  • the solid-state imaging device 2 executes signal processing and image processing based on the received data, and outputs the acquired image data.
  • FIG. 3 is a block diagram showing the configuration of the authentication device 10 according to the embodiment.
  • the authentication device 10 includes a light receiving unit 16, a control unit 18, a storage unit 20, a signal processing unit 22, an image processing unit 24, and an authentication unit 26 as a configuration for processing various signals and the like. That is, the authentication device 10 includes the solid-state image pickup device 2 shown in FIG. 2 as a part of its configuration.
  • the light receiving unit 16 is the one described above, and is configured to include event-driven pixels.
  • the control unit 18 controls the light receiving unit 16 based on the information from the signal processing unit 22 or the image processing unit 24.
  • the control unit 18 sets, for example, a threshold value and an ROI (Region of Interest) for each event-driven pixel of the light receiving unit 16.
  • the event-driven pixel detects that an event has occurred and outputs a signal when there is a change in the light receiving intensity that exceeds the threshold value. Further, when the ROI is set, the light receiving unit 16 controls to detect the light receiving intensity in the event-driven pixels belonging to the ROI. In this way, the control unit 18 controls the behavior of the event-driven pixels in the light receiving unit 16.
  • the storage unit 20 stores data and the like required for various processes. For example, it stores the data required for personal authentication. Further, when the authentication device 10 specifically realizes information processing by software using hardware resources, a program or the like related to the software may be stored. In some cases, the storage unit 20 may be provided outside the authentication device 10, that is, may not be provided in the authentication device 10.
  • the signal processing unit 22 executes predetermined signal processing on the signal output by the light receiving unit 16. For example, the signal processing unit 22 performs signal processing on the output of the light receiving unit 16 to convert the output into image information or the like in which motion is detected and output the signal.
  • the image processing unit 24 executes predetermined image processing on the image information converted by the signal processing unit 22.
  • the image processing unit 24 executes, for example, noise reduction processing, various filter processing, and the like, and the authentication unit 26 processes image information into data suitable for performing authentication such as fingerprints.
  • the signal processing unit 22 and the image processing unit 24 may convert the asynchronous information acquired by the light receiving unit 16 into synchronized data.
  • the signal processing unit 22 may receive an asynchronous signal output from the light receiving unit 16 and acquire image information based on the asynchronous signal.
  • the signal processing unit 22 may sequentially output asynchronous signals to the image processing unit 24, and the image processing unit 24 may acquire a time-integrated image suitable for authentication.
  • signal processing units 22 and image processing units 24 are described separately for convenience, they may be provided as one signal processing unit. As another example, each process may be composed of finer parts (circuits) instead of two parts (circuits). These signal processing units 22 and / or image processing units 24 generate an authentication image based on the signal output from the event-driven pixels.
  • the authentication unit 26 executes authentication based on the image information (authentication image) output by the image processing unit 24 and the authentication information stored in the storage unit 20. As described above, the image processing unit 24 outputs an image by, for example, time-integrating the acquired information. In this case, the authentication unit 26 executes authentication by comparing this image with the authentication information stored in the storage unit 20. The authentication unit 26 executes authentication by an arbitrary proof method such as feature point extraction and authentication using a neural network model.
  • the authentication unit 26 outputs this authentication result to the outside.
  • Other externally equipped electronic devices execute processing or permit processing based on this authentication result.
  • the authentication device 10 realizes personal authentication based on the image acquired by using the event-driven pixels.
  • a part or all of each part of the authentication device 10 described above may be mounted by a dedicated digital circuit or analog circuit, respectively.
  • a dedicated circuit for example, it may be configured by an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array). Further, it may be implemented by a general-purpose processing circuit such as a CPU (Central Processing Unit).
  • CPU Central Processing Unit
  • the authentication device 10 is provided by providing the solid-state image pickup device 2 and the authentication unit 26, but the configuration is not limited to this.
  • a configuration in which the solid-state image sensor 2 is provided with the authentication unit 26 may be referred to as a solid-state image sensor.
  • FIG. 4 is a flowchart showing the processing of the authentication device 10. Next, the processing of the authentication device 10 will be described with reference to FIG.
  • the light receiving unit 16 detects whether or not an event has been detected in the above standby state (S102).
  • the above event wait state is maintained until an event is detected (S102: NO).
  • the control unit 18 sets the ROI (S104).
  • the ROI When the ROI is set, the light receiving unit 16 shifts to detection using event-driven pixels belonging to the ROI. In other words, event-driven pixels that do not belong to the ROI will not perform event detection. In this way, the mode is changed to detect an event from the pixels in the ROI.
  • the control unit 18 may set the ROI within a predetermined range, for example. By determining the range in which the ROI is set in advance in this way, the user can move his / her finger or the like to authenticate to the location of the ROI. This location may be appropriately marked, for example, on the cover glass 12.
  • control unit 18 may determine which pixel of the light receiving unit 16 the event has occurred, and set the ROI within an appropriate range based on the position of this pixel. By setting the ROI based on the position where the event is detected in this way, the user may move his / her finger or the like to any position in the range where the light receiving unit 16 exists when performing authentication.
  • the signal processing unit 22 or the image processing unit 24 sets an appropriate integration time so that the object to be authenticated and the noise can be distinguished.
  • the inner area of the fill shows the pixels in the state of detecting the event (event-driven), and the shaded area shows the pixels in the state of turning off the event-driven.
  • the authentication device 10 is described as acquiring an image for fingerprint authentication, it can be similarly applied to the case of acquiring other information.
  • FIG. 5 is a diagram showing a standby state in the above S100.
  • the event-driven pixel provided in the light-receiving region of the light-receiving unit 16 waits for event detection at the first threshold value. For example, it maintains a state of waiting for some object (finger, etc.) to be placed on the light receiving area. In this state, as described above, a high-contrast event is detected.
  • FIG. 6 is a diagram showing the ROI in S104.
  • the dotted line indicates the user's finger, and indicates how the event is detected at the first threshold value.
  • the dashed line indicates the set ROI.
  • an ROI that can appropriately acquire fingerprint information is set in the area where a finger is detected.
  • FIG. 7 is a diagram showing a standby state for event detection in S106.
  • the event detection in the event detection pixel belonging to the light receiving region other than the ROI is set to the stop state.
  • the threshold value for event detection in the event detection pixels belonging to the ROI is set to the second threshold value, which is a threshold value smaller than the first threshold value.
  • FIG. 9 is a diagram showing an example of event detection acquired at a time different from that of FIG. For example, when the position of the finger is moving, it is placed at a position different from that shown in FIG. 8 to detect a fingerprint-like event, and a noise event is generated at a different position.
  • the signal processing unit 22 and / or the image processing unit 24 integrates while tracking the event detected in the time direction. As a result, fingerprint information can be appropriately acquired while suppressing the influence of noise.
  • the information that the finger is placed on the cover glass 12 by the first threshold value is acquired, the ROI and the second threshold value are set, and the fingerprint information in which noise is suppressed is acquired. can do.
  • fingerprint information using event-driven pixels is possible, and this authentication can be acquired regardless of the synchronization signal, so high speed and low latency.
  • By setting the threshold value in two stages it is possible to acquire fingerprint information or the like that is more resistant to noise and appropriately detects the occurrence of an event than in the case where the threshold value for event detection is determined in one stage.
  • event-driven pixels since event-driven pixels are used, it is possible to acquire information on moving fingers with less influence from motion blur and the like. That is, instead of stopping the finger on the cover glass 12 for authentication, the authentication can be performed while the finger is moving. Further, it is possible to acquire image information as binarization information based on the characteristics of the event-driven pixel, and it is possible to omit such binarization processing and the like.
  • the solid-state photographing apparatus captures and acquires an image based on an appropriate region and an appropriate luminance change based on each of the above-mentioned operations.
  • the acquired image may be stored in the storage unit 20 or may be output to the outside, for example.
  • the mode may be such that it operates as a solid-state image sensor using event-driven pixels.
  • FIG. 10 is a diagram showing an example of an electronic device 1 in which the authentication device 10 is incorporated.
  • the electronic device 1 includes a cover glass 12, an optical system 14, and a light receiving unit 16 as an authentication device 10, and also includes a light emitting unit 28.
  • the light emitting unit 28 is provided between the cover glass 12 and the optical system 14, for example.
  • the light emitting unit 28 may further include an optical system for light emission separately from the optical system 14.
  • the cover glass 12 may not only be provided for receiving light for acquiring an authentication image, but may also function as a light emitting device that appropriately outputs the light emitted from the light emitting element to the user.
  • the light emitting unit 28 may include, for example, a light emitting element such as an OLED (Organic Light Emitting Diode) or MicroOLED. As shown in the figure, the light receiving unit 16 may be provided farther than the light emitting unit 28.
  • the light emitting unit 28 plays a role of a display that outputs, for example, a video, an image, or the like.
  • the electronic device 1 may be, for example, a terminal device such as a smartphone, a tablet terminal, or a laptop computer.
  • the authentication device 10 may output an authentication result for performing authentication or the like for access of these terminal devices.
  • the authentication device 10 such as a fingerprint in the display of various mobile terminals and stationary terminals.
  • authentication can be performed by moving the finger with respect to a predetermined area. For example, even for relatively high-speed operations such as swiping, high-performance, high-speed, and low-latency authentication can be realized by using event-driven pixels.
  • the optical system 14 may be configured to include, for example, a microlens array, a lens array, or the like. As another example, it may be configured with a form without a lens, for example, a pinhole or the like.
  • FIG. 11 is a diagram showing an example in which the optical system 14 is configured to include a pinhole.
  • n ⁇ m pinholes 30 pinhole arrays
  • the pinhole 30 is arranged at a position separated from the end points of the pixels by (dx1, dy1), (dx2, dy2), ... (dxn, dym).
  • dx1 ⁇ dx2 ⁇ ⁇ ⁇ ⁇ dxn, dy1 ⁇ dy2 ⁇ ⁇ ⁇ ⁇ dym may be arranged. With such an arrangement, it is possible to control so as to receive light from the outside of the light receiving unit 16.
  • FIG. 13 is a diagram showing an example of a position to be imaged by the electronic device 1.
  • the authentication device 10 may realize authentication by the position of the vein of the finger.
  • the position of the pinhole shown in FIG. 11 or FIG. 12 described above is set so as to appropriately acquire the light reflected and scattered from the position of the vein in the event-driven pixel. May be good.
  • the pinhole 30 may be placed 2 mm above the cover glass 12 so as to be in focus.
  • the optical system 14 may be provided with a microlens array that is in focus 2 mm above the cover glass 12. 2 mm is given as an example, and it is desirable that the distance from the cover glass 12 be set appropriately.
  • Pinholes that reach the pixels may be provided on each acquired pixel.
  • the diagonal lines indicate the pinholes corresponding to the vein image acquisition pixels
  • the white lines indicate the pinholes corresponding to the fingerprint image acquisition pixels.
  • the arrangement of the pinholes may be as shown in FIGS. 11 and 12.
  • the pixels corresponding to the vein image and the fingerprint image may be provided with pinholes at different arrangement pitches (dx1, dy1, etc. in FIGS. 11 and 12).
  • the pinhole array may be configured to obtain the same effect of acquiring information of different depths by the microlens array.
  • the control unit 18 may set the second threshold value of the fingerprint pixel and the second threshold value of the vein pixel to be different.
  • the event-driven pixel can detect the change in the received luminance value with high sensitivity based on the threshold value. Due to this characteristic, as described above, it is possible to appropriately execute authentication even in a relatively fast operation such as swiping.
  • the first threshold value and the second threshold value may be determined so that the occurrence of an event can be detected by the blood flow.
  • the finger may be fixed, in which case the second threshold is a second step with a second threshold smaller than the second threshold for fingerprint authentication in order to obtain a sufficiently small change in brightness. You may execute the threshold setting of.
  • the form of the light receiving unit 16 is not limited to this embodiment, and may have a configuration in which the pixel detects an event and can appropriately acquire information regarding the coordinates of the pixel that detected the event.
  • FIG. 15 is a block diagram showing an example of the configuration of the light receiving pixels of the light receiving unit 16.
  • the light receiving unit 16 includes a light receiving pixel array 160 and an arbiter 162.
  • the light receiving pixel array 160 includes event driven pixels 40 arranged in a plurality of arrays.
  • the above-mentioned coordinate information may be defined as the position of the event-driven pixel 40 in the light receiving pixel array 160.
  • the arbiter 162 When the arbiter 162 receives a request signal from each event-driven pixel 40 in the light-receiving pixel array 160, it returns an acknowledge signal to the event-driven pixel 40.
  • the arbiter 162 may be provided with, for example, a plurality of pixels along the respective axes of the array. For example, in the drawing, it may have an x arbiter corresponding to the coordinates of the horizontal component and a y arbiter corresponding to the coordinates of the vertical component.
  • the event-driven pixel 40 outputs a signal indicating that an event has been detected to each arbiter as a request signal via a signal line connecting itself and each arbiter.
  • the event drive pixel 40 includes an event detection unit 400 and a transfer unit 410.
  • the event detection unit 400 includes, for example, a photoelectric conversion element such as a photodiode.
  • This photodiode may be, for example, a photodiode that can acquire the intensity of light without relying on avalanche breakdown.
  • the event detection unit 400 operates as a brightness change detection unit that detects how much the intensity of the light received by each photoelectric conversion element (brightness in the image) has changed, positive or negative, based on the output of the photoelectric conversion element. do.
  • the transfer unit 410 outputs a request signal to the arbiter 162 based on the output of the event detection unit 400. Based on this request signal, the arbiter 162 transmits an acknowledge signal to the transfer unit 410 of the event-driven pixel 40, and transmits information transfer from the transfer unit 410 to the signal processing unit 22.
  • the transfer unit 410 that has received the acknowledge signal outputs the data indicating its own coordinates, the time when the event is detected, and the polarity of the event (whether the brightness change is positive or negative) to the signal processing unit 22. Along with the output to the signal processing unit 22, the transfer unit 410 outputs a signal for resetting the light receiving element of the event detection unit 400 to the event detection unit 400.
  • the light receiving unit 16 detects an event in the event driving pixel 40
  • the light receiving unit 16 outputs information on the coordinates, time, and polarity of the luminance change of the pixel that detected the event to the signal processing unit 22.
  • the processing after the output to the signal processing unit 22 is as described above.
  • FIG. 16 is a circuit diagram showing an example of the event detection unit 400.
  • the event detection unit 400 includes a logarithmic response output circuit 402, a differential voltage detection circuit 404, and a comparator 406.
  • the logarithmic response output circuit 402 is provided as a part of so-called light receiving pixels, and converts the signal output from the light receiving element into a logarithm and outputs the signal.
  • the differential voltage detection circuit 404 and the comparator 406 together operate as a luminance change detector. This luminance change detector, for example, outputs a predetermined or greater luminance change of the light received by the light receiving element with positive and negative polarities based on the signal output from the light receiving pixel.
  • the logarithmic response output circuit 402 includes a photodiode PD, which is a photoelectric conversion element, and transistors M1, M2, and M3.
  • the photodiode PD When light is incident, the photodiode PD generates a current by photoelectric conversion and outputs it.
  • the photodiode PD may be a photodiode that does not utilize avalanche breakdown, as an example without limitation.
  • the anode of the photodiode PD is grounded.
  • Transistors M1, M2, and M3 form a circuit that converts the current output from the photodiode PD into a logarithmically converted voltage.
  • the transistor M1 is, for example, an n-type MOSFET, the drain is connected to the power supply voltage terminal, and the source is the photodiode PD, which is connected to the cathode.
  • the transistor M2 is, for example, a p-type MOSFET, the source is connected to the power supply voltage terminal, the drain is connected to the gate of the transistor M1, and a predetermined bias voltage Vb is applied to the gate.
  • the transistor M3 is, for example, an n-type MOSFET, the drain is connected to the drain of the transistor M2, the source is grounded, and the gate is connected to the cathode of the photodiode PD.
  • the logarithmic response output circuit 402 outputs the voltage at the connection point between the drain of the transistor M2 and the drain of the transistor M3 to the differential voltage detection circuit 404.
  • the bias voltage Vb By controlling the bias voltage Vb, it is possible to control whether or not to output the signal received by the pixel.
  • the ROI setting described above is realized by the control unit 18 controlling this bias voltage Vb.
  • the differential voltage detection circuit 404 includes capacitors C1 and C2, a transistor M4, a switch SW, and a current source I.
  • the differential voltage detection circuit 404 acquires and outputs the difference between the output of the logarithmic response output circuit 402 and the reference voltage.
  • One terminal of the capacitor C1 is connected to the output of the logarithmic response output circuit 402.
  • One terminal of capacitor C2 is connected to the other terminal of capacitor C1. From the other terminal of the capacitor C2, the differential voltage detection circuit 404 outputs a voltage difference from the acquired reference voltage.
  • the transistor M4 is, for example, a p-type MOSFET, the source is connected to the power supply voltage terminal, and the drain is connected to the other terminal of the capacitor C2.
  • the current source I is connected between the drain of the transistor M4 and the grounding point, and a predetermined current flows from the drain of the transistor M4 and the other terminal of the capacitor C2 to the grounding point. Due to the above configuration, the current source I operates as a circuit in which the transistor M4 and the current source I generate an inverting voltage based on the voltage applied to the gate of the transistor M4 and output it from the drain of the transistor M4. ..
  • the voltage input to the differential voltage detection circuit 404 by the capacitor C1 applies the voltage difference from the reference voltage to the gate of the transistor M4.
  • the switch SW is connected to the transfer unit 410 described above, and switches on and off based on the reset signal from the transfer unit 410.
  • the switch SW turns on and resets the charge stored in the capacitor C2.
  • the output of the differential voltage detection circuit 404 is reset to the initial value. Therefore, when the reset signal is input from the transfer unit 410, the event detection unit 400 executes event detection based on the luminance at the timing at which the reset signal is input.
  • the comparator 406 is equipped with transistors M5, M6, M7, M8. In the comparator 406, the drive terminals of the transistors M5 and M6 are connected to the input, and the output is performed from the connection points with the transistors M5 and M6 and the connection points with the transistors M7 and M8.
  • the transistor M5 is, for example, a p-type MOSFET, the gate is connected to the output of the differential voltage detection circuit 404, and the source is connected to the power supply voltage terminal.
  • the transistor M6 is, for example, an n-type MOSFET, the drain is connected to the drain of the transistor M5, the source is grounded, and a predetermined bias voltage Vh is applied to the gate. As described above, the drains of the transistors M5 and M6 are connected to the transfer unit 410 to output.
  • the predetermined bias voltage Vh is a voltage indicating a threshold value on the positive side.
  • the transistor M7 is, for example, a p-type MOSFET, the gate is connected to the output of the differential voltage detection circuit 404, and the source is connected to the power supply voltage terminal.
  • the transistor M8 is, for example, an n-type MOSFET, the drain is connected to the drain of the transistor M7, the source is grounded, and a predetermined bias voltage Vl is applied to the gate. As described above, the drains of the transistors M7 and M8 are connected to the transfer unit 410 to output.
  • the predetermined bias voltage Vl is a voltage indicating a threshold value on the negative side.
  • the comparator 406 when voltages with Vh and Vl as threshold values are applied, the comparator 406 outputs the corresponding currents.
  • a light receiving unit and a light receiving unit having an event driven pixel that outputs an event occurrence based on a threshold value A control unit that controls the light receiving unit.
  • a first threshold is set for the event-driven pixel, When an event based on the first threshold value is detected, a second threshold value smaller than the first threshold value is set for the event-driven pixel.
  • Control unit and A solid-state image sensor A solid-state image sensor.
  • the control unit further When an event based on the first threshold value is detected, the ROI (Region of Interest) in which the event-driven pixel detects the event is set in the light receiving unit.
  • the solid-state image sensor according to (1).
  • a signal processing unit that processes the signal output by the event-driven pixel.
  • the signal processing unit generates an authentication image by time-integrating the signal output by the event-driven pixel.
  • An authentication unit that executes authentication using an authentication image based on the signal output by the event-driven pixel.
  • the authentication image is a fingerprint image.
  • the authentication image is a vein image.
  • the optical system comprises a pinhole array.
  • the optical system comprises a microlens array.
  • the authentication image is a fingerprint image and a vein image, and is The event-driven pixel includes a pixel for acquiring the fingerprint image and a pixel for acquiring the vein image.
  • the optical system is adjusted so that the focus position with respect to the pixel for which the fingerprint image is acquired and the focus position with respect to the pixel for which the vein image is acquired are set as different positions.
  • the aspect of the present disclosure is not limited to the above-mentioned embodiment, but also includes various possible modifications, and the effect of the present disclosure is not limited to the above-mentioned contents.
  • the components in each embodiment may be applied in appropriate combinations. That is, various additions, changes and partial deletions are possible without departing from the conceptual idea and purpose of the present disclosure derived from the contents specified in the claims and their equivalents.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Signal Processing (AREA)
  • Image Input (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

［課題］高精度な認証を可能とする。 ［解決手段］固体撮像装置は、受光部と、制御部と、を備える。受光部は、閾値に基づいてイベント発生を出力するイベント駆動画素を備える。制御部は、前記受光部の制御をする制御部であって、前記イベント駆動画素に対して第1閾値を設定し、前記第1閾値に基づいたイベントを検知した場合に、前記第1閾値よりも小さい第2閾値を前記イベント駆動画素に対して設定する。

Description

固体撮像装置及び電子機器
　本開示は、固体撮像装置及び電子機器に関する。
　今日、電子機器において様々な場面で指紋認証が利用されている。この指紋センサは、受光素子により指紋情報を取得することにより、認証を実現している。指紋情報の取得は、例えば、CMOSセンサが用いられる。
　しかしながら、CMOSセンサを指紋センサとして用いる場合には、暗所における性能、外光の影響を受け易い、ダイナミックレンジの狭さ、及び、動作しているものについての受光性能等の影響が大きく、これらの対処をする必要がある。
特開2009-277054号公報 国際公開2018/012492号
　本開示の実施形態では、高精度な認証が可能な、固体撮像装置及び電子機器を提供する。
　一実施形態によれば、固体撮像装置は、受光部と、制御部と、を備える。受光部は、閾値に基づいてイベント発生を出力するイベント駆動画素を備える。制御部は、前記受光部の制御をする制御部であって、前記イベント駆動画素に対して第1閾値を設定し、前記第1閾値に基づいたイベントを検知した場合に、前記第1閾値よりも小さい第2閾値を前記イベント駆動画素に対して設定する。
　前記制御部はさらに、前記第1閾値に基づいたイベントを検知した場合に、前記受光部において、前記イベント駆動画素がイベント検知をするROI(Region of Interest)を設定してもよい。
　前記イベント駆動画素が出力した信号を処理する、信号処理部をさらに備えてもよい。
　前記信号処理部は、前記イベント駆動画素が出力した信号を時間積分して認証画像を生成してもよい。
　前記イベント駆動画素の出力した信号に基づいた認証画像を用いて認証を実行する、認証部、をさらに備えてもよい。
　前記認証画像は、指紋画像であってもよい。
　前記認証画像は、静脈画像であってもよい。
　前記受光部に属するそれぞれの前記イベント駆動画素に光を受光させる、光学系をさらに備えてもよい。
　前記光学系は、ピンホールアレイを備えてもよい。
　前記光学系は、マイクロレンズアレイを備えてもよい。
　前記認証画像は、指紋画像及び静脈画像であってもよく、前記イベント駆動画素は、前記指紋画像を取得する画素と、前記静脈画像を取得する画素と、が備えられてもよい。
　前記指紋画像を取得する画素と、前記静脈画像を取得する画素と、は、市松模様状に配置されてもよい。
　前記光学系は、前記指紋画像を取得する画素に対するピントの位置と、前記静脈画像を取得する画素に対するピントの位置と、を異なる位置として調整されてもよい。
　電子機器は、上記のいずれかに記載の固体撮像装置を備えてもよい。
　電子機器は、映像を出力する、発光部、をさらに備えてもよく、対象に対して、前記発光部よりも遠くに前記受光部が備えられてもよい。
一実施形態に係る固体撮像装置の一例を模式的に示す図。 一実施形態に係る固体撮像装置のブロック図の位置例を示す図。 一実施形態に係る認証装置のブロック図の一例を示す図。 一実施形態に係る認証装置の処理を示すフローチャート。 一実施形態に係る受光部の様子を示す図。 一実施形態に係る受光部の様子を示す図。 一実施形態に係る受光部の様子を示す図。 一実施形態に係る受光部の様子を示す図。 一実施形態に係る受光部の様子を示す図。 一実施形態に係る電子機器の一例を模式的に示す図。 一実施形態に係る光学系の一例を模式的に示す図。 一実施形態に係る光学系の一例を模式的に示す図。 一実施形態に係る電子機器の一例を模式的に示す図。 一実施形態に係る光学系の一例を模式的に示す図。 一実施形態に係る受光部のブロック図の一例を示す図。 一実施形態に係る受光部の回路の位置例を示す回路図。
　以下、図面を参照して本開示における実施形態の説明をする。図面は、説明のために用いるものであり、実際の装置における各部の構成の形状、サイズ、又は、他の構成とのサイズの比等が図に示されている通りである必要はない。また、図面は、簡略化して書かれているため、図に書かれている以外にも実装上必要な構成は、適切に備えるものとする。
　図1は、一実施形態に係る撮像装置を備える認証装置を指紋認証センサとして用いる場合の画像等を取得するモジュールの一例を模式的に示す図である。認証装置10は、情報取得部として、カバーガラス12と、光学系14と、受光部16と、を備える。
　ユーザは、認証装置10のカバーガラス12上に指を乗せることにより、指紋を認識させ、電子機器に各種領域へのアクセス等の認証をするための生体データを取得する。
　カバーガラス12は、認証装置10の受光部上に配置される。カバーガラス12に接触した箇所の状況に基づいて、認証装置10は、指紋認証等の各種認証用のデータを取得する。
　光学系14は、カバーガラス12から入射する光を受光部16に備えられる受光画素に適切に入射するために配置される。光学系14は、一例として、ピンホール又はレンズを備えて構成されてもよい。
　受光部16は、受光素子が備えられ、カバーガラス12及び光学系14を介して光が入射する。受光部16は、イベント駆動画素を受光素子として備える。イベント駆動画素は、入射した光の輝度変化を非同期で検出して座標及び時間をイベントデータとして出力するセンサとして備えられる。イベント駆動画素を用いることにより、高速、低レイテンシ及び高効率で情報を取得することが可能となる。
　イベント駆動画素は、輝度の変化を検知すると、輝度の変化があった画素のアドレス、変化のあった時間、及び、輝度変化の極性を出力する。この出力は、上述したように非同期で実行されるため、イベント駆動画素からの出力を時間方向に積分することにより、検知対象がどのような動きをしたかの情報を取得することができる。
　この結果、例えば、指紋情報をイベント駆動画素が取得した場合、当該指紋情報(例えば、画像、映像)を時間積分することにより、指紋情報を取得することができる。後述するように、指紋情報には限られず、イベント駆動画素は、認証に用いることが可能である静脈情報等の別の情報を取得してもよい。
　イベント駆動画素を用いることにより、暗所性能、すなわち、認証する画素を覆うように指が配置される場合についても、正確に指紋等の情報を取得することが可能となる。一方で、暗所における感度を向上しすぎると、ノイズが多く発生する可能性がある。本実施形態においては、閾値を二段階に設定することにより、動いている指に対して、暗所性能に対するノイズ耐性を備える認証を実現する。
　図2は、一実施形態に係る固体撮像装置2の構成を示すブロック図である。固体撮像装置2は、受光部16と、制御部18と、記憶部20と、信号処理部22と、画像処理部24と、認証部26と、を備える。各構成は、下記に説明する認証装置10と同様であるので、後述する。固体撮像装置2は、受光したデータに基づいて信号処理、画像処理を実行し、取得された画像データを出力する。
　図3は、一実施形態に係る認証装置10の構成を示すブロック図である。認証装置10は、各種信号等を処理する構成として、受光部16と、制御部18と、記憶部20と、信号処理部22と、画像処理部24と、認証部26と、を備える。すなわち、認証装置10は、図2に示す固体撮像装置2をその構成の一部として備える。
　受光部16は、上述したものであり、イベント駆動画素を備えて構成される。
　制御部18は、信号処理部22、又は、画像処理部24からの情報に基づいて、受光部16の制御をする。制御部18は、例えば、受光部16のそれぞれのイベント駆動画素について、閾値を設定し、また、ROI(Region of Interest)を設定する。
　イベント駆動画素は、閾値が設定された場合には、当該閾値を超えるような受光強度の変化がある場合に、イベントが発生したことを検知して信号を出力する。また、受光部16は、ROIが設定された場合には、当該ROIに属するイベント駆動画素において受光強度の検知をするように制御する。このように、制御部18は、受光部16におけるイベント駆動画素の挙動を制御する。
　記憶部20は、各種処理に必要となるデータ等を格納する。例えば、個人認証に必要となるデータを格納する。また、認証装置10がソフトウェアによる情報処理がハードウェア資源を用いて具体的に実現される場合には、当該ソフトウェアに関するプログラム等を格納してもよい。場合によっては、記憶部20は、認証装置10の外部に備えられる、すなわち、認証装置10には備えられない構成であってもよい。
　信号処理部22は、受光部16が出力する信号に対して所定の信号処理を実行する。例えば、信号処理部22は、受光部16の出力に対して信号処理を実行することにより、動きを検知した画像情報等に変換して出力する。
　画像処理部24は、信号処理部22が変換した画像情報に対して、所定の画像処理を実行する。画像処理部24は、例えば、ノイズ除去処理、各種フィルタ処理等を実行し、認証部26が指紋等の認証を実行するのに適したデータに画像情報を処理する。
　信号処理部22及び画像処理部24は、受光部16が取得した非同期な情報を同期されたデータに変換してもよい。例えば、信号処理部22が受光部16から出力された非同期な信号を受信し、この非同期な信号に基づいて画像情報を取得してもよい。また、別の例として、信号処理部22は、非同期な信号を順々に画像処理部24に出力し、画像処理部24において認証に適した時間積分した画像を取得してもよい。
　これらの信号処理部22及び画像処理部24は、便宜上分けて記載しているが、1つの信号処理部として備えられていてもよい。別の例として、処理ごとに、2つの部(回路)ではなく、より細かい部(回路)により構成されていてもよい。これらの信号処理部22及び／又は画像処理部24が、イベント駆動画素から出力された信号に基づいた認証画像を生成する。
　認証部26は、画像処理部24が出力した画像情報(認証画像)及び記憶部20に格納されている認証情報に基づいて認証を実行する。上記のように、画像処理部24は、例えば、取得された情報を時間積分することにより画像を出力する。この場合、認証部26は、この画像と記憶部20に格納されている認証情報とを比較することにより認証を実行する。認証部26は、例えば、特徴点抽出、ニューラルネットワークモデルを用いた認証等、任意の心証方法により認証を実行する。
　認証部26は、この認証結果を外部へと出力する。外部に備えられる他の電子機器は、この認証結果に基づいて、処理を実行したり、処理を許可したりする。このように、認証装置10は、イベント駆動画素を用いて取得された画像に基づいて、個人認証を実現する。
　上記に説明した認証装置10の各部の一部又は全部は、それぞれ専用のデジタル回路又はアナログ回路で実装されてもよい。専用の回路の場合、例えば、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)により構成されてもよい。また、CPU(Central Processing Unit)等の汎用の処理回路により実装されてもよい。
　また、上記の説明においては、固体撮像装置2と、認証部26とを備えることにより、認証装置10であるとしたが、この構成には限られるものではない。例えば、固体撮像装置2に認証部26を備えた構成を、固体撮像装置と呼称してもよい。
　図4は、認証装置10の処理を示すフローチャートである。次に、この図4を用いて認証装置10の処理について説明する。
　まず、受光部16のイベント駆動画素には、第1閾値が設定され、受光部16においてイベント検知をする待機状態となっている(S100)。この第1閾値の設定は、制御部18により制御されてもよい。例えば、この第1閾値は、カバーガラス12上に指が置かれた状態を検知するための閾値である。すなわち、環境光を受光している状態において、指が置かれる等により遮光されるような大きな変動(高コントラストな変動)を検知するための閾値である。
　次に、受光部16は、イベントが検知されたか否かを上記の待機状態において検知する(S102)。イベントを検知するまで(S102:NO)、上記のイベント待機状態を維持する。
　イベントを検知すると(S102:YES)、次に、制御部18は、ROIを設定する(S104)。ROIが設定されると、受光部16において、ROIに属するイベント駆動画素を用いた検知へと移行する。換言すると、ROIに属しないイベント駆動画素は、イベントの検知を実行しなくなる。このように、ROI内の画素からイベントを検知するモードへと変更する。
　制御部18は、例えば、予め決められている範囲において、ROIを設定してもよい。このように予めROIを設定する範囲を決めておくことにより、ユーザは、当該ROIの場所に対して認証を行うべく指等を移動させることが可能となる。この場所は、例えば、カバーガラス12に適切にマークされていてもよい。
　別の例として、制御部18は、受光部16のうちいずれの画素にイベントが発生したかを判断し、この画素の位置に基づいて適切な範囲内にROIを設定してもよい。このようにイベント検知した位置に基づいてROIを設定することにより、ユーザは、認証をする場合には、受光部16が存在する範囲の任意の位置に対して指等を移動させてもよい。
　このROIの設定と並行して、受光部16のイベント駆動画素には、第2閾値が設定され、受光部16、より正確には、受光部16のROI内のイベント駆動画素においてイベントを検知する待機状態となる(S106)。この第2閾値の設定も、制御部18により制御されてもよい。この第2閾値は、少なくとも第1閾値よりは小さい値の閾値である。第1閾値よりも小さい第2閾値によりイベント検知をすることにより、より輝度変化の小さい(低コントラストな変動の)画素についてもイベントが発生したことを検知する。なお、これらのステップは、逆の順番で実行されてもよい。
　そして、第2閾値を用いた制御を実行して受光部16により取得された信号に基づいて、信号処理部22及び画像処理部24は、適切な信号処理及び画像処理を実行し、認証部26がこの適切な処理が実行されたデータを用いて認証を行う(S108)。
　例えば、第1閾値から第2閾値へと変更することにより、ROI内においてノイズイベントが発生する確率が高くなる。そこで、信号処理部22又は画像処理部24は、適切な積分時間を設定して、認証の対象となる物体と、ノイズとを区別できるようにする。
　上記の各ステップについて、図面を用いながら説明する。以下の図においては、塗りの内領域は、イベントを検知する(イベント駆動する)状態の画素を示し、斜線の領域は、イベント駆動をオフした状態の画素を示す。また、認証装置10は、指紋認証用の画像を取得するものとして説明するが他の情報を取得する場合でも同様に適用することが可能である。
　図5は、上記のS100における待機状態を示す図である。受光部16の受光領域に備えられるイベント駆動画素は、第1閾値においてイベント検知を待機する。例えば、受光領域の上に何らかの物体(指等)が配置されるのを待機する状態を維持する。この状態では、上述したように、高コントラストのイベントを検知する。
　図6は、S104におけるROIを示す図である。点線は、ユーザの指を示し、第1閾値において、イベントが検知された様子を示す。破線は、設定されたROIを示す。このように、一例として、指が検知された領域において、適切に指紋情報が取得できるROIを設定する。上述したように、イベントが検知されると、自動的に予め設定されている所定領域をROIとして設定することも可能である。
　図7は、S106におけるイベント検知の待機状態を示す図である。この図7に示すように、ROI以外の受光領域に属するイベント検知画素におけるイベント検知を停止状態とする。一方で、ROI内に属するイベント検知画素におけるイベント検知の閾値を第1閾値よりも小さい閾値である第2閾値へと設定する。このように第2閾値とすることにより、上述したように、第1閾値よりも低コントラストな輝度変化を発生させるイベントを検知することが可能となる。
　図8は、第2閾値においてイベント検知した一例を示す図である。例えば、指紋の情報とともに、低い第2閾値に依存するノイズイベントが発生する。
　図9は、図8と異なる時刻により取得されたイベント検知した一例を示す図である。例えば、指の位置が移動している場合には、図8とは異なる位置に置いて指紋状のイベント検知をし、異なる位置にノイズイベントが発生する。
　信号処理部22及び／又は画像処理部24は、時間方向に検知したイベントを追跡しながら積分する。この結果、ノイズの影響を抑制した上で、指紋情報を適切に取得することができる。
　以上のように、本実施形態によれば、第1閾値により指がカバーガラス12上に配置されたという情報を取得してROI及び第2閾値を設定し、ノイズを抑制した指紋情報の取得をすることができる。このように、閾値を2つ用いること、ROIを設定することにより、イベント駆動画素を用いた指紋情報を可能とし、この認証は、同期信号によらず取得することができるため、高速、低レイテンシであり、かつ、ノイズ除去等の演算を少なくする高効率な認証を実現することが可能となる。2段階に閾値を設定することにより、イベント検知の閾値を1段階で決定する場合よりも、ノイズに強く、また、イベント発生を適切に検知する指紋情報等の取得をすることが可能となる。
　また、イベント駆動画素を用いるため、動いている指の情報を、モーションブラー等の影響を少なく取得することが可能となる。すなわち、認証のためにカバーガラス12上に指を停止させるのではなく、指を動かしている状態で認証をすることができる。さらに、イベント駆動画素の特性に基づいて、画像情報を二値化情報として取得することも可能であり、このような二値化処理等をも省略することが可能となる。
　なお、上述においては、認証部26が備えられる認証装置として説明したが、認証部26が備えられない固体撮像装置として動作してもよい。この場合、固体撮影装置は、上述の各動作に基づいて、適切な領域、適切な輝度変化に基づいた画像を撮影して取得する。取得した画像は、例えば、記憶部20に記憶されてもよいし、外部へと出力されてもよい。このように、イベント駆動画素を用いた固体撮像装置として動作する態様であってもよい。
　以上がイベント駆動画素を用いた認証装置10の説明であったが、次に、光学系についていくつかの実装例を説明する。
　図10は、認証装置10が組み込まれている電子機器1の一例を示す図である。電子機器1は、認証装置10として、カバーガラス12、光学系14、受光部16を備える他に、発光部28を備える。
　発光部28は、例えば、カバーガラス12と、光学系14との間に備えられる。この発光部28は、発光用の光学系を、光学系14とは別にさらに備えていてもよい。カバーガラス12は、認証画像を取得するための受光用として備えられるだけではなく、発光素子から発光された光を適切にユーザに出力する発光ようとして機能してもよい。発光部28は、例えば、OLED(Organic Light Emitting Diode)、MicroOLED等の発光素子を備えていてもよい。図に示されるように、発光部28よりも遠くに受光部16が備えられてもよい。
　この発光部28は、例えば、映像、画像等を出力するディスプレイの役割を果たす。この場合、電子機器1は、例えば、スマートフォン、タブレット型端末、ラップトップコンピュータ等の端末装置であってもよい。そして、認証装置10は、これらの端末装置のアクセスのための認証等をするための認証結果を出力してもよい。
　このように、本開示に記載の態様によれば、種々の携帯端末、据え置き型端末のディスプレイに指紋等の認証装置10を埋め込むことも可能である。この場合、ディスプレイの所定箇所に指を固定するのではなく、所定の領域に対して指を動かすことにより認証することもできる。例えば、スワイプ等の比較的高速な動作に対しても、イベント駆動画素を用いることにより、高性能、高速、低レイテンシな認証を実現することができる。
　上記の各形態において、光学系14は、例えば、マイクロレンズアレイ、レンズアレイ等を備えて構成されてもよい。別の例として、レンズを備えない形態、例えば、ピンホール等を備えて構成されてもよい。
　図11は、光学系14がピンホールを備えて構成する一例を示す図である。例えば、受光部16のn × m個のイベント駆動画素上に、n × m個のピンホール30(ピンホールアレイ)が光学系14として備えられてもよい。
　ピンホール30は、図に示すように、画素の端点から(dx1, dy1)、(dx2, dy2)、・・・(dxn, dym)だけ離れた位置に配置される。図11に示すように、例えば、dx1 < dx2 < ・・・ < dxn、dy1 < dy2 < ・・・ < dymとなるように配置されてもよい。このような配置とすることにより、受光部16の外側からの光を受光するように制御をすることが可能となる。
　イベント駆動画素は、暗所性能に優れるので、ピンホール30の大きさを小さくすることが可能となる。このようにピンホール30の大きさを小さくすることにより、ピンホール30の位置による受光領域の調整をより精度高く実現することが可能となる。
　図12は、図11とは異なるピンホール位置を示す図である。図12では、dx1 > dx2 > ・・・ > dxn、dy1 > dy2 > ・・・ > dymとなる構成を有するのこのような構成を有することにより、受光部16の中央部におけるより精度の高い指紋画像を取得することが可能となる。
　図13は、電子機器1による撮像対象となる位置の例を示す図である。上述したように、本開示の内容は、指紋認証に限られるものではない。例えば、認証装置10は、指の静脈の位置により認証を実現してもよい。このような静脈認証を実現する場合には、上述した図11又は図12に示すピンホールの位置を、静脈の位置から反射、散乱した光をイベント駆動画素において適切に取得するように設定してもよい。例えば、静脈が指紋の位置よりも2mm上方にある場合、カバーガラス12から2mm上方にピントが合うようなピンホール30を配置してもよい。別の例として、カバーガラス12から2mm上方にピントが合うようなマイクロレンズアレイを光学系14として備えてもよい。2mmは、一例としてあげたものであり、適切にカバーガラス12からの距離は設定されることが望ましい。
　図14は、光学系14のさらに別の例を示す図である。受光部16は、例えば、指紋画像を取得する画素と、静脈画像を取得する画素とを備えていてもよい。この場合、指紋画像取得画素と、静脈画像取得画素とは、市松模様のように交互に配置されていてもよい。
　そして、光学系14として、図14に示すように、指紋が存在する面において反射、散乱した光をイベント駆動画素に到達させるピンホールと、静脈が存在する面において反射、散乱した光をイベント駆動画素に到達させるピンホールと、がそれぞれの取得画素上に備えられてもよい。例えば、斜線で示すのが静脈画像取得画素に対応するピンホールであり、白で示すのが指紋画像取得画素に対応するピンホールである。
　このピンホールの配置は、図11、図12に示すようなものであってもよい。この場合、静脈画像と、指紋画像とのそれぞれに対応する画素について、異なる配列のピッチ(図11、図12のdx1, dy1等)でピンホールが備えられていてもよい。上記と同様に、このピンホールアレイは、マイクロレンズアレイにより異なる深度の情報を取得するという同じ効果を得られる構成としてもよい。
　制御部18は、指紋用の画素の第2閾値と、静脈用の画素の第2閾値とを異なるものとして設定してもよい。
　以上のように、光学系14、受光部16についても、種々の構成であってもよい。これらは例としてあげたものであり、これらの構成には限られるものではない。
　前述した全ての形態において、イベント駆動画素は、受光する輝度値の変化を閾値に基づいた高い感度で検出することができる。この特性により、上述したように、スワイプ等の比較的速い動作においても、適切に認証を実行することが可能となる。
　静脈を検出する場合には、血流によりイベント発生を検知できるように、第1閾値、第2閾値を決定してもよい。例えば、静脈の場合は、指を固定してもよく、この場合、第2閾値は、十分に小さい輝度の変化を取得するべく、指紋認証に対する第2閾値よりも小さい第2閾値により2段階目の閾値設定を実行してもよい。
　(受光部の実装例)
　前述の実施形態において利用した受光部について一例を挙げて説明する。なお、受光部16の形態は、本形態に限定されるものではなく、画素がイベントを検知して当該イベントを検知した画素の座標に関する情報を適切に取得できる構成を有していればよい。
　図15は、受光部16の受光画素の構成の一例を示すブロック図である。受光部16は、受光画素アレイ160と、アービタ162と、を備える。
　受光画素アレイ160は、複数のアレイ状に配列されたイベント駆動画素40を備える。上記した座標の情報は、この受光画素アレイ160内のイベント駆動画素40の位置として定義されてもよい。
　アービタ162は、受光画素アレイ160内のそれぞれのイベント駆動画素40からリクエスト信号を受信すると、アクナレッジ信号をイベント駆動画素40へと返信する。このアービタ162は、例えば、アレイ状の画素のそれぞれの軸に沿った複数が備えられてもよい。例えば、図面において、水平成分の座標に対応するxアービタと、垂直成分の座標に対応するyアービタを有していてもよい。この場合、イベント駆動画素40は、それぞれのアービタに対して、自身とそれぞれのアービタとを接続している信号線を介して、イベント検知したことを示す信号をリクエスト信号として出力する。
　イベント駆動画素40は、イベント検出部400と、転送部410と、を備える。
　イベント検出部400は、例えば、フォトダイオード等の光電変換素子を備える。このフォトダイオードは、例えば、雪崩降伏によらずに光の強度を取得できるフォトダイオードであってもよい。イベント検出部400は、光電変換素子の出力に基づいて、それぞれの光電変換素子が受光した光の強度(画像における輝度)が、正負それぞれどの程度変化したかを検出する、輝度変化検出部として動作する。
　転送部410は、イベント検出部400の出力に基づいて、アービタ162にリクエスト信号を出力する。このリクエスト信号に基づいてアービタ162は、アクナレッジ信号を当該イベント駆動画素40の転送部410へと送信し、転送部410から信号処理部22への情報の転送を伝達する。
　アクナレッジ信号を受信した転送部410は、自身の座標を示すデータ、イベント検知した時間及びイベントの極性(輝度変化が正であるか、負であるか)を信号処理部22へと出力する。この信号処理部22への出力とともに、転送部410は、イベント検出部400の受光素子をリセットする信号をイベント検出部400へと出力する。
　このように、受光部16は、イベント駆動画素40においてイベントを検知すると、当該イベントを検知した画素の座標、時間、輝度変化の極性の情報を信号処理部22へと出力する。信号処理部22へと出力した後の処理は、前述の通りである。
　図16は、イベント検出部400の一例を示す回路図である。イベント検出部400は、対数応答出力回路402と、差分電圧検出回路404と、比較器406と、を備える。対数応答出力回路402は、いわゆる受光画素の一部として備えられ、受光素子から出力された信号を対数に変換して出力する。差分電圧検出回路404と、比較器406は、合わせて輝度変化検出器として動作する。この輝度変化検出器は、例えば、受光画素から出力された信号に基づいて、受光素子が受光した光の所定以上の輝度変化を正、負の極性とともに出力する。
　対数応答出力回路402は、光電変換素子であるフォトダイオードPDと、トランジスタM1、M2、M3と、を備える。
　フォトダイオードPDは、光が入射すると、光電変換により電流を生成して出力する。上述したように、このフォトダイオードPDは、限定されない一例として、雪崩降伏を利用しないフォトダイオードであってもよい。フォトダイオードPDは、アノードが接地される。
　トランジスタM1、M2、M3は、フォトダイオードPDから出力される電流を、対数変換した電圧に変換する回路を構成する。
　トランジスタM1は、例えば、n型MOSFETであり、ドレインが電源電圧端子に接続され、ソースがフォトダイオードPDは、のカソードと接続される。
　トランジスタM2は、例えば、p型MOSFETであり、ソースが電源電圧端子に接続され、ドレインがトランジスタM1のゲートと接続され、ゲートには、所定のバイアス電圧Vbが印加される。
　トランジスタM3は、例えば、n型MOSFETであり、ドレインがトランジスタM2のドレインと接続され、ソースが接地され、ゲートがフォトダイオードPDのカソードと接続される。
　対数応答出力回路402は、トランジスタM2のドレインと、トランジスタM3のドレインとの接続点の電圧を差分電圧検出回路404へと出力する。バイアス電圧Vbを制御することにより、当該画素において受光した信号を出力するか否かを制御できる。前述のROIの設定は、制御部18がこのバイアス電圧Vbを制御することにより実現される。
　差分電圧検出回路404は、キャパシタC1、C2と、トランジスタM4と、スイッチSWと、電流源Iと、を備える。差分電圧検出回路404は、対数応答出力回路402の出力と基準電圧との差分を取得し、出力する。
　キャパシタC1の一方の端子は、対数応答出力回路402の出力に接続される。キャパシタC2の一方の端子は、キャパシタC1の他方の端子と接続される。このキャパシタC2の他方の端子から、差分電圧検出回路404は、取得された基準電圧との差分の電圧を出力する。
　トランジスタM4は、例えば、p型MOSFETであり、ソースが電源電圧端子と接続され、ドレインがキャパシタC2の他方の端子と接続される。
　電流源Iは、トランジスタM4のドレインと接地点との間に接続され、トランジスタM4のドレイン及びキャパシタC2の他方の端子から、所定電流を接地点へと流す。この電流源Iは、上記の構成により、このトランジスタM4と電流源Iとは、トランジスタM4のゲートに印加される電圧に基づいた反転電圧を生成してトランジスタM4のドレインから出力する回路として動作する。
　キャパシタC1により、差分電圧検出回路404に入力された電圧は、基準電圧との差分の電圧をトランジスタM4のゲートへ印加する。
　スイッチSWは、前述の転送部410と接続され、転送部410からのリセット信号に基づいて、オン、オフを切り替える。リセット信号が入力されると、スイッチSWはオンし、キャパシタC2に蓄えられている電荷をリセットする。このリセット動作により、差分電圧検出回路404の出力を、初期値にリセットする。このため、リセット信号が転送部410から入力されることにより、イベント検出部400は、リセット信号が入力されたタイミングから、当該タイミングにおける輝度に基づいたイベント検知を実行する。
　比較器406は、トランジスタM5、M6、M7、M8を備える。比較器406は、トランジスタM5、M6の駆動端子が入力と接続され、トランジスタM5、M6との接続点及びトランジスタM7、M8との接続点から、出力を行う。
　トランジスタM5は、例えば、p型MOSFETであり、ゲートが差分電圧検出回路404の出力と接続され、ソースが電源電圧端子と接続される。
　トランジスタM6は、例えば、n型MOSFETであり、ドレインがトランジスタM5のドレインと接続され、ソースが接地され、ゲートには所定バイアス電圧Vhが印加される。上述したように、トランジスタM5、M6のドレインが転送部410に接続され、出力を行う。
　所定バイアス電圧Vhは、正側の閾値を示す電圧である。差分電圧検出回路404の出力、すなわち、単位時間あたりに受光した光の強度の変化量に対応する電圧が、Vhより高い場合に、On端子から電流が出力される。
　トランジスタM7は、例えば、p型MOSFETであり、ゲートが差分電圧検出回路404の出力と接続され、ソースが電源電圧端子と接続される。
　トランジスタM8は、例えば、n型MOSFETであり、ドレインがトランジスタM7のドレインと接続され、ソースが接地され、ゲートには所定バイアス電圧Vlが印加される。上述したように、トランジスタM7、M8のドレインが転送部410に接続され、出力を行う。
　所定バイアス電圧Vlは、負側の閾値を示す電圧である。差分電圧検出回路404の出力、すなわち、単位時間あたりに受光した光の強度の変化量に対応する電圧が、Vlより低い場合に、Off端子から電流が出力される。
　このように、Vh、Vlを閾値とした電圧が印加された場合に、比較器406は、それぞれに対応する電流を出力する。
　前述の実施形態において、閾値電圧を変化させる場合には、制御部18がこのバイアス電圧を制御することにより実現することができる。
　前述した実施形態は、以下のような形態としてもよい。
(１)
　閾値に基づいてイベント発生を出力するイベント駆動画素を備える、受光部と、
　前記受光部の制御をする制御部であって、
　　前記イベント駆動画素に対して第1閾値を設定し、
　　前記第1閾値に基づいたイベントを検知した場合に、前記第1閾値よりも小さい第2閾値を前記イベント駆動画素に対して設定する、
　制御部と、
　を備える、固体撮像装置。
(２)
　前記制御部はさらに、
　　前記第1閾値に基づいたイベントを検知した場合に、前記受光部において、前記イベント駆動画素がイベント検知をするROI(Region of Interest)を設定する、
　(1)に記載の固体撮像装置。
(３)
　前記イベント駆動画素が出力した信号を処理する、信号処理部、
　をさらに備える、(1)又は(2)に記載の固体撮像装置。
(４)
　前記信号処理部は、前記イベント駆動画素が出力した信号を時間積分して認証画像を生成する、
　(3)に記載の固体撮像装置。
(５)
　前記イベント駆動画素の出力した信号に基づいた認証画像を用いて認証を実行する、認証部、
　をさらに備える、(4)に記載の固体撮像装置。
(６)
　前記認証画像は、指紋画像である、
　(4)に記載の固体撮像装置。
(７)
　前記認証画像は、静脈画像である、
　(4)に記載の固体撮像装置。
(８)
　前記受光部に属するそれぞれの前記イベント駆動画素に光を受光させる、光学系、
　をさらに備える、(1)から(7)に記載の固体撮像装置。
(９)
　前記光学系は、ピンホールアレイを備える、
　(8)に記載の固体撮像装置。
(１０)
　前記光学系は、マイクロレンズアレイを備える、
　(8)に記載の固体撮像装置。
(１１)
　前記認証画像は、指紋画像及び静脈画像であり、
　前記イベント駆動画素は、前記指紋画像を取得する画素と、前記静脈画像を取得する画素と、が備えられる、
　(9)又は(10)に記載の固体撮像装置。
(１２)
　前記指紋画像を取得する画素と、前記静脈画像を取得する画素と、は、市松模様状に配置される、(11)に記載の固体撮像装置。
(１３)
　前記光学系は、前記指紋画像を取得する画素に対するピントの位置と、前記静脈画像を取得する画素に対するピントの位置と、を異なる位置として調整される、
　(12)に記載の固体撮像装置。
(１４)
　(1)から(13)のいずれかに記載の固体撮像装置、
　を備える、電子機器。
(１５)
　映像を出力する、発光部、
　をさらに備え、
　対象に対して、前記発光部よりも遠くに前記受光部が備えられる、
　(14)に記載の電子機器。
　本開示の態様は、前述した実施形態に限定されるものではなく、想到しうる種々の変形も含むものであり、本開示の効果も前述の内容に限定されるものではない。各実施形態における構成要素は、適切に組み合わされて適用されてもよい。すなわち、特許請求の範囲に規定された内容及びその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更及び部分的削除が可能である。
1:電子機器、
2:固体撮像装置、
10:認証装置、
12:カバーガラス、14:光学系、16:受光部、
18:制御部、20:記憶部、22:信号処理部、24:画像処理部、26:認証部、
28:発光部、
30:ピンホール、
40:イベント駆動画素、400:イベント検出部、410:転送部、
402:対数応答出力回路、404:差分電圧検出回路、406:比較器、
M1、M2、M3、M4、M5、M6、M7、M8:トランジスタ、
PD:フォトダイオード、
C1、C2:キャパシタ、
SW:スイッチ、
I:電流源

Claims (15)

  1. 　閾値に基づいてイベント発生を出力するイベント駆動画素を備える、受光部と、
    　前記受光部の制御をする制御部であって、
    　　前記イベント駆動画素に対して第1閾値を設定し、
    　　前記第1閾値に基づいたイベントを検知した場合に、前記第1閾値よりも小さい第2閾値を前記イベント駆動画素に対して設定する、
    　制御部と、
    　を備える、固体撮像装置。
  2. 　前記制御部はさらに、
    　　前記第1閾値に基づいたイベントを検知した場合に、前記受光部において、前記イベント駆動画素がイベント検知をするROI(Region of Interest)を設定する、
    　請求項1に記載の固体撮像装置。
  3. 　前記イベント駆動画素が出力した信号を処理する、信号処理部、
    　をさらに備える、請求項1に記載の固体撮像装置。
  4. 　前記信号処理部は、前記イベント駆動画素が出力した信号を時間積分して認証画像を生成する、
    　請求項3に記載の固体撮像装置。
  5. 　前記認証画像を用いて認証を実行する、認証部、
    　をさらに備える、請求項4に記載の固体撮像装置。
  6. 　前記認証画像は、指紋画像である、
    　請求項4に記載の固体撮像装置。
  7. 　前記認証画像は、静脈画像である、
    　請求項4に記載の固体撮像装置。
  8. 　前記受光部に属するそれぞれの前記イベント駆動画素に光を受光させる、光学系、
    　をさらに備える、請求項1に記載の固体撮像装置。
  9. 　前記光学系は、ピンホールアレイを備える、
    　請求項8に記載の固体撮像装置。
  10. 　前記光学系は、マイクロレンズアレイを備える、
    　請求項8に記載の固体撮像装置。
  11. 　前記イベント駆動画素が出力した信号を時間積分した認証画像は、指紋画像及び静脈画像であり、
    　前記イベント駆動画素は、前記指紋画像を取得する画素と、前記静脈画像を取得する画素と、が備えられる、
    　請求項9に記載の固体撮像装置。
  12. 　前記指紋画像を取得する画素と、前記静脈画像を取得する画素と、は、市松模様状に配置される、請求項11に記載の固体撮像装置。
  13. 　前記光学系は、前記指紋画像を取得する画素に対するピントの位置と、前記静脈画像を取得する画素に対するピントの位置と、を異なる位置として調整される、
    　請求項12に記載の固体撮像装置。
  14. 　請求項1に記載の固体撮像装置、
    　を備える、電子機器。
  15. 　映像を出力する、発光部、
    　をさらに備え、
    　対象に対して、前記発光部よりも遠くに前記受光部が備えられる、
    　請求項14に記載の電子機器。
PCT/JP2021/032044 2020-09-15 2021-09-01 固体撮像装置及び電子機器 WO2022059481A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US18/044,520 US20230336883A1 (en) 2020-09-15 2021-09-01 Solid-state imaging device and electronic apparatus
CN202180061770.5A CN116075847A (zh) 2020-09-15 2021-09-01 固态成像装置和电子设备
DE112021004867.8T DE112021004867T5 (de) 2020-09-15 2021-09-01 Festkörperbildgebungsvorrichtung und elektronische einrichtung
JP2022550445A JPWO2022059481A1 (ja) 2020-09-15 2021-09-01

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-154837 2020-09-15
JP2020154837 2020-09-15

Publications (1)

Publication Number Publication Date
WO2022059481A1 true WO2022059481A1 (ja) 2022-03-24

Family

ID=80775989

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/032044 WO2022059481A1 (ja) 2020-09-15 2021-09-01 固体撮像装置及び電子機器

Country Status (5)

Country Link
US (1) US20230336883A1 (ja)
JP (1) JPWO2022059481A1 (ja)
CN (1) CN116075847A (ja)
DE (1) DE112021004867T5 (ja)
WO (1) WO2022059481A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018186478A (ja) * 2017-04-25 2018-11-22 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2019135411A1 (ja) * 2018-01-05 2019-07-11 株式会社ニコン 検出装置およびセンサ
JP2019134271A (ja) * 2018-01-31 2019-08-08 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
JP2020088480A (ja) * 2018-11-19 2020-06-04 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、および、撮像装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009277054A (ja) 2008-05-15 2009-11-26 Hitachi Maxell Ltd 指静脈認証装置及び指静脈認証方法
CN113489904B (zh) 2016-07-13 2023-07-21 索尼公司 成像装置、成像器件和图像处理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018186478A (ja) * 2017-04-25 2018-11-22 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2019135411A1 (ja) * 2018-01-05 2019-07-11 株式会社ニコン 検出装置およびセンサ
JP2019134271A (ja) * 2018-01-31 2019-08-08 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
JP2020088480A (ja) * 2018-11-19 2020-06-04 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、および、撮像装置

Also Published As

Publication number Publication date
DE112021004867T5 (de) 2023-09-28
JPWO2022059481A1 (ja) 2022-03-24
CN116075847A (zh) 2023-05-05
US20230336883A1 (en) 2023-10-19

Similar Documents

Publication Publication Date Title
EP3563564B1 (en) Dynamic vision sensor architecture
CN108462844B (zh) 用于像素合并和读出的方法和装置
WO2021084833A1 (ja) 物体認識システム及び物体認識システムの信号処理方法、並びに、電子機器
US8854244B2 (en) Imagers with improved analog-to-digital converters
US9182804B2 (en) Optical nagivation device
CN109903324B (zh) 一种深度图像获取方法及装置
US20150292884A1 (en) Motion-sensor device having multiple light sources
CN114127509A (zh) 测距系统和电子设备
US20170188017A1 (en) Depth maps generated from a single sensor
GB2504291A (en) A proximity and gesture detection module
US8405607B2 (en) Optical navigation device and associated methods
CN108200362A (zh) 基于空间对比度的仿生视网膜摄像电路及子电路
US9497427B2 (en) Method and apparatus for image flare mitigation
WO2022059481A1 (ja) 固体撮像装置及び電子機器
Oike et al. A 120/spl times/110 position sensor with the capability of sensitive and selective light detection in wide dynamic range for robust active range finding
JP2006259899A (ja) 画像処理システム、画像処理装置および方法、記録媒体、並びにプログラム
CN109584278B (zh) 一种目标识别装置及方法
US10255687B2 (en) Distance measurement system applicable to different reflecting surfaces and operating method thereof
Oike et al. Real-time and high-resolution 3D imaging system using light-section method and smart CMOS sensor
CN114365479A (zh) 基于事件的视觉传感器的延迟均衡
JP6252657B2 (ja) 調整装置、調整方法およびプログラム
KR102305999B1 (ko) 홍채 인식 카메라 시스템 및 이를 포함하는 단말기와 그 시스템의 홍채 인식 방법
US20240107188A1 (en) Vision sensor and image processing device including the same
JP7357596B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム並びに撮像装置
US20230171518A1 (en) Image sensor, image acquisition apparatus, and electronic apparatus including the image acquisition apparatus

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21869168

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022550445

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 112021004867

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21869168

Country of ref document: EP

Kind code of ref document: A1