WO2021199769A1 - 電子機器 - Google Patents

電子機器 Download PDF

Info

Publication number
WO2021199769A1
WO2021199769A1 PCT/JP2021/006197 JP2021006197W WO2021199769A1 WO 2021199769 A1 WO2021199769 A1 WO 2021199769A1 JP 2021006197 W JP2021006197 W JP 2021006197W WO 2021199769 A1 WO2021199769 A1 WO 2021199769A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
electronic device
authentication
light receiving
display
Prior art date
Application number
PCT/JP2021/006197
Other languages
English (en)
French (fr)
Inventor
征志 中田
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US17/802,442 priority Critical patent/US20230144032A1/en
Priority to JP2022511653A priority patent/JPWO2021199769A1/ja
Priority to EP21781028.2A priority patent/EP4131919A4/en
Priority to KR1020227032597A priority patent/KR20220159378A/ko
Publication of WO2021199769A1 publication Critical patent/WO2021199769A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G06V40/1318—Sensors therefor using electro-optical elements or layers, e.g. electroluminescent sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4014—Identity check for transactions
    • G06Q20/40145—Biometric identity checks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1335—Combining adjacent partial images (e.g. slices) to create a composite input or reference pattern; Tracking a sweeping finger movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1365—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/60—Static or dynamic means for assisting the user to position a body part for biometric acquisition
    • G06V40/67—Static or dynamic means for assisting the user to position a body part for biometric acquisition by interactive indications to the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/532—Control of the integration time by controlling global shutters in CMOS SSIS
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K50/00—Organic light-emitting devices
    • H10K50/80—Constructional details
    • H10K50/86—Arrangements for improving contrast, e.g. preventing reflection of ambient light
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K59/00—Integrated devices, or assemblies of multiple devices, comprising at least one organic light-emitting element covered by group H10K50/00
    • H10K59/40—OLEDs integrated with touch screens
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K59/00—Integrated devices, or assemblies of multiple devices, comprising at least one organic light-emitting element covered by group H10K50/00
    • H10K59/60—OLEDs integrated with inorganic light-sensitive elements, e.g. with inorganic solar cells or inorganic photodiodes
    • H10K59/65—OLEDs integrated with inorganic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow

Definitions

  • This disclosure relates to electronic devices.
  • the optical fingerprint sensor had to keep the finger stationary for a predetermined time when acquiring the fingerprint, which was not convenient in terms of UI. Further, in a terminal logged in by fingerprint authentication, subsequent operations are often possible without fingerprint authentication or the like. For example, it is often possible to make a purchase by credit card payment from a browser after performing personal authentication by fingerprint once, and there is also a security problem.
  • One aspect of the present disclosure provides an electronic device that realizes fingerprint authentication during a swipe operation of a display.
  • the electronic device includes a display and an optical fingerprint sensor.
  • the display includes a display surface having light emitting pixels in an array in a first direction and a direction intersecting the first direction.
  • the optical fingerprint sensor has light receiving elements in an array in the first direction and the second direction on the side opposite to the display surface of the display in the third direction intersecting the first direction and the second direction.
  • An image pickup element is provided, and each of the light receiving elements transfers the charge charged by photoelectric conversion at the same timing.
  • the image pickup element may include a pixel memory that temporarily stores the light reception information of each light receiving element, and the transfer of information from the light receiving element to the pixel memory may be executed at the same timing.
  • An information processing unit that executes information processing of fingerprint information read by the image sensor may be further provided.
  • the information processing unit may read the fingerprint information at least during an operation including a finger swipe operation.
  • a touch panel that senses contact information with respect to the display may be further provided, and the speed of the swipe operation may be estimated on the touch panel.
  • the information processing unit may estimate the speed of the swipe operation based on the information read by the image sensor.
  • an instruction to slow down the swipe operation may be output.
  • the instruction of the speed of the swipe operation may be output to the display.
  • the instruction may display a speed guide on the display.
  • the output that the speed is too fast may be at least one of the output to the display, the output by sound, or the output by vibration.
  • the information processing unit may shorten the exposure time of the optical fingerprint sensor when the speed is faster than a predetermined speed.
  • the information processing unit may generate authentication information from the fingerprint information captured at different times.
  • the light emitting pixel may output light having a different wavelength on the display surface side of the light receiving element, and the light receiving element may acquire the fingerprint information based on the reflected light having a different wavelength.
  • a polarizing filter may be provided between the light receiving element and the display surface, and the light receiving element may sense polarized light through the polarizing filter.
  • a filter for acquiring the state of hemoglobin may be provided between the light receiving element and the display surface, and the information processing unit may acquire information on the hemoglobin and perform biometric authentication.
  • the information processing unit may perform biometric authentication based on the information on the temporal shape change of the finger in contact with the display surface.
  • the light receiving element may detect the swipe operation with a plurality of fingers.
  • the information processing unit may execute the fingerprint authentication by using a combination of a plurality of fingers in the swipe operation of a plurality of fingers.
  • the combination of multiple fingers may be different based on the required authentication accuracy.
  • the information processing unit may detect finger information and accumulate the fingerprint information while the authentication is being executed or during the time when the authentication is not being executed.
  • the information processing unit may accumulate changes in the finger to improve the authentication accuracy.
  • the information processing unit may acquire and store the fingerprint information on a finger other than the unregistered finger.
  • the light receiving element may be provided with a larger number of elements in a direction intersecting the direction of the swipe operation than the number of elements in the direction of the swipe operation.
  • the light receiving element may be provided with a number of elements in a direction intersecting the direction of the swipe operation, which is more than twice the number of elements in the direction of the swipe operation.
  • the display may display a guide for executing the swipe operation in a direction intersecting a direction in which many light receiving elements are provided.
  • An area provided with the light receiving element is displayed on the display, product information and a purchase button are arranged so as to pass through the area, and the product information is swiped from the product information to the purchase button.
  • an interface that enables the purchase of the product may be provided, and the purchase information may be transmitted to the server based on the result of the fingerprint authentication.
  • a dynamic object may be displayed on the display so as to include an area provided with the light receiving element.
  • the shape of the object may change when the user's finger touches it.
  • the light emitting state of the object may change when the user's finger touches it.
  • the light emitting state may be changed so as to be suitable for acquiring the fingerprint information.
  • the object may dynamically change based on the fingerprint information acquisition status or the personal authentication status after the user's finger has passed.
  • a tilt detection unit that detects the tilt of the display from the horizontal direction may be further provided, or the fingerprint information may be authenticated based on the tilt detected by the tilt detection unit.
  • the signal to be acquired is described as image information or imaging information, but the image information and imaging information are broadly defined concepts, and one frame in a still image, a moving image, or a moving image. It is a concept that includes images and the like. Further, “greater than” and “less than” may be read as “greater than or equal to” and “less than or equal to”, respectively.
  • FIG. 1 is a diagram schematically showing an electronic device according to an embodiment. Further, FIG. 2 is a diagram schematically showing a cross section of the electronic device according to the embodiment.
  • the electronic device 1 is, for example, an arbitrary device having a display function and a shooting function, such as a smartphone, a mobile phone, a tablet terminal, and a personal computer.
  • the electronic device 1 includes a display unit 2 and a camera module 3.
  • the display screen 1a extends close to the external size of the electronic device 1, and the width of the bezel 1b around the display screen 1a can be reduced to, for example, several mm or less. It is possible.
  • Many electronic devices 1 include a fingerprint authentication unit in the bezel 1b, but in the present embodiment, the camera module 3 is provided in the display screen 1a as shown by the dotted line. As shown in the left figure, the width of the bezel 1b can be narrowed by providing the camera module 3 for taking a picture for fingerprint authentication on the back side of the display screen 1a.
  • the camera module 3 is arranged on the back surface side of the display screen 1a near the center, but the position is not limited to this figure if it is the back surface of the display screen 1a.
  • the camera module 3 may be arranged near the peripheral edge of the display screen 1a, or may be arranged below the center of the right figure.
  • the place may be arranged at a plurality of places instead of one place.
  • the display unit 2 and the camera module 3 are provided on one surface of the electronic device 1, but the present invention is not limited to this.
  • the display unit 2 and the camera module 3 may be provided on both sides of the electronic device 1.
  • the display unit 2 is a structure in which a display panel 4, a circularly polarizing plate 5, a touch panel 6, and a cover glass 7 are laminated as a display optical system.
  • the arrangement of these is not limited, and may be appropriately replaced, two or more of the same configurations may exist, or even another configuration may be included.
  • the display panel 4 may be provided with, for example, an OLED (Organic Light Emitting Diode), a liquid crystal display, a MicroLED, and other light emitting elements based on a display principle in an array.
  • the light emitting elements are provided in an array in a plane including the first direction and the second direction.
  • the display panel 4 such as OLED is composed of a plurality of layers.
  • a member having a low transmittance, such as a color filter layer, is often arranged on the display panel 4.
  • a through hole may be formed in the member having a low transmittance in the display panel 4 according to the arrangement location of the camera module 3. If the subject light passing through the through hole is incident on the camera module 3, the image quality of the image captured by the camera module 3 can be improved.
  • the circularly polarizing plate 5 is provided to reduce glare or enhance the visibility of the display screen 1a even in a bright environment.
  • a touch sensor is incorporated in the touch panel 6. There are various types of touch sensors such as a capacitance type, a resistance film type, and a pressure sensitive type, and any method may be used. Further, the touch panel 6 and the display panel 4 may be integrated.
  • the cover glass 7 is provided to protect the display panel 4 and the like. Each of these elements may be adhered with an adhesive that has less optical effect.
  • the camera module 3 includes an imaging unit 8 and an optical system 9.
  • the optical system 9 is arranged on the incident surface side of the light of the imaging unit 8, that is, on the side close to the display unit 2, and collects the light that has passed through the display unit 2 on the imaging unit 8.
  • the optical system 9 may include one or more lenses.
  • the imaging unit 8 operates as an optical fingerprint sensor to acquire user fingerprint information.
  • the imaging unit 8 that operates as an optical fingerprint sensor includes a plurality of photoelectric conversion units.
  • a lens is arranged in each photoelectric conversion unit. In this lens, the light appropriately emitted from the optical system 9 to the imaging unit 8 is received by the photoelectric conversion unit constituting each pixel.
  • the photoelectric conversion unit photoelectrically converts the light incident on the display unit 2.
  • the photoelectric conversion unit may be a CMOS (Complementary Metal-Oxide-Semiconductor Field-Effect Transistor) sensor or a CCD (Charge Coupled Device) sensor.
  • the photoelectric conversion unit is provided in an array, for example, in a plane including the first direction and the second direction. Further, the photoelectric conversion units may be provided in an array along the first direction and the second direction.
  • the light receiving element of the photoelectric conversion unit is provided as an array of light receiving pixels along the same direction as the light emitting pixels of the display unit.
  • the photoelectric conversion unit may be provided with a photodiode or may be provided with an organic photoelectric conversion film.
  • the plurality of photoelectric conversion units can be arranged by any method.
  • the arrangement method of the plurality of photoelectric conversion units may be, for example, a Bayer arrangement, an interline arrangement, a checkered arrangement, a stripe arrangement, or the like. It may be an array of.
  • the output value of the photoelectric conversion unit or the value obtained by predetermined conversion based on this output value is referred to as a light receiving pixel value.
  • the fingerprint information of the user is acquired at the timing when the finger passes through the area where the camera module 3 of the display exists, and personal authentication is executed using this fingerprint information.
  • the camera module 3 swipes, flicks, and wipes at the timing of dragging the product image to the purchase button. Get fingerprint information from the same finger. This acquisition is performed using the global shutter, as described below. Further, the camera module 3 executes the operation of this global shutter at an appropriate exposure time.
  • FIG. 3 is a diagram showing an example of a block diagram of the electronic device 1 according to the present embodiment.
  • the inside of the display unit 2 shown in FIGS. 1 and 2 is omitted.
  • the electronic device 1 includes an information processing unit 10 and a storage unit 11 that output information from the camera module 3 and the touch panel 6 described above and execute this information processing.
  • the image pickup unit 8 of the camera module 3 is provided with a pixel memory 8b corresponding to each photoelectric conversion unit 8a together with the photoelectric conversion unit 8a (photoelectric conversion element).
  • the information sensed by the photoelectric conversion unit 8a is transferred to the corresponding pixel memory 8b at the same timing.
  • the light receiving result is output from the pixel memory 8b to the information processing unit 10 at an arbitrary timing.
  • the information processing unit 10 is configured to include, for example, a CPU (Central Processing Unit), an ASIC (Application Specific Integrated Circuit), an FPGA (Field Programmable Gate Array), and the like. As described below, the information processing unit 10 may be divided into blocks that perform a part or all of various operations, and information processing by software is concretely performed by a CPU for a part or all of each operation. It may be realized as a target.
  • a CPU Central Processing Unit
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • the storage unit 11 includes, for example, various memories, storages, and the like.
  • information such as programs and data required for the electronic device 1 to operate may be stored non-temporarily.
  • the memory may include a temporary storage area such as a cache area.
  • the information processing unit 10 includes an A / D conversion unit 100, a clamp unit 101, a color-coded output unit 102, a defect correction unit 103, a linear matrix unit 104, a frame memory 105, an authentication unit 106, and an output unit. It is equipped with 107.
  • the frame memory 105 may be provided as a part of the storage unit 11 instead of the information processing unit 10.
  • the A / D conversion unit 100 converts the data received by the photoelectric conversion unit 8a and converted, that is, the analog signal stored in the pixel memory 8b at a predetermined timing into a digital signal for each pixel.
  • the A / D conversion unit 100 outputs the converted digital signal as image data.
  • the clamp unit 101 defines, for example, a black level, and the specified black level is subtracted from the image data output from the A / D conversion unit 100 and output.
  • the clamp unit 101 may set the ground level for each photoelectric conversion element provided in the pixel. In this case, the ground correction of the signal value is executed based on the ground level set for each acquired photoelectric conversion element. do.
  • the color-coded output unit 102 outputs sub-pixel image data for each color, for example, when the photoelectric conversion unit 8a acquires an analog signal for each color.
  • the photoelectric conversion unit 8a is provided with, for example, R (red), G (green), B (blue) color filters and the like. Each photoelectric conversion unit 8a outputs the sensing information for each color by these filters and the like. Instead of the photoelectric conversion unit 8a being provided with a color filter, the photoelectric conversion unit 8a may acquire an analog signal for each color by the organic photoelectric conversion film.
  • the clamp unit 101 adjusts the ground level based on these filters, and the color-coded output unit 102 outputs the signal output by the clamp unit 101 by color. No color information is added to the analog signal acquired by the photoelectric conversion unit 8a. Therefore, the color-coded output unit 102 may store data on colors arranged for each light receiving element in the photoelectric conversion unit 8a, and output each color based on this data.
  • the photoelectric conversion unit 8a may be provided with a filter for acquiring a complicated spectrum such as an element that receives near-infrared light and a plasmon filter. In these cases, it is difficult to express as mere color information, but the color-coded output unit 102 may process by associating these information with the wavelength information as long as it can be classified by the wavelength of light. In such a case, the color-coded output unit 102 may process the wavelength information as information having a range.
  • the defect correction unit 103 corrects defects in the image data. Defects in image data occur, for example, due to missing pixels or missing information due to defects in the photoelectric conversion element provided in the pixels, or missing information due to saturation of light in the optical system 9.
  • the defect correction unit 103 may execute the defect correction process by interpolating based on, for example, information on surrounding pixels or information on peripheral pixels having the same color information.
  • the linear matrix unit 104 reproduces colors by executing matrix operations on color information.
  • the linear matrix unit 104 obtains desired spectroscopy by, for example, performing calculations on a plurality of wavelengths.
  • the linear matrix unit 104 may execute, for example, an output suitable for detecting skin color. Further, the linear matrix unit 104 may execute the calculation so as to output the output suitable for the detection of the yellow to red wavelength region in order to acquire the biometric authentication information of the vein or the like.
  • the frame memory 105 may be provided, for example, as a part of the storage unit 11.
  • the frame memory 105 temporarily stores the information acquired from the pixel memory 8b output from the photoelectric conversion unit 8a at the same timing after the above processing.
  • the information processing unit 10 performs various above-mentioned processes on the fingerprint information acquired in the frame memory 105 at the same timing, and finally saves the fingerprint information as a single image data color-reproduced by the linear matrix unit 104.
  • the authentication unit 106 executes personal authentication using the fingerprint information stored in the frame memory 105. For example, this personal authentication is executed by extracting the feature points in the fingerprint data and comparing the extracted feature points with the authentication information stored in the storage unit 11. Further, the authentication unit 106 may execute biometric authentication for spoofing prevention based on not only RGB information but also, for example, near-infrared light receiving information and information acquired via a plasmon filter. For example, biometric authentication is executed depending on whether or not the wavelength information corresponding to hemoglobin in the data stored in the frame memory 105 is normally acquired. These may be determined by statistical processing such as feature points, or as another example, authentication may be performed using a neural network model trained by machine learning.
  • the authentication unit 106 stores the fingerprint information of a specific user acquired in advance in the storage unit 11. Personal authentication is executed based on this stored user information.
  • the fingerprint information of the multiple users should be stored appropriately.
  • the stored fingerprint information may be an image of each fingerprint information or the information of feature points acquired from each fingerprint information may be encrypted.
  • the output unit 107 outputs the authentication result by the authentication unit 106. For example, in the case of shopping by e-commerce or the like, it may be transmitted to a server or the like so that payment processing is performed based on the authentication result. In this way, the output unit 107 may transmit the authentication result using wireless communication. Further, as another example, the authentication result such as fingerprint authentication may be used instead of the authentication by the password or the like in the electronic device 1.
  • FIG. 4A is a diagram for explaining the relationship between the camera module 3 and the display panel 4 in FIG. 1 in more detail.
  • the camera module 3 includes, for example, an imaging unit 8 and an optical system 9.
  • the optical system 9 is arranged on the incident surface side of the light of the imaging unit 8, that is, on the side closer to the display unit 2.
  • the light transmitted through the display surface of the display unit 2 is propagated to the image pickup unit 8 by the optical system 9.
  • the imaging unit 8 may include, for example, a photoelectric conversion unit 8a such as a photodiode shown in FIG. 3 and a pixel memory 8b.
  • the light that has been condensed, refracted, diffused, etc. by the optical system 9 and propagated is received by the photoelectric conversion unit 8a provided in the imaging unit 8 and output as an analog signal.
  • the photoelectric conversion unit 8a may be provided with, for example, a color filter such as a Bayer array or a laminated color filter on the incident surface side of each image sensor. Further, as described above, instead of the color filter, another filter may be provided, or the filter may be composed of other elements such as an organic photoelectric conversion film. Further, although not shown, other elements, circuits, etc. necessary for receiving light and outputting analog signals are provided for output.
  • the optical system 9 may be a concept including, for example, a through hole in a member having a low transmittance.
  • the through hole includes, for example, an opening provided in the display panel 4, particularly the substrate a having low transmittance in the display panel 4.
  • the optical system 9 includes, for example, an aperture provided in the display panel 4 and a lens arranged at a position closer to the image pickup unit 8 than the aperture. With this lens and aperture, the optical system 9 may define optical features such as numerical aperture Na (Numerical Aperture) and F-number (F-Number) in the camera module 3.
  • the aperture and the lens are shown as an example, and the configuration of the optical system 9 is not necessarily limited to these combinations. Further, in the figure, one or a plurality of lenses are provided for one aperture, but the present invention is not limited to this.
  • a plurality of openings may be provided for one lens in the optical system 9. In the region where the opening does not exist, for example, the light emitting element of the display panel 4 may be provided, and the opening may be provided so as to sew between these light emitting elements. By arranging in this way, it is possible to provide the camera module 3 without breaking the display.
  • FIG. 5A is a cross-sectional view schematically showing a light receiving pixel according to an embodiment.
  • the light receiving pixel includes, for example, the photoelectric conversion unit 8a and the pixel memory 8b described above.
  • the light receiving pixel in the present disclosure is not limited to the light receiving pixel having the configuration shown in FIG. 5, and may be a configuration that operates as a global shutter.
  • the photoelectric conversion unit 8a receives light in the light receiving region 8R drawn above the photoelectric conversion unit 8a in the figure by the optical system 9 and the lens provided in the light receiving pixel. This light receiving portion is separated from the light receiving region 8R of the adjacent pixel by the shielding portion 8d. As shown in the figure, the shielding unit 8d is provided so that light does not pass through the upper part of the pixel memory 8b, that is, the surface of the photoelectric conversion unit 8a having the light receiving region 8R.
  • the shielding portion 8d is made of metal, for example, and the shielding portion 8d, the photoelectric conversion unit 8a, and the pixel memory 8b are separated by the insulating unit 8e.
  • the insulating portion 8e is, for example, an oxide film.
  • the photoelectric conversion unit 8a When the photoelectric conversion unit 8a receives light in the light receiving region 8R, it accumulates electric charges due to the intensity of the received light. The accumulated charge is transferred to the pixel memory 8b by applying a voltage to the electrode 8c at a predetermined timing. From the pixel memory 8b, an analog signal is output to the A / D conversion unit 100 by another transistor or the like before the transfer of the received charge at the next timing. This transfer to the A / D conversion unit 100 does not have to be performed at the same timing.
  • the transfer of electric charge from the photoelectric conversion unit 8a to the pixel memory 8b is executed at the same timing over a plurality of photoelectric conversion units 8a existing in the light receiving pixel array.
  • the same timing is not exactly the same moment, and there may be a deviation to the extent that there is no shutter distortion.
  • the imaging unit 8 can output the analog signal by the light received at the same timing by executing the operation of the global shutter for the light received by the plurality of photoelectric conversion units 8a.
  • the information processing unit 10 can acquire an image by the light received at the same timing. That is, the image pickup unit 8 can acquire the fingerprint information of the user at the same timing as the optical fingerprint sensor.
  • FIG. 5B is a plan view schematically showing the connection between the photoelectric conversion unit 8a shown in FIG. 5A and the pixel memory 8b in a plurality of pixels.
  • the electrode 8c may be the gate electrode of the transfer transistor.
  • wiring and the like other than the control line between the photoelectric conversion unit 8a and the pixel memory 8b are omitted, but of course, wiring and the like from the pixel memory 8b to the information processing unit 10 are appropriately provided.
  • the connection between the photoelectric conversion unit 8a of each light receiving pixel and the pixel memory 8b is controlled by the transfer transistor. After transferring the electric charge of the pixel memory 8b and discharging the electric charge provided in the pixel memory 8b, the electric charge is transferred from the photoelectric conversion unit 8a to the pixel memory 8b to the respective electrodes 8c of each light receiving pixel at the same timing and for the same time.
  • the voltage to be transferred is applied. This voltage is, for example, sufficiently higher than the threshold voltage for flowing charges from the drain to the source when the transfer transistor is an n-type MOSFET.
  • the electric charge acquired by the photoelectric conversion at the same timing is transferred to each pixel memory 8b.
  • analog information (charge) of the image acquired at the same timing is temporarily stored in each pixel memory 8b.
  • the output from the pixel memory 8b does not have to be at the same timing, and is appropriately transferred to the information processing unit 10. For example, the transfer from the pixel memory 8b to the information processing unit 10 is executed at a predetermined timing for each line.
  • the pixel memory 8b is supposed to store the charge state as an example, but the present invention is not limited to this.
  • the pixel memory 8b may store a voltage state, a digital value, or another state related to the received intensity information.
  • the pixel memory 8b is provided on the same substrate as the light receiving element, but the present invention is not limited to this.
  • the pixel memory 8b may be provided in, for example, a chip stacked and connected to the image pickup device.
  • the transfer transistor may be provided in any layer or between layers. These layers may be connected by, for example, via holes, micro bumps, micro pads, plasma junctions, or the like. These connections may be stacked by, for example, a CoC (Chip on Chip), CoW (Chip on Wafer) or WoW (Wafer on Wafer) method.
  • the image pickup unit 8 has an image pickup element having light receiving elements in an array in the first direction and the second direction on the side opposite to the display surface of the display unit 2 which is a display in the third direction. May be provided. Then, each of these light receiving elements realizes the operation of a global shutter that reads out the light receiving information at the same timing. Reading the light receiving information at the same timing may indicate that the light receiving element (photoelectric conversion unit) transfers the information of the charge converted by photoelectric to the memory provided for each light receiving element at the same timing. .. It should be noted that, not shown in FIGS. 5A and 5B, the light receiving pixel may adopt another method that realizes the same operation as the global shutter.
  • the information processing unit 10 executes signal processing of the fingerprint information read by the imaging unit 8, that is, the optical fingerprint sensor. Then, for example, by sliding a finger on the display surface of the display unit 2 (performing a swipe operation), the user can acquire fingerprint information by this optical fingerprint sensor and execute personal authentication or the like.
  • the swipe operation will be described, but the swipe is not limited to the swipe, and any movement such as flicking or wiping may be used as long as it slides on the touch panel.
  • FIG. 6 is a flowchart of the personal authentication process according to the embodiment.
  • the electronic device 1 determines whether or not to start personal authentication (S100). If it is not the time to start personal authentication (S100: NO), the standby state is continued.
  • the authentication may be started by using the sensing information of the touch panel 6, for example, as shown by the dotted line in FIG. For example, after the sensed information on the touch panel 6 reaches the range of the camera module 3, the process may shift to the fingerprint information acquisition process.
  • the electronic device 1 may be notified that the authentication process will be executed on the website or the like for authentication, and the electronic device 1 may be in the standby state.
  • the imaging unit 8 starts receiving light for personal authentication (S102). For example, by activating the camera module 3 for fingerprint authentication, it shifts to a standby state for acquiring fingerprint information and receives light at a required timing.
  • the photoelectric conversion unit 8a of the imaging unit 8 transfers the received intensity to the pixel memory 8b at the same timing as above (S102). This transfer is performed, for example, by applying a voltage for transfer to a plurality of electrodes 8c at the same timing.
  • the analog signal acquired by the photoelectric conversion unit 8a and output by the pixel memory 8b is converted into a digital signal.
  • the information processing unit 10 executes signal processing and image processing other than A / D conversion of the converted digital signal (S108).
  • This process is, for example, a clamp, a color-coded output, a defect correction, a color reproduction process, and a storage process in the frame memory 105, as described above.
  • the above is given as an example, and in addition to these, more appropriate processing may be executed.
  • the authentication unit 106 executes authentication using the image including the acquired fingerprint information (S110).
  • the authentication may be performed by extracting feature points and performing comparison processing, or by using a trained neural network.
  • the electronic device 1 may include a chip capable of executing the above-mentioned information processing and neural network processing on the same substrate as the camera module 3.
  • the output unit 107 outputs the authentication result to the required location (S112). For example, in the case of personal authentication when shopping on the web, the personal authentication result may be notified to the browser that opens the website or the application that accepts the authentication result. In this way, the output unit 107 can execute the output at the required location.
  • the output unit 107 may notify, for example, that the authentication has failed in order to perform the authentication operation again when the authentication cannot be performed. Further, the output unit 107 may instruct the image pickup unit 8 to take an image again.
  • the authentication unit 106 may execute the authentication process using a plurality of fingerprint information. For example, if one of the plurality of fingerprint information can be authenticated, the output unit 107 may be notified at that timing that the authentication is successful.
  • the authentication unit 106 may change the threshold value of authentication success or failure based on the authentication accuracy. For example, when high authentication accuracy is required, the authentication accuracy can be improved by increasing the authentication threshold value, for example, the fingerprint matching degree threshold value. To improve the authentication accuracy, for example, the threshold value of the matching degree of the feature points may be raised. Further, when using a neural network model, the threshold value of the degree of agreement may be increased.
  • the case where authentication with high accuracy is required is, for example, when trying to purchase an expensive product, when trying to access highly sensitive information, and the like.
  • the imaging unit 8 when the imaging unit 8 has a near-infrared filter, a plasmon filter, or the like, it may be authenticated whether or not it is a living body in addition to personal authentication. In this authentication, for example, based on information acquired by near infrared rays or the like, it is authenticated whether or not the wavelength of light is transmitted through hemoglobin such as a vein. When executing this authentication, light such as infrared rays may be emitted from the display unit 2, and this reflected state may be acquired for determination.
  • the display panel 4 may emit various colors and authenticate that it is a living body based on the reflection of the emitted light.
  • a filter for acquiring various colors may be provided as described above, or so-called multispectral or hyperspectral information may be acquired and analyzed. For example, it is possible to make a judgment based on the skin peculiar to a living body, particularly a human being, or information indicating reflection from the inside of the skin.
  • the authentication unit 106 may determine whether or not the sensing region has elasticity on the touch panel 6 and authenticate that it is a living body.
  • the imaging unit 8 may be used, and it may be determined whether or not the finger image acquired by the imaging unit 8 has elasticity in terms of time. The elasticity may be determined, for example, based on a change in the shape or size of the area occupied by the finger.
  • the touch panel 6 may be provided with a pressure-sensitive sensor, and the elasticity may be determined based on the sensing information of the pressure-sensitive sensor.
  • the authentication accuracy may be improved by acquiring fingerprint information at a plurality of timings.
  • the imaging unit 8 may acquire fingerprint information at a plurality of timings, and the fingerprint information may be stored in the frame memory 105. Then, authentication may be executed using the accumulated fingerprint information. For example, by referring to the fingerprint information, defects of the image generated at the time of image acquisition may be corrected. More simply, after adjusting the position and angle of the fingerprint, the weighted average of the fingerprint information acquired for each time may be obtained. Then, the fingerprint information acquired by this averaging calculation may be the target of authentication.
  • the imaging unit 8 may include a filter other than this. For example, by equipping the light receiving pixel with a polarizing filter, polarized fingerprint information can be acquired. By acquiring the polarized information, it becomes possible to acquire the unevenness of the fingerprint more clearly.
  • the information processing unit 10 may synthesize such polarized information to extract feature points.
  • the information processing unit 10 may include an image correction unit that corrects deterioration of the image provided in the frame memory 105.
  • the present embodiment it is possible to realize highly accurate personal authentication by using the camera module under the display. Furthermore, spoofing can be prevented by authenticating that the person is a human body. Further, since the image pickup unit 8 can acquire an image by the operation of the global shutter, it is possible to realize robust fingerprint authentication against distortion or the like depending on the shutter of the image.
  • the swipe speed of the user was not considered.
  • the speed of the user's finger is determined, and the fingerprint information is corrected based on the speed.
  • FIG. 7 is a diagram showing an example of a block diagram of the electronic device 1 according to the present embodiment.
  • the electronic device 1 further includes a speed detection unit 108 in addition to the components described with reference to FIG.
  • the speed detection unit 108 acquires the speed of the user's finger movement at the timing when the camera module 3 acquires the fingerprint image, for example, based on the detection information of the touch panel 6. That is, when the user swipes, the camera module 3 acquires fingerprint information from the received light information, and the touch panel 6 acquires finger speed information from the sensing information. For example, the speed detection unit 108 acquires the finger speed based on the amount of movement of the user's finger area detected by the touch panel 6 within a predetermined time.
  • the speed detection unit 108 acquires information for speed detection from the touch panel 6 when, for example, a user's finger touches the touch screen at the timing of authentication.
  • the speed detection unit 108 acquires, for example, the detection information of the touch panel 6 at a certain time and the detection information of the touch panel 6 after a predetermined time when the user's finger moves.
  • the sensing information of the touch panel 6 may be acquired from the center point of the finger region, for example, the position of the center of gravity when the finger region is sensed.
  • the position of the center of gravity can be obtained by calculating, for example, the averaging of the points in the sensing region in the first direction and the second direction, respectively.
  • the speed detection unit 108 detects the swipe speed of the user's finger by obtaining the position of the center of gravity after a certain time and a predetermined time.
  • the speed detection unit 108 When the speed of the finger is faster than the predetermined speed, the speed detection unit 108 outputs to the display unit 2 to urge the user to slow down the swipe speed, for example, as shown in FIG. May be good. Further, as another example, the speed detection unit 108 may notify the output unit 107 that the speed is too high and output the speed to the display unit 2 via the output unit 107. In this case, the output unit 107 is not limited to displaying on the display unit 2, and may, for example, notify the user by sound from the speaker or vibrate the vibrator.
  • the output unit 107 may determine the speed based on the desired authentication accuracy. In such a case, for example, when high authentication accuracy is required, the output unit 107 lowers the threshold value for the speed detected by the speed detection unit 108, and the user swipes slowly in a slower speed state. Can be output to.
  • FIG. 9 shows another example of output.
  • the output unit 107 may display that the number of triangular marks displayed within a predetermined time gradually increases, for example, from the figure on the left to the figure on the right.
  • the speed at which the triangular marks increase may be the speed at which the imaging unit 8 acquires highly accurate fingerprint information.
  • the output unit 107 may output an index (speed guide) indicating speed to the display. This index is not limited to the triangle as shown in FIG. 9, and may be, for example, a diagram in which an arrow extends. There may be.
  • the speed detection unit 108 detects the speed based on the detection information of the touch panel 6, but the speed is not limited to this.
  • the speed may be detected based on the imaging information acquired by the imaging unit 8.
  • the speed detection unit 108 refers to the frame memory 105, and based on the timing from the timing when the image of the user's finger is acquired to the timing when the image of the user's finger cannot be acquired, the time taken between these timings , The speed of the user's finger may be detected based on the size of the fingerprint acquisition area.
  • the speed is not limited to this, and the speed may be detected by estimating how much the finger is moving one frame or a plurality of frames after a certain time.
  • the present embodiment it is possible to improve the accuracy of fingerprint acquisition or the accuracy of authentication of the acquired fingerprint by detecting the swipe speed of the user's finger. It is also possible to output a prompt to the user so that the speed is suitable for fingerprint acquisition, if necessary.
  • the speed detected by the speed detection unit 108 can be used for other purposes.
  • the camera module 3 may acquire fingerprint information at an appropriate exposure time based on this speed information.
  • the camera module 3 may have a short exposure time when the speed is slow, and a long exposure time as the speed is high.
  • FIG. 10 is a diagram showing an example of a block diagram of the electronic device 1 according to the present embodiment.
  • the electronic device 1 further includes a correction amount calculation unit 109 in addition to the components described with reference to FIG.
  • the correction amount calculation unit 109 acquires a correction amount based on the speed detected by the speed detection unit 108. Based on this correction amount, image processing may be performed on the fingerprint information stored in the frame memory 105. This image processing is, for example, image processing based on motion blur. A point image distribution function (PSF: Point Spread Function) may be generated based on the finger speed and the shutter speed, and deconvolution filter processing may be performed on the fingerprint information.
  • PSF Point Spread Function
  • authentication is realized with one finger.
  • index finger authentication may be used.
  • authentication using a plurality of fingers may be performed.
  • the imaging unit 8 may acquire not only the information of the index finger but also the information of the middle finger at the same swipe timing, and execute personal authentication based on the two fingers. Further, 3 to 5 fingers may be used, or authentication may be performed with distant fingers such as the index finger and the ring finger. Of course, the combination of these plurality of fingers does not have to include the index finger.
  • the timing is the same in the above, different timings, for example, the first authentication may be executed with the index finger and then the second authentication may be executed with the middle finger. In this case, the information of both the right hand and the left hand may be used.
  • the information obtained by swiping multiple fingers may be acquired as one authentication information instead of performing authentication for each finger.
  • authentication using any number and combination of fingers may be executed at any timing. By increasing the authentication information in this way, it is possible to prevent false detection and spoofing with higher accuracy.
  • Multiple finger authentication may be modified based on the required high accuracy of authentication. For example, when high authentication accuracy is required, a plurality of fingers may be used, or a specific combination of fingers may be used.
  • the electronic device 1 in each of the above-described embodiments is, for example, a device such as a smartphone.
  • a finger may pass over the camera module 3 at a timing other than the fingerprint authentication timing.
  • the electronic device 1 acquires such finger information at an arbitrary timing by the imaging unit 8. Then, when the authentication unit 106 can authenticate with the registered user, the photographed fingerprint information may be stored in the storage unit 11. However, even in the case of authentication, if the authentication is successful, the acquired fingerprint information may be stored in the storage unit 11.
  • the information processing unit 10 may update the information used for authentication based on the information accumulated at an arbitrary timing. For example, when fingerprint information is acquired as image information, the information stored in the same direction and at the same position is calibrated, and the weighted average is calculated so that the newer the information, the heavier the weighting, and the authentication is performed. It may be used as information.
  • this finger may be acquired as information of the other finger of the user at the timing when the user uses the other finger and stored in the storage unit 11. good. By taking such measures, it is possible to improve the authentication accuracy even in the case of the above-mentioned plurality of fingers.
  • the information used for authentication can be updated.
  • updating it becomes possible to acquire information used for authentication, which is applied to subtle changes in fingers (fingerprints) due to aging, changes due to the environment, and the like. As a result, the accuracy of personal authentication can be maintained high.
  • FIGS. 11 and 12 are diagrams schematically showing the electronic device 1 according to the present embodiment.
  • the camera module 3 is arranged so as to be longer in the direction perpendicular to the swipe direction.
  • FIG. 11 when swiping from top to bottom or from bottom to top (second direction), a camera module having a wide area of the imaging unit 8 laterally (first direction).
  • FIG. 12 when swiping from left to right or from right to left (first direction), the camera module 3 having a wide area of the imaging unit 8 in the vertical direction (second direction) is used.
  • second direction when swiping from left to right or from right to left (first direction), the camera module 3 having a wide area of the imaging unit 8 in the vertical direction (second direction) is used.
  • the imaging unit 8 can be mounted in this way by providing the photoelectric conversion unit 8a (light receiving pixel) in the range shown by the dotted line in FIGS. 11 and 12.
  • the size of the light receiving pixels may be, for example, twice or more the number of arrangements on the wider side as the number of arrangements on the narrow side.
  • the number of light receiving pixels provided along the first direction may be twice or more the number of light receiving pixels provided along the second direction.
  • a guide indicating the swipe direction may be displayed so as to cross a certain range of the light receiving pixels.
  • the range in which fingerprint authentication can be performed by swiping that is, the range shown by the dotted line in FIGS. 11 and 12, may be displayed on the display. By displaying in this way, it is also possible to show the user where to swipe to execute personal authentication.
  • the swipe area may be made easy for the user to understand by the object displayed on the display unit 2 of the electronic device 1. This object may be dynamically changing.
  • FIG. 13 is a diagram showing an example of a GUI (Graphical User Interface) displayed on the display unit 2 of the electronic device 1.
  • GUI Graphic User Interface
  • the object in the left figure may be trembling or moving within a predetermined area, for example, so as to show the swipe area more clearly.
  • the shape and size may be changed by touching the user's finger. It may also disappear so that it fades out after swiping.
  • the display of the object is not limited to the polka dots as shown in FIG. 13, and for example, an object having a flow such as a river may be displayed. By displaying such a display, the swipe direction and the like may be indicated to the user. Not limited to these examples, for example, a predetermined character may be displayed, something like a target may be displayed, or a display that is easy for the user to understand may be used.
  • the light emitting state of the light emitting element may be changed.
  • the wavelength of the reflected light on the display panel 4 touched by the user's finger may be changed, and the change in the wavelength may facilitate the acquisition of fingerprint information.
  • the wavelength of the emitted light to a wavelength of yellow to red
  • the user's skin color or the reflection from the vein may be easily understood, or conversely, the emission of cyan or the like having a wavelength close to the complementary color may be obtained. By doing so, the wavelength of the reflected light can be made suitable for acquiring fingerprint information.
  • the object may change dynamically based on the acquisition status of the fingerprint information. For example, when the fingerprint information is normally acquired, the color of the object may change, the shape may change, or the object may disappear so as to fade out. If the fingerprint information is not acquired normally, the object in the initial state may be displayed, or the color and shape may be changed to those different from those acquired normally. Further, as in the above-described embodiment, the speed guide and the location guide may be displayed.
  • the information processing unit 10 may include a fingerprint information acquisition determination unit that determines the acquisition of fingerprint information. The acquisition of fingerprint information may be based on, for example, whether or not a predetermined number or more of irregularities are detected in a predetermined area.
  • This may be based on authentication information.
  • the object may be changed as described above depending on whether the personal authentication is successful or the personal authentication is unsuccessful.
  • two steps may be changed based on the fingerprint information acquisition status and the authentication success / failure status.
  • the present embodiment it is possible to widen the area where the image pickup unit 8 exists in the camera module 3 in the direction intersecting the swipe direction.
  • the optical fingerprint sensor By providing the optical fingerprint sensor in this way, it is possible to mount the optical fingerprint sensor having robustness against the positional deviation.
  • FIG. 14 is a block diagram showing an example of the electronic device 1 according to the present embodiment.
  • the electronic device 1 further includes a tilt detection unit 12.
  • the tilt detection unit 12 includes, for example, a gyroscope or an acceleration sensor.
  • the tilt detection unit 12 detects the tilt of the electronic device 1 at the timing when the fingerprint information is acquired.
  • the tilt is, for example, the tilt of the display with respect to gravity (vertical direction) or horizontal direction.
  • 15 and 16 are diagrams showing an example of the inclination of the electronic device 1.
  • the first direction and the second direction in the electronic device 1 are represented as the sum of the components in the gravitational direction and the horizontal direction intersecting the gravitational direction.
  • the certification unit 106 is used for matching such that the finger is peeled upward in the drawing shown in the right figure. Perform fingerprint authentication using data preferentially.
  • the authentication unit 106 when the absolute value of the gravity direction component in the first direction in the electronic device 1 is larger than the absolute value of the gravity direction component in the second direction, the authentication unit 106 is shown in the right figure. Fingerprint authentication is performed by preferentially using the matching data such that the finger is pointing to the left in the drawing shown.
  • fingerprint authentication can be executed by preferentially using the matching data in which the fingerprint is rotated by 90 degrees depending on which of the four sides is below.
  • the matching accuracy is improved and the matching speed is improved by selecting the matching data according to the inclination with respect to gravity or preferentially selecting and using the data. It becomes possible to do. As an example, every 180 degrees or every 90 degrees has been described, but the span of angles may be smaller.
  • the personal authentication process may be executed by rotating the corrected fingerprint information based on the result of the tilt detection.
  • the display includes a display surface having light emitting pixels in an array in a first direction and a second direction intersecting the first direction.
  • the optical fingerprint sensor has light receiving elements in an array in the first direction and the second direction on the side opposite to the display surface of the display in the third direction intersecting the first direction and the second direction.
  • An image pickup element is provided, and each of the light receiving elements transfers the charge charged by photoelectric conversion at the same timing. Electronics.
  • the image pickup element includes a pixel memory that temporarily stores the light receiving information of each of the light receiving elements, and the transfer of information from the light receiving element to the pixel memory is executed at the same timing.
  • An information processing unit that executes information processing of fingerprint information read by the image sensor.
  • the information processing unit reads out the fingerprint information during an operation including at least a finger swipe operation.
  • the information processing unit estimates the speed of the swipe operation based on the information read by the image sensor.
  • the electronic device according to (5) or (6).
  • the instruction displays a speed guide on the display.
  • the output of being too fast is at least one of the output to the display, the output by sound, or the output by vibration.
  • the information processing unit shortens the exposure time of the optical fingerprint sensor when the speed is faster than a predetermined speed.
  • the electronic device according to (6) The electronic device according to (6).
  • the information processing unit generates authentication information from the fingerprint information captured at different times.
  • the electronic device according to any one of (5) to (13).
  • the light emitting pixel outputs light having a different wavelength on the display surface side of the light receiving element.
  • the light receiving element acquires the fingerprint information based on reflected light of different wavelengths.
  • a polarizing filter is provided between the light receiving element and the display surface.
  • the light receiving element senses polarized light through the polarizing filter.
  • the electronic device according to (14) or (15).
  • a filter for acquiring the state of hemoglobin is provided between the light receiving element and the display surface.
  • the information processing unit acquires the hemoglobin information and performs biometric authentication.
  • the electronic device according to any one of (14) to (16).
  • the information processing unit performs biometric authentication based on the information of the temporal shape change of the finger in contact with the display surface.
  • the electronic device according to any one of (14) to (17).
  • the light receiving element detects the swipe operation on a plurality of fingers.
  • the electronic device according to any one of (5) to (18).
  • the information processing unit executes the fingerprint authentication by using a combination of the plurality of fingers in the swipe operation of the plurality of fingers.
  • the electronic device according to (19).
  • the information processing unit detects finger information and accumulates the fingerprint information while the authentication is being executed or during the time when the authentication is not being executed.
  • the electronic device according to any one of (4) to (21).
  • the information processing unit accumulates changes in the finger to improve authentication accuracy.
  • the information processing unit acquires and accumulates the fingerprint information on a finger other than the unregistered finger.
  • the light receiving element is provided with a larger number of elements in a direction intersecting the direction of the swipe operation than the number of elements in the direction of the swipe operation.
  • the light receiving element is provided with a number of elements in a direction intersecting the direction of the swipe operation, which is more than twice the number of elements in the direction of the swipe operation.
  • a guide for executing the swipe operation is displayed on the display in a direction intersecting with a direction in which many light receiving elements are provided.
  • An area provided with the light receiving element is displayed on the display, product information and a purchase button are arranged so as to pass through the area, and the product information is swiped from the product information to the purchase button.
  • An interface that enables the purchase of the product, With The purchase information is transmitted to the server based on the result of the fingerprint authentication.
  • the electronic device according to any one of (5) to (27).
  • a dynamic object is displayed on the display so as to include an area in which the light receiving element is provided.
  • the electronic device according to any one of (1) to (27).
  • the light emitting state of the object changes when the user's finger touches it.
  • the electronic device The electronic device.
  • the light emitting state changes so as to be suitable for acquiring the fingerprint information.
  • the object dynamically changes based on the fingerprint information acquisition status or the personal authentication status.
  • the electronic device according to any one of (29) to (32).
  • a tilt detection unit for detecting the tilt of the display from the horizontal direction is further provided. Authentication of the fingerprint information is executed based on the inclination detected by the inclination detection unit.
  • the electronic device according to any one of (1) to (33).

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Chemical & Material Sciences (AREA)
  • Inorganic Chemistry (AREA)
  • Development Economics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Sustainable Development (AREA)
  • Optics & Photonics (AREA)
  • Image Input (AREA)
  • Collating Specific Patterns (AREA)

Abstract

［課題］ディスプレイのスワイプ動作中に指紋認証を実現する。 ［解決手段］電子機器は、ディスプレイと、光学指紋センサと、を備える。前記ディスプレイは、第1方向及び前記第1方向に交わる方向においてアレイ状に発光画素を有する表示面を備える。前記光学指紋センサは、前記第1方向及び前記第2方向に交わる第3方向において、前記ディスプレイの前記表示面とは逆側に前記第1方向及び前記第2方向においてアレイ状に受光素子を有する撮像素子を備え、前記受光素子のそれぞれは、同じタイミングで光電変換された電荷を転送する。

Description

電子機器
　本開示は、電子機器に関する。
　光学式指紋センサは、指紋の取得時において指を所定時間静止させる必要があり、UIの面から利便性が低かった。また、指紋認証によりログインした端末においては、その後の操作は、指紋認証等をしない状態で可能であることが多い。例えば、一度指紋による個人認証を行った後に、ブラウザからクレジットカード決済による買い物が可能であることが多く、セキュリティの問題もある。
米国特許出願公開第2012/0258773号明細書
　本開示の一態様は、ディスプレイのスワイプ動作中に指紋認証を実現する電子機器を提供する。
　一実施形態によれば、電子機器は、ディスプレイと、光学指紋センサと、を備える。前記ディスプレイは、第1方向及び前記第1方向に交わる方向においてアレイ状に発光画素を有する表示面を備える。前記光学指紋センサは、前記第1方向及び前記第2方向に交わる第3方向において、前記ディスプレイの前記表示面とは逆側に前記第1方向及び前記第2方向においてアレイ状に受光素子を有する撮像素子を備え、前記受光素子のそれぞれは、同じタイミングで光電変換された電荷を転送する。
　前記撮像素子は、それぞれの前記受光素子の受光情報を一時的に格納する画素メモリを備えてもよく、前記受光素子から前記画素メモリへの情報の転送は、同じタイミングで実行されてもよい。
　前記受光素子から前記画素メモリへの情報の転送は、前記受光素子に蓄えられた電荷を前記画素メモリへと転送する転送トランジスタに、同じタイミングにおいて転送制御信号が印加されることにより実行されてもよい。
　前記撮像素子が読み出した指紋情報の情報処理を実行する、情報処理部をさらに備えてもよい。
　前記情報処理部は、少なくとも指のスワイプ動作を含む動作中に前記指紋情報を読み出してもよい。
　前記ディスプレイに対する接触情報を感知する、タッチパネル、をさらに備えてもよく、前記タッチパネルにおいて、前記スワイプ動作の速度を推定してもよい。
　前記情報処理部は、前記撮像素子が読み出した情報に基づいて前記スワイプ動作の速度を推定してもよい。
　要求された認証精度に基づいて、前記スワイプ動作のスピードをゆっくりとする指示を出力してもよい。
　前記ディスプレイに、前記スワイプ動作の前記スピードの指示を出力してもよい。
　前記指示は、前記ディスプレイにスピードガイドを表示してもよい。
　前記スピードが所定スピードよりも速い場合に、前記スピードが速すぎることを出力してもよい。
　前記スピードが速すぎることの出力は、前記ディスプレイへの出力、音での出力、又は、振動での出力のうち少なくとも1つであってもよい。
　前記情報処理部は、前記スピードが所定のスピードよりも速い場合に、前記光学指紋センサの露光時間を短くしてもよい。
　前記情報処理部は、異なる時間で撮像された前記指紋情報から、認証情報を生成してもよい。
　前記発光画素は、前記受光素子の前記表示面側において異なる波長の光を出力してもよく、前記受光素子は、異なる波長の反射光に基づいて前記指紋情報を取得してもよい。
　前記受光素子と前記表示面との間に偏光フィルタを備えてもよく、前記受光素子は、前記偏光フィルタを介して偏光された光を感知してもよい。
　前記受光素子と前記表示面との間にヘモグロビンの状態を取得するフィルタを備えてもよく、前記情報処理部は、前記ヘモグロビンの情報を取得して生体認証を行ってもよい。
　前記情報処理部は、前記表示面に接触した指の時間的な形状変動の情報に基づいて生体認証を行ってもよい。
　前記受光素子は、複数の指における前記スワイプ動作を検出してもよい。
　前記情報処理部は、複数の指の前記スワイプ動作において、複数の指の組み合わせを用いて前記指紋認証を実行してもよい。
　要求された認証精度に基づいて、複数の指の組み合わせが異なってもよい。
　前記情報処理部は、認証を実行する間、又は、認証を実行していない時間において、指の情報を検出し、前記指紋情報を蓄積してもよい。
　前記情報処理部は、指の変化を蓄積して認証精度を向上してもよい。
　前記情報処理部は、登録されていない指以外の指における前記指紋情報を取得して蓄積してもよい。
　前記受光素子は、前記スワイプ動作の方向と交わる方向における素子数が、前記スワイプ動作の方向における素子数よりも多く備えられてもよい。
　前記受光素子は、前記スワイプ動作の方向と交わる方向における素子数が、前記スワイプ動作の方向における素子数の2倍よりも多く備えられてもよい。
　前記ディスプレイに、前記受光素子が多く備えられる方向と交わる方向に前記スワイプ動作を実行されるガイドを表示してもよい。
　前記ディスプレイに、前記受光素子が備えられる領域を表示し、前記領域を通過するように商品情報と、購買ボタンとを配置し、前記商品情報から前記購買ボタンへと前記商品情報を前記スワイプ動作することにより、前記商品の購買を可能とするインタフェース、を備えてもよく、前記指紋認証の結果に基づいて前記購買情報をサーバへと送信してもよい。
　前記ディスプレイに、前記受光素子が備えられる領域を含むように動的なオブジェクトを表示してもよい。
　前記オブジェクトは、ユーザの指が触れると形状が変化してもよい。
　前記オブジェクトは、ユーザの指が触れると発光状態が変化してもよい。
　前記発光状態は、前記指紋情報の取得に適するように変化してもよい。
　前記オブジェクトは、ユーザの指が通過した後、前記指紋情報の取得状況、又は、個人認証状況に基づいて動的に変化してもよい。
　前記ディスプレイの水平方向からの傾きを検出する、傾き検出部、をさらに備えてもよく、前記前記傾き検出部の検出した傾きに基づいて、前記指紋情報の認証を実行してもよい。
一実施形態に係る電子機器を模式的に示す図。 一実施形態に係る電子機器の断面図を模式的に示す図。 一実施形態に係る電子機器の構成の一例を示すブロック図。 一実施形態に係る電子機器の断面図を模式的に示す図。 一実施形態に係る電子機器の断面図を模式的に示す図。 一実施形態に係る受光画素を模式的に示す図。 一実施形態に係る受光画素の接続を模式的に示す図。 一実施形態に係る個人認証の処理を示すフローチャート。 一実施形態に係る電子機器の構成の一例を示すブロック図。 一実施形態に係る電子機器を模式的に示す図。 一実施形態に係る電子機器を模式的に示す図。 一実施形態に係る電子機器の構成の一例を示すブロック図。 一実施形態に係る電子機器を模式的に示す図。 一実施形態に係る電子機器を模式的に示す図。 一実施形態に係る電子機器のユーザインタフェースの一例を示す図。 一実施形態に係る電子機器の構成の一例を示すブロック図。 一実施形態に係る電子機器を模式的に示す図。 一実施形態に係る電子機器を模式的に示す図。
　以下、図面を参照して、電子機器の実施形態について説明する。以下では、電子機器の主要な構成部分を中心に説明するが、電子機器には、図示又は説明されていない構成部分や機能が存在しうる。以下の説明は、図示又は説明されていない構成部分や機能を除外するものではない。また、説明のためにサイズ、形状、アスペクト比等が変更されているものがあるが、これらは実装においては、適切なサイズ、形状、アスペクト比等を有しているものである。
　なお、以下の説明において、取得する信号は、画像情報又は撮像情報として記載しているが、この画像情報、撮像情報とは広義の概念であり、静止画、動画、又は、映像における１フレームの画像等をも含む概念である。また、「より大きい」「より小さい」は、「以上」「以下」とそれぞれ相互に読み替えてもよい。
　（第1実施形態）
　図１は、一実施形態に係る電子機器を模式的に示す図である。また、図２は、一実施形態に係る電子機器の断面を模式的に示す図である。電子機器1は、例えば、スマートフォン、携帯電話、タブレット型端末、パーソナルコンピュータ等の表示機能と撮影機能とを備える任意のデバイスである。
　電子機器1は、表示部2と、カメラモジュール3と、を備える。図１の左図に見られるように、電子機器1の外形サイズの近くまで表示画面1aが拡がっており、表示画面1aの周囲にあるベゼル1bの幅を、例えば、数mm以下にすることも可能である。電子機器1においては、ベゼル1b内において指紋認証部を備えるものが多いが、本実施形態では、点線で示されるように、表示画面1a内にカメラモジュール3を備える。左図に示すように、指紋認証を行うための撮影を行うカメラモジュール3を表示画面1aの裏面側に備えることにより、ベゼル1bの幅を狭めることができる。
　なお、図１においては、表示画面1aのほぼ中央あたりの裏面側にカメラモジュール3を配置しているが、表示画面1aの裏面であれば、位置はこの図に限定されるものではない。例えば、表示画面1aの周縁部の近くにカメラモジュール3を配置しても良いし、右図よりも中央より下方に配置されても良い。また、図においては1箇所に配置されているが、配置箇所は1箇所では無く、複数箇所であってもよい。また、この図においては、電子機器1の一方の面に表示部2及びカメラモジュール3を備えるものとしたが、これには限られない。例えば、電子機器1の両面に表示部2及びカメラモジュール3を備えていてもよい。
　表示部2は、表示光学系として、表示パネル4、円偏光板5、タッチパネル6及びカバーガラス7を積層した構造体である。なお、これらの並び方は限定されるものではなく、適切に入れ替えたり、また、同じ構成が2以上存在したり、さらに別の構成が含まれるものであったりしてもよい。
　表示パネル4は、例えば、OLED（Organic Light Emitting Diode）、液晶、MicroLED、その他の表示原理に基づく発光素子をアレイ状に備えていてもよい。例えば、発光素子は、第1方向及び第2方向を含む平面内にアレイ状に備えられる。OLED等の表示パネル4は、複数の層で構成される。表示パネル4には、カラーフィルタ層等の透過率が低い部材が配置されていることが多い。後述するように、表示パネル4における透過率が低い部材には、カメラモジュール3の配置場所に合わせて貫通孔を形成してもよい。貫通孔を通った被写体光がカメラモジュール3に入射されるようにすれば、カメラモジュール3で撮像される画像の画質を向上することが可能である。
　円偏光板5は、ギラツキを低減し、又は、明るい環境下においても表示画面1aの視認性を高める等のために設けられている。タッチパネル6には、タッチセンサが組み込まれている。タッチセンサは、静電容量型、抵抗膜型、感圧型等種々の方式があるが、いずれの方式を用いてもよい。また、タッチパネル6と表示パネル4を一体化しても良い。カバーガラス7は、表示パネル4等を保護するために備えられている。これらの各要素は、光学的に影響の少ない接着剤により接着されていてもよい。
　カメラモジュール3は、撮像部8と、光学系9と、を備える。光学系9は、撮像部8の光の入射面側、すなわち、表示部2に近い側に配置され、表示部2を通過した光を撮像部8に集光させる。光学系9は、1又は複数のレンズを備えていてもよい。例えば、この撮像部8は、光学指紋センサとして動作してユーザの指紋情報を取得する。
　光学指紋センサとして動作する撮像部8は、複数の光電変換部を備える。それぞれの光電変換部には、レンズが配置される。このレンズは、光学系9により適切に撮像部8へと射出された光をそれぞれの画素を構成する光電変換部において受光させる。光電変換部は、表示部2を介して入射された光を光電変換する。光電変換部は、CMOS（Complementary Metal-Oxide-Semiconductor Field-Effect Transistor）センサでも良いし、CCD（Charge Coupled Device）センサでもよい。光電変換部は、例えば、第1方向及び第2方向が含まれる平面において、アレイ状に備えられる。さらには、光電変換部は、第1方向及び第2方向に沿ってアレイ状に備えられてもよい。例えば、光電変換部の受光素子は、表示部の発光画素と同じ向きに沿ったアレイ状の受光画素として備えられる。
　また、光電変換部は、フォトダイオードを備えていてもよいし、有機光電変換膜を備えていてもよい。複数の光電変換部は、任意の方式で配列することができる。複数の光電変換部の配列方法は、例えば、ベイヤ配列であってもよいし、インタライン配列であってもよいし、市松配列であってもよいし、ストライプ配列であってもよいし、その他の配列であってもよい。
　本開示においては、光電変換部の出力値、又は、この出力値に基づいて所定の変換をされた値を受光画素値と呼ぶ。
　本実施形態では、ディスプレイのカメラモジュール3が存在する領域を指が通過するタイミングにおいて、ユーザの指紋情報を取得し、この指紋情報を用いて個人認証を実行する。例えば、図１の左図にあるように、商品情報と、購買ボタンとがディスプレイに表示されている場合に、商品の画像を購買ボタンにドラッグするタイミングにおいて、カメラモジュール3がスワイプ、フリック、ワイプ等されている指から指紋情報を取得する。この取得は、後述するように、グローバルシャッタを用いて実行される。また、カメラモジュール3は、適切な露光時間において、このグローバルシャッタの動作を実行する。
　図３は、本実施形態に係る電子機器1のブロック図の一例を示す図である。図１、図２に記載の表示部2の内部については、省略している。電子機器1は、上記で説明したカメラモジュール3と、タッチパネル6と、から情報を出力し、この情報処理を実行する、情報処理部10と、記憶部11と、を備える。
　上述したグローバルシャッタの動作を実現するために、カメラモジュール3の撮像部8は、光電変換部8a（光電変換素子）とともに、それぞれの光電変換部8aに対応する、画素メモリ8bを備える。光電変換部8aが感知した情報は、同じタイミングでそれぞれに対応する画素メモリ8bに転送される。そして、この画素メモリ8bから任意のタイミングで情報処理部10へと受光結果が出力される。
　情報処理部10は、例えば、CPU（Central Processing Unit）、又は、ASIC（Application Specific Integrated Circuit）、FPGA（Field Programmable Gate Array）等を備えて構成される。この情報処理部10は、以下に説明するように、種々の動作の一部又は全部を行うブロックに分割されていても良いし、各動作の一部又は全部をソフトウェアによる情報処理がCPUにより具体的に実現されるものであってもよい。
　記憶部11は、例えば、種々のメモリ、ストレージ等を備える。この記憶部11には、例えば、電子機器1が動作するのに必要となるプログラム、データ等の情報が非一時的に格納されていてもよい。また、メモリは、キャッシュ領域といった一時的な記憶領域を備えていてもよい。
　情報処理部10は、A/D変換部100と、クランプ部101と、色別出力部102と、欠陥補正部103と、リニアマトリックス部104と、フレームメモリ105と、認証部106と、出力部107と、を備える。フレームメモリ105は、情報処理部10ではなく、記憶部11の一部として備えられてもよい。
　A/D変換部100は、光電変換部8aが受光し、変換したデータ、すなわち、所定のタイミングにおいて画素メモリ8bに格納されたアナログ信号を画素ごとにデジタル信号へと変換する。A/D変換部100は、変換したデジタル信号を画像データとして出力する。
　クランプ部101は、例えば、黒レベルを規定し、この規定した黒レベルをA/D変換部100から出力された画像データから減算して出力する。クランプ部101は、画素に備えられる光電変換素子ごとにグラウンドレベルを設定しても良く、この場合、取得された光電変換素子ごとに設定されたグラウンドレベルに基づいて、信号値のグラウンド補正を実行する。
　色別出力部102は、例えば、光電変換部8aにおいて色別にアナログ信号を取得している場合に、サブピクセル画像のデータを色ごとに出力する。光電変換部8aには、例えば、R（赤）、G（緑）、B（青）の色フィルタ等が備えられている。これらのフィルタ等によりそれぞれの光電変換部8aは、色ごとの感知情報の出力を行う。光電変換部8aにおいて色フィルタが備えられるのではなく、光電変換部8aが有機光電変換膜により色ごとにアナログ信号を取得しても良い。
　クランプ部101により、これらのフィルタに基づいてグラウンドレベルを調節し、色別出力部102が、クランプ部101が出力した信号を色別に出力する。光電変換部8aにおいて取得されたアナログ信号には色情報が付加されていない。このため、色別出力部102は、光電変換部8aにおける受光素子ごとに配置されている色に関するデータを記憶しておき、このデータに基づいて色ごとの出力を行ってもよい。
　なお、光電変換部8aは、例えば、近赤外光を受光する素子、プラズモンフィルタ等の複雑なスペクトルを取得する等のフィルタが備えられてもよい。これらの場合、単なる色の情報として表現することは難しいが、色別出力部102は、光の波長で区分できるのであれば、これらの情報を波長情報と紐付けて処理をしてもよい。このような場合、波長情報が、範囲を有する情報として色別出力部102は、処理をしてもよい。
　欠陥補正部103は、画像データにおける欠陥の補正を実行する。画像データの欠陥は、例えば、画素内に備えられる光電変換素子の欠陥による画素欠け又は情報欠け、あるいは、光学系9における光の飽和による情報落ち等により発生する。欠陥補正部103は、例えば、周囲の画素の情報、又は、同一の色情報を有する周辺の画素の情報などに基づいて補間することで、欠陥補正処理を実行しても良い。
　リニアマトリックス部104は、色情報に対する行列演算を実行することにより、色再現を行う。リニアマトリックス部104は、例えば、複数の波長に関する演算を行うことで、望ましい分光を取得する。本実施形態においては、リニアマトリックス部104は、例えば、肌色の検出に適した出力を実行しても良い。さらに、リニアマトリックス部104は、静脈等の生体認証情報を取得するために、黄色から赤色の波長領域の検出に適した出力となるように演算を実行しても良い。
　フレームメモリ105は、上述したように、例えば、記憶部11の一部として備えられてもよい。このフレームメモリ105は、光電変換部8aから同じタイミングで出力された画素メモリ8bから取得した情報を、上記の処理をした後に一時的に格納する。例えば、情報処理部10は、フレームメモリ105に同じタイミングで取得された指紋情報を、各種上記の処理をし、最終的にリニアマトリックス部104により色再現された一枚の画像データとして保存する。
　認証部106は、フレームメモリ105に格納された指紋情報を用いて個人認証を実行する。例えば、この個人認証は、指紋データにおける特徴点を抽出し、抽出された特徴点と、記憶部11に保存されている認証情報とを比較することにより実行される。また、認証部106は、RGB情報だけでは無く、例えば、近赤外線の受光情報、プラズモンフィルタを介して取得された情報に基づいて、なりすまし防止の生体認証を実行しても良い。例えば、フレームメモリ105に格納されているデータにおけるヘモグロビンに対応する波長の情報が正常に取得されているか否かにより、生体認証を実行する。これらは、特徴点等を統計処理により判断しても良いし、別の例として、機械学習により訓練済のニューラルネットワークモデルを用いて認証をしてもよい。
　例えば、認証部106は、予め取得しておいた特定のユーザの指紋情報を記憶部11に格納しておく。この格納されたユーザの情報に基づいて、個人認証を実行する。複数のユーザの認証をする場合には、複数ユーザの指紋情報を適切に格納しておく。また、格納された指紋情報は、それぞれの指紋情報の画像、又は、それぞれの指紋情報から取得した特徴点の情報を暗号化しておいても良い。
　出力部107は、認証部106による認証結果を出力する。例えば、e-commerce等による買い物であれば、認証結果に基づいて決済処理を行うように、サーバ等に送信してもよい。このように、出力部107は、無線通信を用いて認証結果を送信してもよい。また、別の例として、電子機器1内において、パスワード等による認証の代わりにこの指紋認証等の認証結果を用いてもよい。
　図４Ａは、図1におけるカメラモジュール3と表示パネル4との関係についてより詳しく説明する図である。カメラモジュール3は、上述したように、例えば、撮像部8と、光学系9と、を備える。光学系9は、撮像部8の光の入射面側、すなわち、表示部2に近い側に配置される。表示部2の表示面を透過した光は、光学系9により撮像部8に伝播される。
　撮像部8は、例えば、図３に示すフォトダイオード等の光電変換部8aと、画素メモリ8bとを備えていてもよい。光学系9により集光、屈折、拡散等され、伝搬された光は、撮像部8に備えられる光電変換部8aにより受光され、アナログ信号と出力する。光電変換部8aは、それぞれの撮像素子の入射面側に、例えば、ベイヤ配列等のカラーフィルタ等が備えられていてもよいし、積層型のカラーフィルタが備えられていてもよい。また、上述したようにカラーフィルタではなく、他のフィルタを備えたり、有機光電変換膜等の他の素子により構成されていたりしてもよい。また、出力に関して、図示しないが、その他受光及びアナログ信号を出力するのに必要となる素子、回路等が備えられる。
　光学系9は、例えば、透過率の低い部材における貫通孔を含んだ概念としても良い。貫通孔は、例えば、表示パネル4、特に表示パネル4内における透過率の低い基板aに設けられる開口を含む。光学系9は、例えば、表示パネル4に設けられた開口と、この開口よりも撮像部8に近い位置に配置されるレンズを含む。このレンズと開口により、光学系9は、カメラモジュール3における開口数Na（Numerical Aperture）、F値（F-Number）等の光学的特徴を定義してもよい。
　なお、開口とレンズは、一例として示したものであり、光学系9の構成は、必ずしもこれらの組み合わせに限定されるものではない。また、図においては、開口1つに対して1又は複数のレンズが備えられているがこれには限られない。例えば、図４Ｂに示すように、光学系9において1つのレンズに対して複数の開口が設けられても良い。開口の存在しない領域においては、例えば、表示パネル4の発光素子が備えられ、これらの発光素子の間を縫うように開口が備えられていてもよい。このように配置することにより、表示を崩すこと無く、カメラモジュール3を備えることが可能となる。
　図５Ａは、一実施形態に係る受光画素を模式的に示す断面図である。受光画素は、例えば、上述した、光電変換部8aと、画素メモリ8bと、を備える。なお、本開示においては、一例として示すものであるので、詳細な説明は省略する。また、本開示における受光画素は、図５に示す構成を有する受光画素に限定されるものではなく、グローバルシャッタとして動作する構成であればよい。
　光電変換部8aは、光学系9及び受光画素に備えられるレンズ等により、図において光電変換部8aの上部に描かれている受光領域8Rにおいて受光する。この受光部は、遮蔽部8dにより隣の画素の受光領域8Rとは分離されている。遮蔽部8dは、図にしめすように、画素メモリ8bの上部、すなわち、光電変換部8aが受光領域8Rを有する面に光を通さないように、備えられる。
　遮蔽部8dは、例えば金属により生成されており、この遮蔽部8dと、光電変換部8a及び画素メモリ8bとは、絶縁部8eにより分離されている。絶縁部8eは、例えば、酸化膜である。
　光電変換部8aは、受光領域8Rにおいて受光すると、受けた光の強度により、電荷を蓄積する。蓄積された電荷は、所定のタイミングで電極8cに電圧が印加されることにより、画素メモリ8bへと転送される。画素メモリ8bからは、次のタイミングで受光された電荷の転送の前に、他のトランジスタ等により、A/D変換部 100へとアナログ信号が出力される。このA/D変換部 100への転送は、同じタイミングで行われなくともよい。
　光電変換部8aから画素メモリ8bへの電荷の転送は、受光画素アレイに存在する複数の光電変換部8aに亘り、同じタイミングで実行される。同じタイミングとは、厳密に同じ瞬間ではなく、シャッター歪みのでない程度のズレがあってもよい。このように、撮像部8は、複数の光電変換部8aにより受光した光を、グローバルシャッタの動作を実行することにより、同じタイミングで受光した光によるアナログ信号を出力することが可能となる。そして、情報処理部10においては、同じタイミングで受光した光による画像を取得することができる。すなわち、撮像部8は、光学指紋センサとして、同じタイミングにおけるユーザの指紋情報を取得することができる。
　図５Ｂは、図５Ａに示す光電変換部8aと、画素メモリ8bとの接続を、複数の画素において模式的に示す平面図である。この図に示すように、一例として、図５Ａにおいて電極8cは、転送トランジスタのゲート電極であってもよい。図５Ｂにおいては、光電変換部8aと画素メモリ8b間の制御線以外の配線等は、省略しているが、もちろん、画素メモリ8bから情報処理部10への配線等が適切に備えられる。
　各受光画素の光電変換部8aと画素メモリ8bとの接続は、転送トランジスタにより制御される。画素メモリ8bの電荷を転送し、画素メモリ8bに備えられる電荷を放電した後に、各受光画素のそれぞれの電極8cに同じタイミングで同じ時間の間、光電変換部8aから画素メモリ8bへと電荷を転送する電圧が印加される。この電圧は、例えば、転送トランジスタがn型のMOSFETである場合には、ドレインからソースへと電荷を流すためのしきい値電圧よりも十分高い電圧である。同じタイミングで電圧が印加されることにより、同じタイミングにおいて光電変換により取得された電荷が、それぞれの画素メモリ8bへと転送される。この結果、それぞれの画素メモリ8bには、同じタイミングで取得された画像のアナログ情報（電荷）が一時的に蓄えられる。
　画素メモリ8bからの出力は、同じタイミングではなくても良く、適切に情報処理部10へと転送される。例えば、画素メモリ8bから情報処理部10への転送は、ラインごとに所定のタイミングで実行される。
　なお、上記において、画素メモリ8bは、一例として電荷状態を保存するものとしたが、これには限られない。画素メモリ8bは、他の例として、電圧状態、デジタル値、又は、受光した強度情報に関するその他の状態を保存するものであってもよい。
　また、この画素メモリ8bは、図５Ａ、図５Ｂにおいては、受光素子と同じ基板に備えられるようにしたが、これには限られない。また、画素メモリ8bは、例えば、撮像素子と積層接続されたチップ内に備えられていてもよい。この場合、転送トランジスタは、いずれの層、又は、層間に備えられてもよい。これらの層は、例えば、ビアホール、マイクロバンプ、マイクロパッド、プラズマ接合等により接続されてもよい。これらの接続は、例えば、CoC（Chip on Chip）、CoW（Chip on Wafer）又はWoW（Wafer on Wafer）の方式により積層されてもよい。
　図１から図５についてまとめると、撮像部8は、第3方向において、ディスプレイである表示部2の表示面とは逆側に第1方向及び第2方向においてアレイ状に受光素子を有する撮像素子を備えていてもよい。そして、これらの受光素子のそれぞれは、同じタイミングで受光情報を読み出すグローバルシャッタの動作を実現する。同じタイミングで受光情報を読み出すとは、受光素子（光電変換部）において光電変換された電荷の情報を同じタイミングで各受光素子に対して備えられるメモリに転送することを示すものであってもよい。なお、図５Ａ、図５Ｂに示すものではなく、受光画素は、グローバルシャッタと同等の動作を実現する他の方式を採用するものであってもよい。
　上述したように、情報処理部10は、この撮像部8、すなわち、光学指紋センサが読み出した指紋情報の信号処理を実行する。そして、ユーザは、例えば、表示部2の表示面上において指をすべらせる（スワイプ動作を行う）ことにより、この光学指紋センサにより指紋情報が取得され、個人認証等を実行することができる。以下においては、スワイプ動作中について説明するが、スワイプには限られず、フリック、ワイプ等、タッチパネル上を滑らせる動きであればよい。
　図６は、一実施形態に係る個人認証処理のフローチャートである。
　まず、電子機器1は、個人認証を開始するか否かを判断する（S100）。個人認証を開始するタイミングでなければ（S100：NO）、待機状態を続行する。認証の開始は、例えば、図３において点線で示されるように、タッチパネル6の感知情報を用いてもよい。例えば、タッチパネル6における感知情報が、カメラモジュール3の範囲内に到達した後に指紋情報の取得処理に移行しても良い。この前段階として、認証をするべくウェブサイト等において認証処理を実行する旨を電子機器1に通知しておき、電子機器1がスタンバイ状態になっていても良い。
　認証開始状態になると（S100：YES）、撮像部8は、個人認証のための受光を開始する（S102）。例えば、カメラモジュール3を指紋認証用に起動することにより、指紋情報の取得の待機状態へと移行し、必要なタイミングで受光を行う。
　撮像部8の光電変換部8aは、指紋認証を実行する場合、上気したように同じタイミングで画素メモリ8bへと受光した強度を転送する（S102）。この転送は、例えば、同じタイミングにおいて、複数の電極8cに転送のための電圧を印加し、実行する。
　次に、同じタイミングで画素メモリ8bへと転送されたデータをA/D変換部 100がA/D変換する（S106）。ここで、光電変換部8aが取得し、画素メモリ8bが出力したアナログ信号がデジタル信号へと変換される。
　次に、情報処理部10は、変換されたデジタル信号のA/D変換以外の信号処理、画像処理を実行する（S108）。この処理は、例えば、上述したように、クランプ、色別出力、欠陥補正、色再現の処理、そしてフレームメモリ105への格納の処理である。なお、上記は、一例として挙げたものであり、これらに加え、さらに適切な処理が実行されてもよい。
　次に、認証部106は、取得した指紋情報を含む画像を用いて認証を実行する（S110）。認証は、例えば、上述したように、特徴点を抽出して比較処理をしてもよいし、訓練済のニューラルネットワークを用いて実行してもよい。なお、電子機器1は、カメラモジュール3と同じ基板内に、上記の情報処理及びニューラルネットワークの処理を実行できるチップを備えていてもよい。
　出力部107は、認証結果を必要な箇所へと出力する（S112）。例えば、ウェブで買い物をする場合の個人認証においては、ウェブサイトを開いているブラウザ、又は、認証結果を受け付けるアプリケーションに個人認証結果を通知しても良い。このように、出力部107は、必要な箇所に出力を実行することができる。
　出力部107は、例えば、認証ができなかった場合には、もう一度認証動作を行うべく認証失敗した旨を通知しても良い。また、出力部107から再度、撮像部8に撮像指示をしてもよい。
　認証部106は、連続したフレームで画像を取得している場合には、複数の指紋情報を用いて認証処理を実行しても良い。例えば、複数の指紋情報のうち1つにおいて認証できたら、そのタイミングで出力部107に認証が成功した旨の通知をしてもよい。
　認証部106は、高い精度での認証が求められる場合、認証精度に基づいて、認証成功、失敗のしきい値を変化させてもよい。例えば、高い認証精度が求められる場合には、認証のしきい値、例えば、指紋の一致度のしきい値を高めることにより、認証精度を高めることができる。認証精度を高めるのは、例えば、特徴点の一致度のしきい値を上げても良い。また、ニューラルネットワークモデルを用いる場合には、一致度のしきい値を上げても良い。高い精度での認証が必要な場合とは、例えば、高価な商品を購入しようとしているとき、機密度の高い情報にアクセスしようとしているとき、等である。
　また、撮像部8が近赤外線フィルタ、プラズモンフィルタ等を有する場合には、個人認証とともに、生体であるか否かの認証を行ってもよい。この認証は、例えば、近赤外線等により取得された情報に基づいて、静脈等のヘモグロビンを透過した光の波長であるかを認証する。この認証を実行する場合には、表示部2から、赤外線等の光を発光し、この反射状態を取得して、判定しても良い。
　これらには限られず、例えば、表示パネル4が種々の色を発光させ、この発光した光の反射に基づいて、生体であることを認証してもよい。この場合上記のように種々の色を取得するフィルタを備えていてもよく、所謂マルチスペクトル、ハイパースペクトルの情報を取得して解析しても良い。例えば、生体、特に人間に特有の肌、又は、肌の内部からの反射を示すような情報に基づいて判断することが可能である。
　生体であることに認証は、撮像部8による取得だけでは無く、例えば、タッチパネル6の感知情報を用いてもよい。例えば、認証部106は、タッチパネル6において感知領域が弾性を有するか否かを判断し、生体であることを認証しても良い。これは、撮像部8を用いても良く、撮像部8において取得された指の画像が時間的にみて弾性を有しているかを判断しても良い。弾性を判断するのは、例えば、指の占める領域の形状の変化や大きさの変化に基づいてもよい。また、タッチパネル6に感圧センサを備えておき、この感圧センサの感知情報に基づいて弾性を判断してもよい。
　また、複数のタイミングで指紋情報を取得することにより、認証精度を高めても良い。例えば、撮像部8は、複数のタイミングで指紋情報を取得し、この指紋情報がフレームメモリ105に蓄積されても良い。そして、蓄積された指紋情報を用いて、認証を実行してもよい。例えば、指紋情報同士を参照することにより、画像取得の際に発生した画像の欠陥等を補正してもよい。より単純には、指紋の位置、角度を調節した後、時間ごとに取得された指紋情報の加重平均を求めてもよい。そして、この平均演算により取得された指紋情報を、認証の対象としてもよい。
　撮像部8は、これ以外のフィルタを備えていてもよい。例えば、偏光フィルタを受光画素に備えることにより、偏光された指紋情報を取得することができる。偏光した情報を取得することにより、指紋の凹凸をより明確に取得することが可能となる。情報処理部10は、このような偏光された情報を合成して特徴点を抽出してもよい。
　また、撮像部8がグローバルフィルタの動作をしていたとしてもシャッタースピードによりモーションブラー等が発生することがある。このモーションブラーに対応するべく、フレームメモリ105に備えられている画像に対して劣化補正をする画像補正部、を情報処理部10は、備えていてもよい。
　以上のように、本実施形態によれば、ディスプレイ下にあるカメラモジュールを用いることによる精度の高い個人認証を実現することが可能となる。さらに、人体であることを認証することにより、なりすましの防止をすることもできる。また、撮像部8においては、グローバルシャッタの動作で画像を取得することが可能であるので、画像のシャッターに依存する歪み等に対するロバストな指紋認証を実現することができる。
　（第2実施形態）
　前述の第1実施形態では、ユーザのスワイプ速度については考慮されていなかった。第2実施形態では、ユーザの指の速度を判断し、当該スピードに基づいた指紋情報の補正を実行する。
　図７は、本実施形態に係る電子機器1のブロック図の一例を示す図である。電子機器1は、図３で説明した構成要素に加え、速度検出部108をさらに備える。
　速度検出部108は、例えば、タッチパネル6の感知情報に基づいて、カメラモジュール3が指紋の画像を取得するタイミングにおいて、ユーザの指の動きの速さを取得する。すなわち、ユーザがスワイプ動作を行った場合に、カメラモジュール3が受光情報から指紋情報を取得するとともに、タッチパネル6が感知情報から指の速さ情報を取得する。例えば、速度検出部108は、所定時間内におけるタッチパネル6が感知したユーザの指の領域の移動量に基づいて指の速さを取得する。
　速度検出部108は、例えば、認証を行うタイミングにおいてユーザの指がタッチスクリーン上に触れた場合に、速度感知のための情報をタッチパネル6から取得する。速度検出部108は、例えば、ユーザの指が動いた場合に、ある時刻におけるタッチパネル6の感知情報と、所定時刻後におけるタッチパネル6の感知情報とを取得する。
　タッチパネル6の感知情報は、例えば、指の領域の感知をした場合に、この指の領域の中心点、例えば、重心の位置により取得しても良い。重心の位置は、例えば、感知領域の点の第1方向及び第2方向の加算平均をそれぞれ算出して取得することができる。そして、速度検出部108は、ある時刻と所定時刻後の重心の位置を求めることにより、ユーザの指のスワイプ速度を検出する。
　指の速さが所定速度よりも速かった場合には、速度検出部108は、例えば、図８に示すように、表示部2にスワイプの速度をゆっくりとするようにユーザに促す出力をしてもよい。また、別の例として、速度検出部108は、出力部107へと速度が速過ぎることを通知し、出力部107を介して表示部2へと出力しても良い。なお、この場合、出力部107は、表示部2に表示することに限定されず、例えば、スピーカから音によりユーザに知らせたり、バイブレータを振動させたりしてもよい。
　また、出力部107は、望まれる認証精度に基づいてスピードを決定しても良い。このような場合、例えば、高い認証精度が必要な場合には、出力部107は、速度検出部108が検出した速度に対するしきい値を下げ、よりスピードの遅い状態においてゆっくりとスワイプすることをユーザに出力することができる。
　図９は、出力の別の例を示すものである。出力部107は、例えば、左の図から、右の図へと至るように、所定時刻内において表示される三角印が徐々に多くなる表示をしても良い。この三角印の増えるスピードが、撮像部8が精度の高い指紋情報を取得するスピードであってもよい。このように、出力部107は、ディスプレイにスピードを示す指標（スピードガイド）を出力しても良い。この指標は、図９のような三角にはかぎられず、例えば、矢印が延びていく図でもよく、これらに限られず、ユーザにスピードを示すようなインタフェースであればどのような図形、形状等であってもよい。
　また、速度検出部108は、タッチパネル6の感知情報に基づいてスピードを検出するとしたが、これには限られない。例えば、撮像部8が取得した撮像情報に基づいて、スピードを検出しても良い。速度検出部108は、例えば、フレームメモリ105を参照し、ユーザの指の画像を取得したタイミングから、ユーザの指の画像が取得できなくなるまでのタイミングに基づいて、このタイミング同士に掛かった時間と、指紋取得領域の大きさとに基づいてユーザの指のスピードを検出しても良い。これには限られず、ある時刻から1フレーム又は複数フレーム後にどれだけ指が動いているかを推定してスピードを検出しても良い。
　以上のように、本実施形態によれば、ユーザの指のスワイプ速度を検出することにより、指紋取得の精度、又は、取得した指紋の認証の精度を向上させることが可能となる。また、必要に応じて、指紋取得に適したスピードとなるようにユーザに促す出力をすることも可能である。
　なお、速度検出部108の検出した速度は、これ以外の用途に用いることもできる。例えば、カメラモジュール3は、この速度情報に基づいて、適切な露光時間で指紋情報を取得しても良い。カメラモジュール3は、例えば、速度が遅い場合には露光時間を短く、速度が速くなるほど露光時間を長くしてもよい。
　（第3実施形態）
　第2実施形態の構成にさらに、速度に基づいた補正を行う処理を加えても良い。
　図１０は、本実施形態に係る電子機器1のブロック図の一例を示す図である。電子機器1は、図７で説明した構成要素に加え、補正量計算部109をさらに備える。
　補正量計算部109は、速度検出部108が検出した速度に基づいた補正量を取得する。この補正量に基づいて、フレームメモリ105に格納されている指紋情報に対して画像処理を行ってもよい。この画像処理は、例えば、モーションブラーに基づく画像処理である。指の速度及びシャッタースピードに基づいて、点像分布関数（PSF：Point Spread Function）を生成し、指紋情報に逆フィルタ処理（デコンボリューションフィルタ処理）を実行してもよい。
　このような処理を実行することにより、さらに認証精度を向上することが可能となる。
　（第4実施形態）
　上述においては、代表例として、指一本により認証を実現する。例えば、人差し指の認証を用いてもよい。さらに、複数の指を用いた認証をしてもよい。
　例えば、撮像部8は、人差し指だけでは無く、中指の情報も同じスワイプのタイミングで取得し、2本の指に基づいた個人認証を実行しても良い。さらに、3本から5本の指を用いてもよいし、人差し指と薬指といった離れた指で認証を行ってもよい。もちろん、これらの複数の指の組合せに人差し指が含まれなくても良い。
　上記では同じタイミングとしているが、異なるタイミング、例えば、人差し指で第1認証を実行した後に、中指で第2認証を実行する、等してもよい。この場合、右手と左手の両手の情報を用いてもよい。
　複数本の指を同じタイミングで情報を取得する場合には、1本の指ごとの認証を実行するのでは無く、複数本の指をスワイプした情報を1つの認証情報として取得しても良い。
　以上のように、任意のタイミングにおいて任意の本数、組み合わせの指を用いた認証を実行してもよい。このように認証情報を増やすことにより、誤検知やなりすましをさらに精度良く防ぐことが可能となる。複数本の指による認証は、必要とされる認証精度の高さに基づいて変更してもよい。例えば、高い認証精度が必要となる場合に、複数本の指を用いたり、特定の組み合わせの指を用いたりしてもよい。
　（第5実施形態）
　前述の各実施形態における電子機器1は、例えば、スマートフォン等のデバイスである。このようなタッチパネルを備えるデバイスにおいては、指紋認証のタイミング以外においてもカメラモジュール3上を指が通過することがある。
　そこで、本実施形態に係る電子機器1は、撮像部8により、任意のタイミングでこのような指の情報を取得する。そして、認証部106により、登録されているユーザと認証できた場合に、この撮影された指紋情報を、記憶部11に記憶しておいても良い。もっとも、認証を行う場合においても、認証が成功した場合には、取得した指紋情報を記憶部11に記憶してもよい。
　そして、情報処理部10は、任意のタイミングで蓄積した情報に基づいて認証に用いる情報を更新しても良い。例えば、指紋情報が画像情報として取得されている場合には、同じ方向及び同じ位置に蓄積された情報をキャリブレーションし、新しい情報ほど重み付けが重くなるように重み付き平均を算出して、認証に用いる情報としてもよい。
　また、所定の指において個人認証がされた場合に、ユーザが他の指を用いたタイミングにおいて、この指を当該ユーザの他の指の情報として取得し、記憶部11に格納しておいても良い。このように対応することにより、上述の複数本の指の場合においても認証精度を高めることが可能となる。
　以上のように本実施形態によれば、認証に用いる情報を更新することができる。更新することにより、加齢による指（指紋）の微妙な変化や、環境による変化等にも適用する、認証に用いる情報を取得することが可能となる。この結果、個人認証の精度を高く維持することができる。
　（第6実施形態）
　図１１及び図１２は、本実施形態に係る電子機器1を模式的に示す図である。本実施形態においては、カメラモジュール3がスワイプ方向に対して垂直方向が長くなるように配置されている。例えば、図１１に示すように、上から下、又は、下から上（第2方向）にスワイプを行う場合には、横（第1方向）に広い撮像部8の存在する領域を有するカメラモジュール3を用いる。図１２に示すように、左から右、又は、右から左（第1方向）にスワイプを行う場合には、縦（第2方向）に広い撮像部8の存在する領域を有するカメラモジュール3を用いる。
　例えば、撮像部8は、光電変換部8a（受光画素）を図１１、図１２に点線で示される範囲で備えておくことにより、このような実装をすることができる。この受光画素の大きさは、例えば、広い方の配置数が狭い方の配置数の2倍以上となるようにしてもよい。例えば、図１１においては、第1方向に沿って備えられる受光画素が、第2方向に沿って備えられる受光画素の2倍以上であってもよい。
　そして、さらに、受光画素がある範囲を横切るように、図１２に示すように、スワイプの方向を示すガイドを表示しても良い。別の例として、スワイプ動作により指紋認証を行える範囲、すなわち、図１１、図１２において点線で示される範囲を、ディスプレイ上に表示してもよい。このように表示することにより、ユーザにどこをスワイプすることで個人認証を実行できるかを示すことも可能となる。
　（第7実施形態）
　電子機器1の表示部2に表示されるオブジェクトにより、スワイプ領域をユーザにわかりやすくしても良い。このオブジェクトは、動的に変化するものであってもよい。
　図１３は、電子機器1の表示部2に表示されるGUI（Graphical User Interface）の一例を示す図である。表示部2には、例えば、左図に示すように水滴のような円状のオブジェクトが表示されている。そして、この円状のオブジェクトを横切るようにユーザがスワイプをすると、右図に示すように、オブジェクトがばらけるような動作をしてもよい。
　また、スワイプ待ちの状態において、スワイプ領域をより明確に示すように、左図のオブジェクトは、例えば、震えていたり、所定領域内を移動していたりしても良い。ユーザの指が触れることにより、その形状、大きさが変化してもよい。また、スワイプ後にフェードアウトするように消えても良い。
　オブジェクトの表示は、図１３のような水玉に限定されるものではなく、例えば、川のように流れを有するオブジェクトを表示してもよい。このような表示にすることにより、ユーザにスワイプの方向等を示しても良い。これらの例に限られず、例えば、所定のキャラクターを表示したり、的のようなものを表示したり、ユーザにわかりやすい表示をするものであればよい。
　このオブジェクト領域に、ユーザの指が触れると、発光素子の発光状態を変化させてもよい。発光状態を変化させることにより、ユーザの指が触れている表示パネル4における反射光の波長を変化させ、この波長の変化により、指紋情報の取得をしやすくしてもよい。例えば、発光する光の波長を黄～赤の波長にすることにより、ユーザの肌の色、又は、静脈からの反射がわかりやすい状況としても良いし、逆に補色に近い波長を有するシアン等の発光をすることにより、反射する光の波長を指紋情報の取得に適したものとすることができる。
　そして、オブジェクトは、指紋情報の取得状況に基づいて、動的に変化してもよい。例えば、指紋情報が正常に取得された場合には、オブジェクトの色が変化したり、形状が変化したり、又は、フェードアウトするように消えたりしても良い。指紋情報が正常に取得されない場合には、初期状態のオブジェクトを表示したり、色、形状を正常に取得された場合と異なるものへと変化させたりしてもよい。また、前述した実施形態のように、スピードガイド、場所のガイドを表示してもよい。情報処理部10は、指紋情報の取得を判定する、指紋情報取得判定部を備えていてもよい。指紋情報の取得は、例えば、所定の領域内に、所定数以上の凹凸を感知したか否か等に基づいても良い。
　これは、認証情報に基づいていても良い。例えば、個人認証が成功した場合と、個人認証が失敗した場合で、上記のようにオブジェクトを変化させてもよい。もちろん、指紋情報の取得状況、認証の成否状況に基づいて、2段階の変化をさせてもよい。
　以上のように本実施形態によれば、カメラモジュール3における撮像部8の存在する領域をスワイプ方向に対して交わる方向に広くすることも可能である。このように光学指紋センサを備えておくことにより、位置ズレに対してロバストネスを有する光学指紋センサを実装することが可能となる。
　（第8実施形態）
　図１４は、本実施形態に係る電子機器1の一例を示すブロック図である。電子機器1は、さらに、傾き検出部12を備える。
　傾き検出部12は、例えば、ジャイロスコープ又は加速度センサを備える。傾き検出部12は、指紋情報を取得したタイミングにおける電子機器1の傾きを検出する。傾きとは、例えば、重力（鉛直方向）又は水平方向に対するディスプレイの傾きである。
　図１５及び図１６は、電子機器1の傾きの一例を示す図である。例えば、図１５に示すように、電子機器1における第1方向及び第2方向を、重力方向及びこれに交わる水平方向の成分の和として表す。第1方向の重力方向成分の絶対値が、第2方向の重力方向の成分の絶対値よりも小さい場合、認証部106は、右図に示す図面上向きに指がむいているようなマッチング用のデータを優先的に用いて指紋認証を実行する。
　一方で、図１６に示すように、電子機器1における第1方向の重力方向成分の絶対値が、第2方向の重力方向の成分の絶対値よりも大きい場合、認証部106は、右図に示す図面左向きに指が向いているようなマッチング用のデータを優先的に用いて指紋認証を実行する。
　また、各方向における重力方向の大きさと、符号とを用いてもよい。この場合、例えば、4辺のいずれが下方にあるかで、指紋を90度ずつ回転させたマッチング用データを優先的に用いて指紋認証を実行することができる。
　以上のように、本実施形態によれば、マッチング用のデータを重力に対する傾きにより選択し、又は、優先的に選択して用いることにより、マッチングの精度を向上したり、マッチングの速度を向上したりすることが可能となる。一例として、180度ごと、又は、90度ごとについて説明したが、角度のスパンはより小さくても良い。
　また、マッチングのパターンを選択するとしたが、これには限られない。例えば、傾き検出の結果に基づいて、補正指紋情報を回転させて個人認証処理を実行してもよい。
　なお、本技術は以下のような構成を取ることができる。
(１)
　ディスプレイと、
　光学指紋センサと、
　を備え、
　前記ディスプレイは、第1方向及び前記第1方向に交わる第2方向においてアレイ状に発光画素を有する表示面を備え、
　前記光学指紋センサは、前記第1方向及び前記第2方向に交わる第3方向において、前記ディスプレイの前記表示面とは逆側に前記第1方向及び前記第2方向においてアレイ状に受光素子を有する撮像素子を備え、前記受光素子のそれぞれは、同じタイミングで光電変換された電荷を転送する、
　電子機器。
(２)
　前記撮像素子は、それぞれの前記受光素子の受光情報を一時的に格納する画素メモリを備え、前記受光素子から前記画素メモリへの情報の転送は、同じタイミングで実行される、
　(１)に記載の電子機器。
(３)
　前記受光素子から前記画素メモリへの情報の転送は、前記受光素子に蓄えられた電荷を前記画素メモリへと転送する転送トランジスタに、同じタイミングにおいて転送制御信号が印加されることにより実行される、
　(２)に記載の電子機器。
(４)
　前記撮像素子が読み出した指紋情報の情報処理を実行する、情報処理部、
　をさらに備える、(１)から(３)に記載の電子機器。
(５)
　前記情報処理部は、少なくとも指のスワイプ動作を含む動作中に前記指紋情報を読み出す、
　(４)に記載の電子機器。
(６)
　前記ディスプレイに対する接触情報を感知する、タッチパネル、
　をさらに備え、
　前記タッチパネルにおいて、前記スワイプ動作の速度を推定する、
　(５)に記載の電子機器。
(７)
　前記情報処理部は、前記撮像素子が読み出した情報に基づいて前記スワイプ動作の速度を推定する、
　(５)又は(６)に記載の電子機器。
(８)
　要求された認証精度に基づいて、前記スワイプ動作のスピードをゆっくりとする指示を出力する、
　(５)から(７)のいずれかに記載の電子機器。
(９)
　前記ディスプレイに、前記スワイプ動作の前記スピードの指示を出力する、
　(８)に記載の電子機器。
(１０)
　前記指示は、前記ディスプレイにスピードガイドを表示する、
　(８)又は(９)に記載の電子機器。
(１１)
　前記スピードが所定スピードよりも速い場合に、前記スピードが速すぎることを出力する、
　(８)から(１０)のいずれかに記載の電子機器。
(１２)
　前記スピードが速すぎることの出力は、前記ディスプレイへの出力、音での出力、又は、振動での出力のうち少なくとも1つである、
　(１１)に記載の電子機器。
(１３)
　前記情報処理部は、前記スピードが所定のスピードよりも速い場合に、前記光学指紋センサの露光時間を短くする、
　(６)に記載の電子機器。
(１４)
　前記情報処理部は、異なる時間で撮像された前記指紋情報から、認証情報を生成する、
　(５)から(１３)のいずれかに記載の電子機器。
(１５)
　前記発光画素は、前記受光素子の前記表示面側において異なる波長の光を出力し、
　前記受光素子は、異なる波長の反射光に基づいて前記指紋情報を取得する、
　(１４)に記載の電子機器。
(１６)
　前記受光素子と前記表示面との間に偏光フィルタを備え、
　前記受光素子は、前記偏光フィルタを介して偏光された光を感知する、
　(１４)又は(１５)に記載の電子機器。
(１７)
　前記受光素子と前記表示面との間にヘモグロビンの状態を取得するフィルタを備え、
　前記情報処理部は、前記ヘモグロビンの情報を取得して生体認証を行う、
　(１４)から(１６)のいずれかに記載の電子機器。
(１８)
　前記情報処理部は、前記表示面に接触した指の時間的な形状変動の情報に基づいて生体認証を行う、
　(１４)から(１７)のいずれかに記載の電子機器。
(１９)
　前記受光素子は、複数の指における前記スワイプ動作を検出する、
　(５)から(１８)のいずれかに記載の電子機器。
(２０)
　前記情報処理部は、複数の指の前記スワイプ動作において、複数の指の組み合わせを用いて前記指紋認証を実行する、
　(１９)に記載の電子機器。
(２１)
　要求された認証精度に基づいて、複数の指の組み合わせが異なる、
　(２０)に記載の電子機器。
(２２)
　前記情報処理部は、認証を実行する間、又は、認証を実行していない時間において、指の情報を検出し、前記指紋情報を蓄積する、
　(４)から(２１)のいずれかに記載の電子機器。
(２３)
　前記情報処理部は、指の変化を蓄積して認証精度を向上する、
　(２２)に記載の電子機器。
(２４)
　前記情報処理部は、登録されていない指以外の指における前記指紋情報を取得して蓄積する、
　(２２)又は(２３)に記載の電子機器。
(２５)
　前記受光素子は、前記スワイプ動作の方向と交わる方向における素子数が、前記スワイプ動作の方向における素子数よりも多く備えられる、
　(５)から(２４)のいずれかに記載の電子機器。
(２６)
　前記受光素子は、前記スワイプ動作の方向と交わる方向における素子数が、前記スワイプ動作の方向における素子数の2倍よりも多く備えられる、
　(２５)に記載の電子機器。
(２７)
　前記ディスプレイに、前記受光素子が多く備えられる方向と交わる方向に前記スワイプ動作を実行されるガイドを表示する、
　(２５)又は(２６)に記載の電子機器。
(２８)
　前記ディスプレイに、前記受光素子が備えられる領域を表示し、前記領域を通過するように商品情報と、購買ボタンとを配置し、前記商品情報から前記購買ボタンへと前記商品情報を前記スワイプ動作することにより、前記商品の購買を可能とするインタフェース、
　を備え、
　前記指紋認証の結果に基づいて前記購買情報をサーバへと送信する、
　(５)から(２７)のいずれかに記載の電子機器。
(２９)
　前記ディスプレイに、前記受光素子が備えられる領域を含むように動的なオブジェクトを表示する、
　(１)から(２７)のいずれかに記載の電子機器。
(３０)
　前記オブジェクトは、ユーザの指が触れると形状が変化する、
　(２９)に記載の電子機器。
(３１)
　前記オブジェクトは、ユーザの指が触れると発光状態が変化する、
　(２９)に記載の電子機器。
(３２)
　前記発光状態は、前記指紋情報の取得に適するように変化する、
　(３１)に記載の電子機器。
(３３)
　前記オブジェクトは、ユーザの指が通過した後、前記指紋情報の取得状況、又は、個人認証状況に基づいて動的に変化する、
　(２９)から(３２)のいずれかに記載の電子機器。
(３４)
　前記ディスプレイの水平方向からの傾きを検出する、傾き検出部、をさらに備え、
　前記前記傾き検出部の検出した傾きに基づいて、前記指紋情報の認証を実行する、
　(１)から(３３)のいずれかに記載の電子機器。
　本開示の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本開示の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
1：電子機器、
2：表示部、
3：カメラモジュール、
4：表示パネル、
5：円偏光板、
6：タッチパネル、
7：カバーガラス、
8：撮像部、
8a：光電変換部、8b：画素メモリ、
9：光学系、
10：情報処理部、
100：A/D変換部、101：クランプ部、102：色別出力部、103：欠陥補正部、104：リニアマトリックス部、105：フレームメモリ、106：認証部、107：出力部、108：速度検出部、補正量計算部109、
11：記憶部、

Claims (20)

  1. 　ディスプレイと、
    　光学指紋センサと、
    　を備え、
    　前記ディスプレイは、第1方向及び前記第1方向に交わる第2方向においてアレイ状に発光画素を有する表示面を備え、
    　前記光学指紋センサは、前記第1方向及び前記第2方向に交わる第3方向において、前記ディスプレイの前記表示面とは逆側に前記第1方向及び前記第2方向においてアレイ状に受光素子を有する撮像素子を備え、前記受光素子のそれぞれは、同じタイミングで光電変換された電荷を転送する、
    　電子機器。
  2. 　前記撮像素子は、それぞれの前記受光素子の受光情報を一時的に格納する画素メモリを備え、前記受光素子から前記画素メモリへの情報の転送は、同じタイミングで実行される、
    　請求項１に記載の電子機器。
  3. 　前記撮像素子が読み出した指紋情報の情報処理を実行する、情報処理部、
    　をさらに備える、請求項１に記載の電子機器。
  4. 　前記情報処理部は、少なくとも指のスワイプ動作を含む動作中に前記指紋情報を読み出す、
    　請求項３に記載の電子機器。
  5. 　前記ディスプレイに対する接触情報を感知する、タッチパネル、
    　をさらに備え、
    　前記タッチパネルにおいて、前記スワイプ動作の速度を推定する、
    　請求項４に記載の電子機器。
  6. 　前記情報処理部は、前記撮像素子が読み出した情報に基づいて前記スワイプ動作の速度を推定する、
    　請求項４に記載の電子機器。
  7. 　要求された認証精度に基づいて、前記スワイプ動作の速度をゆっくりとする指示を出力する、
    　請求項５に記載の電子機器。
  8. 　前記ディスプレイに、前記スワイプ動作の速度の指示を出力する、
    　請求項７に記載の電子機器。
  9. 　前記スワイプ動作の速度が速すぎることの出力は、前記ディスプレイへの出力、音での出力、又は、振動での出力のうち少なくとも1つである、
    　請求項８に記載の電子機器。
  10. 　前記情報処理部は、前記スワイプ動作の速度が所定の速度よりも速い場合に、前記光学指紋センサの露光時間を短くする、
    　請求項５に記載の電子機器。
  11. 　前記情報処理部は、異なる時間で撮像された前記指紋情報から、認証情報を生成する、
    　請求項４に記載の電子機器。
  12. 　前記発光画素は、前記受光素子の前記表示面の側において異なる波長の光を出力し、
    　前記受光素子は、異なる波長の反射光に基づいて前記指紋情報を取得する、
    　請求項１１に記載の電子機器。
  13. 　前記受光素子と前記表示面との間に偏光フィルタを備え、
    　前記受光素子は、前記偏光フィルタを介して偏光された光を感知する、
    　請求項１１に記載の電子機器。
  14. 　前記受光素子と前記表示面との間にヘモグロビンの状態を取得するフィルタを備え、
    　前記情報処理部は、前記ヘモグロビンの情報を取得して生体認証を行う、
    　請求項１１に記載の電子機器。
  15. 　前記情報処理部は、前記表示面に接触した指の時間的な形状変動の情報に基づいて生体認証を行う、
    　請求項１１に記載の電子機器。
  16. 　前記受光素子は、複数の指における前記スワイプ動作を検出する、
    　請求項４に記載の電子機器。
  17. 　前記情報処理部は、複数の指の前記スワイプ動作において、複数の指の組み合わせを用いた前記指紋情報に基づいて認証を実行する、
    　請求項１６に記載の電子機器。
  18. 　前記情報処理部は、認証を実行する間、又は、認証を実行していない時間において、指の情報を検出し、前記指紋情報を蓄積する、
    　請求項３に記載の電子機器。
  19. 　前記受光素子は、前記スワイプ動作の方向と交わる方向における素子数が、前記スワイプ動作の方向における素子数よりも多く備えられる、
    　請求項４に記載の電子機器。
  20. 　前記ディスプレイに、前記受光素子が備えられる領域を表示し、前記領域を通過するように商品の情報と、購買ボタンとを配置し、前記商品の情報から前記購買ボタンへと前記商品の情報を前記スワイプ動作することにより、前記商品の購買を可能とするインタフェース、
    　を備え、
    　前記指紋情報を用いた認証の結果に基づいて購買情報をサーバへと送信する、
    　請求項４に記載の電子機器。
PCT/JP2021/006197 2020-03-30 2021-02-18 電子機器 WO2021199769A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US17/802,442 US20230144032A1 (en) 2020-03-30 2021-02-18 Electronic equipment
JP2022511653A JPWO2021199769A1 (ja) 2020-03-30 2021-02-18
EP21781028.2A EP4131919A4 (en) 2020-03-30 2021-02-18 ELECTRONIC INSTRUMENT
KR1020227032597A KR20220159378A (ko) 2020-03-30 2021-02-18 전자기기

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-061485 2020-03-30
JP2020061485 2020-03-30

Publications (1)

Publication Number Publication Date
WO2021199769A1 true WO2021199769A1 (ja) 2021-10-07

Family

ID=77868352

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/006197 WO2021199769A1 (ja) 2020-03-30 2021-02-18 電子機器

Country Status (7)

Country Link
US (1) US20230144032A1 (ja)
EP (1) EP4131919A4 (ja)
JP (1) JPWO2021199769A1 (ja)
KR (1) KR20220159378A (ja)
CN (2) CN113468942A (ja)
TW (1) TW202207690A (ja)
WO (1) WO2021199769A1 (ja)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07334646A (ja) * 1994-06-08 1995-12-22 Nippon Telegr & Teleph Corp <Ntt> 指紋撮像装置
JP2008006146A (ja) * 2006-06-30 2008-01-17 Oki Electric Ind Co Ltd 指紋認証方法とその装置
JP2009064262A (ja) * 2007-09-06 2009-03-26 Mitsumi Electric Co Ltd 画像補正装置及び画像補正方法及びこれらを用いた指紋画像読取装置及び指紋画像読取方法
US20120258773A1 (en) 2011-04-07 2012-10-11 Apple Inc. Devices and methods for providing access to internal component
JP2015023250A (ja) * 2013-07-23 2015-02-02 ソニー株式会社 固体撮像素子及びその駆動方法、並びに電子機器
JP2017538225A (ja) * 2014-12-18 2017-12-21 フィンガープリント カーズ アーベー タッチセンサのデータを使用する指紋認証
US20180074627A1 (en) * 2016-09-13 2018-03-15 Samsung Electronics Co., Ltd. Electronic device including display emitting light to provide optics-based fingerprint detection
JP2019070790A (ja) * 2017-08-11 2019-05-09 イソルグ 画像センサを備えた表示システム
JP2019128961A (ja) * 2018-01-24 2019-08-01 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 指紋認識のための方法、電子装置及び格納媒体

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07334646A (ja) * 1994-06-08 1995-12-22 Nippon Telegr & Teleph Corp <Ntt> 指紋撮像装置
JP2008006146A (ja) * 2006-06-30 2008-01-17 Oki Electric Ind Co Ltd 指紋認証方法とその装置
JP2009064262A (ja) * 2007-09-06 2009-03-26 Mitsumi Electric Co Ltd 画像補正装置及び画像補正方法及びこれらを用いた指紋画像読取装置及び指紋画像読取方法
US20120258773A1 (en) 2011-04-07 2012-10-11 Apple Inc. Devices and methods for providing access to internal component
JP2015023250A (ja) * 2013-07-23 2015-02-02 ソニー株式会社 固体撮像素子及びその駆動方法、並びに電子機器
JP2017538225A (ja) * 2014-12-18 2017-12-21 フィンガープリント カーズ アーベー タッチセンサのデータを使用する指紋認証
US20180074627A1 (en) * 2016-09-13 2018-03-15 Samsung Electronics Co., Ltd. Electronic device including display emitting light to provide optics-based fingerprint detection
JP2019070790A (ja) * 2017-08-11 2019-05-09 イソルグ 画像センサを備えた表示システム
JP2019128961A (ja) * 2018-01-24 2019-08-01 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 指紋認識のための方法、電子装置及び格納媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4131919A4

Also Published As

Publication number Publication date
EP4131919A1 (en) 2023-02-08
JPWO2021199769A1 (ja) 2021-10-07
EP4131919A4 (en) 2023-08-23
CN215910907U (zh) 2022-02-25
US20230144032A1 (en) 2023-05-11
TW202207690A (zh) 2022-02-16
CN113468942A (zh) 2021-10-01
KR20220159378A (ko) 2022-12-02

Similar Documents

Publication Publication Date Title
KR101924916B1 (ko) 온-스크린 지문 감지를 위한 언더-스크린 광학 센서 모듈
CN108369135B (zh) 用于显示器中集成的光学传感器
US10410037B2 (en) Under-screen optical sensor module for on-screen fingerprint sensing implementing imaging lens, extra illumination or optical collimator array
CN108291838B (zh) 用于显示底板上的集成的光学传感器
US10410036B2 (en) Under-screen optical sensor module for on-screen fingerprint sensing
EP3352221A2 (en) Array substrate and fabricating method thereof, display panel, display apparatus, electronic device, computer program and recording medium
WO2017036079A1 (zh) 指纹识别元件、指纹识别方法、显示器件及显示装置
CN109471490B (zh) 嵌设有指纹感测器的平板显示器及其形成方法
US20210342566A1 (en) Under-display-type fingerprint authentication sensor module and under-display-type fingerprint authentication device
JP2022536253A (ja) アンダーディスプレイ画像センサ
CN110088769B (zh) 指纹采集的方法、系统和电子设备
US11210491B2 (en) Fingerprint sensor under a display module with tilted receiving optics
US20150022495A1 (en) Multi-Sensor Chip
US20220086378A1 (en) Electronic device and imaging method thereof
WO2021199768A1 (ja) 電子機器
WO2021199769A1 (ja) 電子機器
WO2021056318A1 (zh) 指纹识别的方法、装置和电子设备
US11418707B2 (en) Electronic device and notification method
EP4209940A1 (en) Electronic device
CN110543821A (zh) 纹路识别装置及其操作方法
CN111868736B (zh) 带有倾斜接收光学元件的显示模块下的指纹传感器
TW202349931A (zh) 使用用於形貌特徵認證之多視角影像感測器
JP6591837B2 (ja) 電子機器及びその赤外線センサ

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21781028

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022511653

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021781028

Country of ref document: EP

Effective date: 20221031