WO2022203330A1 - 전자 장치 및 그것의 지문 인식 방법 - Google Patents

전자 장치 및 그것의 지문 인식 방법 Download PDF

Info

Publication number
WO2022203330A1
WO2022203330A1 PCT/KR2022/003940 KR2022003940W WO2022203330A1 WO 2022203330 A1 WO2022203330 A1 WO 2022203330A1 KR 2022003940 W KR2022003940 W KR 2022003940W WO 2022203330 A1 WO2022203330 A1 WO 2022203330A1
Authority
WO
WIPO (PCT)
Prior art keywords
fingerprint
image
electronic device
fingerprint image
sensor
Prior art date
Application number
PCT/KR2022/003940
Other languages
English (en)
French (fr)
Inventor
김정후
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to EP22776031.1A priority Critical patent/EP4296977A1/en
Publication of WO2022203330A1 publication Critical patent/WO2022203330A1/ko
Priority to US18/469,081 priority patent/US20240029476A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/60—Static or dynamic means for assisting the user to position a body part for biometric acquisition
    • G06V40/67—Static or dynamic means for assisting the user to position a body part for biometric acquisition by interactive indications to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1365—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1643—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945—User interactive design; Environments; Toolboxes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction

Definitions

  • the present disclosure relates to an electronic device and a fingerprint recognition method of the electronic device.
  • Electronic devices such as smart phones, tablet PCs, portable multimedia players (PMPs), personal digital assistants (PDAs), laptop personal computers (Laptop PCs), and wearable devices that have been recently developed are
  • PMPs portable multimedia players
  • PDAs personal digital assistants
  • Laptop PCs laptop personal computers
  • wearable devices that have been recently developed are
  • various functions such as e-mail and social network service (SNS) in addition to phone calls and text messages can be provided.
  • SNS social network service
  • the electronic device may include a display, and may display screens related to functions based on the display.
  • the electronic device may recognize a fingerprint by a touch method using a fingerprint sensor disposed in the display.
  • the user may apply pressure to recognize the fingerprint.
  • the image projected on the fingerprint sensor may be distorted or deformed by the pressure applied thereto, and thus the fingerprint recognition rate of the electronic device may be reduced.
  • An electronic device and a method for recognizing a fingerprint of an electronic device have an object of improving a fingerprint recognition rate of the electronic device.
  • An electronic device includes a memory; fingerprint sensor; display module; and a processor operatively connected to the memory, the fingerprint sensor, and the display module, wherein the processor acquires a fingerprint image through the fingerprint sensor to perform a first fingerprint recognition operation, the first fingerprint recognition If this fails, the first fingerprint image is acquired until the touch release point for fingerprint recognition, and when the touch is released, it is determined whether the second fingerprint image has been acquired through the fingerprint sensor for a predetermined time, the predetermined time When the second fingerprint image is acquired during If the threshold is higher, the fingerprint may be recognized using the first fingerprint image or the second fingerprint image.
  • a fingerprint recognition method of an electronic device may include: acquiring a fingerprint image through the fingerprint sensor to perform a first fingerprint recognition operation; if the first fingerprint recognition fails, acquiring a first fingerprint image until a touch release point for fingerprint recognition; when the touch is released, determining whether a second fingerprint image is acquired through the fingerprint sensor for a predetermined time; determining whether the similarity between the first fingerprint image and the second fingerprint image is greater than or equal to a predetermined criterion when the second fingerprint image is acquired for the predetermined time; and recognizing a fingerprint using the first fingerprint image or the second fingerprint image when the similarity between the first fingerprint image and the second fingerprint image is greater than or equal to a predetermined criterion.
  • the electronic device and the fingerprint recognition method of the electronic device may additionally acquire a fingerprint image at a point in time when the user does not recognize it, thereby improving the fingerprint recognition rate.
  • FIG. 1 is a block diagram of an electronic device in a network environment according to various embodiments of the present disclosure
  • FIG. 2 is a diagram illustrating an example of an electronic device according to various embodiments.
  • FIG. 3 is a diagram illustrating an example of a usage scenario of a fingerprint sensor in an electronic device according to various embodiments of the present disclosure
  • FIGS. 4 and 5 are diagrams illustrating an example of a finger touch for fingerprint recognition in an electronic device according to various embodiments of the present disclosure.
  • FIG. 6 is a flowchart illustrating a method of recognizing a fingerprint of an electronic device according to various embodiments of the present disclosure.
  • FIG. 7 is a flowchart illustrating a fingerprint recognition method of an electronic device according to various embodiments of the present disclosure.
  • FIG. 8 is a flowchart illustrating a method of recognizing a fingerprint of an electronic device according to various embodiments of the present disclosure
  • FIG. 1 is a block diagram of an electronic device 101 in a network environment 100, according to various embodiments.
  • an electronic device 101 communicates with an electronic device 102 through a first network 198 (eg, a short-range wireless communication network) or a second network 199 . It may communicate with at least one of the electronic device 104 and the server 108 through (eg, a long-distance wireless communication network). According to an embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108 .
  • a first network 198 eg, a short-range wireless communication network
  • a second network 199 e.g., a second network 199
  • the electronic device 101 may communicate with the electronic device 104 through the server 108 .
  • the electronic device 101 includes a processor 120 , a memory 130 , an input module 150 , a sound output module 155 , a display module 160 , an audio module 170 , and a sensor module ( 176), interface 177, connection terminal 178, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196 , or an antenna module 197 .
  • at least one of these components eg, the connection terminal 178
  • some of these components are integrated into one component (eg, display module 160 ). can be
  • the processor 120 for example, executes software (eg, a program 140) to execute at least one other component (eg, a hardware or software component) of the electronic device 101 connected to the processor 120. It can control and perform various data processing or operations. According to one embodiment, as at least part of data processing or operation, the processor 120 converts commands or data received from other components (eg, the sensor module 176 or the communication module 190 ) to the volatile memory 132 . may be stored in , process commands or data stored in the volatile memory 132 , and store the result data in the non-volatile memory 134 .
  • software eg, a program 140
  • the processor 120 converts commands or data received from other components (eg, the sensor module 176 or the communication module 190 ) to the volatile memory 132 .
  • the volatile memory 132 may be stored in , process commands or data stored in the volatile memory 132 , and store the result data in the non-volatile memory 134 .
  • the processor 120 is a main processor 121 (eg, a central processing unit or processor) or a secondary processor 123 (eg, a graphics processing unit, a neural network processing unit (NPU) that can operate independently or together with the main processor 121 ). : neural processing unit), image signal processor, sensor hub processor, or communication processor).
  • main processor 121 e.g, a central processing unit or processor
  • secondary processor 123 e.g, a graphics processing unit, a neural network processing unit (NPU) that can operate independently or together with the main processor 121 ).
  • NPU neural network processing unit
  • the secondary processor 123 may, for example, act on behalf of the main processor 121 while the main processor 121 is in an inactive (eg, sleep) state, or when the main processor 121 is active (eg, executing an application). ), together with the main processor 121, at least one of the components of the electronic device 101 (eg, the display module 160, the sensor module 176, or the communication module 190) It is possible to control at least some of the related functions or states.
  • the coprocessor 123 eg, an image signal processor or a communication processor
  • may be implemented as part of another functionally related component eg, the camera module 180 or the communication module 190 ). have.
  • the auxiliary processor 123 may include a hardware structure specialized for processing an artificial intelligence model.
  • Artificial intelligence models can be created through machine learning. Such learning may be performed, for example, in the electronic device 101 itself on which the artificial intelligence model is performed, or may be performed through a separate server (eg, the server 108).
  • the learning algorithm may include, for example, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but in the above example not limited
  • the artificial intelligence model may include a plurality of artificial neural network layers.
  • Artificial neural networks include deep neural networks (DNNs), convolutional neural networks (CNNs), recurrent neural networks (RNNs), restricted boltzmann machines (RBMs), deep belief networks (DBNs), bidirectional recurrent deep neural networks (BRDNNs), It may be one of deep Q-networks or a combination of two or more of the above, but is not limited to the above example.
  • the artificial intelligence model may include, in addition to, or alternatively, a software structure in addition to the hardware structure.
  • the memory 130 may store various data used by at least one component (eg, the processor 120 or the sensor module 176 ) of the electronic device 101 .
  • the data may include, for example, input data or output data for software (eg, the program 140 ) and instructions related thereto.
  • the memory 130 may include a volatile memory 132 or a non-volatile memory 134 .
  • the program 140 may be stored as software in the memory 130 , and may include, for example, an operating system 142 , middleware 144 , or an application 146 .
  • the input module 150 may receive a command or data to be used by a component (eg, the processor 120 ) of the electronic device 101 from the outside (eg, a user) of the electronic device 101 .
  • the input module 150 may include, for example, a microphone, a mouse, a keyboard, a key (eg, a button), or a digital pen (eg, a stylus pen).
  • the sound output module 155 may output a sound signal to the outside of the electronic device 101 .
  • the sound output module 155 may include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback.
  • the receiver can be used to receive incoming calls. According to one embodiment, the receiver may be implemented separately from or as part of the speaker.
  • the display module 160 may visually provide information to the outside (eg, a user) of the electronic device 101 .
  • the display module 160 may include, for example, a control circuit for controlling a display, a hologram device, or a projector and a corresponding device.
  • the display module 160 may include a touch sensor configured to sense a touch or a pressure sensor configured to measure the intensity of a force generated by the touch.
  • the audio module 170 may convert a sound into an electric signal or, conversely, convert an electric signal into a sound. According to an embodiment, the audio module 170 acquires a sound through the input module 150 , or an external electronic device (eg, a sound output module 155 ) connected directly or wirelessly with the electronic device 101 .
  • the electronic device 102) eg, a speaker or headphones
  • the electronic device 102 may output a sound.
  • the sensor module 176 detects an operating state (eg, power or temperature) of the electronic device 101 or an external environmental state (eg, a user state), and generates an electrical signal or data value corresponding to the sensed state. can do.
  • the sensor module 176 may include, for example, a gesture sensor, a gyro sensor, a barometric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, It may include a temperature sensor, a humidity sensor, or an illuminance sensor.
  • the interface 177 may support one or more specified protocols that may be used by the electronic device 101 to directly or wirelessly connect with an external electronic device (eg, the electronic device 102 ).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • the connection terminal 178 may include a connector through which the electronic device 101 can be physically connected to an external electronic device (eg, the electronic device 102 ).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 may convert an electrical signal into a mechanical stimulus (eg, vibration or movement) or an electrical stimulus that the user can perceive through tactile or kinesthetic sense.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 may capture still images and moving images. According to an embodiment, the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 188 may manage power supplied to the electronic device 101 .
  • the power management module 188 may be implemented as, for example, at least a part of a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the electronic device 101 .
  • battery 189 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication module 190 is a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 101 and an external electronic device (eg, the electronic device 102, the electronic device 104, or the server 108). It can support establishment and communication performance through the established communication channel.
  • the communication module 190 may include one or more communication processors that operate independently of the processor 120 (eg, an application processor) and support direct (eg, wired) communication or wireless communication.
  • the communication module 190 is a wireless communication module 192 (eg, a cellular communication module, a short-range communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (eg, : It may include a local area network (LAN) communication module, or a power line communication module).
  • a wireless communication module 192 eg, a cellular communication module, a short-range communication module, or a global navigation satellite system (GNSS) communication module
  • GNSS global navigation satellite system
  • wired communication module 194 eg, : It may include a local area network (LAN) communication module, or a power line communication module.
  • a corresponding communication module among these communication modules is a first network 198 (eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 199 (eg, legacy It may communicate with the external electronic device 104 through a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (eg, a telecommunication network such as a LAN or a WAN).
  • a first network 198 eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)
  • a second network 199 eg, legacy It may communicate with the external electronic device 104 through a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (eg, a telecommunication network such as a LAN or a WAN).
  • a telecommunication network
  • the wireless communication module 192 uses subscriber information (eg, International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 196 within a communication network such as the first network 198 or the second network 199 .
  • subscriber information eg, International Mobile Subscriber Identifier (IMSI)
  • IMSI International Mobile Subscriber Identifier
  • the electronic device 101 may be identified or authenticated.
  • the wireless communication module 192 may support a 5G network after a 4G network and a next-generation communication technology, for example, a new radio access technology (NR).
  • NR access technology includes high-speed transmission of high-capacity data (eMBB (enhanced mobile broadband)), minimization of terminal power and access to multiple terminals (mMTC (massive machine type communications)), or high reliability and low latency (URLLC (ultra-reliable and low-latency) -latency communications)).
  • eMBB enhanced mobile broadband
  • mMTC massive machine type communications
  • URLLC ultra-reliable and low-latency
  • the wireless communication module 192 may support a high frequency band (eg, mmWave band) to achieve a high data rate, for example.
  • a high frequency band eg, mmWave band
  • the wireless communication module 192 uses various techniques for securing performance in a high-frequency band, for example, beamforming, massive multiple-input and multiple-output (MIMO), all-dimensional multiplexing. It may support technologies such as full dimensional MIMO (FD-MIMO), an array antenna, analog beam-forming, or a large scale antenna.
  • the wireless communication module 192 may support various requirements defined in the electronic device 101 , an external electronic device (eg, the electronic device 104 ), or a network system (eg, the second network 199 ).
  • the wireless communication module 192 may include a peak data rate (eg, 20 Gbps or more) for realizing eMBB, loss coverage (eg, 164 dB or less) for realizing mMTC, or U-plane latency for realizing URLLC ( Example: Downlink (DL) and uplink (UL) each 0.5 ms or less, or round trip 1 ms or less) can be supported.
  • a peak data rate eg, 20 Gbps or more
  • loss coverage eg, 164 dB or less
  • U-plane latency for realizing URLLC
  • the antenna module 197 may transmit or receive a signal or power to the outside (eg, an external electronic device).
  • the antenna module 197 may include an antenna including a conductor formed on a substrate (eg, a PCB) or a radiator formed of a conductive pattern.
  • the antenna module 197 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 198 or the second network 199 is connected from the plurality of antennas by, for example, the communication module 190 . can be selected. A signal or power may be transmitted or received between the communication module 190 and an external electronic device through the selected at least one antenna.
  • other components eg, a radio frequency integrated circuit (RFIC)
  • RFIC radio frequency integrated circuit
  • the antenna module 197 may form a mmWave antenna module.
  • the mmWave antenna module comprises a printed circuit board, an RFIC disposed on or adjacent to a first side (eg, bottom side) of the printed circuit board and capable of supporting a designated high frequency band (eg, mmWave band); and a plurality of antennas (eg, an array antenna) disposed on or adjacent to a second side (eg, top or side) of the printed circuit board and capable of transmitting or receiving signals of the designated high frequency band. can do.
  • peripheral devices eg, a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • GPIO general purpose input and output
  • SPI serial peripheral interface
  • MIPI mobile industry processor interface
  • the command or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199 .
  • Each of the external electronic devices 102 or 104 may be the same as or different from the electronic device 101 .
  • all or a part of operations executed in the electronic device 101 may be executed in one or more external electronic devices 102 , 104 , or 108 .
  • the electronic device 101 may perform the function or service itself instead of executing the function or service itself.
  • one or more external electronic devices may be requested to perform at least a part of the function or the service.
  • One or more external electronic devices that have received the request may execute at least a part of the requested function or service, or an additional function or service related to the request, and transmit a result of the execution to the electronic device 101 .
  • the electronic device 101 may process the result as it is or additionally and provide it as at least a part of a response to the request.
  • cloud computing, distributed computing, mobile edge computing (MEC), or client-server computing technology may be used.
  • the electronic device 101 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 104 may include an Internet of things (IoT) device.
  • the server 108 may be an intelligent server using machine learning and/or neural networks.
  • the external electronic device 104 or the server 108 may be included in the second network 199 .
  • the electronic device 101 may be applied to an intelligent service (eg, smart home, smart city, smart car, or health care) based on 5G communication technology and IoT-related technology.
  • FIG. 2 is a diagram illustrating an electronic device 101 according to various embodiments of the present disclosure.
  • the electronic device 101 includes a housing 210 , a display 220 (eg, the display module 160 of FIG. 1 ), a sound output module 230 (eg, the sound output module 155 of FIG. 1 ), and a sensor module. 260 (eg, sensor module 176 of FIG. 1 ), camera module 270 (eg, camera module 180 of FIG. 1 ), key input device 280 (eg, input module 150 of FIG. 1 ) )), an indicator 290 , and/or a fingerprint sensor 200 .
  • the electronic device 101 may omit at least one of the components (eg, the key input device 280 or the indicator 290 ) or additionally include other components.
  • a sensor module 260 including a proximity sensor and/or an illuminance sensor, a sound output module 230 , and/or a camera module 270 is a front surface of the electronic device 101 .
  • a plate eg, housing 210
  • various embodiments are not limited thereto.
  • the sensor module 260 , the sound output module 230 , and/or the camera module 270 are installed under the display 220 of the electronic device 101 (eg, under an under panel).
  • the sensor module 260 , the sound output module 230 , and/or the camera module 270 may include the display 220 on the front side of the housing 210 between the front side of the housing 210 and the rear side opposite to the front side. ), it may be disposed below the display 220 . In some embodiments, at least a portion of the sensor module 260 , the sound output module 230 , and/or the camera module 270 may be disposed on at least one region of the display 220 .
  • the sensor module 260 , the sound output module 230 , and/or the camera module 270 are disposed in a work space formed by the housing 210 of the electronic device 101 , and the housing 210 . ) exposed to the outside through at least one hole (or opening) formed in the ), or disposed in a space formed by the display 220 of the electronic device 101, and at least one hole (or opening) can be exposed to the outside.
  • the display 220 of the electronic device 101 may be implemented as a design (eg, a bezel-less display) having an increased area occupied on the front surface, and various components (eg, the sensor module 260 ) disposed on the front surface. ), the sound output module 230 and/or the camera module 270) are disposed between the display 220 and the back (eg, the second side) (or under the display 220), or the display 220 Can be placed inside.
  • a design eg, a bezel-less display
  • various components eg, the sensor module 260
  • the display 220 can be placed inside.
  • the electronic device 101 may be implemented to arrange various components between the display 220 and the rear surface (or the lower portion of the display 220 (eg, under panel)) in an under display sensor structure.
  • the electronic device 101 may have an in-display sensor structure such that various components are integrally formed with the display 220 to be formed in the display 220 .
  • the housing 210 may refer to an external portion surrounding the electronic device 101 .
  • the housing 210 may have a first surface (or front surface), a second surface (or rear surface) opposite the first surface, and a side surface (eg, a side surface) surrounding a space between the first surface and the second surface. absence) may be included.
  • the first surface may be formed by a substantially transparent front plate at least in part (eg, a glass plate including various coating layers, or a polymer plate).
  • the second surface may be formed by a substantially opaque back plate.
  • the back plate is, for example, coated or colored glass, ceramic, polymer, metal (eg, aluminum, stainless steel (STS), or magnesium), or It may be formed by a combination of at least two of the above materials.
  • the side surface is coupled to the front plate and the rear plate, and may be formed by a side bezel structure (or side member) including a metal and/or a polymer.
  • the display 220 (eg, the display module 160 of FIG. 1 ) may be disposed on a first surface (eg, a front plate) of the housing 210 and exposed to the outside. .
  • the display 220 is combined with a touch sensor (or a touch sensing circuit), a pressure sensor capable of measuring the intensity (pressure) of a touch, and/or a digitizer that detects a magnetic field type digital pen (eg, a stylus pen), or They may be disposed adjacent to each other.
  • the display 220 may be implemented in various forms including a liquid crystal display (LCD), an organic light emitting diode (OLED), or an active matrix OLED (AMOLED).
  • display 220 may be planar, curved, or a combination of planar and curved surfaces.
  • the display 220 may be made of a rigid material or a flexible material.
  • the display 220 may display various images (eg, moving images and/or still images) based on the control of the processor (eg, the processor 120 of FIG. 1 ).
  • the display 220 may emit light in at least a partial area to display an image or to acquire biometric information (eg, a fingerprint image).
  • the display 220 may include at least one light source (eg, a pixel) for emitting light.
  • At least one light source may be disposed on the display 220 in an array structure.
  • the at least one light source may include a light emitting device such as an organic light emitting diode (OLED) or a micro light emitting diode (LED).
  • the at least one light source may provide a designated light according to the control of the processor 120 or a display driver IC (DDI).
  • DPI display driver IC
  • the display 220 may include a touch sensor (not shown) to receive input by various external objects.
  • the touch sensor may be configured as an independent layer from the display panel of the display 220 or may be implemented as an integrated structure such as a display panel.
  • the touch sensor receives a contact touch input, which is a touch implemented by direct contact between an external object and the display 220, or a proximity input, which is a touch that is implemented by proximity (eg, hovering), without contact between the external object and the display 220. can do.
  • the sound output module 230 may include a speaker.
  • the speaker may include a receiver for a call.
  • the sound output module 230 is disposed at the edge of the bezel area of the electronic device 101 or an under panel speak using the display 220 (eg, OLED) as a diaphragm. may include.
  • the under-panel speaker may be placed under the display 220 and not visually visible.
  • the sensor module 260 may generate an electrical signal or data value corresponding to an internal operating state of the electronic device 101 or an external environmental state.
  • the sensor module 260 may include, for example, a first sensor module 240 (eg, a proximity sensor) and/or a second sensor module 250 (eg, an illuminance sensor) disposed on the first surface of the housing 210 . ), and/or a third sensor module (not shown) (eg, a fingerprint sensor) disposed on the second surface of the housing 210 .
  • the first sensor module 240 eg, a proximity sensor
  • the first sensor module 240 may include a light emitting unit 241 emitting infrared light and a light receiving unit 243 receiving infrared light reflected by an external object.
  • the second sensor module 250 eg, an illuminance sensor
  • the illumination eg, ambient light
  • the second sensor module 250 may measure the illuminance by measuring the amount of light through the pre-generated hole.
  • the camera module 270 includes a first camera module 270 disposed on a first surface of the electronic device 101, and/or a second camera module disposed on a second surface (not shown); and/or a flash (not shown).
  • the camera module 270 may include one or more lenses, an image sensor, and/or an image signal processor.
  • the flash may include, for example, a light emitting diode or a xenon lamp.
  • two or more lenses (eg, wide-angle and telephoto lenses) and image sensors may be disposed on one side of the electronic device 101 .
  • the key input device 280 may be disposed on a side surface of the housing 210 .
  • the electronic device 101 may not include some or all of the key input devices 280 , and the not included key input devices 280 may be displayed on the display 220 by other key input devices such as soft keys. It can be implemented in the form In another embodiment, the key input device 280 may be implemented using a touch sensor and/or a pressure sensor included in the display 220 .
  • indicator 290 may be disposed on a first side of housing 210 , for example.
  • the indicator 290 may provide, for example, state information of the electronic device 101 in the form of light.
  • the indicator 290 may be provided as an LED pilot lamp (or indicating lamp).
  • the indicator 290 may provide, for example, a light source linked to the operation of the camera module 270 .
  • the indicator 290 may include, for example, a light emitting device such as an LED, an IR LED, and/or a xenon lamp.
  • the electronic device 101 may include an input module (not shown) and/or a connector hole (not shown).
  • the input module may include a plurality of microphones disposed to detect the direction of sound.
  • the connector hole accommodates a first connector hole capable of accommodating a connector (eg, a USB connector) for transmitting and receiving power and/or data to and from an external electronic device, and/or a connector for transmitting and receiving audio signals to and from an external electronic device It may include a second connector hole (or earphone jack) that can do this.
  • the electronic device 101 includes a sensor module (eg, the sensor module 176 of FIG.
  • a gesture sensor that is not shown, for example, a gesture sensor, a gyro sensor, a barometric pressure sensor, a magnetic sensor, an acceleration sensor, It may further include at least one of a grip sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, a temperature sensor, and a humidity sensor.
  • a grip sensor a color sensor, an IR (infrared) sensor, a biometric sensor, a temperature sensor, and a humidity sensor.
  • IR infrared
  • the electronic device 101 may provide a fingerprint recognition (eg, a fingerprint on display (FOD) or in-display fingerprint) (hereinafter, referred to as 'display fingerprint recognition') function on the display 220 .
  • a fingerprint recognition eg, a fingerprint on display (FOD) or in-display fingerprint
  • the electronic device 101 is disposed between the display 220 and the second surface (or under the display 220 (eg, under panel)) (or the space formed by the housing 210 ) in a portion of the fingerprint sensor. 200 (eg, an in-display fingerprint sensor).
  • the fingerprint sensor 200 may be disposed between the display 220 positioned on the front surface (eg, the first surface) of the electronic device 101 and the rear surface (eg, the second surface).
  • the fingerprint sensor 200 includes a separate button (eg, a physical home button) at the bottom of the display 220 that is located on the first side of the housing 210 , and/or some area of the second side. It can be placed on a separate button of
  • the electronic device 101 may further include a button-type fingerprint sensor together with the in-display fingerprint sensor.
  • the fingerprint sensor 200 has an area corresponding to the entire surface (eg, a full surface) of the display 220 (eg, capable of supporting fingerprint recognition through the entire surface of the display 220 ). It can be implemented by including a full-scale fingerprint sensor.
  • the electronic device 101 may provide in-display fingerprint recognition based on the fingerprint sensor 200 .
  • in-display fingerprint recognition may be implemented such that the fingerprint sensor 200 is disposed under the display 220 (eg, an under panel) so that the fingerprint sensor 200 is not exposed to the outside.
  • the electronic device 101 disposes the fingerprint sensor 200 on the back side of the display (eg, at the bottom of the display panel), and touches (or touches) the fingerprint on the front side of the display (eg, the display surface (or screen)). can be recognized
  • the fingerprint sensor 200 may recognize a fingerprint input from a user.
  • the fingerprint sensor 200 may acquire an image (or fingerprint characteristic) of a finger fingerprint indicating a difference in characteristics unique to a user.
  • the fingerprint sensor 200 may include various configurations, such as an optical method, an ultrasonic method, a capacitive method (or a semiconductor method), a thermal method, a non-contact method, and/or a combination of these methods.
  • the optical method may be a method of acquiring a fingerprint image (or image) reflected by visible light.
  • the fingerprint sensor 200 emits light using at least one light source such as a pixel disposed on the display 220 , and the emitted light collects light reflected from an external object (eg, a finger). and detects the focused light to obtain a fingerprint image.
  • the fingerprint sensor 200 may include a light collecting element such as a lens, a micro lens, an optical fiber, a pinhole array or a collimator, and a light receiving element such as a photo diode.
  • the fingerprint sensor 200 may include a light collecting element (eg, a lens) and an image sensor generating a fingerprint image.
  • the ultrasound method may be a method of acquiring a fingerprint image using an ultrasound examination principle.
  • the capacitive method may be a method of acquiring a fingerprint image using a difference in capacitance.
  • the optical method may be a method of illuminating a platen with light and recognizing a reflected fingerprint image according to the shape of a fingertip placed on the platen.
  • the semiconductor method uses the electrical conductivity of the skin to read the special shape of the fingerprint in contact with the chip surface as an electrical signal when the fingertip is directly in contact with the chip surface.
  • the fingerprint sensor 200 may be configured as a touch sensor type. The touch sensor may arrange electrodes at intervals smaller than the size and interval of valleys and ridges of the fingerprint.
  • the fingerprint sensor 200 may be implemented as a swipe type or an area type.
  • the swipe type is a method of dragging the position of the fingerprint sensor 200 with a finger, and after sequentially recognizing a finger (ie, a fingerprint) dragged from a sensor electrode arranged in one dimension or linearly, post-processing It may be a method of synthesizing a two-dimensional fingerprint image through
  • the fixed area type may be a method of obtaining a two-dimensional fingerprint image while a finger is placed on a sensor arranged in two dimensions.
  • electrodes in the touch sensor for recognizing a fingerprint, electrodes may be disposed in one dimension or two dimensions.
  • FIG 3 is a diagram illustrating an example of a usage scenario of the fingerprint sensor 200 in the electronic device 101 according to various embodiments of the present disclosure.
  • a fingerprint recognition area that is, the fingerprint sensor 200 may be disposed on the display 220 .
  • the first surface of the housing 210 may include a screen display area formed as the display 220 is visually exposed.
  • the screen display area may include a fingerprint recognition area.
  • the meaning that the screen display area includes the fingerprint recognition area may be understood to mean that at least a portion of the fingerprint recognition area may be overlapped with the screen display area.
  • the fingerprint recognition area may refer to an area in which visual information may be displayed by the display 220 like other areas of the screen display area and may additionally obtain user's fingerprint information.
  • the display 220 may be in at least one of a power saving state, an inactive state, a sleep state, and/or a dimming state.
  • the electronic device 101 detects a touch on the display 220 or , when an input to a physical button is detected, or an input by the sensor module 176 is detected, a lock screen may be displayed.
  • an indicating object 300 eg, a fingerprint image object and/or a guide text object
  • the user may display the indicating object 300 on the screen 310 (eg, the lock screen) on which the indicating object 300 for fingerprint recognition is displayed through the display 220 of the electronic device 101, the indicating object ( 300) by touching a finger to perform fingerprint recognition.
  • fingerprint recognition may be performed based on a swipe type or a fixed area type in the fingerprint recognition area corresponding to the indicating object 300 .
  • performing fingerprint recognition on the display 220 may perform fingerprint recognition when a long touch (eg, long touch) of the fingerprint recognition area (eg, on the indicating object 300 area) of the display 220 is performed. can be done
  • the electronic device 101 when a touch input is detected (eg, a measurement value provided from the touch sensor is detected) through the fingerprint recognition area corresponding to the indicating object 300 , the electronic device 101 detects the fingerprint sensor 200 . It is possible to acquire a fingerprint image through and analyze the acquired fingerprint image.
  • a touch input eg, a measurement value provided from the touch sensor is detected
  • the electronic device 101 detects the fingerprint sensor 200 . It is possible to acquire a fingerprint image through and analyze the acquired fingerprint image.
  • the electronic device 101 determines that the fingerprint image is a complete image (eg, a fingerprint image when the user fully recognizes the fingerprint through the fingerprint sensor 200) based on the fingerprint image analysis result. In this case, as shown in operation 303, an operation related to unlocking the lock screen may be processed through fingerprint recognition.
  • the electronic device 101 determines that the fingerprint image is a complete image (eg, a fingerprint image when the user fully recognizes the fingerprint through the fingerprint sensor 200) based on the fingerprint image analysis result.
  • a guide text object related to fingerprint recognition success may be displayed through the user interface.
  • the electronic device 101 may perform authentication based on a fingerprint image acquired through the fingerprint sensor 200 , and the lock screen is released based on an authentication result (eg, authentication success) according to fingerprint recognition.
  • screen 320 eg, a home screen or an application execution screen
  • the electronic device 101 may perform authentication based on a fingerprint image acquired through the fingerprint sensor 200 , and the lock screen is released based on an authentication result (eg, authentication success) according to fingerprint recognition.
  • screen 320 eg, a home screen or an application execution screen
  • a region eg, the fingerprint sensor 200
  • a guide text object for performing (or guiding) fingerprint recognition and/or a guide text object 330 regarding a fingerprint recognition failure
  • the indicating object 300 may be displayed while the fingerprint mode (or fingerprint recognition function) is activated, for example, and may not be displayed while the fingerprint mode is deactivated.
  • a fingerprint mode or a fingerprint recognition mode may be used as a term including a fingerprint enrollment mode and a fingerprint input mode.
  • the fingerprint registration mode may be a mode in which an initial fingerprint is registered in the electronic device 101 .
  • the electronic device 101 stores the fingerprint image acquired in the fingerprint registration mode in a designated area (or security area) of the memory 130 (eg, a slot designated for fingerprint information registration) (or register or set).
  • a designated area e.g, a slot designated for fingerprint information registration
  • the electronic device 101 may separately set a security area in the memory 130 to enhance the security of fingerprint information, and the security area may include an embedded security chip or an embedded secure element (eg, eSE, embedded secure element). ) can be implemented.
  • the fingerprint input mode is a mode in which a fingerprint is input in order to perform a specified function (eg, an unlock function or a fingerprint-based user authentication function) in a state in which the fingerprint is registered, and the electronic device 101 receives the input
  • a specified function eg, an unlock function or a fingerprint-based user authentication function
  • the electronic device 101 may measure the similarity based on a comparison of a fingerprint feature extracted from an input fingerprint image and a fingerprint feature extracted from a fingerprint image stored (or registered) in a designated area of the memory 130 .
  • the electronic device 101 determines that the input fingerprint and the registered fingerprint are similar fingerprints, It may be determined that the fingerprint recognition has been successful.
  • FIGS. 4 and 5 are diagrams illustrating an example of a finger touch for fingerprint recognition in an electronic device according to various embodiments of the present disclosure.
  • FIG. 4 may show an example of scanning a fingerprint with a fingertip
  • FIG. 5 may show an example of scanning a fingerprint with the entire finger.
  • the user may perform a fingerprint input using a touch method as shown in FIG. 4 or FIG. 5 in order to recognize a fingerprint.
  • the electronic device 101 may scan a finger to recognize a user's fingerprint.
  • the electronic device 101 may set the emission light of the display 220 in response to a contact between an object (eg, a finger) and the display 220 under the control of the processor 120 .
  • the processor 120 may set a position, intensity, pattern, and/or timing at which light is emitted from the display 220 . For example, if the object is a user's finger, and when fingerprint measurement is started, the processor 120 performs fingerprint information or contact information (eg, contact position, contact area, and contact) from a touch sensor disposed on the display 220 . strength), you can set the measurement range of the fingerprint.
  • the processor 120 may control the display 220 to operate at least one light source corresponding to the measurement range.
  • the electronic device 101 receives a fingertip 410 (eg, a finger edge portion) (eg, a touch input having a relatively small area) according to a user input (or touch input) as illustrated in FIG. 4 . ) can be scanned based on a fingertip 410 (eg, a finger edge portion) (eg, a touch input having a relatively small area) according to a user input (or touch input) as illustrated in FIG. 4 . ) can be scanned based on a fingertip 410 (eg, a finger edge portion) (eg, a touch input having a relatively small area) according to a user input (or touch input) as illustrated in FIG. 4 . ) can be scanned based on a fingertip 410 (eg, a finger edge portion) (eg, a touch input having a relatively small area) according to a user input (or touch input) as illustrated in FIG. 4 . ) can be scanned based on a fingertip 410 (eg,
  • the finger area 420 eg, relatively wide A touch input having an area
  • the finger area 420 can be used to scan.
  • the electronic device 101 under the control of the processor 120, corresponds to a contact between an object (eg, a finger) and the display 220, the area on the display 220 touched by the finger, the display ( One surface of 220 , the fingerprint sensor 200 disposed under the display 220 may be activated.
  • an object eg, a finger
  • the display One surface of 220 , the fingerprint sensor 200 disposed under the display 220 may be activated.
  • the processor 120 activates the fingerprint sensor 200 while emitting light from the display 220 to detect the light reflected from the finger.
  • the fingerprint sensor 200 may generate sensing data (eg, a sensing value corresponding to a fingerprint image) based on the detected reflected light.
  • the fingerprint sensor 200 may provide the processor 120 with sensing data generated based on an amount of light reflected from a finger among the light emitted from the display 220 .
  • the processor 120 may set the display 220 to emit light until all areas corresponding to the fingerprint measurement area are scanned. When the measurement of the area corresponding to the fingerprint measurement range is finished, the processor 120 may form the shape of the user's fingerprint in the fingerprint sensing area as an image based on the stored sensing data.
  • a finger when a user inputs a fingerprint, a finger enters an area where the fingerprint sensor 200 is located from a predetermined direction (eg, enters from the bottom of the electronic device 101 , or enters from a side of the electronic device 101 ) After doing this, the area in which the fingerprint sensor 200 is located may be input as a swipe type, or as a fixed area type in which a finger is placed on the area where the fingerprint sensor 200 is located for a predetermined period of time.
  • the electronic device 101 may not operate with respect to a touch input by the touch sensor while waiting for fingerprint recognition for fingerprint recognition based on the fingerprint sensor 200 . For example, while the user inputs a touch input to the area where the fingerprint sensor 200 is located and the electronic device 101 performs fingerprint sensing in response to the touch input, an operation (or function) related to the touch input is not performed. it may not be
  • FIG. 6 is a flowchart illustrating a fingerprint recognition method of the electronic device 101 according to various embodiments of the present disclosure.
  • the electronic device 101 may perform a first fingerprint recognition operation using the fingerprint sensor 200 in operation 601 under the control of the processor 120 .
  • the fingerprint sensor 200 may be an in-display type sensor disposed on the display module 160 .
  • the electronic device 101 displays an indicator for performing (or guiding) fingerprint recognition in an area (eg, an area in which the fingerprint sensor 200 is disposed) on the lock screen 310 being displayed.
  • a texting object 300 eg, a fingerprint image object and/or a guide text object may be provided.
  • the display module 160 may be in a first state or a second state.
  • the first state may be a state in which a lock screen is displayed
  • the second state may be at least one of a power saving state, an inactive state, a sleep state, and/or a dimming state.
  • the electronic device 101 may switch to the first state for first fingerprint recognition.
  • the electronic device 101 may turn on the light source for a predetermined time for the first fingerprint recognition.
  • the fingerprint sensor 200 may illuminate a platen with light as an optical type, and may acquire and/or recognize a reflected fingerprint image according to a fingerprint shape of a fingertip placed on the platen.
  • the electronic device 101 displays a fingerprint image from a point in time when a hovering input is detected on the display module 160 to perform the first fingerprint recognition operation in operation 601 under the control of the processor 120 .
  • the electronic device 101 may acquire a fingerprint image to perform a first fingerprint recognition operation in operation 601 under the control of the processor 120 .
  • the electronic device 101 when acquiring a fingerprint image to perform the first fingerprint recognition operation, the electronic device 101, under the control of the processor 120 , information about the angle of the fingerprint and information about a change in the position of the finger , information about skin color, width information such as fingerprint ridges and valleys, information about a time or frame at which the fingerprint image disappears, and/or information about a position where a finger is touched on the display module 160 . At least one or more can be obtained.
  • the electronic device 101 may determine whether the first fingerprint recognition using the fingerprint sensor 200 has failed.
  • the electronic device 101 may branch from operation 603 to operation 605 under the control of the processor 120 .
  • the electronic device 101 may release the lock screen.
  • the electronic device 101 may acquire the first fingerprint image until the touch release point in operation 605 under the control of the processor 120 .
  • the touch release time may be from a time when the first fingerprint recognition fails to a time when the user releases the touch from the fingerprint sensor 200 .
  • the time point at which the first fingerprint recognition fails is determined as a recognition failure by comparing the fingerprint image acquired through the first fingerprint recognition operation and the registered fingerprint image, and the fingerprint recognition failure is displayed on the display module 160 It may be a time point at which the guide text object 330 is displayed.
  • the electronic device 101 turns on the light source of the display 220 even after the first fingerprint recognition fails to acquire the first fingerprint image. can keep
  • the first fingerprint image may be a plurality of fingerprint images acquired at predetermined time intervals through the fingerprint sensor 200 .
  • the electronic device 101 may, under the control of the processor 120 , include information about an angle of a fingerprint, information about a change in position of a finger, information about a skin color, It is possible to obtain at least one or more of width information such as fingerprint ridges and valleys, information about a time or frame at which the fingerprint image disappears, and/or information about a location where a finger is touched on the display module 160 . have.
  • the electronic device 101 may determine whether the first fingerprint recognition touch is released.
  • the electronic device 101 may branch from operation 607 to operation 609 under the control of the processor 120 .
  • the electronic device 101 may branch from operation 607 to operation 605 under the control of the processor 120 .
  • the electronic device 101 may determine whether the second fingerprint image has been acquired through the fingerprint sensor 200 for a predetermined time period.
  • the second fingerprint image is a plurality of images acquired by the electronic device 101 at predetermined time intervals through the fingerprint sensor 200 to perform a second fingerprint recognition operation under the control of the processor 120 . It may be a fingerprint image.
  • the electronic device 101 may keep the light source of the fingerprint sensor 200 turned on for a predetermined time to acquire the second fingerprint image.
  • the electronic device 101 may acquire the second fingerprint image from a point in time when a hovering input is sensed on the display module 160 to acquire the second fingerprint image.
  • the electronic device 101 displays the second fingerprint image from a point in time when a hovering input is detected on the display module 160 and the user's fingerprint approaches the display module 160 to acquire the second fingerprint image. can be obtained
  • the electronic device 101 when acquiring the second fingerprint image through the fingerprint sensor 200 for a predetermined time period, displays a user interface for inducing a user's fingerprint contact for a predetermined time period. It may be displayed on the display module 160 .
  • the user interface for inducing the user's fingerprint contact may be, for example, at least one of a number count, a picture change of a screen, or an animation effect.
  • the electronic device 101 calculates a time for retrying the fingerprint input if the user fails to recognize the fingerprint. can Under the control of the processor 120 , the electronic device 101 may determine a predetermined time for acquiring the second fingerprint image based on the time the user attempts to input a fingerprint again when fingerprint recognition fails. The predetermined time may be updated by the electronic device 101 learning a user pattern under the control of the processor 120 .
  • the electronic device 101 when acquiring the second fingerprint image, includes information about an angle of a fingerprint, information about a change in a position of a finger, information about a skin color, It is possible to obtain at least one or more of width information such as fingerprint ridges and valleys, information about a time or frame at which the fingerprint image disappears, and/or information about a location where a finger is touched on the display module 160 . have.
  • the electronic device 101 branches from operation 609 to operation 611 under the control of the processor 120 .
  • the electronic device 101 branches from operation 609 to operation 617 under the control of the processor 120 . can do.
  • the electronic device 101 may determine the similarity between the first fingerprint image and the second fingerprint image in operation 611 under the control of the processor 120 .
  • the first fingerprint image may be an image acquired until the touch release point after the first fingerprint recognition failure
  • the second fingerprint image may be an image acquired for a predetermined time after the touch release.
  • the electronic device 101 may determine whether the degree of similarity between the first fingerprint image and the second fingerprint image is equal to or greater than a predetermined criterion.
  • the electronic device 101 may branch from operation 613 to operation 615 under the control of the processor 120 . .
  • the electronic device 101 may branch from operation 613 to operation 617 under the control of the processor 120 . .
  • the electronic device 101 may recognize a fingerprint using the first fingerprint image and/or the second fingerprint image in operation 615 under the control of the processor 120 .
  • the electronic device 101 may recognize a fingerprint by selecting an image having an image quality equal to or higher than a predetermined quality from among the first fingerprint image or the second fingerprint image in operation 615 under the control of the processor 120 . have.
  • the electronic device 101 may select an image having a better image quality from the first fingerprint image or the second fingerprint image to recognize the fingerprint.
  • the electronic device 101 may perform a second fingerprint recognition operation using the fingerprint sensor 200 in operation 617 under the control of the processor 120 .
  • the second fingerprint recognition operation may be similar to the first fingerprint recognition operation.
  • the electronic device 101 discards the first fingerprint image acquired in operation 605 and acquires a new fingerprint image using the fingerprint sensor 200 in operation 617 under the control of the processor 120 .
  • a second fingerprint recognition operation may be performed.
  • FIG. 7 is a flowchart illustrating a fingerprint recognition method of the electronic device 101 according to various embodiments of the present disclosure.
  • the electronic device 101 may perform a fingerprint recognition operation using the fingerprint sensor 200 in operation 701 under the control of the processor 120 .
  • the fingerprint sensor 200 may be an in-display type sensor disposed on the display module 160 .
  • the electronic device 101 acquires a fingerprint image from a point in time when a hovering input is detected on the display module 160 to perform a fingerprint recognition operation in operation 701 under the control of the processor 120 .
  • the electronic device 101 may acquire a fingerprint image to perform a fingerprint recognition operation in operation 701 under the control of the processor 120 .
  • the electronic device 101 when acquiring a fingerprint image to perform a fingerprint recognition operation in operation 701 under the control of the processor 120 , the electronic device 101 responds to information about the angle of the fingerprint and a change in the position of the finger. information about skin color, width information such as fingerprint ridges and valleys, information about the time or frame at which the fingerprint image disappears, and/or information about the position where a finger is touched on the display module 160 At least one or more of the information may be obtained.
  • the electronic device 101 may determine whether fingerprint recognition using the fingerprint sensor 200 has failed in operation 703 under the control of the processor 120 .
  • the electronic device 101 may branch from operation 703 to operation 705 under the control of the processor 120 .
  • the electronic device 101 may branch from operation 703 to operation 719 under the control of the processor 120 .
  • the electronic device 101 displays, through the display module 160 , and/or unlocks the user interface according to the successful fingerprint recognition using the fingerprint sensor 200 in operation 719 under the control of the processor 120 .
  • the electronic device 101 may display a user interface according to a fingerprint recognition failure through the display module 160 .
  • the user interface according to fingerprint recognition success or fingerprint recognition failure may include a guide text object (not shown) regarding fingerprint recognition success or a guide text object 330 regarding fingerprint recognition failure.
  • the electronic device 101 may acquire the first fingerprint image until the touch release point in operation 707 under the control of the processor 120 .
  • the touch release time may be a time from when the first fingerprint recognition fails to a time when the user releases the touch from the fingerprint sensor 200 .
  • the first fingerprint image may be a plurality of fingerprint images acquired at predetermined time intervals through the fingerprint sensor 200 .
  • the electronic device 101 when acquiring the first fingerprint image, may, under the control of the processor 120 , include information about an angle of a fingerprint, information about a change in a position of a finger, information about a skin color, It is possible to obtain at least one or more of width information such as fingerprint ridges and valleys, information about a time or frame at which the fingerprint image disappears, and/or information about a location where a finger is touched on the display module 160 . have.
  • the electronic device 101 may determine whether the touch for fingerprint recognition is released in operation 709 under the control of the processor 120 .
  • the electronic device 101 may branch from operation 709 to operation 711 under the control of the processor 120 .
  • the electronic device 101 may branch from operation 709 to operation 707 under the control of the processor 120 .
  • the electronic device 101 may determine whether the second fingerprint image has been acquired through the fingerprint sensor 200 for a predetermined time period.
  • the second fingerprint image may be a plurality of fingerprint images acquired at predetermined time intervals through the fingerprint sensor 200 .
  • the electronic device 101 may keep the light source of the fingerprint sensor 200 turned on for a predetermined time to acquire the second fingerprint image.
  • the electronic device 101 may acquire the second fingerprint image from a point in time when a hovering input is sensed on the display module 160 to acquire the second fingerprint image.
  • the electronic device 101 displays the second fingerprint image from a point in time when a hovering input is detected on the display module 160 and the user's fingerprint approaches the display module 160 to acquire the second fingerprint image. can be obtained
  • the electronic device 101 when acquiring the second fingerprint image through the fingerprint sensor 200 for a predetermined time period, displays a user interface for inducing a user's fingerprint contact for a predetermined time period. It may be displayed on the display module 160 .
  • the user interface for inducing the user's fingerprint contact may be, for example, at least one of a number count, a picture change of a screen, or an animation effect.
  • the electronic device 101 may calculate a time for retrying when the user fails to recognize the fingerprint. Under the control of the processor 120 , the electronic device 101 may determine a predetermined time for acquiring the second fingerprint image based on a time for retrying when the user fails to recognize the fingerprint. The predetermined time may be updated by the electronic device 101 learning a user pattern under the control of the processor 120 .
  • the electronic device 101 when acquiring the second fingerprint image, includes information about an angle of a fingerprint, information about a change in a position of a finger, information about a skin color, It is possible to obtain at least one or more of width information such as fingerprint ridges and valleys, information about a time or frame at which the fingerprint image disappears, and/or information about a location where a finger is touched on the display module 160 . have.
  • the electronic device 101 branches from operation 711 to operation 713 under the control of the processor 120 .
  • the electronic device 101 branches from operation 711 to operation 721 under the control of the processor 120 . can do.
  • the electronic device 101 may determine the similarity between the first fingerprint image and the second fingerprint image in operation 713 under the control of the processor 120 .
  • the first fingerprint image may be an image acquired until the touch release point after the first fingerprint recognition failure
  • the second fingerprint image may be an image acquired for a predetermined time after the touch release.
  • the electronic device 101 may determine whether the similarity between the first fingerprint image and the second fingerprint image is equal to or greater than a predetermined criterion.
  • the electronic device 101 may branch from operation 715 to operation 717 under the control of the processor 120 . .
  • the electronic device 101 may branch from operation 715 to operation 721 under the control of the processor 120 . .
  • the electronic device 101 may recognize a fingerprint using the first fingerprint image and/or the second fingerprint image in operation 717 under the control of the processor 120 .
  • the electronic device 101 may recognize a fingerprint by selecting an image having an image quality equal to or higher than a predetermined quality from among the first fingerprint image or the second fingerprint image in operation 717 under the control of the processor 120 . have.
  • the electronic device 101 may select an image having a better image quality from the first fingerprint image or the second fingerprint image to recognize the fingerprint.
  • the electronic device 101 may perform a new fingerprint recognition operation using the fingerprint sensor 200 in operation 721 under the control of the processor 120 .
  • the new fingerprint recognition operation in operation 721 may be similar to the fingerprint recognition operation in operation 701 .
  • the electronic device 101 discards the first fingerprint image acquired in operation 709 in operation 721 and acquires a new fingerprint image using the fingerprint sensor 200 in operation 721 under the control of the processor 120 .
  • a new fingerprint recognition operation may be performed.
  • FIG. 8 is a flowchart illustrating a fingerprint recognition method of the electronic device 101 according to various embodiments of the present disclosure.
  • the electronic device 101 may determine whether the display module 160 is in the first state in operation 1001 under the control of the processor 120 .
  • the electronic device 101 may branch from operation 1001 to operation 1003 under the control of the processor 120 .
  • the electronic device 101 may branch from operation 1001 to operation 1015 under the control of the processor 120 .
  • the display module 160 may be in a first state or a second state.
  • the first state may be a state in which a lock screen is displayed
  • the second state may be at least one of a power saving state, an inactive state, a sleep state, and/or a dimming state.
  • the electronic device 101 may change the display module 160 from the second state to the first state in operation 1015 under the control of the processor 120 and branch to operation 1003 .
  • an indicating object 300 (eg, a fingerprint image object and/or a guide text object) to perform (or guide) fingerprint recognition. ) may be displayed on the display module 160 .
  • the electronic device 101 may determine whether a touch for fingerprint recognition is detected in operation 1005 under the control of the processor 120 .
  • the electronic device 101 may branch from operation 1005 to operation 1007 under the control of the processor 120 .
  • the electronic device 101 may branch from operation 1005 to operation 1003 under the control of the processor 120 .
  • the electronic device 101 may acquire a fingerprint image using the fingerprint sensor 200 when a touch for fingerprint recognition is detected.
  • the electronic device 101 may recognize a fingerprint based on the acquired fingerprint image in operation 1009 under the control of the processor 120 .
  • the electronic device 101 may perform a fingerprint recognition operation by comparing a pre-registered fingerprint image based on the acquired fingerprint image in operation 1009 under the control of the processor 120 .
  • the electronic device 101 may determine whether fingerprint recognition is successful.
  • the electronic device 101 compares a pre-registered fingerprint image based on the acquired fingerprint image to confirm whether fingerprint recognition succeeds. For example, under the control of the processor 120 , when the pre-registered fingerprint image and the acquired fingerprint image are similar to each other by more than a predetermined criterion, the electronic device 101 may determine that fingerprint recognition has been successful. For example, when the pre-registered fingerprint image and the acquired fingerprint image are similar to each other by less than a predetermined criterion under the control of the processor 120 , the electronic device 101 may determine that fingerprint recognition has failed.
  • the electronic device 101 may display a user interface according to success or failure of fingerprint recognition in operation 1013 under the control of the processor 120 .
  • the user interface may include a guide text object about fingerprint recognition success or a guide text object about fingerprint recognition failure.
  • the electronic device may have various types of devices.
  • the electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance device.
  • a portable communication device eg, a smart phone
  • a computer device e.g., a smart phone
  • a portable multimedia device e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a wearable device e.g., a smart bracelet
  • a home appliance device e.g., a home appliance
  • first, second, or first or second may simply be used to distinguish an element from other elements in question, and may refer elements to other aspects (e.g., importance or order) is not limited. It is said that one (eg, first) component is “coupled” or “connected” to another (eg, second) component, with or without the terms “functionally” or “communicatively”. When referenced, it means that one component can be connected to the other component directly (eg by wire), wirelessly, or through a third component.
  • module used in various embodiments of this document may include a unit implemented in hardware, software, or firmware, and is interchangeable with terms such as, for example, logic, logic block, component, or circuit.
  • a module may be an integrally formed part or a minimum unit or a part of the part that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present document include one or more instructions stored in a storage medium (eg, internal memory 136 or external memory 138) readable by a machine (eg, electronic device 101).
  • a storage medium eg, internal memory 136 or external memory 138
  • the processor eg, the processor 120
  • the device eg, the electronic device 101
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' only means that the storage medium is a tangible device and does not contain a signal (eg, electromagnetic wave), and this term is used in cases where data is semi-permanently stored in the storage medium and It does not distinguish between temporary storage cases.
  • a signal eg, electromagnetic wave
  • the method according to various embodiments disclosed in this document may be provided in a computer program product (computer program product).
  • Computer program products may be traded between sellers and buyers as commodities.
  • the computer program product is distributed in the form of a machine-readable storage medium (eg compact disc read only memory (CD-ROM)), or through an application store (eg Play StoreTM) or on two user devices ( It can be distributed (eg downloaded or uploaded) directly, online between smartphones (eg: smartphones).
  • a portion of the computer program product may be temporarily stored or temporarily created in a machine-readable storage medium such as a memory of a server of a manufacturer, a server of an application store, or a relay server.
  • each component eg, a module or a program of the above-described components may include a singular or a plurality of entities, and some of the plurality of entities may be separately disposed in other components. have.
  • one or more components or operations among the above-described corresponding components may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg, a module or a program
  • the integrated component may perform one or more functions of each component of the plurality of components identically or similarly to those performed by the corresponding component among the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component are executed sequentially, in parallel, repeatedly, or heuristically, or one or more of the operations are executed in a different order, or omitted. , or one or more other operations may be added.

Abstract

전자 장치는 메모리; 지문 센서; 디스플레이 모듈; 및 상기 메모리, 상기 지문 센서 및 상기 디스플레이 모듈과 작동적으로 연결된 프로세서를 포함하고, 상기 프로세서는, 제 1 지문 인식 동작을 수행하기 위해 상기 지문 센서를 통해 지문 이미지를 획득하고, 상기 제 1 지문 인식이 실패하면, 지문 인식을 위한 터치 해제 시점까지 제 1 지문 이미지를 획득하고, 터치가 해제되면, 미리 정해진 시간 동안 상기 지문 센서를 통해 제 2 지문 이미지를 획득했는지 여부를 판단하며, 상기 미리 정해진 시간 동안 상기 제 2 지문 이미지를 획득하면, 상기 제 1 지문 이미지와 상기 제 2 지문 이미지의 유사도가 미리 정해진 기준 이상인지 여부를 판단하고, 상기 제 1 지문 이미지와 상기 제 2 지문 이미지의 유사도가 미리 정해진 기준 이상이면, 상기 제 1 지문 이미지 또는 상기 제 2 지문 이미지를 이용하여 지문을 인식할 수 있다.

Description

전자 장치 및 그것의 지문 인식 방법
본 개시는 전자 장치 및 전자 장치의 지문 인식 방법에 관한 것이다.
최근 개발되는 스마트 폰(smart phone), 태블릿 PC(Tablet PC), PMP(Portable Multimedia Player), PDA(Personal Digital Assistant), 랩탑 PC(Laptop Personal Computer) 및 웨어러블 기기(Wearable device)와 같은 전자 장치는 이동성(mobility)뿐만 아니라 전화, 문자 메시지 외 이메일, SNS(social network service)와 같은 다양한 기능을 제공할 수 있다.
전자 장치는 디스플레이(display)를 구비하며, 디스플레이에 기반하여 기능들에 관련된 화면을 표시할 수 있다. 전자 장치는 디스플레이 내에 배치되는 지문 센서를 이용하여 터치 방식으로 지문을 인식할 수 있다.
전자 장치의 디스플레이 내에 배치되는 지문 센서를 이용하여 터치 방식으로 지문을 인식하는 경우, 지문 인식을 위하여 사용자가 압력을 가할 수 있다. 이때, 밀착되는 압력에 의해 지문센서에 투영되는 이미지가 왜곡이나 변형이 발생하여, 전자 장치의 지문 인식률이 저하될 수 있다.
본 개시의 다양한 실시예에 따른 전자 장치 및 전자 장치의 지문 인식 방법은 전자 장치의 지문 인식률을 향상하는데 목적이 있다.
본 개시의 다양한 실시예에 따른 전자 장치는 메모리; 지문 센서; 디스플레이 모듈; 및 상기 메모리, 상기 지문 센서 및 상기 디스플레이 모듈과 작동적으로 연결된 프로세서를 포함하고, 상기 프로세서는, 제 1 지문 인식 동작을 수행하기 위해 상기 지문 센서를 통해 지문 이미지를 획득하고, 상기 제 1 지문 인식이 실패하면, 지문 인식을 위한 터치 해제 시점까지 제 1 지문 이미지를 획득하고, 터치가 해제되면, 미리 정해진 시간 동안 상기 지문 센서를 통해 제 2 지문 이미지를 획득했는지 여부를 판단하며, 상기 미리 정해진 시간 동안 상기 제 2 지문 이미지를 획득하면, 상기 제 1 지문 이미지와 상기 제 2 지문 이미지의 유사도가 미리 정해진 기준 이상인지 여부를 판단하고, 상기 제 1 지문 이미지와 상기 제 2 지문 이미지의 유사도가 미리 정해진 기준 이상이면, 상기 제 1 지문 이미지 또는 상기 제 2 지문 이미지를 이용하여 지문을 인식할 수 있다.
본 개시의 다양한 실시예에 따른 전자 장치의 지문 인식 방법은 제 1 지문 인식 동작을 수행하기 위해 상기 지문 센서를 통해 지문 이미지를 획득하는 동작; 상기 제 1 지문 인식이 실패하면, 지문 인식을 위한 터치 해제 시점까지 제 1 지문 이미지를 획득하는 동작; 터치가 해제되면, 미리 정해진 시간 동안 상기 지문 센서를 통해 제 2 지문 이미지를 획득했는지 여부를 판단하는 동작; 상기 미리 정해진 시간 동안 상기 제 2 지문 이미지를 획득하면, 상기 제 1 지문 이미지와 상기 제 2 지문 이미지의 유사도가 미리 정해진 기준 이상인지 여부를 판단하는 동작; 상기 제 1 지문 이미지와 상기 제 2 지문 이미지의 유사도가 미리 정해진 기준 이상이면, 상기 제 1 지문 이미지 또는 상기 제 2 지문 이미지를 이용하여 지문을 인식하는 동작을 포함할 수 있다.
본 개시의 다양한 실시예에 따른 전자 장치 및 전자 장치의 지문 인식 방법은 지문 이미지를 사용자가 인지하지 못하는 시점에 추가로 획득하여 지문 인식률을 향상시킬 수 있다.
도면 설명과 관련하여, 동일 또는 유사한 구성 요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.
도 1은 다양한 실시예들에 따른 네트워크 환경 내의 전자 장치의 블록도이다.
도 2는 다양한 실시예들에 따른 전자 장치의 예를 도시하는 도면이다.
도 3은 다양한 실시예들에 따른 전자 장치에서 지문 센서의 사용 시나리오의 예를 도시하는 도면들이다.
도 4 및 도 5는 다양한 실시예들에 따른 전자 장치에서 지문 인식을 위한 손가락 터치의 예를 설명하기 위해 도시하는 도면들이다.
도 6은 본 개시의 다양한 실시예에 따른 전자 장치의 지문 인식 방법을 나타내는 순서도이다.
도 7은 본 개시의 다양한 실시예에 따른 전자 장치의 지문 인식 방법을 나타내는 순서도이다.
도 8은 본 개시의 다양한 실시예에 따른 전자 장치의 지문 인식 방법을 나타내는 순서도이다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108) 중 적어도 하나와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제 2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일실시예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
다양한 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제 1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제 2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일실시예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제 2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
도 2는 본 개시의 다양한 실시예에 따른 전자 장치(101)를 나타내는 도면이다.
전자 장치(101)는 하우징(210), 디스플레이(220)(예: 도 1의 디스플레이 모듈(160)), 음향 출력 모듈(230)(예: 도 1의 음향 출력 모듈(155)), 센서 모듈(260)(예: 도 1의 센서 모듈(176)), 카메라 모듈(270)(예: 도 1의 카메라 모듈(180)), 키 입력 장치(280)(예: 도 1의 입력 모듈(150)), 인디케이터(290), 및/또는 지문 센서(200)를 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)는, 구성 요소들 중 적어도 하나(예: 키 입력 장치(280), 또는 인디케이터(290))를 생략하거나 다른 구성 요소를 추가적으로 포함할 수 있다.
다양한 실시예에 따라, 도 2에서는 근접 센서 및/또는 조도 센서를 포함하는 센서 모듈(260), 음향 출력 모듈(230) 및/또는 카메라 모듈(270)의 적어도 하나가 전자 장치(101)의 전면 플레이트(예: 하우징(210))에 배치되는 예를 도시하였으나, 다양한 실시예들이 이에 제한하는 것은 아니다. 예를 들면, 도시하지는 않았으나, 센서 모듈(260), 음향 출력 모듈(230) 및/또는 카메라 모듈(270)이 전자 장치(101)의 디스플레이(220) 아래(예: 언더 패널(under panel))에 배치되는 구조로 구현될 수도 있다. 예를 들면, 센서 모듈(260), 음향 출력 모듈(230) 및/또는 카메라 모듈(270)은 하우징(210)의 전면 및 전면과 대향되는 후면의 사이에서 하우징(210)의 전면에서 디스플레이(220)를 바라볼 때, 디스플레이(220)의 아래에 배치될 수 있다. 어떤 실시예에서는, 센서 모듈(260), 음향 출력 모듈(230) 및/또는 카메라 모듈(270)의 적어도 일부가, 디스플레이(220)의 적어도 일 영역에 배치될 수 있다.
다양한 실시예에 따르면, 센서 모듈(260), 음향 출력 모듈(230) 및/또는 카메라 모듈(270)은 전자 장치(101)의 하우징(210)에 의해 형성되는 일 공간에 배치되고, 하우징(210)에 형성된 적어도 하나의 홀(또는 오프닝)을 통하여 외부로 노출되거나, 전자 장치(101)의 디스플레이(220)에 의해 형성되는 일 공간에 배치되고, 디스플레이(220)에 형성된 적어도 하나의 홀(또는 오프닝)을 통하여 외부로 노출될 수 있다.
예를 들면, 전자 장치(101)의 디스플레이(220)는 전면 상에서 차지하는 영역이 증가된 디자인(예: 베젤리스 디스플레이)으로 구현될 수 있고, 전면 상에 배치된 다양한 부품(예: 센서 모듈(260), 음향 출력 모듈(230) 및/또는 카메라 모듈(270))을 디스플레이(220)와 후면(예: 제2 면) 사이(또는 디스플레이(220)의 아래)에 배치하거나, 또는 디스플레이(220) 내부에 배치할 수 있다.
예를 들면, 전자 장치(101)는 언더 디스플레이 센서(under display sensor) 구조로 디스플레이(220)와 후면 사이(또는 디스플레이(220)의 하부(예: 언더 패널))에 다양한 부품을 배치하도록 구현될 수 있다. 다른 예를 들면, 전자 장치(101)는 인 디스플레이 센서(in display sensor) 구조로 다양한 부품이 디스플레이(220)와 일체형으로 구성되어 디스플레이(220) 안에 형성되도록 구현할 수도 있다.
다양한 실시예에서, 하우징(210)은 전자 장치(101)를 둘러싸는 외부 부분을 의미할 수 있다. 예를 들면, 하우징(210)은 제1 면(또는 앞면), 제1 면과 대향하는 제2 면(또는 후면), 및 제1 면과 제2 면 사이의 공간을 둘러싸는 측면(예: 측면 부재)을 포함할 수 있다. 일 실시예에 따르면, 제1 면은 적어도 일부분이 실질적으로 투명한 전면 플레이트(예: 다양한 코팅 레이어들을 포함하는 글라스 플레이트(glass plate), 또는 폴리머 플레이트(polymer plate))에 의하여 형성될 수 있다. 일 실시예에 따르면, 제2 면은 실질적으로 불투명한 후면 플레이트에 의하여 형성될 수 있다. 일 실시예에 따라, 후면 플레이트는, 예를 들어, 코팅 또는 착색된 유리, 세라믹, 폴리머, 금속(예: 알루미늄(aluminum), 스테인레스 스틸(STS, stainless steel), 또는 마그네슘(magnesium)), 또는 상기 물질들 중 적어도 둘의 조합에 의하여 형성될 수 있다. 일 실시예에 따르면, 측면은, 전면 플레이트 및 후면 플레이트와 결합하며, 금속 및/또는 폴리머를 포함하는 측면 베젤 구조(또는 측면 부재)에 의하여 형성될 수 있다.
다양한 실시예에서, 디스플레이(220)(예: 도 1의 디스플레이 모듈(160))는, 예를 들어, 하우징(210)의 제1 면(예: 전면 플레이트)에 배치되어 외부로 노출될 수 있다. 디스플레이(220)는, 터치 센서(또는 터치 감지 회로), 터치의 세기(압력)를 측정할 수 있는 압력 센서, 및/또는 자기장 방식의 디지털 펜(예: 스타일러스 펜)을 검출하는 디지타이저와 결합되거나 인접하여 배치될 수 있다. 일 실시예에 따르면, 디스플레이(220)는 LCD(liquid crystal display), OLED(organic light emitting diode) 또는 AMOLED(active matrix OLED)를 포함하는 다양한 형태로 구현될 수 있다. 어떤 실시예에서, 디스플레이(220)는 평탄(planar)하거나 곡형(curved)이거나, 평탄 면과 곡형 면의 조합으로 구성될 수 있다. 디스플레이(220)는 리지드(rigid)한 재질이거나, 플렉서블한(flexible) 재질로 구성될 수 있다.
디스플레이(220)는 프로세서(예: 도 1의 프로세서(120))의 제어에 기반하여 다양한 영상(예: 동영상 및/또는 정지 영상)을 표시할 수 있다. 디스플레이(220)는 영상을 표시하거나 생체 정보(예: 지문 이미지)를 획득하기 위해 적어도 일부 영역에서 광을 방출할 수 있다. 디스플레이(220)는 광을 방출하기 위한 적어도 하나의 광원(예: 화소)을 포함할 수 있다. 적어도 하나의 광원은 디스플레이(220)에 어레이(array) 구조로 배치될 수 있다. 예를 들어, 적어도 하나의 광원은 OLED(organic light emitting diode), 또는 micro LED(light emitting diode)와 같은 발광 소자를 포함할 수 있다. 일 실시예에서, 적어도 하나의 광원은 프로세서(120) 또는 DDI(display driver IC)의 제어에 따라 지정된 광을 제공할 수 있다.
디스플레이(220) 상의 다양한 외부 객체(예: 사람의 손 및/또는 디지털 펜)에 의한 입력을 수신할 수 있다. 디스플레이(220)는 다양한 외부 객체에 의한 입력을 수신하기 위해서 터치 센서(미도시)를 포함할 수 있다.
다양한 실시예에서, 터치 센서는 디스플레이(220)의 디스플레이 패널과 독립적인 레이어로 구성되거나, 디스플레이 패널과 같이 통합된 구조로 구현될 수 있다. 터치 센서는 외부 객체와 디스플레이(220)가 직접적으로 접촉함으로써 구현되는 터치인 접촉 터치 입력 또는 외부 객체와 디스플레이(220)가 접촉하지는 않으나, 근접(예: 호버링)함으로써 구현되는 터치인 근접 입력을 수신할 수 있다.
다양한 실시예에서, 음향 출력 모듈(230)은 스피커를 포함할 수 있다. 스피커는, 통화용 리시버를 포함할 수 있다. 어떤 실시예에 따르면, 음향 출력 모듈(230)은 전자 장치(101)의 베젤 영역에서 가장 자리에 배치되거나, 디스플레이(220)(예: OLED)를 진동판으로 사용하는 언더 패널 스피커(under panel speak)를 포함할 수 있다. 예를 들면, 언더 패널 스피커는 디스플레이(220) 아래에 배치되어 외관 상으로 보이지 않을 수 있다.
다양한 실시예에서, 센서 모듈(260)은, 전자 장치(101)의 내부의 작동 상태, 또는 외부의 환경 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 센서 모듈(260)은, 예를 들어, 하우징(210)의 제1 면에 배치된 제1 센서 모듈(240)(예: 근접 센서) 및/또는 제2 센서 모듈(250)(예: 조도 센서), 및/또는 하우징(210)의 제2 면에 배치된 제3 센서 모듈(미도시)(예: 지문 센서)을 포함할 수 있다. 일 실시예에 따라, 제1 센서 모듈(240)(예: 근접 센서)은 전자 장치(101)에 근접하는 외부 객체를 감지할 수 있다. 제1 센서 모듈(240)은 적외선을 발광하는 발광부(241) 및 외부 객체에 의해 반사된 적외선을 수신하는 수광부(243)를 포함할 수 있다. 일 실시예에 따라, 제2 센서 모듈(250)(예: 조도 센서)은 전자 장치(101)의 주변(또는 주위)의 조도(illumination)(예: 주변 밝기(ambient light))를 측정할 수 있다. 어떤 실시예에 따르면, 제2 센서 모듈(250)은 미리 생성된 홀을 통해 빛의 광량을 측정하는 방식으로 조도를 측정할 수 있다.
다양한 실시예에서, 카메라 모듈(270)은, 전자 장치(101)의 제1 면에 배치된 제1 카메라 모듈(270), 및/또는 제2 면에 배치된 제2 카메라 모듈(미도시), 및/또는 플래시(미도시)를 포함할 수 있다. 카메라 모듈(270)은, 하나 또는 복수의 렌즈들, 이미지 센서, 및/또는 이미지 시그널 프로세서를 포함할 수 있다. 플래시는, 예를 들어, 발광 다이오드 또는 제논 램프(xenon lamp)를 포함할 수 있다. 어떤 실시예에서는, 2개 이상의 렌즈들(예: 광각 및 망원 렌즈) 및 이미지 센서들이 전자 장치(101)의 한 면에 배치될 수 있다.
다양한 실시예에서, 키 입력 장치(280)는, 하우징(210)의 측면에 배치될 수 있다. 다른 실시예에서는, 전자 장치(101)는 키 입력 장치(280)들 중 일부 또는 전부를 포함하지 않을 수 있고, 포함되지 않은 키 입력 장치(280)는 디스플레이(220) 상에 소프트 키와 같이 다른 형태로 구현될 수 있다. 다른 실시예로, 키 입력 장치(280)는 디스플레이(220)에 포함된 터치 센서 및/또는 압력 센서를 이용하여 구현될 수 있다.
다양한 실시예에서, 인디케이터(290)는, 예를 들어, 하우징(210)의 제1 면에 배치될 수 있다. 인디케이터(290)는, 예를 들어, 전자 장치(101)의 상태 정보를 광 형태로 제공할 수 있다. 예를 들면, 인디케이터(290)는 LED 상태 표시등(pilot lamp)(또는 indicating lamp)으로 제공할 수 있다. 다른 실시예에서, 인디케이터(290)는, 예를 들어, 카메라 모듈(270)의 동작과 연동되는 광원을 제공할 수 있다. 인디케이터(290)는, 예를 들어, LED, IR LED 및/또는 제논 램프와 같은 발광 소자를 포함할 수 있다.
도시하지는 않았으나, 전자 장치(101)는 입력 모듈(미도시) 및/또는 커넥터 홀(미도시)을 포함할 수 있다. 입력 모듈은 소리의 방향을 감지할 수 있도록 배치되는 복수개의 마이크를 포함할 수 있다. 커넥터 홀은, 외부 전자 장치와 전력 및/또는 데이터를 송수신하기 위한 커넥터(예: USB 커넥터)를 수용할 수 있는 제1 커넥터 홀, 및/또는 외부 전자 장치와 오디오 신호를 송수신하기 위한 커넥터를 수용할 수 있는 제2 커넥터 홀(또는 이어폰 잭)을 포함할 수 있다. 일 실시예에 따르면, 전자 장치(101)는, 도시되지 않은 센서 모듈(예: 도 1의 센서 모듈(176)), 예를 들어, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 또는 습도 센서 중 적어도 하나를 더 포함할 수 있다.
다양한 실시예에서, 전자 장치(101)는 디스플레이(220) 상에서 지문 인식(예: FOD(fingerprint on display) 또는 in-display fingerprint)(이하, '디스플레이 지문 인식'이라 한다) 기능을 제공할 수 있다. 예를 들면, 전자 장치(101)는 디스플레이(220)와 제2 면 사이(또는 디스플레이(220)의 아래(예: 언더 패널))(또는 하우징(210)이 형성하는 공간)의 일부에 지문 센서(200)(예: 디스플레이 지문 센서)를 포함할 수 있다.
다양한 실시예에서, 지문 센서(200)는 전자 장치(101)의 전면(예: 제1 면)에 위치되는 디스플레이(220)와 후면(예: 제2 면) 사이에 배치될 수 있다. 어떤 실시예에서는, 지문 센서(200)는, 하우징(210)의 제1 면에 위치되는 디스플레이(220)의 하단의 별도의 버튼(예: 물리적 홈 버튼), 및/또는 제2 면의 일부 영역의 별도의 버튼에 배치될 수 있다. 어떤 실시예에서는, 전자 장치(101)는 디스플레이 지문 센서와 함께, 버튼 형태의 지문 센서를 더 포함하여 구현할 수 있다. 어떤 실시예에서는, 지문 센서(200)는, 디스플레이(220)의 전체 면(예: 전면적)에 대응하는 면적을 가지도록(예: 디스플레이(220)의 전체 면을 통해 지문 인식을 지원할 수 있는) 전면적 지문 센서를 포함하여 구현할 수 있다.
다양한 실시예에서, 전자 장치(101)는 지문 센서(200)에 기반하여 디스플레이 지문 인식을 제공할 수 있다. 일 실시예에 따라, 디스플레이 지문 인식은 디스플레이(220) 아래(예: 언더 패널)에 지문 센서(200)가 배치되어, 지문 센서(200)가 외부로 노출되지 않도록 구현될 수 있다. 예를 들면, 전자 장치(101)는 디스플레이 뒷면(예: 디스플레이 패널 하단)에 지문 센서(200)를 배치하고, 디스플레이 앞면(예: 디스플레이 면(또는 화면)) 상에 닿은(또는 터치된) 지문을 인식할 수 있다.
다양한 실시예에서, 지문 센서(200)는 사용자로부터 입력되는 지문을 인식할 수 있다. 지문 센서(200)는 사용자 고유의 특성 차이를 나타내는 손가락 지문의 이미지(또는 지문 특징)를 획득할 수 있다.
다양한 실시예에서, 지문 센서(200)는 광학식 방식, 초음파 방식, 정전용량 방식(또는 반도체 방식), 열감지 방식, 비접촉식, 및/또는 이런 방식들의 복합 방식과 같이 다양한 구성을 포함할 수 있다.
광학식 방식은 가시광선에 반사된 지문 이미지(또는 영상)를 획득하는 방식일 수 있다. 예를 들어, 지문 센서(200)는 디스플레이(220)에 배치된 화소와 같은 적어도 하나의 광원을 이용하여 광을 방출하고, 방출된 광이 외부의 객체(예: 손가락)로부터 반사된 광을 집광하고, 집광된 광을 검출하여 지문 이미지를 획득할 수 있다. 예를 들어, 지문 센서(200)는 렌즈, 마이크로 렌즈, 광섬유(optical fiber), 핀홀 어레이(pinhole array) 또는 콜리메이터(collimator)와 같은 집광 소자 및 포토 다이오드(photo diode)와 같은 수광 소자를 포함할 수 있다. 예를 들어, 지문 센서(200)는 집광 소자(예: 렌즈)와 지문 이미지를 생성하는 이미지 센서를 포함할 수 있다.
초음파 방식은 초음파검사 원리를 사용하여 지문 이미지를 획득하는 방식일 수 있다. 정전용량 방식은 전기 용량의 차이를 이용하여 지문 이미지를 획득하는 방식일 수 있다. 예를 들면, 광학식 방식은 빛을 플래튼(platen)에 비추고, 플래튼에 얹혀진 손 끝의 지문 형태에 따라 반사되는 지문의 이미지를 인식하는 방식이 될 수 있다. 예를 들면, 반도체 방식은 피부의 전기 전도 특성을 이용해 칩 표면에 직접 손 끝을 접촉시키면 칩 표면에 접촉된 지문의 특수한 모양을 전기 신호로 읽어 들이는 방식으로, 생체학적 특징을 이용하는 방식이 될 수 있다. 일 실시예에 따라, 지문 센서(200)는 터치 센서 타입으로 구성할 수도 있다. 터치 센서는 지문의 골(valley)과 산(ridge)의 크기 및 간격보다 작은 간격으로 전극들을 배치할 수 있다.
다양한 실시예에서, 지문 센서(200)는 스와이프 타입(swipe type) 또는 고정영역 타입(area type)으로 구현할 수 있다. 예를 들면, 스와이프 타입은 지문 센서(200)의 위치를 손가락으로 드래그하는 방법으로, 1차원 또는 선형으로 배치된 센서 전극에서 드래그되는 손가락(즉, 지문)을 순차적으로 인식한 뒤, 후 처리를 통해 2차원의 지문 이미지로 합성하는 방식일 수 있다. 예를 들면, 고정영역 타입은 2차원으로 배치된 센서에 손가락을 대고 있는 동안 2차원 지문 이미지를 얻는 방식일 수 있다. 일 실시예에 따라, 지문을 인식하기 위한 터치 센서는 전극이 1차원 또는 2차원으로 배치될 수 있다.
도 3은 본 개시의 다양한 실시예에 따른 전자 장치(101)에서 지문 센서(200)의 사용 시나리오의 예를 도시하는 도면들이다.
도 3은 사용자가 잠금 화면(또는 락스크린(lockscreen))에서 지문 인식을 통해 잠금 해제(예: 사용자 인증)를 수행하는 동작 예시를 나타낼 수 있다. 도 3 에서는 지문 인식 영역, 즉 지문 센서(200)가 디스플레이(220)에 배치될 수 있다.
다양한 실시예에서, 하우징(210)의 제1 면은 디스플레이(220)가 시각적으로 노출됨에 따라 형성되는 화면 표시 영역을 포함할 수 있다. 화면 표시 영역은 지문 인식 영역을 포함할 수 있다. 화면 표시 영역이 지문 인식 영역을 포함함의 의미는 지문 인식 영역의 적어도 일부가 화면 표시 영역에 겹쳐질(overlapped) 수 있는 것으로 이해될 수 있다. 다시 말해, 지문 인식 영역은 화면 표시 영역의 다른 영역과 마찬가지로 디스플레이(220)에 의해 시각 정보를 표시할 수 있고, 추가적으로 사용자의 지문 정보를 획득할 수 있는 영역을 의미할 수 있다.
다양한 실시예에서, 디스플레이(220)는 절전 상태, 인액티브 상태(inactive), 슬립 상태(sleep) 및/또는 디밍 상태(dimming) 중 적어도 하나의 상태일 수 있다. 디스플레이(220)가 절전 상태, 인액티브 상태(inactive), 슬립 상태(sleep) 및/또는 디밍 상태(dimming) 중 적어도 하나일 때, 전자 장치(101)는 디스플레이(220)에 대한 터치가 감지되거나, 물리적 버튼에 대한 입력을 감지하거나, 센서 모듈(176)에 의한 입력이 감지되면 잠금 화면을 표시할 수 있다.
다양한 실시예에서, 사용자가 지문 인증 기반(예: 지문 모드)에서 사용자 인증을 수행할 때, 동작 301에 나타낸 바와 같이, 표시 중인 잠금 화면(310) 상의 일 영역(예: 지문 센서(200)가 배치된 영역)에서는 지문 인식을 수행(또는 가이드)할 수 있도록 하는 인디케이팅 객체(300)(예: 지문 이미지 객체 및/또는 안내 텍스트 객체)를 제공할 수 있다. 일 실시예에 따라, 사용자는 전자 장치(101)의 디스플레이(220)를 통해 지문 인식을 위한 인디케이팅 객체(300)가 표시된 화면(310)(예: 잠금 화면)에서, 인디케이팅 객체(300) 상에 손가락을 터치하여 지문 인식을 수행할 수 있다.
다양한 실시예에서, 지문 인식 수행은 인디케이팅 객체(300)에 대응하는 지문 인식 영역에서 스와이프 타입 또는 고정영역 타입에 기반하여 수행될 수 있다.
다양한 실시예에서, 디스플레이(220)에서의 지문 인식 수행은 디스플레이(220)의 지문 인식 영역(예: 인디케이팅 객체(300) 영역 상)을 길게 터치(예: 롱 터치)할 경우 지문 인식을 수행할 수 있다.
다양한 실시예에서, 전자 장치(101)는 인디케이팅 객체(300)에 대응하는 지문 인식 영역을 통해 터치 입력이 감지(예: 터치 센서로부터 제공되는 측정 값 감지)되면, 지문 센서(200)를 통해 지문 이미지를 획득하고, 획득된 지문 이미지를 분석할 수 있다.
다양한 실시예에서, 전자 장치(101)는 지문 이미지 분석 결과에 기반하여, 지문 이미지가 완전체 이미지(예: 사용자가 지문 센서(200)를 통해 지문을 완전히 인식한 경우의 지문 이미지)인 것으로 판단하는 경우, 동작 303에 나타낸 바와 같이, 지문 인식을 통해 잠금 화면 해제에 관련된 동작을 처리할 수 있다.
다양한 실시예에서, 전자 장치(101)는 지문 이미지 분석 결과에 기반하여, 지문 이미지가 완전체 이미지(예: 사용자가 지문 센서(200)를 통해 지문을 완전히 인식한 경우의 지문 이미지)인 것으로 판단하는 경우, 지문 인식 성공에 관한 안내 텍스트 객체를 사용자 인터페이스를 통해 표시할 수 있다.
예를 들면, 전자 장치(101)는 지문 센서(200)를 통해 획득된 지문 이미지에 기반하여 인증을 수행할 수 있고, 지문 인식에 따른 인증 결과(예: 인증 성공)에 기반하여 잠금 화면이 해제된 화면(320)(예: 홈 화면, 또는 어플리케이션 실행 화면)을 표시할 수 있다.
다양한 실시예에서, 전자 장치(101)는 지문 이미지 분석 결과에 기반하여 지문 인식에 실패한 경우, 동작 305에 나타낸 바와 같이, 표시 중인 잠금 화면(310) 상의 일 영역(예: 지문 센서(200)가 배치된 영역)에서는 지문 인식을 수행(또는 가이드)할 수 있도록 하는 인디케이팅 객체(300)(예: 지문 이미지 객체 및/또는 안내 텍스트 객체) 및/또는 지문 인식 실패에 관한 안내 텍스트 객체(330)를 표시할 수 있다.
다양한 실시예에서, 인디케이팅 객체(300)는, 예를 들면, 지문 모드(또는 지문 인식 기능)가 활성화 되는 동안 표시될 수 있고, 지문 모드가 비활성화 되는 동안 표시되지 않을 수 있다.
다양한 실시예들에서, 이하의 설명에서 지문 모드 또는 지문 인식 모드는 지문 등록 모드 및 지문 입력 모드를 포함하는 용어로 사용될 수 있다. 일 실시예에 따라, 지문 등록 모드는 최초 지문을 전자 장치(101)에 등록하는 모드가 될 수 있다.
다양한 실시예에서, 전자 장치(101)는 지문 등록 모드에서 획득한 지문 이미지를 메모리(130)의 지정된 영역(또는 보안 영역)(예: 지문 정보 등록을 위해 지정된 슬롯(slot))에 저장(또는 등록 또는 설정)할 수 있다. 일 실시예에서, 전자 장치(101)는 지문 정보의 보안 강화를 위해, 메모리(130)에 보안 영역을 별도로 설정할 수 있고, 보안 영역은 내장형 보안칩 또는 내장형 보안 영역(예: eSE, embedded secure element)으로 구현될 수 있다.
다양한 실시예에서, 지문 입력 모드는 지문이 등록된 상태에서 지정된 기능(예: 잠금 해제 기능, 또는 지문 기반 사용자 인증 기능)을 수행하기 위하여 지문을 입력하는 모드로, 전자 장치(101)는 입력된 지문과 등록된 지문을 비교하여 일치 여부에 따라 해당하는 지정된 기능을 수행할 수 있다. 예를 들어, 전자 장치(101)는 입력된 지문 이미지로부터 추출된 지문 특징과 메모리(130)의 지정된 영역에 저장(또는 등록)된 지문 이미지로부터 추출된 지문 특징의 비교에 기반하여 유사도를 측정할 수 있다. 전자 장치(101)는 지문 특징 비교에 기반하여 입력된 지문 이미지와 등록된 지문 이미지 간의 스코어(score)가 지정된 기준 스코어(또는 임계 스코어) 이상인 경우, 입력된 지문과 등록된 지문이 유사한 지문으로, 지문 인식에 성공했다고 판단할 수 있다.
도 4 및 도 5는 다양한 실시예들에 따른 전자 장치에서 지문 인식을 위한 손가락 터치의 예를 설명하기 위해 도시하는 도면들이다.
도 4 및 도 5를 참조하면, 도 4는 손 끝으로 지문을 스캔하는 예를 도시할 수 있으며, 도 5는 손가락 전체로 지문을 스캔하는 예를 도시할 수 있다.
다양한 실시예에서, 사용자는 지문을 인식하기 위하여 도 4 또는 도 5와 같은 터치 방식으로 지문 입력을 수행할 수 있다.
일 실시예에 따르면, 전자 장치(101)는 사용자의 지문을 인식하기 위하여 손가락을 스캔할 수 있다.
일 실시예에 따르면, 전자 장치(101)는, 프로세서(120)의 제어 하에, 객체(예: 손가락) 및 디스플레이(220)의 접촉에 대응하여 디스플레이(220)의 방출 광을 설정할 수 있다. 프로세서(120)는 디스플레이(220)에서 광을 방출하는 위치, 세기, 패턴, 및/또는 타이밍을 설정할 수 있다. 예를 들어, 객체가 사용자의 손가락인 경우, 지문 측정을 시작하게 되면, 프로세서(120)는 디스플레이(220)에 배치된 터치 센서에서의 지문 정보 또는 접촉 정보(예: 접촉 위치, 접촉 면적, 접촉 세기)를 바탕으로 지문의 측정 범위를 설정할 수 있다. 프로세서(120)는 측정 범위에 해당하는 적어도 하나의 광원들을 동작시키도록 디스플레이(220)를 제어할 수 있다.
일 실시예에 따르면, 전자 장치(101)는 도 4의 예시와 같은 사용자 입력(또는 터치 입력)에 따라 손가락 끝(410)(예: 손가락 에지 부분)(예: 상대적으로 좁은 면적을 갖는 터치 입력)에 기반하여 스캔할 수 있다.
다양한 실시예에서, 전자 장치(101)는 사용자의 지문을 인식하기 위하여 손가락을 스캔할 때, 도 5의 예시와 같은 사용자 입력(또는 터치 입력)에 따라 손가락 면적(420)(예: 상대적으로 넓은 면적을 갖는 터치 입력)으로 스캔할 수 있다.
일 실시예에 따르면, 전자 장치(101)는, 프로세서(120)의 제어 하에, 객체(예: 손가락) 및 디스플레이(220)의 접촉에 대응하여 손가락이 접촉한 디스플레이(220) 상의 영역, 디스플레이(220)의 일면, 디스플레이(220) 아래에 배치된 지문 센서(200)를 활성화시킬 수 있다.
일 실시예에 따르면, 프로세서(120)는 디스플레이(220)에서 광을 방출하는 동안 지문 센서(200)를 활성화시켜 손가락으로부터 반사되는 광을 감지할 수 있다.
일 실시예에 따르면, 지문 센서(200)는 감지된 반사 광에 기반하여 센싱 데이터(예: 지문 이미지에 대응되는 센싱 값)를 생성할 수 있다. 예를 들어, 지문 센서(200)는 디스플레이(220)로부터 방출된 광 중 손가락에서 반사된 광의 양에 기반하여 생성된 센싱 데이터를 프로세서(120)에 제공할 수 있다.
일 실시예에 따르면, 프로세서(120)는 지문 측정 영역에 해당하는 영역을 모두 스캔할 때까지 디스플레이(220)에서 광을 방출하도록 설정할 수 있다. 프로세서(120)는 지문 측정 범위에 해당하는 영역의 측정이 종료되는 경우, 저장된 센싱 데이터에 기반하여 지문 센싱 영역에서의 사용자의 지문의 형태를 이미지로 형성할 수 있다.
다양한 실시예에서, 사용자는 지문 입력 시 지문 센서(200)가 위치된 영역으로 손가락을 일정 방향에서 진입(예: 전자 장치(101)의 아래로부터 진입, 또는 전자 장치(101)의 측면으로부터 진입)한 후 지문 센서(200)가 위치된 영역을 스와이프 타입으로 입력하거나, 또는 지문 센서(200)가 위치된 영역에 손가락을 일정 시간 동안 대는 고정영역 타입으로 입력할 수 있다.
다양한 실시예에서, 전자 장치(101)는 지문 센서(200)에 기반하여 지문 인식을 위한, 지문 인식 대기 중에는 터치 센서에 의한 터치 입력에 대해서는 동작하지 않도록 할 수 있다. 예를 들어, 사용자가 지문 센서(200)가 위치된 영역에 터치 입력하고, 전자 장치(101)는 터치 입력에 응답하여 지문 센싱을 수행하는 중에, 터치 입력에 관련된 동작(또는 기능)은 수행하지 않을 수 있다.
도 6은 본 개시의 다양한 실시예에 따른 전자 장치(101)의 지문 인식 방법을 나타내는 순서도이다.
전자 장치(101)는, 프로세서(120)의 제어 하에, 601 동작에서, 지문 센서(200)를 이용하여 제 1 지문 인식 동작을 수행할 수 있다.
지문 센서(200)는 디스플레이 모듈(160)에 배치되는 인 디스플레이(in display) 방식의 센서일 수 있다.
도 3을 참조하면, 전자 장치(101)는 표시 중인 잠금 화면(310) 상의 일 영역(예: 지문 센서(200)가 배치된 영역)에서는 지문 인식을 수행(또는 가이드)할 수 있도록 하는 인디케이팅 객체(300)(예: 지문 이미지 객체 및/또는 안내 텍스트 객체)를 제공할 수 있다.
다양한 실시예에서, 디스플레이 모듈(160)은 제 1 상태 또는 제 2 상태일 수 있다. 제 1 상태는 잠금 화면을 표시하는 상태이고, 제 2 상태는 절전 상태, 인액티브 상태(inactive), 슬립 상태(sleep) 및/또는 디밍 상태(dimming) 중 적어도 하나인 상태일 수 있다. 전자 장치(101)는 디스플레이 모듈(160)이 제 2 상태에 있으면, 제 1 지문 인식을 위해 제 1 상태로 전환할 수 있다.
다양한 실시예에서, 전자 장치(101)는 제 1 지문 인식을 위해 미리 정해진 시간 동안 광원을 켤 수 있다. 지문 센서(200)는 광학식으로서 빛을 플래튼(platen)에 비추고, 플래튼에 얹혀진 손 끝의 지문 형태에 따라 반사되는 지문의 이미지를 획득 및/또는 인식할 수 있다.
다양한 실시예에서, 전자 장치(101)는, 프로세서(120)의 제어 하에, 601 동작에서, 제 1 지문 인식 동작을 수행하기 위해 디스플레이 모듈(160) 상에 호버링 입력이 감지되는 시점부터 지문 이미지를 획득할 수 있다.
다양한 실시예에서, 전자 장치(101)는, 프로세서(120)의 제어 하에, 601 동작에서, 제 1 지문 인식 동작을 수행하기 위해 지문 이미지를 획득할 수 있다.
다양한 실시예에서, 제 1 지문 인식 동작을 수행하기 위해 지문 이미지를 획득할 때, 전자 장치(101)는, 프로세서(120)의 제어 하에, 지문의 각도에 관한 정보, 손가락의 위치 변화에 관한 정보, 피부 색상에 관한 정보, 지문 융(ridge)과 골(valley)과 같은 폭 정보, 지문 이미지가 사라지는 시간 또는 프레임에 관한 정보 및/또는 디스플레이 모듈(160) 상의 손가락이 접촉되는 위치에 대한 정보 중 적어도 하나 이상을 획득할 수 있다.
전자 장치(101)는, 프로세서(120)의 제어 하에, 603 동작에서, 지문 센서(200)를 이용한 제 1 지문 인식이 실패했는지 여부를 판단할 수 있다.
제 1 지문 인식이 실패하면(603 동작 ? '예'), 전자 장치(101)는 프로세서(120)의 제어 하에 603 동작에서 605 동작으로 분기할 수 있다.
제 1 지문 인식이 성공하면(603 동작 ? '아니오'), 전자 장치(101)는 잠금 화면을 해제할 수 있다.
제 1 지문 인식이 실패하면, 전자 장치(101)는, 프로세서(120)의 제어 하에, 605 동작에서, 터치 해제 시점까지 제 1 지문 이미지를 획득할 수 있다.
다양한 실시예에서, 터치 해제 시점은 제 1 지문 인식에 실패한 시점부터 사용자가 지문 센서(200)로부터 터치를 해제한 시간까지일 수 있다.
다양한 실시예에서, 제 1 지문 인식에 실패한 시점은 제 1 지문 인식 동작을 통해 획득한 지문 이미지와 등록된 지문 이미지를 비교하여 인식 실패로 판단하고, 디스플레이 모듈(160) 상에 지문 인식 실패에 관한 안내 텍스트 객체(330)를 표시한 시점일 수 있다.다양한 실시예에서, 전자 장치(101)는 제 1 지문 이미지를 획득하기 위해 제 1 지문 인식에 실패한 이후에도 디스플레이(220)의 광원을 켜진 상태로 유지할 수 있다.
다양한 실시예에서, 제 1 지문 이미지는 지문 센서(200)를 통해 미리 정해진 시간 간격으로 획득한 복수의 지문 이미지일 수 있다. 다양한 실시예에서, 제 1 지문 이미지를 획득할 때, 전자 장치(101)는, 프로세서(120)의 제어 하에, 지문의 각도에 관한 정보, 손가락의 위치 변화에 관한 정보, 피부 색상에 관한 정보, 지문 융(ridge)과 골(valley)과 같은 폭 정보, 지문 이미지가 사라지는 시간 또는 프레임에 관한 정보 및/또는 디스플레이 모듈(160) 상의 손가락이 접촉되는 위치에 대한 정보 중 적어도 하나 이상을 획득할 수 있다.
전자 장치(101)는, 프로세서(120)의 제어 하에, 607 동작에서, 제 1 지문 인식을 위한 터치가 해제되었는지 여부를 판단할 수 있다.
제 1 지문 인식을 위한 터치가 해제되면(607 동작 ? '예'), 전자 장치(101)는 프로세서(120)의 제어 하에 607 동작에서 609 동작으로 분기할 수 있다.
제 1 지문 인식을 위한 터치가 해제되지 않으면(607 동작 ? '아니오'), 전자 장치(101)는 프로세서(120)의 제어 하에 607 동작에서 605 동작으로 분기할 수 있다.
전자 장치(101)는, 프로세서(120)의 제어 하에, 609 동작에서, 미리 정해진 시간 동안 지문 센서(200)를 통해 제 2 지문 이미지를 획득했는지 여부를 판단할 수 있다.
다양한 실시예에서, 제 2 지문 이미지는 전자 장치(101)가, 프로세서(120)의 제어 하에, 제 2 지문 인식 동작을 수행하기 위해 지문 센서(200)를 통해 미리 정해진 시간 간격으로 획득한 복수의 지문 이미지일 수 있다.
다양한 실시예에서, 전자 장치(101)는 제 2 지문 이미지를 획득하기 위해 미리 정해진 시간 동안 지문 센서(200)의 광원을 켜진 상태로 유지할 수 있다.
다양한 실시예에서, 전자 장치(101)는 제 2 지문 이미지를 획득하기 위해 디스플레이 모듈(160) 상에 호버링 입력이 감지되는 시점부터 제 2 지문 이미지를 획득할 수 있다.
다양한 실시예에서, 전자 장치(101)는 제 2 지문 이미지를 획득하기 위해 디스플레이 모듈(160) 상에 호버링 입력이 감지되어 사용자의 지문이 디스플레이 모듈(160)에 근접하는 시점부터 제 2 지문 이미지를 획득할 수 있다.
다양한 실시예에서, 지문 센서(200)를 통해 제 2 지문 이미지를 미리 정해진 시간 동안 획득할 때, 전자 장치(101)는 미리 정해진 시간 동안 사용자의 지문 접촉을 유도하기 위한 사용자 인터페이스(user interface)를 디스플레이 모듈(160) 상에 표시할 수 있다. 사용자 지문 접촉을 유도하기 위한 사용자 인터페이스는 예를 들어, 숫자 카운트, 화면의 그림 변화 또는 애니메이션 효과 중 적어도 하나 이상일 수 있다.
다양한 실시예에서, 사용자가 지문 인식을 위해, 지문 센서(200)를 이용하여 지문 입력을 수행할 때, 전자 장치(101)는 사용자가 지문 인식이 실패할 경우 지문 입력을 다시 시도하는 시간을 계산할 수 있다. 전자 장치(101)는, 프로세서(120)의 제어 하에, 사용자가 지문 인식이 실패할 경우 다시 지문 입력을 시도하는 시간을 기반으로 제 2 지문 이미지를 획득하는 미리 정해진 시간을 결정할 수 있다. 미리 정해진 시간은 전자 장치(101)가 프로세서(120)의 제어 하에, 사용자 패턴을 학습하여 업데이트 될 수 있다.
다양한 실시예에서, 제 2 지문 이미지를 획득할 때, 전자 장치(101)는, 프로세서(120)의 제어 하에, 지문의 각도에 관한 정보, 손가락의 위치 변화에 관한 정보, 피부 색상에 관한 정보, 지문 융(ridge)과 골(valley)과 같은 폭 정보, 지문 이미지가 사라지는 시간 또는 프레임에 관한 정보 및/또는 디스플레이 모듈(160) 상의 손가락이 접촉되는 위치에 대한 정보 중 적어도 하나 이상을 획득할 수 있다.
미리 정해진 시간 동안 지문 센서(200)를 통해 제 2 지문 이미지를 획득하면(609 동작 -'예'), 전자 장치(101)는, 프로세서(120)의 제어 하에, 609 동작에서 611 동작으로 분기할 수 있다.
미리 정해진 시간 동안 지문 센서(200)를 통해 제 2 지문 이미지를 획득하지 못하면(609 동작 -'아니오'), 전자 장치(101)는, 프로세서(120)의 제어 하에, 609 동작에서 617 동작으로 분기할 수 있다.
전자 장치(101)는, 프로세서(120)의 제어 하에, 611 동작에서, 제 1 지문 이미지와 제 2 지문 이미지의 유사도를 판단할 수 있다. 제 1 지문 이미지는 제 1 지문 인식 실패 후에 터치 해제 시점까지 획득한 이미지이고, 제 2 지문 이미지는 터치 해제 후에 미리 정해진 시간 동안 획득한 이미지일 수 있다.
전자 장치(101)는, 프로세서(120)의 제어 하에, 613 동작에서, 제 1 지문 이미지와 제 2 지문 이미지의 유사도가 미리 정해진 기준 이상인지 여부를 판단할 수 있다.
제 1 지문 이미지와 제 2 지문 이미지의 유사도가 미리 정해진 기준 이상이면(613 동작 -'예'), 전자 장치(101)는 프로세서(120)의 제어 하에, 613 동작에서 615 동작으로 분기할 수 있다.
제 1 지문 이미지와 제 2 지문 이미지의 유사도가 미리 정해진 기준 미만이면(613 동작 -'아니오'), 전자 장치(101)는 프로세서(120)의 제어 하에, 613 동작에서 617 동작으로 분기할 수 있다.
전자 장치(101)는, 프로세서(120)의 제어 하에, 615 동작에서, 제 1 지문 이미지 및/또는 제 2 지문 이미지를 이용하여 지문을 인식할 수 있다.
다양한 실시예에서, 전자 장치(101)는, 프로세서(120)의 제어 하에, 615 동작에서, 제 1 지문 이미지 또는 제 2 지문 이미지 중에 이미지 품질이 미리 정해진 품질 이상인 이미지를 선택하여 지문을 인식할 수 있다.
다양한 실시예에서, 전자 장치(101)는, 프로세서(120)의 제어 하에, 615 동작에서, 제 1 지문 이미지 또는 제 2 지문 이미지 중에 이미지 품질이 더 좋은 이미지를 선택하여 지문을 인식할 수 있다.
전자 장치(101)는, 프로세서(120)의 제어 하에, 617 동작에서, 지문 센서(200)를 이용하여 제 2 지문 인식 동작을 수행할 수 있다. 제 2 지문 인식 동작은 제 1 지문 인식 동작과 유사할 수 있다.
다양한 실시예에서, 전자 장치(101)는, 프로세서(120)의 제어 하에, 617 동작에서, 동작 605에서 획득한 제 1 지문 이미지를 폐기하고 지문 센서(200)를 이용하여 새롭게 지문 이미지를 획득하는 제 2 지문 인식 동작을 수행할 수 있다.
도 7은 본 개시의 다양한 실시예에 따른 전자 장치(101)의 지문 인식 방법을 나타내는 순서도이다.
전자 장치(101)는, 프로세서(120)의 제어 하에, 701 동작에서, 지문 센서(200)를 이용하여 지문 인식 동작을 수행할 수 있다.
지문 센서(200)는 디스플레이 모듈(160)에 배치되는 인 디스플레이(in display) 방식의 센서일 수 있다.
다양한 실시예에서, 전자 장치(101)는, 프로세서(120)의 제어 하에, 701 동작에서, 지문 인식 동작을 수행하기 위해 디스플레이 모듈(160) 상에 호버링 입력이 감지되는 시점부터 지문 이미지를 획득할 수 있다.
다양한 실시예에서, 전자 장치(101)는, 프로세서(120)의 제어 하에, 701 동작에서, 지문 인식 동작을 수행하기 위해 지문 이미지를 획득할 수 있다.
다양한 실시예에서, 전자 장치(101)는, 프로세서(120)의 제어 하에, 701 동작에서, 지문 인식 동작을 수행하기 위해 지문 이미지를 획득할 때, 지문의 각도에 관한 정보, 손가락의 위치 변화에 관한 정보, 피부 색상에 관한 정보, 지문 융(ridge)과 골(valley)과 같은 폭 정보, 지문 이미지가 사라지는 시간 또는 프레임에 관한 정보 및/또는 디스플레이 모듈(160) 상의 손가락이 접촉되는 위치에 대한 정보 중 적어도 하나 이상을 획득할 수 있다.
전자 장치(101)는, 프로세서(120)의 제어 하에, 703 동작에서, 지문 센서(200)를 이용한 지문 인식의 실패 여부를 판단할 수 있다.
전자 장치(101)는 지문 센서(200)를 이용한 지문 인식이 실패하면(703 동작 -'예'), 프로세서(120)의 제어 하에, 703 동작에서 705 동작으로 분기할 수 있다.
전자 장치(101)는 지문 센서(200)를 이용한 지문 인식이 성공하면(703 동작 -'아니오'), 프로세서(120)의 제어 하에, 703 동작에서 719 동작으로 분기할 수 있다.
전자 장치(101)는, 프로세서(120)의 제어 하에, 719 동작에서, 지문 센서(200)를 이용한 지문 인식 성공에 따른 사용자 인터페이스를 디스플레이 모듈(160)을 통해 표시 및/또는 잠금 해제 동작을 수행할 수 있다.전자 장치(101)는, 프로세서(120)의 제어 하에, 705 동작에서, 지문 인식 실패에 따른 사용자 인터페이스를 디스플레이 모듈(160)을 통해 표시할 수 있다.
도 3을 참조하면, 지문 인식 성공 또는 지문 인식 실패에 따른 사용자 인터페이스는 지문 인식 성공에 관한 안내 텍스트 객체(미도시) 또는 지문 인식 실패에 관한 안내 텍스트 객체(330)를 포함할 수 있다.
지문 인식이 실패하면, 전자 장치(101)는, 프로세서(120)의 제어 하에, 707 동작에서, 터치 해제 시점까지 제 1 지문 이미지를 획득할 수 있다.
다양한 실시예에서, 터치 해제 시점은 제 1 지문 인식에 실패한 시점부터 사용자가 지문 센서(200)로부터 터치를 해제한 시간까지 일 수 있다.
다양한 실시예에서, 제 1 지문 이미지는 지문 센서(200)를 통해 미리 정해진 시간 간격으로 획득한 복수의 지문 이미지일 수 있다.
다양한 실시예에서, 제 1 지문 이미지를 획득할 때, 전자 장치(101)는, 프로세서(120)의 제어 하에, 지문의 각도에 관한 정보, 손가락의 위치 변화에 관한 정보, 피부 색상에 관한 정보, 지문 융(ridge)과 골(valley)과 같은 폭 정보, 지문 이미지가 사라지는 시간 또는 프레임에 관한 정보 및/또는 디스플레이 모듈(160) 상의 손가락이 접촉되는 위치에 대한 정보 중 적어도 하나 이상을 획득할 수 있다.
전자 장치(101)는, 프로세서(120)의 제어 하에, 709 동작에서, 지문 인식을 위한 터치가 해제되었는지 여부를 판단할 수 있다.
지문 인식을 위한 터치가 해제되면(709 동작 -'예'), 전자 장치(101)는 프로세서(120)의 제어 하에 709 동작에서 711 동작으로 분기할 수 있다.
지문 인식을 위한 터치가 해제되지 않으면(709 동작 -'아니오'), 전자 장치(101)는 프로세서(120)의 제어 하에 709 동작에서 707 동작으로 분기할 수 있다.
전자 장치(101)는, 프로세서(120)의 제어 하에, 711 동작에서, 미리 정해진 시간 동안 지문 센서(200)를 통해 제 2 지문 이미지를 획득했는지 여부를 판단할 수 있다.
다양한 실시예에서, 제 2 지문 이미지는 지문 센서(200)를 통해 미리 정해진 시간 간격으로 획득한 복수의 지문 이미지일 수 있다.
다양한 실시예에서, 전자 장치(101)는 제 2 지문 이미지를 획득하기 위해 미리 정해진 시간 동안 지문 센서(200)의 광원을 켜진 상태로 유지할 수 있다.
다양한 실시예에서, 전자 장치(101)는 제 2 지문 이미지를 획득하기 위해 디스플레이 모듈(160) 상에 호버링 입력이 감지되는 시점부터 제 2 지문 이미지를 획득할 수 있다.
다양한 실시예에서, 전자 장치(101)는 제 2 지문 이미지를 획득하기 위해 디스플레이 모듈(160) 상에 호버링 입력이 감지되어 사용자의 지문이 디스플레이 모듈(160)에 근접하는 시점부터 제 2 지문 이미지를 획득할 수 있다.
다양한 실시예에서, 지문 센서(200)를 통해 제 2 지문 이미지를 미리 정해진 시간 동안 획득할 때, 전자 장치(101)는 미리 정해진 시간 동안 사용자의 지문 접촉을 유도하기 위한 사용자 인터페이스(user interface)를 디스플레이 모듈(160) 상에 표시할 수 있다. 사용자 지문 접촉을 유도하기 위한 사용자 인터페이스는 예를 들어, 숫자 카운트, 화면의 그림 변화 또는 애니메이션 효과 중 적어도 하나 이상일 수 있다.
다양한 실시예에서, 사용자가 지문 센서(200)를 사용할 때, 전자 장치(101)는 사용자가 지문 인식이 실패할 경우 다시 시도하는 시간을 계산할 수 있다. 전자 장치(101)는, 프로세서(120)의 제어 하에, 사용자가 지문 인식이 실패할 경우 다시 시도하는 시간을 기반으로 제 2 지문 이미지를 획득하는 미리 정해진 시간을 결정할 수 있다. 미리 정해진 시간은 전자 장치(101)가 프로세서(120)의 제어 하에, 사용자 패턴을 학습하여 업데이트 될 수 있다.
다양한 실시예에서, 제 2 지문 이미지를 획득할 때, 전자 장치(101)는, 프로세서(120)의 제어 하에, 지문의 각도에 관한 정보, 손가락의 위치 변화에 관한 정보, 피부 색상에 관한 정보, 지문 융(ridge)과 골(valley)과 같은 폭 정보, 지문 이미지가 사라지는 시간 또는 프레임에 관한 정보 및/또는 디스플레이 모듈(160) 상의 손가락이 접촉되는 위치에 대한 정보 중 적어도 하나 이상을 획득할 수 있다.
미리 정해진 시간 동안 지문 센서(200)를 통해 제 2 지문 이미지를 획득하면(711 동작 -'예'), 전자 장치(101)는, 프로세서(120)의 제어 하에, 711 동작에서 713 동작으로 분기할 수 있다.
미리 정해진 시간 동안 지문 센서(200)를 통해 제 2 지문 이미지를 획득하지 못하면(711 동작 -'아니오'), 전자 장치(101)는, 프로세서(120)의 제어 하에, 711 동작에서 721 동작으로 분기할 수 있다.
전자 장치(101)는, 프로세서(120)의 제어 하에, 713 동작에서, 제 1 지문 이미지와 제 2 지문 이미지의 유사도를 판단할 수 있다. 제 1 지문 이미지는 제 1 지문 인식 실패 후에 터치 해제 시점까지 획득한 이미지이고, 제 2 지문 이미지는 터치 해제 후에 미리 정해진 시간 동안 획득한 이미지일 수 있다.
전자 장치(101)는, 프로세서(120)의 제어 하에, 715 동작에서, 제 1 지문 이미지와 제 2 지문 이미지의 유사도가 미리 정해진 기준 이상인지 여부를 판단할 수 있다.
제 1 지문 이미지와 제 2 지문 이미지의 유사도가 미리 정해진 기준 이상이면(715 동작 -'예'), 전자 장치(101)는 프로세서(120)의 제어 하에, 715 동작에서 717 동작으로 분기할 수 있다.
제 1 지문 이미지와 제 2 지문 이미지의 유사도가 미리 정해진 기준 미만이면(715 동작 -'아니오'), 전자 장치(101)는 프로세서(120)의 제어 하에, 715 동작에서 721 동작으로 분기할 수 있다.
전자 장치(101)는, 프로세서(120)의 제어 하에, 717 동작에서, 제 1 지문 이미지 및/또는 제 2 지문 이미지를 이용하여 지문을 인식할 수 있다.
다양한 실시예에서, 전자 장치(101)는, 프로세서(120)의 제어 하에, 717 동작에서, 제 1 지문 이미지 또는 제 2 지문 이미지 중에 이미지 품질이 미리 정해진 품질 이상인 이미지를 선택하여 지문을 인식할 수 있다.
다양한 실시예에서, 전자 장치(101)는, 프로세서(120)의 제어 하에, 717 동작에서, 제 1 지문 이미지 또는 제 2 지문 이미지 중에 이미지 품질이 더 좋은 이미지를 선택하여 지문을 인식할 수 있다.
전자 장치(101)는, 프로세서(120)의 제어 하에, 721 동작에서, 지문 센서(200)를 이용하여 새로운 지문 인식 동작을 수행할 수 있다. 721 동작의 새로운 지문 인식 동작은 701 동작의 지문 인식 동작과 유사할 수 있다.
다양한 실시예에서, 전자 장치(101)는, 프로세서(120)의 제어 하에, 721 동작에서, 동작 709에서 획득한 제 1 지문 이미지를 폐기하고 지문 센서(200)를 이용하여 새롭게 지문 이미지를 획득하는 새로운 지문 인식 동작을 수행할 수 있다.
도 8은 본 개시의 다양한 실시예에 따른 전자 장치(101)의 지문 인식 방법을 나타내는 순서도이다.
다양한 실시예에서, 전자 장치(101)는, 프로세서(120)의 제어 하에, 1001 동작에서, 디스플레이 모듈(160)이 제 1 상태인지 여부를 판단할 수 있다.
디스플레이 모듈(160)이 제 1 상태이면(동작 1001 -'예'), 전자 장치(101)는, 프로세서(120)의 제어 하에, 1001 동작에서 1003 동작으로 분기할 수 있다.
디스플레이 모듈(160)이 제 2 상태이면(동작 1001 -'아니오'), 전자 장치(101)는, 프로세서(120)의 제어 하에, 1001 동작에서 1015 동작으로 분기할 수 있다.
다양한 실시예에서, 디스플레이 모듈(160)은 제 1 상태 또는 제 2 상태일 수 있다. 제 1 상태는 잠금 화면을 표시하는 상태이고, 제 2 상태는 절전 상태, 인액티브 상태(inactive), 슬립 상태(sleep) 및/또는 디밍 상태(dimming) 중 적어도 하나인 상태일 수 있다.
전자 장치(101)는, 프로세서(120)의 제어 하에, 1015 동작에서, 디스플레이 모듈(160)을 제 2 상태에서 제 1 상태로 변경하고 1003 동작으로 분기할 수 있다.
전자 장치(101)는, 프로세서(120)의 제어 하에, 1003 동작에서, 지문 인식을 수행(또는 가이드)할 수 있도록 하는 인디케이팅 객체(300)(예: 지문 이미지 객체 및/또는 안내 텍스트 객체)를 디스플레이 모듈(160) 상에 표시할 수 있다.
전자 장치(101)는, 프로세서(120)의 제어 하에, 1005 동작에서, 지문 인식을 위한 터치가 감지되었는지 여부를 판단할 수 있다.
지문 인식을 위한 터치가 감지되면(동작 1005 -'예'), 전자 장치(101)는, 프로세서(120)의 제어 하에, 1005 동작에서 1007 동작으로 분기할 수 있다.
지문 인식을 위한 터치가 감지되지 않으면(동작 1005 -'아니오'), 전자 장치(101)는, 프로세서(120)의 제어 하에, 1005 동작에서 1003 동작으로 분기할 수 있다.
전자 장치(101)는, 프로세서(120)의 제어 하에, 1007 동작에서, 지문 인식을 위한 터치가 감지되면 지문 센서(200)를 이용하여 지문 이미지를 획득할 수 있다.
전자 장치(101)는, 프로세서(120)의 제어 하에, 1009 동작에서, 획득한 지문 이미지를 기반으로 지문을 인식할 수 있다.
다양한 실시예에서, 전자 장치(101)는, 프로세서(120)의 제어 하에, 1009 동작에서, 획득한 지문 이미지를 기반으로 미리 등록된 지문 이미지를 비교하여 지문 인식 동작을 수행할 수 있다.
전자 장치(101)는, 프로세서(120)의 제어 하에, 1011 동작에서, 지문 인식 성공 여부를 확인할 수 있다.
다양한 실시예에서, 전자 장치(101)는, 프로세서(120)의 제어 하에, 1011 동작에서, 획득한 지문 이미지를 기반으로 미리 등록된 지문 이미지를 비교하여 지문 인식 성공 여부를 확인할 수 있다. 예를 들어, 전자 장치(101)는, 프로세서(120)의 제어 하에, 미리 등록된 지문 이미지와 획득한 지문 이미지가 미리 정해진 기준 이상으로 유사하면, 지문 인식 성공했다고 판단할 수 있다. 예를 들어, 전자 장치(101)는, 프로세서(120)의 제어 하에, 미리 등록된 지문 이미지와 획득한 지문 이미지가 미리 정해진 기준 미만으로 유사하면, 지문 인식 실패했다고 판단할 수 있다.
전자 장치(101)는, 프로세서(120)의 제어 하에, 1013 동작에서, 지문 인식 성공 또는 실패에 따른 사용자 인터페이스를 표시할 수 있다. 사용자 인터페이스는 지문 인식 성공에 관한 안내 텍스트 객체 또는 지문 인식 실패에 관한 안내 텍스트 객체를 포함할 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

Claims (15)

  1. 전자 장치에 있어서,
    메모리;
    지문 센서;
    디스플레이 모듈; 및
    상기 메모리, 상기 지문 센서 및 상기 디스플레이 모듈과 작동적으로 연결된 프로세서를 포함하고, 상기 프로세서는,
    제 1 지문 인식 동작을 수행하기 위해 상기 지문 센서를 통해 지문 이미지를 획득하고,
    상기 제 1 지문 인식이 실패하면, 지문 인식을 위한 터치 해제 시점까지 제 1 지문 이미지를 획득하고,
    터치가 해제되면, 미리 정해진 시간 동안 상기 지문 센서를 통해 제 2 지문 이미지를 획득했는지 여부를 판단하며,
    상기 미리 정해진 시간 동안 상기 제 2 지문 이미지를 획득하면, 상기 제 1 지문 이미지와 상기 제 2 지문 이미지의 유사도가 미리 정해진 기준 이상인지 여부를 판단하고,
    상기 제 1 지문 이미지와 상기 제 2 지문 이미지의 유사도가 미리 정해진 기준 이상이면, 상기 제 1 지문 이미지 또는 상기 제 2 지문 이미지를 이용하여 지문을 인식하는 전자 장치.
  2. 제 1항에 있어서,
    상기 프로세서는,
    상기 제 1 지문 인식이 성공하면, 잠금 화면을 해제하는 전자 장치.
  3. 제 1항에 있어서,
    상기 프로세서는
    상기 미리 정해진 시간 동안 상기 제 2 지문 이미지를 획득하지 못하면, 상기 제 1 이미지를 폐기하고 상기 지문 센서를 이용하여 새롭게 지문 이미지를 획득하는 제 2 지문 인식 동작을 수행하는 전자 장치.
  4. 제 1항에 있어서,
    상기 프로세서는
    상기 제 1 지문 이미지와 상기 제 2 지문 이미지의 유사도가 미리 정해진 기준 미만이면, 상기 제 1 이미지를 폐기하고 상기 지문 센서를 이용하여 새롭게 지문 이미지를 획득하는 제 2 지문 인식 동작을 수행하는 전자 장치.
  5. 제 1항에 있어서,
    상기 프로세서는
    지문의 각도에 관한 정보, 손가락의 위치 변화에 관한 정보, 피부 색상에 관한 정보, 지문 융과 골과 같은 폭 정보, 지문 이미지가 사라지는 시간 또는 프레임에 관한 정보 및/또는 상기 디스플레이 모듈 상의 손가락이 접촉되는 위치에 대한 정보 중 적어도 하나 이상을 획득하는 전자 장치.
  6. 제 1항에 있어서,
    상기 프로세서는
    상기 디스플레이 모듈 상에 지문 인식을 가이드 하는 인디케이팅 객체를 표시하고,
    상기 디스플레이 모듈 상에 호버링 입력이 감지되어 사용자의 지문이 상기 디스플레이 모듈에 근접하는 시점부터 상기 제 2 지문 이미지를 획득하는 전자 장치.
  7. 제 1항에 있어서,
    상기 프로세서는
    상기 미리 정해진 시간 동안 사용자의 지문 접촉을 유도하기 위한 사용자 인터페이스를 상기 디스플레이 모듈 상에 표시하며,
    사용자가 지문 인식이 실패할 경우 다시 시도하는 시간을 기반으로 상기 제 2 지문 이미지를 획득하기 위한 상기 미리 정해진 시간을 결정하고,
    상기 제 1 지문 이미지 또는 상기 제 2 지문 이미지 중에 이미지 품질이 미리 정해진 품질 이상인 이미지를 선택하여 지문을 인식하며,
    상기 사용자 인터페이스는
    숫자 카운트, 화면의 그림 변화 또는 애니메이션 효과 중 적어도 하나 이상인 전자 장치.
  8. 전자 장치의 지문 인식 방법에 있어서,
    제 1 지문 인식 동작을 수행하기 위해 상기 지문 센서를 통해 지문 이미지를 획득하는 동작;
    상기 제 1 지문 인식이 실패하면, 지문 인식을 위한 터치 해제 시점까지 제 1 지문 이미지를 획득하는 동작;
    터치가 해제되면, 미리 정해진 시간 동안 상기 지문 센서를 통해 제 2 지문 이미지를 획득했는지 여부를 판단하는 동작;
    상기 미리 정해진 시간 동안 상기 제 2 지문 이미지를 획득하면, 상기 제 1 지문 이미지와 상기 제 2 지문 이미지의 유사도가 미리 정해진 기준 이상인지 여부를 판단하는 동작;
    상기 제 1 지문 이미지와 상기 제 2 지문 이미지의 유사도가 미리 정해진 기준 이상이면, 상기 제 1 지문 이미지 또는 상기 제 2 지문 이미지를 이용하여 지문을 인식하는 동작을 포함하는 방법.
  9. 제 8항에 있어서,
    상기 제 1 지문 인식이 성공하면, 잠금 화면을 해제하는 동작을 더 포함하는 방법.
  10. 제 8항에 있어서,
    상기 미리 정해진 시간 동안 상기 제 2 지문 이미지를 획득하지 못하면, 상기 제 1 이미지를 폐기하고 상기 지문 센서를 이용하여 새롭게 지문 이미지를 획득하는 제 2 지문 인식 동작을 더 포함하는 방법.
  11. 제 8항에 있어서,
    상기 제 1 지문 이미지와 상기 제 2 지문 이미지의 유사도가 미리 정해진 기준 미만이면, 상기 제 1 이미지를 폐기하고 상기 지문 센서를 이용하여 새롭게 지문 이미지를 획득하는 제 2 지문 인식 동작을 더 포함하는 방법.
  12. 제 8항에 있어서,
    상기 제 1 지문 인식 동작을 수행하기 위해 상기 지문 센서를 통해 지문 이미지를 획득하는 동작은
    지문의 각도에 관한 정보, 손가락의 위치 변화에 관한 정보, 피부 색상에 관한 정보, 지문 융(ridge)과 골(valley)과 같은 폭 정보, 지문 이미지가 사라지는 시간 또는 프레임에 관한 정보 및/또는 상기 디스플레이 모듈 상의 손가락이 접촉되는 위치에 대한 정보 중 적어도 하나 이상을 획득하는 동작을 더 포함하는 방법.
  13. 제 8항에 있어서,
    제 1 지문 인식 동작을 수행하기 위해 상기 지문 센서를 통해 지문 이미지를 획득하는 동작은
    상기 디스플레이 모듈 상에 지문 인식을 가이드 하는 인디케이팅 객체를 표시하는 동작을 더 포함하는 방법.
  14. 제 8항에 있어서,
    상기 디스플레이 모듈 상에 호버링 입력이 감지되어 사용자의 지문이 상기 디스플레이 모듈에 근접하는 시점부터 상기 제 2 지문 이미지를 획득하는 동작을 더 포함하는 방법.
  15. 제 8항에 있어서,
    상기 미리 정해진 시간 동안 사용자의 지문 접촉을 유도하기 위한 사용자 인터페이스를 상기 디스플레이 모듈 상에 표시하는 동작;
    사용자가 지문 인식이 실패할 경우 다시 시도하는 시간을 기반으로 상기 제 2 지문 이미지를 획득하기 위한 상기 미리 정해진 시간을 결정하는 동작;
    상기 제 1 지문 이미지 또는 상기 제 2 지문 이미지 중에 이미지 품질이 미리 정해진 품질 이상인 이미지를 선택하여 지문을 인식하는 동작을 더 포함하고,
    상기 사용자 인터페이스는
    숫자 카운트, 화면의 그림 변화 또는 애니메이션 효과 중 적어도 하나 이상인 방법.
PCT/KR2022/003940 2021-03-23 2022-03-22 전자 장치 및 그것의 지문 인식 방법 WO2022203330A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP22776031.1A EP4296977A1 (en) 2021-03-23 2022-03-22 Electronic device and fingerprint recognition method of same
US18/469,081 US20240029476A1 (en) 2021-03-23 2023-09-18 Electronic device and fingerprint recognition method of same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0037268 2021-03-23
KR1020210037268A KR20220132245A (ko) 2021-03-23 2021-03-23 전자 장치 및 그것의 지문 인식 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/469,081 Continuation US20240029476A1 (en) 2021-03-23 2023-09-18 Electronic device and fingerprint recognition method of same

Publications (1)

Publication Number Publication Date
WO2022203330A1 true WO2022203330A1 (ko) 2022-09-29

Family

ID=83395930

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/003940 WO2022203330A1 (ko) 2021-03-23 2022-03-22 전자 장치 및 그것의 지문 인식 방법

Country Status (4)

Country Link
US (1) US20240029476A1 (ko)
EP (1) EP4296977A1 (ko)
KR (1) KR20220132245A (ko)
WO (1) WO2022203330A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7154061B2 (ja) * 2018-08-07 2022-10-17 株式会社東海理化電機製作所 生体情報認証装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180085587A (ko) * 2017-01-19 2018-07-27 삼성전자주식회사 지문을 획득하기 위한 전자 장치 및 그 제어 방법
KR20190074782A (ko) * 2017-12-20 2019-06-28 삼성전자주식회사 생체 정보와 관련된 이미지의 품질에 따라, 이미지를 지정된 방식으로 처리하여 인증하는 방법 및 이를 수행하는 전자 장치
KR20190095168A (ko) * 2018-02-06 2019-08-14 주식회사 하이딥 터치입력장치의 블랙화면모드에서 압력으로 인한 지문 센싱 방법 및 터치입력장치
KR20190098216A (ko) * 2016-12-29 2019-08-21 엘지전자 주식회사 전자장치
KR20190099386A (ko) * 2018-02-13 2019-08-27 베이징 시아오미 모바일 소프트웨어 컴퍼니 리미티드 지문 잠금 해제 방법, 장치, 프로그램 및 기록매체

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190098216A (ko) * 2016-12-29 2019-08-21 엘지전자 주식회사 전자장치
KR20180085587A (ko) * 2017-01-19 2018-07-27 삼성전자주식회사 지문을 획득하기 위한 전자 장치 및 그 제어 방법
KR20190074782A (ko) * 2017-12-20 2019-06-28 삼성전자주식회사 생체 정보와 관련된 이미지의 품질에 따라, 이미지를 지정된 방식으로 처리하여 인증하는 방법 및 이를 수행하는 전자 장치
KR20190095168A (ko) * 2018-02-06 2019-08-14 주식회사 하이딥 터치입력장치의 블랙화면모드에서 압력으로 인한 지문 센싱 방법 및 터치입력장치
KR20190099386A (ko) * 2018-02-13 2019-08-27 베이징 시아오미 모바일 소프트웨어 컴퍼니 리미티드 지문 잠금 해제 방법, 장치, 프로그램 및 기록매체

Also Published As

Publication number Publication date
EP4296977A1 (en) 2023-12-27
US20240029476A1 (en) 2024-01-25
KR20220132245A (ko) 2022-09-30

Similar Documents

Publication Publication Date Title
WO2019146918A1 (en) Method for recognizing fingerprint, and electronic device and storage medium therefor
WO2021091286A1 (en) Electronic device including sensor for detecting external input
WO2020085643A1 (en) Electronic device and controlling method thereof
WO2022203330A1 (ko) 전자 장치 및 그것의 지문 인식 방법
WO2021025329A1 (en) Electronic device including display and sensor
WO2022240258A1 (ko) 디스플레이 내장형 지문 센서를 포함하는 전자 장치 및 방법
WO2023003157A1 (ko) 전자 장치 및 전자 장치의 지문 정보 획득 방법
WO2022197076A1 (ko) 전자 장치 및 오타 보정 방법
WO2022164200A1 (ko) 전자 장치 및 전자 장치에서 스트로크 분석 기반 도형 인식 방법
WO2022085940A1 (ko) 웨어러블 표시 장치에 복수의 오브젝트들 표시 제어 방법 및 장치
WO2022177101A1 (ko) 지문 센서를 갖는 전자 장치 및 그의 지문 정보 업데이트 방법
WO2020032522A1 (en) Apparatus for unlocking electronic device by using stylus pen and method thereof
WO2023027292A1 (ko) 전자 장치 및 이를 이용한 지문 인식 가이드 제공 방법
WO2022050556A1 (ko) 우선순위에 따른 지문 스캔 방법 및 장치
WO2022139151A1 (ko) 전자 장치 및 전자 장치의 생체 정보 획득 방법
WO2024085380A1 (ko) 지문 센서 모듈을 포함하는 전자 장치 및 상기 전자 장치를 제어하는 방법
WO2023249243A1 (ko) 외부 객체의 접촉에 따른 지정된 기능을 실행하는 전자 장치 및 방법
WO2023096180A1 (ko) 스트레처블 디스플레이 및 udc를 포함하는 전자 장치 및 이를 이용한 스트레처블 디스플레이 제어 방법
WO2023177059A1 (ko) 전자 장치 및 터치 가이드 방법
WO2024014686A1 (ko) 외부 객체의 접촉을 처리하는 터치 회로를 포함하는 디스플레이를 포함하는 전자 장치
WO2023043118A1 (ko) 전자 장치 및 전자 장치의 터치 인식 방법
WO2023068628A1 (ko) 근접 센싱 방법 및 전자 장치
WO2023058891A1 (ko) 터치 감도에 기반한 지문 센서 활성화 방법 및 전자 장치
WO2022097992A1 (ko) 가변 디스플레이를 포함하는 전자 장치 및 그의 동작 방법
WO2023058893A1 (ko) 지문 센서를 포함하는 전자 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22776031

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2022776031

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2022776031

Country of ref document: EP

Effective date: 20230920

NENP Non-entry into the national phase

Ref country code: DE