WO2024025254A1 - 외부 장치를 이용한 지문 탈취 방지 방법 및 전자 장치 - Google Patents

외부 장치를 이용한 지문 탈취 방지 방법 및 전자 장치 Download PDF

Info

Publication number
WO2024025254A1
WO2024025254A1 PCT/KR2023/010514 KR2023010514W WO2024025254A1 WO 2024025254 A1 WO2024025254 A1 WO 2024025254A1 KR 2023010514 W KR2023010514 W KR 2023010514W WO 2024025254 A1 WO2024025254 A1 WO 2024025254A1
Authority
WO
WIPO (PCT)
Prior art keywords
fingerprint
electronic device
display
processor
remaining
Prior art date
Application number
PCT/KR2023/010514
Other languages
English (en)
French (fr)
Inventor
양형욱
이다솜
최용하
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220116464A external-priority patent/KR20240014415A/ko
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US18/470,869 priority Critical patent/US20240029477A1/en
Publication of WO2024025254A1 publication Critical patent/WO2024025254A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/57—Certifying or maintaining trusted computer platforms, e.g. secure boots or power-downs, version controls, system software checks, secure updates or assessing vulnerabilities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/82—Protecting input, output or interconnection devices
    • G06F21/84—Protecting input, output or interconnection devices output devices, e.g. displays or monitors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/88—Detecting or preventing theft or loss
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints

Definitions

  • Various embodiments relate to a method for preventing fingerprint theft using an external device and an electronic device.
  • Biometric information may include the user's biometric characteristics, such as fingerprint, iris, voice, face, or blood vessels.
  • the fingerprint recognition function is a technology commonly used in biometric authentication. It acquires the user's fingerprint image through a fingerprint sensor and compares the acquired user fingerprint image with a pre-registered fingerprint image to recognize the authenticated user. can be judged.
  • the electronic device may place a fingerprint recognition sensor inside the display (or at the bottom, under panel) and recognize a fingerprint that touches or touches the front of the display (e.g., a display image) in the area where the fingerprint recognition sensor is placed.
  • a fingerprint recognition function e.g. FOD (fingerprint on display) or in-display fingerprint.
  • the electronic device may place a fingerprint recognition sensor inside the display (or at the bottom, under panel) and recognize a fingerprint that touches or touches the front of the display (e.g., a display image) in the area where the fingerprint recognition sensor is placed.
  • Remaining fingerprints may appear across the display after multiple fingerprint authentication attempts or using electronic devices.
  • one aspect of the present disclosure is to provide an electronic device and method for preventing fingerprint theft using an external device.
  • An electronic device may include a display, a communication module, a memory, and a processor operatively connected to the display, the communication module, and the memory.
  • the processor may be set to detect that an augmented reality (AR) device and a residual fingerprint theft prevention service execution event interoperating with the AR device have occurred while wirelessly connected to the device through the communication module.
  • the processor may be set to receive residual fingerprint candidate group data corresponding to a fingerprint candidate area obtained from a front image of an electronic device display captured by a camera of the AR device from the AR device through the communication module.
  • the processor may be configured to determine authentication validity of the fingerprint candidate area by matching the remaining fingerprint candidate data with a fingerprint authentication template registered in the electronic device.
  • the processor may be set to transmit the authentication validity result and a security level evaluating the security risk of the remaining fingerprint remaining on the display of the electronic device to the AR device through the communication module.
  • the processor may be set to output security information about the remaining fingerprint on the display as an AR service through the AR device.
  • a residual fingerprint theft prevention service execution event linked to the AR device occurs while wirelessly connected to an augmented reality (AR) device through the communication module. It may include an operation to detect what has happened.
  • the method for preventing fingerprint theft may further include receiving, from the AR device, residual fingerprint candidate group data corresponding to a fingerprint candidate area obtained from a front image of an electronic device display captured by a camera of the AR device.
  • the fingerprint theft prevention method may further include determining authentication validity of the fingerprint candidate area by matching the remaining fingerprint candidate group data with a fingerprint authentication template registered in the electronic device.
  • the method for preventing fingerprint theft may further include transmitting, as a result of the authentication validity, a security level evaluating the security risk of the remaining fingerprint remaining on the display of the electronic device to the AR device.
  • the method for preventing fingerprint theft may further include outputting security information about the remaining fingerprint on the display to an AR service through the AR device.
  • a non-transitory computer-readable storage medium includes a residual fingerprint theft prevention service execution event that is linked to an augmented reality (AR) device while the processor of an electronic device is wirelessly connected to an augmented reality (AR) device through the communication module. It may contain instructions set to detect what has occurred.
  • the storage medium may further include instructions configured to receive from the AR device residual fingerprint candidate data corresponding to a fingerprint candidate area obtained from a front image of an electronic device display captured by a camera of the AR device.
  • the storage medium may further include instructions configured to determine authentication validity of the fingerprint candidate area by matching the remaining fingerprint candidate group data with a fingerprint authentication template registered in the electronic device.
  • the storage medium may further include an instruction set to transmit the authentication validity result and a security level evaluating the security risk of the remaining fingerprint remaining on the display of the electronic device to the AR device.
  • the storage medium may further store an instruction set to output security information about the remaining fingerprint on the display to the AR service through the AR device.
  • An electronic device, method, and non-transitory computer-readable storage medium detect residual fingerprints present on the entire display of an electronic device (e.g., a main device, a control device) using an external AR device, and the AR device
  • the electronic device can be linked to determine the possibility or validity of the remaining fingerprint for user authentication, thereby preventing fingerprint theft.
  • An electronic device, method, and non-transitory computer-readable storage medium determine the authentication possibility of a residual fingerprint remaining on the front of the display using an image acquired from an external device (e.g., an AR device) and link it with the external device.
  • an external device e.g., an AR device
  • fingerprint theft can be prevented in advance and the user's personal information can be protected.
  • An electronic device, method, and non-transitory computer-readable storage medium include residual fingerprints remaining on the front of the display in various environments where the lock is unlocked through fingerprint authentication, such as a door lock device and a TV, in addition to electronic devices such as smartphones. You can evaluate security risks and provide security guidance information to users.
  • FIG. 1 is a block diagram of an electronic device according to an embodiment.
  • Figure 2 is a block diagram of an augmented reality (AR) device according to an embodiment.
  • AR augmented reality
  • Figure 3 shows a network environment of an electronic device and an AR device according to an embodiment.
  • Figure 4 shows schematic configurations of an electronic device and an AR device according to an embodiment.
  • Figure 5 shows an example of detecting remaining fingerprints on an electronic device display according to an embodiment.
  • Figure 6 illustrates a method for preventing fingerprint theft using an AR device and an electronic device according to an embodiment.
  • Figure 7 illustrates a method for preventing fingerprint theft of an electronic device using an AR device according to an embodiment.
  • Figure 8 shows configurations of an AR device according to one embodiment.
  • Figure 9 illustrates a method for preventing fingerprint theft of an AR device according to an embodiment.
  • FIGS. 10A and 10B show examples of guide information for preventing fingerprint theft of fingerprints remaining on the display of an electronic device, according to an embodiment.
  • the electronic device 101 may be of various types.
  • the electronic device 101 may include, for example, a portable communication device (eg, a smartphone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance device.
  • a portable communication device eg, a smartphone
  • a computer device e.g., a laptop, a desktop, a tablet, or a smart phone
  • a portable multimedia device e.g., a portable medical device
  • a camera e.g., a camera
  • a wearable device e.g., a portable medical device
  • a home appliance device e.g., a portable medical device, a portable medical device, a camera, a wearable device, or a home appliance device.
  • the electronic device 101 according to the embodiment of this document is not limited to the above-described devices.
  • FIG. 1 is a block diagram of an electronic device 101 in a network environment 100, according to various embodiments.
  • the electronic device 101 communicates with the electronic devices 101 and 102 through a first network 198 (e.g., a short-range wireless communication network) or a second network. It is possible to communicate with at least one of the electronic devices 101, 104 or the server 108 through (199) (e.g., a long-distance wireless communication network). According to one embodiment, the electronic device 101 may communicate with the electronic devices 101 and 104 through the server 108.
  • a first network 198 e.g., a short-range wireless communication network
  • a second network e.g., a second network.
  • the electronic device 101 may communicate with the electronic devices 101 and 104 through the server 108.
  • the electronic device 101 includes a processor 120, a memory 130, an input module 150, an audio output module 155, a display module 160, an audio module 170, and a sensor module ( 176), interface 177, connection terminal 178, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196 , or may include an antenna module 197.
  • at least one of these components eg, the connection terminal 178) may be omitted or one or more other components may be added to the electronic device 101.
  • some of these components e.g., sensor module 176, camera module 180, or antenna module 197) are integrated into one component (e.g., display module 160). It can be.
  • the processor 120 for example, executes software (e.g., program 140) to operate at least one other component (e.g., hardware or software component) of the electronic device 101 connected to the processor 120. It can be controlled and various data processing or calculations can be performed. According to one embodiment, as at least part of data processing or computation, the processor 120 stores instructions or data received from another component (e.g., sensor module 176 or communication module 190) in volatile memory 132. The commands or data stored in the volatile memory 132 can be processed, and the resulting data can be stored in the non-volatile memory 134.
  • software e.g., program 140
  • the processor 120 stores instructions or data received from another component (e.g., sensor module 176 or communication module 190) in volatile memory 132.
  • the commands or data stored in the volatile memory 132 can be processed, and the resulting data can be stored in the non-volatile memory 134.
  • the processor 120 includes the main processor 121 (e.g., a central processing unit or an application processor) or an auxiliary processor 123 that can operate independently or together (e.g., a graphics processing unit, a neural network processing unit ( It may include a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor).
  • the main processor 121 e.g., a central processing unit or an application processor
  • an auxiliary processor 123 e.g., a graphics processing unit, a neural network processing unit ( It may include a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor.
  • the electronic device 101 includes a main processor 121 and a secondary processor 123
  • the secondary processor 123 may be set to use lower power than the main processor 121 or be specialized for a designated function. You can.
  • the auxiliary processor 123 may be implemented separately from the main processor 121 or as part of it.
  • the auxiliary processor 123 may, for example, act on behalf of the main processor 121 while the main processor 121 is in an inactive (e.g., sleep) state, or while the main processor 121 is in an active (e.g., application execution) state. ), together with the main processor 121, at least one of the components of the electronic device 101 (e.g., the display module 160, the sensor module 176, or the communication module 190) At least some of the functions or states related to can be controlled.
  • co-processor 123 e.g., image signal processor or communication processor
  • may be implemented as part of another functionally related component e.g., camera module 180 or communication module 190. there is.
  • the auxiliary processor 123 may include a hardware structure specialized for processing artificial intelligence models.
  • Artificial intelligence models can be created through machine learning. For example, such learning may be performed in the electronic device 101 itself, where artificial intelligence is performed, or may be performed through a separate server (e.g., server 108).
  • Learning algorithms may include, for example, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but It is not limited.
  • An artificial intelligence model may include multiple artificial neural network layers.
  • Artificial neural networks include deep neural network (DNN), convolutional neural network (CNN), recurrent neural network (RNN), restricted boltzmann machine (RBM), belief deep network (DBN), bidirectional recurrent deep neural network (BRDNN), It may be one of deep Q-networks or a combination of two or more of the above, but is not limited to the examples described above.
  • artificial intelligence models may additionally or alternatively include software structures.
  • the memory 130 may store various data used by at least one component (eg, the processor 120 or the sensor module 176) of the electronic device 101. Data may include, for example, input data or output data for software (e.g., program 140) and instructions related thereto.
  • Memory 130 may include volatile memory 132 or non-volatile memory 134.
  • the program 140 may be stored as software in the memory 130 and may include, for example, an operating system 142, middleware 144, or application 146.
  • the input module 150 may receive commands or data to be used in a component of the electronic device 101 (e.g., the processor 120) from outside the electronic device 101 (e.g., a user).
  • the input module 150 may include, for example, a microphone, mouse, keyboard, keys (eg, buttons), or digital pen (eg, stylus pen).
  • the sound output module 155 may output sound signals to the outside of the electronic device 101.
  • the sound output module 155 may include, for example, a speaker or a receiver. Speakers can be used for general purposes such as multimedia playback or recording playback.
  • the receiver can be used to receive incoming calls. According to one embodiment, the receiver may be implemented separately from the speaker or as part of it.
  • the display module 160 can visually provide information to the outside of the electronic device 101 (eg, a user).
  • the display module 160 may include, for example, a display, a hologram device, or a projector, and a control circuit for controlling the device.
  • the display module 160 may include a touch sensor configured to detect a touch, or a pressure sensor configured to measure the intensity of force generated by the touch.
  • the audio module 170 can convert sound into an electrical signal or, conversely, convert an electrical signal into sound. According to one embodiment, the audio module 170 acquires sound through the input module 150, the sound output module 155, or an external electronic device 101 connected directly or wirelessly to the electronic device 101. Sound can be output through (e.g., electronic devices 101 and 102) (e.g., speakers or headphones).
  • the sensor module 176 detects the operating state (e.g., power or temperature) of the electronic device 101 or the external environmental state (e.g., user state) and generates an electrical signal or data value corresponding to the detected state. can do.
  • the sensor module 176 includes, for example, a gesture sensor, a gyro sensor, an air pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, It may include a temperature sensor, humidity sensor, or light sensor.
  • the interface 177 may support one or more designated protocols that can be used to directly or wirelessly connect the electronic device 101 to an external electronic device 101 (eg, electronic devices 101 and 102).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card
  • connection terminal 178 may include a connector through which the electronic device 101 can be physically connected to an external electronic device 101 (eg, electronic devices 101 and 102).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 can convert electrical signals into mechanical stimulation (e.g., vibration or movement) or electrical stimulation that the user can perceive through tactile or kinesthetic senses.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 can capture still images and moving images.
  • the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 188 can manage power supplied to the electronic device 101.
  • the power management module 188 may be implemented as at least a part of, for example, a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the electronic device 101.
  • the battery 189 may include, for example, a non-rechargeable primary battery, a rechargeable secondary battery, or a fuel cell.
  • Communication module 190 may be used directly (e.g., between electronic device 101 and an external electronic device 101 (e.g., electronic device 101 (102), electronic device 101 (104), or server 108)). It can support the establishment of a wired) communication channel or a wireless communication channel, and the performance of communication through the established communication channel. Communication module 190 operates independently of processor 120 (e.g., an application processor) and may include one or more communication processors that support direct (e.g., wired) communication or wireless communication.
  • processor 120 e.g., an application processor
  • the communication module 190 may be a wireless communication module 192 (e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (e.g., : LAN (local area network) communication module, or power line communication module) may be included.
  • a wireless communication module 192 e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module
  • GNSS global navigation satellite system
  • wired communication module 194 e.g., : LAN (local area network) communication module, or power line communication module
  • the corresponding communication module is a first network 198 (e.g., a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 199 (e.g., legacy It is possible to communicate with external electronic devices 101 and 104 through a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-
  • the wireless communication module 192 uses subscriber information (e.g., International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 196 to communicate within a communication network such as the first network 198 or the second network 199.
  • subscriber information e.g., International Mobile Subscriber Identifier (IMSI)
  • IMSI International Mobile Subscriber Identifier
  • the wireless communication module 192 may support 5G networks after 4G networks and next-generation communication technologies, for example, NR access technology (new radio access technology).
  • NR access technology provides high-speed transmission of high-capacity data (eMBB (enhanced mobile broadband)), minimization of terminal power and access to multiple terminals (mMTC (massive machine type communications)), or high reliability and low latency (URLLC (ultra-reliable and low latency). -latency communications)) can be supported.
  • the wireless communication module 192 may support high frequency bands (eg, mmWave bands), for example, to achieve high data rates.
  • the wireless communication module 192 uses various technologies to secure performance in high frequency bands, for example, beamforming, massive array multiple-input and multiple-output (MIMO), and full-dimensional multiplexing. It can support technologies such as input/output (FD-MIMO: full dimensional MIMO), array antenna, analog beam-forming, or large scale antenna.
  • the wireless communication module 192 meets various requirements specified in the electronic device 101, an external electronic device 101 (e.g., electronic device 101, 104), or a network system (e.g., second network 199). can support.
  • the wireless communication module 192 supports Peak data rate (e.g., 20 Gbps or more) for realizing eMBB, loss coverage (e.g., 164 dB or less) for realizing mmTC, or U-plane latency (e.g., 164 dB or less) for realizing URLLC.
  • Peak data rate e.g., 20 Gbps or more
  • loss coverage e.g., 164 dB or less
  • U-plane latency e.g., 164 dB or less
  • the antenna module 197 may transmit or receive signals or power to or from the outside (e.g., the external electronic device 101).
  • the antenna module 197 may include an antenna including a radiator made of a conductor or a conductive pattern formed on a substrate (eg, PCB).
  • the antenna module 197 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for the communication method used in the communication network, such as the first network 198 or the second network 199, is connected to the plurality of antennas by, for example, the communication module 190. can be selected Signals or power may be transmitted or received between the communication module 190 and the external electronic device 101 through the selected at least one antenna.
  • other components eg, radio frequency integrated circuit (RFIC) may be additionally formed as part of the antenna module 197.
  • RFIC radio frequency integrated circuit
  • the antenna module 197 may form a mmWave antenna module.
  • a mmWave antenna module includes a printed circuit board, an RFIC disposed on or adjacent to a first side (e.g., bottom side) of the printed circuit board and capable of supporting a designated high-frequency band (e.g., mmWave band); And a plurality of antennas (e.g., array antennas) disposed on or adjacent to the second side (e.g., top or side) of the printed circuit board and capable of transmitting or receiving signals in the designated high frequency band. can do.
  • a mmWave antenna module includes a printed circuit board, an RFIC disposed on or adjacent to a first side (e.g., bottom side) of the printed circuit board and capable of supporting a designated high-frequency band (e.g., mmWave band); And a plurality of antennas (e.g., array antennas) disposed on or adjacent to the second side (e.g., top or side)
  • peripheral devices e.g., bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • signal e.g. commands or data
  • commands or data may be transmitted or received between the electronic device 101 and external electronic devices 101 and 104 through the server 108 connected to the second network 199.
  • Each of the external electronic devices 101, 102, or 104 may be of the same or different type as the electronic device 101.
  • all or part of the operations performed in the electronic device 101 may be executed in one or more of the external electronic devices 101 (102, 104, or 108). For example, when the electronic device 101 needs to perform a certain function or service automatically or in response to a request from a user or another device, the electronic device 101 may perform the function or service instead of executing the function or service on its own. Alternatively, or additionally, one or more external electronic devices 101 may be requested to perform at least part of the function or service.
  • One or more external electronic devices 101 that have received the request may execute at least part of the requested function or service, or an additional function or service related to the request, and transmit the result of the execution to the electronic device 101. there is.
  • the electronic device 101 may process the result as is or additionally and provide it as at least part of a response to the request.
  • cloud computing distributed computing, mobile edge computing (MEC), or client-server computing technology can be used.
  • the electronic device 101 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic devices 101 and 104 may include Internet of Things (IoT) devices.
  • Server 108 may be an intelligent server using machine learning and/or neural networks.
  • the external electronic devices 101, 104 or the server 108 may be included in the second network 199.
  • the electronic device 101 may be applied to intelligent services (e.g., smart home, smart city, smart car, or healthcare) based on 5G communication technology and IoT-related technology.
  • FIG. 2 is a block diagram of an electronic device 101 according to various embodiments.
  • the AR device 201 that provides images related to an augmented reality (AR) service to a user includes at least one of glasses, goggles, a helmet, or a hat. It may be configured in one form, but is not limited to this.
  • the AR device 201 may be a head-mounted device (HMD), a head-mounted display (HMD), or AR glasses.
  • HMD head-mounted device
  • HMD head-mounted display
  • the AR device 201 may provide an augmented reality service in conjunction with the electronic device 101 (or host device, controller device) (e.g., the electronic device 101 in FIG. 1). .
  • the AR device 201 may provide an augmented reality service that outputs at least one virtual object so that it appears overlapping in an area determined to be the user's field of view (FoV).
  • the area determined to be in the user's field of view is an area determined to be recognizable by the user through the AR device 201, and is an area that includes all or at least part of the display module 240 of the AR device 201. It can be.
  • AR device 201 is controlled at least in part by electronic device 101 (e.g., electronic device 101 of FIG. 1), and is controlled at least in part by electronic device 101 (e.g., electronic device 101 of FIG. 1). Under the control of (101)), at least one function can be performed.
  • the AR device 201 includes a communication module 210, a processor 220, a memory 230, a display module 240, an audio module 250, a sensor module 260, and a camera module 270. ) may include. Although not shown in the drawing, the AR device 201 may further include a power management module and a battery.
  • the communication module 210 (e.g., a wireless communication circuit) is connected to the electronic device 101 through a wireless communication network (e.g., the first network 198 of FIG. 1 (e.g., a short-range wireless communication network)). Communication may be performed with (e.g., the electronic device 101 of FIG. 1) or wireless communication may be performed with a server device through a long-distance wireless network (e.g., the second network 199 of FIG. 1).
  • the AR device 201 (101) may perform wireless communication with the electronic device 101 (e.g., the electronic device 101 of FIG. 1) to exchange commands and/or data with each other.
  • the communication module 210 may support a 5G network after the 4G network and next-generation communication technology, for example, NR access technology (new radio access technology).
  • NR access technology provides high-speed transmission of high-capacity data (eMBB (enhanced mobile broadband)), minimization of terminal power and access to multiple terminals (mMTC (massive machine type communications)), or high reliability and low latency (URLLC (ultra-reliable and low latency). -latency communications)) can be supported.
  • the communication module 210 may support a high frequency band (eg, mmWave band), for example, to achieve a high data rate.
  • the communication module 210 uses various technologies to secure performance in high frequency bands, for example, beamforming, massive MIMO (multiple-input and multiple-output), and full-dimensional multiple input and output. It may support technologies such as full dimensional MIMO (FD-MIMO), array antenna, analog beam-forming, or large scale antenna.
  • FD-MIMO full dimensional MIMO
  • array antenna analog beam-forming
  • large scale antenna large scale antenna
  • the display module 240 displays a virtual object on at least a portion of the display panel so that the user wearing the AR device 201 appears to have added a virtual object to the image related to the real space acquired through the camera module 270. At least one virtual object can be displayed.
  • the display module 240 may include a first display module 241 corresponding to the left eye of the user's two eyes and/or a second display module 243 corresponding to the right eye.
  • the display module 240 may be configured as a transparent or translucent display.
  • the display module 240 may include a lens.
  • the lens may include a lens including a transparent waveguide.
  • the lens can transmit light output from the display panel to the user's eyes.
  • light emitted from a display panel may pass through a lens and be delivered to the user through a wave guide (eg, waveguide) formed within the lens.
  • a waveguide may include at least one of at least one diffractive element (eg, a diffractive optical element (DOE), a holographic optical element (HOE)) or a reflective element (eg, a reflective mirror).
  • DOE diffractive optical element
  • HOE holographic optical element
  • a waveguide may guide display light emitted from a light source unit to the user's eyes using at least one diffractive element or reflective element. The user can perceive the actual space (or actual environment) behind the display through the display module 240.
  • the audio module 250 may convert sound into an electrical signal or, conversely, convert an electrical signal into sound based on the control of the processor 220.
  • audio module 250 may include speakers and/or microphones.
  • the sensor module 260 can detect the movement of the AR device 201.
  • the sensor module 260 may detect physical quantities related to the movement of the AR device 201, for example, speed, acceleration, angular velocity, angular acceleration, or geographic location of the AR device 201.
  • the sensor module 260 may include various sensors.
  • the sensor module 260 may include a proximity sensor 261, an illumination sensor 262, and/or a gyro sensor 263, but is not limited thereto.
  • the proximity sensor 261 can detect objects adjacent to the AR device 201.
  • the illuminance sensor 262 can measure the level of brightness around the AR device 201.
  • the processor 220 uses the illuminance sensor 262 to check the brightness level around the AR device 201 and changes the brightness-related setting information of the display module 240 based on the brightness level. You can.
  • the gyro sensor 263 can detect the status (or posture, direction) and location of the AR device 201.
  • the gyro sensor 263 can detect the movement of the AR device 201 or the user wearing the AR device 201.
  • the camera module 270 can capture still images and moving images.
  • camera module 270 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the camera module 270 includes a gesture camera 271, an eye tracking camera 273, a depth camera 275, and/or an RGB camera ( 277) may include at least one of the following.
  • the gesture camera 271 can detect the user's movement.
  • at least one gesture camera 271 may be placed on the AR device 201 and may detect the user's hand movement within a preset distance.
  • the gesture camera 271 may include a simultaneous localization and mapping camera (SLAM camera) for recognizing information (eg, location and/or direction) related to the surrounding space of the AR device 201.
  • the eye tracking camera 273 can track the movements of the user's left and right eyes.
  • the processor 220 may use the gaze tracking camera 273 to check the gaze direction of the left eye and the gaze direction of the right eye.
  • the distance measuring camera 275 can measure the distance to an object located in front of the AR device 201.
  • the distance measuring camera 275 may include a time of flight (TOF) camera and/or a depth camera.
  • TOF time of flight
  • the distance measurement camera 275 may capture a front direction of the AR device 201, and the eye tracking camera 273 may capture a direction opposite to the direction of the distance measurement camera 275.
  • the RGB (red green blue) camera 277 can detect color-related information of an object and distance information from the object.
  • the gesture camera 271, eye tracking camera 273, distance measurement camera 275, and/or RGB camera 277 included in the camera module 270 are each installed in the AR device 201. It may be included or partially implemented as an integrated camera.
  • the distance measurement camera 275 and the RGB camera 277 may be implemented as one integrated camera.
  • the processor 220 executes a program (e.g., program 140 of FIG. 1) stored in the memory 230 to execute at least one other component (e.g., program 140 of FIG. 1) related to the function of the AR device 201. : Controls the communication module 210, display module 240, audio module 250, sensor module 260, and camera module 270) and is required for tasks related to augmented reality services (e.g., AR tasks). Data processing or calculations can be performed.
  • processor 220 may include a computation processing unit.
  • the processor 220 may obtain image information by capturing an image related to the real space corresponding to the field of view of the user wearing the AR device 201 through the camera module 270.
  • the processor 220 may recognize information corresponding to an area determined to be the user's field of view (FoV) among images related to real space acquired through the camera module 270 of the AR device 201.
  • the processor 220 may create a virtual object based on virtual information based on image information.
  • the processor 220 may display virtual objects related to the augmented reality service along with image information through the display module 240.
  • the processor 220 measures physical quantities (e.g., geographic location, speed, acceleration, angular velocity, and angular acceleration of the AR device 201) related to the movement of the AR device 201 through the sensor module 260. and movement information of the AR device 201 can be obtained using measured physical quantities or a combination thereof.
  • physical quantities e.g., geographic location, speed, acceleration, angular velocity, and angular acceleration of the AR device 201
  • the processor 220 analyzes the movement information and image information of the AR device 201 in real time to perform AR tasks, such as head tracking tasks, hand tracking tasks, and eye tracking tasks. It can be controlled to handle eye tracking tasks.
  • FIG. 3 shows a network environment of the electronic device 101 and the AR device 201 according to an embodiment.
  • the electronic device 101 and the AR device 201 may be connected to each other using a wireless communication network 310.
  • the electronic device 101 may be a device that performs wireless communication and various calculations to provide AR services.
  • the electronic device 101 may be, for example, any one of a smart phone, a PC, and a tablet PC, and is not limited to the examples described above.
  • the AR device 201 may be in the form of glasses that can be worn by the user, but is not limited to this.
  • the wireless communication network 310 may be a short-range wireless network (eg, the first network 198 in FIG. 1).
  • the electronic device 101 and the AR device 201 may be connected to each other using at least one wireless communication method among WiFi-P2P, Bluetooth, and BLE (Bluetooth low energy), but the wireless communication method is not limited to this.
  • the AR device 201 may transmit various information for providing an AR service to the electronic device 101 using the wireless communication network 310.
  • the AR device 201 may obtain location information of the AR device 201, sensor information, and image information captured of the actual environment, and transmit these to the electronic device 101 in real time.
  • the electronic device 101 receives information (e.g., location information, sensor information, and images captured from the actual environment) necessary to provide an AR service using the wireless communication network 310 from the AR device 201. information), and generate virtual information and/or virtual objects to be output from the AR device 201 based on the received information and transmit them to the AR device 201.
  • information e.g., location information, sensor information, and images captured from the actual environment
  • the AR device 201 may provide an AR service by outputting images related to virtual information and/or virtual objects transmitted from the electronic device 101 using the wireless communication network 310.
  • the electronic device 101 and the AR device 201 may be communicatively connected to a server (eg, the server 108 in FIG. 1) using wireless communication.
  • the server may obtain virtual information for implementing an AR service.
  • the electronic device 101 receives the location information of the AR device 201, sensor information, and image information captured by the AR device 201 in real time and relays them to the server, and the server Virtual information can be obtained based on information received from the electronic device 101.
  • the server transmits the acquired virtual information to the electronic device 101, and the electronic device 101 may relay and transmit the received virtual information to the AR device 201.
  • the AR device 201 and the electronic device 101 work in conjunction with each other to determine the authentication validity of the remaining fingerprint remaining on the display of the electronic device 101 to evaluate the security risk of the remaining fingerprint, and the user We can support a residual fingerprint theft prevention service that informs users of the risk of residual fingerprints.
  • FIG. 4 shows schematic configurations of an electronic device 101 and an AR device 201 according to an embodiment
  • FIG. 5 shows an example of detecting residual fingerprints from a display front image of an electronic device according to an embodiment. do.
  • an AR device that supports a residual fingerprint theft prevention service includes an AR processor 410 (e.g., processor 220 in FIG. 2). ), AR communication module 413 (e.g., communication module 210 in FIG. 2), AR camera 415 (e.g., camera module 270 in FIG. 2), AR memory 419 (e.g., in FIG. 2) It may include a memory 230).
  • the AR device 201 shown in FIG. 4 may have the same configuration as the AR device 201 shown in FIG. 2, or may further include the configuration of the AR device 201 shown in FIG. 2. A detailed description of the same elements as in FIG. 2 will be omitted, and operations related to the residual fingerprint theft prevention service will be described.
  • the AR communication module 413 transmits and receives signals, data, or information related to the residual fingerprint theft prevention service with the electronic device 101 (e.g., the electronic device 101 or the server 108 in FIG. 1). can do.
  • the AR camera 415 may be a camera that supports fingerprint capturing, for example, at least one of an optical sensor, a UV camera, or an RGB camera, or a combination thereof, but is not limited thereto.
  • the AR device 201 displays the electronic device 101 by executing a camera (e.g., an AR camera) in response to a user input or a designated event (e.g., a residual fingerprint theft prevention service execution event) occurring.
  • a camera e.g., an AR camera
  • a designated event e.g., a residual fingerprint theft prevention service execution event
  • Conditions for running the AR camera in the AR device 201 or the electronic device 101 for the residual fingerprint theft prevention service can be set in various ways.
  • the residual fingerprint theft prevention service execution event is when the electronic device 101 and the AR device 201 are connected to each other, when a fingerprint authentication attempt is performed on the electronic device 101, and when the electronic device 101 In fingerprint authentication, this may be either the point in time when fingerprint authentication has been performed exceeding a certain number of times or the point in time when the residual fingerprint theft prevention service function is turned on, but is not limited to this.
  • the occurrence of a residual fingerprint theft prevention service execution event may be shared between the electronic device 101 and the AR device 201.
  • the AR camera 415 may capture the front surface of the display of the electronic device 101 and transmit the image of the front surface of the display to the AR processor 410 (or the image acquisition module 4111).
  • the AR processor 410 may include an image acquisition module 4111, a fingerprint data processing module 4112, and an AR user interface (UI) providing module 4113.
  • the AR device 201 may further include at least one of a residual fingerprint determination module (not shown) or a fingerprint authentication module (not shown). An example in which the AR device 201 includes at least one of a residual fingerprint determination module or a fingerprint authentication module will be described with reference to FIGS. 8 and 9.
  • the AR processor 410 may control the image acquisition module 4111, the fingerprint data processing module 4112, and the AR UI provision module 4113, or process (or perform) their operations.
  • the AR memory 419 may store instructions that enable the AR processor 410 to operate the image acquisition module 4111, the fingerprint data processing module 4112, and the AR UI provision module 4113. Instructions may be stored as software on AR memory 419 and may be executable by AR processor 410.
  • the image acquisition module 4111 may receive a captured image from the AR camera 415.
  • the image acquisition module 4111 may receive an image of the front display of the electronic device 101 in relation to the residual fingerprint theft prevention service.
  • the image acquisition module 4111 may transmit the front display image to the fingerprint data processing module 4112.
  • the fingerprint data processing module 4112 performs image processing (e.g., contrast enhancement) on the front image of the display to generate an amplitude image (e.g., the difference in light amount at the ridge and valley portion (e.g., : An image (amplitude fingerprint image) containing amplitude (A ( x,y ) ) information representing reflectance or transmittance can be generated.
  • image processing e.g., contrast enhancement
  • the fingerprint data processing module 4112 may process the amplitude image into residual fingerprint candidate data related to at least one fingerprint candidate area.
  • the fingerprint data processing module 4112 processes the fingerprint's characteristic points (e.g., a ridge, which is a raised part in a line shape, a valley, which is a valley-like part between ridges, and a part where the ridges are split) in the amplitude image.
  • Detect or find) the fingerprint candidate area where the fingerprint expression pattern or fingerprint shape appears by learning (e.g. deep learning learning) the bifucation, the ending point (the part where the ridge ends), and detecting the detected fingerprint candidate area. data can be obtained.
  • the fingerprint data processing module 4112 selects an area having characteristic points of the fingerprint from the amplitude image corresponding to the display front image 510, for example, a first fingerprint candidate area (a). , the second fingerprint candidate area (b) and the third fingerprint candidate area (c) can be detected.
  • the fingerprint data processing module 4112 may exclude from the fingerprint candidate area if the fingerprint pattern shape cannot be extracted because it is unclear, distorted, or the fingerprints overlap.
  • the fingerprint data processing module 4112 extracts data 520 of the first fingerprint candidate area (a), extracts data 521 of the second fingerprint candidate area (b), and extracts data 521 of the third fingerprint candidate area (c). Data 523 can be extracted.
  • the fingerprint data processing module 4112 assigns numbers to fingerprint candidate areas, calculates coordinate information where each fingerprint candidate area is located within the front image of the display, and data (e.g., feature point data) of each fingerprint candidate area. ) can be extracted and processed into residual fingerprint candidate data.
  • residual fingerprint candidate data can be structured as shown in ⁇ Table 1>.
  • the fingerprint data processing module 4112 may crop a fingerprint candidate area having fingerprint feature points.
  • the AR device 201 may obtain resolution information of the fingerprint recognition sensor of the electronic device 101.
  • the AR device 201 may set the crop size of the fingerprint candidate area to a size corresponding to the resolution of the fingerprint recognition sensor of the electronic device 101.
  • the fingerprint data processing module 4112 acquires a crop image of the fingerprint candidate area detected in the amplitude image (e.g., a first crop image corresponding to the first fingerprint candidate area, a second crop image corresponding to the second fingerprint candidate area).
  • the feature point data can be replaced with a cropped image to form residual fingerprint candidate data.
  • the fingerprint data processing module 4112 may transmit the remaining fingerprint candidate group data to the AR communication module 413 so that the remaining fingerprint candidate group data is transmitted to the electronic device 101 through the AR communication module 413. .
  • the AR device 201 may transmit residual fingerprint candidate data to the electronic device 101 through the AR communication module 413 and request a security risk assessment according to the authentication validity of the residual fingerprint candidate data. .
  • the electronic device 101 verifies authentication validity by comparing the residual fingerprint candidate data delivered from the AR device 201 with the fingerprint authentication template registered in the electronic device 101, and sends matching information, including the security level, to the AR device 201. ) can be transmitted.
  • the AR UI providing module 4113 when receiving matching information related to residual fingerprint candidate group data from the electronic device 101 through the AR communication module 413, the AR UI providing module 4113 provides a fingerprint based on the received matching information.
  • Security guidance information on the remaining fingerprint based on the security level of the candidate area can be output through the AR service.
  • the security guidance information may be information that guides the removal of residual fingerprints, informs about the risk of residual fingerprints, or may be information that informs that there are no residual fingerprints.
  • the AR UI providing module 4113 may display each fingerprint within a camera preview image (e.g., an image capturing the front (e.g., display area) of the electronic device 101) executed in conjunction with the electronic device 101.
  • the location of the fingerprint candidate area is confirmed by referring to the coordinate information of the candidate area, and the location of the remaining fingerprint corresponding to the display of the electronic device 101 is provided with security guidance information (e.g., “This is a fingerprint that can be authenticated”, “Fingerprint with a high possibility of authentication”) It is possible to output virtual information (or a virtual object) that outputs text such as "Please remove the remaining fingerprint" or "There is no fingerprint that can be authenticated.”
  • the AR UI ball module 4113 provides a UI (e.g., virtual fingerprint-shaped object, security risk object) that guides the location of a fingerprint candidate area with a normal or high security risk level to the camera preview image. It can be printed as an overlay.
  • the electronic device 101 (e.g., the electronic device 101 of FIG. 1) that supports the residual fingerprint theft prevention service includes a processor 420 (e.g., the processor 120 of FIG. 1) and a communication module. 423 (e.g., communication module 190 in FIG. 1), display 427 (e.g., display module 160 in FIG. 1), and memory 429 (e.g., memory 130 in FIG. 1). can do.
  • the electronic device 101 shown in FIG. 4 may have the same configuration as the electronic device 101 shown in FIG. 1 or may further include the configuration of the electronic device 101 shown in FIG. 1 . Detailed description of the same elements as in FIG. 1 will be omitted, and components related to the residual fingerprint theft prevention service will be described in detail.
  • the electronic device 101 may support an AR service by communicating with the AR device 201 through the communication module 423.
  • the communication module 423 can transmit and receive signals, data, or information related to the residual fingerprint theft prevention service in conjunction with the AR communication module 413 (or server).
  • the communication module 423 receives residual fingerprint candidate data processed from the front image of the display of the electronic device 101 from the AR device 201 in relation to the residual fingerprint theft prevention service, and receives residual fingerprint candidate data may be transmitted to the processor 420 (or the remaining fingerprint determination module 4212).
  • the processor 420 of the electronic device 101 may include a fingerprint authentication module 4211, a remaining fingerprint determination module 4212, and a UI provision module 4213.
  • the processor 420 may control or process (or perform) the operations of the fingerprint authentication module 4211, the remaining fingerprint determination module 4212, and the UI providing module 4213.
  • the memory 429 may store instructions that enable the processor 420 to operate the fingerprint authentication module 4211, the remaining fingerprint determination module 4212, and the UI provision module 4213. Instructions may be stored as software on memory 429 and may be executable by processor 420.
  • the fingerprint authentication module 4211 may store and manage the user's fingerprint authentication template in the memory 429 to determine success or failure of fingerprint authentication of information sensed from a fingerprint recognition sensor (not shown). there is.
  • the fingerprint authentication module 4211 acquires fingerprint image data by image processing a signal transmitted from a fingerprint recognition sensor or an image sensor, and stores the fingerprint image data in a fingerprint authentication template (or fingerprint authentication template) registered in the memory. data) can be compared to determine whether fingerprint authentication is successful.
  • the fingerprint authentication module 4211 determines that fingerprint authentication is successful if the feature points included in the fingerprint image data substantially match the feature points of the registered fingerprint authentication template, and if the feature points do not match each other, the fingerprint authentication is determined to have failed. You can decide.
  • the electronic device 101 may receive a front display image from the AR device 201.
  • the electronic device 101 receives the original data of the display front image from the AR device 201
  • the original data of the display front image is transmitted to the fingerprint authentication module 4211
  • the display front image is transmitted through the fingerprint authentication module 4211.
  • the image may be processed into an amplitude image corresponding to the image, and residual fingerprint candidate data related to at least one fingerprint candidate area may be processed from the amplitude image.
  • the residual fingerprint determination module 4212 may determine the authentication validity of the fingerprint candidate area by matching the residual fingerprint candidate group data delivered from the AR device 201 with the fingerprint authentication template registered in the electronic device.
  • the residual fingerprint determination module 4212 determines the similarity between the feature point data (or cropped phase image) of each fingerprint candidate region and the feature points of the registered fingerprint authentication template to calculate the similarity score of the fingerprint candidate region. You can.
  • the remaining fingerprint determination module 4212 can determine the security level by evaluating the security risk of the fingerprint candidate area by distinguishing the similarity score of the fingerprint candidate area according to a set threshold. For example, the residual fingerprint determination module 4212 divides the threshold into level 1 (eg, first threshold), level 2 (eg, second threshold), and level 3 (eg, third threshold). , when the similarity score is less than the first threshold, the security level can be determined to be low.
  • the remaining fingerprint determination module 4212 may determine the security level as normal if the similarity score is between the first threshold and level 2 or higher, and determine the security risk level if the similarity score is level 3 or higher.
  • the residual fingerprint determination module 4212 configures matching information that evaluates the security risk (e.g., security level) according to the authentication validity determination of the residual fingerprint candidate data, and sends the matching information to the AR device 201. It can be transmitted to the communication module 423 for transmission.
  • the security risk e.g., security level
  • the matching information may include number information assigned to each fingerprint candidate area, coordinate information, and security level information according to the similarity score, but is not limited to this.
  • matching information can be structured as shown in [Table 2].
  • the UI providing module 4213 may display information related to the residual fingerprint theft prevention service or control the operation of the display. For example, the UI providing module 4213 can turn off the display screen or control the display screen to be displayed black when executing the residual fingerprint theft prevention service in conjunction with the AR device 201. there is. By turning the display 427 of the electronic device 101 black, the detection rate for residual fingerprints when the AR device 201 photographs the front of the display of the electronic device 101 can be increased.
  • the UI providing module 4213 displays the display screen black when the AR device 201 provides security guidance information of the remaining fingerprint based on the security level of the fingerprint candidate area as an AR service. It can be controlled as much as possible.
  • the UI providing module 4213 may independently display security information about the remaining fingerprint on the display of the electronic device 101.
  • the presence of an external camera may be necessary to determine the presence or absence of residual fingerprints on the entire display.
  • AR augmented reality
  • MR mixed reality
  • AR devices are basically equipped with cameras, and images acquired through the cameras of AR devices can be processed through image processing.
  • an AR device uses an AR device to detect residual fingerprints that exist on the entire display of an electronic device (e.g., main device, control device), and the AR device and the electronic device are linked to determine the possibility or validity of user authentication. You can prevent fingerprint theft by judging the information.
  • an electronic device e.g., main device, control device
  • An electronic device, method, and non-transitory computer-readable storage medium determine the authentication possibility of a residual fingerprint remaining on the front of the display using an image acquired from an external device (e.g., an AR device) and link it with the external device.
  • an external device e.g., an AR device
  • fingerprint theft can be prevented in advance and the user's personal information can be protected.
  • An electronic device (e.g., the electronic device 101 in FIGS. 1, 3, and 4) according to an embodiment includes a display (e.g., the display module 160 in FIG. 1 and the display 427 in FIG. 4) and a communication module. (e.g., communication module 190 in FIG. 1, communication module 427 in FIG. 4), memory (e.g., memory 120 in FIG. 1, memory 429 in FIG. 4) and the display, the communication module, Includes a processor (e.g., processor 120 in FIG. 1 and processor 420 in FIG. 4) operatively connected to the memory, and the processor is configured to operate an augmented reality (AR) device (e.g., FIG. 2, FIG. 3, FIG.
  • AR augmented reality
  • the AR device 201) is wirelessly connected through the communication module, detects that an event of executing a residual fingerprint theft prevention service linked with the AR device has occurred, and captures the image captured by the camera of the AR device.
  • the electronic device further includes a fingerprint recognition sensor
  • the memory includes the fingerprint as a standard for determining authentication success or authentication failure based on biometric information recognized through the fingerprint recognition sensor. Authentication templates can be saved.
  • the processor turns off the display for a certain period of time based on detecting a camera shooting event related to the residual fingerprint theft prevention service in conjunction with the AR device, or sets the display to display a black screen. It can be.
  • the residual fingerprint theft prevention service execution event in conjunction with the AR device may be characterized as being generated based on receiving a residual fingerprint theft prevention service execution signal from the AR device through the communication module. .
  • the residual fingerprint theft prevention service execution event in conjunction with the AR device may be characterized as being generated based on a fingerprint authentication attempt being performed through the fingerprint recognition sensor.
  • the residual fingerprint theft prevention service execution event in conjunction with the AR device may be characterized in that it is generated based on a set number of fingerprint authentication attempts through the fingerprint recognition sensor being exceeded.
  • the processor is set to transmit resolution information of the fingerprint recognition sensor to the AR device through the communication module, based on the occurrence of a residual fingerprint theft prevention service execution event linked to the AR device. It can be.
  • the remaining fingerprint candidate data includes number information assigned to a fingerprint candidate area having a valid fingerprint pattern based on an amplitude image corresponding to the front image of the display of the electronic device, feature point data of the fingerprint candidate area, and coordinate information where the fingerprint candidate area is located within a front image of the display of the electronic device.
  • the processor determines the similarity between the feature point data of the fingerprint candidate area included in the residual fingerprint candidate group data and the feature point of the fingerprint authentication template registered in the memory to calculate a similarity score, and calculates the similarity score.
  • the security level can be determined by distinguishing scores based on set thresholds, and the determined security level can be set to be transmitted to the AR device along with the number and coordinate information assigned to each fingerprint candidate area.
  • the processor turns off the display for a certain period of time in response to a signal from the AR device providing security information of the remaining fingerprint as an AR service, or sets the display to display a black screen. It can be.
  • an AR device uses a camera (e.g., camera 270 in FIG. 2, AR camera 415 in FIG. 4). , AR camera 815 in FIG. 8), communication module (e.g., communication module 210 in FIG. 2, AR communication module 413 in FIG. 4, and AR communication module 813 in FIG. 8), memory (e.g., Memory 230 of FIG. 2, AR memory 419 of FIG. 4, and AR memory 819 of FIG. 8), the camera, the communication module, and a processor operatively connected to the memory (e.g., the processor of FIG. 2) (220), including the AR processor 410 of FIG. 4 and the AR processor 810 of FIG.
  • a camera e.g., camera 270 in FIG. 2, AR camera 415 in FIG. 4
  • communication module e.g., communication module 210 in FIG. 2, AR communication module 413 in FIG. 4, and AR communication module 813 in FIG. 8
  • memory e.g., Memory 230 of FIG. 2, AR memory 419 of
  • the processor is an electronic device (e.g., the electronic device 101 of FIGS. 1, 3, and 4)
  • the electronic device detects that a residual fingerprint theft prevention service execution event linked to the AR device has occurred while connected to wireless communication through a communication module, and takes a picture through the camera based on the residual fingerprint theft prevention service execution event.
  • Obtain a front image of the display process the front image of the display, configure residual fingerprint candidate data based on a fingerprint candidate area related to the residual fingerprint remaining on the display of the electronic device, and store a fingerprint authentication template of the electronic device in the memory.
  • the authentication validity of the fingerprint candidate area is determined by matching the remaining fingerprint candidate group data with the fingerprint authentication template of the electronic device, and the authentication validity result is displayed on the display of the electronic device according to the security level of the fingerprint candidate area.
  • Security guidance information informing security risks of remaining fingerprints is provided as an AR service, and if the fingerprint authentication template of the electronic device is not stored in the memory, the residual fingerprint candidate data is transmitted to the electronic device. It can be.
  • the camera may be at least one of an optical sensor, a UV camera, or an RGB camera, or a combination thereof.
  • the processor generates an amplitude image by image processing the front image of the display of the electronic device, detects a fingerprint candidate area having a fingerprint feature point from the amplitude image, and assigns a number to the detected fingerprint candidate area. It may be characterized by calculating coordinate information where the fingerprint code area is located in the front image of the display, extracting feature point data of the fingerprint candidate area, and configuring the remaining fingerprint candidate group data.
  • the processor when the fingerprint authentication template of the electronic device is stored in the memory, the processor combines the feature point data of the fingerprint candidate area included in the existing remaining fingerprint candidate group data and the fingerprint authentication template registered in the memory. Calculate a similarity score by determining the similarity between feature points, determine a security level by distinguishing the calculated similarity score based on set thresholds, and provide the security guidance information as an AR service based on the determined security level. It can be characterized as:
  • the processor transmits the fingerprint authentication template of the electronic device to the electronic device or server without transmitting the remaining fingerprint candidate group data to the electronic device. It may be further set to request and receive a fingerprint authentication template of the electronic device from the electronic device or the server.
  • FIG. 6 illustrates a method for preventing fingerprint theft using the AR device 201 and the electronic device 101 according to an embodiment.
  • each operation may be performed sequentially, but is not necessarily performed sequentially.
  • the order of each operation may be changed, and at least two operations may be performed in parallel.
  • operations 610 to 680 are performed by the processor of the AR device 201 (e.g., the processor 220 of FIG. 2, the AR processor 410 of FIG. 4) or the processor of the electronic device 101 (e.g., FIG. It can be understood that it is performed in the processor 120 of 1 and the processor 420 of FIG. 4).
  • the AR device 201 (e.g., the AR device 201 in FIG. 2 and the AR device 201 in FIG. 4) generates a user input or a designated event in operation 610. Based on this, a display front image (eg, display front image 510 of FIG. 5) of the electronic device 101 may be obtained.
  • a display front image e.g, display front image 510 of FIG. 5
  • the AR device 201 uses a camera (e.g., rear camera, optical sensor, UV camera) that supports fingerprint capturing within the AR device 201 according to user input (e.g., input for selecting a camera execution item).
  • a camera e.g., rear camera, optical sensor, UV camera
  • RGB camera can be activated and the front of the display of the electronic device 101 is photographed (e.g., an input for selecting a photographed item) to obtain an image of the front of the display.
  • the AR device 201 completes a connection with the electronic device 101 through a wireless network (e.g., short-range communication) based on the electronic device 101 being located within a short-range communication distance, and the electronic device 101
  • a wireless network e.g., short-range communication
  • the camera may be automatically launched and an image of the front of the display of the electronic device 101 may be acquired by photographing the front of the display.
  • an encryption code e.g., a barcode or QR code
  • the AR device 201 displays a fingerprint theft prevention service execution signal (e.g., a fingerprint theft service execution input signal in the AR device 201, and a display of the electronic device 101 connected through wireless communication from the electronic device 101.
  • the camera is automatically launched in response to receiving a notification signal to take a photo (a notification signal notifying that fingerprint authentication has been performed from the electronic device 101), and the front of the display of the electronic device 101 is photographed to create an image of the front of the display. It can be obtained.
  • the electronic device 101 transmits a signal to execute a fingerprint theft prevention service to the AR device 201 connected to the electronic device 101 every time fingerprint authentication is performed, or the electronic device 101 attempts fingerprint authentication more than a certain number of times. At this point, a fingerprint theft prevention service execution signal can be transmitted to the AR device 201.
  • the AR device 201 when the AR device 201 runs the camera, it may output guide information to take a picture of the display of the electronic device 101 (e.g., output a sound or display a message on the display). The user can obtain an image of the front of the display by photographing the front of the display of the electronic device 101 using the guide information.
  • guide information e.g., output a sound or display a message on the display.
  • the AR device 201 may transmit guidance information about attempting to capture a fingerprint to the electronic device 101. For example, when guidance information is received from the AR device 201, the electronic device 101 turns off the display or turns the background screen black to assist shooting in the AR device 201 (101). You can change it. Conversely, when the electronic device 101 transmits a fingerprint theft prevention service execution signal to the AR device 201, the electronic device 101 turns off the display or turns off the background to assist shooting in the AR device 201. You can also change the screen to black
  • the AR device 201 may image process the front image of the display of the electronic device 101 into an amplitude image.
  • the AR device 201 processes (e.g., contrast enhancement) an image of the front of the display acquired through a camera (e.g., a light detector (or image sensor)) that supports fingerprint capturing to identify ridges and valleys.
  • a camera e.g., a light detector (or image sensor)
  • An amplitude image e.g., amplitude fingerprint image
  • a ( x,y ) amplitude information representing the difference in light amount (e.g., reflectivity or transmittance) in a part can be acquired.
  • the AR device 201 may detect at least one fingerprint candidate area from the amplitude image corresponding to the front image of the display, and process the amplitude image into remaining fingerprint candidate data based on the fingerprint candidate area.
  • the AR device 201 selects the characteristic points of the fingerprint (e.g., a ridge that is a raised portion in a line shape, a valley that is a valley-like portion between ridges, and a ridge) in the amplitude image. Detect (or find) the fingerprint candidate area corresponding to the fingerprint expression pattern or fingerprint shape by learning (e.g. deep learning learning) the bifucation, which is the part where the ridge ends, and the ending point, which is the end of the ridge. data can be extracted.
  • learning e.g. deep learning learning
  • the AR device 201 may configure residual fingerprint candidate data related to at least one fingerprint candidate area detected from the amplitude image.
  • the remaining fingerprint candidate data may include number information assigned for identification, feature point data and coordinate information of the fingerprint candidate area, but may also include other information required for fingerprint authentication.
  • the AR device 201 assigns a number to each fingerprint candidate area, as shown in ⁇ Table 1> described in FIG. 4, and provides coordinate information and a fingerprint candidate where each fingerprint candidate area is located within the front image of the display. By acquiring the feature point data of the area, residual fingerprint candidate data can be constructed.
  • the AR device 201 may transmit residual fingerprint candidate data to the electronic device 101 through an AR communication module (eg, the AR communication module 413 in FIG. 4).
  • an AR communication module eg, the AR communication module 413 in FIG. 4
  • the electronic device 101 may receive residual fingerprint candidate data delivered from the AR device 201.
  • the electronic device 101 may determine the authentication validity of the fingerprint candidate area by matching the remaining fingerprint candidate group data delivered from the AR device 201 with the fingerprint authentication template registered in the electronic device 101.
  • the electronic device 101 may calculate the similarity score of the fingerprint candidate area by determining the similarity between the feature points of the fingerprint authentication template registered with the feature point data (or cropped phase image) of each fingerprint candidate region.
  • the electronic device 101 may distinguish the similarity score of the fingerprint candidate area according to a set threshold and determine a security level that evaluates the security risk of the fingerprint candidate area. For example, the electronic device 101 divides the threshold into level 1 (eg, first threshold), level 2 (eg, second threshold), and level 3 (eg, third threshold), and determines the similarity If the score is less than the first threshold, it can be determined as a low security level.
  • the electronic device 101 may determine the security level as normal if the similarity score is between the first threshold and level 2 or higher, and determine the security risk level as if the similarity score is level 3 or higher.
  • the electronic device 101 may configure matching information for determining the validity of the remaining fingerprint candidate data and transmit the matching information to the AR device 201.
  • the matching information may include number information assigned to each fingerprint candidate area, coordinate information, similarity score, and security level information, but is not limited to this.
  • the electronic device 101 configures matching information that evaluates the security risk (e.g., security level) according to the authentication validity determination of the remaining fingerprint candidate data. can do.
  • the AR device 201 may output security guidance information about the remaining fingerprint based on the security risk level of the fingerprint candidate area to the AR service based on the matching information transmitted from the electronic device 101.
  • the AR device 201 selects each fingerprint candidate area within a camera preview image (e.g., an image capturing the front (e.g., display area) of the electronic device 101) executed in conjunction with the electronic device 101.
  • the location of the fingerprint candidate area is confirmed by referring to the coordinate information of the electronic device 101, and security guidance information (e.g., “This is a fingerprint that can be authenticated”, “This is a fingerprint that has a high possibility of being authenticated” is added to the location of the remaining fingerprint corresponding to the display of the electronic device 101) , you can output virtual information (or virtual objects) that output text such as “Please remove any remaining fingerprints” or “There are no fingerprints that can be authenticated.”
  • the electronic device 101 may output security guidance information on the remaining fingerprint based on the security level of the fingerprint candidate data on the display.
  • operation 680 may be omitted.
  • FIG. 7 illustrates a method for preventing fingerprint theft using the AR device 201 and the electronic device 101 according to an embodiment.
  • each operation may be performed sequentially, but is not necessarily performed sequentially.
  • the order of each operation may be changed, and at least two operations may be performed in parallel.
  • operations 710 to 770 are performed by the processor of the electronic device 101 (e.g., the processor 120 of FIG. 1 and the processor 420 of FIG. 4) of the electronic device 101 of FIG. 1. It can be understood that
  • the electronic device 101 detects execution of the residual fingerprint theft prevention service in operation 710. can do.
  • the electronic device 101 and the AR device 201 (e.g., the AR device 201 in FIG. 3 and the AR device 201 in FIG. 4) turn on/off the residual fingerprint theft prevention service function. Support is available.
  • the execution conditions of the residual fingerprint theft prevention service in the electronic device 101 and the AR device 201 may be set in various ways.
  • the execution conditions of the residual fingerprint theft prevention service are, for example, when the wireless communication connection with the AR device 201 is completed, when fingerprint authentication is performed on the electronic device 101, and when fingerprint authentication is performed on the electronic device 101 more than a certain number of times. It may be set to the time when authentication was attempted, but is not limited to this.
  • the electronic device 101 may receive a signal from the AR device 201 notifying that the residual fingerprint theft prevention service has been executed.
  • the electronic device 101 may control the display to assist camera shooting in relation to the residual fingerprint theft prevention service.
  • the electronic device 101 may turn off the display for a certain period of time or control the display screen to appear black.
  • operation 720 may be omitted.
  • the electronic device 101 may receive residual fingerprint candidate data from the AR device 201 through a communication module (eg, the communication module 423 of FIG. 4).
  • a communication module eg, the communication module 423 of FIG. 4
  • the remaining fingerprint candidate data is obtained through the front image of the display of the electronic device 101 captured by a camera (e.g., AR camera) of the AR device 201 (in other words, an external device). It may consist of information (e.g., number information, feature point data, and coordinate information) corresponding to a fingerprint candidate area related to the fingerprint.
  • the electronic device 101 may receive residual fingerprint candidate data structured as shown in Table 1 described in FIG. 4 .
  • the electronic device 101 may determine the authentication validity of the fingerprint candidate area by matching the remaining fingerprint candidate group data delivered from the AR device 201 with the fingerprint authentication template registered in the electronic device 101.
  • the electronic device 101 may calculate the similarity score of the fingerprint candidate area by determining the similarity between the feature points of the fingerprint authentication template registered with the feature point data (or cropped phase image) of each fingerprint candidate region.
  • the electronic device 101 may determine the security level of the fingerprint candidate area by distinguishing the similarity score of the fingerprint candidate area according to a set threshold.
  • the electronic device 101 may configure matching information for determining the validity of the remaining fingerprint candidate data.
  • Matching information may include number information assigned to each fingerprint candidate area, coordinate information, similarity score, and security level information. For example, as shown in ⁇ Table 2> described in FIG. 4, the electronic device 101 configures matching information that evaluates the security risk (e.g., security level) according to the authentication validity determination of the remaining fingerprint candidate data. can do.
  • security risk e.g., security level
  • the electronic device 101 may transmit matching information to the AR device 201 through a communication module (e.g., the communication module 423 in FIG. 4).
  • a communication module e.g., the communication module 423 in FIG. 4
  • the electronic device 101 controls the display screen to be displayed as a black screen. can do.
  • the electronic device 101 may display security information about the remaining fingerprint on the display so that it overlaps with the AR information.
  • operation 770 may be omitted.
  • FIG. 8 shows configurations of an AR device 201 according to one embodiment.
  • the AR device 201 supports a residual fingerprint theft prevention service and includes an AR communication module 813, an AR camera 815, an AR memory 819, and It may include an AR processor 810.
  • the operations of the AR device 201 described in FIG. 4 may also be applied to FIG. 8 .
  • the AR processor 810 of the AR device 201 shown in FIG. 8 includes an image acquisition module 8111, a fingerprint data processing module 8112, an AR residual fingerprint determination module 8113, and an AR UI (user interface) providing module ( 8114). According to some embodiments, the AR device 201 may further include a fingerprint authentication module (not shown).
  • the AR processor 810 controls the image acquisition module 8111, the fingerprint data processing module 8112, the AR remaining fingerprint determination module 8113, and the AR UI provision module 8114, or operates them. can be processed (or performed).
  • the AR memory 819 includes instructions ( instructions) can be saved. Instructions may be stored as software on the AR memory 819 and may be executable by the AR processor 810.
  • the image acquisition module 8111 may receive a captured image from the AR camera 815.
  • the image acquisition module 8111 may receive an image of the front display of the electronic device 101 in relation to the residual fingerprint theft prevention service.
  • the image acquisition module 8111 may transmit the front display image to the fingerprint data processing module 8112.
  • the fingerprint data processing module 8112 may generate an amplitude image (e.g., amplitude fingerprint image) by performing image processing (e.g., contrast enhancement) on the front image of the display.
  • image processing e.g., contrast enhancement
  • the fingerprint data processing module 8112 may process the amplitude image into residual fingerprint candidate data related to at least one fingerprint candidate area.
  • the fingerprint data processing module 8112 may detect at least one fingerprint candidate area from the amplitude image.
  • the fingerprint data processing module 8112 processes the characteristic points of the fingerprint within the amplitude image (e.g., a ridge, which is a raised part in a line shape, a valley, which is a valley-like part between ridges, and a part where the ridges are divided). Detect (or find) the fingerprint candidate area where the fingerprint expression pattern or fingerprint shape appears by learning (e.g. deep learning learning) the bifucation, the ending point (the part where the ridge ends), and detecting the detected fingerprint candidate area. data can be obtained.
  • the fingerprint data processing module 8112 assigns numbers to fingerprint candidate areas and obtains coordinate information where each fingerprint candidate area is located within the front image of the display and data (e.g., feature point data) of the fingerprint candidate area. It can be processed into residual fingerprint candidate data.
  • the remaining fingerprint candidate data may be structured as shown in ⁇ Table 1> described in FIG. 4.
  • the AR remaining fingerprint determination module 8113 determines whether the fingerprint authentication template (or data) registered in the electronic device 101 connected to the AR device 201 is stored in the AR device 201. You can.
  • the AR residual fingerprint determination module 8113 when the fingerprint authentication template of the electronic device 101 is stored in the AR device 201, the AR residual fingerprint determination module 8113 sends the residual fingerprint candidate group data to the electronic device 101 stored in the AR device 201.
  • the authentication validity of the fingerprint candidate area can be determined by matching it with the fingerprint authentication template in (101).
  • the AR residual fingerprint determination module 8113 can configure matching information that evaluates the security risk (e.g., security level) according to the authentication validity determination of the residual fingerprint candidate data. For example, the AR residual fingerprint determination module 8113 calculates a similarity score by determining the similarity between the feature points of the fingerprint authentication template registered with the feature point data (or cropped phase image) of each fingerprint candidate area, and sets the similarity score. By distinguishing according to the threshold, the security level that evaluates the security risk of the fingerprint candidate area can be determined.
  • the AR remaining fingerprint determination module 8113 may transmit the security level of the fingerprint candidate area to the AR UI providing module 8114.
  • the AR residual fingerprint determination module 8113 transmits residual fingerprint candidate data to the electronic device 101 when the fingerprint authentication template of the electronic device 101 is not stored in the AR device 201, You can request a determination of the validity of the remaining fingerprint candidate data.
  • the AR device 201 receives matching information according to the validity determination of the residual fingerprint candidate data from the electronic device 101, the AR device 201 can output security guidance information about the residual fingerprint as an AR service through the AR UI providing module 8114. there is.
  • the AR residual fingerprint determination module 8113 does not transmit residual fingerprint candidate data to the electronic device 101 when the fingerprint authentication template of the electronic device 101 is not stored in the AR device 201.
  • transmission of the fingerprint authentication template of the electronic device 101 may be requested to the electronic device 101 or a server (e.g., the server 108 in FIG. 1).
  • the AR residual fingerprint determination module 8113 uses the fingerprint authentication template of the electronic device 101 based on the received fingerprint authentication template. The validity of the remaining fingerprint candidate data can also be determined.
  • the AR UI providing module 8114 receives matching information related to residual fingerprint candidate data from the electronic device 101 through the AR communication module 813 or determines the information through the AR residual fingerprint determination module 8113. Based on the security level of the fingerprint candidate area, security information about the remaining fingerprint remaining on the display of the electronic device 101 can be output through the AR service.
  • the security guidance information may be information that guides the removal of residual fingerprints, informs about the risk of residual fingerprints, or may be information that informs that there are no residual fingerprints.
  • the AR UI providing module 8114 may detect each fingerprint within a camera preview image (e.g., an image capturing the front (e.g., display area) of the electronic device 101) executed in conjunction with the electronic device 101.
  • the location of the fingerprint candidate area is confirmed by referring to the coordinate information of the candidate area, and the location of the remaining fingerprint corresponding to the display of the electronic device 101 is provided with security guidance information (e.g., “This is a fingerprint that can be authenticated”, “Fingerprint with a high possibility of authentication”) It is possible to output virtual information (or a virtual object) that outputs text such as "Please remove the remaining fingerprint" or "There is no fingerprint that can be authenticated.”
  • the AR UI providing module 8114 provides a UI that guides the location of a fingerprint candidate area with a normal or high security risk level (e.g., a virtual fingerprint-shaped object, a security risk object) on the camera preview image. It can be printed as an overlay.
  • the AR device 201 independently detects residual fingerprints remaining on the front of the display in various environments where the lock is unlocked through fingerprint authentication, such as a door lock device or a TV, in addition to the electronic device 101 such as a smartphone. You can evaluate security risks and provide security guidance information to users.
  • FIG. 9 illustrates a method of preventing fingerprint theft of the AR device 201 according to an embodiment.
  • each operation may be performed sequentially, but is not necessarily performed sequentially.
  • the order of each operation may be changed, and at least two operations may be performed in parallel.
  • operations 910 to 980 may be understood as being performed by the processor of the AR device 201 (eg, the processor 220 in FIG. 2 and the AR processor 410 in FIG. 4).
  • the AR device 201 (e.g., the AR device 201 of FIG. 2 and the AR device 201 of FIG. 4) generates a user input or a designated event in operation 910. Based on this, the electronic device 101 (e.g., the electronic device 101 of FIG. 1, the electronic device 101 of FIG. 4) may obtain a display front image (e.g., the display front image 510 of FIG. 5). .
  • the AR device 201 may acquire a display front image by running a camera based on the user input described in FIG. 6 or the occurrence of a designated event to capture a display front image of the electronic device 101.
  • the AR device 201 may process the front display image of the electronic device 101 into residual fingerprint candidate data based on the fingerprint candidate area.
  • the AR device 201 obtains an amplitude image by performing image processing (e.g., contrast enhancement) on the front image of the display, and identifies the characteristic points of the fingerprint (e.g., ridges, which are raised portions in a line shape) within the amplitude image. (ridge), the valley-like part between ridges (valley), the part where the ridges diverge (bifucation), and the ending point (ending) where the ridges end) by learning (e.g. deep learning learning)
  • a fingerprint candidate area corresponding to a fingerprint expression pattern or fingerprint shape can be detected (or found) and data of the fingerprint candidate area can be extracted.
  • the AR device 201 may configure residual fingerprint candidate group data related to at least one fingerprint candidate area detected from the front image of the display.
  • the remaining fingerprint candidate data may include number information assigned for identification, feature point data and coordinate information of the fingerprint candidate area, but may also include other information required for fingerprint authentication.
  • the AR device 201 assigns a number to each fingerprint candidate area, as shown in ⁇ Table 1> described in FIG. 4, and provides coordinate information and a fingerprint candidate where each fingerprint candidate area is located within the front image of the display. By acquiring the feature point data of the area, residual fingerprint candidate data can be constructed.
  • the AR device 201 may check whether the fingerprint authentication template (or data) of the electronic device 101 connected to the AR device 201 is stored in the AR device 201.
  • the AR device 201 is registered with the electronic device 101 when connected to the electronic device 101.
  • the fingerprint authentication template information may be received through a communication module (e.g., the communication module 210 in FIG. 2 and the AR communication module 413 in FIG. 4).
  • the AR device 201 matches the remaining fingerprint candidate group data with the fingerprint authentication template of the electronic device 101 stored in the AR device 201 to generate a fingerprint.
  • the authentication validity of the candidate area can be determined.
  • the AR device 201 calculates a similarity score by determining the similarity between the feature points of the fingerprint authentication template registered with the feature point data (or cropped phase image) of each fingerprint candidate area, and sets the similarity score to a set threshold.
  • the security level of the fingerprint candidate area can be determined by distinguishing between them.
  • the AR device 201 may configure matching information that evaluates the security risk (e.g., security level) according to the authentication validity determination of the remaining fingerprint candidate data.
  • the security risk e.g., security level
  • the AR device 201 sends the remaining fingerprint candidate group data to a communication module (e.g., the communication module 210 of FIG. 2, the AR communication module of FIG. 4). It can be transmitted to the electronic device 101 through (413)), and a determination of the validity of the remaining fingerprint candidate data can be requested.
  • the AR device 201 receives matching information according to the validity determination of the remaining fingerprint candidate data from the electronic device 101 through a communication module (e.g., the communication module 210 in FIG. 2, the AR communication module 413 in FIG. 4). You can receive it through )).
  • the AR device 201 when the registered fingerprint authentication template data of the electronic device 101 is not stored according to the residual fingerprint theft prevention service settings, the AR device 201, as shown in operation 940, ) (or server) may be requested for fingerprint authentication template information registered in the electronic device 101.
  • the AR device 201 receives the fingerprint authentication template of the electronic device 101 from the electronic device 101 or the server upon request, it may proceed to operations 950 and 960.
  • the AR device 201 receives matching information related to the remaining fingerprint candidate group data from the electronic device 101 through a communication module (e.g., the communication module 210 in FIG. 2 and the AR communication module 413 in FIG. 4).
  • the remaining fingerprint remaining on the display of the electronic device 101 based on the matching information (or security level) of the fingerprint candidate area received through the AR residual fingerprint determination module (e.g., the AR residual fingerprint determination module 8113 in FIG. 8).
  • Fingerprint security information can be printed using the AR service.
  • the security guidance information may be information that guides the removal of residual fingerprints, informs about the risk of residual fingerprints, or may be information that informs that there are no residual fingerprints.
  • the AR device 201 may share with the electronic device 101 information that outputs security information about the remaining fingerprint as an AR service.
  • the electronic device may control the display screen to display a black image or turn on the display for a certain period of time to improve the visualization of the security information information of the remaining fingerprint.
  • the user can recognize the existence of a residual fingerprint remaining on the display of the electronic device through the security information of the residual fingerprint output through the AR service, and can wipe the residual fingerprint remaining on the display. .
  • FIGS. 10A and 10B show examples of guide information for preventing fingerprint theft of fingerprints remaining on the display of an electronic device, according to an embodiment.
  • the AR device 201 and the electronic device 101 that support the residual fingerprint theft prevention service provide security guidance information that guides the removal of residual fingerprints or informs about the risk of residual fingerprints. It can be printed using AR service.
  • the AR device 201 evaluates the security risk of the remaining fingerprints on the display 1110 of the electronic device 101, and when the remaining fingerprints are analyzed as normal or dangerous, as shown in ⁇ 10001> Likewise, within a camera preview image (e.g., an image capturing the front (e.g., display area) of the electronic device 101) in conjunction with the electronic device 101, the image is evaluated as a risk level by overlapping with the display of the electronic device 101.
  • a camera preview image e.g., an image capturing the front (e.g., display area) of the electronic device 101
  • a virtual fingerprint object (1120-1) and security information are displayed in the fingerprint candidate area where residual fingerprints remain, and in the fingerprint candidate area where residual fingerprints evaluated at the normal level remain,
  • a virtual fingerprint object (1121-1) and security guidance information e.g., This is a fingerprint with a high probability of authentication (1121)
  • security information e.g., "This is a fingerprint that can be authenticated (1120)
  • security guidance information e.g., This is a fingerprint with a high probability of authentication (1121)
  • the AR device 201 may display a camera preview image (e.g., as shown in ⁇ 10002>).
  • Security guidance information e.g., image taken of the front of the electronic device 101
  • the AR service can be output through the AR service.
  • the electronic device 101 may control a black screen to be displayed on the display for a certain period of time for visual emphasis.
  • module used in various embodiments of this document may include a unit implemented in hardware, software, or firmware, and is interchangeable with terms such as logic, logic block, component, or circuit, for example. It can be used as A module may be an integrated part or a minimum unit of the parts or a part thereof that performs one or more functions. For example, according to one embodiment, the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present document are one or more instructions stored in a storage medium (e.g., built-in memory 136 or external memory 138) that can be read by a machine (e.g., electronic device 101). It may be implemented as software (e.g., program 140) including these.
  • a processor e.g., processor 120
  • the one or more instructions may include code generated by a compiler or code that can be executed by an interpreter.
  • a storage medium that can be read by a device may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' only means that the storage medium is a tangible device and does not contain signals (e.g. electromagnetic waves), and this term refers to cases where data is semi-permanently stored in the storage medium. There is no distinction between temporary storage cases.
  • Computer program products are commodities and can be traded between sellers and buyers.
  • the computer program product may be distributed in the form of a machine-readable storage medium (e.g. compact disc read only memory (CD-ROM)) or via an application store (e.g. Play Store TM ) or on two user devices (e.g. It can be distributed (e.g. downloaded or uploaded) directly between smart phones) or online.
  • a machine-readable storage medium e.g. compact disc read only memory (CD-ROM)
  • an application store e.g. Play Store TM
  • two user devices e.g. It can be distributed (e.g. downloaded or uploaded) directly between smart phones) or online.
  • at least a portion of the computer program product may be at least temporarily stored or temporarily created in a machine-readable storage medium, such as the memory of a manufacturer's server, an application store's server, or a relay server.
  • each component (e.g., module or program) of the above-described components may include a single or plural entity, and some of the plurality of entities may be separately placed in other components. there is.
  • one or more of the components or operations described above may be omitted, or one or more other components or operations may be added.
  • multiple components eg, modules or programs
  • the integrated component may perform one or more functions of each component of the plurality of components in the same or similar manner as those performed by the corresponding component of the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component may be executed sequentially, in parallel, iteratively, or heuristically, or one or more of the operations may be executed in a different order, or omitted. Alternatively, one or more other operations may be added.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Telephone Function (AREA)

Abstract

일 실시예에 따른 전자 장치는 디스플레이, 통신 모듈, 메모리 및 상기 디스플레이, 상기 통신 모듈, 상기 메모리와 동작적으로 연결된 프로세서를 포함할 수 있다. 상기 프로세서는, AR(augmented reality) 장치와 상기 통신 모듈을 통해 무선 통신 연결된 상태에서 상기 AR 장치와 연동하는 잔존 지문 탈취 방지 서비스 실행 이벤트가 발생된 것을 감지하도록 설정될 수 있다. 상기 프로세서는 상기 AR 장치의 카메라에서 촬영한 전자 장치 디스플레이 전면 이미지로부터 획득한 지문 후보 영역에 대응하는 잔존 지문 후보군 데이터를 상기 통신 모듈을 통해 상기 AR 장치로부터 수신하도록 설정될 수 있다. 상기 프로세서는 상기 잔존 지문 후보군 데이터와 상기 전자 장치에 등록된 지문 인증 템플릿과 매칭하여 지문 후보 영역의 인증 유효성을 판단하도록 설정될 수 있다. 상기 프로세서는 상기 인증 유효성 결과, 전자 장치 디스플레이에 남아있는 잔존 지문의 보안 위험도를 평가한 보안 레벨을 상기 통신 모듈을 통해 상기AR 장치로 전송하도록 설정될 수 있다. 상기 프로세서는 상기 AR 장치를 통해 디스플레이의 잔존 지문에 대한 보안 안내 정보를 AR 서비스로 출력하도록 설정될 수 있다.

Description

외부 장치를 이용한 지문 탈취 방지 방법 및 전자 장치
다양한 실시예들은 외부 장치를 이용한 지문 탈취 방지 방법 및 전자 장치에 관한 것이다.
전자 장치는 보안을 강화하기 위한 일환으로서, 사용자의 생체 정보를 이용하여 사용자를 인증하는 기능을 제공하고 있다. 생체 정보는 예를 들어, 지문, 홍채, 목소리, 얼굴, 또는 혈관과 같은 사용자의 생체 특성을 포함할 수 있다. 특히, 지문(fingerprint) 인식 기능은 생체 인증에서 일반적으로 활용되는 기술로서, 지문 센서를 통해 사용자의 지문 이미지를 획득하고, 획득된 사용자 지문 이미지와 미리 등록된 지문 이미지를 비교함으로써, 인증된 사용자 인지를 판단할 수 있다.
최근 전면을 모두 디스플레이로 이용하는 풀 프론트 스크린(full front screen) 형태의 전자 장치가 출시됨에 따라, 디스플레이를 통한 지문 인식 기능(예: FOD(fingerprint on display) 또는 in-display fingerprint)을 탑재하는 추세이다. 전자 장치는 디스플레이 내부(또는 하단, 언더 패널)에 지문 인식 센서를 배치하고, 지문 인식 센서가 배치된 영역의 디스플레이 앞면(예: 디스플레이 화상)에 닿거나 터치된 지문을 인식할 수 있다.
여러 번의 지문 인증 시도 또는 전자 장치를 사용하면서 디스플레이 전반에 걸쳐 잔존 지문(remaining fingerprints)이 묻어날 수 있다.
본 개시는 적어도 위에서 언급한 문제점 및/또는 단점을 해결하고 적어도 후술하는 이점을 제공하는 것이다. 따라서, 본 개시의 한 측면은 외부 장치를 이용한 지문 도용을 방지하기 위한 전자 장치 및 방법을 제공하는 것이다.
부가적인 양태는 다음의 설명에서 부분적으로 설명될 것이고, 부분적인 설명으로부터 명백해지거나 제시된 실시예의 실시에 의해 학습될 수 있다.
일 실시예에 따른 전자 장치는, 디스플레이, 통신 모듈, 메모리 및 상기 디스플레이, 상기 통신 모듈, 상기 메모리와 동작적으로 연결된 프로세서를 포함할 수 있다. 상기 프로세서는, AR(augmented reality) 장치와 상기 통신 모듈을 통해 무선 통신 연결된 상태에서 상기 AR 장치와 연동하는 잔존 지문 탈취 방지 서비스 실행 이벤트가 발생된 것을 감지하도록 설정될 수 있다. 상기 프로세서는 상기 AR 장치의 카메라에서 촬영한 전자 장치 디스플레이 전면 이미지로부터 획득한 지문 후보 영역에 대응하는 잔존 지문 후보군 데이터를 상기 통신 모듈을 통해 상기 AR 장치로부터 수신하도록 설정될 수 있다. 상기 프로세서는 상기 잔존 지문 후보군 데이터와 상기 전자 장치에 등록된 지문 인증 템플릿과 매칭하여 지문 후보 영역의 인증 유효성을 판단하도록 설정될 수 있다. 상기 프로세서는 상기 인증 유효성 결과, 전자 장치 디스플레이에 남아있는 잔존 지문의 보안 위험도를 평가한 보안 레벨을 상기 통신 모듈을 통해 상기 AR 장치로 전송하도록 설정될 수 있다. 상기 프로세서는 상기 AR 장치를 통해 디스플레이의 잔존 지문에 대한 보안 안내 정보를 AR 서비스로 출력하도록 설정될 수 있다.
일 실시예에 따른 외부 장치를 이용한 전자 장치의 지문 탈취 방지 방법은, AR(augmented reality) 장치와 상기 통신 모듈을 통해 무선 통신 연결된 상태에서 상기 AR 장치와 연동하는 잔존 지문 탈취 방지 서비스 실행 이벤트가 발생된 것을 감지하는 동작을 포함할 수 있다. 상기 지문 탈취 방지 방법은 상기 AR 장치의 카메라에서 촬영한 전자 장치 디스플레이 전면 이미지로부터 획득한 지문 후보 영역에 대응하는 잔존 지문 후보군 데이터를 상기 AR 장치로부터 수신하는 동작을 더 포함할 수 있다. 상기 지문 탈취 방지 방법은 상기 잔존 지문 후보군 데이터와 상기 전자 장치에 등록된 지문 인증 템플릿과 매칭하여 지문 후보 영역의 인증 유효성을 판단하는 동작을 더 포함할 수 있다. 상기 지문 탈취 방지 방법은 상기 인증 유효성 결과, 전자 장치 디스플레이에 남아있는 잔존 지문의 보안 위험도를 평가한 보안 레벨을 상기 AR 장치로 전송하는 동작을 더 포함할 수 있다. 상기 지문 탈취 방지 방법은 상기 AR 장치를 통해 디스플레이의 잔존 지문에 대한 보안 안내 정보를 AR 서비스로 출력하는 동작을 더 포함할 수 있다.
일 실시예에 따른 비일시적 컴퓨터 컴퓨터 판독가능 저장 매체는 전자 장치의 프로세서가 AR(augmented reality) 장치와 상기 통신 모듈을 통해 무선 통신 연결된 상태에서 상기 AR 장치와 연동하는 잔존 지문 탈취 방지 서비스 실행 이벤트가 발생된 것을 감지하도록 설정된 인스트럭션들(instructions)을 포함할 수 있다. 상기 저장 매체는 상기 AR 장치의 카메라에서 촬영한 전자 장치 디스플레이 전면 이미지로부터 획득한 지문 후보 영역에 대응하는 잔존 지문 후보군 데이터를 상기 AR 장치로부터 수신하도록 설정된 인스트럭션을 더 포함할 수 있다. 상기 저장 매체는 상기 잔존 지문 후보군 데이터와 상기 전자 장치에 등록된 지문 인증 템플릿과 매칭하여 지문 후보 영역의 인증 유효성을 판단하도록 설정된 인스트럭션을 더 포함할 수 있다. 상기 저장 매체는 상기 인증 유효성 결과, 전자 장치 디스플레이에 남아있는 잔존 지문의 보안 위험도를 평가한 보안 레벨을 상기 AR 장치로 전송하도록 설정된 인스트럭션을 더 포함할 수 있다. 상기 저장 매체는 상기 AR 장치를 통해 디스플레이의 잔존 지문에 대한 보안 안내 정보를 AR 서비스로 출력하도록 설정된 인스트럭션을 더 저장할 수 있다.
본 발명의 다른 양태, 이점 및 현저한 특징은 첨부된 도면과 함께 본 발명의 다양한 실시예를 개시하는 다음의 상세한 설명으로부터 당업자에게 명백해질 것이다.
일 실시예에 따른 전자 장치, 방법 및 비일시적 컴퓨터 판독 가능 저장 매체는 외 AR 장치를 이용하여 전자 장치(예: 주 장치, 컨트롤 장치)의 디스플레이 전체에 대해 존재하는 잔존 지문을 검출하고, AR 장치와 전자 장치가 연동하여 잔존 지문이 사용자 인증 가능성 또는 유효성에 대해 판단하여 지문 탈취를 방지할 수 있다.
일 실시예에 따른 전자 장치, 방법 및 비일시적 컴퓨터 판독 가능 저장 매체는 외부 장치(예: AR 장치)로부터 획득한 영상을 이용하여 디스플레이 전면에 남아있는 잔존 지문의 인증 가능성을 판단하고 외부 장치와 연동하여 보안 위험도를 사용자에게 안내함으로써, 지문 탈취를 사전에 방지하고, 사용자 개인 정보를 보호할 수 있다.
일 실시예에 따른 전자 장치, 방법 및 비일시적 컴퓨터 판독 가능 저장 매체는 스마트폰과 같은 전자 장치 이외에, 도어락 장치, TV 등 지문 인증을 통해 잠금 장치가 해제되는 다양한 환경에서 디스플레이 전면에 남아있는 잔존 지문에 대한 보안 위험을 평가하여 사용자에게 보안 안내 정보를 제공할 수 있다.
본 발명의 특정 실시예의 상기 및 다른 측면, 특징 및 이점은 첨부된 도면과 함께 다음의 설명으로부터 더욱 명백해질 것이다:
도 1은 일 실시 예에 따른 전자 장치의 블록도이다.
도 2는 일 실시예에 따른 AR(augmented reality) 장치의 블록도이다.
도 3은 일 실시예에 따른 전자 장치 및 AR 장치의 네트워크 환경을 도시한다.
도 4는 일 실시예에 따른 전자 장치 및 AR 장치의 개략적인 구성들을 도시한다.
도 5는 일 실시예에 따른 전자 장치 디스플레이의 잔존 지문들을 검출하는 예시를 도시한다.
도 6은 일 실시예에 따른 AR 장치 및 전자 장치를 이용한 지문 탈취 방지 방법을 도시한다.
도 7은 일 실시예에 따른 AR 장치를 이용한 전자 장치의 지문 탈취 방지 방법을 도시한다.
도 8은 일 실시예에 따른 AR 장치의 구성들을 도시한다.
도 9는 일 실시예에 따른 AR 장치의 지문 탈취 방지 방법을 도시한다.
도 10a 및 도 10b는 일 실시예에 따른 전자 장치 디스플레이의 잔존 지문에 대한 지문 탈취 방지를 안내하는 가이드 정보의 예시들을 도시한다.
첨부된 도면을 참조하는 다음의 설명은 청구범위 및 그 등가물에 의해 정의되는 본 발명의 다양한 실시예의 포괄적인 이해를 돕기 위해 제공된다. 이해를 돕기 위해 다양한 특정 세부 사항을 포함하지만 이는 단지 예시로 간주되어야 합니다. 따라서, 당업자는 본 명세서에 기술된 다양한 실시예의 다양한 변경 및 수정이 본 개시의 범위 및 사상을 벗어나지 않고 이루어질 수 있음을 인식할 것이다. 또한, 공지 기능 및 구성에 대한 설명은 명확성과 간결성을 위하여 생략될 수 있다.
이하의 설명 및 특허청구범위에 사용된 용어 및 단어는 서지적 의미로 제한되지 않으며, 발명자가 개시 내용을 명확하고 일관되게 이해하기 위해 사용하는 것일 뿐이다. 따라서, 본 발명의 다양한 실시예에 대한 다음의 설명은 첨부된 청구범위 및 그 등가물에 의해 정의된 바와 같이 본 발명을 제한할 목적이 아니라 예시 목적으로만 제공된다는 것이 당업자에게 명백해야 한다.
단수 형태 "a", "an" 및 "the"는 문맥상 명백하게 달리 지시하지 않는 한 복수 지시대상을 포함하는 것으로 이해되어야 한다. 따라서, 예를 들어 "부품 표면"에 대한 언급은 이러한 표면 중 하나 이상에 대한 언급을 포함합니다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치(101)는 다양한 형태의 장치가 될 수 있다. 전자 장치(101)는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치(101)는 전술한 기기들에 한정되지 않는다.
도 1은 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다.
도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(101)(102)와 통신하거나, 또는 제2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(101)(104) 또는 서버(108) 중 적어도 하나와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(101)(104)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일 실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일 실시예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일 실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일 실시예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(101)(예: 전자 장치(101)(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(101)(예: 전자 장치(101)(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일 실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(101)(예: 전자 장치(101)(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일 실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일 실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일 실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일 실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(101)(예: 전자 장치(101)(102), 전자 장치(101)(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(101)(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(101)(예: 전자 장치(101)(104)) 또는 네트워크 시스템(예: 제2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일 실시예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치(101))로 송신하거나 외부로부터 수신할 수 있다. 일 실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일 실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치(101) 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
다양한 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일 실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일 실시예에 따르면, 명령 또는 데이터는 제2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(101)(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(101)(102, 또는104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일 실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치(101)들(102,104, 또는108) 중 하나 이상의 외부의 전자 장치(101)들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치(101)들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치(101)들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(101)(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일 실시예에 따르면, 외부의 전자 장치(101)(104) 또는 서버(108)는 제2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
도 2는 다양한 실시예에 따른 전자 장치(101)의 블록도이다.
도 2를 참조하면, 다양한 실시예에 따르면, 사용자에게 증강 현실(AR: augmented reality) 서비스와 관련된 영상을 제공하는 AR 장치(201)는 안경(glass), 고글(goggles), 헬멧 또는 모자 중 적어도 하나의 형태로 구성될 수 있으나, 이에 한정되지 않는다. 예를 들어, AR 장치(201)는 마운티드 장치(head-mounted device, HMD), 헤드 마운티드 디스플레이(head-mounted display, HMD), 또는 AR 글래스일 수 있다.
AR 장치(201)는 전자 장치(101)(또는 주 장치(host device), 컨트롤러 장치(controller device)) (예: 도 1의 전자 장치(101))와 연동하여 증강 현실 서비스를 제공할 수 있다.
AR 장치(201)는 사용자의 시야(FoV, field of view)로 판단되는 영역에 적어도 하나의 가상 객체가 중첩되어 보이도록 출력하는 증강 현실 서비스를 제공할 수 있다. 예를 들어, 사용자의 시야로 판단되는 영역은 사용자가 AR 장치(201)를 통해 인지할 수 있다고 판단되는 영역으로, AR 장치(201)의 디스플레이 모듈(240)의 전체 또는 적어도 일부를 포함하는 영역일 수 있다.
일 실시예에 따르면, AR 장치(201)는 전자 장치(101)(예: 도 1의 전자 장치(101))에 의해 적어도 부분적으로 제어되며, 전자 장치(101)(예: 도 1의 전자 장치(101))의 제어 하에, 적어도 하나의 기능이 수행될 수 있다.
일 실시예에 따르면, AR 장치(201)는 통신 모듈(210), 프로세서(220), 메모리(230), 디스플레이 모듈(240), 오디오 모듈(250), 센서 모듈(260), 카메라 모듈(270)을 포함할 수 있다. 도면에 도시되지 않았으나, AR 장치(201)는 전력 관리 모듈 및 배터리를 더 포함할 수 있다.
일 실시예에 따르면, 통신 모듈(210)(예: 무선 통신 회로)은 무선 통신 네트워크(예: 도 1의 제1 네트워크(198)(예: 근거리 무선 통신 네트워크))를 통하여 전자 장치(101)(예: 도 1의 전자 장치(101))와 통신을 수행하거나, 또는 원거리 무선 네트워크(예: 도 1의 제2 네트워크(199))를 통하여 서버 장치와 무선 통신을 수행할 수 있다. 예를 들어, AR 장치(201)(101)는 전자 장치(101)(예: 도 1의 전자 장치(101))와 무선 통신을 수행하여 명령어 및/또는 데이터를 서로 교환할 수 있다.
일 실시예에 따르면, 통신 모듈(210)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 통신 모듈(210)은 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 통신 모듈(210)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다.
일 실시예에 따르면, 디스플레이 모듈(240)은 AR 장치(201)를 착용한 사용자가 카메라 모듈(270)을 통해 획득한 실제 공간과 관련된 영상에 가상 객체가 덧붙여진 것으로 보여지도록 디스플레이 패널의 적어도 일부에 적어도 하나의 가상 객체를 표시할 수 있다.
어떤 실시예에 따르면, 디스플레이 모듈(240)은 사용자의 양안 중 좌안에 대응되는 제1 디스플레이 모듈(241) 및/또는 우안에 대응되는 제2 디스플레이 모듈(243)을 포함할 수 있다.
일 실시예에 따르면, 디스플레이 모듈(240)은 투명 또는 반투명 디스플레이로 구성될 수 있다.
일 실시예에 따르면, 디스플레이 모듈(240)은 렌즈를 포함할 수 있다. 렌즈는 투명 웨이브 가이드(waveguide)를 포함하는 렌즈를 포함할 수 있다. 렌즈는 디스플레이 패널에서 출력된 광을 사용자의 눈에 전달할 수 있다. 예를 들어, 디스플레이 패널에서 방출된 광은 렌즈를 통과하고, 렌즈 내에 형성된 웨이브 가이드(예: waveguide)를 통해 사용자에게 전달될 수 있다. 웨이브 가이드(waveguide)는 적어도 하나의 회절 요소(예: DOE(diffractive optical element), HOE(holographic optical element)) 또는 반사 요소(예: 반사 거울) 중 적어도 하나를 포함할 수 있다. 웨이브 가이드(waveguide)는 적어도 하나의 회절 요소 또는 반사 요소를 이용하여 광원부로부터 방출된 디스플레이 광을 사용자의 눈으로 유도할 수 있다. 사용자는 디스플레이 모듈(240)을 투과하여, 디스플레이의 후면의 실제 공간(또는 실제 환경)을 인지할 수 있다.
일 실시예에 따르면, 오디오 모듈(250)은 프로세서(220)의 제어에 기반하여, 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 예를 들어, 오디오 모듈(250)은 스피커 및/또는 마이크로폰을 포함할 수 있다.
일 실시예에 따르면, 센서 모듈(260)은 AR 장치(201)의 움직임을 감지할 수 있다. 센서 모듈(260)은 AR 장치(201)의 움직임과 관련된 물리량, 예를 들면, AR 장치(201)의 속도, 가속도, 각속도, 각가속도 또는 지리적 위치를 감지할 수 있다.
일 실시예에 따르면, 센서 모듈(260)은 다양한 센서를 포함할 수 있다. 예를 들어, 센서 모듈(260)은 근접 센서(261), 조도 센서(262), 및/또는 자이로 센서(263)를 포함할 수 있으나, 이에 한정하는 것은 아니다. 근접 센서(261)는 AR 장치(201)에 인접하는 객체를 감지할 수 있다. 조도 센서(262)는 AR 장치(201) 주변의 밝기 정도를 측정할 수 있다. 일 실시예에 따르면, 프로세서(220)는 조도 센서(262)를 사용하여 AR 장치(201) 주변의 밝기 정도를 확인하고, 상기 밝기 정도를 기반으로 디스플레이 모듈(240)의 밝기 관련 설정 정보를 변경할 수 있다. 자이로 센서(263)는 AR 장치(201)의 상태(또는 자세, 방향) 및 위치를 감지할 수 있다. 자이로 센서(263)는 AR 장치(201) 또는 AR 장치(201)를 착용한 사용자의 움직임을 감지할 수 있다.
일 실시예에 따르면, 카메라 모듈(270)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시예에 따르면, 카메라 모듈(270)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
일 예를 들어, 카메라 모듈(270)은 제스처 카메라(gesture camera)(271), 시선 추적 카메라(eye tracking camera)(273), 거리 측정 카메라(depth camera)(275), 및/또는 RGB 카메라(277) 중 적어도 하나를 포함할 수 있다. 일 실시예에 따르면, 제스처 카메라(271)는 사용자의 움직임을 감지할 수 있다. 예를 들어, 제스처 카메라(271)는 AR 장치(201)에 적어도 하나 이상 배치될 수 있고, 기 설정된 거리 내에서 사용자의 손 움직임을 감지할 수 있다. 제스처 카메라(271)는 AR 장치(201)의 주변 공간과 관련된 정보(예: 위치 및/또는 방향)를 인식하기 위한 SLAM 카메라(simultaneous localization and mapping camera)를 포함할 수 있다. 시선 추적 카메라(273)는 사용자의 좌안 및 우안의 움직임을 추적할 수 있다. 일 실시예에 따르면, 프로세서(220)는 시선 추적 카메라(273)를 사용하여, 좌안의 시선 방향 및 우안의 시선 방향을 확인할 수 있다. 거리 측정 카메라(275)는 AR 장치(201)의 전면에 위치한 객체와의 거리를 측정할 수 있다. 거리 측정 카메라(275)는 TOF(time of flight) 카메라 및/또는 depth 카메라를 포함할 수 있다. 거리 측정 카메라(275)는 AR 장치(201)의 전면 방향을 촬영할 수 있고, 시선 추적 카메라(273)는 거리 측정 카메라(275)의 촬영 방향과 반대되는 방향을 촬영할 수 있다. RGB(red green blue) 카메라(277)는 객체의 색상 관련 정보 및 객체와의 거리 정보를 감지할 수 있다.
일 실시예에 따르면, 카메라 모듈(270)에 포함된 제스처 카메라(271), 시선 추적 카메라(273), 거리 측정 카메라(275), 및/또는 RGB 카메라(277)는 각각 AR 장치(201)에 포함되거나 또는 일부는 통합된 형태의 카메라로 구현될 수도 있다. 예를 들어, 거리 측정 카메라(275)와 RGB 카메라(277)는 하나의 통합된 카메라로 구현될 수 있다.
일 실시예에 따르면, 프로세서(220)는 메모리(230)에 저장된 프로그램(예: 도 1의 프로그램(140))을 실행하여, AR 장치(201)의 기능과 관련된 적어도 하나의 다른 구성 요소(예: 통신 모듈(210), 디스플레이 모듈(240), 오디오 모듈(250), 센서 모듈(260), 카메라 모듈(270))을 제어하고, 증강 현실 서비스와 관련된 작업(예: AR 작업들)에 필요한 데이터 처리 또는 연산을 수행할 수 있다. 예를 들어, 프로세서(220)는 계산 처리 유닛(computation processing unit)을 포함할 수 있다.
일 실시예에 따르면, 프로세서(220)는 카메라 모듈(270))을 통해 AR 장치(201)를 착용한 사용자의 시야에 대응하는 실제 공간과 관련된 영상을 촬영하여 영상 정보를 획득할 수 있다. 프로세서(220)는, AR 장치(201)의 카메라 모듈(270)을 통해 획득한 실제 공간과 관련된 영상 중 사용자의 시야각(FoV)으로 판단되는 영역에 대응하는 정보를 인식할 수 있다. 프로세서(220)는 영상 정보에 기초한 가상 정보를 기반으로 가상 객체를 생성할 수 있다. 프로세서(220)는 증강 현실 서비스와 관련된 가상 객체를 영상 정보와 함께 디스플레이 모듈(240)을 통해 표시할 수 있다.
일 실시예에 따르면 프로세서(220)는 센서 모듈(260)을 통해 AR 장치(201)의 움직임과 관련된 물리량(예: AR 장치(201)의 지리적 위치, 속도, 가속도, 각속도 및 각가속도)을 측정할 수 있고, 측정한 물리량 또는 그 조합을 이용하여 AR 장치(201)의 움직임 정보를 획득할 수 있다.
일 실시예에 따르면 프로세서(220)는 AR 장치(201)의 움직임 정보 및 영상 정보를 실시간으로 분석하여 AR 작업들 예를 들어, 헤드 추적(head tracking) 작업, 핸드 추적(hand tracking) 작업, 눈 추적(eye tracking) 작업을 처리하도록 제어할 수 있다.
도 3은 일 실시예에 따른 전자 장치(101) 및 AR 장치(201)의 네트워크 환경을 도시한다.
도 3을 참조하면, 증강현실 서비스를 제공하기 위하여, 전자 장치(101) 및 AR 장치(201)는 무선 통신 네트워크(310)를 이용하여 서로 연결 될 수 있다. 전자 장치(101)는, 무선 통신을 수행하고 AR 서비스를 제공하기 위한 각종 연산을 수행하는 장치일 수 있다. 전자 장치(101)는, 예를 들면, 스마트 폰, PC, 태블릿 PC 중 어느 하나일 수 있고, 전술된 예에 한정되지 않는다. AR 장치(201)는 사용자에게 착용될 수 있는 글래스의 형태일 수 있으나, 이에 한정하는 것은 아니다.
일 실시예에 따르면, 무선 통신 네트워크(310)는 근거리 무선 네트워크(예: 도 1의 제1 네트워크(198))일 수 있다. 전자 장치(101)와 AR 장치(201)는 서로 WiFi-P2P, Bluetooth 및 BLE(Bluetooth low energy) 가운데 적어도 하나의 무선 통신 방식을 이용하여 연결될 수 있으나, 무선 통신 방식은 이에 한정되지 않는다.
일 실시예에 따르면, AR 장치(201)는 무선 통신 네트워크(310)를 이용하여 AR 서비스를 제공하기 위한 각종 정보를 전자 장치(101)로 전송할 수 있다. 예를 들어, AR 장치(201)는 AR 장치(201)의 위치 정보, 센서 정보 및 실제 환경을 촬영한 영상 정보를 획득하고, 이를 실시간으로 전자 장치(101)로 전송할 수 있다.
일 실시예에 따르면, 전자 장치(101)는 AR 장치(201)로부터 무선 통신 네트워크(310)를 이용하여 AR 서비스를 제공하기 위하여 필요한 정보(예: 위치 정보, 센서 정보 및 실제 환경을 촬영한 영상 정보)를 수신하고, 수신된 정보를 기반으로 AR 장치(201)에서 출력할 가상 정보 및/또는 가상 객체를 생성하여 AR 장치(201)로 전송할 수 있다.
일 실시예에 따르면, AR 장치(201)는 무선 통신 네트워크(310)를 이용하여 전자 장치(101)로부터 전달된 가상 정보 및/또는 가상 객체에 관련된 이미지를 출력하여 AR 서비스를 제공할 수 있다.
도면에 도시되지 않았으나, 전자 장치(101) 및 AR 장치(201)는 서버(예: 도 1의 서버(108))와 무선 통신을 이용하여 통신적으로(communicatively) 연결될 수 있다. 일 실시예에 따르면, 서버는 AR 서비스를 구현하기 위한 가상 정보를 획득할 수 있다. 이 경우 전자 장치(101)는 AR 장치(201)가 획득한 AR 장치(201)의 위치 정보, 센서 정보 및 AR 장치(201)가 촬영한 영상 정보를 실시간으로 수신하여 서버로 릴레이하고, 서버는 전자 장치(101)로부터 수신한 정보를 기초로 가상 정보를 획득할 수 있다. 다양한 실시예에 따르면, 서버는 획득한 가상 정보를 전자 장치(101)로 전송하고, 전자 장치(101)는 수신한 가상 정보를 AR 장치(201)로 릴레이하여 전송할 수 있다.
일 실시예에 따르면, AR 장치(201) 및 전자 장치(101)는 서로 연동하여 전자 장치(101)의 디스플레이에 남아있는 잔존 지문에 대한 인증 유효성을 판단하여 잔존 지문의 보안 위험을 평가하고, 사용자에게 잔존 지문의 위험 여부를 안내하는 잔존 지문 탈취 방지 서비스를 지원할 수 있다.
이하, 다양한 실시예들은 전자 장치(101) 디스플레이에 남아있는 잔존 지문 탈취 방지 서비스를 지원하는 전자 장치(101) 및 AR 장치(201)의 구성들 및 동작들에 대해서 구체적으로 설명하기로 한다.
도 4는 일 실시예에 따른 전자 장치(101) 및 AR 장치(201)의 개략적인 구성들을 도시하며, 도 5는 일 실시예에 따른 전자 장치의 디스플레이 전면 이미지에서 잔존 지문들을 검출하는 예시를 도시한다.
도 4를 참조하면, 일 실시예에 따르면, 잔존 지문 탈취 방지 서비스를 지원하는 AR 장치(예: 도 2의 AR 장치(201))는 AR프로세서(410)(예: 도 2의 프로세서(220)), AR통신 모듈(413)(예: 도2의 통신 모듈(210)), AR카메라(415)(예: 도 2의 카메라 모듈(270)), AR메모리(419)(예: 도2의 메모리(230))를 포함할 수 있다. 도 4에 도시된 AR 장치(201)는 도 2에 도시된 AR 장치(201)의 구성과 동일하거나, 도 2의 AR 장치(201)의 구성을 더 포함할 수 있다. 도 2와 동일 요소에 대한 구체적인 설명은 생략되며, 잔존 지문 탈취 방지 서비스와 관련된 동작들에 대해서 설명하기로 한다.
일 실시예에 따르면, AR통신 모듈(413)은 전자 장치(101)(예: 도 1의 전자 장치(101) 또는 서버(108))와 잔존 지문 탈취 방지 서비스와 관련된 신호, 데이터 또는 정보를 송수신할 수 있다.
일 실시예에 따르면, AR카메라(415)는 지문 촬영을 지원하는 카메라 예를 들어, 광학식 센서, UV 카메라 또는 RGB 카메라 중 적어도 하나 또는 이들을 결합한 카메라일 수 있으나, 이에 한정 하는 것은 아니다.
일 실시예에 따르면, AR 장치(201)는 사용자 입력 또는 지정된 이벤트(예: 잔존 지문 탈취 방지 서비스 실행 이벤트)가 발생된 것에 반응하여 카메라(예: AR 카메라)를 실행하여 전자 장치(101) 디스플레이를 촬영할 수 있다. AR 장치(201) 또는 전자 장치(101)에서 잔존 지문 탈취 방지 서비스를 위해 AR 카메라를 실행하는 조건은 다양하게 설정될 수 있다. 예를 들어, 잔존 지문 탈취 방지 서비스 실행 이벤트는 전자 장치(101)와 AR 장치(201)가 서로 연결이 완료된 시점, 전자 장치(101)에서 지문 인증 시도가 수행된 시점, 전자 장치(101)에서 지문 인증에서 지문 인증이 특정 횟수를 초과하여 수행된 시점 또는 잔존 지문 탈취 방지 서비스 기능이 턴 온 된 시점 중 하나일 수 있으나, 이에 한정하는 것은 아니다. 잔존 지문 탈취 방지 서비스 실행 이벤트의 발생은 전자 장치(101) 및 AR 장치(201) 간 서로 공유될 수 있다.
일 실시예에 따르면, AR 카메라(415)는 전자 장치(101)의 디스플레이 전면을 촬영하여 획득한 디스플레이 전면 이미지를 AR 프로세서(410)(또는 영상 취득 모듈(4111))로 전달할 수 있다.
일 실시예에 따르면, AR 프로세서(410)는, 영상 취득 모듈(4111), 지문 데이터 가공 모듈(4112) 및 AR UI(user interface) 제공 모듈(4113)을 포함할 수 있다. 어떤 실시예에 따르면, AR 장치(201)는 잔존 지문 판단 모듈(미도시) 또는 지문 인증 모듈(미도시) 중 적어도 하나를 더 포함할 수 있다. AR 장치(201)가 잔존 지문 판단 모듈 또는 지문 인증 모듈 중 적어도 하나를 포함하는 예시에 대해서는 도 8 및 도 9에 대해서 설명하기로 한다.
일 실시예에 따르면, AR 프로세서(410)는 영상 취득 모듈(4111), 지문 데이터 가공 모듈(4112) 및 AR UI 제공 모듈(4113)을 제어하거나, 이들의 동작을 처리(또는 수행)할 수 있다. AR 메모리(419)는 AR 프로세서(410)가 영상 취득 모듈(4111), 지문 데이터 가공 모듈(4112) 및 AR UI 제공 모듈(4113)을 동작하도록 하는 인스트럭션들(instructions)을 저장할 수 있다. 인스트럭션들은 AR 메모리(419) 상에 소프트웨어로서 저장될 수 있고, AR 프로세서(410)에 의해 실행 가능할 수 있다.
일 실시예에 따르면, 영상 취득 모듈(4111)은, AR 카메라(415)로부터 촬영 이미지를 수신할 수 있다. 예를 들어, 영상 취득 모듈(4111)은 잔존 지문 탈취 방지 서비스와 관련하여, 전자 장치(101)의 디스플레이 전면 이미지를 수신할 수 있다. 영상 취득 모듈(4111)은 디스플레이 전면 이미지를 지문 데이터 가공 모듈(4112)로 전달할 수 있다.
일 실시예에 따르면, 지문 데이터 가공 모듈(4112)은, 디스플레이 전면 이미지에 대해 이미지 처리(예: contrast enhancement)하여 진폭 이미지(예: 마루(ridge)와 골(valley) 부분에서의 광량 차이(예: 반사도 또는 투과도)를 나타내는 진폭(A( x,y )) 정보를 포함하는 이미지(amplitude fingerprint image))를 생성할 수 있다.
지문 데이터 가공 모듈(4112)은 진폭 이미지를 적어도 하나의 지문 후보 영역과 관련된 잔존 지문 후보군 데이터로 가공할 수 있다. 지문 데이터 가공 모듈(4112)은 진폭 이미지 내에서 지문의 특징점(예: 선 모양으로 솟아 오른 부분인 융선(ridge), 융선과 융선 사이에 계곡처럼 들어가 있는 부분인 골(valley), 융선이 갈라지는 부분인 분기점(bifucation), 융선이 끝나는 부분인 끝점(ending))을 학습(예: 딥러닝 학습)하여 지문 표현 패턴 또는 지문 형상이 나타나는 지문 후보 영역을 검출(또는 find)하고, 검출된 지문 후보 영역의 데이터를 획득할 수 있다.
예를 들어, 지문 데이터 가공 모듈(4112)은 도 5에 도시된 바와 같이, 디스플레이 전면 이미지(510)에 대응하는 진폭 이미지로부터 지문의 특징점을 갖는 영역 예를 들어, 제1 지문 후보 영역(a), 제2 지문 후보 영역(b), 제3 지문 후보 영역(c)를 검출할 수 있다. 지문 데이터 가공 모듈(4112)은 지문 패턴 형상을 가지더라도 불분명하거나 일그러지거나 지문들이 겹쳐져 특징점을 추출할 수 없는 경우, 지문 후보 영역에서 제외시킬 수 있다. 지문 데이터 가공 모듈(4112)은 제1 지문 후보 영역(a)의 데이터(520)를 추출하고, 제2 지문 후보 영역(b)의 데이터(521)를 추출하고, 제3 지문 후보 영역(c)의 데이터(523)를 추출할 수 있다.
일 실시예에 따르면, 지문 데이터 가공 모듈(4112)은 지문 후보 영역에 번호를 부여하고 각 지문 후보 영역이 디스플레이 전면 이미지 내에 위치하는 좌표 정보를 계산하고, 각 지문 후보 영역의 데이터(예: 특징점 데이터)를 추출하여 잔존 지문 후보군 데이터로 가공할 수 있다. 예를 들어, 잔존 지문 후보군 데이터는 <표 1>과 같이 구성할 수 있다.
1 제1 지문 후보 영역의 특징점 데이터 제1 좌표 정보
2 제2 지문 후보 영역의 특징점 데이터 제2 좌표 정보
3 제3 지문 후보 영역의 특징점 데이터 제3 좌표 정보
다른 예를 들어, 지문 데이터 가공 모듈(4112)은 지문 특징점을 갖는 지문 후보 영역을 크롭(crop)할 수 있다. AR 장치(201)는 전자 장치(101)와 연결 시 전자 장치(101)의 지문 인식 센서의 해상도(resolution) 정보를 획득할 수 있다. AR 장치(201)는 전자 장치(101) 지문 인식 센서의 해상도에 대응하는 크기로 지문 후보 영역의 크롭 사이즈를 설정할 수 있다. 지문 데이터 가공 모듈(4112)은 진폭 이미지에서 검출된 지문 후보 영역의 크롭 이미지(예: 제1 지문 후보 영역에 대응하는 제1 크롭 이미지, 제2 지문 후보 영역에 대응하는 제2 크롭 이미지)를 획득하고, 특징점 데이터를 크롭 이미지로 대체하여 잔존 지문 후보군 데이터로 구성할 수도 있다.
일 실시예에 따르면, 지문 데이터 가공 모듈(4112)은 AR 통신 모듈(413)을 통해 잔존 지문 후보군 데이터가 전자 장치(101)로 전송되도록 잔존 지문 후보군 데이터를 AR 통신 모듈(413)로 전달할 수 있다.
일 실시예에 따르면, AR 장치(201)는 AR 통신 모듈(413)을 통해 잔존 지문 후보군 데이터를 전자 장치(101)로 전송하고, 잔존 지문 후보군 데이터의 인증 유효성에 따른 보안 위험도 평가를 요청할 수 있다. 전자 장치(101)는 AR 장치(201)로부터 전달된 잔존 지문 후보군 데이터와 전자 장치(101)에 등록된 지문 인증 템플릿과 비교하여 인증 유효성을 확인하고, 보안 레벨을 포함한 매칭 정보를 AR 장치(201)로 전송할 수 있다.
일 실시예에 따르면, AR UI 제공 모듈(4113)은, AR 통신 모듈(413)을 통해 전자 장치(101)로부터 잔존 지문 후보군 데이터와 관련된 매칭 정보를 수신하는 경우, 수신된 매칭 정보를 기반으로 지문 후보 영역의 보안 레벨에 기초한 잔존 지문의 보안 안내 정보를 AR 서비스로 출력할 수 있다. 보안 안내 정보는 잔존 지문을 제거할 수 있도록 유도하거나, 잔존 지문의 위험을 안내하는 정보일 수 있으며, 잔존 지문의 존재가 없음을 안내하는 정보일 수도 있다.
예를 들어, AR UI 제공 모듈(4113)은 전자 장치(101)와 연동하여 실행된 카메라 프리뷰 영상(예: 전자 장치(101)의 전면(예: 디스플레이 영역)을 촬영하는 영상) 내에서 각 지문 후보 영역의 좌표 정보를 참고하여 지문 후보 영역의 위치를 확인하고, 전자 장치(101) 디스플레이에 대응하는 잔존 지문의 위치에 보안 안내 정보(예: "인증 가능한 지문입니다", "인증 가능성이 높은 지문입니다", "잔존 지문을 제거하여 주시기 바랍니다" 또는" 인증 가능한 지문이 없습니다" 와 같은 텍스트)를 출력하는 가상 정보(또는 가상 객체)를 출력할 수 있다. 다른 예를 들어, AR UI 공 모듈(4113)은 보안 위험도가 보통 레벨 또는 위험 레벨인 지문 후보 영역의 위치를 안내하는 UI(예: 가상의 지문 형상의 객체, 보안 위험 객체)를 카메라 프리뷰 영상에 오버레이하여 출력할 수 있다.
일 실시예에 따르면, 잔존 지문 탈취 방지 서비스를 지원하는 전자 장치(101)(예: 도 1의 전자 장치(101))는 프로세서(420)(예: 도 1의 프로세서(120)), 통신 모듈(423)(예: 도 1의 통신 모듈(190)), 디스플레이(427)(예: 도 1의 디스플레이 모듈(160)) 및 메모리(429)(예: 도 1의 메모리(130))를 포함할 수 있다. 도 4에 도시된 전자 장치(101)는 도 1에 도시된 전자 장치(101)의 구성과 동일하거나 도 1에 도시된 전자 장치(101)의 구성을 더 포함할 수도 있다. 도 1과 동일 요소에 대한 구체적인 설명은 생략되며, 잔존 지문 탈취 방지 서비스와 관련된 구성들에 대해서 구체적으로 설명하기로 한다.
일 실시예에 따르면, 전자 장치(101)는 통신 모듈(423)을 통해 AR 장치(201)와 통신하여 AR 서비스를 지원할 수 있다. 통신 모듈(423)은 AR 통신 모듈(413)(또는 서버)과 연동하여 잔존 지문 탈취 방지 서비스와 관련된 신호, 데이터 또는 정보를 송수신할 수 있다.
일 실시예에 따르면, 통신 모듈(423)은, 잔존 지문 탈취 방지 서비스와 관련하여 AR 장치(201)로부터 전자 장치(101) 디스플레이 전면 이미지로부터 가공된 잔존 지문 후보군 데이터를 수신하고, 잔존 지문 후보군 데이터를 프로세서(420)(또는 잔존 지문 판단 모듈(4212))로 전달할 수 있다.
일 실시예에 따르면, 전자 장치(101)의 프로세서(420)는, 지문 인증 모듈(4211), 잔존 지문 판단 모듈(4212) 및 UI 제공 모듈(4213)을 포함할 수 있다. 프로세서(420)는, 지문 인증 모듈(4211), 잔존 지문 판단 모듈(4212) 및 UI 제공 모듈(4213)을 제어하거나 이들의 동작을 처리(또는 수행)할 수 있다. 메모리(429)는 프로세서(420)가 지문 인증 모듈(4211), 잔존 지문 판단 모듈(4212) 및 UI 제공 모듈(4213)을 동작하도록 하는 인스트럭션들(instructions)을 저장할 수 있다. 인스트럭션들은 메모리(429) 상에 소프트웨어로서 저장될 수 있고, 프로세서(420)에 의해 실행 가능할 수 있다.
일 실시예에 따르면, 지문 인증 모듈(4211)은, 지문 인식 센서(미도시)로부터 센싱된 정보의 지문 인증 성공 또는 실패 판단을 위한 사용자의 지문 인증 템플릿을 메모리(429)에 저장하고 관리할 수 있다.
일 실시예에 따르면, 지문 인증 모듈(4211)은, 지문 인식 센서 또는 이미지 센서로부터 전달된 신호를 이미지 프로세싱하여 지문 이미지 데이터를 획득하고, 지문 이미지 데이터를 메모리에 등록된 지문 인증 템플릿(또는 지문 인증 데이터)과 비교하여 지문 인증이 성공하는지를 판단할 수 있다. 지문 인증 모듈(4211)은 지문 이미지 데이터에 포함된 특징점이 등록된 지문 인증 템플릿의 특징점과 실질적으로 일치하는 경우 지문 인증이 성공된 것으로 결정하고, 특징점들이 서로 일치하지 않는 경우, 지문 인증이 실패한 것으로 결정할 수 있다.
어떤 실시예에 따르면, 전자 장치(101)는 AR 장치(201)로부터 디스플레이 전면 이미지를 수신할 수도 있다. 전자 장치(101)가 AR 장치(201)로부터 디스플레이 전면 이미지의 원본 데이터를 수신하는 경우, 디스플레이 전면 이미지의 원본 데이터를 지문 인증 모듈(4211)로 전달하고, 지문 인증 모듈(4211)을 통해 디스플레이 전면 이미지에 대응하는 진폭 이미지로 이미지 프로세싱하고, 진폭 이미지로부터 적어도 하나의 지문 후보 영역과 관련된 잔존 지문 후보군 데이터를 가공할 수도 있다.
일 실시예에 따르면, 잔존 지문 판단 모듈(4212)은 AR 장치(201)로부터 전달된 잔존 지문 후보군 데이터를 전자 장치 내 등록된 지문 인증 템플릿과 매칭하여 지문 후보 영역의 인증 유효성을 판단할 수 있다.
일 실시예에 따르면, 잔존 지문 판단 모듈(4212)은 각 지문 후보 영역의 특징점 데이터(또는 크롭된 위상 이미지)와 등록된 지문 인증 템플릿의 특징점 간 유사도를 판단하여 지문 후보 영역의 유사도 점수를 산출할 수 있다. 잔존 지문 판단 모듈(4212)은 지문 후보 영역의 유사도 점수를 설정된 임계값에 따라 구별하여 지문 후보 영역의 보안 위험도를 평가한 보안 레벨을 결정할 수 있다. 예를 들어, 잔존 지문 판단 모듈(4212)은 임계 값을 1단계(예: 제1 임계값), 2단계(예: 제2 임계값) 및 3단계(예: 제3 임계값)로 구분하고, 유사도 점수가 제1 임계값 미만일 시에는 보안 낮음 레벨로 결정할 수 있다. 잔존 지문 판단 모듈(4212)은 유사도 점수가 제1 임계값 이상 및 2단계 미만 사이일 경우에는 보안 보통 레벨로 결정하고, 유사도 점수가 3단계 이상일 경우, 보안 위험 수준으로 판단할 수 있다.
일 실시예에 따르면, 잔존 지문 판단 모듈(4212)은 잔존 지문 후보군 데이터의 인증 유효성 판단에 따른 보안 위험도를 평가(예: 보안 레벨)한 매칭 정보를 구성하고, 매칭 정보를 AR 장치(201)로 전송하도록 통신 모듈(423)로 전달할 수 있다.
일 실시예에 따르면, 매칭 정보는, 각 지문 후보 영역에 부여된 번호 정보, 좌표 정보 및 유사도 점수에 따른 보안 레벨 정보를 포함할 수 있으나, 이에 한정하지 않는다. 일 예를 들어, 매칭 정보는 [표 2] 와 같이 구성할 수 있다.
1 제1 좌표 정보 제1 점수 보통 레벨
2 제2 좌표 정보 제2 점수 위험 레벨
3 제3 좌표 정보 제3 점수 보통 레벨
일 실시예에 따르면, UI 제공 모듈(4213)은, 잔존 지문 탈취 방지 서비스와 관련된 정보를 표시하거나 디스플레이의 동작을 제어할 수 있다. 예를 들어, UI 제공 모듈(4213)은, AR 장치(201)와 연동하여 잔존 지문 탈취 방지 서비스 실행 시에, 디스플레이 화면을 오프(off)하거나, 디스플레이 화면이 블랙(black) 표시되도록 제어할 수 있다. 전자 장치(101)의 디스플레이(427)가 블랙 처리됨으로써, AR 장치(201)가 전자 장치(101)의 디스플레이 전면 촬영 시 잔존 지문 대한 검출률이 증가될 수 있다.
어떤 실시예에 따르면, UI 제공 모듈(4213)은, AR 장치(201)가 지문 후보 영역의 보안 레벨에 기초한 잔존 지문의 보안 안내 정보를 AR 서비스로 제공하는 경우, 디스플레이 화면이 블랙(black) 표시되도록 제어할 수 있다.
어떤 실시예에 따르면, UI 제공 모듈(4213)은 전자 장치(101)의 디스플레이에 독립적으로 잔존 지문의 보안 안내 정보를 표시할 수도 있다.
한편, 지문 센서가 배치된 특정 영역에 대해 잔존 지문의 제거를 의도적으로 유도할 수 있으나, 이는 지문 인증 시도에 따른 잔존 지문에 대해서만 가능할 뿐 전자 장치를 사용하면서 생기는 지문 다시 말해, 디스플레이 전체에 대한 잔존 지문을 제거하기에는 어려움이 있다.
디스플레이 전체에 대해 잔존 지문의 유무를 판단하기 위해서는 외부 카메라에 대한 존재가 필요할 수 있다.
최근 증강 현실(AR: augmented reality) 또는 혼합현실(MR: mixed reality)) 서비스를 지원하는 장치(이하, AR 장치)로서, 신체에 착용될 수 있는 웨어러블 전자 장치(예: 헤드 마운티드 장치(head-mounted device), 헤드 마운티드 디스플레이(head-mounted display), 또는 AR 글래스)가 개발되고 있다.
AR 장치는 카메라를 기본적으로 탑재하며, AR 장치의 카메라를 통해 획득한 영상은 이미지 프로세싱(image processing)하여 가공될 수 있다.
다양한 실시예들은 AR 장치를 이용하여 전자 장치(예: 주 장치, 컨트롤 장치)의 디스플레이 전체에 대해 존재하는 잔존 지문을 검출하고, AR 장치와 전자 장치가 연동하여 잔존 지문이 사용자 인증 가능성 또는 유효성에 대해 판단하여 지문 탈취를 방지할 수 있다.
일 실시예에 따른 전자 장치, 방법 및 비일시적 컴퓨터 판독 가능 저장 매체는 외부 장치(예: AR 장치)로부터 획득한 영상을 이용하여 디스플레이 전면에 남아있는 잔존 지문의 인증 가능성을 판단하고 외부 장치와 연동하여 보안 위험도를 사용자에게 안내함으로써, 지문 탈취를 사전에 방지하고, 사용자 개인 정보를 보호할 수 있다.
일 실시예에 따른 전자 장치(예: 도 1, 도 3 및 도 4의 전자 장치(101))는 디스플레이(예: 도 1의 디스플레이 모듈(160), 도 4의 디스플레이(427)), 통신 모듈(예: 도 1의 통신 모듈(190), 도 4의 통신 모듈(427)), 메모리(예: 도 1의 메모리(120), 도 4의 메모리(429)) 및 상기 디스플레이, 상기 통신 모듈, 상기 메모리와 동작적으로 연결된 프로세서(예: 도 1의 프로세서(120), 도 4의 프로세서(420))를 포함하고, 상기 프로세서는, AR(augmented reality) 장치(예: 도 2 도 3, 도 4및 도 8의 AR 장치(201))와 상기 통신 모듈을 통해 무선 통신 연결된 상태에서 상기 AR 장치와 연동하는 잔존 지문 탈취 방지 서비스 실행 이벤트가 발생된 것을 감지하고, 상기 AR 장치의 카메라에서 촬영한 전자 장치 디스플레이 전면 이미지로부터 획득한 지문 후보 영역에 대응하는 잔존 지문 후보군 데이터를 상기 AR 장치로부터 수신하고, 상기 잔존 지문 후보군 데이터와 상기 전자 장치에 등록된 지문 인증 템플릿과 매칭하여 지문 후보 영역의 인증 유효성을 판단하고, 상기 인증 유효성 결과, 전자 장치 디스플레이에 남아있는 잔존 지문의 보안 위험도를 평가한 보안 레벨을 상기 AR 장치로 전송하고, 상기 AR 장치를 통해 디스플레이의 잔존 지문에 대한 보안 안내 정보를 AR 서비스로 출력하도록 설정될 수 있다.
일 실시예에 따르면 전자 장치는 지문 인식 센서를 더 포함하고, 상기 메모리는, 상기 메모리에 상기 지문 인식 센서를 통해 인식된 생체 정보를 기반으로 인증 성공 또는 인증 실패를 판단하기 위한 기준으로서, 상기 지문 인증 템플릿을 저장할 수 있다.
일 실시예에 따르면 상기 프로세서는, 상기 AR 장치와 연동하여 잔존 지문 탈취 방지 서비스와 관련된 카메라 촬영 이벤트가 감지된 것에 기초하여 상기 디스플레이를 일정 시간 동안 턴 오프하거나, 상기 디스플레이에 블랙 화면이 표시되도록 설정될 수 있다.
일 실시예에 따르면, 상기 AR 장치와 연동하는 잔존 지문 탈취 방지 서비스 실행 이벤트는 상기 통신 모듈을 통해 상기 AR 장치로부터 잔존 지문 탈취 방지 서비스 실행 신호를 수신하는 것에 기초하여 발생되는 것을 특징으로 할 수 있다.
일 실시예에 따르면, 상기 AR 장치와 연동하는 잔존 지문 탈취 방지 서비스 실행 이벤트는 상기 지문 인식 센서를 통해 지문 인증 시도가 수행되는 것에 기초하여 발생되는 것을 특징으로 할 수 있다.
일 실시예에 따르면, 상기 AR 장치와 연동하는 잔존 지문 탈취 방지 서비스 실행 이벤트는 상기 지문 인식 센서를 통해 지문 인증 시도가 설정된 횟수를 초과된 것에 기초하여 발생되는 것을 특징으로 할 수 있다.
일 실시예에 따르면, 상기 프로세서는, 상기 AR 장치와 연동하는 잔존 지문 탈취 방지 서비스 실행 이벤트가 발생된 것에 기초하여, 상기 지문 인식 센서의 해상도 정보를 상기 통신 모듈을 통해 상기 AR 장치로 전송하도록 설정될 수 있다.
일 실시예에 따르면, 상기 잔존 지문 후보군 데이터는, 상기 전자 장치의 디스플레이 전면 이미지에 대응하는 진폭 이미지를 기반으로 유효한 지문 패턴을 가지는 지문 후보 영역에 부여된 번호 정보, 상기 지문 후보 영역의 특징점 데이터, 및 상기 지문 후보 영역이 상기 전자 장치의 디스플레이 전면 이미지 내에 위치하는 좌표 정보를 포함할 수 있다.
일 실시예에 따르면, 상기 프로세서는, 상기 잔존 지문 후보군 데이터에 포함된 지문 후보 영역의 특징점 데이터와 상기 메모리에 등록된 지문 인증 템플릿의 특징점 간 유사도를 판단하여 유사도 점수를 산출하고, 상기 산출된 유사도 점수를 설정된 임계값들과 기반으로 구별하여 보안 레벨을 결정하고, 상기 결정된 보안 레벨을 상기 각 지문 후보 영역에 부여된 번호 및 좌표 정보와 함께 상기 AR 장치로 전송하도록 설정될 수 있다.
일 실시예에 따르면, 상기 프로세서는, 상기 AR 장치에서 상기 잔존 지문의 보안 안내 정보를 AR 서비스로 제공하는 신호에 반응하여 상기 디스플레이를 일정 시간 동안 턴 오프하거나, 상기 디스플레이에 블랙 화면이 표시되도록 설정될 수 있다.
일 실시예에 따르면, AR 장치(예: 도 2, 도 3, 도 4 및 도 8의 AR장치(201))는 카메라(예: 도 2의 카메라(270), 도 4의 AR 카메라(415), 도 8의 AR 카메라(815)), 통신 모듈(예: 도 2의 통신 모듈(210), 도 4 AR 통신 모듈(413), 및 도 8의 AR 통신 모듈(813)), 메모리(예: 도 2의 메모리(230), 도 4의 AR메모리(419) 및 도 8의 AR메모리(819)), 상기 카메라, 상기 통신 모듈, 상기 메모리와 동작적으로 연결되는 프로세서(예: 도 2의 프로세서(220), 도 4의 AR 프로세서(410), 도 8의 AR 프로세서(810))를 포함하고, 상기 프로세서는, 전자 장치(예: 도 1, 도 3 및 도 4의 전자 장치(101))와 통신 모듈을 통해 무선 통신 연결된 상태에서 상기 AR 장치와 연동하는 잔존 지문 탈취 방지 서비스 실행 이벤트가 발생된 것을 감지하고, 상기 잔존 지문 탈취 방지 서비스 실행 이벤트에 기초하여 상기 카메라를 통해 촬영한 상기 전자 장치의 디스플레이 전면 이미지를 획득하고, 상기 디스플레이 전면 이미지를 가공하여 전자 장치의 디스플레이에 남아있는 잔존 지문과 관련된 지문 후보 영역에 기초한 잔존 지문 후보군 데이터를 구성하고, 상기 메모리에 상기 전자 장치의 지문 인증 템플릿이 저장되어 있는 경우, 상기 잔존 지문 후보군 데이터와 상기 전자 장치의 지문 인증 템플릿과 매칭하여 지문 후보 영역의 인증 유효성을 판단하고, 상기 인증 유효성 결과, 상기 지문 후보 영역의 보안 레벨에 따라 전자 장치의 디스플레이에 남아있는 잔존 지문에 대한 보안 위험을 안내하는 보안 안내 정보를 AR 서비스로 제공하고, 상기 메모리에 상기 전자 장치의 지문 인증 템플릿이 저장되지 않는 경우, 상기 잔존 지문 후보군 데이터를 상기 전자 장치로 전송하도록 설정될 수 있다.
일 실시예에 따르면, 상기 카메라는 광학식 센서, UV 카메라 또는 RGB 카메라 중 적어도 하나 또는 이들을 결합한 카메라인 것을 특징으로 할 수 있다.
일 실시예에 따르면, 상기 프로세서는 상기 전자 장치의 디스플레이 전면 이미지에 이미지 처리하여 진폭 이미지를 생성하고, 상기 진폭 이미지로부터 지문의 특징점을 갖는 지문 후보 영역을 검출하고, 검출된 지문 후보 영역에 번호를 부여하고, 지문 부호 영역이 디스플레이 전면 이미지에 위치하는 좌표 정보를 계산하고, 지문 후보 영역의 특징점 데이터를 추출하여 상기 잔존 지문 후보군 데이터를 구성하는 것을 특징으로 할 수 있다.
일 실시예에 따르면, 상기 프로세서는, 상기 메모리에 상기 전자 장치의 지문 인증 템플릿이 저장되어 있는 경우, 기 잔존 지문 후보군 데이터에 포함된 지문 후보 영역의 특징점 데이터와 상기 메모리에 등록된 지문 인증 템플릿의 특징점 간 유사도를 판단하여 유사도 점수를 산출하고, 상기 산출된 유사도 점수를 설정된 임계값들과 기반으로 구별하여 보안 레벨을 결정하고, 상기 결정된 보안 레벨에 기초하여 상기 보안 안내 정보를 AR 서비스로 제공하는 것을 특징으로 할 수 있다.
일 실시예에 따르면, 상기 프로세서는, 상기 메모리에 전자 장치의 지문 인증 템플릿이 저장되지 않은 경우, 전자 장치로 잔존 지문 후보군 데이터를 전송하지 않고, 전자 장치 또는 서버로 전자 장치의 지문 인증 템플릿의 전송을 요청하고, 상기 전자 장치 또는 상기 서버로부터 상기 전자 장치의 지문 인증 템플릿을 수신하도록 더 설정될 수 있다.
도 6은 일 실시예에 따른 AR 장치(201) 및 전자 장치(101)를 이용한 지문 탈취 방지 방법을 도시한다.
이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다.
일 실시 예에 따르면, 610 내지 680 동작은 AR 장치(201)의 프로세서(예: 도 2의 프로세서(220), 도 4의 AR 프로세서(410)) 또는 전자 장치(101)의 프로세서(예: 도 1의 프로세서(120), 도 4의 프로세서(420))에서 수행되는 것으로 이해될 수 있다.
도 6을 참조하면, 일 실시예에 따르면, AR 장치(201)(예: 도 2의 AR 장치(201), 도 4의 AR 장치(201))는 610동작에서, 사용자의 입력 또는 지정된 이벤트 발생에 기초하여 전자 장치(101) 디스플레이 전면 이미지(예: 도 5의 디스플레이 전면 이미지(510))를 획득할 수 있다.
일 실시예에 따르면, AR 장치(201)는 사용자 입력(예: 카메라 실행 항목을 선택하는 입력)에 따라 AR 장치(201) 내 지문 촬영을 지원하는 카메라(예: 후면 카메라, 광학식 센서, UV 카메라, RGB 카메라)를 활성화하고, 전자 장치(101) 디스플레이 전면을 촬영(예: 촬영 항목을 선택하는 입력)하여 디스플레이 전면 이미지를 획득할 수 있다.
일 실시예에 따르면, AR 장치(201)는 근거리 통신 거리 이내에 전자 장치(101)가 위치된 것에 기초하여 전자 장치(101)와 무선 네트워크(예: 근거리 통신)을 통해 연결을 완료하고, 전자 장치(101)와 무선 통신 연결이 완료된 상태에 반응하여 카메라를 자동으로 실행하고, 전자 장치(101) 디스플레이 전면을 촬영하여 디스플레이 전면 이미지를 획득할 수 있다. 예를 들어, 전자 장치(101)의 디스플레이에 표시된 암호화 코드(예: 바코드 또는 QR 코드)를 통해 전자 장치(101)와 AR 장치(201) 간 무선 통신이 연결된 경우, AR 장치(201)는 전자 장치(101) 디스플레이 전면을 촬영하여 디스플레이 전면 이미지를 획득할 수 있다.
일 실시예에 따르면, AR 장치(201)는 지문 탈취 방지 서비스 실행 신호(예: AR 장치(201) 내 지문 탈취 서비스 실행 입력 신호, 전자 장치(101)로부터 무선 통신 연결된 전자 장치(101)의 디스플레이를 촬영하라는 통지 신호, 전자 장치(101)로부터 지문 인증이 수행됐음을 알림하는 통지 신호)가 수신된 것에 반응하여 카메라를 자동으로 실행하고, 전자 장치(101) 디스플레이 전면을 촬영하여 디스플레이 전면 이미지를 획득할 수 있다. 다른 예를 들어, 전자 장치(101)는 지문 인증 시마다 전자 장치(101)와 연결된 AR 장치(201)에 지문 탈취 방지 서비스 실행 신호를 전송하거나, 전자 장치(101)가 특정 횟수 이상 지문 인증을 시도하는 시점에 지문 탈취 방지 서비스 실행 신호를 AR 장치(201)로 전송할 수 있다.
일 실시예에 따르면, AR 장치(201)는 카메라 실행 시에, 전자 장치(101) 디스플레이를 촬영하라는 가이드 정보를 출력(예: 사운드 출력 또는 디스플레이에 메시지 표시)할 수 있다. 사용자는 가이드 정보를 통해 전자 장치(101) 디스플레이 전면을 촬영하여 디스플레이 전면 이미지를 획득할 수 있다.
일 실시예에 따르면, AR 장치(201)는 카메라 촬영 시, 전자 장치(101)로 지문 촬영을 시도하려는 안내 정보를 전송할 수 있다. 예를 들어, 전자 장치(101)는 AR 장치(201)로부터 안내 정보가 수신된 경우, AR 장치(201)(101)에서의 촬영을 보조하기 위해, 디스플레이를 오프하거나, 배경 화면을 검은색으로 변경할 수 있다. 반대로, 전자 장치(101)가 지문 탈취 방지 서비스 실행 신호를 AR 장치(201)로 전송한 경우, 전자 장치(101)는 AR 장치(201)에서의 촬영을 보조하기 위해, 디스플레이를 오프하거나, 배경 화면을 검은색으로 변경할 수도 있다
620동작에서, AR 장치(201)는 전자 장치(101)의 디스플레이 전면 이미지를 진폭 이미지로 이미지 처리할 수 있다. AR 장치(201)는 지문 촬영을 지원하는 카메라(예: 광 검출기(또는 이미지 센서))를 통해 획득한 디스플레이 전면 이미지에 대해 이미지 처리(예: contrast enhancement)하여 마루(ridge)와 골(valley) 부분에서의 광량 차이(예: 반사도 또는 투과도)를 나타내는 진폭(amplitude, A( x,y ) 정보를 포함하는 진폭 이미지(예: amplitude fingerprint image)를 획득할 수 있다.
630 동작에서, AR 장치(201)는 디스플레이 전면 이미지에 대응하는 진폭 이미지로부터 적어도 하나 이상의 지문 후보 영역을 검출하고, 진폭 이미지를 지문 후보 영역에 기초한 잔존 지문 후보군 데이터로 가공할 수 있다.
예를 들어, AR 장치(201)는 진폭 이미지 내에서 지문의 특징점(예: 선 모양으로 솟아 오른 부분인 융선(ridge), 융선과 융선 사이에 계곡처럼 들어가 있는 부분인 골(valley), 융선이 갈라지는 부분인 분기점(bifucation), 융선이 끝나는 부분인 끝점(ending))을 학습(예: 딥러닝 학습)하여 지문 표현 패턴 또는 지문 형상에 대응하는 지문 후보 영역을 검출 (또는 find)하고 지문 후보 영역의 데이터를 추출할 수 있다.
일 실시예에 따르면, AR 장치(201)는 진폭 이미지로부터 검출된 적어도 하나의 지문 후보 영역과 관련된 잔존 지문 후보군 데이터를 구성할 수 있다. 잔존 지문 후보군 데이터는 식별을 위해 부여된 번호 정보, 지문 후보 영역의 특징점 데이터 및 좌표 정보를 포함할 수 있으나, 지문 인증 시 요구되는 다른 정보들을 포함할 수도 있다. 예를 들어, AR 장치(201)는 도 4에서 설명한 <표 1>에 도시된 바와 같이, 각 지문 후보 영역에 번호를 부여하고, 각 지문 후보 영역이 디스플레이 전면 이미지 내에 위치하는 좌표 정보 및 지문 후보 영역의 특징점 데이터를 획득하여 잔존 지문 후보군 데이터를 구성할 수 있다.
일 실시예에 따르면, AR 장치(201)는 잔존 지문 후보군 데이터를 AR 통신 모듈(예: 도 4의 AR 통신 모듈(413))을 통해 전자 장치(101)로 전송할 수 있다.
640동작에서, 전자 장치(101)는 AR 장치(201)로부터 전달된 잔존 지문 후보군 데이터를 수신할 수 있다.
650 동작에서, 전자 장치(101)는 AR 장치(201)로부터 전달된 잔존 지문 후보군 데이터를 전자 장치(101) 내 등록된 지문 인증 템플릿과 매칭하여 지문 후보 영역의 인증 유효성을 판단할 수 있다.
예를 들어, 전자 장치(101)는 각 지문 후보 영역의 특징점 데이터(또는 크롭된 위상 이미지)를 등록된 지문 인증 템플릿의 특징점 간 유사도를 판단하여 지문 후보 영역의 유사도 점수를 산출할 수 있다. 전자 장치(101)는 지문 후보 영역의 유사도 점수를 설정된 임계값에 따라 구별하여 지문 후보 영역의 보안 위험도를 평가한 보안 레벨을 결정할 수 있다. 예를 들어, 전자 장치(101)는 임계 값을 1단계(예: 제1 임계값), 2단계(예: 제2 임계값) 및 3단계(예: 제3 임계값)로 구분하고, 유사도 점수가 제1 임계값 미만일 시에는 보안 낮음 레벨로 결정할 수 있다. 전자 장치(101)는 유사도 점수가 제1 임계값 이상 및 2단계 미만 사이일 경우에는 보안 보통 레벨로 결정하고, 유사도 점수가 3단계 이상일 경우, 보안 위험 수준으로 판단할 수 있다.
660 동작에서, 전자 장치(101)는 잔존 지문 후보군 데이터의 유효성 판단에 대한 매칭 정보를 구성하고 매칭 정보를 AR 장치(201)로 전송할 수 있다.
일 실시예에 따르면, 매칭 정보는, 각 지문 후보 영역에 부여된 번호 정보, 좌표 정보, 유사도 점수 및 보안 레벨 정보를 포함할 수 있으나, 이에 한정하지 않는다. 일 예를 들어, 전자 장치(101)는 도 4에서 설명한 <표 2>에 도시된 바와 같이, 잔존 지문 후보군 데이터의 인증 유효성 판단에 따른 보안 위험도를 평가(예: 보안 레벨)한 매칭 정보를 구성할 수 있다.
670동작에서, AR 장치(201)는 전자 장치(101)로부터 전달된 매칭 정보를 기반으로 지문 후보 영역의 보안 위험도 레벨에 기초한 잔존 지문의 보안 안내 정보를 AR 서비스로 출력할 수 있다.
예를 들어, AR 장치(201)는 전자 장치(101)와 연동하여 실행된 카메라 프리뷰 영상(예: 전자 장치(101)의 전면(예: 디스플레이 영역)을 촬영하는 영상) 내에서 각 지문 후보 영역의 좌표 정보를 참고하여 지문 후보 영역의 위치를 확인하고, 전자 장치(101) 디스플레이에 대응하는 잔존 지문의 위치에 보안 안내 정보(예: "인증 가능한 지문입니다", "인증 가능성이 높은 지문입니다", "잔존 지문을 제거하여 주시기 바랍니다" 또는" 인증 가능한 지문이 없습니다" 와 같은 텍스트)를 출력하는 가상 정보(또는 가상 객체)를 출력할 수 있다.
병행적으로 또는 독립적으로 680동작에서, 전자 장치(101)(680)는 지문 후보군 데이터의 보안 레벨에 기초한 잔존 지문의 보안 안내 정보를 디스플레이에 출력할 수 있다.
어떤 실시예에 따르면 680 동작은 생략될 수도 있다.
도 7은 일 실시예에 따른 AR 장치(201) 및 전자 장치(101)를 이용한 지문 탈취 방지 방법을 도시한다.
이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다.
일 실시 예에 따르면, 710 내지 770 동작은 전자 장치(101)(예: 도 1의 전자 장치(101)의 프로세서(예: 도 1의 프로세서(120), 도 4의 프로세서(420))에서 수행되는 것으로 이해될 수 있다.
도 7을 참조하면, 일 실시예에 따른 전자 장치(101)(예: 도 1의 전자 장치(101), 도 4의 전자 장치(101))는, 710동작에서 잔존 지문 탈취 방지 서비스 실행을 감지할 수 있다.
일 실시예에 따르면, 전자 장치(101) 및 AR 장치(201)(예: 도 3의 AR 장치(201), 도 4의 AR 장치(201))는 잔존 지문 탈취 방지 서비스 기능의 온/오프를 지원할 수 있다.
일 실시예에 따르면, 전자 장치(101) 및 AR 장치(201)에서 잔존 지문 탈취 방지 서비스의 실행 조건은 다양하게 설정될 수 있다. 잔존 지문 탈취 방지 서비스의 실행 조건은 예를 들어, AR 장치(201)와 무선 통신 연결이 완료된 시점, 전자 장치(101)에서 지문 인증이 수행된 시점, 전자 장치(101)에서 특정 횟수 이상 지문 인증을 시도한 시점으로 설정될 수 있으나, 이에 한정하는 것은 아니다.
다른 예를 들어, 전자 장치(101)는 AR 장치(201)로부터 잔존 지문 탈취 방지 서비스가 실행됐음을 알림하는 신호를 수신할 수도 있다.
720 동작에서, 전자 장치(101)는 잔존 지문 탈취 방지 서비스에 관련하여 카메라 촬영을 보조하기 위해 디스플레이를 제어할 수 있다.
예를 들어, 전자 장치(101)는 일정 시간 동안 디스플레이를 오프하거나 디스플레이 화면이 블랙(black) 표시되도록 제어할 수 있다.
어떤 실시예에 따르면, 720 동작은 생략될 수 있다.
730 동작에서, 전자 장치(101)는 AR 장치(201)로부터 통신 모듈(예: 도 4의 통신 모듈(423))을 통해 잔존 지문 후보군 데이터를 수신할 수 있다.
일 실시예에 따르면, 잔존 지문 후보군 데이터는 AR 장치(201)(다시 말해, 외부 장치)의 카메라(예: AR 카메라)로 촬영한 전자 장치(101)의 디스플레이 전면 이미지를 통해 디스플레이에 남아있는 잔존 지문과 관련된 지문 후보 영역에 대응하는 정보(예: 번호 정보, 특징점 데이터 및 좌표 정보)로 구성될 수 있다. 예를 들어, 전자 장치(101)는 도 4에서 설명한 <표 1>과 같이 구성된 잔존 지문 후보군 데이터를 수신할 수 있다.
740 동작에서, 전자 장치(101)는 AR 장치(201)로부터 전달된 잔존 지문 후보군 데이터를 전자 장치(101) 내 등록된 지문 인증 템플릿과 매칭하여 지문 후보 영역의 인증 유효성을 판단할 수 있다.
예를 들어, 전자 장치(101)는 각 지문 후보 영역의 특징점 데이터(또는 크롭된 위상 이미지)를 등록된 지문 인증 템플릿의 특징점 간 유사도를 판단하여 지문 후보 영역의 유사도 점수를 산출할 수 있다. 전자 장치(101)는 지문 후보 영역의 유사도 점수를 설정된 임계값에 따라 구별하여 지문 후보 영역의 보안 레벨을 결정할 수 있다.
750 동작에서, 전자 장치(101)는 잔존 지문 후보군 데이터의 유효성 판단에 대한 매칭 정보를 구성할 수 있다. 매칭 정보는, 각 지문 후보 영역에 부여된 번호 정보, 좌표 정보, 유사도 점수 및 보안 레벨 정보를 포함할 수 있다. 일 예를 들어, 전자 장치(101)는 도 4에서 설명한 <표 2>에 도시된 바와 같이, 잔존 지문 후보군 데이터의 인증 유효성 판단에 따른 보안 위험도를 평가(예: 보안 레벨)한 매칭 정보를 구성할 수 있다.
760 동작에서, 전자 장치(101)는 매칭 정보를 통신 모듈(예: 도 4의 통신 모듈(423))을 통해 AR 장치(201)로 전송할 수 있다.
770 동작에서, 전자 장치(101)는 AR 장치(201)가 지문 후보 영역의 보안 레벨에 기초한 잔존 지문의 보안 안내 정보를 AR 서비스로 제공하는 경우, 디스플레이 화면이 블랙(black)화면으로 표시되도록 제어할 수 있다. 다른 예를 들어, 전자 장치(101)는 디스플레이에 잔존 지문의 보안 안내 정보를 AR정보와 중첩되도록 표시할 수도 있다.
어떤 실시예에 따르면, 770 동작은 생략될 수 있다.
도 8은 일 실시예에 따른 AR 장치(201)의 구성들을 도시한다
도 8을 참조하면, 일 실시예에 따른 AR 장치(201)는 잔존 지문 탈취 방지 서비스를 지원하는 AR 장치(201)는 AR통신 모듈(813), AR카메라(815), AR메모리(819) 및 AR프로세서(810)를 포함할 수 있다. 도 4에 설명한 AR 장치(201)의 동작들이 도 8에도 적용될 수 있다.
도 8에 도시된 AR 장치(201)의 AR 프로세서(810)는 영상 취득 모듈(8111), 지문 데이터 가공 모듈(8112), AR 잔존 지문 판단 모듈(8113) 및 AR UI(user interface) 제공 모듈(8114)을 포함할 수 있다. 어떤 실시예에 따르면, AR 장치(201)는 지문 인증 모듈(미도시)을 더 포함할 수도 있다.
일 실시예에 따르면, AR 프로세서(810)는 영상 취득 모듈(8111), 지문 데이터 가공 모듈(8112), AR 잔존 지문 판단 모듈(8113) 및 AR UI 제공 모듈(8114)을 제어하거나, 이들의 동작을 처리(또는 수행)할 수 있다. AR메모리(819)는 AR프로세서(810)가 영상 취득 모듈(8111), 지문 데이터 가공 모듈(8112), AR 잔존 지문 판단 모듈(8113) 및 AR UI 제공 모듈(8114)을 동작하도록 하는 인스트럭션들(instructions)을 저장할 수 있다. 인스트럭션들은 AR메모리(819) 상에 소프트웨어로서 저장될 수 있고, AR프로세서(810)에 의해 실행 가능할 수 있다.
일 실시예에 따르면, 영상 취득 모듈(8111)은, AR카메라(815)로부터 촬영 이미지를 수신할 수 있다. 예를 들어, 영상 취득 모듈(8111)은 잔존 지문 탈취 방지 서비스와 관련하여, 전자 장치(101)의 디스플레이 전면 이미지를 수신할 수 있다. 영상 취득 모듈(8111)은 디스플레이 전면 이미지를 지문 데이터 가공 모듈(8112)로 전달할 수 있다.
일 실시예에 따르면, 지문 데이터 가공 모듈(8112)은, 디스플레이 전면 이미지에 대해 이미지 처리(예: contrast enhancement)하여 진폭 이미지(예: amplitude fingerprint image)를 생성할 수 있다.
일 실시예에 따르면, 지문 데이터 가공 모듈(8112)은 진폭 이미지를 적어도 하나의 지문 후보 영역과 관련된 잔존 지문 후보군 데이터로 가공할 수 있다. 지문 데이터 가공 모듈(8112)은 진폭 이미지로부터 적어도 하나 이상의 지문 후보 영역을 검출할 수 있다. 지문 데이터 가공 모듈(8112)은 진폭 이미지 내에서 지문의 특징점(예: 선 모양으로 솟아 오른 부분인 융선(ridge), 융선과 융선 사이에 계곡처럼 들어가 있는 부분인 골(valley), 융선이 갈라지는 부분인 분기점(bifucation), 융선이 끝나는 부분인 끝점(ending))을 학습(예: 딥러닝 학습)하여 지문 표현 패턴 또는 지문 형상이 나타나는 지문 후보 영역을 검출(또는 find)하고, 검출된 지문 후보 영역의 데이터를 획득할 수 있다.
일 실시예에 따르면, 지문 데이터 가공 모듈(8112)은 지문 후보 영역에 번호를 부여하고 각 지문 후보 영역이 디스플레이 전면 이미지 내에 위치하는 좌표 정보 및 지문 후보 영역의 데이터(예: 특징점 데이터)를 획득하여 잔존 지문 후보군 데이터로 가공할 수 있다. 예를 들어, 잔존 지문 후보군 데이터는 도 4에 설명한 <표1>과 같이 구성될 수 있다.
일 실시예에 따르면, AR 잔존 지문 판단 모듈(8113)은 AR 장치(201)와 연결된 전자 장치(101)에 등록된 지문 인증 템플릿(또는 데이터)가 AR 장치(201) 내에 저장되어 있는지 여부를 확인할 수 있다.
일 실시예에 따르면, AR 잔존 지문 판단 모듈(8113)은 AR 장치(201)에 전자 장치(101)의 지문 인증 템플릿이 저장되어 있는 경우, 잔존 지문 후보군 데이터를 AR 장치(201)에 저장된 전자 장치(101)의 지문 인증 템플릿과 매칭하여 지문 후보 영역의 인증 유효성을 판단할 수 있다. AR 잔존 지문 판단 모듈(8113)은 잔존 지문 후보군 데이터의 인증 유효성 판단에 따른 보안 위험도를 평가(예: 보안 레벨)한 매칭 정보를 구성할 수 있다. 예를 들어, AR 잔존 지문 판단 모듈(8113)은 각 지문 후보 영역의 특징점 데이터(또는 크롭된 위상 이미지)를 등록된 지문 인증 템플릿의 특징점 간 유사도를 판단하여 유사도 점수를 산출하고, 유사도 점수를 설정된 임계값에 따라 구별하여 지문 후보 영역의 보안 위험도를 평가한 보안 레벨을 결정할 수 있다. AR 잔존 지문 판단 모듈(8113)은 지문 후보 영역의 보안 레벨을 AR UI 제공 모듈(8114)로 전달할 수 있다.
일 실시예에 따르면, AR 잔존 지문 판단 모듈(8113)은 AR 장치(201)에 전자 장치(101)의 지문 인증 템플릿이 저장되지 않은 경우, 전자 장치(101)로 잔존 지문 후보군 데이터를 전송하고, 잔존 지문 후보군 데이터의 유효성 판단을 요청할 수 있다. AR 장치(201)는 전자 장치(101)로부터 잔존 지문 후보군 데이터의 유효성 판단에 따른 매칭 정보를 수신하는 경우, AR UI 제공 모듈(8114)을 통해 잔존 지문의 보안 안내 정보를 AR 서비스로 출력할 수 있다.
어떤 실시예에 따르면, AR 잔존 지문 판단 모듈(8113)은 AR 장치(201)에 전자 장치(101)의 지문 인증 템플릿이 저장되지 않은 경우, 전자 장치(101)로 잔존 지문 후보군 데이터를 전송하지 않고, 전자 장치(101) 또는 서버(예: 도 1의 서버(108))로 전자 장치(101)의 지문 인증 템플릿의 전송을 요청할 수도 있다. AR 잔존 지문 판단 모듈(8113)은 요청 신호에 응답하여 전자 장치(101) 또는 서버로부터 전자 장치(101)의 지문 인증 템플릿이 수신되는 경우, 수신된 전자 장치(101)의 지문 인증 템플릿을 기반으로 잔존 지문 후보군 데이터의 유효성 판단할 수도 있다.
일 실시예 따르면, AR UI제공 모듈(8114)은, AR통신 모듈(813)을 통해 전자 장치(101)로부터 잔존 지문 후보군 데이터와 관련된 매칭 정보를 수신하거나 AR 잔존 지문 판단 모듈(8113)을 통해 판단한 지문 후보 영역의 보안 레벨을 기반으로 전자 장치(101) 디스플레이에 남아있는 잔존 지문의 보안 안내 정보를 AR 서비스로 출력할 수 있다. 보안 안내 정보는 잔존 지문을 제거할 수 있도록 유도하거나, 잔존 지문의 위험을 안내하는 정보일 수 있으며, 잔존 지문의 존재가 없음을 안내하는 정보일 수도 있다.
예를 들어, AR UI제공 모듈(8114)은 전자 장치(101)와 연동하여 실행된 카메라 프리뷰 영상(예: 전자 장치(101)의 전면(예: 디스플레이 영역)을 촬영하는 영상) 내에서 각 지문 후보 영역의 좌표 정보를 참고하여 지문 후보 영역의 위치를 확인하고, 전자 장치(101) 디스플레이에 대응하는 잔존 지문의 위치에 보안 안내 정보(예: "인증 가능한 지문입니다", "인증 가능성이 높은 지문입니다", "잔존 지문을 제거하여 주시기 바랍니다" 또는" 인증 가능한 지문이 없습니다" 와 같은 텍스트)를 출력하는 가상 정보(또는 가상 객체)를 출력할 수 있다. 다른 예를 들어, AR UI제공 모듈(8114)은 보안 위험도가 보통 레벨 또는 위험 레벨인 지문 후보 영역의 위치를 안내하는 UI(예: 가상의 지문 형상의 객체, 보안 위험 객체)를 카메라 프리뷰 영상에 오버레이하여 출력할 수 있다.
일 실시예 따르면, AR 장치(201)는 단독으로 스마트폰과 같은 전자 장치(101) 이외에, 도어락 장치, TV등 지문 인증을 통해 잠금 장치가 해제되는 다양한 환경에서 디스플레이 전면에 남아있는 잔존 지문에 대한 보안 위험을 평가하여 사용자에게 보안 안내 정보를 제공할 수 있다.
도 9는 일 실시예에 따른 AR 장치(201)의 지문 탈취 방지 방법을 도시한다.
이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다.
일 실시 예에 따르면, 910 내지 980 동작은 AR 장치(201)의 프로세서(예: 도 2의 프로세서(220), 도 4의 AR 프로세서(410))에서 수행되는 것으로 이해될 수 있다.
도 9를 참조하면, 일 실시예에 따르면, AR 장치(201)(예: 도 2의 AR 장치(201), 도 4의 AR 장치(201))는 910동작에서, 사용자의 입력 또는 지정된 이벤트 발생에 기초하여 전자 장치(101)(예: 도 1의 전자 장치(101), 도 4의 전자 장치(101)) 디스플레이 전면 이미지(예: 도 5의 디스플레이 전면 이미지(510))를 획득할 수 있다.
예를 들어, AR 장치(201)는 도 6에서 설명한 사용자 입력 또는 지정된 이벤트 발생에 기초하여 카메라를 실행하여 전자 장치(101)의 디스플레이 전면 이미지를 촬영하여 디스플레이 전면 이미지를 획득할 수 있다.
920 동작에서, AR 장치(201)는 전자 장치(101)의 디스플레이 전면 이미지를 지문 후보 영역에 기초한 잔존 지문 후보군 데이터로 가공할 수 있다.
일 실시예에 따르면, AR 장치(201)는 디스플레이 전면 이미지에 대해 이미지 처리(예: contrast enhancement)하여 진폭 이미지를 획득하고, 진폭 이미지 내에서 지문의 특징점(예: 선 모양으로 솟아 오른 부분인 융선(ridge), 융선과 융선 사이에 계곡처럼 들어가 있는 부분인 골(valley), 융선이 갈라지는 부분인 분기점(bifucation), 융선이 끝나는 부분인 끝점(ending))을 학습(예: 딥러닝 학습)하여 지문 표현 패턴 또는 지문 형상에 대응하는 지문 후보 영역을 검출 (또는 find)하고 지문 후보 영역의 데이터를 추출할 수 있다. AR 장치(201)는 디스플레이 전면 이미지로부터 검출된 적어도 하나의 지문 후보 영역과 관련된 잔존 지문 후보군 데이터를 구성할 수 있다.
일 실시예에 따르면, 잔존 지문 후보군 데이터는 식별을 위해 부여된 번호 정보, 지문 후보 영역의 특징점 데이터 및 좌표 정보를 포함할 수 있으나, 지문 인증 시 요구되는 다른 정보들을 포함할 수도 있다. 예를 들어, AR 장치(201)는 도 4에서 설명한 <표 1>에 도시된 바와 같이, 각 지문 후보 영역에 번호를 부여하고, 각 지문 후보 영역이 디스플레이 전면 이미지 내에 위치하는 좌표 정보 및 지문 후보 영역의 특징점 데이터를 획득하여 잔존 지문 후보군 데이터를 구성할 수 있다.
930 동작에서, AR 장치(201)는 AR 장치(201)와 연결된 전자 장치(101)의 지문 인증 템플릿(또는 데이터)가 AR 장치(201) 내에 저장되어 있는지 여부를 확인할 수 있다.
일 예를 들어, AR 장치(201)는 전자 장치(101)와 연동하여 잔존 지문 탈취 방지 서비스가 설정된 경우, 전자 장치(101)와 연결 시, 전자 장치(101)로부터 전자 장치(101)에 등록된 지문 인증 템플릿 정보를 통신 모듈(예: 도 2의 통신 모듈(210), 도 4의 AR 통신 모듈(413))을 통해 수신할 수도 있다.
950 동작에서, AR 장치(201)는 전자 장치(101)의 지문 인증 템플릿이 저장되어 있는 경우, 잔존 지문 후보군 데이터를 AR 장치(201)에 저장된 전자 장치(101)의 지문 인증 템플릿과 매칭하여 지문 후보 영역의 인증 유효성을 판단할 수 있다.
일 예를 들어, AR 장치(201)는 각 지문 후보 영역의 특징점 데이터(또는 크롭된 위상 이미지)를 등록된 지문 인증 템플릿의 특징점 간 유사도를 판단하여 유사도 점수를 산출하고, 유사도 점수를 설정된 임계값에 따라 구별하여 지문 후보 영역의 보안 레벨을 결정할 수 있다.
일 실시예에 따르면, AR 장치(201)는 잔존 지문 후보군 데이터의 인증 유효성 판단에 따른 보안 위험도를 평가(예: 보안 레벨)한 매칭 정보를 구성할 수도 있다.
970 동작에서, AR 장치(201)는 전자 장치(101)의 지문 인증 템플릿이 저장되지 않는 경우, 잔존 지문 후보군 데이터를 통신 모듈(예: 도 2의 통신 모듈(210), 도 4의 AR 통신 모듈(413))을 통해 전자 장치(101)로 전송하고, 잔존 지문 후보군 데이터의 유효성 판단을 요청할 수 있다. 980 동작에서, AR 장치(201)는 전자 장치(101)로부터 잔존 지문 후보군 데이터의 유효성 판단에 따른 매칭 정보를 통신 모듈(예: 도 2의 통신 모듈(210), 도 4의 AR 통신 모듈(413))을 통해 수신할 수 있다.
어떤 실시예에 따르면, AR 장치(201)는 잔존 지문 탈취 방지 서비스 설정에 따라 전자 장치(101)의 등록된 지문 인증 템플릿 데이터가 저장되지 않는 경우, 940 동작에 도시된 바와 같이, 전자 장치(101)(또는 서버)로 전자 장치(101)에 등록된 지문 인증 템플릿 정보를 요청할 수도 있다. AR 장치(201)가 요청에 의해 전자 장치(101) 또는 서버로부터 전자 장치(101)의 지문 인증 템플릿을 수신하는 경우 950 동작 및 960 동작으로 진행할 수 도 있다.
960 동작에서, AR 장치(201)는 전자 장치(101)로부터 잔존 지문 후보군 데이터와 관련된 매칭 정보를 통신 모듈(예: 도 2의 통신 모듈(210), 도 4의 AR 통신 모듈(413))을 통해 수신하거나 AR 잔존 지문 판단 모듈(예: 도 8의 AR 잔존 지문 판단 모듈(8113))을 통해 판단한 지문 후보 영역의 매칭 정보(또는 보안 레벨)을 기반으로 전자 장치(101) 디스플레이에 남아있는 잔존 지문의 보안 안내 정보를 AR 서비스로 출력할 수 있다. 보안 안내 정보는 잔존 지문을 제거할 수 있도록 유도하거나, 잔존 지문의 위험을 안내하는 정보일 수 있으며, 잔존 지문의 존재가 없음을 안내하는 정보일 수도 있다.
일 실시예에 따르면, AR 장치(201)는 잔존 지문의 보안 안내 정보를 AR 서비스로 출력하는 정보를 전자 장치(101)와 공유할 수 있다. 전자 장치는 잔존 지문의 보안 안내 정보의 시각화 향상을 위해 디스플레이 화면을 제어하여 블랙 이미지를 표시하거나 디스플레이를 일정 시간 동안 턴 온 할 수 있다.
일 실시예에 따르면, 사용자는 AR 서비스를 통해 출력된 잔존 지문의 보안 안내 정보를 통해 전자 장치의 디스플레이에 남아있는 잔존 지문의 존재를 인식할 수 있으며, 디스플레이에 남아 있는 잔존 지문을 닦아낼 수 있다.
도 10a 및 도 10b는 일 실시예에 따른 전자 장치 디스플레이의 잔존 지문에 대한 지문 탈취 방지를 안내하는 가이드 정보의 예시들을 도시한다.
도10a 및 도 10b를 참조하면, 잔존 지문 탈취 방지 서비스를 지원하는 AR 장치(201) 및 전자 장치(101)는 잔존 지문을 제거할 수 있도록 유도하거나, 잔존 지문의 위험을 안내하는 보안 안내 정보를 AR 서비스로 출력할 수 있다.
예를 들어, AR 장치(201)는 전자 장치(101) 디스플레이(1110)에 남아있는 잔존 지문의 보안 위험도를 평가하여 잔존 지문들이 보통 레벨 또는 위험 레벨로 분석된 경우, <10001>에 도시된 바와 같이, 전자 장치(101)와 연동하여 카메라 프리뷰 영상(예: 전자 장치(101)의 전면(예: 디스플레이 영역)을 촬영하는 영상) 내에서 전자 장치(101) 디스플레이와 중첩되어 위험 레벨로 평가된 잔존 지문이 남아있는 지문 후보 영역에 가상 지문 객체(1120-1) 및 보안 안내 정보(예" 인증 가능한 지문입니다(1120))를 표시하고, 보통 레벨로 평가된 잔존 지문이 남아있는 지문 후보 영역에 가상 지문 객체(1121-1) 및 보안 안내 정보(예: 인증 가능성이 높은 지문입니다(1121))를 AR 서비스로 출력할 수 있다.
다른 예를 들어, AR 장치(201)는 전자 장치(101) 디스플레이(1110)에 남아있는 잔존 지문들이 보안 위험도가 낮음 레벨로 평가된 경우, <10002>에 도시된 바와 같이, 카메라 프리뷰 영상(예: 전자 장치(101)의 전면(예: 디스플레이 영역)을 촬영하는 영상) 내에서 전자 장치(101) 디스플레이와 중첩되어 지문 인증 가능하거나 탈취 가능한 잔존 지문이 존재하지 않음을 안내하는 보안 안내 정보(예: "인증 가능한 지문이 없습니다(1130))을 AR 서비스로 출력할 수 있다.
경우에 따라, 전자 장치(101)는 AR 장치(201)에서 AR 서비스로 정보 제공 시, 시각적 강조를 위해 일정 시간 동안 디스플레이에 블랙 화면이 표시되도록 제어할 수 있다.
본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
본 발명은 다양한 실시예를 참조하여 도시 및 설명되었으나, 본 발명이 정의하는 본 발명의 사상 및 범위를 벗어나지 않는 범위 내에서 형태 및 세부사항의 다양한 변경이 이루어질 수 있음은 당업자에게 자명할 것이다.

Claims (15)

  1. 전자 장치에 있어서,
    디스플레이;
    통신 모듈;
    메모리; 및
    상기 디스플레이, 상기 통신 모듈, 상기 메모리와 동작적으로 연결된 적어도 하나의 프로세서를 포함하고,
    상기 적어도 하나의 프로세서는,
    AR 장치의 카메라에서 촬영한 전자 장치 디스플레이 전면 이미지로부터 획득한 지문 후보 영역에 대응하는 잔존 지문 후보군 데이터를 상기 통신 모듈을 통해 전자 장치와 연결된 상기 AR 장치로부터 수신하고,
    상기 잔존 지문 후보군 데이터와 상기 전자 장치에 등록된 지문 인증 템플릿과 매칭하여 지문 후보 영역의 인증 유효성을 판단하고,
    상기 인증 유효성 결과, 전자 장치 디스플레이에 남아있는 잔존 지문의 보안 위험도를 평가한 보안 레벨을 상기 통신 모듈을 통해 상기 AR 장치로 전송하고,
    상기 디스플레이의 잔존 지문에 대한 보안 안내 정보를 AR 서비스로 출력하도록 제어하는 전자 장치.
  2. 제1항에 있어서,
    지문 인식 센서를 더 포함하고,
    상기 메모리는,
    상기 메모리에 상기 지문 인식 센서를 통해 인식된 생체 정보를 기반으로 인증 성공 또는 인증 실패를 판단하기 위한 기준으로서, 상기 지문 인증 템플릿이 저장된 전자 장치.
  3. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 AR 장치와 연동하여 잔존 지문 탈취 방지 서비스와 관련된 카메라 촬영 이벤트가 감지된 것에 기초하여 상기 디스플레이를 일정 시간 동안 턴 오프하거나, 상기 디스플레이에 블랙 화면이 표시되도록 제어하는 전자 장치.
  4. 제2항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 AR(augmented reality) 장치와 상기 통신 모듈을 통해 무선 통신 연결된 상태에서 상기 AR 장치와 연동하는 잔존 지문 탈취 방지 서비스 실행 이벤트를 검출하도록 더 설정되며,
    상기 AR 장치와 연동하는 잔존 지문 탈취 방지 서비스 실행 이벤트는 상기 통신 모듈을 통해 상기 AR 장치로부터 잔존 지문 탈취 방지 서비스 실행 신호를 수신하는 것에 기초하여 발생되는 전자 장치.
  5. 제4항에 있어서,
    상기 AR 장치와 연동하는 잔존 지문 탈취 방지 서비스 실행 이벤트는
    상기 지문 인식 센서를 통해 지문 인증 시도가 수행되는 것에 기초하여 발생되는 것을 더 포함하는 전자 장치.
  6. 제4항에 있어서,
    상기 AR 장치와 연동하는 잔존 지문 탈취 방지 서비스 실행 이벤트는
    상기 지문 인식 센서를 통해 지문 인증 시도가 설정된 횟수를 초과된 것에 기초하여 발생되는 것을 더 포함하는 전자 장치.
  7. 제4항 내지 제6항 중 어느 하나의 항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 AR 장치와 연동하는 잔존 지문 탈취 방지 서비스 실행 이벤트에 기초하여, 상기 지문 인식 센서의 해상도 정보를 상기 통신 모듈을 통해 상기 AR 장치로 전송하도록 설정된 전자 장치.
  8. 제1항 또는 제2항에 있어서,
    상기 잔존 지문 후보군 데이터는,
    상기 전자 장치의 디스플레이 전면 이미지에 대응하는 진폭 이미지를 기반으로 유효한 지문 패턴을 가지는 지문 후보 영역에 부여된 번호 정보, 상기 지문 후보 영역의 특징점 데이터, 및 상기 지문 후보 영역이 상기 전자 장치의 디스플레이 전면 이미지 내에 위치하는 좌표 정보를 포함하는 전자 장치.
  9. 제1항 또는 제2항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 잔존 지문 후보군 데이터에 포함된 지문 후보 영역의 특징점 데이터와 상기 메모리에 등록된 지문 인증 템플릿의 특징점 간 유사도를 판단하여 유사도 점수를 산출하고,
    상기 산출된 유사도 점수를 설정된 임계값들과 기반으로 구별하여 보안 레벨을 결정하고,
    상기 결정된 보안 레벨을 상기 각 지문 후보 영역에 부여된 번호 및 좌표 정보와 함께 상기 AR 장치로 전송하도록 설정된 전자 장치.
  10. 제1항 또는 제2항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 AR 장치에서 상기 잔존 지문의 보안 안내 정보를 AR 서비스로 제공하는 신호에 반응하여 상기 디스플레이를 일정 시간 동안 턴 오프하거나, 상기 디스플레이에 블랙 화면이 표시되도록 제어하는 전자 장치.
  11. AR 장치에 있어서,
    카메라
    통신 모듈;
    메모리; 및
    상기 카메라, 상기 통신 모듈, 상기 메모리와 동작적으로 연결되는 적어도 하나의 프로세서를 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 카메라를 통해 상기 전자 장치의 디스플레이 전면 이미지를 획득하고,
    상기 디스플레이 전면 이미지를 가공하여 전자 장치의 디스플레이에 남아있는 잔존 지문과 관련된 지문 후보 영역에 기초한 잔존 지문 후보군 데이터를 구성하고,
    상기 메모리에 상기 전자 장치의 지문 인증 템플릿이 저장되어 있는 경우, 상기 잔존 지문 후보군 데이터와 상기 전자 장치의 지문 인증 템플릿과 매칭하여 지문 후보 영역의 인증 유효성을 판단하고,
    상기 인증 유효성 결과, 상기 지문 후보 영역의 보안 레벨에 따라 전자 장치의 디스플레이에 남아있는 잔존 지문에 대한 보안 위험을 안내하는 보안 안내 정보를 AR 서비스로 제공하고,
    상기 메모리에 상기 전자 장치의 지문 인증 템플릿이 저장되지 않는 경우, 상기 잔존 지문 후보군 데이터를 상기 통신 모듈을 통해 상기 전자 장치로 전송하도록 설정된 AR 장치.
  12. 제11항에 있어서,
    상기 카메라는 광학식 센서, UV 카메라 또는 RGB 카메라 중 적어도 하나 또는 이들을 결합한 카메라인 것을 특징으로 하는 AR 장치.
  13. 제11항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 전자 장치의 디스플레이 전면 이미지에 이미지 처리하여 진폭 이미지를 생성하고,
    상기 진폭 이미지로부터 지문의 특징점을 갖는 지문 후보 영역을 검출하고, 검출된 지문 후보 영역에 번호를 부여하고, 지문 부호 영역이 디스플레이 전면 이미지에 위치하는 좌표 정보를 계산하고, 지문 후보 영역의 특징점 데이터를 추출하여 상기 잔존 지문 후보군 데이터를 구성하는 것을 특징으로 하는 AR 장치.
  14. 제11항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 메모리에 상기 전자 장치의 지문 인증 템플릿이 저장되어 있는 경우, 기 잔존 지문 후보군 데이터에 포함된 지문 후보 영역의 특징점 데이터와 상기 메모리에 등록된 지문 인증 템플릿의 특징점 간 유사도를 판단하여 유사도 점수를 산출하고, 상기 산출된 유사도 점수를 설정된 임계값들과 기반으로 구별하여 보안 레벨을 결정하고, 상기 결정된 보안 레벨에 기초하여 상기 보안 안내 정보를 AR 서비스로 제공하는 것을 특징으로 하는 AR 장치.
  15. 제11항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 메모리에 전자 장치의 지문 인증 템플릿이 저장되지 않은 경우, 전자 장치로 잔존 지문 후보군 데이터를 전송하지 않고, 전자 장치 또는 서버로 전자 장치의 지문 인증 템플릿의 전송을 요청하고, 상기 전자 장치 또는 상기 서버로부터 상기 전자 장치의 지문 인증 템플릿을 수신하도록 더 설정된 AR 장치.
PCT/KR2023/010514 2022-07-25 2023-07-20 외부 장치를 이용한 지문 탈취 방지 방법 및 전자 장치 WO2024025254A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/470,869 US20240029477A1 (en) 2022-07-25 2023-09-20 Electronic device and method for preventing fingerprint theft using external device

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2022-0091693 2022-07-25
KR20220091693 2022-07-25
KR10-2022-0116464 2022-09-15
KR1020220116464A KR20240014415A (ko) 2022-07-25 2022-09-15 외부 장치를 이용한 지문 탈취 방지 방법 및 전자 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/470,869 Continuation US20240029477A1 (en) 2022-07-25 2023-09-20 Electronic device and method for preventing fingerprint theft using external device

Publications (1)

Publication Number Publication Date
WO2024025254A1 true WO2024025254A1 (ko) 2024-02-01

Family

ID=89706842

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/010514 WO2024025254A1 (ko) 2022-07-25 2023-07-20 외부 장치를 이용한 지문 탈취 방지 방법 및 전자 장치

Country Status (1)

Country Link
WO (1) WO2024025254A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06162175A (ja) * 1992-11-25 1994-06-10 Fujitsu Ltd 指紋照合処理装置
KR100333138B1 (ko) * 2000-04-29 2002-04-19 안준영 광학식 지문입력장치의 잔류지문 판별방법
KR101059886B1 (ko) * 2003-06-13 2011-08-29 소니 주식회사 화상 대조장치 및 화상 대조방법
KR20120042684A (ko) * 2010-10-23 2012-05-03 김남현 지문 정보를 통한 데이터 송/수신 장치 및 시스템
WO2015085434A1 (en) * 2013-12-12 2015-06-18 Kaba Ilco Inc. Augmented reality advanced security authentication methodologies

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06162175A (ja) * 1992-11-25 1994-06-10 Fujitsu Ltd 指紋照合処理装置
KR100333138B1 (ko) * 2000-04-29 2002-04-19 안준영 광학식 지문입력장치의 잔류지문 판별방법
KR101059886B1 (ko) * 2003-06-13 2011-08-29 소니 주식회사 화상 대조장치 및 화상 대조방법
KR20120042684A (ko) * 2010-10-23 2012-05-03 김남현 지문 정보를 통한 데이터 송/수신 장치 및 시스템
WO2015085434A1 (en) * 2013-12-12 2015-06-18 Kaba Ilco Inc. Augmented reality advanced security authentication methodologies

Similar Documents

Publication Publication Date Title
WO2019143034A1 (en) Sensor and electronic apparatus for fingerprint recognition
WO2022065722A1 (ko) 외부 물체에 대한 알림을 디스플레이하는 전자 장치 및 그 방법
WO2019164290A1 (en) Method of biometric authenticating using plurality of camera with different field of view and electronic apparatus thereof
WO2020071823A1 (en) Electronic device and gesture recognition method thereof
WO2022059968A1 (ko) 증강 현실 콘텐츠를 제공하는 전자 장치 및 그의 동작 방법
WO2022092517A1 (ko) 디스플레이를 포함하는 웨어러블 전자 장치, 그 디스플레이를 제어하는 방법, 및 그 웨어러블 전자 장치 및 케이스를 포함하는 시스템
WO2024025254A1 (ko) 외부 장치를 이용한 지문 탈취 방지 방법 및 전자 장치
WO2022098204A1 (ko) 가상현실 서비스를 제공하는 전자 장치 및 방법
WO2020159320A1 (ko) 밀리미터 웨이브를 이용한 객체 인식 방법 및 이를 지원하는 전자 장치
WO2024085453A1 (ko) 전자 장치, 전자 장치에서 외부 객체를 이용한 지문 등록 및 인증 방법
WO2024025179A1 (ko) 생체 정보에 기반한 외부 표시 장치와의 연결 방법 및 전자 장치
WO2024043519A1 (ko) 복수의 디스플레이들을 제어하는 방법 및 이를 지원하는 전자 장치
WO2024029690A1 (ko) Xr 장치, 전자 장치 및 그 제어 방법
WO2022014873A1 (ko) 인증을 수행하는 방법 및 이를 지원하는 전자 장치
WO2023008810A1 (ko) 전자 장치에서 udc 기반 지문 인식 및 촬영을 제공하는 방법 및 장치
WO2023229162A1 (ko) 3차원 형상 확인에 기반한 지문 정보 획득 방법 및 그 전자 장치
WO2023027292A1 (ko) 전자 장치 및 이를 이용한 지문 인식 가이드 제공 방법
WO2023080338A1 (ko) 복수의 카메라들을 이용해 얼굴 인증을 수행하는 전자 장치 및 방법
WO2024101747A1 (ko) 카메라를 포함하는 웨어러블 전자 장치 및 이의 동작 방법
WO2024106901A1 (ko) 모바일 결제를 지원하는 헤드 마운트 장치, 그의 동작 방법 및 전자 장치
WO2024043468A1 (ko) 객체들을 이용하여 인증 패턴을 등록 및 해제하는 장치 및 방법
WO2024075947A1 (ko) 객체 검색을 위한 이미지 쿼리를 생성하는 전자 장치 및 전자 장치의 동작 방법
WO2024058458A1 (ko) 웹페이지를 적응적으로 표시하는 전자 장치, 방법, 및 비일시적 컴퓨터 판독가능 저장 매체
WO2022092582A1 (ko) 전자 장치 및 전자 장치에서 모바일 신분증 제공 방법
WO2024019293A1 (ko) 렌즈리스 카메라를 포함하는 웨어러블 전자 장치 및 이를 이용한 이미지 처리 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23846913

Country of ref document: EP

Kind code of ref document: A1