WO2024019293A1 - 렌즈리스 카메라를 포함하는 웨어러블 전자 장치 및 이를 이용한 이미지 처리 방법 - Google Patents

렌즈리스 카메라를 포함하는 웨어러블 전자 장치 및 이를 이용한 이미지 처리 방법 Download PDF

Info

Publication number
WO2024019293A1
WO2024019293A1 PCT/KR2023/006565 KR2023006565W WO2024019293A1 WO 2024019293 A1 WO2024019293 A1 WO 2024019293A1 KR 2023006565 W KR2023006565 W KR 2023006565W WO 2024019293 A1 WO2024019293 A1 WO 2024019293A1
Authority
WO
WIPO (PCT)
Prior art keywords
iris
image
electronic device
processor
wearable electronic
Prior art date
Application number
PCT/KR2023/006565
Other languages
English (en)
French (fr)
Inventor
서동일
강병권
김용관
박재홍
성운탁
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220107936A external-priority patent/KR20240011587A/ko
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2024019293A1 publication Critical patent/WO2024019293A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes

Definitions

  • Various embodiments of the present disclosure relate to a wearable electronic device including a lensless camera and an image processing method using the same.
  • Wearable electronic devices are taking on various forms, such as glasses-type augmented reality (AR) glasses or head-mounted displays (HMDs).
  • a glasses-type wearable electronic device may display an image on the glass (eg, lens) of the glasses-type wearable electronic device to implement augmented reality.
  • an image can be displayed on the glass.
  • User authentication may be required to use such wearable electronic devices, and examples of user authentication may include user authentication using biometric information such as the user's fingerprint information, face information, and iris information.
  • biometric information such as the user's fingerprint information, face information, and iris information.
  • the wearable electronic device uses a plurality of cameras to obtain the user's iris information (e.g., iris information of the left eye and/or right eye), By comparing the user's iris information stored in the wearable electronic device, the user can be authenticated.
  • the volume and weight of the wearable electronic device may increase, which may reduce the wearing comfort, and the camera may enter the user's field of view.
  • a camera may include a phase mask instead of a lens.
  • a wearable electronic device generates a specific pattern of the user's iris using a phase mask included in the camera, acquires an iris image of the user based on the generated specific pattern, and provides the user's iris image as the user's authentication information. You can save it.
  • a wearable electronic device When performing user authentication, may restore the user's iris image acquired through a camera based on a specific pattern of the phase mask.
  • a wearable electronic device includes a display, a phase mask, and an image sensor corresponding to the user's eye region, a camera for photographing the eye region, and at least one light source to the eye region. It includes an optical output unit that outputs light, a memory, and a processor operatively connected to the display, the camera, the optical output unit, and the memory, wherein the processor detects an input for registering the user's iris.
  • the light output through the at least one light source and reflected from the iris passes through the phase mask to form a specific pattern, and based on the formed specific pattern, It may be set to acquire a reference image for the iris, and to store the obtained reference image for the iris in the memory.
  • a wearable electronic device includes a display, a phase mask, and an image sensor corresponding to the user's eye region, a camera for photographing the eye region, and at least one light source to the eye region. It includes an optical output unit that outputs light, a memory, and a processor operatively connected to the display, the camera, the optical output unit, and the memory, wherein the processor, when it is detected that the wearable electronic device is worn, Outputting light through at least one light source, and acquiring a first iris image for the iris based on a specific pattern formed when light output through the at least one light source and reflected from the iris passes through the phase mask; , restoring the reference image for the iris stored in the memory into a second iris image using the specific pattern of the phase mask, comparing the acquired first iris image with the restored second iris image, and Based on the comparison result, user authentication may be performed.
  • An image processing method of a wearable electronic device including a lensless camera includes the operation of outputting light through at least one light source when wearing of the wearable electronic device is detected, the at least one light source An operation of acquiring a first iris image for the iris based on a specific pattern formed when light output through a light source and reflected from the iris passes through the phase mask, and applying a reference image of the iris stored in a memory to the phase mask An operation of restoring a second iris image using the specific pattern, an operation of comparing the obtained first iris image and the restored second iris image, and an operation of performing user authentication based on the comparison result. may include.
  • the camera includes a phase mask instead of a lens, thereby reducing the volume and weight of the wearable electronic device.
  • the wearable electronic device When performing user authentication, restores the user's iris image using a specific pattern of the phase mask based on the distance information between the phase mask and the iris, thereby Not only can precision increase, but the accuracy of user authentication can also increase. Additionally, since a specific pattern is required to restore the image of the user's iris, the security of biometric information (e.g., iris image) can be improved.
  • biometric information e.g., iris image
  • FIG. 1 is a block diagram of an electronic device in a network environment, according to various embodiments.
  • FIG. 2 is a perspective view schematically showing the configuration of a wearable electronic device according to various embodiments.
  • FIG. 3A is an exploded perspective view of a wearable electronic device and a camera, according to various embodiments.
  • 3B is a perspective view of a camera, according to various embodiments.
  • FIG. 4 is a block diagram illustrating a wearable electronic device according to various embodiments.
  • FIG. 5 is a flowchart illustrating a method of registering the iris of a user of a wearable electronic device including a lensless camera, according to various embodiments.
  • FIG. 6 is a flowchart illustrating a user authentication method using the iris of a user of a wearable electronic device including a lensless camera, according to various embodiments.
  • FIG. 7 is a flowchart illustrating a user authentication method using the periphery of the user's eye of a wearable electronic device including a lensless camera, according to various embodiments.
  • FIG. 8 is a diagram illustrating a method of displaying an indicator for guiding the direction of iris gaze, according to various embodiments.
  • FIG. 9 is a flowchart illustrating a method of tracking the gaze of a user of a wearable electronic device including a lensless camera, according to various embodiments.
  • FIG. 1 is a block diagram of an electronic device 101 in a network environment 100, according to various embodiments.
  • the electronic device 101 communicates with the electronic device 102 through a first network 198 (e.g., a short-range wireless communication network) or a second network 199. It is possible to communicate with at least one of the electronic device 104 or the server 108 through (e.g., a long-distance wireless communication network). According to one embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108.
  • a first network 198 e.g., a short-range wireless communication network
  • a second network 199 e.g., a long-distance wireless communication network.
  • the electronic device 101 may communicate with the electronic device 104 through the server 108.
  • the electronic device 101 includes a processor 120, a memory 130, an input module 150, an audio output module 155, a display module 160, an audio module 170, and a sensor module ( 176), interface 177, connection terminal 178, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196 , or may include an antenna module 197.
  • at least one of these components eg, the connection terminal 178) may be omitted or one or more other components may be added to the electronic device 101.
  • some of these components e.g., sensor module 176, camera module 180, or antenna module 197) are integrated into one component (e.g., display module 160). It can be.
  • the processor 120 for example, executes software (e.g., program 140) to operate at least one other component (e.g., hardware or software component) of the electronic device 101 connected to the processor 120. It can be controlled and various data processing or calculations can be performed. According to one embodiment, as at least part of data processing or computation, the processor 120 stores instructions or data received from another component (e.g., sensor module 176 or communication module 190) in volatile memory 132. The commands or data stored in the volatile memory 132 can be processed, and the resulting data can be stored in the non-volatile memory 134.
  • software e.g., program 140
  • the processor 120 stores instructions or data received from another component (e.g., sensor module 176 or communication module 190) in volatile memory 132.
  • the commands or data stored in the volatile memory 132 can be processed, and the resulting data can be stored in the non-volatile memory 134.
  • the processor 120 includes the main processor 121 (e.g., a central processing unit or an application processor) or an auxiliary processor 123 that can operate independently or together (e.g., a graphics processing unit, a neural network processing unit ( It may include a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor).
  • the main processor 121 e.g., a central processing unit or an application processor
  • an auxiliary processor 123 e.g., a graphics processing unit, a neural network processing unit ( It may include a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor.
  • the electronic device 101 includes a main processor 121 and a secondary processor 123
  • the secondary processor 123 may be set to use lower power than the main processor 121 or be specialized for a designated function. You can.
  • the auxiliary processor 123 may be implemented separately from the main processor 121 or as part of it.
  • the auxiliary processor 123 may, for example, act on behalf of the main processor 121 while the main processor 121 is in an inactive (e.g., sleep) state, or while the main processor 121 is in an active (e.g., application execution) state. ), together with the main processor 121, at least one of the components of the electronic device 101 (e.g., the display module 160, the sensor module 176, or the communication module 190) At least some of the functions or states related to can be controlled.
  • co-processor 123 e.g., image signal processor or communication processor
  • may be implemented as part of another functionally related component e.g., camera module 180 or communication module 190. there is.
  • the auxiliary processor 123 may include a hardware structure specialized for processing artificial intelligence models.
  • Artificial intelligence models can be created through machine learning. For example, such learning may be performed in the electronic device 101 itself on which the artificial intelligence model is performed, or may be performed through a separate server (e.g., server 108).
  • Learning algorithms may include, for example, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but It is not limited.
  • An artificial intelligence model may include multiple artificial neural network layers.
  • Artificial neural networks include deep neural network (DNN), convolutional neural network (CNN), recurrent neural network (RNN), restricted boltzmann machine (RBM), belief deep network (DBN), bidirectional recurrent deep neural network (BRDNN), It may be one of deep Q-networks or a combination of two or more of the above, but is not limited to the examples described above.
  • artificial intelligence models may additionally or alternatively include software structures.
  • the memory 130 may store various data used by at least one component (eg, the processor 120 or the sensor module 176) of the electronic device 101. Data may include, for example, input data or output data for software (e.g., program 140) and instructions related thereto.
  • Memory 130 may include volatile memory 132 or non-volatile memory 134.
  • the program 140 may be stored as software in the memory 130 and may include, for example, an operating system 142, middleware 144, or application 146.
  • the input module 150 may receive commands or data to be used in a component of the electronic device 101 (e.g., the processor 120) from outside the electronic device 101 (e.g., a user).
  • the input module 150 may include, for example, a microphone, mouse, keyboard, keys (eg, buttons), or digital pen (eg, stylus pen).
  • the sound output module 155 may output sound signals to the outside of the electronic device 101.
  • the sound output module 155 may include, for example, a speaker or a receiver. Speakers can be used for general purposes such as multimedia playback or recording playback.
  • the receiver can be used to receive incoming calls. According to one embodiment, the receiver may be implemented separately from the speaker or as part of it.
  • the display module 160 can visually provide information to the outside of the electronic device 101 (eg, a user).
  • the display module 160 may include, for example, a display, a hologram device, or a projector, and a control circuit for controlling the device.
  • the display module 160 may include a touch sensor configured to detect a touch, or a pressure sensor configured to measure the intensity of force generated by the touch.
  • the audio module 170 can convert sound into an electrical signal or, conversely, convert an electrical signal into sound. According to one embodiment, the audio module 170 acquires sound through the input module 150, the sound output module 155, or an external electronic device (e.g., directly or wirelessly connected to the electronic device 101). Sound may be output through the electronic device 102 (e.g., speaker or headphone).
  • the electronic device 102 e.g., speaker or headphone
  • the sensor module 176 detects the operating state (e.g., power or temperature) of the electronic device 101 or the external environmental state (e.g., user state) and generates an electrical signal or data value corresponding to the detected state. can do.
  • the sensor module 176 includes, for example, a gesture sensor, a gyro sensor, an air pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, It may include a temperature sensor, humidity sensor, or light sensor.
  • the interface 177 may support one or more designated protocols that can be used to connect the electronic device 101 directly or wirelessly with an external electronic device (eg, the electronic device 102).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card interface
  • audio interface audio interface
  • connection terminal 178 may include a connector through which the electronic device 101 can be physically connected to an external electronic device (eg, the electronic device 102).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 can convert electrical signals into mechanical stimulation (e.g., vibration or movement) or electrical stimulation that the user can perceive through tactile or kinesthetic senses.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 can capture still images and moving images.
  • the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 188 can manage power supplied to the electronic device 101.
  • the power management module 188 may be implemented as at least a part of, for example, a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the electronic device 101.
  • the battery 189 may include, for example, a non-rechargeable primary battery, a rechargeable secondary battery, or a fuel cell.
  • Communication module 190 is configured to provide a direct (e.g., wired) communication channel or wireless communication channel between electronic device 101 and an external electronic device (e.g., electronic device 102, electronic device 104, or server 108). It can support establishment and communication through established communication channels. Communication module 190 operates independently of processor 120 (e.g., an application processor) and may include one or more communication processors that support direct (e.g., wired) communication or wireless communication.
  • processor 120 e.g., an application processor
  • the communication module 190 may be a wireless communication module 192 (e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (e.g., : LAN (local area network) communication module, or power line communication module) may be included.
  • a wireless communication module 192 e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module
  • GNSS global navigation satellite system
  • wired communication module 194 e.g., : LAN (local area network) communication module, or power line communication module
  • the corresponding communication module is a first network 198 (e.g., a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 199 (e.g., legacy It may communicate with an external electronic device 104 through a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-generation communication network
  • the wireless communication module 192 uses subscriber information (e.g., International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 196 to communicate within a communication network such as the first network 198 or the second network 199.
  • subscriber information e.g., International Mobile Subscriber Identifier (IMSI)
  • IMSI International Mobile Subscriber Identifier
  • the wireless communication module 192 may support 5G networks after 4G networks and next-generation communication technologies, for example, NR access technology (new radio access technology).
  • NR access technology provides high-speed transmission of high-capacity data (eMBB (enhanced mobile broadband)), minimization of terminal power and access to multiple terminals (mMTC (massive machine type communications)), or high reliability and low latency (URLLC (ultra-reliable and low latency). -latency communications)) can be supported.
  • the wireless communication module 192 may support high frequency bands (eg, mmWave bands), for example, to achieve high data rates.
  • the wireless communication module 192 uses various technologies to secure performance in high frequency bands, for example, beamforming, massive array multiple-input and multiple-output (MIMO), and full-dimensional multiplexing. It can support technologies such as input/output (FD-MIMO: full dimensional MIMO), array antenna, analog beam-forming, or large scale antenna.
  • the wireless communication module 192 may support various requirements specified in the electronic device 101, an external electronic device (e.g., electronic device 104), or a network system (e.g., second network 199).
  • the wireless communication module 192 supports Peak data rate (e.g., 20 Gbps or more) for realizing eMBB, loss coverage (e.g., 164 dB or less) for realizing mmTC, or U-plane latency (e.g., 164 dB or less) for realizing URLLC.
  • Peak data rate e.g., 20 Gbps or more
  • loss coverage e.g., 164 dB or less
  • U-plane latency e.g., 164 dB or less
  • the antenna module 197 may transmit or receive signals or power to or from the outside (eg, an external electronic device).
  • the antenna module 197 may include an antenna including a radiator made of a conductor or a conductive pattern formed on a substrate (eg, printed circuit board (PCB)).
  • the antenna module 197 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for the communication method used in the communication network, such as the first network 198 or the second network 199, is connected to the plurality of antennas by, for example, the communication module 190. can be selected. Signals or power may be transmitted or received between the communication module 190 and an external electronic device through the at least one selected antenna.
  • other components eg, radio frequency integrated circuit (RFIC) may be additionally formed as part of the antenna module 197.
  • RFIC radio frequency integrated circuit
  • the antenna module 197 may form a mmWave antenna module.
  • a mmWave antenna module includes a printed circuit board, an RFIC disposed on or adjacent to a first side (e.g., bottom side) of the printed circuit board and capable of supporting a designated high-frequency band (e.g., mmWave band); And a plurality of antennas (e.g., array antennas) disposed on or adjacent to the second side (e.g., top or side) of the printed circuit board and capable of transmitting or receiving signals in the designated high frequency band. can do.
  • a mmWave antenna module includes a printed circuit board, an RFIC disposed on or adjacent to a first side (e.g., bottom side) of the printed circuit board and capable of supporting a designated high-frequency band (e.g., mmWave band); And a plurality of antennas (e.g., array antennas) disposed on or adjacent to the second side (e.g., top or side)
  • peripheral devices e.g., bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • signal e.g. commands or data
  • commands or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199.
  • Each of the external electronic devices 102 or 104 may be of the same or different type as the electronic device 101.
  • all or part of the operations performed in the electronic device 101 may be executed in one or more of the external electronic devices 102, 104, or 108.
  • the electronic device 101 may perform the function or service instead of executing the function or service on its own.
  • one or more external electronic devices may be requested to perform at least part of the function or service.
  • One or more external electronic devices that have received the request may execute at least part of the requested function or service, or an additional function or service related to the request, and transmit the result of the execution to the electronic device 101.
  • the electronic device 101 may process the result as is or additionally and provide it as at least part of a response to the request.
  • cloud computing distributed computing, mobile edge computing (MEC), or client-server computing technology can be used.
  • the electronic device 101 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 104 may include an Internet of Things (IoT) device.
  • Server 108 may be an intelligent server using machine learning and/or neural networks.
  • the external electronic device 104 or server 108 may be included in the second network 199.
  • the electronic device 101 may be applied to intelligent services (e.g., smart home, smart city, smart car, or healthcare) based on 5G communication technology and IoT-related technology.
  • Electronic devices may be of various types.
  • Electronic devices may include, for example, portable communication devices (e.g., smartphones), computer devices, portable multimedia devices, portable medical devices, cameras, wearable devices, or home appliances.
  • Electronic devices according to embodiments of this document are not limited to the above-described devices.
  • first, second, or first or second may be used simply to distinguish one element from another, and may be used to distinguish such elements in other respects, such as importance or order) is not limited.
  • One (e.g. first) component is said to be “coupled” or “connected” to another (e.g. second) component, with or without the terms “functionally” or “communicatively”.
  • any of the components can be connected to the other components directly (e.g. wired), wirelessly, or through a third component.
  • module used in various embodiments of this document may include a unit implemented in hardware, software, or firmware, and is interchangeable with terms such as logic, logic block, component, or circuit, for example. It can be used as A module may be an integrated part or a minimum unit of the parts or a part thereof that performs one or more functions. For example, according to one embodiment, the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present document are one or more instructions stored in a storage medium (e.g., built-in memory 136 or external memory 138) that can be read by a machine (e.g., electronic device 101). It may be implemented as software (e.g., program 140) including these.
  • a processor e.g., processor 120
  • the one or more instructions may include code generated by a compiler or code that can be executed by an interpreter.
  • a storage medium that can be read by a device may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' only means that the storage medium is a tangible device and does not contain signals (e.g. electromagnetic waves), and this term refers to cases where data is semi-permanently stored in the storage medium. There is no distinction between temporary storage cases.
  • Computer program products are commodities and can be traded between sellers and buyers.
  • the computer program product may be distributed in the form of a machine-readable storage medium (e.g. compact disc read only memory (CD-ROM)), or through an application store (e.g. Play Store TM ) or on two user devices (e.g. It can be distributed (e.g. downloaded or uploaded) directly between smart phones) or online.
  • a machine-readable storage medium e.g. compact disc read only memory (CD-ROM)
  • an application store e.g. Play Store TM
  • two user devices e.g. It can be distributed (e.g. downloaded or uploaded) directly between smart phones) or online.
  • at least a portion of the computer program product may be at least temporarily stored or temporarily created in a machine-readable storage medium, such as the memory of a manufacturer's server, an application store's server, or a relay server.
  • each component (e.g., module or program) of the above-described components may include a single or plural entity, and some of the plurality of entities may be separately placed in other components. there is.
  • one or more of the components or operations described above may be omitted, or one or more other components or operations may be added.
  • multiple components eg, modules or programs
  • the integrated component may perform one or more functions of each component of the plurality of components in the same or similar manner as those performed by the corresponding component of the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component may be executed sequentially, in parallel, iteratively, or heuristically, or one or more of the operations may be executed in a different order, or omitted. Alternatively, one or more other operations may be added.
  • FIG. 2 is a perspective view schematically showing the configuration of a wearable electronic device 200 according to various embodiments.
  • the wearable electronic device 200 of FIG. 2 may include the embodiments described in the electronic device 101 of FIG. 1 .
  • the wearable electronic device 200 may include glasses-type augmented reality (AR) glasses or smart glasses.
  • AR augmented reality
  • a wearable electronic device 200 includes a bridge 201, a first rim 210, a second rim 220, and a first end piece. , 230), a second end piece 240, a first temple (temple, 250), and/or a second temple (260).
  • the bridge 201 may connect the first rim 210 and the second rim 220.
  • the bridge 201 may be positioned above the user's nose when the user wears the wearable electronic device 200.
  • the bridge 201 may separate the first rim 210 and the second rim 220 based on the user's nose.
  • the bridge 201 may include a camera module 203, a first gaze tracking camera 205, a second gaze tracking camera 207, and/or an audio module 209.
  • the camera module 203 captures the front (e.g., -y-axis direction) of the user (e.g., the user of the wearable electronic device 200). and image data can be obtained.
  • the camera module 203 may capture an image corresponding to the user's field of view (FoV) or measure the distance to a subject (eg, an object).
  • the camera module 203 may include an RGB camera, a high resolution (HR) camera, and/or a photo video (PV) camera.
  • the camera module 203 may include a color camera with an auto focus (AF) function and an optical image stabilization (OIS) function to acquire high-definition images.
  • AF auto focus
  • OIS optical image stabilization
  • the first gaze tracking camera 205 and the second gaze tracking camera 207 may check the user's gaze.
  • the first gaze tracking camera 205 and the second gaze tracking camera 207 may capture the user's eyes in a direction opposite to the capturing direction of the camera module 203.
  • the first eye tracking camera 205 may partially photograph the user's left eye
  • the second eye tracking camera 207 may partially photograph the user's right eye.
  • the first gaze tracking camera 205 and the second gaze tracking camera 207 may detect the user's pupils (eg, left eye and right eye) and track the gaze direction.
  • the tracked gaze direction can be used to move the center of a virtual image including a virtual object in response to the gaze direction.
  • the first eye tracking camera 205 and/or the second eye tracking camera 207 may be, for example, an EOG sensor (electro-oculography or electrooculogram), coil system, dual Purkinje system, bright pupil systems, or dark pupil systems.
  • EOG sensor electronic-oculography or electrooculogram
  • coil system dual Purkinje system
  • bright pupil systems or dark pupil systems.
  • dark pupil systems The user's gaze can be tracked using at least one of the following methods.
  • the audio module 209 (eg, the audio module 170 in FIG. 1) may be disposed between the first gaze tracking camera 205 and the second gaze tracking camera 207.
  • the audio module 209 can convert the user's voice into an electrical signal or convert an electrical signal into sound.
  • Audio module 209 may include a microphone.
  • the first rim 210 and the second rim 220 may form a frame (eg, eyeglasses frame) of the wearable electronic device 200 (eg, AR glasses).
  • the first rim 210 may be disposed in a first direction (eg, x-axis direction) of the bridge 201.
  • the first rim 210 may be placed in a position corresponding to the user's left eye.
  • the second rim 220 may be disposed in a second direction (eg, -x-axis direction) of the bridge 201, which is opposite to the first direction (eg, x-axis direction).
  • the second rim 220 may be placed in a position corresponding to the user's right eye.
  • the first rim 210 and the second rim 220 may be made of metal and/or a non-conductive material (eg, polymer).
  • the first rim 210 may surround and support at least a portion of the first glass 215 (eg, a first display) disposed on the inner peripheral surface.
  • the first glass 215 may be positioned in front of the user's left eye.
  • the second rim 220 may surround and support at least a portion of the second glass 225 (eg, a second display) disposed on the inner peripheral surface.
  • the second glass 225 may be positioned in front of the user's right eye.
  • a user of the wearable electronic device 200 can view the foreground (eg, actual image) of an external object (eg, subject) through the first glass 215 and the second glass 225.
  • the wearable electronic device 200 can implement augmented reality by displaying a virtual image overlaid on the foreground (eg, real image) of an external object.
  • the first glass 215 and the second glass 225 may include a projection type transparent display.
  • the first glass 215 and the second glass 225 are each transparent plates (or transparent screens) and may form a reflective surface, and the image generated by the wearable electronic device 200 is reflected (e.g., reflected) through the reflective surface. It may be total internal reflection and enter the user's left and right eyes.
  • the first glass 215 may include an optical waveguide that transmits light generated from a light source of the wearable electronic device 200 to the user's left eye.
  • the optical waveguide may be formed of glass, plastic, or polymer material, and may include a nanopattern (e.g., a polygonal or curved grating structure) formed on the inside or surface of the first glass 215. ), or mesh structure).
  • the optical waveguide may include at least one of at least one diffractive element (eg, a diffractive optical element (DOE), a holographic optical element (HOE)) or a reflective element (eg, a reflective mirror).
  • DOE diffractive optical element
  • HOE holographic optical element
  • the optical waveguide may guide display light emitted from the light source to the user's eyes using at least one diffractive element or reflective element included in the optical waveguide.
  • the diffractive element may include an input/output optical member and the reflective element may include total internal reflection (TIR).
  • TIR total internal reflection
  • light emitted from a light source may be guided along an optical path through an input optical member to an optical waveguide, and light traveling inside the optical waveguide may be guided toward the user's eyes through an output optical member.
  • the second glass 225 may be implemented in substantially the same way as the first glass 215 .
  • the first glass 215 and the second glass 225 are, for example, a liquid crystal display (LCD), a digital mirror device (DMD), or silicon. It may include a liquid crystal on silicon (LCoS) device, an organic light emitting diode (OLED), or a micro light emitting diode (micro LED).
  • LCD liquid crystal display
  • DMD digital mirror device
  • micro LED micro light emitting diode
  • the wearable electronic device 200 includes the first glass 215. and a light source that irradiates light to the screen output area of the second glass 225.
  • the wearable electronic device 200 can provide a virtual image of good quality to the user even if it does not include a separate light source.
  • the first rim 210 may include a first microphone 211, a first recognition camera 213, a first light emitting device 217, and/or a first display module 219. You can.
  • the second rim 220 may include a second microphone 221, a second recognition camera 223, a second light emitting device 227, and/or a second display module 229.
  • the first light-emitting device 217 and the first display module 219 are included in the first end piece 230, and the second light-emitting device 227 and the second display module 229 are included in the first end piece 230. 2 May be included in the end piece 240.
  • the first microphone 211 and/or the second microphone 221 may receive the voice of the user of the wearable electronic device 200 and convert it into an electrical signal.
  • the first recognition camera 213 and/or the second recognition camera 223 may recognize the surrounding space of the wearable electronic device 200.
  • the first recognition camera 213 and/or the second recognition camera 223 may detect a user's gesture within a certain distance (eg, a certain space) of the wearable electronic device 200.
  • the first recognition camera 213 and/or the second recognition camera 223 uses GS (GS) in which the rolling shutter (RS) phenomenon can be reduced in order to detect and track the user's quick hand movements and/or fine movements of the fingers. may include a global shutter) camera.
  • the wearable electronic device 200 uses the first gaze tracking camera 205, the second gaze tracking camera 207, the first recognition camera 213, and/or the second recognition camera 223 to detect the user's left eye.
  • the wearable electronic device 200 may detect the eye corresponding to the primary eye and/or the secondary eye based on the user's gaze direction with respect to an external object or virtual object.
  • the first light-emitting device 217 and/or the second light-emitting device 227 include a camera module 203, a first eye tracking camera 205, a second eye tracking camera 207, and a second eye tracking camera 207. It may emit light to increase the accuracy of the first recognition camera 213 and/or the second recognition camera 223.
  • the first light-emitting device 217 and/or the second light-emitting device 227 are used to increase accuracy when photographing the user's eyes using the first eye tracking camera 205 and/or the second eye tracking camera 207. It can be used as an auxiliary tool.
  • the first light-emitting device 217 and/or the second light-emitting device 227 may be used in a dark environment or in various situations. It can be used as an auxiliary means when it is not easy to detect an object (e.g., a subject) to be photographed due to mixing of light sources and reflected light.
  • the first light emitting device 217 and/or the second light emitting device 227 may include, for example, an LED, an IR LED, or a xenon lamp.
  • the first display module 219 and/or the second display module 229 emits light and uses the first glass 215 and/or the second glass 225 to display the user's left eye. and/or may be delivered to the right eye.
  • the first glass 215 and/or the second glass 225 may display various image information using light emitted through the first display module 219 and/or the second display module 229.
  • the first display module 219 and/or the second display module 229 may include the display module 160 of FIG. 1 .
  • the wearable electronic device 200 displays the foreground of an external object and an image emitted through the first display module 219 and/or the second display module 229 through the first glass 215 and/or the second display module 229. 2 can be displayed by overlapping them through the glass 225.
  • the first end piece 230 may be coupled to a portion (eg, x-axis direction) of the first rim 210.
  • the second end piece 240 may be coupled to a portion (eg, -x-axis direction) of the second rim 220.
  • the first light emitting device 217 and the first display module 219 may be included in the first end piece 230.
  • the second light emitting device 227 and the second display module 229 may be included in the second end piece 240 .
  • the first end piece 230 may connect the first rim 210 and the first temple 250.
  • the second end piece 240 may connect the second rim 220 and the second temple 260.
  • the first temple 250 may be operatively connected to the first end piece 230 using the first hinge portion 255.
  • the first hinge portion 255 may be rotatable so that the first temple 250 is folded or unfolded with respect to the first rim 210 .
  • the first temple 250 may extend, for example, along the left side of the user's head.
  • the distal portion (e.g., in the y-axis direction) of the first temple 250 may be bent to be supported by, for example, the user's left ear when the user wears the wearable electronic device 200.
  • the second temple 260 may be operatively connected to the second end piece 240 using the second hinge portion 265.
  • the second hinge portion 265 may be rotatable so that the second temple 260 is folded or unfolded with respect to the second rim 220.
  • the second temple 260 may extend, for example, along the right side of the user's head.
  • the distal portion (e.g., in the y-axis direction) of the second temple 260 may be bent to be supported by, for example, the user's right ear when the user wears the wearable electronic device 200.
  • the first temple 250 includes a first printed circuit board 251, a first sound output module 253 (e.g., the sound output module 155 of FIG. 1), and/or a first sound output module 253. It may include a battery 257 (e.g., battery 189 in FIG. 1).
  • the second temple 260 includes a second printed circuit board 261, a second audio output module 263 (e.g., the audio output module 155 of FIG. 1), and/or a second battery 267 (e.g., It may include the battery 189 of FIG. 1).
  • the first printed circuit board 251 and/or the second printed circuit board 261 include a processor 120, a memory 130, an interface 177, and/or a wireless device disclosed in FIG. 1.
  • Various electronic components such as the communication module 192 (eg, at least some of the components included in the electronic device 101 of FIG. 1) may be disposed.
  • the processor may include, for example, one or more of a central processing unit, an application processor, a graphics processing unit, an image signal processor, a sensor hub processor, or a communication processor.
  • the first printed circuit board 251 and/or the second printed circuit board 261 may include, for example, a printed circuit board (PCB), a flexible PCB (FPCB), or a rigid-flexible PCB (RFPCB). there is.
  • the first printed circuit board 251 and/or the second printed circuit board 261 include a main PCB, a slave PCB partially overlapping with the main PCB, and/or an interface between the main PCB and the slave PCB. It may include an interposer substrate.
  • the first printed circuit board 251 and/or the second printed circuit board 261 are connected to other components (e.g., a camera module 203, a first eye tracking camera) using an electrical path such as an FPCB and/or a cable.
  • the wearable electronic device 200 may include only one of the first printed circuit board 251 and the second printed circuit board 261.
  • the first audio output module 253 and/or the second audio output module 263 may transmit audio signals to the user's left and/or right ears.
  • the first sound output module 253 and/or the second sound output module 263 may include, for example, a piezo speaker (eg, bone conduction speaker) that transmits an audio signal without a speaker hole.
  • the wearable electronic device 200 may include only one of the first sound output module 253 and the second sound output module 263.
  • the first battery 257 and/or the second battery 267 uses a power management module (e.g., the power management module 188 of FIG. 1) to manage the first printed circuit board 251. ) and/or power may be supplied to the second printed circuit board 261.
  • the first battery 257 and/or the second battery 267 may include, for example, a non-rechargeable primary battery, a rechargeable secondary battery, or a fuel cell.
  • the wearable electronic device 200 may include only one of the first battery 257 and the second battery 267.
  • the wearable electronic device 200 may include a sensor module (eg, sensor module 176 of FIG. 1).
  • the sensor module may generate an electrical signal or data value corresponding to the internal operating state of the wearable electronic device 200 or the external environmental state.
  • Sensor modules include, for example, gesture sensors, gyro sensors, barometric pressure sensors, magnetic sensors, acceleration sensors, grip sensors, color sensors, IR (infrared) sensors, biometric sensors (e.g. HRM sensors), temperature sensors, humidity sensors, Alternatively, it may further include at least one of an illumination sensor.
  • the sensor module may be configured to include various biometric sensors (or biometric sensors), such as an olfactory sensor (e-nose sensor), an electromyography sensor (EMG sensor), an electroencephalogram sensor (EEG sensor), an electrocardiogram sensor (ECG sensor), or an iris sensor.
  • biometric sensors such as an olfactory sensor (e-nose sensor), an electromyography sensor (EMG sensor), an electroencephalogram sensor (EEG sensor), an electrocardiogram sensor (ECG sensor), or an iris sensor.
  • biometric sensors such as an olfactory sensor (e-nose sensor), an electromyography sensor (EMG sensor), an electroencephalogram sensor (EEG sensor), an electrocardiogram sensor (ECG sensor), or an iris sensor.
  • EMG sensor electromyography sensor
  • EEG sensor electroencephalogram sensor
  • ECG sensor electrocardiogram sensor
  • iris sensor an iris sensor
  • the wearable electronic device 200 has been described as a device that displays augmented reality using the first glass 215 and the second glass 225, but it is not limited thereto. It may be a device that displays virtual reality (VR).
  • VR virtual reality
  • FIG. 3A is an exploded perspective view of a wearable electronic device 300 and a camera 340 according to various embodiments.
  • a wearable electronic device 300 (e.g., the wearable electronic device 200 of FIG. 2) according to various embodiments includes a frame 310 (e.g., the first limb 210 of FIG. 2, the second 2 rim 220, and bridge 201), window member 330 (e.g., first glass 215, second glass 225 in FIG. 2), support member 320 (e.g., in FIG. 2) First temple 250, second temple 260), display module (not shown) (e.g., first display module 219, second display module 229 of FIG. 2), camera 340 (e.g. : first gaze tracking camera 205, second gaze tracking camera 207 in FIG. 2), light emitting unit (not shown) (e.g., first light emitting device 217, second light emitting device 227 in FIG. 2) ), and a processor (not shown) (eg, processor 120 of FIG. 1).
  • a frame 310 e.g., the first limb 210 of FIG. 2, the second 2 rim 220, and bridge 201
  • the window member 330, the support member 320, the display module (not shown), the camera 340, and the light emitting unit (not shown) may be provided in pairs to correspond to the user's left eye and right eye.
  • the window member 330 includes a first window member 330-1 (e.g., the first glass 215 in FIG. 2) and a second window member 330-2 (e.g., the second window member 330-2 in FIG. 2). It may include glass 225), and the support member 320 includes a first support member 320-1 (e.g., the first temple 250 in FIG. 2) and a second support member 320-2 ( Example: may include a second temple 260 of FIG.
  • the camera 340 may include a first camera 340-1 (e.g., the first eye tracking camera 205 of FIG. 2), and a second It may include a camera 340-2 (e.g., the second eye tracking camera 207 of FIG. 2).
  • the configuration of some of the components described above may be different from the configuration corresponding to the left eye and the configuration corresponding to the right eye.
  • the wearable electronic device 300 is shown as an electronic device in the form of glasses, but the technical idea disclosed in this document includes a display and various types of electronic devices that can be mounted on the user's head. It can be applied to electronic devices including head mounted displays (HMD).
  • HMD head mounted displays
  • the frame 310 may support the window member 330.
  • the frame 310 may be made of synthetic resin material. By fitting the window member 330 into the opening formed in the frame 310, the frame 310 can support the window member 330.
  • the support member 320 may be rotatably connected to the frame 310.
  • the support member 320 may include a first support member 320-1 and a second support member 320-2.
  • the first support member 320-1 may be connected to the frame 310 on the left side (e.g., the x-axis direction in FIG. 3A) with respect to the frame 310
  • the second support member 320-2 may be connected to the frame 310.
  • the support member 320 may be fixedly installed on the frame.
  • first support member 320-1 connected to the left side of the frame 310 and the second support member 320-2 connected to the right side of the frame 310 may be formed to be connected to each other.
  • the support members connected to both sides of the frame 310 form a ring shape and can be worn by fitting onto the user's head.
  • the support member 320 can be modified into various forms that allow the electronic device 300 to be worn on the user's face.
  • the support member 320 may be formed to fit over the user's ear.
  • the wearable electronic device 300 may be worn on the user's face in such a way that the support member 320 connected to the frame 310 is draped over the user's ears.
  • Support member 320 can rotate relative to frame 310 .
  • the support member 320 may be rotated to approach the frame 310, thereby reducing the volume of the wearable electronic device 300.
  • the window member 330 may include a first window member 330-1 corresponding to the user's left eye and a second window member 330-2 corresponding to the user's right eye. there is.
  • Window member 330 may be supported on frame 310.
  • the window member 330 may be fitted into the opening formed in the frame 310.
  • the AR image emitted from the display module may be projected on the window member 330.
  • a waveguide (or optical waveguide) may be formed in at least a portion of the window member 330.
  • the waveguide (or optical waveguide) can guide the AR image emitted from the display module to the user's eyes.
  • the waveguide or optical waveguide
  • the display module may output an AR image generated by a processor.
  • the display module When the display module generates an AR image and projects it on the window member 330, the object included in the AR image appears in the visible light (L) incident from the front (e.g., -y-axis direction in FIG. 3A) through the window member 330.
  • L visible light
  • the display module may be a very small projector (e.g., micro projector, pico projector).
  • the display module may be a laser scanning display (LSD), digital micro-mirror display (DMD), and liquid crystal on silicon (LCoS).
  • the display module may be a transparent display.
  • the light emitting element included in the display module may be directly disposed on the window member 330.
  • the light emitting elements may be arranged at designated intervals on the frame 310 (eg, a plurality of light emitting elements may be arranged at designated intervals on each of the first rim 210 and the second rim 220).
  • the display module may be a variety of display devices for implementing AR.
  • the camera 340 may include a first camera 340-1 corresponding to the user's left eye and a second camera 340-2 corresponding to the user's right eye.
  • the camera 340 may be a camera 340 for photographing the user's eyes.
  • Camera 340 may be, for example, the eye tracking cameras 205 and 207 of FIG. 2 .
  • the camera 340 may be used to perform user authentication by photographing the user's eyes. Additionally, the camera 340 can be used to photograph the user's eyes in real time and check eye movement.
  • the camera 340 may be placed in an area adjacent to the user's nose while the wearable electronic device 300 is worn.
  • the camera 340 may be placed in an area located below the user's gaze direction looking straight ahead.
  • the camera 340 is disposed in an area located below the direction in which the user gazes forward, it can capture images of the user's eyes from below the user's eyes.
  • the camera 340 may be inserted into the camera hole 351 formed in the support portion 350 of the frame 310.
  • the support units 350 may be formed in pairs so that they can come into contact with the user's nose while the wearable electronic device 300 is worn.
  • the support portion 350 includes a first support portion 350-1 located on the left side (e.g., x-axis direction) with respect to the center of the frame 310, and a first support portion 350-1 located on the right side (e.g., -x-axis direction) with respect to the center of the frame 310. ) may include a second support portion (350-2) located at.
  • the support unit 350 can support the frame 310 on the user's nose.
  • the support portion 350 may be formed integrally with the frame 310. In another embodiment, the support portion 350 may be configured separately from the frame 310 and coupled to the frame 310.
  • the camera hole 351 may be a hole formed in the support portion 350.
  • the camera hole 351 may include a first camera hole 351-1 formed in the first support part 350-1 and a second camera hole 351-2 formed in the second support part 350-2. You can.
  • the camera hole 351 may be formed to be inclined at a predetermined angle with respect to the frame 310 so that the camera 340 can be aimed at the user's eyes. When the camera 340 is inserted and placed in the camera hole 351 formed at an angle with respect to the frame 310, the camera 340 can be aimed at the user's eyes.
  • the camera 340 may be inserted into the camera hole 351 formed in the support portion 350 from the front (eg, -y-axis direction) of the wearable electronic device 300.
  • the first camera 340-1 may be inserted into the first camera hole 351-1
  • the second camera 340-2 may be inserted into the second camera hole 351-2.
  • the first camera hole 351-1 may be formed in the frame 310 in the first support part 350-1 or in a portion adjacent to the first support part 350-1.
  • the second camera hole 351-2 may be formed in the second support part 350-2 or the frame 310 adjacent to the second support part 350-2.
  • the camera 340 is disposed in at least a partial area of a bridge (e.g., bridge 201 in FIG. 2) or an end piece (e.g., first end piece 370- 1) (e.g., the first end piece 230 of FIG. 2) and/or disposed on the second end piece 370-2 (e.g., the second end piece 240), and/or on the rim (e.g., Areas 360-1, 360- where the first rim 210 or the second rim 220 of FIG. 2) and the team (e.g., the first team 250 and the second team 260 of FIG. 2) are connected. 2) can be placed.
  • a bridge e.g., bridge 201 in FIG. 2
  • an end piece e.g., first end piece 370- 1
  • the second end piece 370-2 e.g., the second end piece 240
  • the rim e.g., Areas 360-1, 360- where the first rim 210 or the second rim 220 of FIG. 2 and the
  • the wearable electronic device 300 may include components for fixing the camera 340 so that the camera 340 does not move in the camera hole 351.
  • a camera cover and a buffering member may be inserted into the camera hole 351 along with the camera 340.
  • the camera cover, camera 340, and buffer member may be inserted into the camera hole 351 in that order.
  • the camera cover, buffer member, and camera 340 may be inserted into the camera hole 351 in that order.
  • the camera cover may have a shape that is naturally connected to the outline of the support portion 350 or the outline of the frame 310 when inserted into the camera hole 351. At least a portion of the camera cover (e.g., a portion visible to the outside when inserted into the camera hole 351) may be formed of the same material as the support portion 350 and/or the frame 310. Accordingly, when the camera cover is inserted, the portion where the camera hole 351 is formed may not feel different from other portions.
  • the shock absorbing member may be formed of a material capable of elastic deformation.
  • the buffer member is partially deformed and can support the camera 340 placed in the camera hole 351.
  • Figure 3B is a perspective view of camera 340, according to various embodiments.
  • the camera 340 may include a substrate 341, an image sensor 342, a filter 343, and/or a phase mask 344.
  • the configuration of the camera 340 mentioned above is only an example, and the components included in the camera 340 disclosed in this document are not limited to the above configuration.
  • the substrate 341 may be, for example, a printed circuit board (PCB).
  • the substrate 341 stores image information generated by the image sensor 342 of the camera 340 in a wearable electronic device (e.g., the electronic device 101 in FIG. 1 and the wearable electronic device 300 in FIGS. 2 and 3A). It may be electrically connected to the substrate on which the processor is placed so that it can be transferred to the processor (eg, processor 120 of FIG. 1).
  • the board 341 of the camera 340 and the board on which the processor is placed may be electrically connected through a flexible printed circuit board (FPCB).
  • the processor supports a support member (e.g., the first support member 320-1 in FIG.
  • a second support member 320-2 (e.g., It may be placed on a printed circuit board (e.g., the first printed circuit board 251 and the second printed circuit board 261 of Figure 2) built into the second temple 260 of Figure 2.
  • Frame 310 A first connection member (e.g., flexible printed circuit board) (not shown) disposed inside and extending to the camera hole 351 into which the camera 340 is inserted and connected to the printed circuit board embedded in the support member 320.
  • a second connecting member (e.g., a flexible printed circuit board) (not shown) may be connected.
  • the camera 351 inserted into the camera hole 351 is electrically connected to the first connecting member, and the first connecting member is connected to the first connecting member. 2
  • the camera 340 can be electrically connected to the printed circuit board on which the processor is placed.
  • the printed circuit board on which the processor is placed and the camera 340 are made of glass (e.g., FIG. 2 or the first window member 330-1 and the second window member 330-2 of FIG. 3A). You can.
  • the image sensor 342 may convert incident light into an electrical signal through the phase mask 344 and the filter 343.
  • the image sensor 342 may include a plurality of pixels, and each pixel may include a light receiving element that converts incident light into an electrical signal.
  • the image sensor 342 may be made of a semiconductor device, such as a charged coupled device (CCD) or a complementary metal-oxide semiconductor (CMOS).
  • CCD charged coupled device
  • CMOS complementary metal-oxide semiconductor
  • the image sensor 342 may be disposed on the substrate 341 and electrically connected to the substrate 341.
  • the image sensor 342 may generate image information by converting incident light into an electrical signal.
  • the image sensor 342 may receive reflected light (e.g., infrared light) from an area including the user's eye and/or the periphery of the eye to obtain an image of the eye and/or the periphery of the eye. You can.
  • reflected light e.g., infrared light
  • a filter 343 may be disposed on the image sensor 342.
  • the filter 343 can transmit only rays of a specific wavelength among incident light.
  • Light that passes through the phase mask 344 from the outside and enters the filter 343 may include light of various wavelengths.
  • natural light or external light may simultaneously enter the filter 343 along with light output through at least one light source and reflected from the user's eyeball.
  • the filter 343 may be an IR bandpass filter.
  • Light output through at least one light source may be a specific wavelength (e.g., about 850 nm, about 940 nm) that does not include sunlight among infrared light.
  • the filter 343 may transmit light of a specific wavelength.
  • a phase mask 344 may be disposed on the filter 343.
  • the phase mask 344 may be arranged to be spaced 345 away from the filter 343 .
  • the phase mask 344 may be output through at least one light source and form a specific pattern (eg, point spread function; PSF) while passing light reflected from the iris.
  • PSF point spread function
  • the formed specific pattern can be used to restore the user's iris image when performing user authentication or tracking the user's gaze.
  • the specific pattern of the phase mask 344 may have the characteristic of changing its position in the x- and y-axis directions and changing its size magnification value in the z-axis direction, depending on the location of the point light source. You can.
  • the size of the phase mask 344 may vary depending on the pixel size of the image sensor 344 and/or the exposure time of the image sensor 344.
  • changing the size of the phase mask 344 may mean that the size (eg, magnification) of the pattern of the phase mask 344 changes.
  • the amount of light entering may be determined.
  • the field of view of the camera 450 is determined, and the size of the phase mask 344 also varies depending on the determined field of view, so the phase mask 344
  • the size of may vary depending on the exposure time of the image sensor 344.
  • FIG. 4 is a block diagram 400 illustrating a wearable electronic device 401 according to various embodiments.
  • a wearable electronic device 401 (e.g., the electronic device 101 of FIG. 1, the wearable electronic device 300 of FIGS. 2 and 3A) includes a wireless communication circuit 410 (e.g., the electronic device 101 of FIG. 1).
  • Communication module 190 includes memory 420 (e.g., memory 130 in FIG. 1), sensor circuit 430 (e.g., sensor module 176 in FIG. 1), display 440 (e.g., FIG. 1) display module 160), camera 450 (e.g., camera module 180 of FIG. 1), optical output unit 460, and/or processor 470 (e.g., processor 120 of FIG. 1) may include.
  • the wireless communication circuit 410 (e.g., the communication module 190 of FIG. 1) is connected to at least one wearable electronic device 401 (e.g., a glasses-type wearable electronic device) under the control of the processor 470.
  • Direct (e.g. wired) communication channel or wireless communication channel between external electronic devices can support the establishment of and communication through established communication channels.
  • the memory 420 (e.g., memory 130 of FIG. 1) is a program (e.g., program 140 of FIG. 1) for processing and control of the processor 470 of the wearable electronic device 401. ), an operating system (OS) (e.g., the operating system 142 in FIG. 1), various applications, and/or storing input/output data, and controls the overall operation of the wearable electronic device 401. You can save the program.
  • the memory 420 may store various setting information required when processing functions related to various embodiments of the present disclosure in the wearable electronic device 401.
  • the memory 420 may store instructions for registering the user's biometric information, instructions for performing user authentication, and/or instructions for tracking the user's gaze.
  • the memory 420 may store an image of the user's iris (or an image of the periphery of the eye) acquired through the camera 450 as user authentication information.
  • the memory 420 may store a specific pattern (eg, point spread function; PSF) of the phase mask 344 generated based on receiving light output through at least one light source and reflected from the iris.
  • PSF point spread function
  • the specific pattern of the phase mask 344 may be used to restore an image of the iris when performing user authentication or tracking the user's gaze.
  • the sensor circuit 430 (e.g., the sensor module 176 in FIG. 1) measures a physical quantity or detects the state of the wearable electronic device 401 and generates an electrical signal or data value corresponding thereto. can do.
  • the sensor circuit 430 may include, for example, at least one of a pressure sensor, a proximity sensor, a biometric sensor, an acceleration sensor, a geomagnetic sensor, a gyro sensor, a magnetic sensor, and a gesture sensor.
  • the sensor circuit 430 may enable a user to use the wearable electronic device 401 through at least one sensor (e.g., a pressure sensor, a proximity sensor, a biometric sensor, an acceleration sensor, a geomagnetic sensor, and/or a gyro sensor). ) and/or the wearing state of the wearable electronic device 401 can be detected.
  • a sensor e.g., a pressure sensor, a proximity sensor, a biometric sensor, an acceleration sensor, a geomagnetic sensor, and/or a gyro sensor.
  • sensor circuit 430 may include a distance sensor.
  • the sensor circuit 430 may obtain distance information between the image sensor 342 and the user's eye (or iris) using a distance sensor.
  • the distance sensor may include at least one of a time of flight (ToF) sensor, a laser AF sensor, and a ranging sensor.
  • ToF time of flight
  • the display 440 may display an image under the control of the processor 470.
  • the display 440 may be made of glass (e.g., the first glass 215 and the second glass 225 of FIG. 2) or a window member (e.g., the first window member 330-1 of FIG. 3A, the second glass 225 of FIG. 2). 2 It may be a window member (330-2)).
  • camera 450 may be camera 340 of FIG. 3B.
  • the camera 450 may include a substrate 341, an image sensor 342, a filter 343, and/or a phase mask 344.
  • the light output unit 460 may output light through at least one light source.
  • the output light may be structured light that has a certain pattern (e.g., a pattern in which light spots form a specific shape, a grid pattern, or a concentric circle pattern).
  • the light output unit 460 may output light (e.g., light of a specific wavelength (e.g., about 850 nm, about 940 nm) that does not include sunlight) to the user's eyes.
  • processor 470 may include, for example, a microcontroller unit (MCU) and may include an operating system (OS) or embedded software.
  • MCU microcontroller unit
  • OS operating system
  • a number of hardware components connected to the processor 470 can be controlled by running the program.
  • the processor 470 may control a number of hardware components according to instructions (eg, program 140 of FIG. 1) stored in the memory 420.
  • the processor 470 may control the light output unit 460 to output light through at least one light source.
  • Light output through at least one light source and reflected from the iris may form a specific pattern (eg, point spread function; PSF) while passing through the phase mask 344.
  • An image sensor eg, the image sensor 342 in FIG. 3B
  • the processor 470 may store the acquired reference image of the iris in the memory 420 .
  • the processor 470 may include a specific pattern of the formed phase mask 344, distance information between each pixel constituting the image sensor 342 and each pixel constituting a reference image for the iris, and/or distance information. Pattern information of the phase mask 344 according to can be stored in the memory 420.
  • the processor 470 may acquire a first iris image of the iris when wearing the wearable electronic device 401 is detected.
  • the processor 470 may acquire a first iris image for the iris based on a specific pattern formed when light output through at least one light source and reflected from the iris passes through the phase mask 344. .
  • the processor 470 may display an indicator on a portion of the display 440 to guide the direction of iris gaze to increase the accuracy of iris recognition.
  • the processor 470 may restore the reference image for the iris stored in the memory 420 into a second iris image using a specific pattern of the phase mask 344.
  • the reference image for the iris stored in the memory 420 may be a raw image.
  • the processor 470 may restore the second iris image by applying a specific pattern of the phase mask 344 to the raw image of the iris.
  • the processor 470 may compare the acquired first iris image and the restored second iris image, and perform user authentication (eg, iris authentication) based on the comparison result.
  • the processor 470 may acquire an image of the periphery of the eye through the image sensor 342. For example, light output through at least one light source and reflected from the periphery of the eye may form a specific pattern while passing through the phase mask 344.
  • the processor 470 may acquire an image of the periphery of the eye based on a specific pattern formed while passing through the phase mask 344 being incident on the image sensor 342 .
  • the processor 470 may obtain a three-dimensional first image of the periphery of the eye using the acquired image using a specific pattern of the phase mask 344.
  • the processor 470 may restore the reference image of the periphery of the eye stored in the memory 420 into a three-dimensional second image based on a specific pattern of the phase mask 344.
  • the processor 470 may compare the shape of the periphery of the eye in the first three-dimensional image with the shape of the periphery of the eye in the second three-dimensional image, and perform user authentication based on the comparison result.
  • the processor 470 may acquire an image of the iris through the image sensor 342 and measure the distance between the image sensor 342 and the iris.
  • the processor 470 may obtain a reference distance between the image sensor 342 and the iris based on the reference image of the iris stored in the memory 420.
  • the processor 470 provides location information of the pixel corresponding to the position of the center of the iris identified in the image of the iris obtained according to the measured distance and the iris identified in the reference image of the iris according to the obtained reference distance.
  • the user's gaze can be tracked by comparing the location information of the pixel corresponding to the location of the center and confirming that the location of the center of the iris changes.
  • the processor 470 may acquire pupil center information, pupil size information, and/or iris size information, and correct the user's gaze position based on this.
  • a wearable electronic device 401 includes a display 440, a phase mask 344, and an image sensor 342 corresponding to the user's eye region, and a camera 450 that photographs the eye region. ), a light output unit 460 that outputs light to the eye area through at least one light source, a memory 420, and the display 440, the camera 4540, the light output unit 460, and and a processor 470 operatively connected to the memory 420, wherein the processor 470 outputs light through the at least one light source when an input for registering the user's iris is detected, Light output through the at least one light source and reflected from the iris passes through the phase mask 344 to form a specific pattern, and based on the formed specific pattern, obtain a reference image for the iris, and It may be set to store the obtained reference image for the iris in the memory 420.
  • the processor 470 may be set to acquire a reference image for the iris based on a specific pattern formed while passing through the phase mask 344 being incident on the image sensor 342. You can.
  • the processor 470 may be configured to map a specific pattern of the formed phase mask 344 to the user and store the mapped pattern in the memory 420 .
  • the processor 470 may be set to store distance information between each pixel constituting the image sensor 3432 and each pixel constituting a reference image for the iris in the memory 420. You can.
  • the reference image for the iris stored in the memory 420 may be a raw image.
  • a wearable electronic device 401 includes a display 440, a phase mask 344, and an image sensor 342 corresponding to the user's eye region, and a camera 450 that photographs the eye region. ), a light output unit 460 that outputs light to the eye area through at least one light source, a memory 420, and the display 440, the camera 450, the light output unit 460, and and a processor 470 operatively connected to the memory 420, wherein the processor 470 outputs light through the at least one light source when the wearable electronic device 401 is detected, Based on a specific pattern formed when light output through the at least one light source and reflected from the iris passes through the phase mask 344, a first iris image for the iris is acquired, and stored in the memory 420.
  • the processor 470 may be set to display an indicator for guiding the gaze direction of the iris on a portion of the display 440 when wearing of the wearable electronic device 401 is detected. there is.
  • the processor 470 may be set to restore the second iris image into a high-resolution image within a specified speed using the specific pattern of the phase mask 344.
  • the processor 470 performs learning to restore the reference image for the iris to the second iris image using a specific pattern of the phase mask 344 using an artificial intelligence method, and may be set to restore the second iris image based on the learned learning model.
  • the processor 470 may configure the phase mask 344 according to first distance information between each pixel constituting the image sensor 342 and each pixel constituting the first iris image. 1 pattern and comparing the second pattern of the phase mask 344 according to second distance information between each pixel constituting the image sensor 342 and each pixel constituting the second iris image, and the first It may be set to perform the user authentication based on a result of comparing the pattern and the second pattern.
  • the processor 470 acquires an image of the periphery of the eye through the image sensor 342, and applies the acquired image of the periphery of the eye to the specific image of the phase mask 344. Based on the pattern, a three-dimensional first image of the periphery of the eye is acquired, and a reference image of the periphery of the eye stored in the memory 420 is obtained based on the specific pattern of the phase mask 344. , restoring a three-dimensional second image, comparing the shape of the periphery of the eyeball in the three-dimensional first image with the shape of the periphery of the eyeball in the three-dimensional second image, and the comparison result Based on this, it may be set to perform second user authentication.
  • the processor 470 acquires an image of the iris through the image sensor 342 and determines the distance between the image sensor 342 and the iris. Measure and obtain a reference distance between the image sensor 342 and the iris based on the reference image for the iris stored in the memory 420, and obtain a reference distance between the image sensor 342 and the iris in the obtained image for the iris according to the measured distance. First location information of a pixel corresponding to a first location with respect to the center of the iris identified and second location information of a pixel corresponding to a second location with respect to the center of the iris identified in the reference image according to the obtained reference distance. It may be set to track the user's gaze by comparing location information and, based on the comparison result, confirming that the location of the center of the iris changes.
  • the processor 470 uses the specific pattern of the phase mask 344 to restore the acquired image of the iris to a low-resolution image at a speed exceeding a specified speed, and may be set to track the user's gaze based on a low-resolution image restored at a speed exceeding the specified speed.
  • FIG. 5 is a flowchart 500 illustrating a method of registering the iris of a user of a wearable electronic device 401 including a lensless camera, according to various embodiments.
  • the processor e.g., processor 470 of FIG. 4 of the wearable electronic device (e.g., wearable electronic device 401 of FIG. 4) detects an input for registering the user's iris in operation 510. When this happens, light can be output through at least one light source.
  • the wearable electronic device 401 may include a plurality of light sources, where the plurality of light sources correspond to a first limb (e.g., the first limb 210 in FIG. 2) and a second limb (e.g., the first limb 210 in FIG. 2). It may be arranged at designated intervals on each of the second limbs 220).
  • the processor 470 controls the light output unit (e.g., the light output unit 460 in FIG. 4) to display the first limb 210 and the second limb 210.
  • Light may be output through at least one light source among a plurality of light sources arranged at designated intervals on each of the two rims 220.
  • light output through at least one light source may include light of a specific wavelength (eg, about 850 nm, about 940 nm) that does not include sunlight.
  • a specific wavelength eg, about 850 nm, about 940 nm
  • the processor 470 generates a specific pattern in operation 520 by allowing light output through at least one light source and reflected from the iris to pass through a phase mask (e.g., phase mask 344 in FIG. 3B). You can.
  • the processor 470 may acquire a reference image for the iris based on the generated specific pattern in operation 530.
  • phase mask 344 can receive light reflected from the iris.
  • Light received by the phase mask 344 may form a specific pattern (eg, point spread function (PSF)) while passing through the phase mask 344.
  • An image sensor eg, the image sensor 342 in FIG. 3B
  • the processor 470 may store the acquired reference image of the iris in a memory (eg, memory 420 of FIG. 4) in operation 540.
  • the processor 470 may further store a specific pattern of the formed phase mask 344 in the memory 420.
  • the processor 470 may map a specific pattern of the formed phase mask 344 and user information and store them in the memory 420 .
  • the processor 470 may store a specific pattern of the phase mask 344 for each user in the memory 420.
  • the processor 470 stores distance information between each pixel constituting the image sensor 342 and each pixel constituting the reference image for the iris, and pattern information of the phase mask 344 according to the distance information. It can be saved at (420).
  • obtaining and storing a reference image of the user's iris has been described, but the present invention is not limited thereto.
  • the processor 470 may obtain and store a reference image of the periphery of the user's eye.
  • the reference image for the iris stored in memory 420 may be a raw image for the iris.
  • the reference image for the iris stored in the memory 420 is a raw image, and a specific pattern (eg, reference PSF pattern) can be used to restore the raw image. Since a specific pattern is required to restore a raw image, it is impossible to determine what kind of image the raw image is until the raw image is restored using a specific pattern. Accordingly, even if the raw image of the iris is hacked, the raw image of the iris cannot be restored without a specific pattern, thereby improving the security of user authentication.
  • FIG. 6 is a flowchart 600 illustrating a user authentication method using the iris of a user of a wearable electronic device 401 including a lensless camera, according to various embodiments.
  • the processor e.g., processor 470 of FIG. 4 of the wearable electronic device (e.g., the wearable electronic device 401 of FIG. 4) detects that the wearable electronic device 401 is worn in operation 610. When this happens, light can be output through at least one light source.
  • the processor 470 may detect at least one sensor (e.g., a pressure sensor, a proximity sensor, a biometric sensor, an acceleration sensor, a geomagnetic sensor, and /or gyro sensor), it is possible to detect whether the user is wearing the wearable electronic device 401 and/or the wearing state of the wearable electronic device 401.
  • a sensor e.g., a pressure sensor, a proximity sensor, a biometric sensor, an acceleration sensor, a geomagnetic sensor, and /or gyro sensor
  • the processor 470 controls the light output unit (e.g., the light output unit 460 of FIG. 4) to Through at least one light source among a plurality of light sources arranged at specified intervals on each of the first limb (e.g., the first limb 210 of FIG. 2) and the second limb (e.g., the second limb 220 of FIG. 2).
  • Light e.g., light of a specific wavelength that does not include sunlight (e.g., about 850 nm, about 940 nm)) can be output.
  • the processor 470 performs operation 620 based on a specific pattern formed as light output through at least one light source and reflected from the iris passes through a phase mask (e.g., phase mask 344 in FIG. 3B).
  • a phase mask e.g., phase mask 344 in FIG. 3B.
  • light reflected from the iris may form a specific pattern (eg, point spread function; PSF) while passing through the phase mask 344.
  • An image sensor eg, the image sensor 342 in FIG. 3B
  • the processor 470 may display an indicator for guiding the direction of iris gaze on a portion of the display (eg, display 440 of FIG. 4). For example, when performing iris recognition, the processor 470 may display an indicator to guide the direction of iris gaze and allow the user to look at the indicator to increase the accuracy of iris recognition.
  • the indicator for guiding the iris gaze direction may include at least one of a specific point, a specific shape (eg, a square or other shape), a shadow, an animation, an emoticon, and/or an icon.
  • the processor 470 converts a reference image for the iris stored in a memory (e.g., memory 420 of FIG. 4) into a second iris image using a specific pattern of the phase mask 344 in operation 630. It can be restored.
  • the reference image for the iris stored in the memory 420 may be a raw image.
  • the processor 470 may restore the second iris image by applying a specific pattern of the phase mask 344 to the raw image of the iris.
  • the operation of restoring the reference image for the iris stored in the memory 420 into the second iris image using a specific pattern of the phase mask 344 is performed at low speed (e.g., within about 1 second) and at high resolution. This may be an operation to restore an image (e.g., an image with a resolution of 640x640).
  • the processor 470 uses artificial intelligence methods, such as machine learning (e.g., deep learning or neural network algorithms) to detect the user's iris.
  • the reference image for can be restored as the second iris image.
  • the processor 470 may learn to restore the reference image of the iris in the memory 420 into a second iris image using a specific pattern of the phase mask 344 using an artificial intelligence method.
  • the time eg, computation time
  • restore a high-resolution image at low speed can be shortened.
  • the processor 470 may compare the obtained first iris image and the restored second iris image in operation 640 and perform user authentication (eg, iris authentication) based on the comparison result.
  • user authentication eg, iris authentication
  • information on the distance between each pixel constituting the image sensor 342 and the iris may be previously stored in the memory 420.
  • the sensor circuit 430 may include a distance sensor, and may obtain distance information between the image sensor 342 and the user's iris using the distance sensor.
  • information on the size of the eyeball may be previously stored in the memory 420.
  • the eye size information may include statistically analyzed eye size information of an average person.
  • the processor 470 may obtain distance information between the image sensor 342 and the user's iris based on comparing the eye size information stored in the memory 420 with the user's eye size information.
  • the processor 470 configures the first pattern of the phase mask 344 and the image sensor ( The second pattern of the phase mask 344 may be compared according to the second distance information between each pixel constituting 342) and each pixel constituting the second iris image.
  • the processor 470 may perform user authentication (eg, iris authentication) based on a result of comparing the first pattern and the second pattern. For example, if the matching score (eg, matching rate or similarity) of the first pattern and the second pattern exceeds a specified score, the processor 470 may determine that user authentication is successful. If the matching score (eg, matching rate or similarity) of the first pattern and the second pattern is less than or equal to a specified score, the processor 470 may determine that user authentication has failed.
  • the matching score eg, matching rate or similarity
  • FIG. 7 is a flowchart 700 illustrating a user authentication method using the periphery of the user's eye of a wearable electronic device 401 including a lensless camera, according to various embodiments.
  • the processor e.g., processor 470 of FIG. 4 of a wearable electronic device (e.g., wearable electronic device 401 of FIG. 4) uses an image sensor (e.g., image sensor of FIG. 3b). (342)), an image of the periphery of the eye can be obtained.
  • an image sensor e.g., image sensor of FIG. 3b. (342)
  • the processor 470 controls the light output unit (e.g., the light output unit 460 of FIG. 4) to output light (e.g., light of a specific wavelength that does not include sunlight) through at least one light source. : Approximately 850nm, approximately 940nm)) can be output.
  • Light output through at least one light source and reflected from the periphery of the eye may form a specific pattern while passing through a phase mask (eg, phase mask 344 in FIG. 3B).
  • the processor 470 may acquire an image of the periphery of the eye based on a specific pattern formed while passing through the phase mask 344 being incident on an image sensor (eg, the image sensor 342 in FIG. 3B).
  • the processor 470 may acquire the acquired image of the periphery of the eye as a three-dimensional first image of the periphery of the eye based on a specific pattern of the phase mask 344 in operation 720. .
  • the processor 470 converts a reference image of the periphery of the eye stored in memory (e.g., memory 420 of FIG. 4) into a three-dimensional image based on a specific pattern of the phase mask 344. It can be restored to the second image of .
  • the reference image for the periphery of the eye stored in the memory 420 may be a raw image
  • the raw image for the periphery of the eye may be a three-dimensional image based on a specific pattern of the phase mask 344. It can be restored as a second image.
  • the restored 3D second image may have an image with a specified resolution (eg, an image with a resolution of 100x100x100 or an image with a resolution of 50x50x50).
  • the processor 470 may compare the shape of the periphery of the eye in the first three-dimensional image with the shape of the periphery of the eye in the second three-dimensional image in operation 740.
  • the processor 470 may perform user authentication based on the comparison result in operation 750. For example, if the shape of at least a portion of the eye in the 3D first image matches the shape of at least a portion of the eye in the 3D second image, the processor 470 may perform user authentication. . For example, if the matching score (e.g., matching rate or similarity) of the shape of at least a portion of the eyeball in the three-dimensional first image and the shape of at least a portion of the eyeball in the three-dimensional second image exceeds a specified score.
  • the matching score e.g., matching rate or similarity
  • the processor 470 may determine that user authentication is successful. If the matching score (e.g., matching rate or similarity) between the shape of at least a portion of the eyeball in the three-dimensional first image and the shape of at least a portion of the eyeball in the three-dimensional second image is less than or equal to the specified score, the processor 470 may determine that user authentication has failed.
  • the matching score e.g., matching rate or similarity
  • FIG. 7 may be an additional operation of FIG. 6 described above.
  • user authentication may be additionally performed using the periphery of the eye according to the embodiment of FIG. 7.
  • the processor 470 acquires an image of the periphery of the user's eye within a specified distance (e.g., within about 110 mm) from the image sensor 344, and converts the acquired image of the periphery of the user's eye into a 3D image.
  • Security can be strengthened by restoring to an image and performing user authentication.
  • a user authentication operation using the periphery of the eye according to the embodiment of FIG. 7 may be performed.
  • the embodiment of FIG. 7 may be performed independently from the embodiment of FIG. 6. For example, based on the authentication mode, a user authentication operation using the iris according to the embodiment of FIG. 6 or a user authentication operation using the periphery of the eye according to the embodiment of FIG. 7 may be performed.
  • Authentication modes may include a first authentication mode and a second authentication mode.
  • the first authentication mode is a security mode, which may be a mode that can store or manage financial applications, payment information (eg, card number, expiration date), or information requiring security.
  • the processor 470 may perform user authentication using the iris according to the embodiment of FIG. 6.
  • the second authentication mode is a normal mode, which may be a mode for unlocking the lock screen and logging into a website.
  • the processor 470 may perform user authentication using the periphery of the eye according to the embodiment of FIG. 7.
  • FIG. 8 is a diagram 800 for explaining a method of displaying an indicator for guiding the direction of iris gaze, according to various embodiments.
  • the processor e.g., processor 470 of FIG. 4 of a wearable electronic device (e.g., wearable electronic device 401 of FIG. 4) displays an indicator for guiding the iris gaze direction (e.g., FIG. It can be displayed on part of the display 440 of 4.
  • the processor 470 may display an indicator to guide the direction of iris gaze on a portion of the display 440 so that the user looks at the indicator. As the user looks at the indicator, the accuracy with which the processor 470 recognizes the iris may increase.
  • the processor 470 may display an indicator for guiding the iris gaze direction at the first point 811 of the display 440.
  • the user's eyes 801 can be directed to look in the first direction 815 corresponding to the first point 811. You can.
  • the processor 470 may obtain an image of the user's iris.
  • the processor 470 may display an indicator for guiding the iris gaze direction at the second point 831 of the display 440.
  • the user's eyes 801 can be directed to look in the second direction 835 corresponding to the second point 831. You can.
  • the processor 470 may obtain an image of the user's iris.
  • the processor 470 may display an indicator for guiding the iris gaze direction at the third point 851 of the display 440.
  • the user's eyes 801 can be directed to look in the third direction 855 corresponding to the third point 851. You can.
  • the processor 470 may obtain an image of the user's iris.
  • an indicator for guiding the iris gaze direction is displayed at some point of the display 440 (e.g., the first point 811, the second point 831, or the third point 851), and , When the user's eyes 801 look at the indicator, the accuracy of recognizing the iris can be increased by obtaining an image of the user's iris.
  • an indicator for guiding the direction of iris gaze is located at the location where the camera 450 is placed, for example, at the support portion (e.g., the support portion 350 in FIG. 3A) of the wearable electronic device 401. It may be displayed at a point on an adjacent display 440.
  • the indicator for guiding the direction of iris gaze is described as a specific point (eg, point), but it is not limited thereto.
  • an indicator for guiding the direction of iris gaze may include at least one of a specific shape (eg, a square or other shape), a shadow, an animation, an emoticon, and/or an icon.
  • FIG. 9 is a flowchart 900 illustrating a method of tracking the user's gaze of a wearable electronic device 401 including a lensless camera, according to various embodiments.
  • the processor e.g., processor 470 of FIG. 4 of a wearable electronic device (e.g., wearable electronic device 401 of FIG. 4) uses an image sensor (e.g., image sensor of FIG. 3b). (342)), an image of the iris can be obtained. Since operation 910 according to various embodiments is the same as operation 620 of FIG. 6, the detailed description thereof can be replaced with operation 620 of FIG. 6.
  • the processor 470 may measure the distance between the image sensor 342 and the iris in operation 920. In operation 930, the processor 470 may obtain a reference distance between the image sensor 342 and the iris based on a reference image of the iris stored in a memory (e.g., memory 420 of FIG. 4).
  • a memory e.g., memory 420 of FIG. 4
  • the processor 470 may compare each pixel constituting the acquired image according to the measured distance with each pixel constituting the reference image according to the obtained reference distance in operation 940.
  • the processor 470 may use a first phase mask (e.g., phase mask 344 in FIG. 3B) according to the distance between each pixel constituting the image sensor 342 and each pixel constituting the image for the iris.
  • the second pattern of the phase mask 344 may be compared according to the reference distance between each pixel constituting the pattern and the image sensor 342 and each pixel constituting the reference image for the iris.
  • the processor 470 may track the user's gaze based on the comparison result in operation 950.
  • the processor 470 may check a change in the pattern of the phase mask 344 based on a result of comparing the first pattern and the second pattern of the phase mask 344.
  • the processor 470 may track the user's gaze based on a change in the pattern of the phase mask 344.
  • the processor 470 may check the center of the iris using light output through at least one light source and reflected from the iris. For example, based on the output light being reflected from a light spot (eg, Purkinje spot), the processor 470 may check (or identify) the center of the iris. Processor 470 may compare a first location with respect to the center of the iris in the first pattern of phase mask 344 with a second location with respect to the center of the iris identified in the second pattern of phase mask 344. For example, processor 470 may generate position information of a first pixel corresponding to a first position relative to the center of the iris in the first pattern and second pixel information corresponding to a second position relative to the center of the iris in the second pattern. You can compare pixel location information. The processor 470 may track the user's gaze by confirming eye movement based on the location information of the first pixel and the location information of the second pixel.
  • a light spot e. Purkinje spot
  • the processor 470 operates the phase mask 344 based on the center of the iris identified in the first pattern of the phase mask 344 and the center of the iris identified in the second pattern of the phase mask 344. ) You can check the change in the pattern.
  • the processor 470 can track the user's gaze by checking the movement of the iris based on the change in the pattern.
  • the processor 470 may restore an image of the iris acquired through the image sensor 342 into a low-resolution image (eg, an image with a resolution of 100x100) at high speed. Accordingly, the processor 470 can track the user's gaze in real time.
  • a low-resolution image eg, an image with a resolution of 100x100
  • the processor 470 may obtain pupil center information, pupil size information, and/or iris size information and correct the user's gaze position based on this.
  • the processor 470 acquires a three-dimensional image of the eye's surroundings through the image sensor 342, and determines the position of the eye (or iris) in the three-dimensional image of the eye's surroundings (e.g., the eye (or iris)). center) can be confirmed.
  • the processor 460 may measure the distance (or angle) between the image sensor 342 and the eye.
  • the processor 470 restores the reference image for the periphery of the eye stored in the memory 420 into a three-dimensional reference image based on a specific pattern of the phase mask 344, and based on the restored three-dimensional reference image, A reference distance (or reference angle) between the image sensor 342 and the eye (or iris) may be obtained.
  • the processor 470 sets the eyeball identified in the three-dimensional reference image around the eyeball according to the first position and reference distance with respect to the center of the eyeball identified in the three-dimensional image around the eyeball acquired through the image sensor 342. The second position with respect to the center of can be compared.
  • the processor 470 provides a first position for the center of the eye identified in the three-dimensional image surrounding the eye acquired through the image sensor 342 and a position for the center of the eye identified in the three-dimensional reference image surrounding the eye. Based on the result of comparing the second positions, the user's gaze can be tracked by confirming the movement of the center of the eye.
  • An image processing method of a wearable electronic device 401 including a lensless camera includes the operation of outputting light through at least one light source when wearing of the wearable electronic device 401 is detected.
  • An operation of acquiring a first iris image for the iris based on a specific pattern formed when light output through at least one light source and reflected from the iris passes through a phase mask 344 included in the lensless camera, memory.
  • An image processing method of a wearable electronic device 401 including a lensless camera includes displaying an indicator for guiding the direction of gaze of the iris when wearing of the wearable electronic device 401 is detected. 440) may further include a display operation.
  • the operation of restoring the second iris image includes restoring the second iris image to a high-resolution image within a specified speed using the specific pattern of the phase mask 344. can do.
  • the operation of restoring the second iris image involves learning to restore the reference image of the iris to the second iris image using a specific pattern of the phase mask 344 using an artificial intelligence method. It may include an operation of performing, and an operation of restoring the second iris image based on the learned learning model.
  • the comparing operation may include selecting a first pattern of the phase mask 344 according to first distance information between each pixel constituting the image sensor 342 and each pixel constituting the first iris image. and comparing a second pattern of the phase mask 344 according to second distance information between each pixel constituting the image sensor 342 and each pixel constituting the second iris image.
  • performing the user authentication may include performing the user authentication based on a result of comparing the first pattern and the second pattern.
  • An image processing method of a wearable electronic device 401 including a lensless camera includes the operation of acquiring an image of the periphery of the eye through the image sensor 342, and processing the obtained image of the periphery of the eye.
  • An image processing method of a wearable electronic device 401 including a lensless camera includes the operation of acquiring an image of the iris through an image sensor 342 after performing the user authentication.
  • An operation of measuring the distance between the image sensor 342 and the iris an operation of obtaining a reference distance between the image sensor 342 and the iris based on a reference image of the iris stored in the memory 420, First position information of a pixel corresponding to a first position with respect to the center of the iris identified in the image of the iris according to the measured distance and information about the center of the iris identified in the reference image according to the obtained reference distance
  • the method may further include comparing second position information of a pixel corresponding to a second position, and tracking the user's gaze by confirming that the position of the center of the iris changes based on the comparison result. there is.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Telephone Function (AREA)

Abstract

본 개시의 다양한 실시예들에 따르면, 전자 장치는, 사용자의 안구 영역에 대응되는 디스플레이, 위상 마스크 및 이미지 센서를 포함하며, 상기 안구 영역을 촬영하는 카메라, 적어도 하나의 광원을 통해 상기 안구 영역으로 광을 출력하는 광 출력부, 메모리, 및 상기 디스플레이, 상기 카메라, 상기 광 출력부, 및 상기 메모리와 작동적으로 연결된 프로세서를 포함하며, 상기 프로세서는, 상기 웨어러블 전자 장치의 착용이 검출되면, 상기 적어도 하나의 광원을 통해 광을 출력하고, 상기 적어도 하나의 광원을 통해 출력되어 홍채로부터 반사된 광이 상기 위상 마스크를 통과하면서 형성된 특정 패턴에 기반하여, 상기 홍채에 대한 제1 홍채 이미지를 획득하고, 상기 메모리에 저장된 상기 홍채에 대한 기준 이미지를 상기 위상 마스크의 상기 특정 패턴을 이용하여 제2 홍채 이미지로 복원하고, 상기 획득된 제1 홍채 이미지와 상기 복원된 제2 홍채 이미지를 비교하고, 및 상기 비교 결과에 기반하여, 사용자 인증을 수행하도록 설정될 수 있다. 본 문서에 개시된 다양한 실시예들 이외의 다른 다양한 실시예들이 가능할 수 있다.

Description

렌즈리스 카메라를 포함하는 웨어러블 전자 장치 및 이를 이용한 이미지 처리 방법
본 개시의 다양한 실시예들은 렌즈리스 카메라를 포함하는 웨어러블 전자 장치 및 이를 이용한 이미지 처리 방법에 관한 것이다.
웨어러블 전자 장치는 안경 형태의 증강 현실(augmented reality; AR) 글래스 또는 헤드 착용형 HMD(head mounted display)와 같이 다양한 형태로 변화되고 있다. 예를 들어, 안경형 웨어러블 전자 장치는 증강 현실을 구현하기 위하여 안경형 웨어러블 전자 장치의 글래스(예: 렌즈)에 화상을 표시할 수 있다. 안경형 웨어러블 전자 장치의 글래스에 빛을 프로젝트함으로써, 글래스에 화상을 표시할 수 있다.
이러한 웨어러블 전자 장치를 이용하기 위해서는 사용자 인증이 필요할 수 있으며, 사용자 인증의 예로, 사용자의 지문 정보, 얼굴 정보, 홍채 정보와 같은 생체 정보를 이용한 사용자 인증을 포함할 수 있다. 예를 들어, 홍채 정보와 같은 생체 정보를 이용하여 사용자 인증을 수행하는 경우, 웨어러블 전자 장치는 복수의 카메라를 이용하여 사용자의 홍채 정보(예: 좌안 및/또는 우안의 홍채 정보)를 획득하고, 웨어러블 전자 장치에 저장된 사용자의 홍채 정보와 비교하여, 사용자를 인증을 수행할 수 있다.
하지만, 웨어러블 전자 장치에 포함되는 카메라의 크기가 큰 경우, 웨어러블 전자 장치의 부피와 무게가 증가하여 착용감이 떨어질 수 있으며, 사용자의 시야에 카메라가 들어올 수 있다.
본 개시의 다양한 실시예들에 따른 웨어러블 전자 장치에서 카메라는, 렌즈 대신 위상 마스크를 포함할 수 있다.
본 개시의 다양한 실시예들에 따른 웨어러블 전자 장치는, 카메라에 포함된 위상 마스크를 이용하여 사용자 홍채의 특정 패턴을 생성하고, 생성된 특정 패턴에 기반한 사용자의 홍채 이미지를 획득하여 사용자의 인증 정보로서 저장할 수 있다.
본 개시의 다양한 실시예들에 따른 웨어러블 전자 장치는, 사용자 인증을 수행하는 경우, 카메라를 통해 획득된 사용자의 홍채 이미지를 위상 마스크의 특정 패턴에 기반하여 복원할 수 있다.
본 개시의 다양한 실시예들에 따른 웨어러블 전자 장치는, 사용자의 안구 영역에 대응되는 디스플레이, 위상 마스크 및 이미지 센서를 포함하며, 상기 안구 영역을 촬영하는 카메라, 적어도 하나의 광원을 통해 상기 안구 영역으로 광을 출력하는 광 출력부, 메모리, 및 상기 디스플레이, 상기 카메라, 상기 광 출력부, 및 상기 메모리와 작동적으로 연결된 프로세서를 포함하며, 상기 프로세서는, 상기 사용자의 홍채를 등록하기 위한 입력이 검출되면, 상기 적어도 하나의 광원을 통해 광을 출력하고, 상기 적어도 하나의 광원을 통해 출력되어 상기 홍채로부터 반사된 광이 상기 위상 마스크를 통과하면서 특정 패턴을 형성하고, 상기 형성된 특정 패턴에 기반하여, 상기 홍채에 대한 기준 이미지를 획득하고, 및 상기 획득된 홍채에 대한 기준 이미지를 상기 메모리에 저장하도록 설정될 수 있다.
본 개시의 다양한 실시예들에 따른 웨어러블 전자 장치는, 사용자의 안구 영역에 대응되는 디스플레이, 위상 마스크 및 이미지 센서를 포함하며, 상기 안구 영역을 촬영하는 카메라, 적어도 하나의 광원을 통해 상기 안구 영역으로 광을 출력하는 광 출력부, 메모리, 및 상기 디스플레이, 상기 카메라, 상기 광 출력부, 및 상기 메모리와 작동적으로 연결된 프로세서를 포함하며, 상기 프로세서는, 상기 웨어러블 전자 장치의 착용이 검출되면, 상기 적어도 하나의 광원을 통해 광을 출력하고, 상기 적어도 하나의 광원을 통해 출력되어 홍채로부터 반사된 광이 상기 위상 마스크를 통과하면서 형성된 특정 패턴에 기반하여, 상기 홍채에 대한 제1 홍채 이미지를 획득하고, 상기 메모리에 저장된 상기 홍채에 대한 기준 이미지를 상기 위상 마스크의 상기 특정 패턴을 이용하여 제2 홍채 이미지로 복원하고, 상기 획득된 제1 홍채 이미지와 상기 복원된 제2 홍채 이미지를 비교하고, 및 상기 비교 결과에 기반하여, 사용자 인증을 수행하도록 설정될 수 있다.
본 개시의 다양한 실시예들에 따른 렌즈리스 카메라를 포함하는 웨어러블 전자 장치의 이미지 처리 방법은, 상기 웨어러블 전자 장치의 착용이 검출되면, 적어도 하나의 광원을 통해 광을 출력하는 동작, 상기 적어도 하나의 광원을 통해 출력되어 홍채로부터 반사된 광이 상기 위상 마스크를 통과하면서 형성된 특정 패턴에 기반하여, 상기 홍채에 대한 제1 홍채 이미지를 획득하는 동작, 메모리에 저장된 상기 홍채에 대한 기준 이미지를 상기 위상 마스크의 상기 특정 패턴을 이용하여 제2 홍채 이미지로 복원하는 동작, 상기 획득된 제1 홍채 이미지와 상기 복원된 제2 홍채 이미지를 비교하는 동작, 및 상기 비교 결과에 기반하여, 사용자 인증을 수행하는 동작을 포함할 수 있다.
본 개시의 다양한 실시예들에 따른 웨어러블 전자 장치에서 카메라는, 렌즈 대신 위상 마스크를 포함함에 따라, 웨어러블 전자 장치의 부피와 무게를 감소시킬 수 있다.
본 개시의 다양한 실시예들에 따른 웨어러블 전자 장치는, 사용자 인증을 수행하는 경우, 위상 마스크와 홍채 간 거리 정보에 기반한 위상 마스크의 특정 패턴을 이용하여 사용자의 홍채 이미지를 복원함에 따라, 홍채 이미지의 정밀도가 높아질 뿐만 아니라, 사용자 인증의 정확도 또한 높아질 수 있다. 또한, 사용자 홍채에 대한 이미지를 복원하기 위해서는 특정 패턴이 필요하기 때문에, 생체 정보(예: 홍채 이미지)의 보안성을 높일 수 있다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경 내의 전자 장치의 블록도이다.
도 2는, 다양한 실시예들에 따른, 웨어러블 전자 장치의 구성을 개략적으로 나타내는 사시도이다.
도 3a는, 다양한 실시예들에 따른, 웨어러블 전자 장치와 카메라의 분리 사시도이다.
도 3b는, 다양한 실시예들에 따른, 카메라의 사시도이다.
도 4는, 다양한 실시예들에 따른, 웨어러블 전자 장치를 도시한 블록도이다.
도 5는, 다양한 실시예들에 따른, 렌즈리스 카메라를 포함하는 웨어러블 전자 장치의 사용자의 홍채를 등록하는 방법을 설명하기 위한 흐름도이다.
도 6은, 다양한 실시예들에 따른, 렌즈리스 카메라를 포함하는 웨어러블 전자 장치의 사용자의 홍채를 이용한 사용자 인증 방법을 설명하기 위한 흐름도이다.
도 7은, 다양한 실시예들에 따른, 렌즈리스 카메라를 포함하는 웨어러블 전자 장치의 사용자의 안구의 주변부를 이용한 사용자 인증 방법을 설명하기 위한 흐름도이다.
도 8은, 다양한 실시예들에 따른, 홍채 응시 방향을 가이드하기 위한 인디케이터를 표시하는 방법을 설명하기 위한 도면이다.
도 9는, 다양한 실시예들에 따른, 렌즈리스 카메라를 포함하는 웨어러블 전자 장치의 사용자의 시선을 추적하는 방법을 설명하기 위한 흐름도이다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다.
도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108) 중 적어도 하나와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일 실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일 실시예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일 실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및0 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일 실시예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일 실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일 실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일 실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일 실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일 실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일 실시예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일 실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB(printed circuit board)) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일 실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
다양한 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일 실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일 실시예에 따르면, 명령 또는 데이터는 제2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104) 간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일 실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일 실시예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제1", "제2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
도 2는, 다양한 실시예들에 따른, 웨어러블 전자 장치(200)의 구성을 개략적으로 나타내는 사시도이다.
도 2의 웨어러블 전자 장치(200)는 도 1의 전자 장치(101)에 설명된 실시예들을 포함할 수 있다. 웨어러블 전자 장치(200)는 안경 형태의 증강 현실(augmented reality; AR) 글래스 또는 스마트 글래스를 포함할 수 있다.
도 2를 참조하면, 다양한 실시예들에 따른 웨어러블 전자 장치(200)는, 브릿지(bridge, 201), 제1 림(rim, 210), 제2 림(220), 제1 엔드 피스(end piece, 230), 제2 엔드 피스(240), 제1 템플(temple, 250), 및/또는 제2 템플(260)을 포함할 수 있다.
일 실시예에 따르면, 브릿지(201)는 제1 림(210) 및 제2 림(220)을 연결할 수 있다. 브릿지(201)는 사용자가 웨어러블 전자 장치(200)를 착용 시, 사용자의 코 위에 위치될 수 있다. 브릿지(201)는 사용자의 코를 기준으로 제1 림(210) 및 제2 림(220)을 분리할 수 있다.
다양한 실시예들에 따르면, 브릿지(201)는 카메라 모듈(203), 제1 시선 추적 카메라(205), 제2 시선 추적 카메라(207), 및/또는 오디오 모듈(209)을 포함할 수 있다.
다양한 실시예들에 따르면, 카메라 모듈(203)(예: 도 1의 카메라 모듈(180))은 사용자(예: 웨어러블 전자 장치(200)의 사용자)의 전방(예: -y축 방향)을 촬영하고 이미지 데이터를 획득할 수 있다. 카메라 모듈(203)은 사용자의 시야각(field of view; FoV)에 대응되는 영상을 촬영하거나 피사체(예: 객체)와의 거리를 측정할 수 있다. 카메라 모듈(203)은 RGB 카메라, HR(high resolution) 카메라, 및/또는 PV(photo video) 카메라를 포함할 수 있다. 카메라 모듈(203)은 고화질 이미지를 획득하기 위해, AF(auto focus) 기능 및 OIS(optical image stabilization) 기능을 갖는 컬러 카메라를 포함할 수 있다.
다양한 실시예들에 따르면, 제1 시선 추적 카메라(205) 및 제2 시선 추적 카메라(207)는 사용자가 바라보는 시선을 확인할 수 있다. 제1 시선 추적 카메라(205) 및 제2 시선 추적 카메라(207)는 카메라 모듈(203)의 촬영 방향과 반대 방향인 사용자의 눈동자를 촬영할 수 있다. 예를 들어, 제1 시선 추적 카메라(205)는 사용자의 좌안을 부분적으로 촬영하고, 제2 시선 추적 카메라(207)는 사용자의 우안을 부분적으로 촬영할 수 있다. 제1 시선 추적 카메라(205) 및 제2 시선 추적 카메라(207)는 사용자의 눈동자(예: 좌안 및 우안)를 검출하고, 시선 방향을 추적할 수 있다. 추적된 시선 방향은 가상 객체를 포함하는 가상 영상의 중심이 시선 방향에 대응하여 이동되는데 활용될 수 있다. 제1 시선 추적 카메라(205) 및/또는 제2 시선 추적 카메라(207)는, 예를 들어, EOG 센서(electro-oculography 또는 electrooculogram), coil system, dual Purkinje system, bright pupil systems, 또는 dark pupil systems 중 적어도 하나의 방식을 이용하여 사용자의 시선을 추적할 수 있다.
다양한 실시예들에 따르면, 오디오 모듈(209)(예: 도 1의 오디오 모듈(170))은 제1 시선 추적 카메라(205) 및 제2 시선 추적 카메라(207)의 사이에 배치될 수 있다. 오디오 모듈(209)은 사용자의 음성을 전기 신호로 변환하거나, 전기 신호를 소리로 변환할 수 있다. 오디오 모듈(209)은 마이크로폰을 포함할 수 있다.
일 실시예에 따르면, 제1 림(210) 및 제2 림(220)은 웨어러블 전자 장치(200)(예: AR 글래스)의 프레임(예: 안경테)을 형성할 수 있다. 제1 림(210)은 브릿지(201)의 제1 방향(예: x축 방향)에 배치될 수 있다. 제1 림(210)은 사용자의 좌안에 대응되는 위치에 배치될 수 있다. 제2 림(220)은 제1 방향(예: x축 방향)과 반대 방향인 브릿지(201)의 제2 방향(예: -x축 방향)에 배치될 수 있다. 제2 림(220)은 사용자의 우안에 대응되는 위치에 배치될 수 있다. 제1 림(210) 및 제2 림(220)은 금속 재질 및/또는 비도전성 재질(예: 폴리머)로 형성될 수 있다.
다양한 실시예들에 따르면, 제1 림(210)은 내주면에 배치된 제1 글래스(215)(예: 제1 디스플레이)의 적어도 일부를 둘러싸고 지지할 수 있다. 제1 글래스(215)는 사용자의 좌안 앞에 위치될 수 있다. 제2 림(220)은 내주면에 배치된 제2 글래스(225)(예: 제2 디스플레이)의 적어도 일부를 둘러싸고 지지할 수 있다. 제2 글래스(225)는 사용자의 우안 앞에 위치될 수 있다. 웨어러블 전자 장치(200)의 사용자는 제1 글래스(215) 및 제2 글래스(225)를 통해 외부 객체(예: 피사체)에 대한 전경(foreground)(예: 실제 이미지)을 볼 수 있다. 웨어러블 전자 장치(200)는 외부 객체에 대한 전경(예: 실제 이미지)에 가상 이미지를 중첩하여 디스플레이 함으로써, 증강 현실을 구현할 수 있다.
다양한 실시예들에 따르면, 제1 글래스(215) 및 제2 글래스(225)는 투사형(projection type) 투명 디스플레이를 포함할 수 있다. 제1 글래스(215) 및 제2 글래스(225)는 각각 투명 플레이트(또는 투명 스크린)로서 반사면을 형성할 수 있고, 웨어러블 전자 장치(200)에서 생성되는 이미지는 반사면을 통해 반사(예: 전반사(total internal reflection))되고 사용자의 좌안 및 우안으로 입사될 수 있다. 일 실시예에서, 제1 글래스(215)는 웨어러블 전자 장치(200)의 광원에서 생성된 광을 사용자의 좌안으로 전달하는 광 도파로(waveguide)를 포함할 수 있다. 예를 들어, 광 도파로는 유리(glass), 플라스틱, 또는 폴리머 재질로 형성될 수 있고, 제1 글래스(215)의 내부 또는 표면에 형성된 나노 패턴(예: 다각형 또는 곡면 형상의 격자 구조(grating structure), 또는 메쉬 구조)를 포함할 수 있다. 광 도파로는 적어도 하나의 회절 요소(예: DOE(Diffractive Optical Element), HOE(Holographic Optical Element)) 또는 반사 요소(예: 반사 거울) 중 적어도 하나를 포함할 수 있다. 광 도파로는 광 도파로에 포함된 적어도 하나의 회절 요소 또는 반사 요소를 이용하여 광원으로부터 방출된 디스플레이 광을 사용자의 눈으로 유도할 수 있다. 다양한 실시예들에서, 회절 요소는 입력/출력 광학 부재, 반사 요소는 전반사(TIR(total internal reflection))를 포함할 수 있다. 예를 들어, 광원으로부터 방출된 광은 입력 광학부재를 통해 광 도파로로 광 경로가 유도되며, 광 도파로 내부를 이동하는 광은 출력 광학부재를 통해 사용자 눈 방향으로 유도될 수 있다. 제2 글래스(225)는 제1 글래스(215)와 실질적으로 동일한 방식으로 구현될 수 있다.
다양한 실시예들에 따르면, 제 1 글래스(215) 및 제 2 글래스(225)는, 예를 들어, 액정 표시 장치(liquid crystal display; LCD), 디지털 미러 표시 장치(digital mirror device; DMD), 실리콘 액정 표시 장치(liquid crystal on silicon; LCoS), 유기 발광 다이오드(organic light emitting diode; OLED), 또는 마이크로 엘이디(micro light emitting diode; micro LED)를 포함할 수 있다. 도시되지 않았지만, 제1 글래스(215) 및 제2 글래스(225)가 액정 표시 장치, 디지털 미러 표시 장치, 또는 실리콘 액정 표시 장치 중 하나로 이루어지는 경우, 웨어러블 전자 장치(200)는 제1 글래스(215) 및 제2 글래스(225)의 화면 출력 영역으로 광을 조사하는 광원을 포함할 수 있다. 다른 실시예에서, 제1 글래스(215) 및 제2 글래스(225)가 자체적으로 광을 발생시킬 수 있는 경우, 예를 들어, 유기 발광 다이오드 또는 마이크로 엘이디 중 하나로 이루어지는 경우, 웨어러블 전자 장치(200)는 별도의 광원을 포함하지 않더라도 사용자에게 양호한 품질의 가상 영상을 제공할 수 있다.
다양한 실시예들에 따르면, 제1 림(210)은 제1 마이크(211), 제1 인식 카메라(213), 제1 발광 장치(217), 및/또는 제 1 디스플레이 모듈(219)을 포함할 수 있다. 제2 림(220)은 제2 마이크(221), 제2 인식 카메라(223), 제2 발광 장치(227), 및/또는 제2 디스플레이 모듈(229)를 포함할 수 있다.
다양한 실시예들에서, 제1 발광 장치(217) 및 제1 디스플레이 모듈(219)은 제1 엔드 피스(230)에 포함되고, 제2 발광 장치(227) 및 제2 디스플레이 모듈(229)은 제2 엔드 피스(240)에 포함될 수도 있다.
다양한 실시예들에 따르면, 제1 마이크(211) 및/또는 제2 마이크(221)는 웨어러블 전자 장치(200) 사용자의 음성을 수신하고 전기 신호로 변환할 수 있다.
다양한 실시예들에 따르면, 제1 인식 카메라(213) 및/또는 제2 인식 카메라(223)는 웨어러블 전자 장치(200)의 주변 공간을 인식할 수 있다. 제1 인식 카메라(213) 및/또는 제2 인식 카메라(223)는 웨어러블 전자 장치(200)의 일정 거리 이내(예: 일정 공간)에서 사용자의 제스처를 감지할 수 있다. 제1 인식 카메라(213) 및/또는 제2 인식 카메라(223)는 사용자의 빠른 손동작 및/또는 손가락에 대한 미세한 움직임을 검출 및 추적하기 위해, RS(rolling shutter) 현상이 감소될 수 있는 GS(global shutter) 카메라를 포함할 수 있다. 웨어러블 전자 장치(200)는 제1 시선 추적 카메라(205), 제2 시선 추적 카메라(207), 제1 인식 카메라(213), 및/또는 제2 인식 카메라(223)를 이용하여, 사용자의 좌안 및/또는 우안 중에서 주시안 및/또는 보조시안에 대응되는 눈을 감지할 수 있다. 예를 들어, 웨어러블 전자 장치(200)는 외부 객체 또는 가상 객체에 대한 사용자의 시선 방향에 기반하여, 주시안 및/또는 보조시안에 대응되는 눈을 감지할 수 있다.
다양한 실시예들에 따르면, 제1 발광 장치(217) 및/또는 제2 발광 장치(227)는 카메라 모듈(203), 제1 시선 추적 카메라(205), 제2 시선 추적 카메라(207), 제1 인식 카메라(213), 및/또는 제2 인식 카메라(223)의 정확도를 높이기 위해 발광될 수 있다. 제1 발광 장치(217) 및/또는 제2 발광 장치(227)는 제1 시선 추적 카메라(205) 및/또는 제2 시선 추적 카메라(207)를 이용하여 사용자의 눈동자를 촬영할 때 정확도를 높이기 위한 보조 수단으로 사용될 수 있다. 제1 발광 장치(217) 및/또는 제2 발광 장치(227)는 제1 인식 카메라(213) 및/또는 제2 인식 카메라(223)를 이용하여 사용자의 제스처를 촬영하는 경우, 어두운 환경이나 여러 광원의 혼입 및 반사 빛 때문에 촬영하고자 하는 객체(예: 피사체)의 검출이 용이하지 않을 때 보조 수단으로 사용될 수 있다. 제1 발광 장치(217) 및/또는 제2 발광 장치(227)는, 예를 들어, LED, IR LED, 또는 제논 램프를 포함할 수 있다.
다양한 실시예들에 따르면, 제1 디스플레이 모듈(219) 및/또는 제2 디스플레이 모듈(229)은 광을 방출하고 제1 글래스(215) 및/또는 제2 글래스(225)를 이용하여 사용자의 좌안 및/또는 우안에 전달할 수 있다. 제1 글래스(215) 및/또는 제2 글래스(225)는 제1 디스플레이 모듈(219) 및/또는 제2 디스플레이 모듈(229)을 통해 방출된 광을 이용하여 다양한 이미지 정보를 표시할 수 있다. 제1 디스플레이 모듈(219) 및/또는 제2 디스플레이 모듈(229)은 도 1의 디스플레이 모듈(160)을 포함할 수 있다. 웨어러블 전자 장치(200)는 외부 객체에 대한 전경(foreground)과, 제1 디스플레이 모듈(219) 및/또는 제2 디스플레이 모듈(229)을 통해 방출되는 이미지를 제1 글래스(215) 및/또는 제2 글래스(225)를 통해 중첩하여 표시할 수 있다.
일 실시예에 따르면, 제1 엔드 피스(230)는 제1 림(210)의 일부분(예: x축 방향)에 결합될 수 있다. 제2 엔드 피스(240)는 제2 림(220)의 일부분(예: -x축 방향)에 결합될 수 있다. 다양한 실시예들에서, 제1 발광 장치(217) 및 제1 디스플레이 모듈(219)은 제1 엔드 피스(230)에 포함될 수 있다. 제2 발광 장치(227) 및 제2 디스플레이 모듈(229)은 제2 엔드 피스(240)에 포함될 수 있다.
다양한 실시예들에 따르면, 제1 엔드 피스(230)는 제1 림(210) 및 제1 템플(250)을 연결할 수 있다. 제2 엔드 피스(240)는 제2 림(220) 및 제2 템플(260)을 연결할 수 있다.
일 실시예에 따르면, 제1 템플(250)은 제1 힌지부(255)를 이용하여 제1 엔드 피스(230)와 작동적으로 연결될 수 있다. 제1 힌지부(255)는 제1 템플(250)이 제1 림(210)에 대하여 접히거나 펼쳐지도록 회전 가능하게 구성될 수 있다. 제1 템플(250)은, 예를 들어, 사용자의 머리의 왼쪽 측면을 따라 연장될 수 있다. 제1 템플(250)의 말단 부분(예: y축 방향)은 사용자가 웨어러블 전자 장치(200)를 착용했을 때, 예를 들어, 사용자의 왼쪽 귀에 지지되도록 구부러진 형태로 구성될 수 있다. 제2 템플(260)은 제2 힌지부(265)를 이용하여 제2 엔드 피스(240)와 작동적으로 연결될 수 있다. 제2 힌지부(265)는 제2 템플(260)이 제2 림(220)에 대하여 접히거나 펼쳐지도록 회전 가능하게 구성될 수 있다. 제2 템플(260)은, 예를 들어, 사용자의 머리의 오른쪽 측면을 따라 연장될 수 있다. 제2 템플(260)의 말단 부분(예: y축 방향)은 사용자가 웨어러블 전자 장치(200)를 착용했을 때, 예를 들어, 사용자의 오른쪽 귀에 지지되도록 구부러진 형태로 구성될 수 있다.
다양한 실시예들에 따르면, 제1 템플(250)은 제1 인쇄 회로 기판(251), 제1 음향 출력 모듈(253)(예: 도 1의 음향 출력 모듈(155)), 및/또는 제1 배터리(257)(예: 도 1의 배터리(189))를 포함할 수 있다. 제2 템플(260)은 제2 인쇄 회로 기판(261), 제2 음향 출력 모듈(263)(예: 도 1의 음향 출력 모듈(155)), 및/또는 제2 배터리(267)(예: 도 1의 배터리(189))를 포함할 수 있다.
다양한 실시예들에 따르면, 제1 인쇄 회로 기판(251) 및/또는 제2 인쇄 회로 기판(261)에는 도 1에 개시된 프로세서(120), 메모리(130), 인터페이스(177), 및/또는 무선 통신 모듈(192)과 같은 다양한 전자 부품들(예: 도 1의 전자 장치(101)에 포함된 구성 요소들 중 적어도 일부)이 배치될 수 있다. 프로세서는, 예를 들어, 중앙처리장치, 어플리케이션 프로세서, 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서 중 하나 또는 그 이상을 포함할 수 있다. 제1 인쇄 회로 기판(251) 및/또는 제2 인쇄 회로 기판(261)은, 예를 들어, PCB(printed circuit board), FPCB(flexible PCB), 또는 RFPCB(rigid-flexible PCB)를 포함할 수 있다. 어떤 실시예에서, 제1 인쇄 회로 기판(251) 및/또는 제2 인쇄 회로 기판(261)은 Main PCB, Main PCB와 일부 중첩하여 배치되는 slave PCB, 및/또는 Main PCB 및 slave PCB 사이의 인터포저 기판(interposer substrate)을 포함할 수 있다. 제1 인쇄 회로 기판(251) 및/또는 제2 인쇄 회로 기판(261)은 FPCB 및/또는 케이블과 같은 전기적 경로를 이용하여 다른 구성 요소들(예: 카메라 모듈(203), 제1 시선 추적 카메라(205), 제2 시선 추적 카메라(207), 오디오 모듈(209), 제1 마이크(211), 제1 인식 카메라(213), 제1 발광 장치(217), 제1 디스플레이 모듈(219), 제2 마이크(221), 제2 인식 카메라(223), 제2 발광 장치(227), 제2 디스플레이 모듈(229), 제1 음향 출력 모듈(253), 및/또는 제 2 음향 출력 모듈(263))과 전기적으로 연결될 수 있다. 예를 들면, FPCB 및/또는 케이블은 제1 림(210), 브릿지(201), 및/또는 제2 림(220)의 적어도 일부에 배치될 수 있다. 어떤 실시예에서, 웨어러블 전자 장치(200)는 제1 인쇄 회로 기판(251) 및 제2 인쇄 회로 기판(261) 중 하나만 포함할 수도 있다.
다양한 실시예들에 따르면, 제1 음향 출력 모듈(253) 및/또는 제2 음향 출력 모듈(263)은 사용자의 좌측 및/또는 우측 귀에 오디오 신호를 전달할 수 있다. 제1 음향 출력 모듈(253) 및/또는 제2 음향 출력 모듈(263)은, 예를 들어, 스피커 홀 없이 오디오 신호를 전달하는 피에조 스피커(예: 골전도 스피커)를 포함할 수 있다. 어떤 실시예에서, 웨어러블 전자 장치(200)는 제1 음향 출력 모듈(253) 및 제2 음향 출력 모듈(263) 중 하나만 포함할 수도 있다.
다양한 실시예들에 따르면, 제1 배터리(257) 및/또는 제2 배터리(267)는 전력 관리 모듈(예: 도 1의 전력 관리 모듈(188))을 이용하여, 제1 인쇄 회로 기판(251) 및/또는 제2 인쇄 회로 기판(261)에 전력을 공급할 수 있다. 제1 배터리(257) 및/또는 제2 배터리(267)는, 예를 들어, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지, 또는 연료 전지를 포함할 수 있다. 어떤 실시예에서, 웨어러블 전자 장치(200)는 제1 배터리(257) 및 제2 배터리(267) 중 하나만 포함할 수도 있다.
다양한 실시예들에 따르면, 웨어러블 전자 장치(200)는 센서 모듈(예: 도 1의 센서 모듈(176))을 포함할 수 있다. 센서 모듈은 웨어러블 전자 장치(200)의 내부의 작동 상태, 또는 외부의 환경 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 센서 모듈은, 예를 들어, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 컬러 센서, IR(infrared) 센서, 생체 센서(예: HRM 센서), 온도 센서, 습도 센서, 또는 조도 센서 중 적어도 하나를 더 포함할 수 있다. 어떤 실시예에서, 센서 모듈은 후각 센서(e-nose sensor), EMG 센서(electromyography sensor), EEG 센서(electroencephalogram sensor), ECG 센서(electrocardiogram sensor), 또는 홍채 센서와 같은 다양한 생체 센서(또는, 생체 인식 센서)를 이용하여 사용자의 생체 정보를 인식할 수 있다.
다양한 실시예들에 따르면, 상술한 설명에서 웨어러블 전자 장치(200)가 제1 글래스(215) 및 제2 글래스(225)를 이용하여 증강 현실을 표시하는 장치인 것으로 설명하였지만, 이에 한정되지 않고, 가상 현실(virtual reality; VR)을 표시하는 장치일 수도 있다.
도 3a는, 다양한 실시예들에 따른, 웨어러블 전자 장치(300)와 카메라(340)의 분리 사시도이다.
도 3a를 참조하면, 다양한 실시예들에 따른 웨어러블 전자 장치(300)(예: 도 2의 웨어러블 전자 장치(200))는 프레임(310)(예: 도 2의 제1 림(210), 제2 림(220), 및 브릿지(201)), 윈도우 부재(330)(예: 도 2의 제1 글래스(215), 제2 글래스(225)), 지지 부재(320)(예: 도 2의 제1 템플(250), 제2 템플(260)), 디스플레이 모듈(미도시)(예: 도 2의 제1 디스플레이 모듈(219), 제2 디스플레이 모듈(229)), 카메라(340)(예: 도 2의 제1 시선 추적 카메라(205), 제2 시선 추적 카메라(207)), 발광부(미도시)(예: 도 2의 제1 발광 장치(217), 제2 발광 장치(227)), 및 프로세서(미도시)(예: 도 1의 프로세서(120))를 포함할 수 있다.
일 실시예에서, 윈도우 부재(330), 지지 부재(320), 디스플레이 모듈(미도시), 카메라(340), 및 발광부(미도시)는 사용자의 좌안과 우안에 대응되도록 한 쌍 마련될 수 있다. 예를 들어, 윈도우 부재(330)는 제1 윈도우 부재(330-1)(예: 도 2의 제1 글래스(215)) 및 제2 윈도우 부재(330-2)(예: 도 2의 제2 글래스(225))를 포함할 수 있고, 지지 부재(320)는 제1 지지 부재(320-1)(예: 도 2의 제1 템플(250)) 및 제2 지지 부재(320-2)(예: 도 2의 제2 템플(260))를 포함할 수 있고, 카메라(340)는 제1 카메라(340-1)(예: 도 2의 제1 시선 추적 카메라(205)), 및 제2 카메라(340-2)(예: 도 2의 제2 시선 추적 카메라(207))를 포함할 수 있다. 경우에 따라서는, 앞서 설명한 구성요소 중 일부는 좌안과 대응하는 구성과 우안과 대응하는 구성이 상이할 수 있다.
이하 도면에서는, 설명의 편의를 위하여 웨어러블 전자 장치(300)가 안경 형태의 전자 장치인 것으로 도시하였으나, 본 문서에 개시된 기술적 사상은 디스플레이를 포함하고, 사용자의 머리 부분에 장착될 수 있는 다양한 형태의 머리 장착형 디스플레이(head mounted display; HMD)를 포함하는 전자 장치에 적용될 수 있다.
다양한 실시예들에 따르면, 프레임(310)은 윈도우 부재(330)를 지지할 수 있다. 프레임(310)은 합성 수지 소재로 형성될 수 있다. 프레임(310)에 형성된 개구부에 윈도우 부재(330)가 끼워짐으로써, 프레임(310)이 윈도우 부재(330)를 지지할 수 있다.
다양한 실시예들에 따르면, 지지 부재(320)는 프레임(310)에 회전 가능하게 연결될 수 있다. 지지 부재(320)는, 제1 지지 부재(320-1)와 제2 지지 부재(320-2)를 포함할 수 있다. 제1 지지 부재(320-1)는 프레임(310)에 대하여 좌측(예: 도 3a의 x축 방향)에서 프레임(310)에 연결될 수 있고, 제2 지지 부재(320-2)는 프레임(310)에 대하여 우측(예: 도 3a의 -x축 방향)에서 프레임(310)에 연결될 수 있다. 일 실시예에서, 지지 부재(320)는 프레임에 고정 설치될 수도 있다. 예를 들어, 프레임(310)의 좌측에 연결된 제1 지지 부재(320-1)와 프레임(310)의 우측에 연결된 제2 지지 부재(320-2)가 서로 연결되도록 형성될 수 있다. 프레임(310)의 양측에 연결된 지지 부재는 링(ring) 형태를 이루고, 사용자의 머리에 끼워지는 방식으로 착용될 수 있다. 이 밖에도 지지 부재(320)는 사용자의 얼굴에 전자 장치(300)가 착용될 수 있는 다양한 형태로 변형될 수 있다.
다양한 실시예들에 따르면, 도 3a에 도시된 것과 같이, 지지 부재(320)는 사용자의 귀에 걸치도록 형성될 수 있다. 프레임(310)에 연결된 지지 부재(320)가 사용자의 귀에 걸쳐지는 방식으로 웨어러블 전자 장치(300)가 사용자의 얼굴에 착용될 수 있다. 지지 부재(320)는 프레임(310)에 대해 회전할 수 있다. 지지 부재(320)가 프레임(310)에 근접하는 방향으로 회전되어 웨어러블 전자 장치(300)의 부피가 줄어들 수 있다.
다양한 실시예들에 따르면, 윈도우 부재(330)는 사용자의 좌측 눈에 대응하는 제1 윈도우 부재(330-1)와 사용자의 우측 눈에 대응하는 제2 윈도우 부재(330-2)를 포함할 수 있다. 윈도우 부재(330)는 프레임(310)에 지지될 수 있다. 예를 들어, 프레임(310)에 형성된 개구부에 윈도우 부재(330)가 끼워질 수 있다. 디스플레이 모듈에서 방출되는 AR 영상은 윈도우 부재(330)에 투영될 수 있다. 윈도우 부재(330)는 적어도 일부 영역에 도파관(또는 광 도파로)이 형성될 수 있다. 도파관(또는 광 도파로)은 디스플레이 모듈에서 방출된 AR 영상이 사용자의 눈으로 유도되도록 할 수 있다. 도파관(또는 광 도파로)에 대한 자세한 설명은 도 2의 제1 글래스(215) 및 제2 글래스(225)와 관련된 설명을 참조하도록 한다.
다양한 실시예들에 따르면, 디스플레이 모듈은 프로세서에서 생성된 AR 영상을 출력할 수 있다. 디스플레이 모듈에서 AR 영상을 생성하여 윈도우 부재(330)에 투영하면, 윈도우 부재(330)를 통해 전방(예: 도 3a의 -y축 방향)으로부터 입사되는 가시광(L)에 AR 영상에 포함된 객체가 합쳐져 AR이 구현될 수 있다. 디스플레이 모듈은 크기가 매우 작은 프로젝터(예: 마이크로 프로젝터, 피코 프로젝터)일 수 있다. 예를 들어, 디스플레이 모듈은 LSD(laser scanning display), DMD(digital micro-mirror display), 및 LCoS(liquid crystal on silicon)일 수 있다. 또한, 디스플레이 모듈은 투명 디스플레이일 수 있다. 이 경우, 디스플레이 모듈에 포함된 발광 소자는 윈도우 부재(330)에 직접 배치될 수 있다. 또는, 발광 소자는 프레임(310)에 지정된 간격으로 배치(예: 복수의 발광 소자들은 제1 림(210) 및 제2 림(220) 각각에 지정된 간격으로 배치)될 수 있다. 이 밖에도 디스플레이 모듈은 AR을 구현하기 위한 다양한 디스플레이 장치일 수 있다.
다양한 실시예들에 따르면, 카메라(340)는 사용자의 좌측 눈에 대응하는 제1 카메라(340-1)와 사용자의 우측 눈에 대응하는 제2 카메라(340-2)를 포함할 수 있다. 카메라(340)는 사용자의 눈을 촬영하기 위한 카메라(340)일 수 있다. 카메라(340)는 예를 들어, 도 2의 시선 추적 카메라(205, 207)일 수 있다. 카메라(340)는 사용자의 눈을 촬영하여, 사용자 인증을 수행하는데 사용될 수 있다. 또한, 카메라(340)는 사용자의 눈을 실시간으로 촬영하여, 눈동자의 움직임을 확인하는데 사용될 수 있다.
도 3a에 도시된 바와 같이, 카메라(340)는 웨어러블 전자 장치(300)가 착용된 상태에서 사용자의 코와 인접한 영역에 배치될 수 있다. 예를 들어, 카메라(340)는 사용자가 정면을 응시하는 시선 방향에 대하여 하측에 위치한 영역에 배치될 수 있다. 카메라(340)는 사용자가 정면을 응시하는 시선 방향에 대하여 하측에 위치한 영역에 배치됨에 따라, 사용자의 눈 아래쪽에서 사용자의 눈을 촬영할 수 있다.
다양한 실시예들에 따르면, 카메라(340)는 프레임(310)의 받침부(350)에 형성된 카메라 홀(351)에 삽입될 수 있다. 받침부(350)는 웨어러블 전자 장치(300)가 착용된 상태에서 사용자의 코에 접촉될 수 있도록 쌍으로 형성될 수 있다. 받침부(350)는 프레임(310)의 중심을 기준으로 좌측(예: x축 방향)에 위치한 제1 받침부(350-1)와 프레임(310)을 중심으로 우측(예: -x축 방향)에 위치한 제2 받침부(350-2)를 포함할 수 있다. 받침부(350)는 프레임(310)이 사용자의 코에 지지도록 할 수 있다. 일 실시예에서, 받침부(350)는 프레임(310)과 일체로 형성될 수 있다. 다른 실시예에서, 받침부(350)는 프레임(310)과 별도로 구성되어 프레임(310)에 결합될 수 있다. 카메라 홀(351)은 받침부(350)에 형성된 구멍(hole)일 수 있다. 카메라 홀(351)은 제1 받침부(350-1)에 형성된 제1 카메라 홀(351-1)과 제2 받침부(350-2)에 형성된 제2 카메라 홀(351-2)를 포함할 수 있다. 카메라 홀(351)은 카메라(340)가 사용자의 눈을 향할 수 있도록 프레임(310)에 대하여 소정 각도로 기울어지게 형성될 수 있다. 프레임(310)에 대해 기울어져 형성된 카메라 홀(351)에 카메라(340)가 삽입되어 배치되면, 카메라(340)가 사용자의 눈을 향할 수 있다.
다양한 실시예들에 따르면, 카메라(340)는 웨어러블 전자 장치(300)의 전방(예: -y축 방향)에서 받침부(350)에 형성된 카메라 홀(351)에 삽입될 수 있다. 제1 카메라 홀(351-1)에는 제1 카메라(340-1)가 삽입될 수 있고, 제2 카메라 홀(351-2)에는 제2 카메라(340-2)가 삽입될 수 있다. 일 실시예에서, 제1 카메라 홀(351-1)은 제1 받침부(350-1) 또는 제1 받침부(350-1)과 인접한 부분에서 프레임(310)에 형성될 수 있다. 제2 카메라 홀(351-2)은 제2 받침부(350-2) 또는 제2 받침부(350-2)과 인접한 부분의 프레임(310)에 형성될 수 있다.
이에 한정하는 것은 아니며, 다양한 실시예들에 따르면, 카메라(340)는 브릿지(예: 도 2의 브릿지(201))의 적어도 일부 영역에 배치되거나, 엔드 피스(예: 제1 엔드 피스(370-1)(예: 도 2의 제1 엔드 피스(230)) 및/또는 제2 엔드 피스(370-2)(예: 제2 엔드 피스(240))에 배치되거나, 및/또는 림(예: 도 2의 제1 림(210) 또는 제2 림(220))과 팀플(예: 도 2의 제1 팀플(250), 제2 팀플(260))이 연결되는 영역(360-1, 360-2)에 배치될 수 있다.
다양한 실시예들에 따르면, 웨어러블 전자 장치(300)는 카메라(340)가 카메라 홀(351)에서 유동하지 않도록 카메라(340)를 고정하기 위한 구성 요소를 포함할 수 있다. 예를 들어, 미도시 되었으나, 카메라 홀(351)에는 카메라(340)와 함께, 카메라 커버와 완충 부재가 삽입될 수도 있다. 이 경우, 카메라 커버, 카메라(340), 및 완충 부재 순으로 카메라 홀(351)에 삽입될 수 있다. 하지만 이에 한정하는 것은 아니며, 카메라 커버, 완충 부재, 및 카메라(340) 순으로 카메라 홀(351)에 삽입될 수도 있다.
다양한 실시예들에 따르면, 카메라 커버는 카메라 홀(351)에 삽입된 상태에서 받침부(350)의 외형 또는 프레임(310)의 외형과 자연스럽게 연결되는 형상을 가질 수 있다. 카메라 커버는 적어도 일부분(예: 카메라 홀(351)에 삽입된 상태에서 외부로 보여지는 부분)이 받침부(350) 및/또는 프레임(310)과 동일한 소재로 형성될 수 있다. 이에 따라, 카메라 커버가 삽입된 상태에서, 카메라 홀(351)이 형성된 부분은 다른 부분과 이질감이 없을 수 있다.
다양한 실시예들에 따르면, 완충 부재는 탄성 변형이 가능한 소재로 형성될 수 있다. 카메라 커버가 카메라 홀(351)에 삽입된 상태에서 카메라 커버와 카메라(340)를 가압하면, 완충 부재가 일부 변형되며 카메라 홀(351)에 배치된 카메라(340)를 지지할 수 있다.
도 3b는, 다양한 실시예들에 따른, 카메라(340)의 사시도이다.
도 3b를 참조하면, 카메라(340)는 기판(341), 이미지 센서(342), 필터(343), 및/또는 위상 마스크(344)를 포함할 수 있다. 이상 언급된 카메라(340)의 구성은 예시에 불과하며, 본 문서에 개시된 카메라(340)에 포함된 구성요소가 위의 구성들로 한정되는 것은 아니다.
다양한 실시예들에 따르면, 기판(341)은 예를 들어, 인쇄 회로 기판(printed circuit board; PCB)일 수 있다. 기판(341)은 카메라(340)의 이미지 센서(342)에서 생성되는 이미지 정보를 웨어러블 전자 장치(예: 도 1의 전자 장치(101), 도 2 및 도 3a의 웨어러블 전자 장치(300))의 프로세서(예: 도 1의 프로세서(120))로 전달할 수 있도록, 프로세서가 배치된 기판과 전기적으로 연결될 수 있다. 예를 들어, 유연 인쇄 회로 기판(flexible printed circuit board; FPCB)을 통해 카메라(340)의 기판(341)과 프로세서가 배치된 기판이 전기적으로 연결될 수 있다. 일 실시예에서, 프로세서는 지지 부재(예: 도 3a의 제1 지지 부재(320-1)(예: 도 2의 제1 템플(250)), 제2 지지 부재(320-2)(예: 도 2의 제2 템플(260))에 내장된 인쇄 회로 기판(예: 도 2의 제1 인쇄 회로 기판(251), 제2 인쇄 회로 기판(261))에 배치될 수 있다. 프레임(310)의 내부에 배치되어 카메라(340)가 삽입된 카메라 홀(351)까지 연장되는 제1 연결 부재(예: 유연 인쇄 회로 기판)(미도시) 및 지지 부재(320)에 내장된 인쇄 회로 기판과 연결된 제2 연결 부재(예: 유연 인쇄 회로 기판)(미도시)가 연결될 수 있다. 카메라 홀(351)에 삽입된 카메라(351)가 제1 연결 부재와 전기적으로 연결되고, 제1 연결 부재가 제2 연결 부재에 연결됨으로써, 카메라(340)는 프로세서가 배치된 인쇄 회로 기판에 전기적으로 연결될 수 있다. 일 실시예에 따르면, 프로세서가 배치된 인쇄 회로 기판과 카메라(340)는 글래스(예: 도 2의 제1 글래스(215), 제2 글래스(225) 또는 도 3a의 제1 윈도우 부재(330-1), 제2 윈도우 부재(330-2)) 상에 위치되는 투명 전극을 통해 전기적으로 연결될 수 있다.
다양한 실시예들에 따르면, 이미지 센서(342)는 위상 마스크(344) 및 필터(343)를 통하여 입사한 광을 전기적 신호로 변환할 수 있다. 이미지 센서(342)는 복수의 픽셀들을 포함할 수 있고, 각 픽셀은 입사되는 광을 전기적인 신호로 변환하는 수광 소자를 포함할 수 있다. 이미지 센서(342)는, 예를 들면, CCD(charged coupled device) 또는 CMOS(complementary metal-oxide semiconductor)와 같은 반도체 소자로 구성될 수 있다. 이미지 센서(342)는 기판(341) 상에 배치되어 기판(341)과 전기적으로 연결될 수 있다.
다양한 실시예들에 따르면, 이미지 센서(342)는 입사한 광을 전기적 신호로 변환하여 이미지 정보를 생성할 수 있다. 예를 들어, 이미지 센서(342)는 사용자의 안구 및/또는 안구의 주변부를 포함하는 영역에서 반사된 광(예: 적외선 광)을 수광하여, 안구 및/또는 안구의 주변부에 대한 이미지를 획득할 수 있다.
다양한 실시예들에 따르면, 이미지 센서(342) 상에는 필터(343)가 배치될 수 있다. 필터(343)는 입사하는 광 가운데 특정 파장의 광선만을 투과시킬 수 있다. 외부로부터 위상 마스크(344)를 투과하여 필터(343)로 입사하는 광은 다양한 파장의 광을 포함할 수 있다. 예를 들면, 적어도 하나의 광원을 통해 출력되어 사용자의 안구로부터 반사된 광과 함께 자연광 또는 외부의 광이 동시에 필터(343)로 입사할 수 있다.
다양한 실시예들에 따르면, 필터(343)는 IR 밴드패스 필터(Infrared bandpass filter)일 수 있다. 적어도 하나의 광원을 통해 출력되는 광은 적외선 광 중 태양광을 포함하지 않는 특정 파장(예: 약 850nm, 약 940nm)일 수 있다. 필터(343)는 특정 파장의 광을 투과시킬 수 있다.
다양한 실시예들에 따르면, 필터(343) 상에는 위상 마스크(344)가 배치될 수 있다. 예를 들어, 위상 마스크(344)는 필터(343)로부터 이격(345)되게 배치될 수 있다.
일 실시예에서, 위상 마스크(344)는 적어도 하나의 광원을 통해 출력되어 홍채로부터 반사된 광이 통과되면서 특정 패턴(예: point spread function; PSF)을 형성할 수 있다. 형성된 특정 패턴은, 사용자 인증을 수행하거나 또는 사용자의 시선을 추적하는 경우, 사용자의 홍채 이미지를 복원하는데 이용될 수 있다.
일 실시예에서, 위상 마스크(344)의 특정 패턴은, 점광원(point light source)의 위치에 따라, x축 및 y축 방향으로 위치가 변하고, z축 방향으로 크기 배율 값이 변하는 특성을 가질 수 있다.
일 실시예에서, 위상 마스크(344)의 크기는 이미지 센서(344)의 픽셀 사이즈 및/또는 이미지 센서(344)의 노출 시간(exposure time)에 따라 달라질 수 있다. 예를 들어, 위상 마스크(344)의 크기가 달라지는 것은, 위상 마스크(344)의 패턴의 크기(예: 배율)가 변경되는 것을 의미할 수 있다. 예를 들어, 카메라(450)의 개구 크기(aperture size)에 기반하여, 광이 들어오는 량이 결정될 수 있다. 카메라(450)의 초점 거리와 개구 크기에 기반하여, 카메라(450)의 화각(field of view)이 결정되고, 결정된 화각에 따라 위상 마스크(344)의 크기 또한 달라지기 때문에, 위상 마스크(344)의 크기는 이미지 센서(344)의 노출 시간에 따라 달라질 수 있다.
도 4는, 다양한 실시예들에 따른, 웨어러블 전자 장치(401)를 도시한 블록도(400)이다.
도 4를 참조하면, 웨어러블 전자 장치(401)(예: 도 1의 전자 장치(101), 도 2 및 도 3a의 웨어러블 전자 장치(300))는 무선 통신 회로(410)(예: 도 1의 통신 모듈(190)), 메모리(420)(예: 도 1의 메모리(130)), 센서 회로(430)(예: 도 1의 센서 모듈(176)), 디스플레이(440)(예: 도 1의 디스플레이 모듈(160)), 카메라(450)(예: 도 1의 카메라 모듈(180)), 광 출력부(460), 및/또는 프로세서(470)(예: 도 1의 프로세서(120))를 포함할 수 있다.
다양한 실시예들에 따르면, 무선 통신 회로(410)(예: 도 1의 통신 모듈(190))는 프로세서(470)의 제어 하에 웨어러블 전자 장치(401)(예: 안경형 웨어러블 전자 장치)와 적어도 하나의 외부 전자 장치(예: 서버(server), 스마트폰, PC(personal computer), PDA(personal digital assistant), 또는 액세스 포인트(access point)) 간의 직접(예: 유선) 통신 채널 또는, 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다.
다양한 실시예들에서, 메모리(420)(예: 도 1의 메모리(130))는 웨어러블 전자 장치(401)의 프로세서(470)의 처리 및 제어를 위한 프로그램(예: 도 1의 프로그램(140)), 운영체제(operating system, OS)(예: 도 1의 운영체제(142)), 다양한 어플리케이션, 및/또는 입/출력 데이터를 저장하는 기능을 수행하며, 웨어러블 전자 장치(401)의 전반적인 동작을 제어하는 프로그램을 저장할 수 있다. 메모리(420)는 웨어러블 전자 장치(401)에서 본 개시의 다양한 실시예들과 관련된 기능 처리 시 필요한 다양한 설정 정보를 저장할 수 있다.
일 실시예에서, 메모리(420)는 사용자의 생체 정보를 등록하기 위한 인스트럭션들(instructions), 사용자 인증을 수행하기 위한 인스트럭션들, 및/또는 사용자의 시선을 추적하기 위한 인스트럭션들을 저장할 수 있다. 예를 들어, 메모리(420)는 카메라(450)를 통해 획득된 사용자의 홍채에 대한 이미지(또는 안구의 주변부에 대한 이미지)를 사용자 인증 정보로서 저장할 수 있다. 메모리(420)는 적어도 하나의 광원을 통해 출력되어 홍채로부터 반사된 광을 수광하는 것에 기반하여 생성된 위상 마스크(344)의 특정 패턴(예: point spread function; PSF)을 저장할 수 있다. 위상 마스크(344)의 특정 패턴은, 사용자 인증을 수행하거나 또는 사용자 시선을 추적하는 경우 홍채에 대한 이미지를 복원하는 데 이용될 수 있다.
다양한 실시예들에서, 센서 회로(430)(예: 도 1의 센서 모듈(176))는 물리량을 계측하거나 웨어러블 전자 장치(401)의 상태를 검출하여, 이에 대응하는 전기적 신호 또는 데이터 값을 생성할 수 있다. 센서 회로(430)는 예컨대, 압력 센서, 근접 센서, 생체 센서, 가속도 센서, 지자계 센서, 자이로 센서, 마그네틱 센서, 및 제스처 센서 중 적어도 하나를 포함할 수 있다.
다양한 실시예들에서, 센서 회로(430)는 적어도 하나의 센서(예: 압력 센서, 근접 센서, 생체 센서, 가속도 센서, 지자계 센서, 및/또는 자이로 센서)를 통해 사용자가 웨어러블 전자 장치(401)를 착용하였는지 여부 및/또는 웨어러블 전자 장치(401)의 착용 상태를 검출할 수 있다.
다양한 실시예들에서, 센서 회로(430)는 거리 센서를 포함할 수 있다. 예를 들어, 센서 회로(430)는 거리 센서를 이용하여 이미지 센서(342)와 사용자의 안구(또는 홍채) 간의 거리 정보를 획득할 수 있다. 거리 센서는 ToF(time of flight) 센서, 레이저(laser) AF 센서, 및 레인징 센서(ranging sensor) 중 적어도 하나를 포함할 수 있다.
다양한 실시예들에서, 디스플레이(440)는 프로세서(470)의 제어 하에 영상을 표시할 수 있다. 예를 들어, 디스플레이(440)는 글래스(예: 도 2의 제1 글래스(215), 제2 글래스(225)) 또는 윈도우 부재(예: 도 3a의 제1 윈도우 부재(330-1), 제2 윈도우 부재(330-2))일 수 있다.
다양한 실시예들에서, 카메라(450)(예: 도 1의 카메라 모듈(180))는 도 3b의 카메라(340)일 수 있다. 예를 들어, 카메라(450)는 기판(341), 이미지 센서(342), 필터(343), 및/또는 위상 마스크(344)를 포함할 수 있다.
다양한 실시예들에서, 광 출력부(460)는 적어도 하나의 광원을 통해 광을 출력할 수 있다. 예를 들어, 출력되는 광은 일정한 패턴(pattern)(예: 광점(light spot)이 특정한 형상을 이루는 패턴, 격자무늬 패턴, 또는 동심원 무늬 패턴)이 존재하는 구조형 광(structured light)일 수 있다. 다양한 실시예들에 따르면, 광 출력부(460)는 사용자의 안구에 광(예: 태양광을 포함하지 않는 특정 파장의 광(예: 약 850nm, 약 940nm))을 출력할 수 있다.
다양한 실시예들에서, 프로세서(470)(예: 도 1의 프로세서(120))는 예를 들어, 마이크로 컨트롤러 유닛(micro controller unit, MCU)을 포함할 수 있고, 운영 체제(OS) 또는 임베디드 소프트웨어 프로그램을 구동하여 프로세서(470)에 연결된 다수의 하드웨어 구성요소들을 제어할 수 있다. 프로세서(470)는, 예를 들어, 메모리(420)에 저장된 인스트럭션들(예: 도 1의 프로그램(140))에 따라 다수의 하드웨어 구성요소들을 제어할 수 있다.
일 실시예에서, 프로세서(470)는 사용자의 홍채를 등록하기 위한 입력이 검출되면, 광 출력부(460)를 제어하여 적어도 하나의 광원을 통해 광을 출력할 수 있다. 적어도 하나의 광원을 통해 출력되어, 홍채로부터 반사된 광은 위상 마스크(344)를 통과하면서 특정 패턴(예: point spread function; PSF)을 형성할 수 있다. 이미지 센서(예: 도 3b의 이미지 센서(342))는 위상 마스크(344)를 통과하면서 형성된 특정 패턴이 입사되는 것에 기반하여, 홍채에 대한 기준 이미지를 획득할 수 있다. 프로세서(470)는 획득된 홍채에 대한 기준 이미지를 메모리(420)에 저장할 수 있다.
일 실시예에서, 프로세서(470)는 형성된 위상 마스크(344)의 특정 패턴, 이미지 센서(342)를 구성하는 각 픽셀과 홍채에 대한 기준 이미지를 구성하는 각 픽셀 간 거리 정보, 및/또는 거리 정보에 따른 위상 마스크(344)의 패턴 정보를 메모리(420)에 저장할 수 있다.
일 실시예에서, 프로세서(470)는 웨어러블 전자 장치(401)의 착용이 검출되면, 홍채에 대한 제1 홍채 이미지를 획득할 수 있다. 예를 들어, 프로세서(470)는 적어도 하나의 광원을 통해 출력되어 홍채로부터 반사된 광이 위상 마스크(344)를 통과하면서 형성된 특정 패턴에 기반하여, 홍채에 대한 제1 홍채 이미지를 획득할 수 있다.
일 실시예에서, 프로세서(470)는 홍채 인식의 정확도가 높아지도록 하기 위한, 홍채 응시 방향을 가이드하는 인디케이터를 디스플레이(440)의 일부에 표시할 수 있다.
일 실시예에서, 프로세서(470)는 메모리(420)에 저장된 홍채에 대한 기준 이미지를 위상 마스크(344)의 특정 패턴을 이용하여 제2 홍채 이미지로 복원할 수 있다. 예를 들어, 메모리(420)에 저장된 홍채에 대한 기준 이미지는 로우 이미지(raw image)일 수 있다. 프로세서(470)는 위상 마스크(344)의 특정 패턴을 홍채에 대한 로우 이미지에 적용하여 제2 홍채 이미지로 복원할 수 있다. 프로세서(470)는 획득된 제1 홍채 이미지와 복원된 제2 홍채 이미지를 비교하고, 비교 결과에 기반하여 사용자 인증(예: 홍채 인증)을 수행할 수 있다.
일 실시예에서, 프로세서(470)는 이미지 센서(342)를 통해 안구의 주변부에 대한 이미지를 획득할 수 있다. 예를 들어, 적어도 하나의 광원을 통해 출력되어 안구의 주변부로부터 반사된 광은 위상 마스크(344)를 통과하면서 특정 패턴을 형성할 수 있다. 프로세서(470)는 위상 마스크(344)를 통과하면서 형성된 특정 패턴이 이미지 센서(342)로 입사되는 것에 기반하여, 안구의 주변부에 대한 이미지를 획득할 수 있다. 프로세서(470)는 획득된 이미지를 위상 마스크(344)의 특정 패턴을 이용하여 안구의 주변부에 대한 3차원의 제1 이미지를 획득할 수 있다. 프로세서(470)는 메모리(420)에 저장된 안구의 주변부에 대한 기준 이미지를 위상 마스크(344)의 특정 패턴에 기반하여, 3차원의 제2 이미지로 복원할 수 있다. 프로세서(470)는 3차원의 제1 이미지에서 안구의 주변부에 대한 형상과 3차원의 제2 이미지에서 안구의 주변부에 대한 형상을 비교하고, 비교 결과에 기반하여, 사용자 인증을 수행할 수 있다.
일 실시예에서, 프로세서(470)는 사용자 인증을 수행한 후, 이미지 센서(342)를 통해 홍채에 대한 이미지를 획득하고, 이미지 센서(342)와 홍채 간 거리를 측정할 수 있다. 프로세서(470)는 메모리(420)에 저장된 홍채에 대한 기준 이미지에 기반하여, 이미지 센서(342)와 홍채 간 기준 거리를 획득할 수 있다. 프로세서(470)는 측정된 거리에 따른 획득된 홍채에 대한 이미지에서 확인된 상기 홍채의 중심에 대한 위치에 대응하는 픽셀의 위치 정보와 획득된 기준 거리에 따른 홍채에 대한 기준 이미지에서 확인된 상기 홍채의 중심에 대한 위치에 대응하는 픽셀의 위치 정보를 비교하고, 홍채의 중심의 위치가 변경되는 것을 확인하여, 사용자의 시선을 추적할 수 있다. 프로세서(470)는 동공의 중심 정보, 동공의 크기 정보, 및/또는 홍채의 크기 정보를 획득하고, 이에 기반하여 사용자의 시선 위치를 보정할 수 있다.
다양한 실시예들에 따른 웨어러블 전자 장치(401)는, 사용자의 안구 영역에 대응되는 디스플레이(440), 위상 마스크(344) 및 이미지 센서(342)를 포함하며, 상기 안구 영역을 촬영하는 카메라(450), 적어도 하나의 광원을 통해 상기 안구 영역으로 광을 출력하는 광 출력부(460), 메모리(420), 및 상기 디스플레이(440), 상기 카메라(4540), 상기 광 출력부(460), 및 상기 메모리(420)와 작동적으로 연결된 프로세서(470)를 포함하며, 상기 프로세서(470)는, 상기 사용자의 홍채를 등록하기 위한 입력이 검출되면, 상기 적어도 하나의 광원을 통해 광을 출력하고, 상기 적어도 하나의 광원을 통해 출력되어 상기 홍채로부터 반사된 광이 상기 위상 마스크(344)를 통과하면서 특정 패턴을 형성하고, 상기 형성된 특정 패턴에 기반하여, 상기 홍채에 대한 기준 이미지를 획득하고, 및 상기 획득된 홍채에 대한 기준 이미지를 상기 메모리(420)에 저장하도록 설정될 수 있다.
다양한 실시예들에서, 상기 프로세서(470)는, 상기 위상 마스크(344)를 통과하면서 형성된 특정 패턴이 상기 이미지 센서(342)에 입사되는 것에 기반하여, 상기 홍채에 대한 기준 이미지를 획득하도록 설정될 수 있다.
다양한 실시예들에서, 상기 프로세서(470)는, 상기 형성된 위상 마스크(344)의 특정 패턴과 상기 사용자를 매핑하여 상기 메모리(420)에 저장하도록 설정될 수 있다.
다양한 실시예들에서, 상기 프로세서(470)는, 상기 이미지 센서(3432)를 구성하는 각 픽셀과 상기 홍채에 대한 기준 이미지를 구성하는 각 픽셀 간 거리 정보를 상기 메모리(420)에 저장하도록 설정될 수 있다.
다양한 실시예들에 따른 상기 메모리(420)에 저장된 홍채에 대한 기준 이미지는, 로우 이미지(raw image)일 수 있다.
다양한 실시예들에 따른 웨어러블 전자 장치(401)는, 사용자의 안구 영역에 대응되는 디스플레이(440), 위상 마스크(344) 및 이미지 센서(342)를 포함하며, 상기 안구 영역을 촬영하는 카메라(450), 적어도 하나의 광원을 통해 상기 안구 영역으로 광을 출력하는 광 출력부(460), 메모리(420), 및 상기 디스플레이(440), 상기 카메라(450), 상기 광 출력부(460), 및 상기 메모리(420)와 작동적으로 연결된 프로세서(470)를 포함하며, 상기 프로세서(470)는, 상기 웨어러블 전자 장치(401)의 착용이 검출되면, 상기 적어도 하나의 광원을 통해 광을 출력하고, 상기 적어도 하나의 광원을 통해 출력되어 홍채로부터 반사된 광이 상기 위상 마스크(344)를 통과하면서 형성된 특정 패턴에 기반하여, 상기 홍채에 대한 제1 홍채 이미지를 획득하고, 상기 메모리(420)에 저장된 상기 홍채에 대한 기준 이미지를 상기 위상 마스크(344)의 상기 특정 패턴을 이용하여 제2 홍채 이미지로 복원하고, 상기 획득된 제1 홍채 이미지와 상기 복원된 제2 홍채 이미지를 비교하고, 및 상기 비교 결과에 기반하여, 사용자 인증을 수행하도록 설정될 수 있다.
다양한 실시예들에서, 상기 프로세서(470)는, 상기 웨어러블 전자 장치(401)의 착용이 검출되면, 상기 홍채의 응시 방향을 가이드하기 위한 인디케이터를 상기 디스플레이(440)의 일부에 표시하도록 설정될 수 있다.
다양한 실시예들에서, 상기 프로세서(470)는, 상기 위상 마스크(344)의 상기 특정 패턴을 이용하여, 상기 제2 홍채 이미지를 지정된 속도 이내에서 고해상도의 이미지로 복원하도록 설정될 수 있다.
다양한 실시예들에서, 상기 프로세서(470)는, 인공지능 방식으로, 상기 홍채에 대한 기준 이미지를 상기 위상 마스크(344)의 특정 패턴을 이용하여 상기 제2 홍채 이미지로 복원하는 학습을 수행하고, 및 상기 학습된 학습 모델에 기반하여 상기 제2 홍채 이미지를 복원하도록 설정될 수 있다.
다양한 실시예들에서, 상기 프로세서(470)는, 상기 이미지 센서(342)를 구성하는 각 픽셀과 상기 제1 홍채 이미지를 구성하는 각 픽셀 간의 제1 거리 정보에 따른 상기 위상 마스크(344)의 제1 패턴과 상기 이미지 센서(342)를 구성하는 각 픽셀과 상기 제2 홍채 이미지를 구성하는 각 픽셀 간의 제2 거리 정보에 따른 상기 위상 마스크(344)의 제2 패턴을 비교하고, 및 상기 제1 패턴과 제2 패턴을 비교한 결과에 기반하여, 상기 사용자 인증을 수행하도록 설정될 수 있다.
다양한 실시예들에서, 상기 프로세서(470)는, 상기 이미지 센서(342)를 통해 안구의 주변부에 대한 이미지를 획득하고, 상기 획득된 안구의 주변부에 대한 이미지를 상기 위상 마스크(344)의 상기 특정 패턴에 기반하여, 상기 안구의 주변부에 대한 3차원의 제1 이미지로 획득하고, 상기 메모리(420)에 저장된 상기 안구의 주변부에 대한 기준 이미지를 상기 위상 마스크(344)의 상기 특정 패턴에 기반하여, 3차원의 제2 이미지로 복원하고, 상기 3차원의 제1 이미지에서 상기 안구의 주변부에 대한 형상과 상기 3차원의 제2 이미지에서 상기 안구의 주변부에 대한 형상을 비교하고, 및 상기 비교 결과에 기반하여, 제2 사용자 인증을 수행하도록 설정될 수 있다.
다양한 실시예들에서, 상기 프로세서(470)는, 상기 사용자 인증을 수행한 후, 상기 이미지 센서(342)를 통해 상기 홍채에 대한 이미지를 획득하고, 상기 이미지 센서(342)와 상기 홍채 간 거리를 측정하고, 상기 메모리(420)에 저장된 상기 홍채에 대한 기준 이미지에 기반하여, 상기 이미지 센서(342)와 상기 홍채 간 기준 거리를 획득하고, 상기 측정된 거리에 따른 상기 획득된 홍채에 대한 이미지에서 확인된 상기 홍채의 중심에 대한 제1 위치에 대응하는 픽셀의 제1 위치 정보와 상기 획득된 기준 거리에 따른 상기 기준 이미지에서 확인된 상기 홍채의 중심에 대한 제2 위치에 대응하는 픽셀의 제2 위치 정보를 비교하고, 및 상기 비교 결과에 기반하여, 상기 홍채의 중심의 위치가 변경되는 것을 확인하여 상기 사용자의 시선을 추적하도록 설정될 수 있다.
다양한 실시예들에서, 상기 프로세서(470)는, 상기 위상 마스크(344)의 상기 특정 패턴을 이용하여, 상기 획득된 상기 홍채에 대한 이미지를 지정된 속도를 초과하는 속도에서 저해상도의 이미지로 복원하고, 및 상기 지정된 속도를 초과하는 속도에서 복원된 저해상도의 이미지에 기반하여, 상기 사용자의 시선을 추적하도록 설정될 수 있다.
도 5는, 다양한 실시예들에 따른, 렌즈리스 카메라를 포함하는 웨어러블 전자 장치(401)의 사용자의 홍채를 등록하는 방법을 설명하기 위한 흐름도(500)이다.
도 5를 참조하면, 웨어러블 전자 장치(예: 도 4의 웨어러블 전자 장치(401))의 프로세서(예: 도 4의 프로세서(470))는 510동작에서, 사용자의 홍채를 등록하기 위한 입력이 검출되면, 적어도 하나의 광원을 통해 광을 출력할 수 있다.
일 실시예에서, 웨어러블 전자 장치(401)는 복수의 광원들을 포함할 수 있으며, 복수의 광원들은 제1 림(예: 도 2의 제1 림(210)) 및 제2 림(예: 도 2의 제2 림(220)) 각각에 지정된 간격으로 배치될 수 있다.
일 실시예에서, 사용자의 홍채를 등록하기 위한 입력이 검출되면, 프로세서(470)는 광 출력부(예: 도 4의 광 출력부(460))를 제어하여, 제1 림(210) 및 제2 림(220) 각각에 지정된 간격으로 배치된 복수의 광원들 중 적어도 하나의 광원을 통해 광이 출력되도록 할 수 있다.
일 실시예에서, 적어도 하나의 광원을 통해 출력되는 광은 태양광을 포함하지 않는 특정 파장의 광(예: 약 850nm, 약 940nm)을 포함할 수 있다.
일 실시예에서, 프로세서(470)는 520동작에서, 적어도 하나의 광원을 통해 출력되어 홍채로부터 반사된 광이 위상 마스크(예: 도 3b의 위상 마스크(344))를 통과하면서 특정 패턴을 생성할 수 있다. 프로세서(470)는 530동작에서, 생성된 특정 패턴에 기반하여, 홍채에 대한 기준 이미지를 획득할 수 있다.
예를 들어, 위상 마스크(344)는 홍채로부터 반사된 광을 수광할 수 있다. 위상 마스크(344)에 수광된 광은 위상 마스크(344)를 통과하면서 특정 패턴(예: point spread function; PSF)을 형성할 수 있다. 이미지 센서(예: 도 3b의 이미지 센서(342))는 위상 마스크(344)를 통과하면서 형성된 특정 패턴이 입사되는 것에 기반하여, 홍채에 대한 기준 이미지를 획득할 수 있다.
일 실시예에서, 프로세서(470)는 540동작에서, 획득된 홍채에 대한 기준 이미지를 메모리(예: 도 4의 메모리(420))에 저장할 수 있다.
이에 한정하는 것은 아니며, 프로세서(470)는 형성된 위상 마스크(344)의 특정 패턴을 메모리(420)에 더 저장할 수 있다. 예를 들어, 프로세서(470)는 형성된 위상 마스크(344)의 특정 패턴과 사용자 정보를 매핑하여 메모리(420)에 저장할 수 있다. 다른 예를 들어, 웨어러블 전자 장치(401)를 이용하는 사용자는 다수일 수 있다. 다수의 사용자들은 상이한 홍채를 가지기 때문에, 형성되는 위상 마스크(344)의 특정 패턴 또한 상이할 수 있다. 프로세서(470)는 사용자 별로 위상 마스크(344)의 특정 패턴을 메모리(420)에 저장할 수 있다.
일 실시예에서, 프로세서(470)는 이미지 센서(342)를 구성하는 각 픽셀과 홍채에 대한 기준 이미지를 구성하는 각 픽셀 간 거리 정보 및, 거리 정보에 따른 위상 마스크(344)의 패턴 정보를 메모리(420)에 저장할 수 있다.
다양한 실시예들에 따른 도 5에서, 사용자의 홍채에 대한 기준 이미지를 획득하여 저장하는 것으로 설명하였으나, 이에 한정하는 것은 아니다. 예를 들어, 프로세서(470)는 사용자의 안구의 주변부에 대한 기준 이미지를 획득하여 저장할 수 있다.
다양한 실시예들에서, 메모리(420)에 저장된 홍채에 대한 기준 이미지는 홍채에 대한 로우 이미지(raw image)일 수 있다. 메모리(420)에 저장된 홍채에 대한 기준 이미지가 로우 이미지이고, 로우 이미지를 복원하기 위하여, 특정 패턴(예: reference PSF pattern)을 이용할 수 있다. 로우 이미지를 복원하기 위해서는 특정 패턴이 필요하기 때문에, 특정 패턴을 이용한 로우 이미지를 복원하기 전에는 로우 이미지가 어떤 이미지인지 판별할 수 없다. 이에 따라, 홍채에 대한 로우 이미지가 해킹되더라도, 특정 패턴 없이는 홍채에 대한 로우 이미지를 복원할 수 없기 때문에, 사용자 인증에 대한 보안성을 높일 수 있다.
도 6은, 다양한 실시예들에 따른, 렌즈리스 카메라를 포함하는 웨어러블 전자 장치(401)의 사용자의 홍채를 이용한 사용자 인증 방법을 설명하기 위한 흐름도(600)이다.
도 6을 참조하면, 웨어러블 전자 장치(예: 도 4의 웨어러블 전자 장치(401))의 프로세서(예: 도 4의 프로세서(470))는 610동작에서, 웨어러블 전자 장치(401)의 착용이 검출되면, 적어도 하나의 광원을 통해 광을 출력할 수 있다.
예를 들어, 프로세서(470)는 센서 회로(예: 도 4의 센서 회로(430))에 포함된 적어도 하나의 센서(예: 압력 센서, 근접 센서, 생체 센서, 가속도 센서, 지자계 센서, 및/또는 자이로 센서)를 통해 사용자가 웨어러블 전자 장치(401)를 착용하였는지 여부 및/또는 웨어러블 전자 장치(401)의 착용 상태를 검출할 수 있다.
일 실시예에서, 프로세서(470)는 센서 회로(430)를 통해 웨어러블 전자 장치(401)의 착용이 검출되면, 광 출력부(예: 도 4의 광 출력부(460))를 제어하여, 제1 림(예: 도 2의 제1 림(210)) 및 제2 림(예: 도 2의 제2 림(220)) 각각에 지정된 간격으로 배치된 복수의 광원들 중 적어도 하나의 광원을 통해 광(예: 태양광을 포함하지 않는 특정 파장의 광(예: 약 850nm, 약 940nm))이 출력되도록 할 수 있다.
일 실시예에서, 프로세서(470)는 620동작에서, 적어도 하나의 광원을 통해 출력되어 홍채로부터 반사된 광이 위상 마스크(예: 도 3b의 위상 마스크(344))를 통과하면서 형성된 특정 패턴에 기반하여, 홍채에 대한 제1 홍채 이미지를 획득할 수 있다.
예를 들어, 홍채로부터 반사된 광은 위상 마스크(344)를 통과하면서 특정 패턴(예: point spread function; PSF)을 형성할 수 있다. 이미지 센서(예: 도 3b의 이미지 센서(342))는 위상 마스크(344)를 통과하면서 형성된 특정 패턴이 입사되는 것에 기반하여, 홍채에 대한 제1 홍채 이미지를 획득할 수 있다.
다양한 실시예들에서, 프로세서(470)는 홍채 응시 방향을 가이드하기 위한 인디케이터를 디스플레이(예: 도 4의 디스플레이(440))의 일부에 표시할 수 있다. 예를 들어, 프로세서(470)는 홍채 인식을 수행하는 경우, 홍채 응시 방향을 가이드하기 위한 인디케이터를 표시하여, 사용자가 인디케이터를 바라보도록 함으로써 홍채 인식의 정확도가 높아지도록 할 수 있다. 홍채 응시 방향을 가이드하기 위한 인디케이터는, 특정 포인트, 특정 도형(예: 사각형 또는 다른 모양의 도형), 음영, 애니메이션, 이모티콘, 및/또는 아이콘 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 프로세서(470)는 630동작에서, 메모리(예: 도 4의 메모리(420))에 저장된 홍채에 대한 기준 이미지를 위상 마스크(344)의 특정 패턴을 이용하여 제2 홍채 이미지로 복원할 수 있다. 예를 들어, 메모리(420)에 저장된 홍채에 대한 기준 이미지는 로우 이미지(raw image)일 수 있다. 프로세서(470)는 위상 마스크(344)의 특정 패턴을 홍채에 대한 로우 이미지에 적용하여 제2 홍채 이미지로 복원할 수 있다.
일 실시예에서, 메모리(420)에 저장된 홍채에 대한 기준 이미지를 위상 마스크(344)의 특정 패턴을 이용하여 제2 홍채 이미지로 복원하는 동작은, 저속(예: 약 1초 이내)으로 고해상도의 이미지(예: 해상도 640x640의 이미지)로 복원하는 동작일 수 있다.
다양한 실시예들에서, 프로세서(470)는 인공지능 방식 예를 들어, 머신 러닝(machine learning)(예: 딥 러닝(deep learning) 또는 뉴럴 네트워크 알고리즘(neural network algorithm))을 이용하여, 사용자의 홍채에 대한 기준 이미지를 제2 홍채 이미지로 복원할 수 있다. 예를 들어, 프로세서(470)는 인공지능 방식으로, 메모리(420)에 홍채에 대한 기준 이미지를 위상 마스크(344)의 특정 패턴을 이용하여 제2 홍채 이미지로 복원하는 학습을 수행할 수 있다. 학습된 학습 모델에 기반하여 제2 홍채 이미지를 복원함으로써, 저속으로 고해상도의 이미지로 복원하는 시간(예: 연산 시간)은 단축될 수 있다.
일 실시예에서, 프로세서(470)는 640동작에서, 획득된 제1 홍채 이미지와 복원된 제2 홍채 이미지를 비교하고, 비교 결과에 기반하여 사용자 인증(예: 홍채 인증)을 수행할 수 있다.
예를 들어, 이미지 센서(342)를 구성하는 각 픽셀과 홍채 간 거리 정보는 메모리(420)에 기 저장되어 있을 수 있다. 다른 예를 들어, 센서 회로(430)는 거리 센서를 포함할 수 있으며, 거리 센서를 이용하여 이미지 센서(342)와 사용자의 홍채 간의 거리 정보를 획득할 수 있다. 또 다른 예를 들어, 메모리(420)에는 안구의 크기 정보가 기 저장되어 있을 수 있다. 안구의 크기 정보는 통계학적으로 분석된 평균적인 사람의 안구의 크기 정보를 포함할 수 있다. 프로세서(470)는 메모리(420)에 저장된 안구의 크기 정보와 사용자의 안구 크기 정보를 비교한 것에 기반하여, 이미지 센서(342)와 사용자의 홍채 간의 거리 정보를 획득할 수 있다.
일 실시예에서, 프로세서(470)는 이미지 센서(342)를 구성하는 각 픽셀과 제1 홍채 이미지를 구성하는 각 픽셀 간의 제1 거리 정보에 따른 위상 마스크(344)의 제1 패턴과 이미지 센서(342)를 구성하는 각 픽셀과 제2 홍채 이미지를 구성하는 각 픽셀 간의 제2 거리 정보에 따른 위상 마스크(344)의 제2 패턴을 비교할 수 있다. 프로세서(470)는 제1 패턴과 제2 패턴을 비교한 결과에 기반하여, 사용자 인증(예: 홍채 인증)을 수행할 수 있다. 예를 들어, 제1 패턴과 제2 패턴의 매칭 스코어(예: 매칭률 또는 유사도)가 지정된 스코어를 초과하면, 프로세서(470)는 사용자 인증을 성공한 것으로 결정할 수 있다. 제1 패턴과 제2 패턴의 매칭 스코어(예: 매칭률 또는 유사도)가 지정된 스코어 이하이면, 프로세서(470)는 사용자 인증을 실패한 것으로 결정할 수 있다.
도 7은, 다양한 실시예들에 따른, 렌즈리스 카메라를 포함하는 웨어러블 전자 장치(401)의 사용자의 안구의 주변부를 이용한 사용자 인증 방법을 설명하기 위한 흐름도(700)이다.
도 7을 참조하면, 웨어러블 전자 장치(예: 도 4의 웨어러블 전자 장치(401))의 프로세서(예: 도 4의 프로세서(470))는 710동작에서, 이미지 센서(예: 도 3b의 이미지 센서(342))를 통해 안구의 주변부에 대한 이미지를 획득할 수 있다.
예를 들어, 프로세서(470)는 광 출력부(예: 도 4의 광 출력부(460))를 제어하여 적어도 하나의 광원을 통해 광(예: 태양광을 포함하지 않는 특정 파장의 광(예: 약 850nm, 약 940nm))을 출력하도록 할 수 있다. 적어도 하나의 광원을 통해 출력되어 안구의 주변부로부터 반사된 광은 위상 마스크(예: 도 3b의 위상 마스크(344))를 통과하면서 특정 패턴을 형성할 수 있다. 프로세서(470)는 위상 마스크(344)를 통과하면서 형성된 특정 패턴이 이미지 센서(예: 도 3b의 이미지 센서(342))로 입사되는 것에 기반하여, 안구의 주변부에 대한 이미지를 획득할 수 있다.
일 실시예에서, 프로세서(470)는 720동작에서, 획득된 안구의 주변부에 대한 이미지를 위상 마스크(344)의 특정 패턴에 기반하여 안구의 주변부에 대한 3차원의 제1 이미지로 획득할 수 있다.
일 실시예에서, 프로세서(470)는 730동작에서, 메모리(예: 도 4의 메모리(420))에 저장된 안구의 주변부에 대한 기준 이미지를 위상 마스크(344)의 특정 패턴에 기반하여, 3차원의 제2 이미지로 복원할 수 있다. 예를 들어, 메모리(420)에 저장된 안구의 주변부에 대한 기준 이미지는 로우 이미지(raw image)일 수 있으며, 안구의 주변부에 대한 로우 이미지는 위상 마스크(344)의 특정 패턴에 기반하여 3차원의 제2 이미지로 복원될 수 있다. 복원된 3차원의 제2 이미지는 지정된 해상도의 이미지(예: 해상도 100x100x100의 이미지 또는 해상도 50x50x50의 이미지)를 가질 수 있다.
일 실시예에서, 프로세서(470)는 740동작에서, 3차원의 제1 이미지에서 안구의 주변부에 대한 형상과 3차원의 제2 이미지에서 안구의 주변부에 대한 형상을 비교할 수 있다. 프로세서(470)는 750동작에서, 비교 결과에 기반하여, 사용자 인증을 수행할 수 있다. 예를 들어, 3차원의 제1 이미지에서 안구의 적어도 일부에 대한 형상과 3차원의 제2 이미지에서 안구의 적어도 일부에 대한 형상이 일치하는 경우, 프로세서(470)는 사용자 인증을 수행할 수 있다. 예를 들어, 3차원의 제1 이미지에서 안구의 적어도 일부에 대한 형상과 3차원의 제2 이미지에서 안구의 적어도 일부에 대한 형상의 매칭 스코어(예: 매칭률 또는 유사도)가 지정된 스코어를 초과하면, 프로세서(470)는 사용자 인증을 성공한 것으로 결정할 수 있다. 3차원의 제1 이미지에서 안구의 적어도 일부에 대한 형상과 3차원의 제2 이미지에서 안구의 적어도 일부에 대한 형상의 매칭 스코어(예: 매칭률 또는 유사도)가 지정된 스코어 이하이면, 프로세서(470)는 사용자 인증을 실패한 것으로 결정할 수 있다.
다양한 실시예들에 따른 도 7은, 전술한 도 6의 추가적인 동작일 수 있다. 예를 들어, 전술한 도 6의 실시예에 따른 홍채를 이용한 사용자 인증을 수행한 후, 도 7의 실시예에 따라 추가적으로 안구의 주변부를 이용한 사용자 인증을 더 수행할 수 있다. 예를 들어, 다양한 실시예들에서, 전술한 도 6의 실시예에 따라 사용자 별로 홍채가 상이할 뿐만 아니라, 안구 및 안구의 주변부에 대한 형상 또한 상이할 수 있다. 이를 고려하여, 프로세서(470)는 이미지 센서(344)로부터 지정된 거리 내(예: 약 110mm 내)의 사용자의 안구의 주변부에 대한 이미지를 획득하고, 획득된 사용자의 안구의 주변부에 대한 이미지를 3D 이미지로 복원하여 사용자 인증을 수행함으로써, 보안성을 강화할 수 있다.
이에 한정하는 것은 아니며, 다른 실시예에서, 도 6의 실시예에 따른 홍채를 이용한 사용자 인증을 실패한 경우, 도 7의 실시예에 따른 안구의 주변부를 이용한 사용자 인증 동작을 수행할 수 있다.
또 다른 실시예에서, 도 7의 실시예는 도 6의 실시예와는 독립적으로 수행될 수 있다. 예를 들어, 인증 모드에 기반하여, 도 6의 실시예에 따른 홍채를 이용한 사용자 인증 동작 또는 도 7의 실시예에 따른 안구의 주변부를 이용한 사용자 인증 동작이 수행될 수 있다. 인증 모드는 제1 인증 모드 및 제2 인증 모드를 포함할 수 있다.
일 실시예에서, 제1 인증 모드는 보안 모드로, 금융 어플리케이션, 결제 정보(예: 카드 번호, 유효기간), 또는 보안성이 요구되는 정보를 저장 또는 관리할 수 있는 모드일 수 있다. 제1 인증 모드로 동작하는 경우, 프로세서(470)는 도 6의 실시예에 따른 홍채를 이용한 사용자 인증을 수행할 수 있다.
일 실시예에서, 제2 인증 모드는 일반 모드로, 잠금 화면을 해제, 웹 사이트에 로그인하는 모드일 수 있다. 제2 인증 모드로 동작하는 경우, 프로세서(470)는 도 7의 실시예에 따른 안구의 주변부를 이용한 사용자 인증을 수행할 수 있다.
도 8은, 다양한 실시예들에 따른, 홍채 응시 방향을 가이드하기 위한 인디케이터를 표시하는 방법을 설명하기 위한 도면(800)이다.
도 8을 참조하면, 웨어러블 전자 장치(예: 도 4의 웨어러블 전자 장치(401))의 프로세서(예: 도 4의 프로세서(470))는 홍채 응시 방향을 가이드하기 위한 인디케이터를 디스플레이(예: 도 4의 디스플레이(440))의 일부에 표시할 수 있다. 예를 들어, 프로세서(470)는 디스플레이(440)의 일부에 홍채 응시 방향을 가이드하기 위한 인디케이터를 표시하여, 사용자가 인디케이터를 바라보도록 할 수 있다. 사용자가 인디케이터를 바라봄에 따라, 프로세서(470)가 홍채를 인식하는 정확도가 높아질 수 있다.
예를 들어, 참조번호 <810>에 도시된 바와 같이, 프로세서(470)는 디스플레이(440)의 제1 지점(811)에 홍채 응시 방향을 가이드하기 위한 인디케이터를 표시할 수 있다. 디스플레이(440)의 제1 지점(811)에 홍채 응시 방향을 가이드하기 위한 인디케이터를 표시함으로써, 사용자의 눈(801)이 제1 지점(811)에 대응하는 제1 방향(815)을 바라보도록 할 수 있다. 사용자의 눈(801)이 제1 지점(811)에 대응하는 제1 방향(815)을 바라보는 경우, 프로세서(470)는 사용자의 홍채에 대한 이미지를 획득할 수 있다.
다른 예를 들어, 참조번호 <830>에 도시된 바와 같이, 프로세서(470)는 디스플레이(440)의 제2 지점(831)에 홍채 응시 방향을 가이드하기 위한 인디케이터를 표시할 수 있다. 디스플레이(440)의 제2 지점(831)에 홍채 응시 방향을 가이드하기 위한 인디케이터를 표시함으로써, 사용자의 눈(801)이 제2 지점(831)에 대응하는 제2 방향(835)을 바라보도록 할 수 있다. 사용자의 눈(801)이 제2 지점(831)에 대응하는 제2 방향(835)을 바라보는 경우, 프로세서(470)는 사용자의 홍채에 대한 이미지를 획득할 수 있다.
또 다른 예를 들어, 참조번호 <850>에 도시된 바와 같이, 프로세서(470)는 디스플레이(440)의 제3 지점(851)에 홍채 응시 방향을 가이드하기 위한 인디케이터를 표시할 수 있다. 디스플레이(440)의 제3 지점(851)에 홍채 응시 방향을 가이드하기 위한 인디케이터를 표시함으로써, 사용자의 눈(801)이 제3 지점(851)에 대응하는 제3 방향(855)을 바라보도록 할 수 있다. 사용자의 눈(801)이 제3 지점(851)에 대응하는 제3 방향(855)을 바라보는 경우, 프로세서(470)는 사용자의 홍채에 대한 이미지를 획득할 수 있다.
다양한 실시예들에서, 디스플레이(440)의 일부 지점(예: 제1 지점(811), 제2 지점(831), 또는 제3 지점(851))에 홍채 응시 방향을 가이드하기 위한 인디케이터를 표시하고, 사용자의 눈(801)이 인디케이터를 바라보는 경우 사용자의 홍채에 대한 이미지를 획득함으로써, 홍채를 인식하는 정확도가 높아질 수 있다.
다양한 실시예들에서, 홍채 응시 방향을 가이드하기 위한 인디케이터는, 카메라(450)가 배치된 위치 예를 들어, 웨어러블 전자 장치(401)의 받침부(예: 도 3a의 받침부(350))에 인접한 디스플레이(440)의 지점에 표시될 수 있다.
다양한 실시예들에 따른 도 8에서, 홍채 응시 방향을 가이드하기 위한 인디케이터를 특정 포인트(예: 지점)로 설명하였으나, 이에 한정하는 것은 아니다. 예를 들어, 홍채 응시 방향을 가이드하기 위한 인디케이터는, 특정 도형(예: 사각형 또는 다른 모양의 도형), 음영, 애니메이션, 이모티콘, 및/또는 아이콘 중 적어도 하나를 포함할 수 있다.
도 9는, 다양한 실시예들에 따른, 렌즈리스 카메라를 포함하는 웨어러블 전자 장치(401)의 사용자의 시선을 추적하는 방법을 설명하기 위한 흐름도(900)이다.
도 9를 참조하면, 웨어러블 전자 장치(예: 도 4의 웨어러블 전자 장치(401))의 프로세서(예: 도 4의 프로세서(470))는 910동작에서, 이미지 센서(예: 도 3b의 이미지 센서(342))를 통해 홍채에 대한 이미지를 획득할 수 있다. 다양한 실시예들에 따른 910동작은, 도 6의 620동작과 동일하므로, 이에 대한 상세한 설명은 도 6의 620동작으로 대신할 수 있다.
일 실시예에서, 프로세서(470)는 920동작에서, 이미지 센서(342)와 홍채 간 거리를 측정할 수 있다. 프로세서(470)는 930동작에서, 메모리(예: 도 4의 메모리(420))에 저장된 홍채에 대한 기준 이미지에 기반하여, 이미지 센서(342)와 홍채 간 기준 거리를 획득할 수 있다.
일 실시예에서, 프로세서(470)는 940동작에서, 측정된 거리에 따른 획득된 이미지를 구성하는 각 픽셀과 획득된 기준 거리에 따른 기준 이미지를 구성하는 각 픽셀을 비교할 수 있다.
예를 들어, 프로세서(470)는 이미지 센서(342)를 구성하는 각 픽셀과 홍채에 대한 이미지를 구성하는 각 픽셀 간의 거리에 따른 위상 마스크(예: 도 3b의 위상 마스크(344))의 제1 패턴과 이미지 센서(342)를 구성하는 각 픽셀과 홍채에 대한 기준 이미지를 구성하는 각 픽셀 간의 기준 거리에 따른 위상 마스크(344)의 제2 패턴을 비교할 수 있다.
일 실시예에서, 프로세서(470)는 950동작에서, 비교 결과에 기반하여, 사용자의 시선을 추적할 수 있다.
일 실시예에서, 프로세서(470)는 위상 마스크(344)의 제1 패턴과 제2 패턴을 비교한 결과에 기반하여, 위상 마스크(344)의 패턴의 변화를 확인할 수 있다. 프로세서(470)는 위상 마스크(344)의 패턴의 변화에 기반하여 사용자의 시선을 추적할 수 있다.
예를 들어, 프로세서(470)는 적어도 하나의 광원을 통해 출력되어 홍채로부터 반사된 광에 의해 홍채의 중심을 확인할 수 있다. 예를 들어, 출력되는 광이 광 스팟(light spot)(예: 푸르킨예 스팟(Purkinje spot))에서 반사되는 것에 기반하여, 프로세서(470)는 홍채의 중심을 확인(또는 식별)할 수 있다. 프로세서(470)는 위상 마스크(344)의 제1 패턴에서의 홍채의 중심에 대한 제1 위치와 위상 마스크(344)의 제2 패턴에서 확인된 홍채의 중심에 대한 제2 위치를 비교할 수 있다. 예를 들어, 프로세서(470)는 제1 패턴에서의 홍채의 중심에 대한 제1 위치에 대응하는 제1 픽셀의 위치 정보와 제2 패턴에서의 홍채의 중심에 대한 제2 위치에 대응하는 제2 픽셀의 위치 정보를 비교할 수 있다. 프로세서(470)는 제1 픽셀의 위치 정보와 제2 픽셀의 위치 정보에 기반하여, 안구의 이동을 확인함으로써, 사용자의 시선을 추적할 수 있다.
이에 한정하는 것은 아니며, 프로세서(470)는 위상 마스크(344)의 제1 패턴에서 확인된 홍채의 중심과 위상 마스크(344)의 제2 패턴에서 확인된 홍채의 중심에 기반하여, 위상 마스크(344)의 패턴의 변화를 확인할 수 있다. 프로세서(470)는 패턴의 변화에 기반하여 홍채의 이동을 확인함으로써, 사용자의 시선을 추적할 수 있다.
다양한 실시예들에서, 프로세서(470)는 이미지 센서(342)를 통해 획득되는 홍채에 대한 이미지를 고속으로 저해상도의 이미지(예: 해상도 100x100의 이미지)로 복원할 수 있다. 이에 따라, 프로세서(470)는 사용자의 시선을 실시간적으로 추적할 수 있다.
다양한 실시예들에서, 프로세서(470)는 동공의 중심 정보, 동공의 크기 정보, 및/또는 홍채의 크기 정보를 획득하고, 이에 기반하여 사용자의 시선 위치를 보정할 수 있다.
다양한 실시예들에 따른 도 9에서, 홍채에 대한 이미지에 기반하여 사용자의 시선을 추적하는 것으로 설명하였으나, 이에 한정하는 것은 아니다. 예를 들어, 프로세서(470)는 이미지 센서(342)를 통해 안구 주변에 대한 3차원 이미지를 획득하고, 안구 주변에 대한 3차원 이미지에서 안구(또는 홍채)의 위치(예: 안구(또는 홍채)의 중심)을 확인할 수 있다. 프로세서(460)는 이미지 센서(342)와 안구 간 거리(또는 각도)를 측정할 수 있다. 프로세서(470)는 메모리(420)에 저장된 안구의 주변부에 대한 기준 이미지를 위상 마스크(344)의 특정 패턴에 기반하여 3차원의 기준 이미지로 복원하고, 복원된 3차원의 기준 이미지에 기반하여, 이미지 센서(342)와 안구(또는 홍채) 간 기준 거리(또는 기준 각도)를 획득할 수 있다. 프로세서(470)는 이미지 센서(342)를 통해 획득된 안구 주변에 대한 3차원 이미지에서 확인된 안구의 중심에 대한 제1 위치와 기준 거리에 따른 안구 주변에 대한 3차원의 기준 이미지에서 확인된 안구의 중심에 대한 제2 위치를 비교할 수 있다. 프로세서(470)는 이미지 센서(342)를 통해 획득된 안구 주변에 대한 3차원 이미지에서 확인된 안구의 중심에 대한 제1 위치와 안구 주변에 대한 3차원의 기준 이미지에서 확인된 안구의 중심에 대한 제2 위치를 비교한 결과에 기반하여, 안구의 중심의 이동을 확인하여 사용자의 시선을 추적할 수 있다.
다양한 실시예들에 따른 렌즈리스 카메라를 포함하는 웨어러블 전자 장치(401)의 이미지 처리 방법은, 상기 웨어러블 전자 장치(401)의 착용이 검출되면, 적어도 하나의 광원을 통해 광을 출력하는 동작, 상기 적어도 하나의 광원을 통해 출력되어 홍채로부터 반사된 광이 상기 렌즈리스 카메라에 포함된 위상 마스크(344)를 통과하면서 형성된 특정 패턴에 기반하여, 상기 홍채에 대한 제1 홍채 이미지를 획득하는 동작, 메모리(420)에 저장된 상기 홍채에 대한 기준 이미지를 상기 위상 마스크(344)의 상기 특정 패턴을 이용하여 제2 홍채 이미지로 복원하는 동작, 상기 획득된 제1 홍채 이미지와 상기 복원된 제2 홍채 이미지를 비교하는 동작, 및 상기 비교 결과에 기반하여, 사용자 인증을 수행하는 동작을 포함할 수 있다.
다양한 실시예들에 따른 렌즈리스 카메라를 포함하는 웨어러블 전자 장치(401)의 이미지 처리 방법은, 상기 웨어러블 전자 장치(401)의 착용이 검출되면, 상기 홍채의 응시 방향을 가이드하기 위한 인디케이터를 디스플레이(440)의 일부에 표시하는 동작을 더 포함할 수 있다.
다양한 실시예들에서, 상기 제2 홍채 이미지로 복원하는 동작은, 상기 위상 마스크(344)의 상기 특정 패턴을 이용하여, 상기 제2 홍채 이미지를 지정된 속도 이내에서 고해상도의 이미지로 복원하는 동작을 포함할 수 있다.
다양한 실시예들에서, 상기 제2 홍채 이미지로 복원하는 동작은, 인공지능 방식으로, 상기 홍채에 대한 기준 이미지를 상기 위상 마스크(344)의 특정 패턴을 이용하여 상기 제2 홍채 이미지로 복원하는 학습을 수행하는 동작, 및 상기 학습된 학습 모델에 기반하여 상기 제2 홍채 이미지를 복원하는 동작을 포함할 수 있다.
다양한 실시예들에서, 상기 비교하는 동작은, 이미지 센서(342)를 구성하는 각 픽셀과 상기 제1 홍채 이미지를 구성하는 각 픽셀 간의 제1 거리 정보에 따른 상기 위상 마스크(344)의 제1 패턴과 상기 이미지 센서(342)를 구성하는 각 픽셀과 상기 제2 홍채 이미지를 구성하는 각 픽셀 간의 제2 거리 정보에 따른 상기 위상 마스크(344)의 제2 패턴을 비교하는 동작을 포함할 수 있다.
다양한 실시예들에서, 상기 사용자 인증을 수행하는 동작은, 상기 제1 패턴과 제2 패턴을 비교한 결과에 기반하여, 상기 사용자 인증을 수행하는 동작을 포함할 수 있다.
다양한 실시예들에 따른 렌즈리스 카메라를 포함하는 웨어러블 전자 장치(401)의 이미지 처리 방법은, 이미지 센서(342)를 통해 안구의 주변부에 대한 이미지를 획득하는 동작, 상기 획득된 안구의 주변부에 대한 이미지를 상기 위상 마스크(344)의 상기 특정 패턴에 기반하여, 상기 안구의 주변부에 대한 3차원의 제1 이미지로 획득하는 동작, 상기 메모리(420)에 저장된 상기 안구의 주변부에 대한 기준 이미지를 상기 위상 마스크(344)의 상기 특정 패턴에 기반하여, 3차원의 제2 이미지로 복원하는 동작, 상기 3차원의 제1 이미지에서 상기 안구의 주변부에 대한 형상과 상기 3차원의 제2 이미지에서 상기 안구의 주변부에 대한 형상을 비교하는 동작, 및 상기 비교 결과에 기반하여, 제2 사용자 인증을 수행하는 동작을 더 포함할 수 있다.
다양한 실시예들에 따른 렌즈리스 카메라를 포함하는 웨어러블 전자 장치(401)의 이미지 처리 방법은, 상기 사용자 인증을 수행한 후, 이미지 센서(342)를 통해 상기 홍채에 대한 이미지를 획득하는 동작, 상기 이미지 센서(342)와 상기 홍채 간 거리를 측정하는 동작, 상기 메모리(420)에 저장된 상기 홍채에 대한 기준 이미지에 기반하여, 상기 이미지 센서(342)와 상기 홍채 간 기준 거리를 획득하는 동작, 상기 측정된 거리에 따른 상기 홍채에 대한 이미지에서 확인된 홍채의 중심에 대한 제1 위치에 대응하는 픽셀의 제1 위치 정보와 상기 획득된 기준 거리에 따른 상기 기준 이미지에서 확인된 상기 홍채의 중심에 대한 제2 위치에 대응하는 픽셀의 제2 위치 정보를 비교하는 동작, 및 상기 비교 결과에 기반하여, 상기 홍채의 중심의 위치가 변경되는 것을 확인하여 상기 사용자의 시선을 추적하는 동작을 더 포함할 수 있다.
본 명세서와 도면에 개시된 다양한 실시예들은 본 개시의 기술 내용을 쉽게 설명하고 본 개시의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 개시의 범위를 한정하고자 하는 것은 아니다. 따라서 본 개시의 범위는 여기에 개시된 실시예들 이외에도 본 개시의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.

Claims (15)

  1. 웨어러블 전자 장치에 있어서,
    사용자의 안구 영역에 대응되는 디스플레이;
    위상 마스크 및 이미지 센서를 포함하며, 상기 안구 영역을 촬영하는 카메라;
    적어도 하나의 광원을 통해 상기 안구 영역으로 광을 출력하는 광 출력부;
    메모리; 및
    상기 디스플레이, 상기 카메라, 상기 광 출력부, 및 상기 메모리와 작동적으로 연결된 프로세서를 포함하며,
    상기 프로세서는,
    상기 사용자의 홍채를 등록하기 위한 입력이 검출되면, 상기 적어도 하나의 광원을 통해 광을 출력하고,
    상기 적어도 하나의 광원을 통해 출력되어 상기 홍채로부터 반사된 광이 상기 위상 마스크를 통과하면서 특정 패턴을 형성하고,
    상기 형성된 특정 패턴에 기반하여, 상기 홍채에 대한 기준 이미지를 획득하고, 및
    상기 획득된 홍채에 대한 기준 이미지를 상기 메모리에 저장하도록 설정된 웨어러블 전자 장치.
  2. 제 1 항에 있어서,
    상기 프로세서는,
    상기 위상 마스크를 통과하면서 형성된 특정 패턴이 상기 이미지 센서에 입사되는 것에 기반하여, 상기 홍채에 대한 기준 이미지를 획득하도록 설정된 웨어러블 전자 장치.
  3. 제 1 항에 있어서,
    상기 프로세서는,
    상기 형성된 위상 마스크의 특정 패턴과 상기 사용자를 매핑하여 상기 메모리에 저장하도록 설정된 웨어러블 전자 장치.
  4. 제 1 항에 있어서,
    상기 프로세서는,
    상기 이미지 센서를 구성하는 각 픽셀과 상기 홍채에 대한 기준 이미지를 구성하는 각 픽셀 간 거리 정보를 상기 메모리에 저장하도록 설정된 웨어러블 전자 장치.
  5. 제 1 항에 있어서,
    상기 메모리에 저장된 홍채에 대한 기준 이미지는, 로우 이미지(raw image)인 웨어러블 전자 장치.
  6. 웨어러블 전자 장치에 있어서,
    사용자의 안구 영역에 대응되는 디스플레이;
    위상 마스크 및 이미지 센서를 포함하며, 상기 안구 영역을 촬영하는 카메라;
    적어도 하나의 광원을 통해 상기 안구 영역으로 광을 출력하는 광 출력부;
    메모리; 및
    상기 디스플레이, 상기 카메라, 상기 광 출력부, 및 상기 메모리와 작동적으로 연결된 프로세서를 포함하며,
    상기 프로세서는,
    상기 웨어러블 전자 장치의 착용이 검출되면, 상기 적어도 하나의 광원을 통해 광을 출력하고,
    상기 적어도 하나의 광원을 통해 출력되어 홍채로부터 반사된 광이 상기 위상 마스크를 통과하면서 형성된 특정 패턴에 기반하여, 상기 홍채에 대한 제1 홍채 이미지를 획득하고,
    상기 메모리에 저장된 상기 홍채에 대한 기준 이미지를 상기 위상 마스크의 상기 특정 패턴을 이용하여 제2 홍채 이미지로 복원하고,
    상기 획득된 제1 홍채 이미지와 상기 복원된 제2 홍채 이미지를 비교하고, 및
    상기 비교 결과에 기반하여, 사용자 인증을 수행하도록 설정된 웨어러블 전자 장치.
  7. 제 6 항에 있어서,
    상기 프로세서는,
    상기 웨어러블 전자 장치의 착용이 검출되면, 상기 홍채의 응시 방향을 가이드하기 위한 인디케이터를 상기 디스플레이의 일부에 표시하도록 설정된 웨어러블 전자 장치.
  8. 제 6 항에 있어서,
    상기 프로세서는,
    상기 위상 마스크의 상기 특정 패턴을 이용하여, 상기 제2 홍채 이미지를 지정된 속도 이내에서 고해상도의 이미지로 복원하도록 설정된 웨어러블 전자 장치.
  9. 제 8 항에 있어서,
    상기 프로세서는,
    인공지능 방식으로, 상기 홍채에 대한 기준 이미지를 상기 위상 마스크의 특정 패턴을 이용하여 상기 제2 홍채 이미지로 복원하는 학습을 수행하고, 및
    상기 학습된 학습 모델에 기반하여 상기 제2 홍채 이미지를 복원하도록 설정된 웨어러블 전자 장치.
  10. 제 6 항에 있어서,
    상기 프로세서는,
    상기 이미지 센서를 구성하는 각 픽셀과 상기 제1 홍채 이미지를 구성하는 각 픽셀 간의 제1 거리 정보에 따른 상기 위상 마스크의 제1 패턴과 상기 이미지 센서를 구성하는 각 픽셀과 상기 제2 홍채 이미지를 구성하는 각 픽셀 간의 제2 거리 정보에 따른 상기 위상 마스크의 제2 패턴을 비교하고, 및
    상기 제1 패턴과 제2 패턴을 비교한 결과에 기반하여, 상기 사용자 인증을 수행하도록 설정된 웨어러블 전자 장치.
  11. 제 6 항에 있어서,
    상기 프로세서는,
    상기 이미지 센서를 통해 안구의 주변부에 대한 이미지를 획득하고,
    상기 획득된 안구의 주변부에 대한 이미지를 상기 위상 마스크의 상기 특정 패턴에 기반하여, 상기 안구의 주변부에 대한 3차원의 제1 이미지로 획득하고,
    상기 메모리에 저장된 상기 안구의 주변부에 대한 기준 이미지를 상기 위상 마스크의 상기 특정 패턴에 기반하여, 3차원의 제2 이미지로 복원하고,
    상기 3차원의 제1 이미지에서 상기 안구의 주변부에 대한 형상과 상기 3차원의 제2 이미지에서 상기 안구의 주변부에 대한 형상을 비교하고, 및
    상기 비교 결과에 기반하여, 제2 사용자 인증을 수행하도록 설정된 웨어러블 전자 장치.
  12. 제 6 항에 있어서,
    상기 프로세서는,
    상기 사용자 인증을 수행한 후, 상기 이미지 센서를 통해 상기 홍채에 대한 이미지를 획득하고,
    상기 이미지 센서와 상기 홍채 간 거리를 측정하고,
    상기 메모리에 저장된 상기 홍채에 대한 기준 이미지에 기반하여, 상기 이미지 센서와 상기 홍채 간 기준 거리를 획득하고,
    상기 측정된 거리에 따른 상기 획득된 홍채에 대한 이미지에서 확인된 상기 홍채의 중심에 대한 제1 위치에 대응하는 픽셀의 제1 위치 정보와 상기 획득된 기준 거리에 따른 상기 기준 이미지에서 확인된 상기 홍채의 중심에 대한 제2 위치에 대응하는 픽셀의 제2 위치 정보를 비교하고, 및
    상기 비교 결과에 기반하여, 상기 홍채의 중심의 위치가 변경되는 것을 확인하여 상기 사용자의 시선을 추적하도록 설정된 웨어러블 전자 장치.
  13. 제 12 항에 있어서,
    상기 프로세서는,
    상기 위상 마스크의 상기 특정 패턴을 이용하여, 상기 획득된 상기 홍채에 대한 이미지를 지정된 속도를 초과하는 속도에서 저해상도의 이미지로 복원하고, 및
    상기 지정된 속도를 초과하는 속도에서 복원된 저해상도의 이미지에 기반하여, 상기 사용자의 시선을 추적하도록 설정된 웨어러블 전자 장치.
  14. 렌즈리스 카메라를 포함하는 웨어러블 전자 장치의 이미지 처리 방법에 있어서,
    상기 웨어러블 전자 장치의 착용이 검출되면, 적어도 하나의 광원을 통해 광을 출력하는 동작;
    상기 적어도 하나의 광원을 통해 출력되어 홍채로부터 반사된 광이 상기 렌즈리스 카메라에 포함된 위상 마스크를 통과하면서 형성된 특정 패턴에 기반하여, 상기 홍채에 대한 제1 홍채 이미지를 획득하는 동작;
    메모리에 저장된 상기 홍채에 대한 기준 이미지를 상기 위상 마스크의 상기 특정 패턴을 이용하여 제2 홍채 이미지로 복원하는 동작;
    상기 획득된 제1 홍채 이미지와 상기 복원된 제2 홍채 이미지를 비교하는 동작; 및
    상기 비교 결과에 기반하여, 사용자 인증을 수행하는 동작을 포함하는 방법.
  15. 제 14 항에 있어서,
    상기 제2 홍채 이미지로 복원하는 동작은,
    상기 위상 마스크의 상기 특정 패턴을 이용하여, 상기 제2 홍채 이미지를 지정된 속도 이내에서 고해상도의 이미지로 복원하는 동작을 포함하고,
    상기 제2 홍채 이미지로 복원하는 동작은,
    인공지능 방식으로, 상기 홍채에 대한 기준 이미지를 상기 위상 마스크의 특정 패턴을 이용하여 상기 제2 홍채 이미지로 복원하는 학습을 수행하는 동작; 및
    상기 학습된 학습 모델에 기반하여 상기 제2 홍채 이미지를 복원하는 동작을 포함하는 방법.
PCT/KR2023/006565 2022-07-19 2023-05-15 렌즈리스 카메라를 포함하는 웨어러블 전자 장치 및 이를 이용한 이미지 처리 방법 WO2024019293A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20220088908 2022-07-19
KR10-2022-0088908 2022-07-19
KR1020220107936A KR20240011587A (ko) 2022-07-19 2022-08-26 렌즈리스 카메라를 포함하는 웨어러블 전자 장치 및 이를 이용한 이미지 처리 방법
KR10-2022-0107936 2022-08-26

Publications (1)

Publication Number Publication Date
WO2024019293A1 true WO2024019293A1 (ko) 2024-01-25

Family

ID=89618119

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/006565 WO2024019293A1 (ko) 2022-07-19 2023-05-15 렌즈리스 카메라를 포함하는 웨어러블 전자 장치 및 이를 이용한 이미지 처리 방법

Country Status (1)

Country Link
WO (1) WO2024019293A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5485312A (en) * 1993-09-14 1996-01-16 The United States Of America As Represented By The Secretary Of The Air Force Optical pattern recognition system and method for verifying the authenticity of a person, product or thing
KR20140059213A (ko) * 2011-08-30 2014-05-15 마이크로소프트 코포레이션 홍채 스캔 프로파일링을 이용하는 헤드 마운티드 디스플레이
KR20160044403A (ko) * 2014-10-15 2016-04-25 삼성전자주식회사 사용자 단말 장치 및 이의 홍채 인식 방법
KR20200116925A (ko) * 2018-02-01 2020-10-13 미쓰미덴기가부시기가이샤 인증 장치
KR20210084806A (ko) * 2019-12-27 2021-07-08 주식회사 비즈모델라인 홍채 인식 기반 왜곡 영상 복원 처리 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5485312A (en) * 1993-09-14 1996-01-16 The United States Of America As Represented By The Secretary Of The Air Force Optical pattern recognition system and method for verifying the authenticity of a person, product or thing
KR20140059213A (ko) * 2011-08-30 2014-05-15 마이크로소프트 코포레이션 홍채 스캔 프로파일링을 이용하는 헤드 마운티드 디스플레이
KR20160044403A (ko) * 2014-10-15 2016-04-25 삼성전자주식회사 사용자 단말 장치 및 이의 홍채 인식 방법
KR20200116925A (ko) * 2018-02-01 2020-10-13 미쓰미덴기가부시기가이샤 인증 장치
KR20210084806A (ko) * 2019-12-27 2021-07-08 주식회사 비즈모델라인 홍채 인식 기반 왜곡 영상 복원 처리 방법

Similar Documents

Publication Publication Date Title
WO2022215895A1 (ko) 복수의 카메라를 포함하는 웨어러블 전자 장치
WO2022092517A1 (ko) 디스플레이를 포함하는 웨어러블 전자 장치, 그 디스플레이를 제어하는 방법, 및 그 웨어러블 전자 장치 및 케이스를 포함하는 시스템
WO2022119105A1 (ko) 발광부를 포함하는 웨어러블 전자 장치
WO2022169255A1 (ko) 전자 장치 및 그의 사용자 시선을 추적하고 증강 현실 서비스를 제공하는 방법
WO2022191497A1 (ko) 디스플레이를 포함하는 웨어러블 전자 장치
WO2023008711A1 (ko) 조정 장치 및 조정 장치의 동작 방법
WO2023017986A1 (ko) 영상 데이터 및 오디오 데이터 출력 방법 및 전자 시스템
WO2022139424A1 (ko) 전자 장치 및 그의 사용자 시선을 추적하고 증강 현실 서비스를 제공하는 방법
WO2024019293A1 (ko) 렌즈리스 카메라를 포함하는 웨어러블 전자 장치 및 이를 이용한 이미지 처리 방법
WO2024063330A1 (ko) 웨어러블 전자 장치 및 상기 웨어러블 전자 장치를 이용하여 컨트롤러를 식별하는 방법
WO2024019273A1 (ko) 증강 현실을 제공하는 전자 장치 및 전자 장치의 이미지 보상 방법
WO2023080419A1 (ko) 비전 정보를 이용하여 전자기기를 제어하는 웨어러블 전자 장치 및 방법
WO2024043438A1 (ko) 카메라 모듈을 제어하는 웨어러블 전자 장치 및 그 동작 방법
WO2024043546A1 (ko) 사용자의 움직임을 트래킹 하기 위한 전자 장치 및 방법
WO2024025179A1 (ko) 생체 정보에 기반한 외부 표시 장치와의 연결 방법 및 전자 장치
WO2023080420A1 (ko) 가변형 그라운드를 포함하는 웨어러블 전자 장치
WO2023027276A1 (ko) 스타일러스 펜을 이용하여 복수의 기능들을 실행하기 위한 전자 장치 및 그 작동 방법
WO2022050638A1 (ko) 디스플레이의 설정 변경 방법 및 전자 장치
WO2023140535A1 (ko) 거리 정보를 획득하는 전자 장치 및 이의 제어 방법
WO2023068588A1 (ko) 안테나를 포함하는 웨어러블 전자 장치
WO2024096460A1 (ko) 거리 정보를 획득하는 전자 장치 및 이의 동작 방법
WO2024029858A1 (ko) 디스플레이 모듈 제어 방법 및 상기 방법을 수행하는 전자 장치
WO2024043611A1 (ko) 디스플레이 모듈 제어 방법 및 상기 방법을 수행하는 전자 장치
WO2023027300A1 (ko) 전자 장치, 헤드-마운티드 디스플레이 장치, 웨어러블 장치 및 그 동작 방법
WO2024101747A1 (ko) 카메라를 포함하는 웨어러블 전자 장치 및 이의 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23843151

Country of ref document: EP

Kind code of ref document: A1