WO2026005441A1 - 시선 추적용 웨이브 가이드를 포함하는 웨어러블 전자 장치 - Google Patents

시선 추적용 웨이브 가이드를 포함하는 웨어러블 전자 장치

Info

Publication number
WO2026005441A1
WO2026005441A1 PCT/KR2025/008803 KR2025008803W WO2026005441A1 WO 2026005441 A1 WO2026005441 A1 WO 2026005441A1 KR 2025008803 W KR2025008803 W KR 2025008803W WO 2026005441 A1 WO2026005441 A1 WO 2026005441A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
user
wearable electronic
pinholes
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/KR2025/008803
Other languages
English (en)
French (fr)
Inventor
구본곤
이덕호
최종철
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020250040565A external-priority patent/KR20260001072A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of WO2026005441A1 publication Critical patent/WO2026005441A1/ko
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking

Definitions

  • wearable electronic devices for example, wearable electronic devices including waveguides for eye tracking.
  • Portable electronic devices such as electronic notebooks, portable multimedia players, mobile communication terminals, or tablet PCs, typically feature display elements and batteries, and have typically had bar-type, folder-type, or sliding-type appearances due to the shape of the display elements or batteries. Recently, as the performance of display elements and batteries has improved, they have become smaller, leading to the commercialization of wearable electronic devices that can be worn on parts of the body, such as the wrist or head. Since wearable electronic devices are directly worn on the body, portability and/or user accessibility can be improved.
  • an electronic device that a user can wear on their face such as a head-mounted device (HMD).
  • Head-mounted devices can be usefully utilized to implement virtual reality or augmented reality.
  • a wearable electronic device can implement virtual reality by providing a three-dimensional image of a virtual space in a game enjoyed through a television or computer monitor while blocking the image of the actual space in which the user is located.
  • Another type of wearable electronic device can provide an environment in which the user can visually perceive an actual image of the space in which the user is located, while implementing a virtual image to provide the user with various visual information, thereby providing augmented reality.
  • a wearable electronic device for implementing virtual reality or augmented reality can track the direction of a user's gaze, for example, the direction in which the pupil of the user's eye is directed, and when the user focuses on a specific part of a display member (for example, a lens or a display) of the wearable electronic device (for example, when looking at a specific part), it can enlarge or reduce a virtual image of the corresponding part, or change or optimize the arrangement of the virtual image, thereby optimizing the operation and arrangement of the virtual image visually exposed to the user.
  • a display member for example, a lens or a display
  • a wearable electronic device may be equipped with a camera for tracking the user's gaze direction.
  • the camera may be positioned so as to be exposed on the exterior of the wearable electronic device or on the exterior of the housing of the wearable electronic device.
  • the camera when the camera is positioned so that it is exposed outside the wearable electronic device, it presents disadvantages in terms of miniaturization and design. Furthermore, because the camera's position is limited, the accuracy of the user's gaze direction acquired through the camera is limited.
  • a wearable electronic device capable of tracking a user's gaze direction through a wave guide disposed on a display member of the wearable electronic device and a camera disposed on a wearing member of the wearable electronic device may be provided.
  • a wave guide and a camera are arranged inside the wearable electronic device, miniaturization of the wearable electronic device is possible, and a wearable electronic device with improved design freedom of the wearable electronic device can be provided.
  • a wearable electronic device may include a housing including a lens frame and a wearing member rotatably connected to the lens frame; a wave guide disposed on the lens frame, the wave guide disposed on the lens frame allowing light reflected by a user's eye to be transmitted toward the wearing member; and a camera disposed inside the wearing member, the camera facing the wave guide, and configured to capture an image of light output from the wave guide.
  • a wearable electronic device may include a housing including a lens frame and a wearing member rotatably connected to the lens frame; a light source disposed on the lens frame and configured to irradiate light toward a user's eye; a first wave guide disposed on the lens frame and configured to transmit light irradiated from the light source and reflected by the user's eye toward the wearing member; a camera disposed inside the wearing member and facing the first wave guide and configured to capture an image of light output from the first wave guide; a display engine disposed inside the wearing member and configured to output light for a virtual image; and a second wave guide disposed on the lens frame and configured to output light output from the display engine toward the user's eye.
  • a wearable electronic device capable of tracking a user's gaze direction through a wave guide disposed on a display member of the wearable electronic device and a camera disposed on a wearing member of the wearable electronic device may be provided.
  • a wearable electronic device in which the accuracy and reliability of the tracked user's gaze direction can be improved by tracking the user's gaze direction through a wave guide of the wearable electronic device.
  • FIG. 1 is a block diagram of an electronic device within a network environment according to various embodiments.
  • FIG. 2 is a perspective view of a wearable electronic device according to one embodiment of the present disclosure.
  • FIG. 3 is a perspective view illustrating an internal configuration of a wearable electronic device according to one embodiment of the present disclosure.
  • FIG. 4 is an exploded perspective view of a wearable electronic device according to one embodiment of the present disclosure.
  • FIG. 5 is a schematic diagram of a wearable electronic device according to one embodiment of the present disclosure.
  • FIG. 6 is a schematic diagram illustrating a first wave guide according to one embodiment of the present disclosure.
  • FIG. 7 is an enlarged view of portion A of FIG. 6 according to one embodiment of the present disclosure.
  • FIG. 8 is a schematic diagram showing pinholes of a first wave guide according to one embodiment of the present disclosure.
  • FIG. 9 is a schematic diagram showing pinholes of a first wave guide according to one embodiment of the present disclosure.
  • FIG. 10 is a schematic diagram showing pinholes of a first wave guide according to one embodiment of the present disclosure.
  • FIG. 11 is a schematic diagram illustrating a lens frame and a light source according to one embodiment of the present disclosure.
  • FIG. 12 is a schematic diagram illustrating the arrangement of a light source according to one embodiment of the present disclosure.
  • FIG. 13 is a schematic diagram illustrating coordinates for a user's eyes according to one embodiment of the present disclosure.
  • FIG. 14 is a schematic diagram illustrating coordinates for a user's eye and coordinates for an image sensor of a camera according to one embodiment of the present disclosure.
  • FIG. 15 is a schematic diagram illustrating a display engine and a camera according to one embodiment of the present disclosure.
  • FIG. 16 is a schematic diagram illustrating a display engine and a camera according to one embodiment of the present disclosure.
  • FIG. 17 is a schematic diagram illustrating a display engine and a camera according to one embodiment of the present disclosure.
  • FIG. 18 is a schematic diagram illustrating a first wave guide and a user's eye according to one embodiment of the present disclosure.
  • FIG. 1 is a block diagram of an electronic device (101) within a network environment (100) according to various embodiments.
  • an electronic device (101) may communicate with an electronic device (102) via a first network (198) (e.g., a short-range wireless communication network), or may communicate with at least one of an electronic device (104) or a server (108) via a second network (199) (e.g., a long-range wireless communication network).
  • the electronic device (101) may communicate with the electronic device (104) via the server (108).
  • the electronic device (101) may include a processor (120), a memory (130), an input module (150), an audio output module (155), a display module (160), an audio module (170), a sensor module (176), an interface (177), a connection terminal (178), a haptic module (179), a camera module (180), a power management module (188), a battery (189), a communication module (190), a subscriber identification module (196), or an antenna module (197).
  • the electronic device (101) may omit at least one of these components (e.g., the connection terminal (178)), or may have one or more other components added.
  • some of these components e.g., the sensor module (176), the camera module (180), or the antenna module (197) may be integrated into one component (e.g., the display module (160)).
  • the processor (120) may, for example, execute software (e.g., a program (140)) to control at least one other component (e.g., a hardware or software component) of the electronic device (101) connected to the processor (120) and perform various data processing or operations.
  • the processor (120) may store commands or data received from other components (e.g., a sensor module (176) or a communication module (190)) in a volatile memory (132), process the commands or data stored in the volatile memory (132), and store result data in a non-volatile memory (134).
  • the processor (120) may include a main processor (121) (e.g., a central processing unit or an application processor) or an auxiliary processor (123) (e.g., a graphics processing unit, a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor) that can operate independently or together with the main processor (121).
  • a main processor (121) e.g., a central processing unit or an application processor
  • an auxiliary processor (123) e.g., a graphics processing unit, a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor
  • the auxiliary processor (123) may be configured to use less power than the main processor (121) or to be specialized for a given function.
  • the auxiliary processor (123) may be implemented separately from the main processor (121) or as a part thereof.
  • the auxiliary processor (123) may control at least a portion of functions or states associated with at least one component (e.g., a display module (160), a sensor module (176), or a communication module (190)) of the electronic device (101), for example, on behalf of the main processor (121) while the main processor (121) is in an inactive (e.g., sleep) state, or together with the main processor (121) while the main processor (121) is in an active (e.g., application execution) state.
  • the auxiliary processor (123) e.g., an image signal processor or a communication processor
  • the auxiliary processor (123) may include a hardware structure specialized for processing artificial intelligence models.
  • the artificial intelligence models may be generated through machine learning. This learning can be performed, for example, in the electronic device (101) itself where the artificial intelligence model is executed, or can be performed through a separate server (e.g., server (108)).
  • the learning algorithm can include, for example, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but is not limited to the examples described above.
  • the artificial intelligence model can include a plurality of artificial neural network layers.
  • the artificial neural network can be one of a deep neural network (DNN), a convolutional neural network (CNN), a recurrent neural network (RNN), a restricted Boltzmann machine (RBM), a deep belief network (DBN), a bidirectional recurrent deep neural network (BRDNN), deep Q-networks, or a combination of two or more of the above, but is not limited to the examples described above.
  • the artificial intelligence model can additionally or alternatively include a software structure.
  • the memory (130) can store various data used by at least one component (e.g., processor (120) or sensor module (176)) of the electronic device (101).
  • the data can include, for example, software (e.g., program (140)) and input data or output data for commands related thereto.
  • the memory (130) can include volatile memory (132) or non-volatile memory (134).
  • the program (140) may be stored as software in the memory (130) and may include, for example, an operating system (142), middleware (144), or an application (146).
  • the input module (150) can receive commands or data to be used in a component of the electronic device (101) (e.g., a processor (120)) from an external source (e.g., a user) of the electronic device (101).
  • the input module (150) can include, for example, a microphone, a mouse, a keyboard, a key (e.g., a button), or a digital pen (e.g., a stylus pen).
  • the audio output module (155) can output audio signals to the outside of the electronic device (101).
  • the audio output module (155) can include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes, such as multimedia playback or recording playback.
  • the receiver can be used to receive incoming calls. In one embodiment, the receiver can be implemented separately from the speaker or as part of the speaker.
  • the display module (160) can visually provide information to an external party (e.g., a user) of the electronic device (101).
  • the display module (160) may include, for example, a display, a holographic device, or a projector and a control circuit for controlling the device.
  • the display module (160) may include a touch sensor configured to detect a touch, or a pressure sensor configured to measure the intensity of a force generated by the touch.
  • the audio module (170) can convert sound into an electrical signal, or vice versa, convert an electrical signal into sound. According to one embodiment, the audio module (170) can acquire sound through the input module (150), output sound through the sound output module (155), or an external electronic device (e.g., electronic device (102)) (e.g., speaker or headphone) directly or wirelessly connected to the electronic device (101).
  • an external electronic device e.g., electronic device (102)
  • speaker or headphone directly or wirelessly connected to the electronic device (101).
  • the sensor module (176) can detect the operating status (e.g., power or temperature) of the electronic device (101) or the external environmental status (e.g., user status) and generate an electrical signal or data value corresponding to the detected status.
  • the sensor module (176) can include, for example, a gesture sensor, a gyro sensor, a barometric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, a temperature sensor, a humidity sensor, or an illuminance sensor.
  • the interface (177) may support one or more designated protocols that may be used to directly or wirelessly connect the electronic device (101) with an external electronic device (e.g., the electronic device (102)).
  • the interface (177) may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card
  • connection terminal (178) may include a connector through which the electronic device (101) may be physically connected to an external electronic device (e.g., electronic device (102)).
  • the connection terminal (178) may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (e.g., a headphone connector).
  • the haptic module (179) can convert electrical signals into mechanical stimuli (e.g., vibration or movement) or electrical stimuli that a user can perceive through tactile or kinesthetic sensations.
  • the haptic module (179) can include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module (180) can capture still images and videos.
  • the camera module (180) may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module (188) can manage power supplied to the electronic device (101).
  • the power management module (188) can be implemented as, for example, at least a part of a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • a battery (189) may power at least one component of the electronic device (101).
  • the battery (189) may include, for example, a non-rechargeable primary battery, a rechargeable secondary battery, or a fuel cell.
  • the communication module (190) may support the establishment of a direct (e.g., wired) communication channel or a wireless communication channel between the electronic device (101) and an external electronic device (e.g., electronic device (102), electronic device (104), or server (108)), and the performance of communication through the established communication channel.
  • the communication module (190) may operate independently from the processor (120) (e.g., application processor) and may include one or more communication processors that support direct (e.g., wired) communication or wireless communication.
  • the communication module (190) may include a wireless communication module (192) (e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module (194) (e.g., a local area network (LAN) communication module, or a power line communication module).
  • a wireless communication module (192) e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module
  • GNSS global navigation satellite system
  • wired communication module (194) e.g., a local area network (LAN) communication module, or a power line communication module.
  • the corresponding communication module can communicate with an external electronic device (104) via a first network (198) (e.g., a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network (199) (e.g., a long-range communication network such as a legacy cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., a LAN or WAN)).
  • a first network (198) e.g., a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)
  • a second network (199) e.g., a long-range communication network such as a legacy cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., a LAN or WAN)
  • a computer network e.g., a
  • the wireless communication module (192) can verify or authenticate the electronic device (101) within a communication network such as the first network (198) or the second network (199) by using subscriber information (e.g., an international mobile subscriber identity (IMSI)) stored in the subscriber identification module (196).
  • subscriber information e.g., an international mobile subscriber identity (IMSI)
  • the wireless communication module (192) can support 5G networks and next-generation communication technologies following the 4G network, such as NR access technology (new radio access technology).
  • the NR access technology can support high-speed transmission of high-capacity data (eMBB (enhanced mobile broadband)), minimization of terminal power and connection of multiple terminals (mMTC (massive machine type communications)), or high reliability and low latency (URLLC (ultra-reliable and low-latency communications)).
  • eMBB enhanced mobile broadband
  • mMTC massive machine type communications
  • URLLC ultra-reliable and low-latency communications
  • the wireless communication module (192) can support, for example, a high-frequency band (e.g., mmWave band) to achieve a high data transmission rate.
  • a high-frequency band e.g., mmWave band
  • the wireless communication module (192) can support various technologies for securing performance in a high-frequency band, such as beamforming, massive multiple-input and multiple-output (MIMO), full dimensional MIMO (FD-MIMO), array antenna, analog beam-forming, or large scale antenna.
  • the wireless communication module (192) can support various requirements specified in the electronic device (101), an external electronic device (e.g., the electronic device (104)), or a network system (e.g., the second network (199)).
  • the wireless communication module (192) can support a peak data rate (e.g., 20 Gbps or more) for eMBB realization, a loss coverage (e.g., 164 dB or less) for mMTC realization, or a U-plane latency (e.g., 0.5 ms or less for downlink (DL) and uplink (UL), or 1 ms or less for round trip) for URLLC realization.
  • a peak data rate e.g., 20 Gbps or more
  • a loss coverage e.g., 164 dB or less
  • U-plane latency e.g., 0.5 ms or less for downlink (DL) and uplink (UL), or 1 ms or less for round trip
  • the antenna module (197) can transmit or receive signals or power to or from an external device (e.g., an external electronic device).
  • the antenna module (197) may include an antenna including a radiator formed of a conductor or a conductive pattern formed on a substrate (e.g., a PCB).
  • the antenna module (197) may include a plurality of antennas (e.g., an array antenna). In this case, at least one antenna suitable for a communication method used in a communication network, such as the first network (198) or the second network (199), may be selected from the plurality of antennas, for example, by the communication module (190). A signal or power may be transmitted or received between the communication module (190) and an external electronic device via the selected at least one antenna.
  • another component e.g., a radio frequency integrated circuit (RFIC)
  • RFIC radio frequency integrated circuit
  • the antenna module (197) may form a mmWave antenna module.
  • the mmWave antenna module may include a printed circuit board, an RFIC disposed on or adjacent a first side (e.g., a bottom side) of the printed circuit board and capable of supporting a designated high-frequency band (e.g., a mmWave band), and a plurality of antennas (e.g., an array antenna) disposed on or adjacent a second side (e.g., a top side or a side side) of the printed circuit board and capable of transmitting or receiving signals in the designated high-frequency band.
  • a first side e.g., a bottom side
  • a plurality of antennas e.g., an array antenna
  • At least some of the above components can be interconnected and exchange signals (e.g., commands or data) with each other via a communication method between peripheral devices (e.g., a bus, GPIO (general purpose input and output), SPI (serial peripheral interface), or MIPI (mobile industry processor interface)).
  • peripheral devices e.g., a bus, GPIO (general purpose input and output), SPI (serial peripheral interface), or MIPI (mobile industry processor interface)).
  • commands or data may be transmitted or received between the electronic device (101) and an external electronic device (104) via a server (108) connected to a second network (199).
  • Each of the external electronic devices (102 or 104) may be the same or a different type of device as the electronic device (101).
  • all or part of the operations executed in the electronic device (101) may be executed in one or more of the external electronic devices (102, 104, or 108). For example, when the electronic device (101) is to perform a certain function or service automatically or in response to a request from a user or another device, the electronic device (101) may, instead of or in addition to executing the function or service itself, request one or more external electronic devices to perform the function or at least a part of the service.
  • One or more external electronic devices that receive the request may execute at least a portion of the requested function or service, or an additional function or service related to the request, and transmit the result of the execution to the electronic device (101).
  • the electronic device (101) may process the result as is or additionally and provide it as at least a portion of a response to the request.
  • cloud computing, distributed computing, mobile edge computing (MEC), or client-server computing technology may be used, for example.
  • the electronic device (101) may provide an ultra-low latency service by using distributed computing or mobile edge computing, for example.
  • the external electronic device (104) may include an Internet of Things (IoT) device.
  • the server (108) may be an intelligent server utilizing machine learning and/or a neural network.
  • the external electronic device (104) or the server (108) may be included in the second network (199).
  • the electronic device (101) can be applied to intelligent services (e.g., smart home, smart city, smart car, or healthcare) based on 5G communication technology and IoT-related technology.
  • Electronic devices may take various forms. Electronic devices may include, for example, portable communication devices (e.g., smartphones), computer devices, portable multimedia devices, portable medical devices, cameras, wearable devices, or home appliances. Electronic devices according to embodiments of the present disclosure are not limited to the aforementioned devices.
  • first,” “second,” or “first” or “second” may be used merely to distinguish one component from another, and do not limit the components in any other respect (e.g., importance or order).
  • a component e.g., a first component
  • another e.g., a second component
  • functionally e.g., a third component
  • module used in various embodiments of the present disclosure may include a unit implemented in hardware, software, or firmware, and may be used interchangeably with terms such as logic, logic block, component, or circuit.
  • a module may be an integral component, or a minimum unit or part of such a component that performs one or more functions.
  • a module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present disclosure may be implemented as software (e.g., a program (140)) including one or more commands stored in a storage medium (e.g., an internal memory (136) or an external memory (138)) readable by a machine (e.g., an electronic device (101)).
  • a processor e.g., a processor (120)
  • the machine e.g., an electronic device (101)
  • the one or more commands may include code generated by a compiler or code executable by an interpreter.
  • the machine-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' simply means that the storage medium is a tangible device and does not contain signals (e.g., electromagnetic waves), and the term does not distinguish between cases where data is stored semi-permanently or temporarily on the storage medium.
  • the method according to various embodiments of the present disclosure may be provided as included in a computer program product.
  • the computer program product may be traded as a product between a seller and a buyer.
  • the computer program product may be distributed in the form of a machine-readable storage medium (e.g., compact disc read-only memory (CD-ROM)), or may be distributed online (e.g., downloaded or uploaded) through an application store (e.g., Play StoreTM) or directly between two user devices (e.g., smart phones).
  • an application store e.g., Play StoreTM
  • at least a portion of the computer program product may be temporarily stored or temporarily generated in a machine-readable storage medium, such as the memory of a manufacturer's server, an application store's server, or a relay server.
  • each component e.g., a module or a program of the above-described components may include one or more entities, and some of the entities may be separated and placed in other components.
  • one or more components or operations of the aforementioned components may be omitted, or one or more other components or operations may be added.
  • a plurality of components e.g., a module or a program
  • the integrated component may perform one or more functions of each of the plurality of components identically or similarly to those performed by the corresponding component among the plurality of components prior to the integration.
  • the operations performed by a module, program, or other component may be executed sequentially, in parallel, iteratively, or heuristically, or one or more of the operations may be executed in a different order, omitted, or one or more other operations may be added.
  • FIG. 2 is a perspective view of a wearable electronic device according to one embodiment of the present disclosure.
  • FIG. 2 can be combined with the embodiment of FIG. 1, or the embodiments of FIGS. 3 to 18.
  • the configurations of the embodiment of FIG. 2 may be partially or entirely identical to the configurations of the embodiment of FIG. 1, or the configurations of the embodiments of FIGS. 3 to 18.
  • a wearable electronic device (101) is an electronic device in the form of glasses, which allows a user to visually perceive surrounding objects or environments while wearing the wearable electronic device (101).
  • the wearable electronic device (101) may include smart glasses that can provide images directly in front of the user's eyes.
  • the configuration of the wearable electronic device (101) of FIG. 2 may be partially or completely identical to the configuration of the electronic device (101) of FIG. 1.
  • embodiments of the wearable electronic device (101) of the present disclosure and descriptions thereof described below may also be applied to a head mounting device (HMD).
  • HMD head mounting device
  • the wearable electronic device (101) may include a housing (210) that forms at least a portion of the exterior of the wearable electronic device (101).
  • the housing (210) may provide a space in which components of the wearable electronic device (101) may be placed.
  • the housing (210) may include a lens frame (202) and at least one wearing member (203).
  • a wearable electronic device (101) may include a display member (201) disposed at least partially within a housing (210).
  • the display member (201) can output a visual image.
  • the wearable electronic device (101) can include at least one display member (201) that can provide visual information (or images) to a user.
  • the display member (201) can include a module equipped with a lens, a display, a waveguide, and/or a touch circuit.
  • the display member (201) can be formed transparently or translucently.
  • the display member (201) can include a window member whose light transmittance can be adjusted by adjusting the glass of a translucent material or the tinting concentration.
  • the lens frame (202) can accommodate at least a portion of the indicator member (201).
  • the lens frame (202) can surround at least a portion of an edge of the indicator member (201).
  • the lens frame (202) can position at least one of the indicator members (201) to correspond to a user's eye.
  • the lens frame (202) can include a rim of a typical eyeglass structure.
  • the lens frame (202) can include at least one closed curve surrounding the indicator member (201).
  • the lens frame (202) can include a first rim portion (202a) and a second rim portion (202b) opposite the first rim portion (202a). The first rim portion (202a) may be positioned adjacent to the first wearing member (203a), and the second rim portion (202b) may be positioned adjacent to the second wearing member (203b).
  • the lens frame (202) may include a bridge portion (202c) connecting a first rim portion (202a) and a second rim portion (202b).
  • a display member (201) corresponding to the user's right eye may be arranged in the first rim portion (202a).
  • a display member (201) corresponding to the user's left eye may be arranged in the second rim portion (202b).
  • the wearing member (203) may extend from the lens frame (202).
  • the wearing member (203) may extend from an end of the lens frame (202) and, together with the lens frame (202), may be supported or positioned on the user's body (e.g., an ear).
  • the wearing member (203) may be rotated relative to the lens frame (202) via a hinge structure (229).
  • the wearable member (203) may include an inner side configured to face the user's body and an outer side opposite the inner side.
  • at least a portion of the wearable member (203) may be formed of a flexible material (e.g., rubber).
  • at least a portion of the wearable member (203) may be formed in a band shape that surrounds at least a portion of the user's body (e.g., an ear).
  • the first wearing member (203a) may be positioned to correspond to the user's right ear when the wearable electronic device (101) is worn by the user.
  • the first wearing member (203a) may include a first connection portion (2032a) and a first extension portion (2031a).
  • the first connection portion (2032a) may be defined and/or interpreted as a part of the lens frame (202) and/or the first rim portion (202a).
  • the first connecting portion (2032a) may extend from the first rim portion (202a) of the lens frame (202).
  • the first extension portion (2031a) may be rotatably connected to the first connection portion (2032a).
  • the first extension portion (2031a) may extend from the first connection portion (2032a).
  • the first extension portion (2031a) may be defined and/or referred to as a first leg portion.
  • the first extension portion (2031a) can be rotatably coupled to the first connection portion (2032a) via a hinge structure (229).
  • the first extension portion (2031a) can be rotated to fold or unfold relative to the first connection portion (2032a) and the lens frame (202).
  • the first wearing member (203a) can be rotated relative to the first rim portion (202a) and the lens frame (202).
  • the first connecting portion (2032a) may accommodate a camera (e.g., the camera (330) of FIG. 5 or the camera (330) of FIG. 15) and/or a display engine (e.g., the light output module (211) of FIG. 3 or the display engine (360) of FIG. 15).
  • a camera e.g., the camera (330) of FIG. 5 or the camera (330) of FIG. 15
  • a display engine e.g., the light output module (211) of FIG. 3 or the display engine (360) of FIG. 15.
  • the camera and/or the display engine may be disposed within the first connecting portion (2032a) and not exposed to the outside of the first wearing member (203a).
  • the first wearing member (203a) may be positioned to correspond to the user's right ear when the wearable electronic device (101) is worn by the user.
  • the first wearing member (203a) may include a first extension portion (2031a) and a first connection portion (2032a).
  • the first connection portion (2032a) may be defined and/or interpreted as a part of the lens frame (202) and/or the first rim portion (202a).
  • the first connecting portion (2032a) may extend from the first rim portion (202a) of the lens frame (202).
  • the first extension portion (2031a) may be rotatably connected to the first connection portion (2032a).
  • the first extension portion (2031a) may extend from the first connection portion (2032a).
  • the first extension portion (2031a) may be defined and/or referred to as a first leg portion.
  • the first extension portion (2031a) can be rotatably coupled to the first connection portion (2032a) via a hinge structure (229).
  • the first extension portion (2031a) can be rotated to fold or unfold relative to the first connection portion (2032a) and the lens frame (202).
  • the first wearing member (203a) can be rotated relative to the first rim portion (202a) and the lens frame (202).
  • the second wearing member (203b) may be positioned to correspond to the user's left ear when the wearable electronic device (101) is worn by the user.
  • the second wearing member (203b) may include a second extension portion (2031b) and a second connection portion (2032b).
  • the second connection portion (2032b) may be defined and/or interpreted as a part of the lens frame (202) and/or the second rim portion (202b).
  • the second connecting portion (2032b) may extend from the second rim portion (202b) of the lens frame (202).
  • the second extension portion (2031b) may be rotatably connected to the second connection portion (2032b).
  • the second extension portion (2031b) may extend from the second connection portion (2032b).
  • the second extension portion (2031b) may be defined and/or referred to as a second leg portion.
  • the second extension portion (2031b) can be rotatably coupled to the second connection portion (2032b) via a hinge structure (229).
  • the second extension portion (2031b) can be rotated to fold or unfold relative to the second connection portion (2032b) and the lens frame (202).
  • the second wearing member (203b) can be rotated relative to the second rim portion (202b) and the lens frame (202).
  • the second connecting portion (2032b) may accommodate a camera (e.g., the camera (330) of FIG. 5 or the camera (330) of FIG. 15) and/or a display engine (e.g., the light output module (211) of FIG. 3 or the display engine (360) of FIG. 15).
  • a camera e.g., the camera (330) of FIG. 5 or the camera (330) of FIG. 15
  • a display engine e.g., the light output module (211) of FIG. 3 or the display engine (360) of FIG. 15.
  • the camera and/or the display engine may be disposed within the second connecting portion (2032b) and not exposed to the outside of the second wearing member (203b).
  • the wearable electronic device (101) may include a hinge structure (229) configured to fold the wearing member (203) relative to the lens frame (202).
  • the hinge structure (229) may be positioned between the lens frame (202) and the wearing member (203).
  • the hinge structure (229) may include a first hinge structure (229a) connected to a first connecting portion (2032a) and a first extending portion (2031a).
  • the first hinge structure (229a) may allow the first extending portion (2031a) to rotate relative to the first connecting portion (2032a). Accordingly, the first wearing member (203a) and/or the first extending portion (2031a) may rotate relative to the lens frame (202) (e.g., the first rim portion (202a)).
  • the hinge structure (229) may include a second hinge structure (229b) connected to a second connecting portion (2032b) and a second extending portion (2031b).
  • the second hinge structure (229b) may allow the second extending portion (2031b) to rotate relative to the second connecting portion (2032b). Accordingly, the second wearing member (203b) and/or the second extending portion (2031b) may rotate relative to the lens frame (202) (e.g., the second rim portion (202b)).
  • the user when the user is not wearing the wearable electronic device (101), the user can fold the wearing member (203) so that a portion overlaps the lens frame (202) and carry or store it.
  • the wearable electronic device (101) may include a glasses-type device capable of providing augmented reality to a user.
  • 'Augmented Reality' may mean overlaying a virtual image generated by a computer onto a physical, real-world environment or real-world object to display it as a single image.
  • a "real scene” refers to a scene of the real world viewed by an observer or user through an augmented reality display device (e.g., a wearable electronic device (101)), and may include real world objects.
  • a "virtual image” may be an image generated by a display engine.
  • the "virtual image” may include an image of a virtual object.
  • the virtual image may include both static and dynamic images.
  • Such a virtual image may be an image overlaid on a real scene, showing information about a real object in the real scene, information about the operation of an augmented reality device, or a control menu.
  • a wearable electronic device (101) may include a display engine (e.g., display engine (360) of FIG. 15) for generating a virtual image composed of light generated from a light source.
  • a display engine e.g., display engine (360) of FIG. 15
  • At least one display member (201) may include a wave guide configured to guide a virtual image provided from the display engine to the user's eyes.
  • the wearable electronic device (101) can capture and/or recognize the trajectory of the user's eye (e.g., pupil or iris) or gaze.
  • a wave guide e.g., wave guide (400) of FIG. 6) and a camera (e.g., camera (330) of FIG. 15) of at least one display member (201) can be used to capture and/or recognize the trajectory of the user's eye or gaze.
  • the wearable electronic device (101) can be configured to track the user's gaze direction.
  • the wearable electronic device (101) may be configured to track the direction of the user's gaze, and when the user focuses on a specific portion on the display member (201) (e.g., looks at a specific portion), enlarge or reduce a virtual image of the corresponding portion, or change or optimize the arrangement of the virtual image, thereby optimizing the operation and arrangement of the virtual image visually exposed to the user.
  • FIG. 3 is a perspective view illustrating an internal configuration of a wearable electronic device according to one embodiment of the present disclosure.
  • FIG. 4 is an exploded perspective view of a wearable electronic device according to one embodiment of the present disclosure.
  • FIGS. 3 and 4 can be combined with the embodiments of FIGS. 1 to 2, or the embodiments of FIGS. 5 to 18.
  • the configurations of the display member (201), the lens frame (202), the wearing member (203), and the hinge structure (229) of FIG. 3 and/or FIG. 4 may be partially or entirely identical to the configurations of the display member (201), the lens frame (202), the wearing member (203), and the hinge structure (229) of FIG. 2.
  • a wearable electronic device (101) may include a display member (201), a lens frame (202), a wearing member (203), a hinge structure (229), at least one circuit board (241), at least one battery (243), at least one power transmission structure (246), a camera module (250), and/or a sensor module (280).
  • the wearable electronic device (101) may acquire and/or recognize a visual image of an object or environment in a direction (e.g., +Y direction) that the user is looking at or that the wearable electronic device (101) is facing by using a camera module (253, 255), and may receive information about the object or environment from an external electronic device (e.g., the electronic device (102, 104) of FIG. 1 or the server (108) of FIG. 1) through a network (e.g., the first network (198) or the second network (199) of FIG. 1).
  • the wearable electronic device (101) may provide the received information about the object or environment to the user in an acoustic or visual form.
  • the wearable electronic device (101) may provide the received information about the object or environment to the user in a visual form through a display member (201) by using a display module (e.g., the display module (160) of FIG. 1).
  • a display module e.g., the display module (160) of FIG. 1.
  • the wearable electronic device (101) can implement augmented reality by visualizing information about objects or the environment and combining it with actual images of the user's surroundings.
  • the display member (201) may be provided as a pair and may be arranged to correspond to the left and right eyes of the user, respectively, when the wearable electronic device (101) is worn on the user's body.
  • the display member (201) may include a first display member (201a) and a second display member (201b) arranged spaced apart from the first display member (201a).
  • the first display member (201a) may be arranged to correspond to the user's right eye
  • the second display member (201b) may be arranged to correspond to the user's left eye.
  • the first display member (201a) may be disposed on a first rim portion of the lens frame (202) (e.g., the first rim portion (202a) of FIG. 2), and the second display member (201b) may be disposed on a second rim portion of the lens frame (202) (e.g., the second rim portion (202b) of FIG. 2).
  • the display member (201) may include a first side (F1) facing a direction in which external light is incident (e.g., -Y direction) and a second side (F2) facing an opposite direction (e.g., +Y direction) of the first side (F1).
  • a first side (F1) facing a direction in which external light is incident (e.g., -Y direction)
  • the first side (F1) facing a direction in which external light is incident
  • F2 facing an opposite direction (e.g., +Y direction) of the first side (F1).
  • the lens frame (202) may include at least two frames.
  • the lens frame (202) may include a first frame (2021b) and a second frame (2021b).
  • the first frame (2021a) when a user wears a wearable electronic device (101), the first frame (2021a) may be a frame that faces the user's face, and the second frame (2021b) may be a part of a lens frame (202) spaced apart in a direction of the user's gaze (e.g., +Y direction) with respect to the first frame (2021a).
  • a direction of the user's gaze e.g., +Y direction
  • the wearable electronic device (101) may include a light output module (211) configured to provide images and/or videos to a user (e.g., a display engine (360) of FIG. 15 ).
  • the light output module (211) may include a display panel (not shown) capable of outputting videos and a lens (not shown) corresponding to a user's eye and guiding the videos to a display member (201).
  • the user may obtain videos output from the display panel of the light output module (211) through the lens of the light output module (211).
  • the light output module (211) may include a device configured to display various information.
  • the light output module (211) may include at least one of a liquid crystal display (LCD), a digital mirror device (DMD), a liquid crystal on silicon (LCoS), an organic light emitting diode (OLED), or a micro light emitting diode (micro LED).
  • the wearable electronic device (101) may include a light source that irradiates light to a display area of the light output module (211) and/or the display member (201).
  • the wearable electronic device (101) can provide a virtual image to the user without including a separate light source.
  • the light output module (211) may be disposed within the housing (210).
  • the light output module (211) may be disposed within the wearable member (203) and connected to the display member (201), and may provide an image to the user through the display member (201).
  • an image output from the light output module (211) may be incident on the display member (201) through an input optical member (not shown) positioned at one end of the display member (201), and may be radiated toward the user's eye through a wave guide (e.g., the second wave guide (500) of FIG. 15) and an output optical member (EB) positioned at at least a portion of the display member (201).
  • the output optical member (EB) may form an eye-box corresponding to the user's eye.
  • the wearable electronic device (101) may include a circuit board (241) (e.g., a printed circuit board (PCB), a printed board assembly (PBA), a flexible PCB (FPCB), or a rigid-flexible PCB (RFPCB)) that accommodates components for driving the wearable electronic device (101).
  • the circuit board (241) may include at least one integrated circuit chip, and at least one of a processor (not shown) (e.g., a processor (120) of FIG. 1), a memory (not shown) (e.g., a memory (130) of FIG. 1), a power management module (not shown) (e.g., a power management module (188) of FIG.
  • the circuit board (241) may be disposed within the wearing member (203) of the housing (210).
  • the circuit board (241) may include a first circuit board (241a) disposed within a first wearing member (203a) and a second circuit board (241b) disposed within a second wearing member (203b).
  • the communication module e.g., the communication module (190) of FIG. 1) may be disposed within the first wearing member.
  • a first circuit board (241a) located within a member (203a) may be mounted, and a processor (e.g., processor (120) of FIG.
  • the circuit board (241) may be mounted within a second circuit board (241b) located within a second wearable member (203b).
  • the circuit board (241) may be electrically connected to a battery (243) (e.g., battery (189) of FIG. 1) via a power transmission structure (246).
  • the circuit board (241) may be an interposer board.
  • the battery (243) may be electrically connected to components of the wearable electronic device (101) (e.g., the light output module (211), the circuit board (241), the speaker module (245), the microphone module (247), and/or the camera module (250)) and may supply power to the components of the wearable electronic device (101).
  • the wearable electronic device (101) e.g., the light output module (211), the circuit board (241), the speaker module (245), the microphone module (247), and/or the camera module (250)
  • the battery (243) may be electrically connected to components of the wearable electronic device (101) (e.g., the light output module (211), the circuit board (241), the speaker module (245), the microphone module (247), and/or the camera module (250)) and may supply power to the components of the wearable electronic device (101).
  • the battery (243) may be disposed in the wearable member (203).
  • the battery (243) may include a first battery (243a) disposed within the first wearable member (203a) and a second battery (243b) disposed within the second wearable member (203b).
  • the battery (243) may be disposed adjacent to an end (203c, 203d) of the wearable member (203).
  • the speaker module (245) (e.g., the audio module (170) or the sound output module (155) of FIG. 1) can convert an electrical signal into sound. At least a portion of the speaker module (245) can be disposed within the wearing member (203) of the housing (210). According to one embodiment, the speaker module (245) can be positioned within the wearing member (203) to correspond to the user's ear. According to one embodiment (e.g., FIG. 3), the speaker module (245) can be disposed next to the circuit board (241). For example, the speaker module (245) can be disposed between the circuit board (241) and the battery (243). According to another embodiment (not shown), the speaker module (245) can be disposed on the circuit board (241). For example, the speaker module (245) may be placed between the circuit board (241) and the inner case (e.g., the inner case (231) of FIG. 4).
  • the inner case e.g., the inner case (231) of FIG. 4
  • the wearable electronic device (101) may include a power transmission structure (246) configured to transmit power from the battery (243) to an electronic component (e.g., an optical output module (211)) of the wearable electronic device (101).
  • the power transmission structure (246) is electrically connected to the battery (243) and/or the circuit board (241), and the circuit board (241) may transmit power received through the power transmission structure (246) to the optical output module (211).
  • the power transmission structure (246) may be a configuration capable of transmitting power.
  • the power transmission structure (246) may include a flexible printed circuit board or a wire.
  • the wire may include a plurality of cables (not shown).
  • the shape of the power transmission structure (246) may be variously modified in consideration of the number and/or type of cables.
  • the microphone module (247) may convert sound into an electrical signal.
  • the microphone module (247) may be disposed within the lens frame (202).
  • at least one microphone module (247) may be disposed at the bottom (e.g., in the direction toward the -Z axis) and/or the top (e.g., in the direction toward the +Z axis) of the wearable electronic device (101).
  • the wearable electronic device (101) may recognize the user's voice more clearly by using voice information (e.g., sound) acquired from the at least one microphone module (247).
  • the electronic device (101) may distinguish voice information from ambient noise based on the acquired voice information and/or additional information (e.g., low-frequency vibration of the user's skin and bones). For example, a wearable electronic device (101) can clearly recognize a user's voice and perform a function of reducing ambient noise (e.g., noise canceling).
  • additional information e.g., low-frequency vibration of the user's skin and bones.
  • a wearable electronic device (101) can clearly recognize a user's voice and perform a function of reducing ambient noise (e.g., noise canceling).
  • the wearable electronic device (101) may include a light source (251).
  • the light source (251) may be disposed in the lens frame (202), but is not limited thereto.
  • the light source (251) may be configured to correspond to the left and right eyes of the user, respectively.
  • the light source (251) may include, but is not limited to, an IR light source (e.g., an IR LED) that irradiates IR (infrared radiation) light.
  • the light source (251) may be configured to irradiate light of a preset wavelength band (e.g., an infrared band) toward the user's eye.
  • a preset wavelength band e.g., an infrared band
  • the user's eye, a body part adjacent to the eye (e.g., an eyelid), or the pupil of the user's eye may reflect the light incident from the light source (251).
  • light reflected from a user's eye, a part of the body, or the pupil may be incident on the display member (201).
  • the light incident on the display member (201) may be incident on a camera (e.g., the camera (330) of FIG. 5) positioned within the wearable member (203) through a wave guide (e.g., the first wave guide (400) of FIG. 6) positioned on at least a portion of the display member (201).
  • the wearable electronic device (101) can identify the direction in which the user's pupil is directed (e.g., the direction of the user's gaze) by acquiring light reflected by the user's pupil from a light source (251) using the camera (e.g., the camera (330) of FIG. 5).
  • the wearable electronic device (101) may include a camera module (253, 255).
  • the camera module (253, 255) may capture still images and/or moving images.
  • the camera module (253, 255) may include at least one of a lens, at least one image sensor, an image signal processor, or a flash.
  • the camera module (253, 255) may be disposed within a lens frame (202) and may be disposed around a display member (201).
  • a first camera module (253) may be included.
  • the first camera module (253) may capture an external image.
  • the first camera module (253) may capture an external image through a second optical hole (223) formed in the second frame (2021b).
  • the second camera module (253) may include a high-resolution color camera, and may be a high-resolution (HR) or photo video (PV) camera.
  • the first camera module (251) may provide an auto focus (AF) function and an optical image stabilizer (OIS) function.
  • AF auto focus
  • OIS optical image stabilizer
  • the wearable electronic device (101) may include a flash (not shown) positioned adjacent to the first camera module (253).
  • the flash may provide light to increase the brightness (e.g., illuminance) around the wearable electronic device (101) when the first camera module (251) acquires an external image, and may reduce difficulties in acquiring images due to dark environments, mixing of various light sources, and/or reflection of light.
  • At least one second camera module (255) can capture a user's action through a first optical hole (221) formed in the lens frame (202).
  • the second camera module (255) can capture a user's gesture (e.g., hand motion).
  • the second camera module (255) and/or the first optical hole (221) may be respectively disposed at opposite side ends of the lens frame (202) (e.g., the second frame (2021b)), for example, at opposite ends of the lens frame (202) (e.g., the second frame (2021b)) in the X direction.
  • the second camera module (255) may be a global shutter (GS) type camera.
  • the second camera module (255) may be a camera that supports 3DoF (degrees of freedom) or 6DoF, which may provide 360-degree space (e.g., omnidirectional), position recognition, and/or movement recognition.
  • the second camera module (255) may perform a movement path tracking function (simultaneous localization and mapping, SLAM) and a user movement recognition function using a plurality of global shutter type cameras of the same standard and performance as a stereo camera.
  • the second camera module (255) may include an IR (infrared) camera (e.g., a time of flight (TOF) camera or a structured light camera).
  • the IR camera may operate as at least a part of a sensor module (e.g., the sensor module (176) of FIG. 1) for detecting a distance to a subject.
  • the second camera modules (255) may be replaced with a sensor module (e.g., the sensor module (176) of FIG. 1).
  • the sensor module may include at least one of a vertical cavity surface emitting laser (VCSEL), an infrared sensor, and/or a photodiode.
  • the photodiode may include a positive intrinsic negative (PIN) photodiode or an avalanche photodiode (APD). The photodiode may be interpreted as a photo detector or a photo sensor.
  • At least one of the first camera module (253) or the second camera module (255) may include a plurality of camera modules (not shown).
  • the first camera module (253) may be configured with a plurality of lenses (e.g., wide-angle and telephoto lenses) and image sensors and may be arranged on one side (e.g., the side facing the -Y direction) of the wearable electronic device (101).
  • the wearable electronic device (101) may include a plurality of camera modules, each having a different property (e.g., angle of view) or function, and may be controlled to change the angle of view of the camera module based on a user's selection and/or trajectory information.
  • at least one of the plurality of camera modules may be a wide-angle camera, and at least another may be a telephoto camera.
  • a processor may determine movement of the wearable electronic device (101) and/or movement of the user by using information of the wearable electronic device (101) acquired using at least one of a gesture sensor, a gyro sensor, or an acceleration sensor of a sensor module (e.g., sensor module (176) of FIG. 1) and a user's motion (e.g., approach of the user's body to the electronic device (101)) acquired using a second camera module (255).
  • the wearable electronic device (101) may include, in addition to the described sensors, a magnetic (geomagnetic) sensor capable of measuring a direction using a magnetic field and magnetism, and/or a Hall sensor capable of acquiring movement information (e.g., a moving direction or a moving distance) using the strength of a magnetic field.
  • the processor may determine movement of the electronic device (101) and/or movement of the user based on information acquired from the magnetic (geomagnetic) sensor and/or the Hall sensor.
  • the wearable electronic device (101) can perform an input function (e.g., a touch and/or pressure sensing function) that enables interaction with a user.
  • a component configured to perform a touch and/or pressure sensing function e.g., a touch sensor and/or a pressure sensor
  • the wearable electronic device (101) can control a virtual image output through the display member (201) based on information acquired through the component.
  • the sensor related to the touch and/or pressure sensing function may be configured in various ways, such as a resistive type, a capacitive type, an electromagnetic induction (EM) type, or an optical type.
  • the component configured to perform the touch and/or pressure sensing function may have part or all of the same configuration as the input module (150) of FIG. 1.
  • the wearable electronic device (101) may include a reinforcing member (260) disposed in the internal space of the lens frame (202) and formed to have a rigidity higher than the rigidity of the lens frame (202).
  • the electronic device (101) may include a lens structure (273).
  • the lens structure (273) may refract at least a portion of light.
  • the lens structure (273) may be a prescription lens having a specified refractive power.
  • at least a portion of the lens structure (273) may be positioned behind the display member (201) (e.g., in the +Y direction).
  • the lens structure (273) may be positioned between the display member (201) and the user's eye.
  • the housing (210) may include a hinge cover (227) that may conceal a portion of the hinge structure (229). Another portion of the hinge structure (229) may be accommodated or concealed between an inner cover (231) and an outer cover (233), which will be described later.
  • the wearable member (203) may include an inner cover (231) and an outer cover (233).
  • the inner cover (231) is a cover configured to face the user's body or to come into direct contact with the user's body, and may be made of a material with low thermal conductivity, for example, a synthetic resin.
  • the inner cover (231) may include an inner side that faces the user's body.
  • the outer cover (233) may include a material (for example, a metal material) that can at least partially transmit heat, and may be coupled to face the inner cover (231).
  • the outer cover (233) may include an outer side opposite the inner side.
  • the inner cover (231) may include a first cover (231a) that accommodates a circuit board (241) and/or a speaker module (245), and a second cover (231b) that accommodates a battery (243), and the outer cover (233) may include a third cover (233a) that is coupled to face the first cover (231a), and a fourth cover (233b) that is coupled to face the second cover (231b).
  • first cover (231a) and the third cover (233a) may be combined (hereinafter, 'the first cover portion (231a, 233a)') to accommodate a circuit board (241) and/or a speaker module (245), and the second cover (231b) and the fourth cover (233b) may be combined (hereinafter, 'the second cover portion (231b, 233b)') to accommodate a battery (243).
  • the first cover portion (231a, 233a) is rotatably coupled to the lens frame (202) via a hinge structure (229), and the second cover portion (231b, 233b) can be connected or mounted to an end of the first cover portion (231a, 233a) via a connection structure (235).
  • a portion of the connection structure (235) that comes into contact with the user's body can be made of a material having low thermal conductivity, for example, an elastic material such as silicone, polyurethane, or rubber, and a portion that does not come into contact with the user's body can be made of a material having high thermal conductivity, for example, a metal material.
  • connection structure (235) when heat is generated in the circuit board (241) or the battery (243), the connection structure (235) can block the heat from being transferred to the portion coming into contact with the user's body, and can disperse or release the heat through the portion that does not come into contact with the user's body.
  • a portion of the connection structure (235) that is configured to come into contact with the user's body may be interpreted as a part of the inner cover (231), and a portion of the connection structure (235) that is not configured to come into contact with the user's body may be interpreted as a part of the outer cover (233).
  • the first cover (231a) and the second cover (231b) may be configured as an integral body without the connection structure (235), and the third cover (233a) and the fourth cover (233b) may be configured as an integral body without the connection structure (235).
  • other components e.g., antenna module (197) of FIG. 1 may be further included, and information about objects or environments may be provided from an external electronic device (e.g., electronic device (102, 104) of FIG. 1, or server (108) of FIG. 1) through a network (e.g., first network (198) or second network (199) of FIG. 1) using a communication module (e.g., communication module (190) of FIG. 1).
  • the lens frame (202) may include a bridge portion (274) (e.g., bridge portion (202c) of FIG. 2) between the first display member (201a) and the second display member (201b).
  • the bridge portion (274) may be interpreted as a portion corresponding to a nose pad of glasses.
  • the electronic device (101) may include a connection member (205).
  • the circuit board (241) is connected to the connection member (205) and may transmit electrical signals to components of the electronic device (101) (e.g., the light output module (211) and/or the camera module (250)) through the connection member (205).
  • a control signal transmitted from a processor (e.g., the processor (120) of FIG. 1) located on the circuit board (241) may be transmitted to the electronic components using at least a portion of the connection member (205).
  • at least a portion of the connection member (205) may include wiring (not shown) electrically connected to components of the electronic device (101).
  • the connecting member (205) can include a first connecting member (205a) at least partially disposed within the first wearing member (203a) and a second connecting member (205b) at least partially disposed within the second wearing member (203b).
  • at least a portion of the first connecting member (205a) and/or the second connecting member (205b) can face the hinge structure (229).
  • the first connecting member (205a) can extend from the first circuit board (241a) across the hinge structure (229) into the interior of the lens frame (202).
  • the second connecting member (205b) can extend from the second circuit board (241b) across the hinge structure (229) into the interior of the lens frame (202).
  • a portion of the first connecting member (205a) and a portion of the second connecting member (205b) may be placed within the wearing member (203), and the other portion may be placed within the lens frame (202).
  • the first connecting member (205a) and the second connecting member (205b) may include structures that can be folded or unfolded based on the rotation of the hinge structure (229).
  • the first connecting member (205a) and/or the second connecting member (205b) may include a flexible printed circuit board (FPCB).
  • the first connecting member (205a) may be electrically and/or mechanically connected to the first circuit board (241a).
  • the second connecting member (205b) may be electrically and/or mechanically connected to the second circuit board (241b).
  • the first connecting member (205a) and/or the second connecting member (205b) may include structures (e.g., wiring and/or cables) for transmitting signals.
  • the sensor module (280) (e.g., the sensor module (176) of FIG. 1) can detect light passing through the display member (201).
  • the sensor module (280) can include a first sensor module (281) capable of detecting light passing through the first display member (201a) and a second sensor module (282) capable of detecting light passing through the second display member (201b).
  • the first sensor module (281) can detect light from the rear (e.g., in the -Y direction) of the first display member (201a), and the second sensor module (282) can detect light from the rear of the second display member (201b).
  • the sensor module (280) can include a third sensor module (283) capable of detecting light from the front (e.g., in the +Y direction) of the display member (201).
  • the third sensor module (283) can detect light in front of the display member (201) (e.g., in the +Y direction).
  • the sensor module (280) can be a light sensor.
  • the third sensor module (283) can have part or all of the same configuration as the first camera module (253).
  • FIG. 5 is a schematic diagram of a wearable electronic device according to one embodiment of the present disclosure.
  • FIG. 5 can be combined with the embodiments of FIGS. 1 to 4, or the embodiments of FIGS. 6 to 18.
  • the configurations of the embodiment of FIG. 5 may be partially or entirely identical to the configurations of the embodiments of FIGS. 1 to 4, or the configurations of the embodiments of FIGS. 6 to 18.
  • a wearable electronic device (101) may include a housing (310) including a lens frame (302) (e.g., the lens frame (202) of FIGS. 2 to 4) and a wearing member (303) (e.g., the wearing member (203) of FIGS. 2 to 4).
  • the lens frame (302) may be coupled with an indicator member (320, 321) (e.g., the indicator member (201) of FIGS. 2 to 4).
  • the edge of the indicator member (320, 321) may be surrounded by the lens frame (302).
  • the lens frame (302) may include a first rim portion (311) coupled with a first indicator member (320) corresponding to the user's left eye (e.g., the second rim portion (202b) of FIG. 2), and a second rim portion (312) coupled with a second indicator member (321) corresponding to the user's right eye (e.g., the first rim portion (202a) of FIG. 2).
  • the wearing member (303) may include a first leg portion (315) rotatably connected to a first rim portion (311) (e.g., the second wearing member (203b) of FIG. 2) and a second leg portion (316) rotatably connected to a second rim portion (312) (e.g., the first wearing member (203a) of FIG. 2).
  • first leg portion (315) may correspond to the user's left ear.
  • the second leg portion (316) may correspond to the user's right ear.
  • the wearable electronic device (101) may include a light source (370) (e.g., light source (251) of FIGS. 3 and 4).
  • the light source (370) may be disposed in the lens frame (302).
  • a light source (370) e.g., an IR LED
  • a light source (370) may be configured to irradiate infrared light toward a part of a user's body (e.g., an eye (10)).
  • light irradiated from the light source (370) may be reflected by the eye (10) and incident on the display member (320, 321).
  • the wearable electronic device (101) may include a camera (330).
  • the camera (330) may include an IR camera capable of capturing images in the infrared band.
  • the camera (330) may capture light transmitted through the display member (320).
  • the camera (330) may capture light reflected from the user's eye (10).
  • the camera (330) may be positioned inside the wearable member (303).
  • the camera (330) may include at least one pair of cameras, each positioned inside the first leg portion (315) and the second leg portion (316). Since the camera (330) is positioned inside the wearable member (303), the camera (330) may not be exposed to the outside of the wearable electronic device (101). Accordingly, the design of the wearable electronic device (101) may be improved.
  • the wearable electronic device (101) may include a circuit board (340) (e.g., circuit board (241) of FIG. 4).
  • the circuit board (340) may be disposed within the wearable member (303).
  • the circuit board (340) may be electrically connected to the camera (330).
  • the circuit board (241) may include at least one pair of circuit boards disposed within the first leg portion (315) and within the second leg portion (316).
  • the circuit board (340) may include a processor (e.g., processor (120) of FIG. 1) and memory (e.g., memory (130) of FIG. 1).
  • a processor e.g., processor (120) of FIG. 1
  • memory e.g., memory (130) of FIG. 1.
  • the wearable electronic device (101) and/or the processor can track the direction of gaze of the user's pupil based on an image of the user's eye (10) obtained through the camera (330).
  • the light source (370) can irradiate infrared light toward the user's left eye (10).
  • light reflected from the user's left eye (10) may be incident on the first display member (320).
  • the first display member (320) may include a first wave guide (e.g., the first wave guide (400) of FIG. 6) configured to transmit incident light to the camera (330).
  • the first display member (320) may include a first wave guide for tracking the user's gaze, a second wave guide for outputting a virtual image (e.g., the second wave guide (500) of FIG. 15), or a lens structure (e.g., the lens structure (273) of FIG. 4).
  • light incident on the first waveguide may be totally reflected within the first waveguide and transmitted toward the camera (330).
  • light output from the first waveguide can be incident on the camera (330).
  • the camera (330) can capture an image of the user's body or the user's left eye by obtaining light output from the first wave guide.
  • the processor (120) of the circuit board (340) can obtain and/or determine the direction (e.g., gaze direction) of the pupil of the user's left eye (10) based on an image obtained or photographed by the camera (330).
  • the direction e.g., gaze direction
  • FIG. 6 is a schematic diagram illustrating a first wave guide according to one embodiment of the present disclosure.
  • FIG. 7 is an enlarged view of portion A of FIG. 6 according to one embodiment of the present disclosure.
  • FIGS. 6 to 7 can be combined with the embodiments of FIGS. 1 to 5, or the embodiments of FIGS. 8 to 18.
  • the configurations of the embodiments of FIGS. 6 to 7 may be partially or entirely identical to the configurations of the embodiments of FIGS. 1 to 5, or the configurations of the embodiments of FIGS. 8 to 18.
  • a wearable electronic device (101) may include a first wave guide (400).
  • the first wave guide (400) may form at least a portion of a display member (e.g., display member (320, 321) of FIG. 5).
  • a display member e.g., display member (320, 321) of FIG. 5
  • the first wave guide (400) may be formed or composed of any one layer of the display member.
  • the direction in which the first wave guide (400) and the components of the first wave guide (400) are directed may be defined as the direction in which the center of each element is directed, but is not limited thereto.
  • the first waveguide (400) may include a substrate (410), a first filter layer (430), a second filter layer (450), a first diffractive layer (470) (first diffractive layer), and a second diffractive layer (490) (second diffractive layer).
  • the substrate (410) may include a first side (411) facing the user's eye (10) and a second side (413) opposite the first side (411).
  • the substrate (410) may be configured to guide light reflected from the user's eye and incident on the substrate (410) to a camera (330) (e.g., the camera (330) of FIG. 5).
  • a camera (330) e.g., the camera (330) of FIG. 5
  • the substrate (410) may be formed of a material (e.g., glass) that is transparent to the visible light band to enable a user to recognize real objects, but is not limited thereto.
  • a material e.g., glass
  • light in the visible light band incident on the substrate (410) from outside the wearable electronic device (101) may pass through the substrate (410) and enter the user's eyes.
  • the first filter layer (430) may be disposed on the first side (411) of the substrate (410).
  • the first filter layer (430) may include an IR reflective film laminated on the first surface (411).
  • the first filter layer (430) may include a plurality of first pin holes (431).
  • the plurality of first pin holes (431) may be defined as holes or openings formed in the first filter layer (430).
  • light in the infrared band can pass through a plurality of first pinholes (431) of the first filter layer (430). Since the first filter layer (430) includes an IR reflective film, light in the infrared band can be restricted from passing through the remaining areas of the first filter layer (430) (e.g., areas without the first pinholes (431)).
  • the first filter layer (430) may be formed by attaching an IR reflective film including a plurality of first pinholes (431) to the first surface (411) of the substrate (410). According to one embodiment, the first filter layer (430) may be formed by depositing on the first surface (411) of the substrate (410).
  • the second filter layer (450) may be disposed on the second side (413) of the substrate (410).
  • the second filter layer (450) may include an IR reflective film laminated on the second surface (413).
  • the second filter layer (450) may include a plurality of second pin holes (451).
  • the plurality of second pin holes (451) may be defined as holes or openings formed in the second filter layer (450).
  • light in the infrared band can pass through a plurality of second pinholes (451) of the second filter layer (450). Since the second filter layer (450) includes an IR reflective film, light in the infrared band can be restricted from passing through the remaining area of the second filter layer (450).
  • the second filter layer (450) may be formed by attaching an IR reflective film including a plurality of second pinholes (451) to the second surface (413) of the substrate (410). According to one embodiment, the second filter layer (450) may be formed by depositing on the second surface (413) of the substrate (410).
  • the second filter layer (450) may be positioned correspondingly to the first filter layer (430).
  • the second filter layer (450) may face the first filter layer (430) with at least a portion of the substrate (410) interposed therebetween.
  • the first diffractive layer (470) may cover the second filter layer (450).
  • the first diffractive layer (470) may be laminated on an outer surface of the second filter layer (450) (e.g., a surface facing the +Y direction in FIG. 6).
  • the second filter layer (450) may be at least partially disposed between the substrate (410) and the first diffractive layer (470).
  • the first diffractive layer (470) may include a diffractive element.
  • the diffractive element of the first diffractive layer (470) may include, but is not limited to, a diffractive optical element (DOE), a holographic optical element (HOE), a polymer dispersed liquid crystal (PDLC), a meta surface, or a meta grating.
  • DOE diffractive optical element
  • HOE holographic optical element
  • PDLC polymer dispersed liquid crystal
  • meta surface a meta grating.
  • the first diffractive layer (470) may diffract light in an infrared band that passes through the second pinholes (451) and is incident on the first diffractive layer (470).
  • the light in the infrared band diffracted by the first diffractive layer (470) may be totally reflected within the substrate (410) and transmitted to the second diffractive layer (490).
  • the first diffraction layer (470) can diffract infrared band light passing through the second pinhole
  • the second diffractive layer (490) may be disposed on the second side (413) of the substrate (410).
  • the second diffractive layer (490) may be positioned corresponding to the camera (330).
  • the second diffractive layer (490) may face the camera (330) with at least a portion of the substrate (410) therebetween.
  • the second diffractive layer (490) may include a diffractive element.
  • the diffractive element of the first diffractive layer (470) may include, but is not limited to, a diffractive optical element (DOE), a holographic optical element (HOE), a polymer dispersed liquid crystal (PDLC), a meta surface, or a meta grating.
  • DOE diffractive optical element
  • HOE holographic optical element
  • PDLC polymer dispersed liquid crystal
  • meta surface a meta surface
  • meta grating a meta grating
  • the first pinholes (431) of the first filter layer (430) may match the second pinholes (451) of the second filter layer (450).
  • the first pinholes (431) may include pinholes (431-1, 431-n) that are spaced apart from each other.
  • the second pinholes (451) may include pinholes (451-1, 451-n) that are spaced apart from each other.
  • the first-first pinhole (431-1) of the first pinholes (431) may match the second-first pinhole (451-1) of the second pinholes (451).
  • the first-n pinhole (431-n) can be matched with the second-n pinhole (451-n) among the second pinholes (451).
  • the first pinholes (431) and the second pinholes (451) may be configured to limit the path of light reflected from the user's eye (10) and incident on the camera (330) through the first waveguide (400).
  • the first pinholes (431) and the second pinholes (451) may be configured to prevent light reflected from a specific portion of the user's eye (10) and light reflected from a different portion of the user's eye (10) from overlapping at any one pixel of the image sensor (330a) of the camera (330).
  • the wearable electronic device (101) can have improved accuracy and reliability of the gaze direction of the user's eye acquired through the camera (330) and the first wave guide (400).
  • light emitted from a light source may be reflected by the user's eye (10) toward the first wave guide (400).
  • optical paths (Li-1, ⁇ , Li-n) for a plurality of light rays reflected from a plurality of points of the user's eye (10) and incident on the first wave guide (400) are illustrated.
  • optical paths (Li-1, ⁇ , Li-n) for a plurality of light rays reflected from a second mirror layer (490) and incident on the camera (330) are illustrated.
  • a first light generated from any point of a user's eye (10) may pass through a first-first pinhole (431-1) and be incident on the substrate (410).
  • the first light may be diffracted by a first diffractive layer (470) at a second-first pinhole (451-1).
  • the first light may be totally reflected within the substrate (410) and propagate toward a second diffractive layer (490).
  • the first light may be diffracted by the second diffractive layer (490) and may pass through a first surface (411) of the substrate (410) to reach the camera (330).
  • the first-first pinhole (431-1) and the second-first pinhole (451-1) may allow light generated from any point of the user's eye (10) and entering at a designated angle of incidence along the first input optical path (Li-1) to be diffracted by the second diffraction layer (490) and transmitted to the camera (330) along the first output optical path (Lo-1).
  • the description thereof may be applied identically and/or similarly to each of a plurality of pinholes that are matched to each other.
  • light reflected from any one point (20) of the user's eye may be reflected in various directions.
  • light (21) having a designated incident angle ( ⁇ N ) among the lights reflected at the point (20) can pass through the first-nth pinhole (431-n) and reach the second-nth pinhole (451-n).
  • the incident angle can be defined as an angle formed by the light (21) with respect to an imaginary vertical line connecting the point (20) and the first filter layer (430).
  • the first filter layer (430) since the first filter layer (430) includes an IR reflective film, light that does not have a specified incident angle is reflected by the first filter layer (430) and cannot reach the interior of the substrate (410).
  • the light (21) when light (21) having a specified incident angle passes through the first-n pinhole (431-n), the light (21) may be scattered at the boundary of the substrate (410) (e.g., the first surface (411) of FIG. 6).
  • light (22a) reaching the second-n pinhole (451-n) may be diffracted by the first diffractive layer (470).
  • Light (23) diffracted by the first diffractive layer (470) may be totally reflected within the substrate (410) and propagate toward the second diffractive layer (e.g., the second diffractive layer (490) of FIG. 6).
  • the diffracted light diffracted at the 2nd-m pinhole (451-m) may be reflected at an angle that does not satisfy the total reflection condition within the substrate (410) or may not propagate toward the 2nd diffractive layer.
  • light reflected from a specific point (20) of the user's eye may have its optical path limited by the first-nth pinhole (431-n) and the second-nth pinhole (451-n).
  • light reflected from the point (20) may reach a camera (e.g., camera (330) of FIG. 6) only through optical paths associated with the first-nth pinhole (431-n) and the second-nth pinhole (451-n), and may not reach the camera through optical paths associated with other pinholes.
  • light reflected from multiple points on the user's eye can reach the camera only through optical paths limited by their respective associated pinholes.
  • the first pinholes (431) and the second pinholes (451) may be arranged such that the optical paths do not overlap each other. Since the optical paths do not overlap, the image quality of the image of the user's eye acquired by the camera may be improved.
  • FIG. 8 is a schematic diagram showing pinholes of a first wave guide according to one embodiment of the present disclosure.
  • FIG. 9 is a schematic diagram showing pinholes of a first wave guide according to one embodiment of the present disclosure.
  • FIGS. 8 and 9 can be combined with the embodiments of FIGS. 1 to 7, or the embodiments of FIGS. 10 to 18.
  • the configurations of the embodiments of FIGS. 8 and 9 may be partially or entirely identical to the configurations of the embodiments of FIGS. 1 to 7, or the configurations of the embodiments of FIGS. 10 to 18.
  • the first filter layer (430) (e.g., the first filter layer (430) of FIG. 6) may include a plurality of first pinholes (431).
  • the second filter layer (450) (e.g., the second filter layer (450) of FIG. 6) may include a plurality of second pinholes (451).
  • the plurality of first pinholes (431) may be spaced apart from each other.
  • the plurality of first pinholes (431) may be spaced apart at equal intervals.
  • any one of the first pinholes (431-1, ..., 431-n) may be spaced apart from an adjacent first pinhole by a first distance (d1).
  • the plurality of second pinholes (451) may be spaced apart from each other.
  • the plurality of second pinholes (451) may be spaced apart at equal spacing.
  • any one of the second pinholes (451-1, ..., 451-n) may be spaced apart from the adjacent first pinhole by a second distance (d2).
  • the second distance (d2) at which the plurality of second pinholes (451) are spaced apart from each other may be greater than the distance (d1) at which the plurality of first pinholes (431) are spaced apart from each other, but is not limited thereto.
  • the second distance (d2) at which the plurality of second pinholes (451) are spaced apart from each other may be less than the distance (d1) at which the plurality of first pinholes (431) are spaced apart from each other.
  • a first filter layer (4301) (e.g., the first filter layer (430) of FIG. 6) may include a plurality of first pinholes (4311).
  • a second filter layer (4501) (e.g., the second filter layer (450) of FIG. 6) may include a plurality of second pinholes (4511).
  • the plurality of first pinholes (4311) may be spaced apart from each other.
  • the plurality of first pinholes (431) may be spaced apart by an unequal spacing.
  • the distances between the first pinholes (4311) may increase.
  • a distance (d11) between one first pinhole (4311-2) and a first pinhole (4311-1) adjacent to one side thereof may be smaller than a distance (d12) between one first pinhole (4311-2) and a first pinhole (4311-3) adjacent to the other side thereof.
  • the plurality of second pinholes (4511) may be spaced apart from each other.
  • the plurality of second pinholes (451) may be spaced apart by an unequal spacing.
  • the distances between the second pinholes (4511) may increase.
  • a distance (d21) between one second pinhole (4511-2) and a second pinhole (4511-1) adjacent to it on one side may be smaller than a distance (d22) between one second pinhole (4511-2) and a second pinhole (4511-3) adjacent to it on the other side.
  • FIG. 10 is a schematic diagram showing pinholes of a first wave guide according to one embodiment of the present disclosure.
  • FIG. 10 can be combined with the embodiments of FIGS. 1 to 9, or the embodiments of FIGS. 11 to 18.
  • the configurations of the embodiment of FIG. 10 may be partially or entirely identical to the configurations of the embodiments of FIGS. 1 to 9, or the configurations of the embodiments of FIGS. 11 to 18.
  • the first wave guide (400) may include a substrate (410), a first filter layer (4302) (e.g., the first filter layer (4302) of FIG. 6) and a first diffractive layer (4700) (e.g., the first diffractive layer (4700) of FIG. 6).
  • a first filter layer (4302) may be disposed on a first surface (411) of a substrate (410).
  • the first filter layer (4302) may include a plurality of first pinholes (4312).
  • the plurality of first pinholes (4312-1, ..., 4312-n) may be spaced apart from each other.
  • the first diffractive layer (4700) may be disposed on the second side (413) of the substrate (410).
  • the first diffractive layer (4700) may include a plurality of diffractive patterns (4701-1, ..., 4701-n) that are spaced apart from each other.
  • a plurality of diffraction patterns (4701-1, ..., 4701-n) may be respectively matched with a plurality of first pinholes (4312-1, ..., 4312-n).
  • a 1-1 diffraction pattern (4701-1) may be matched with a 1-1 pinhole (4312-1).
  • the light transmission path will be described using the 1-1 pinhole (4312-1) and the 1-1 diffraction pattern (4701-1) as examples, but the description thereof can be applied and/or understood in the same and/or similar manner to the remaining 1-1 pinholes and the 1-1 rotation patterns.
  • light in the infrared band passing through the 1-1 pinhole (4312-1) may be diffracted by the 1-1 diffraction pattern (4701-1) and totally reflected within the substrate (410) and transmitted to the second diffraction layer (e.g., the second diffraction layer (490) of FIG. 6).
  • light in the infrared band that passes through the 1-1 pinhole (4312-1) and does not reach the 1-1 diffraction pattern (4701-1) may not be totally reflected within the substrate (410) or may pass through the substrate (410) and propagate outside the substrate (410).
  • FIG. 11 is a schematic diagram illustrating a lens frame and a light source according to one embodiment of the present disclosure.
  • FIG. 12 is a schematic diagram illustrating the arrangement of a light source according to one embodiment of the present disclosure.
  • FIG. 13 is a schematic diagram illustrating coordinates for a user's eyes according to one embodiment of the present disclosure.
  • FIG. 14 is a schematic diagram illustrating coordinates for a user's eye and coordinates for an image sensor of a camera according to one embodiment of the present disclosure.
  • FIGS. 11 to 14 can be combined with the embodiments of FIGS. 1 to 10, or the embodiments of FIGS. 15 to 18.
  • the configurations of the embodiments of FIGS. 11 to 14 may be partially or entirely identical to the configurations of the embodiments of FIGS. 1 to 10, or the configurations of the embodiments of FIGS. 15 to 18.
  • a plurality of light sources (370) may be arranged on a rim portion (301) (e.g., the first rim portion (311) of FIG. 5 or the second rim portion (312)) of a wearable electronic device (e.g., the wearable electronic device (101) of FIGS. 2 to 5).
  • the plurality of light sources (370) may be arranged spaced apart from each other along the rim portion (301).
  • the first wave guide (400) (e.g., the first wave guide (400) of FIG. 6) may be coupled or mounted to the rim portion (301).
  • light in the infrared band emitted from a plurality of light sources (370) may be reflected by the user's eye and transmitted to the first wave guide (400).
  • the first wave guide (400) may include a first filter layer (430) (e.g., the first filter layer (470) of FIG. 6).
  • the plurality of first pinholes (431) of the first filter layer (430) may be configured to pass only light having a designated incident angle among light in the infrared band reflected from a point of the user's eye.
  • the positions (370a) of a plurality of light sources e.g., light sources (370) of FIG. 11
  • the positions (370a) of the plurality of light sources may be around the user's eye (10).
  • the wearable electronic device can recognize the pupil (11) of the user's eyeball (10) and recognize the trajectory of the user's gaze through the direction in which the pupil (11) is directed.
  • the wearable electronic device can capture a user's eye (10) through a first wave guide (e.g., the first wave guide (400) of FIG. 5) and a camera (e.g., the camera (330) of FIG. 5).
  • the wearable electronic device can recognize a captured image of the user's eye (10) by dividing it into a plurality of regions (371a). Accordingly, the wearable electronic device can determine which regions (371a) the boundary (11a) of the pupil (11) is in the captured image, and determine the trajectory of the user's gaze based on this.
  • the pupil (11) of the user’s eye and its boundary (111a) are in a first horizontal area (a4, a5) and a first vertical area (b4, b5) among a plurality of areas of a photographed image of the eye.
  • the pupil (11) of the user’s eye and its boundary (111b) are in the second horizontal region (a3, a4, a5) and the second vertical region (b3, b4, b5) among the multiple regions of the captured image of the eye.
  • the wearable electronic device can determine in which region the pupil (11) is located in the captured image of the eye, and determine the user's gaze trajectory based on the position of the pupil (11).
  • FIG. 15 is a schematic diagram illustrating a display engine and a camera according to one embodiment of the present disclosure.
  • FIG. 16 is a schematic diagram illustrating a display engine and a camera according to one embodiment of the present disclosure.
  • FIG. 17 is a schematic diagram illustrating a display engine and a camera according to one embodiment of the present disclosure.
  • FIGS. 15 to 17 can be combined with the embodiments of FIGS. 1 to 16, or the embodiment of FIG. 18.
  • the configurations of the embodiments of FIGS. 15 to 17 may be partially or entirely identical to the configurations of the embodiments of FIGS. 1 to 16, or the configurations of the embodiment of FIG. 18.
  • a wearable electronic device (101) may include a first wave guide (400) and a camera (350) for acquiring and/or recognizing a user's eye or a user's gaze direction.
  • light irradiated from a light source (370) and reflected by a user's eye (10) may be incident on a first waveguide (400).
  • the light incident on the first waveguide (400) may be filtered by a first filter layer (e.g., the first filter layer (430) of FIG. 6) and a second filter layer (e.g., the second filter layer (450) of FIG. 6).
  • a first filter layer e.g., the first filter layer (430) of FIG. 6
  • a second filter layer e.g., the second filter layer (450) of FIG. 6
  • light having a specific incident angle filtered by the filter layers may be diffracted by the first diffraction layer (470), totally reflected within the substrate (410), and transmitted to the second diffraction layer (490).
  • the light transmitted to the second diffraction layer (490) may be diffracted by the second diffraction layer (490) and transmitted to the camera (350).
  • the camera (350) can capture an image of the user's eye (10) by receiving light output from the substrate (410).
  • a wearable electronic device (101) may include a second wave guide (500) and a display engine (360) for providing a virtual image to a user.
  • the display engine (360) can irradiate light (e.g., light in the visible light band) for a virtual image or a virtual object to a second wave guide (500).
  • the second wave guide (500) can include a substrate and at least one diffractive element.
  • the second wave guide (500) can include a third diffractive layer (e.g., the third diffractive layer (511) of FIG. 17) that diffracts light incident from the display engine (360) so that it is totally reflected within the second guide wave (500).
  • light totally reflected within the second waveguide (500) may be transmitted to the fourth diffractive layer (e.g., the fourth diffractive layer (513) of FIG. 17).
  • the light transmitted to the fourth diffractive layer may be diffracted and output to the user's eye (10). Accordingly, the user may view a virtual image or a virtual object, and a virtual environment may be provided to the user.
  • the fourth diffractive layer may be defined as an output optical element (EB) (e.g., the output optical element (EB) of FIG. 3), but is not limited thereto.
  • the first wave guide (400) and the second wave guide (500) may be formed separately.
  • the second wave guide (500) may be positioned between the first wave guide (400) and the user's eyeball (10), but is not limited thereto.
  • the wearable electronic device (101) may include a wave guide (e.g., the first wave guide (400) and the second wave guide (500) of FIG. 15), a camera (350), and a display engine (360) for obtaining the user's eye or the user's gaze direction, or for providing a virtual image to the user.
  • a wave guide e.g., the first wave guide (400) and the second wave guide (500) of FIG. 15
  • a camera 350
  • a display engine 360 for obtaining the user's eye or the user's gaze direction, or for providing a virtual image to the user.
  • the waveguide (600) may include a substrate (603).
  • the substrate (603) may include a first diffractive layer (4701) (e.g., the first diffractive layer (470) of FIG. 15) and a second diffractive layer (4901) (e.g., the second diffractive layer (490) of FIG. 15).
  • the wave guide (600) may include an output optical member (EB) (e.g., the output optical member (EB) of FIG. 15).
  • EB output optical member
  • the display engine (360) and the camera (350) may be arranged parallel to one side of a single wave guide (600).
  • the wave guide (600) can transmit light output from a light source (370) and reflected by the eye (10) to the camera (350) by total reflection.
  • the wave guide (600) can totally reflect light output from the display engine (360) and transmit it to the user's eye (10).
  • the illustrated 600a is a dotted line for easily distinguishing between an optical path for tracking the user's gaze direction and an optical path for providing a virtual image to the user, and does not correspond to a physical or optical member.
  • the wearable electronic device (101) may include a first wave guide (400) (e.g., the first wave guide (400) of FIG. 15) and a second wave guide (500) (e.g., the second wave guide (500) of FIG. 15).
  • a first wave guide (400) e.g., the first wave guide (400) of FIG. 15
  • a second wave guide (500) e.g., the second wave guide (500) of FIG. 15.
  • the first wave guide (400) and the second wave guide (500) may be formed separately.
  • the first wave guide (400) may include a substrate (410), a first filter layer (430), a second filter layer (450), a first diffractive layer (470), and a second diffractive layer (e.g., the second diffractive layer (490) of FIG. 15).
  • the first wave guide (400) may be positioned between the second wave guide (500) and the user's eye (10).
  • the second wave guide (500) may include a first side (501) facing the user's eye (10) and a second side (503) opposite the first side (501).
  • the display engine (360) may be disposed on the first surface (501), but is not limited thereto.
  • the second waveguide (500) may include a third diffractive layer (511) that diffracts light incident from the display engine (360) and transmits the diffractive light to the fourth diffractive layer (513).
  • the light diffracted by the third diffractive layer (511) may be totally reflected within the second waveguide (500) and transmitted to the fourth diffractive layer (513).
  • light transmitted to the fourth diffractive layer (513) may be diffracted by the fourth diffractive layer (513) and output toward the user's eye (10). Accordingly, a virtual image or virtual object provided from the display engine (360) may be provided to the user.
  • the first wave guide (400) and the second wave guide (500) may form at least a portion of the indicator member (320) (e.g., the indicator member (320) of FIG. 5).
  • FIG. 18 is a schematic diagram illustrating a first wave guide and a user's eye according to one embodiment of the present disclosure.
  • FIG. 18 can be combined with the embodiments of FIGS. 1 to 17.
  • the configurations of the embodiment of FIG. 18 may be partially or entirely identical to the configurations of the embodiments of FIGS. 1 to 17.
  • the wearable electronic device can obtain the distance between the first wave guide (400) and the user's eye (10).
  • the wearable electronic device may determine that the distance (S1, S2) between the first wave guide (400) and the user’s eye is appropriate when, among a plurality of areas of an image of the user’s eye (10) obtained through the first wave guide (400) and the camera (e.g., the camera (330) of FIG. 15), the number of areas where the user’s pupil is located is less than a specified number.
  • the wearable electronic device may determine that the distance (S3) between the first wave guide (400) and the user's eye is not appropriate if, among a plurality of regions of an image of the user's eye (10) acquired through the first wave guide (400) and the camera (e.g., the camera (330) of FIG. 15), the number of regions where the user's pupil is present is greater than a specified number.
  • the wearable electronic device may be configured to acquire the user's gaze direction relatively accurately by correcting an algorithm for tracking the user's gaze direction.
  • a wearable electronic device may include a housing including a lens frame and a wearing member rotatably connected to the lens frame; a wave guide disposed on the lens frame, the wave guide configured to transmit light irradiated from the light source and reflected by a user's eye toward the wearing member; and a camera disposed inside the wearing member, the camera configured to face the wave guide and capture an image of light output from the wave guide.
  • the wearable electronic device further includes a light source disposed on the lens frame and configured to irradiate light in an infrared band toward the user's eye, and the wave guide can transmit light in an infrared band irradiated from the light source and reflected by the user's eye toward the wearing member.
  • the waveguide may include a substrate having a first side facing the user's eye and a second side opposite the first side; a first filter layer disposed on the first side and including a plurality of first pinholes; a second filter layer disposed on the second side and including a plurality of second pinholes; and a first diffractive layer covering the second filter layer.
  • each of the plurality of first pinholes may have an arrangement relative to each of the plurality of second pinholes such that an optical path formed within the waveguide by one of the plurality of first pinholes and one of the plurality of second pinholes corresponding to each other is different from another optical path formed within the waveguide by another of the plurality of first pinholes and another of the plurality of second pinholes corresponding to each other.
  • the plurality of first pinholes may be spaced apart from each other, and the plurality of second pinholes may be spaced apart from each other.
  • the plurality of first pinholes may be spaced apart at equal spacing, and the plurality of second pinholes may be spaced apart at equal spacing.
  • the distance at which the plurality of first pinholes are spaced apart from each other may be a first distance
  • the distance at which the plurality of second pinholes are spaced apart from each other may be a second distance greater than the first distance
  • the plurality of first pinholes may be spaced apart by an unequal spacing
  • the plurality of second pinholes may be spaced apart by an unequal spacing
  • the waveguide may further include a second diffractive layer positioned corresponding to the camera and disposed on the second surface.
  • light irradiated from the light source and reflected by the user's eye may be diffracted by the first diffractive layer and transmitted to the second diffractive layer, and light transmitted to the second diffractive layer may be diffracted by the second diffractive layer and output to the camera.
  • light passing through the first filter layer and the second filter layer may be configured to be diffracted by the first diffractive layer, totally reflected within the substrate, and transmitted to the second diffractive layer.
  • the light irradiated from the light source may be light in the infrared band.
  • the wearable electronic device may further include another waveguide configured separately from the waveguide; and a display engine disposed inside the wearable member and configured to face the other waveguide and irradiate light to the virtual image with the other waveguide.
  • the wearable electronic device may further include a display engine disposed inside the wearable member and configured to face the wave guide and irradiate light to the virtual image with the wave guide.
  • the wearable electronic device includes at least one processor; and a memory storing instructions, wherein the instructions, when individually or collectively executed by the at least one processor, cause the wearable electronic device to: acquire an image of a user's eye through the camera, and, based on the acquired image, determine a direction in which a pupil of the user's eye is pointed.
  • the instructions when individually or collectively executed by the at least one processor, may cause the wearable electronic device to: determine regions of the acquired image in which the pupil of the eye is located among a plurality of regions, and determine a direction in which the pupil of the user's eye is directed based on information about the regions in which the pupil of the eye is located.
  • a wearable electronic device may include a housing including a lens frame and a wearing member rotatably connected to the lens frame; a light source disposed on the lens frame and configured to irradiate light toward a user's eye; a first wave guide disposed on the lens frame and configured to transmit light irradiated from the light source and reflected by the user's eye toward the wearing member; a camera disposed inside the wearing member and facing the first wave guide and configured to capture an image of light output from the first wave guide; a display engine disposed inside the wearing member and configured to output light for a virtual image; and a second wave guide disposed on the lens frame and configured to output light output from the display engine toward the user's eye.
  • the first wave guide when the wearable electronic device is worn by a user, the first wave guide may be positioned between the second wave guide and the user's eye.
  • the second wave guide when the wearable electronic device is worn by a user, the second wave guide may be positioned between the first wave guide and the user's eye.
  • the light sources may be provided in a plurality spaced apart along the lens frame.
  • the first waveguide may include: a substrate; a first filter layer disposed on one surface of the substrate; and a first diffractive layer disposed on the other surface of the substrate.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 개시의 일 실시예에 따르면, 웨어러블 전자 장치는, 렌즈 프레임 및 상기 렌즈 프레임에 대해 회전 가능하게 연결된 착용 부재를 포함하는 하우징; 상기 렌즈 프레임에 배치되고, 사용자의 안구에 의해 반사된 광이 상기 착용 부재를 향해 전달되도록 하는 웨이브 가이드; 및 상기 착용 부재의 내부에 배치되어 상기 웨이브 가이드를 향하고, 상기 웨이브 가이드로부터 출력된 광에 대한 이미지를 촬영하도록 구성된 카메라를 포함할 수 있다. 이외에 다양한 실시예들이 가능할 수 있다.

Description

시선 추적용 웨이브 가이드를 포함하는 웨어러블 전자 장치
본 개시의 다양한 실시예는 웨어러블 전자 장치에 관한 것으로, 예를 들면, 시선 추적용 웨이브 가이드를 포함하는 웨어러블 전자 장치에 관한 것이다.
휴대 목적의 전자 장치, 예를 들어, 전자 수첩, 휴대용 멀티미디어 재생기, 이동통신 단말기 또는 태블릿 PC는 일반적으로 표시 부재와 배터리를 탑재하고 있으며, 표시 부재나 배터리의 형상으로 인해 바형(bar type), 폴더형(folder type) 또는 슬라이딩형(sliding type)의 외관을 가지고 있었다. 최근에는 표시 부재와 배터리의 성능이 향상되면서 소형화되어 손목(wrist)이나 두부(head)와 같은 신체의 일부에 착용할 수 있는 웨어러블 전자 장치가 상용화되기에 이르렀다. 웨어러블 전자 장치는 신체에 직접 착용되므로, 이동성(portability) 및/또는 사용자의 접근성(accessibility)이 향상될 수 있다.
웨어러블 전자 장치 중에서, 사용자가 안면에 착용할 수 있는 형태의 전자 장치, 예를 들어, 두부 장착형 장치(head-mounted device, HMD)가 개시된다. 머리 장착형 장치는 가상 현실(virtual reality) 또는 증강 현실(augmented reality) 구현에 유용하게 활용될 수 있다. 예를 들어, 웨어러블 전자 장치는 텔레비전이나 컴퓨터용 모니터를 통해 즐기던 게임 속 가상 공간의 영상을 입체적으로 제공하되, 사용자가 머물고 있는 실제 공간의 영상을 차단함으로써, 가상 현실을 구현할 수 있다. 다른 형태의 웨어러블 전자 장치는 사용자가 머물고 있는 공간의 실제 영상을 시각적으로 인지할 수 있는 환경을 제공하면서, 가상의 영상을 구현하여 사용자에게 다양한 시각적 정보를 제공하는 증강 현실을 제공할 수 있다.
상술한 정보는 본 개시에 대한 이해를 돕기 위한 목적으로 하는 배경 기술(related art)로 제공될 수 있다. 상술한 내용 중 어느 것도 본 개시와 관련된 종래 기술(prior art)로서 적용될 수 있는지에 대하여 어떠한 주장이나 결정이 제기되지 않는다.
가상 현실 또는 증강 현실을 구현하기 위한 웨어러블 전자 장치는, 사용자의 시선 방향, 예를 들어, 사용자의 안구의 동공이 향하는 방향을 추적하여, 사용자가 웨어러블 전자 장치의 표시 부재(예를 들어, 렌즈 또는 디스플레이)의 특정 부분을 주목하는 경우(예를 들어, 특정 부분을 바라보는 경우), 해당 부분의 가상 이미지를 확대 또는 축소하거나, 가상 이미지의 배치를 변경 또는 최적화하여, 사용자에게 시각적으로 노출되는 가상 이미지의 동작 및 배치를 최적화할 수 있다.
웨어러블 전자 장치는, 사용자의 시선 방향을 추적하기 위한 카메라가 구비될 수 있다. 상기 카메라는, 웨어러블 전자 장치의 외부 또는 웨어러블 전자 장치의 하우징의 외부에 노출되도록 배치될 수 있다.
다만, 카메라가 웨어러블 전자 장치의 외부로 노출되도록 배치되는 경우, 웨어러블 전자 장치의 소형화 또는 디자인화 측면에서 불리한 점이 있었다. 또한, 카메라의 위치가 제약적이므로, 카메라를 통해 획득한 사용자의 시선 방향에 대한 정확성이 떨어지는 문제점이 있었다.
본 개시의 일 실시예에 따르면, 웨어러블 전자 장치의 표시 부재에 배치된 웨이브 가이드 및 웨어러블 전자 장치의 착용 부재에 배치된 카메라를 통해 사용자의 시선 방향을 추적할 수 있는 웨어러블 전자 장치가 제공될 수 있다.
본 개시의 일 실시예에 따르면, 웨어러블 전자 장치의 내부에 웨이브 가이드 및 카메라가 배치됨에 따라, 웨어러블 전자 장치의 소형화가 가능해지고, 웨어러블 전자 장치의 디자인 설계 자유도가 향상된 웨어러블 전자 장치가 제공될 수 있다.
다만, 본 개시에서 해결하고자 하는 과제는 상기 언급된 과제에 한정되는 것은 아니며, 본 개시의 사상 및 영역으로부터 벗어나지 않는 범위에서 다양하게 확장될 수 있을 것이다.
본 개시의 일 실시예에 따르면, 웨어러블 전자 장치는, 렌즈 프레임 및 상기 렌즈 프레임에 대해 회전 가능하게 연결된 착용 부재를 포함하는 하우징; 상기 렌즈 프레임에 배치되고, 상기 렌즈 프레임에 배치되고, 사용자의 안구에 의해 반사된 광이 상기 착용 부재를 향해 전달되도록 하는 웨이브 가이드; 및 상기 착용 부재의 내부에 배치되어 상기 웨이브 가이드를 향하고, 상기 웨이브 가이드로부터 출력된 광에 대한 이미지를 촬영하도록 구성된 카메라를 포함할 수 있다.
본 개시의 일 실시예에 따르면, 웨어러블 전자 장치는, 렌즈 프레임 및 상기 렌즈 프레임에 대해 회전 가능하게 연결된 착용 부재를 포함하는 하우징; 상기 렌즈 프레임에 배치되고, 사용자의 안구를 향해 광을 조사하도록 구성된 광원; 상기 렌즈 프레임에 배치되고, 상기 광원으로부터 조사되어 사용자의 안구에 의해 반사된 광이 상기 착용 부재를 향해 전달되도록 하는 제1 웨이브 가이드; 상기 착용 부재의 내부에 배치되어 상기 제1 웨이브 가이드를 향하고, 상기 제1 웨이브 가이드로부터 출력된 광에 대한 이미지를 촬영하도록 구성된 카메라; 상기 착용 부재의 내부에 배치되어 가상 이미지에 대한 광을 출력하도록 구성된 디스플레이 엔진; 및 상기 렌즈 프레임에 배치되고, 상기 디스플레이 엔진으로부터 출력된 광을 사용자의 안구를 향해 출력하도록 구성된 제2 웨이브 가이드를 포함할 수 있다.
본 개시의 일 실시예에 따르면, 웨어러블 전자 장치의 표시 부재에 배치된 웨이브 가이드 및 웨어러블 전자 장치의 착용 부재에 배치된 카메라를 통해 사용자의 시선 방향을 추적할 수 있는 웨어러블 전자 장치가 제공될 수 있다.
본 개시의 일 실시예에 따르면, 웨어러블 전자 장치의 웨이브 가이드를 통해 사용자의 시선 방향을 추적함에 따라, 추적된 사용자의 시선 방향에 대한 정확성 및 신뢰성이 개선될 수 있는 웨어러블 전자 장치가 제공될 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 개시의 일 실시예에 관해 상술한 측면 또는 다른 측면, 구성 및/또는 장점은 첨부된 도면을 참조하는 다음의 상세한 설명을 통해 더욱 명확해질 수 있다.
도 1은 다양한 실시예들에 따른, 네트워크 환경 내의 전자 장치의 블럭도이다.
도 2는 본 개시의 일 실시예에 따른, 웨어러블 전자 장치의 사시도이다.
도 3 은 본 개시의 일 실시예에 따른, 웨어러블 전자 장치의 내부 구성을 설명하기 위한 결합 사시도이다.
도 4는 본 개시의 일 실시예에 따른, 웨어러블 전자 장치의 분해 사시도이다.
도 5는 본 개시의 일 실시예에 따른, 웨어러블 전자 장치의 개략도이다.
도 6은 본 개시의 일 실시예에 따른, 제1 웨이브 가이드를 나타낸 개략도이다.
도 7은 본 개시의 일 실시예에 따른, 도 6의 A 부분의 확대도이다.
도 8은 본 개시의 일 실시예에 따른, 제1 웨이브 가이드의 핀홀들을 나타낸 개략도이다.
도 9는 본 개시의 일 실시예에 따른, 제1 웨이브 가이드의 핀홀들을 나타낸 개략도이다.
도 10은 본 개시의 일 실시예에 따른, 제1 웨이브 가이드의 핀홀들을 나타낸 개략도이다.
도 11은 본 개시의 일 실시예에 따른, 렌즈 프레임 및 광원을 설명하기 위한 개략도이다.
도 12는 본 개시의 일 실시예에 따른, 광원의 배치를 설명하기 위한 개략도이다.
도 13은 본 개시의 일 실시예에 따른, 사용자의 안구에 대한 좌표를 설명하기 위한 개략도이다.
도 14는 본 개시의 일 실시예에 따른, 사용자의 안구에 대한 좌표와 카메라의 이미지 센서에 대한 좌표를 설명하기 위한 개략도이다.
도 15는 본 개시의 일 실시예에 따른, 디스플레이 엔진 및 카메라를 설명하기 위한 개략도이다.
도 16은 본 개시의 일 실시예에 따른, 디스플레이 엔진 및 카메라를 설명하기 위한 개략도이다.
도 17은 본 개시의 일 실시예에 따른, 디스플레이 엔진 및 카메라를 설명하기 위한 개략도이다.
도 18은 본 개시의 일 실시예에 따른, 제1 웨이브 가이드와 사용자의 안구를 나타낸 개략도이다.
첨부된 도면의 전반에서, 유사한 부품, 구성 및/또는 구조에 대해서는 유사한 참조 번호가 부여될 수 있다.
이하에서는 도면을 참조하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면의 설명과 관련하여, 동일하거나 유사한 구성요소에 대해서는 동일하거나 유사한 참조 부호가 사용될 수 있다. 또한, 도면 및 관련된 설명에서는, 잘 알려진 기능 및 구성에 대한 설명이 명확성과 간결성을 위해 생략될 수 있다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다.
도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108) 중 적어도 하나와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제 2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일실시예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 전도체 또는 전도성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
다양한 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제 1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제 2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일실시예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제 2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
본 개시의 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 개시의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 개시의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 개시의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 개시의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일실시예에 따르면, 본 개시의 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
도 2는 본 개시의 일 실시예에 따른, 웨어러블 전자 장치의 사시도이다.
도 2의 실시예는, 도 1의 실시예, 또는 도 3 내지 도 18의 실시예들과 결합될 수 있다.
도 2의 실시예의 구성들은, 도 1의 실시예의 구성들, 또는 도 3 내지 도 18의 실시예들의 구성들과 일부 또는 전부가 동일할 수 있다.
도 2를 참조하면, 웨어러블 전자 장치(101)(예: 도 1의 전자 장치(101))는, 안경 형태의 전자 장치로서, 사용자는 웨어러블 전자 장치(101)를 착용한 상태에서 주변의 사물이나 환경을 시각적으로 인지할 수 있다. 예를 들어, 웨어러블 전자 장치(101)는 사용자의 눈 앞에 직접 영상을 제공할 수 있는 스마트 안경(smart glasses)을 포함할 수 있다. 도 2의 웨어러블 전자 장치(101)의 구성은 도 1의 전자 장치(101)의 구성과 일부 또는 전부가 동일할 수 있다. 도시되지는 않았지만, 이하에서 설명되는 본 개시의 웨어러블 전자 장치(101)의 실시예들 및 이에 대한 설명들은, 헤드 마운팅 장치(head mounting device, HMD)에도 적용될 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(101)는, 웨어러블 전자 장치(101)의 외관의 적어도 일부를 형성하는 하우징(210)을 포함할 수 있다. 하우징(210)은, 웨어러블 전자 장치(101)의 부품들이 배치될 수 있는 공간을 제공할 수 있다. 예를 들어, 하우징(210)은, 렌즈 프레임(202) 및 적어도 하나의 착용 부재(203)를 포함할 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(101)는, 적어도 부분적으로(at least partially) 하우징(210) 내에 배치된 표시 부재(201)를 포함할 수 있다.
일 실시예에 따르면, 표시 부재(201)는, 시각적 이미지를 출력할 수 있다. 예를 들어, 웨어러블 전자 장치(101)는 사용자에게 시각적인 정보(또는 이미지)를 제공할 수 있는 적어도 하나의 표시 부재(201)를 포함할 수 있다. 예를 들어, 표시 부재(201)는 렌즈, 디스플레이, 웨이브가이드(waveguide) 및/또는 터치 회로가 장착된 모듈을 포함할 수 있다. 일 실시예에 따르면, 표시 부재(201)는 투명 또는 반투명하게 형성될 수 있다. 일 실시예에 따르면, 표시 부재(201)는 반투명 재질의 글래스 또는 착색 농도가 조절됨에 따라 빛의 투과율이 조절될 수 있는 윈도우 부재(window member)를 포함할 수 있다.
일 실시예에 따르면, 렌즈 프레임(202)은 표시 부재(201)의 적어도 일부를 수용할 수 있다. 예를 들어, 렌즈 프레임(202)은 표시 부재(201)의 가장자리의 적어도 일부를 둘러쌀 수 있다. 일 실시예에 따르면, 렌즈 프레임(202)은 표시 부재(201) 중 적어도 하나를 사용자의 눈에 상응하게 위치시킬 수 있다. 일 실시예에 따르면, 렌즈 프레임(202)은 일반적인 안경 구조의 림(rim)을 포함할 수 있다. 일 실시예에 따르면, 렌즈 프레임(202)은 표시 부재(201)를 둘러싸는 적어도 하나의 폐곡선을 포함할 수 있다. 일 실시예에 따르면, 렌즈 프레임(202)은 제1 림 부분(202a)(first rim portion) 및 상기 제1 림 부분(202a)의 반대인 제2 림 부분(202b)(second rim portion)을 포함할 수 있다. 제1 림 부분(202a)은 제1 착용 부재(203a)와 인접하게 배치되고, 제2 림 부분(202b)은 제2 착용 부재(203b)와 인접하게 배치될 수 있다.
일 실시예에 따르면, 렌즈 프레임(202)은, 제1 림 부분(202a)과 제2 림 부분(202b)을 연결하는 브릿지 부분(202c)을 포함할 수 있다.
일 실시예에 따르면, 제1 림 부분(202a)에는, 사용자의 우안과 상응하는 표시 부재(201)가 배치될 수 있다. 제2 림 부분(202b)에는, 사용자의 좌안과 상응하는 표시 부재(201)가 배치될 수 있다.
일 실시예에 따르면, 착용 부재(203)는, 렌즈 프레임(202)에서 연장될 수 있다. 예를 들어, 착용 부재(203)는 렌즈 프레임(202)의 단부에서 연장되고, 렌즈 프레임(202)과 함께, 사용자의 신체(예: 귀)에 지지 또는 위치될 수 있다. 일 실시예에 따르면, 착용 부재(203)는 힌지 구조(229)를 통해 렌즈 프레임(202)에 대하여 상대적으로 회전될 수 있다.
일 실시예에 따르면, 착용 부재(203)는 사용자의 신체와 대면하도록 구성된 내측면 및 내측면의 반대인 외측면을 포함할 수 있다. 일 실시예(미도시)에 따르면, 착용 부재(203)의 적어도 일부는 가요성 재료(flexible material)(예: 고무)로 형성될 수 있다. 예를 들어, 착용 부재(203)의 적어도 일부는 사용자의 신체(예: 귀)의 적어도 일부를 둘러싸는 밴드 형상으로 형성될 수 있다.
일 실시예에 따르면, 제1 착용 부재(203a)는, 웨어러블 전자 장치(101)가 사용자에 의해 착용될 때, 사용자의 오른쪽 귀에 상응하도록 위치될 수 있다. 제1 착용 부재(203a)는, 제1 연결 부분(2032a) 및 제1 연장 부분(2031a)(first extension portion)을 포함할 수 있다. 실시예에 따라, 제1 연결 부분(2032a)은, 렌즈 프레임(202) 및/또는 제1 림 부분(202a)의 일부로 정의 및/또는 해석될 수 있다.
일 실시예에 따르면, 제1 연결 부분(2032a)은, 렌즈 프레임(202)의 제1 림 부분(202a)으로부터 연장될 수 있다.
일 실시예에 따르면, 제1 연장 부분(2031a)은, 제1 연결 부분(2032a)에 회전 가능하게 연결될 수 있다. 제1 연장 부분(2031a)은, 제1 연결 부분(2032a)으로부터 연장될 수 있다. 제1 연장 부분(2031a)은, 제1 레그 부분(first leg portion)으로 정의 및/또는 지칭될 수 있다.
일 실시예에 따르면, 제1 연장 부분(2031a)은, 힌지 구조(229)를 통해 제1 연결 부분(2032a)에 대해 회전 가능하게 결합될 수 있다. 예를 들어, 제1 연장 부분(2031a)는, 제1 연결 부분(2032a) 및 렌즈 프레임(202)에 대해 상대적으로 접히거나 또는 펼쳐지도록 회전될 수 있다. 이에 따라, 제1 착용 부재(203a)가 제1 림 부분(202a) 및 렌즈 프레임(202)에 대해 회전될 수 있다.
일 실시예에 따르면, 제1 연결 부분(2032a)은, 카메라(예: 도 5의 카메라(330), 또는 도 15의 카메라(330)) 및/또는 디스플레이 엔진(예: 도 3의 광 출력 모듈(211), 또는 도 15의 디스플레이 엔진(360))을 수용할 수 있다. 예를 들어, 상기 카메라 및/또는 상기 디스플레이 엔진은, 제1 연결 부분(2032a)의 내부에 배치되어, 제1 착용 부재(203a)의 외부로 노출되지 않을 수 있다.
일 실시예에 따르면, 제1 착용 부재(203a)는, 웨어러블 전자 장치(101)가 사용자에 의해 착용될 때, 사용자의 오른쪽 귀에 상응하도록 위치될 수 있다. 제1 착용 부재(203a)는, 제1 연장 부분(2031a)(first extension portion) 및 제1 연결 부분(2032a)(first connection portion)을 포함할 수 있다. 실시예에 따라, 제1 연결 부분(2032a)은, 렌즈 프레임(202) 및/또는 제1 림 부분(202a)의 일부로 정의 및/또는 해석될 수 있다.
일 실시예에 따르면, 제1 연결 부분(2032a)은, 렌즈 프레임(202)의 제1 림 부분(202a)으로부터 연장될 수 있다.
일 실시예에 따르면, 제1 연장 부분(2031a)은, 제1 연결 부분(2032a)에 회전 가능하게 연결될 수 있다. 제1 연장 부분(2031a)은, 제1 연결 부분(2032a)으로부터 연장될 수 있다. 제1 연장 부분(2031a)은, 제1 레그 부분(first leg portion)으로 정의 및/또는 지칭될 수 있다.
일 실시예에 따르면, 제1 연장 부분(2031a)은, 힌지 구조(229)를 통해 제1 연결 부분(2032a)에 대해 회전 가능하게 결합될 수 있다. 예를 들어, 제1 연장 부분(2031a)는, 제1 연결 부분(2032a) 및 렌즈 프레임(202)에 대해 상대적으로 접히거나 또는 펼쳐지도록 회전될 수 있다. 이에 따라, 제1 착용 부재(203a)가 제1 림 부분(202a) 및 렌즈 프레임(202)에 대해 회전될 수 있다.
일 실시예에 따르면, 제2 착용 부재(203b)는, 웨어러블 전자 장치(101)가 사용자에 의해 착용될 때, 사용자의 왼쪽 귀에 상응하도록 위치될 수 있다. 제2 착용 부재(203b)는, 제2 연장 부분(2031b) 및 제2 연결 부분(2032b)을 포함할 수 있다. 실시예에 따라, 제2 연결 부분(2032b)은, 렌즈 프레임(202) 및/또는 제2 림 부분(202b)의 일부로 정의 및/또는 해석될 수 있다.
일 실시예에 따르면, 제2 연결 부분(2032b)은, 렌즈 프레임(202)의 제2 림 부분(202b)으로부터 연장될 수 있다.
일 실시예에 따르면, 제2 연장 부분(2031b)은, 제2 연결 부분(2032b)에 회전 가능하게 연결될 수 있다. 제2 연장 부분(2031b)은, 제2 연결 부분(2032b)으로부터 연장될 수 있다. 제2 연장 부분(2031b)은, 제2 레그 부분으로 정의 및/또는 지칭될 수 있다.
일 실시예에 따르면, 제2 연장 부분(2031b)은, 힌지 구조(229)를 통해 제2 연결 부분(2032b)에 대해 회전 가능하게 결합될 수 있다. 예를 들어, 제2 연장 부분(2031b)은, 제2 연결 부분(2032b) 및 렌즈 프레임(202)에 대해 상대적으로 접히거나 또는 펼쳐지도록 회전될 수 있다. 이에 따라, 제2 착용 부재(203b)가 제2 림 부분(202b) 및 렌즈 프레임(202)에 대해 회전될 수 있다.
일 실시예에 따르면, 제2 연결 부분(2032b)은, 카메라(예: 도 5의 카메라(330), 또는 도 15의 카메라(330)) 및/또는 디스플레이 엔진(예: 도 3의 광 출력 모듈(211), 또는 도 15의 디스플레이 엔진(360))을 수용할 수 있다. 예를 들어, 상기 카메라 및/또는 상기 디스플레이 엔진은, 제2 연결 부분(2032b)의 내부에 배치되어, 제2 착용 부재(203b)의 외부로 노출되지 않을 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(101)는, 착용 부재(203)를 렌즈 프레임(202)에 대하여 상대적으로 접을 수 있도록 구성된 힌지 구조(229)를 포함할 수 있다. 힌지 구조(229)는, 렌즈 프레임(202)과 착용 부재(203) 사이에 배치될 수 있다.
일 실시예에 따르면, 힌지 구조(229)는, 제1 연결 부분(2032a)과 제1 연장 부분(2031a)에 연결된 제1 힌지 구조(229a)를 포함할 수 있다. 제1 힌지 구조(229a)는, 제1 연장 부분(2031a)이 제1 연결 부분(2032a)에 대해 상대적으로 회전되도록 할 수 있다. 이에 따라, 제1 착용 부재(203a) 및/또는 제1 연장 부분(2031a)은, 렌즈 프레임(202)(예: 제1 림 부분(202a))에 대해 회전될 수 있다.
일 실시예에 따르면, 힌지 구조(229)는, 제2 연결 부분(2032b)과 제2 연장 부분(2031b)에 연결된 제2 힌지 구조(229b)를 포함할 수 있다. 제2 힌지 구조(229b)는, 제2 연장 부분(2031b)이 제2 연결 부분(2032b)에 대해 상대적으로 회전되도록 할 수 있다. 이에 따라, 제2 착용 부재(203b) 및/또는 제2 연장 부분(2031b)는, 렌즈 프레임(202)(예: 제2 림 부분(202b))에 대해 회전될 수 있다.
일 실시예에 따르면, 사용자가 웨어러블 전자 장치(101)를 착용하지 않은 상태에서, 사용자는 착용 부재(203)를 렌즈 프레임(202)에 대하여 일부가 중첩되도록 접어 휴대 또는 보관할 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(101)는, 사용자에게 증강 현실을 제공 가능한 안경형 장치를 포함할 수 있다.
본 개시에서, '증강 현실(Augmented Reality)'은 현실 세계의 물리적 환경 공간(physical, real-world environment)이나 현실 객체(real-world object)에 컴퓨터에서 생성되는 가상 이미지를 오버레이(overlay)하여 하나의 이미지로 보여주는 것을 의미할 수 있다.
본 개시에서, '현실 장면(real scene)'이란 관찰자 또는 사용자가 증강 현실 표시 장치(예: 웨어러블 전자 장치(101))를 통해서 보는 현실 세계의 장면으로서, 현실 객체(real world object)(들)를 포함할 수 있다. 한편, '가상 이미지(virtual image)'는 디스플레이 엔진을 통해 생성되는 이미지일 수 있다. '가상 이미지'는, 가상 객체(virtual object)에 대한 이미지를 포함할 수 있다. 가상 이미지는 정적 이미지와 동적 이미지를 모두 포함할 수 있다. 이러한 가상 이미지는 현실 장면 상에 오버레이(overlay)되어, 현실 장면 속의 현실 객체에 대한 정보나 증강 현실 장치의 동작에 대한 정보나 제어 메뉴를 보여주는 이미지일 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(101)는, 광원에서 생성된 광으로 구성된 가상 이미지를 생성하기 위한 디스플레이 엔진(display engine)(예: 도 15의 디스플레이 엔진(360))을 포함할 수 있다.
일 실시예에 따르면, 적어도 하나의 표시 부재(201)는, 디스플레이 엔진으로부터 제공된 가상 이미지를 사용자의 눈으로 안내하도록 구성된 웨이브 가이드를 포함할 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(101)는, 사용자의 눈(예: 예: 동공(pupil), 또는 홍채(iris)) 또는 시선의 궤적을 촬영 및/또는 인식할 수 있다. 예를 들어, 적어도 하나의 표시 부재(201)의 웨이브 가이드(예: 도 6의 웨이브 가이드(400)) 및 카메라(예: 도 15의 카메라(330))는, 사용자의 눈 또는 시선의 궤적을 촬영 및/또는 인식하는데 사용될 수 있다. 예를 들어, 웨어러블 전자 장치(101)는, 사용자의 시선 방향(sight direction)을 추적하도록 구성될 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(101)는, 사용자의 시선 방향을 추적하여, 사용자가 표시 부재(201) 상에서 특정 부분을 주목하는 경우(예: 특정 부분을 바라보는 경우), 해당 부분의 가상 이미지를 확대 또는 축소하거나, 가상 이미지의 배치를 변경 또는 최적화하여, 사용자에게 시각적으로 노출되는 가상 이미지의 동작 및 배치를 최적화하도록 구성될 수 있다.
도 3은 본 개시의 일 실시예에 따른, 웨어러블 전자 장치의 내부 구성을 설명하기 위한 결합 사시도이다.
도 4는 본 개시의 일 실시예에 따른, 웨어러블 전자 장치의 분해 사시도이다.
도 3 및 도 4의 실시예들은, 도 1 내지 도 2의 실시예들, 또는 도 5 내지 도 18의 실시예들과 결합될 수 있다.
도 3 및/또는 도 4의 표시 부재(201), 렌즈 프레임(202), 착용 부재(203) 및 힌지 구조(229)의 구성들은 도 2의 표시 부재(201), 렌즈 프레임(202), 착용 부재(203) 및 힌지 구조(229)의 구성들과 일부 또는 전부가 동일할 수 있다.
도 3 내지 도 4를 참조하면, 웨어러블 전자 장치(101)(예: 도 2의 웨어러블 전자 장치(101))는 표시 부재(201), 렌즈 프레임(202), 착용 부재(203), 힌지 구조(229), 적어도 하나의 회로 기판(241), 적어도 하나의 배터리(243), 적어도 하나의 전원 전달 구조(246), 카메라 모듈(250) 및/또는 센서 모듈(280)을 포함할 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(101)는 카메라 모듈(253, 255)을 이용하여 사용자가 바라보는 또는 웨어러블 전자 장치(101)가 지향하는 방향(예: +Y 방향)의 사물이나 환경에 관한 시각적인 이미지를 획득 및/또는 인지하고, 네트워크(예: 도 1의 제1 네트워크(198) 또는 제2 네트워크(199))를 통해 외부의 전자 장치(예: 도 1의 전자 장치(102, 104), 또는 도 1의 서버(108))로부터 사물 또는 환경에 관한 정보를 제공받을 수 있다. 다른 실시예에서, 웨어러블 전자 장치(101)는 제공받은 사물이나 환경에 관한 정보를 음향 또는 시각적인 형태로 사용자에게 제공할 수 있다. 웨어러블 전자 장치(101)는 제공받은 사물이나 환경에 관한 정보를 디스플레이 모듈(예: 도 1의 디스플레이 모듈(160))을 이용하여 시각적인 형태로 표시 부재(201)를 통해 사용자에게 제공할 수 있다. 예를 들어, 웨어러블 전자 장치(101)는 사물이나 환경에 관한 정보를 시각적인 형태로 구현하고 사용자 주변 환경의 실제 이미지와 조합함으로써, 웨어러블 전자 장치(101)는 증강 현실(augmented reality)을 구현할 수 있다.
일 실시예에 따르면, 표시 부재(201)는 한 쌍으로 제공되어, 웨어러블 전자 장치(101)가 사용자 신체에 착용된 상태에서, 사용자의 좌안과 우안에 각각 대응하게 배치될 수 있다. 예를 들어, 표시 부재(201)는 제1 표시 부재(201a) 및 제1 표시 부재(201a)에 이격되어 배치된 제2 표시 부재(201b)를 포함할 수 있다. 제1 표시 부재(201a)는 사용자의 우안에 대응되도록 배치되고, 제2 표시 부재(201b)는 사용자의 좌안에 대응되도록 배치될 수 있다.
일 실시예에 따르면, 제1 표시 부재(201a)는, 렌즈 프레임(202)의 제1 림 부분(예: 도 2의 제1 림 부분(202a))에 배치될 수 있고, 제2 표시 부재(201b)는, 렌즈 프레임(202)의 제2 림 부분(예: 도 2의 제2 림 부분(202b))에 배치될 수 있다.
일 실시예에 따르면, 표시 부재(201)는 외부의 빛이 입사되는 방향(예: -Y 방향)을 향하는 제1 면(F1) 및 제1 면(F1)의 반대 방향(예: +Y 방향)을 향하는 제2 면(F2)을 포함할 수 있다. 사용자가 웨어러블 전자 장치(101)를 착용한 상태에서, 제1 면(F1)을 통해 입사된 빛 또는 이미지의 적어도 일부는 사용자의 좌안 및/또는 우안과 마주보게 배치된 표시 부재(201)의 제2 면(F2)을 통과하여 사용자의 좌안 및/또는 우안으로 입사될 수 있다.
일 실시예에 따르면, 렌즈 프레임(202)은 적어도 둘 이상의 프레임을 포함할 수 있다. 예를 들면, 렌즈 프레임(202)은 제1 프레임(2021b) 및 제2 프레임(2021b)을 포함할 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(101)를 사용자가 착용할 때, 제1 프레임(2021a)은 사용자의 안면과 대면하는 부분의 프레임이고, 제2 프레임(2021b)은 제1 프레임(2021a)에 대하여 사용자가 바라보는 시선 방향(예: +Y 방향)으로 이격된 렌즈 프레임(202)의 일부일 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(101)는 사용자에게 이미지 및/또는 영상을 제공하도록 구성된 광 출력 모듈(211)(예: 도 15의 디스플레이 엔진(360))을 포함할 수 있다. 예를 들어, 광 출력 모듈(211)은 영상을 출력할 수 있는 디스플레이 패널(미도시) 및 사용자의 눈에 대응되고, 상기 영상을 표시 부재(201)로 가이드하는 렌즈(미도시)를 포함할 수 있다. 예를 들어, 사용자는 광 출력 모듈(211)의 렌즈를 통해 광 출력 모듈(211)의 디스플레이 패널로부터 출력된 영상을 획득할 수 있다.
일 실시예에 따르면, 광 출력 모듈(211)은, 다양한 정보를 표시하도록 구성된 장치를 포함할 수 있다. 예를 들면, 광 출력 모듈(211)은 액정 표시 장치(liquid crystal display, LCD), 디지털 미러 표시 장치(digital mirror device, DMD), 실리콘 액정 표시 장치(liquid crystal on silicon, LCoS), 유기 발광 다이오드(organic light emitting diode, OLED) 또는 마이크로 엘이디(micro light emitting diode, micro LED) 중 적어도 하나를 포함할 수 있다. 일 실시예에 따르면, 광 출력 모듈(211) 및/또는 표시 부재(201)가, 액정 표시 장치, 디지털 미러 표시 장치, 또는 실리콘 액정 표시 장치 중 하나를 포함하는 경우, 웨어러블 전자 장치(101)는 광 출력 모듈(211) 및/또는 표시 부재(201)의 디스플레이 영역으로 빛을 조사하는 광원을 포함할 수 있다. 다른 실시예에 따르면, 광 출력 모듈(211) 및/또는 표시 부재(201)가 유기 발광 다이오드, 또는 마이크로 엘이디 중 하나를 포함하는 경우, 웨어러블 전자 장치(101)는 별도의 광원을 포함하지 않고 사용자에게 가상 영상을 제공할 수 있다.
일 실시예에 따르면, 광 출력 모듈(211)의 적어도 일부는 하우징(210) 내에 배치될 수 있다. 예를 들어, 광 출력 모듈(211)은, 착용 부재(203) 내에 배치되어 표시 부재(201)와 연결되고, 표시 부재(201)를 통하여 사용자에게 영상을 제공할 수 있다. 예를 들어, 광 출력 모듈(211)에서 출력된 영상은 표시 부재(201)의 일단에 위치하는 입력 광학 부재(미도시)를 통해 표시 부재(201)로 입사되고, 표시 부재(201)의 적어도 일부에 위치하는 웨이브 가이드(예: 도 15의 제2 웨이브 가이드(500)) 및 출력 광학 부재(EB)를 통해 사용자의 눈을 향하여 방사될 수 있다. 출력 광학 부재(EB)는, 사용자의 눈과 상응하는 아이박스(eye-box)를 형성할 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(101)는 웨어러블 전자 장치(101)의 구동을 위한 부품들을 수용하는 회로 기판(241)(예: PCB(printed circuit board), PBA(printed board assembly), FPCB(flexible PCB) 또는 RFPCB(rigid-flexible PCB))을 포함할 수 있다. 예를 들어, 회로 기판(241)은 적어도 하나의 집적회로 칩(integrated circuit chip)을 포함할 수 있으며, 프로세서(미도시)(예: 도 1의 프로세서(120)), 메모리(미도시)(예: 도 1의 메모리(130), 전력 관리 모듈(미도시)(예: 도 1의 전력 관리 모듈(188)) 또는 통신 모듈(예: 도 1의 통신 모듈(190)) 중 적어도 하나는 집적회로 칩에 제공될 수 있다. 일 실시예에 따르면, 회로 기판(241)은 하우징(210)의 착용 부재(203) 내에 배치될 수 있다. 예를 들어, 회로 기판(241)은 제1 착용 부재(203a) 내에 배치된 제1 회로 기판(241a) 및 제2 착용 부재(203b) 내에 배치된 제2 회로 기판(241b)을 포함할 수 있다. 일 실시예에 따르면, 통신 모듈(예: 도 1의 통신 모듈(190))은 제1 착용 부재(203a) 내에 위치한 제1 회로 기판(241a)에 실장되고, 프로세서(예: 도 1의 프로세서(120))는 제2 착용 부재(203b) 내에 위치한 제2 회로 기판(241b)에 실장될 수 있다. 일 실시예에 따르면, 회로 기판(241)은 전원 전달 구조(246)를 통하여 배터리(243)(예: 도 1의 배터리(189))와 전기적으로 연결될 수 있다. 일 실시예에 따르면, 회로 기판(241)은 인터포저(interposer) 기판일 수 있다.
일 실시예에 따르면, 배터리(243)는 웨어러블 전자 장치(101)의 부품(예: 광 출력 모듈(211), 회로 기판(241), 스피커 모듈(245), 마이크 모듈(247) 및/또는 카메라 모듈(250))과 전기적으로 연결될 수 있고, 웨어러블 전자 장치(101)의 부품들에게 전력을 공급할 수 있다.
일 실시예에 따르면, 배터리(243)의 적어도 일부는 착용 부재(203)에 배치될 수 있다. 일 실시예에 따르면, 배터리(243)는 제1 착용 부재(203a) 내에 배치된 제1 배터리(243a) 및 제2 착용 부재(203b) 내에 배치된 제2 배터리(243b)를 포함할 수 있다. 일 실시예에 따르면, 배터리(243)는 착용 부재(203)의 단부(203c, 203d)에 인접하도록 배치될 수 있다.
일 실시예에 따르면, 스피커 모듈(245)(예: 도 1의 오디오 모듈(170) 또는 음향 출력 모듈(155))은 전기 신호를 소리로 변환시킬 수 있다. 스피커 모듈(245)의 적어도 일부는 하우징(210)의 착용 부재(203) 내에 배치될 수 있다. 일 실시예에 따르면, 스피커 모듈(245)은 사용자의 귀에 대응되도록 착용 부재(203) 내에 위치할 수 있다. 일 실시예(예: 도 3)에 따르면, 스피커 모듈(245)은 회로 기판(241)의 옆에 배치될 수 있다. 예를 들어, 스피커 모듈(245)은 회로 기판(241)과 배터리(243) 사이에 배치될 수 있다. 다른 실시예(미도시)에 따르면, 스피커 모듈(245)은 회로 기판(241) 상에 배치될 수 있다. 예를 들어, 스피커 모듈(245)은 회로 기판(241)과 내측 케이스(예: 도 4의 내측 케이스(231)) 사이에 배치될 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(101)는 배터리(243)의 전력을 웨어러블 전자 장치(101)의 전자 부품(예: 광 출력 모듈(211))으로 전달하도록 구성된 전원 전달 구조(246)를 포함할 수 있다. 예를 들어, 전원 전달 구조(246)는 배터리(243) 및/또는 회로 기판(241)과 전기적으로 연결되고, 회로 기판(241)은 전원 전달 구조(246)를 통해 수신한 전력을 광 출력 모듈(211)로 전달할 수 있다. 일 실시예에 따르면, 전원 전달 구조(246)는 전력을 전달할 수 있는 구성일 수 있다. 예를 들어, 전원 전달 구조(246)는 가요성 인쇄회로기판 또는 와이어를 포함할 수 있다. 예를 들면, 와이어는 복수의 케이블들(미도시)을 포함할 수 있다. 일 실시예에서, 전원 전달 구조(246)의 형태는 케이블의 개수 및/또는 종류 등을 고려하여 다양하게 변형될 수 있다.
일 실시예에 따르면, 마이크 모듈(247)(예: 도 1의 입력 모듈(150) 및/또는 오디오 모듈(170))은 소리를 전기 신호로 변환할 수 있다. 일 실시예에 따르면, 마이크 모듈(247)은 렌즈 프레임(202) 내에 배치될 수 있다. 예를 들면, 적어도 하나의 마이크 모듈(247)은 웨어러블 전자 장치(101)의 하단(예: -Z축을 향하는 방향) 및/또는 상단(예: +Z축을 향하는 방향)에 배치될 수 있다. 일 실시예에 따르면, 웨어러블 전자 장치(101)는 적어도 하나의 마이크 모듈(247)에서 획득된 음성 정보(예: 소리)를 이용하여 사용자의 음성을 보다 명확하게 인식할 수 있다. 예를 들면, 전자 장치(101)는 획득된 음성 정보 및/또는 추가 정보(예: 사용자의 피부와 뼈의 저주파 진동)에 기반하여, 음성 정보와 주변 잡음을 구별할 수 있다. 예를 들면, 웨어러블 전자 장치(101)는, 사용자의 음성을 명확하게 인식할 수 있고, 주변 소음을 줄여주는 기능(예: 노이즈 캔슬링)을 수행할 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(101)는, 광원(251)을 포함할 수 있다. 광원(251)은, 렌즈 프레임(202)에 배치될 수 있으나, 이에 제한되지 않는다.
일 실시예에 따르면, 광원(251)은, 사용자의 좌안 및 우안에 각각 대응되도록 구성될 수 있다. 광원(251)은, IR(infrared radiation) 광을 조사하는 IR 광원(예: IR LED)을 포함할 수 있으나, 이에 제한되지 않는다.
일 실시예에 따르면, 광원(251)은, 사용자의 안구를 향해 미리 설정된 파장 대역(예: 적외선 대역)의 광을 조사하도록 구성될 수 있다. 사용자의 안구, 상기 안구에 인접한 신체의 일부(예: 눈꺼풀), 또는 사용자의 안구의 동공은, 광원(251)으로부터 입사되는 광을 반사할 수 있다.
일 실시예에 따르면, 사용자의 안구, 신체의 일부 또는 동공으로부터 반사된 광은, 표시 부재(201)로 입사할 수 있다. 표시 부재(201)로 입사된 광은, 표시 부재(201)의 적어도 일부에 위치된 웨이브 가이드(예: 도 6의 제1 웨이브 가이드(400))를 통해 착용 부재(203) 내에 배치된 카메라(예: 도 5의 카메라(330))로 입사될 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(101)는, 광원(251)으로부터 조사되어 사용자의 동공에 의해 반사된 광을 상기 카메라(예: 도 5의 카메라(330))로 획득하여, 사용자의 동공이 향하는 방향(예를 들어, 사용자의 시선 방향)을 식별할 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(101)는, 카메라 모듈(253, 255)을 포함할 수 있다. 카메라 모듈(253, 255)은 정지 영상 및/또는 동영상을 촬영할 수 있다. 카메라 모듈(253, 255)은 렌즈, 적어도 하나의 이미지 센서, 이미지 시그널 프로세서 또는 플래시 중 적어도 하나를 포함할 수 있다. 일 실시예에 따르면, 카메라 모듈(253, 255)은 렌즈 프레임(202) 내에 배치되고, 표시 부재(201)의 주위에 배치될 수 있다.
일 실시예에 따르면, 제1 카메라 모듈(253)을 포함할 수 있다. 일 실시예에 따르면, 제1 카메라 모듈(253)은 외부의 이미지를 촬영할 수 있다. 일 실시예에 따르면, 제1 카메라 모듈(253)은 제2 프레임(2021b)에 형성된 제2 광학 홀(223)을 통해 외부의 이미지를 촬영할 수 있다. 예를 들어, 제2 카메라 모듈(253)은 고해상도의 컬러 카메라를 포함할 수 있으며, HR(high resolution) 또는 PV(photo video) 카메라일 수 있다. 일 실시예에 따르면, 제1 카메라 모듈(251)은 자동 초점 기능(auto focus, AF)과 이미지 안정화 기능(optical image stabilizer, OIS)을 제공할 수 있다.
일 실시예에 따르면(미도시), 웨어러블 전자 장치(101)는 제1 카메라 모듈(253)과 인접하도록 위치한 플래시(미도시)를 포함할 수 있다. 예를 들면, 플래시(미도시)는 제1 카메라 모듈(251)의 외부 이미지 획득 시, 웨어러블 전자 장치(101) 주변의 밝기(예: 조도)를 증대시키기 위한 광을 제공할 수 있으며, 어두운 환경, 다양한 광원의 혼입 및/또는 빛의 반사로 인한 이미지 획득의 어려움을 감소시킬 수 있다.
일 실시예에 따르면, 적어도 하나의 제2 카메라 모듈(255)은 렌즈 프레임(202)에 형성된 제1 광학 홀(221)을 통해 사용자의 동작을 촬영할 수 있다. 예를 들어, 제2 카메라 모듈(255)은 사용자의 제스처(예: 손동작)를 촬영할 수 있다. 제2 카메라 모듈(255) 및/또는 제1 광학 홀(221)은 렌즈 프레임(202)(예: 제2 프레임(2021b))의 양 측단, 예를 들어, X 방향에서 렌즈 프레임(202)(예: 제2 프레임(2021b))의 양 단부에 각각 배치될 수 있다. 일 실시예에 따르면, 제2 카메라 모듈(255)은 글로벌 셔터(global shutter, GS) 방식의 카메라일 수 있다. 예를 들면, 제2 카메라 모듈(255)은 3DoF(degrees of freedom, 자유도) 또는 6DoF를 지원하는 카메라로 360도 공간(예: 전 방향), 위치 인식 및/또는 이동 인식을 제공할 수 있다.
일 실시예에 따르면, 제2 카메라 모듈(255)은 스테레오 카메라로 동일 규격 및 성능의 복수개의 글로벌 셔터 방식의 카메라를 이용하여 이동 경로 추적 기능(simultaneous localization and mapping, SLAM) 및 사용자 움직임 인식 기능을 수행할 수 있다. 일 실시예에 따르면, 제2 카메라 모듈(255)은 IR(infrared) 카메라(예: TOF(time of flight) camera 또는 structured light camera)를 포함할 수 있다. 예를 들어, IR 카메라는 피사체와의 거리를 감지하기 위한 센서 모듈(예: 도 1의 센서 모듈(176))의 적어도 일부로 동작될 수 있다.
일 실시예에 따르면, 제2 카메라 모듈(255)은, 적어도 하나는 센서 모듈(예: 도 1의 센서 모듈(176))로 대체될 수 있다. 예를 들면, 센서 모듈은 VCSEL(vertical cavity surface emitting laser), 적외선 센서 및/또는 포토 다이오드(photodiode) 중 적어도 하나를 포함할 수 있다. 예를 들면, 포토 다이오드는 PIN(positive intrinsic negative) 포토 다이오드 또는 APD(avalanche photo diode)를 포함할 수 있다. 상기 포토 다이오드는 포토 디텍터(photo detector) 또는 포토 센서로 해석될 수 있다.
일 실시예에 따르면, 제1 카메라 모듈(253) 또는 제2 카메라 모듈(255) 중 적어도 하나는 복수의 카메라 모듈들(미도시)을 포함할 수 있다. 예를 들면, 제1 카메라 모듈(253)은 복수의 렌즈들(예: 광각 및 망원 렌즈) 및 이미지 센서들로 구성되어 웨어러블 전자 장치(101)의 한 면(예: -Y 방향을 향하는 면)에 배치될 수 있다. 예를 들면, 웨어러블 전자 장치(101)는 각각 다른 속성(예: 화각) 또는 기능을 가진 복수의 카메라 모듈들을 포함할 수 있고, 사용자의 선택 및/또는 궤적 정보에 기반하여, 카메라 모듈의 화각을 변경하도록 제어할 수 있다. 예를 들면, 상기 복수의 카메라 모듈들 중 적어도 하나는 광각 카메라이고, 적어도 다른 하나는 망원 카메라일 수 있다.
일 실시예에 따르면, 프로세서(예: 도 1의 프로세서(120))는 센서 모듈(예: 도 1의 센서 모듈(176))의 제스처 센서, 자이로 센서 또는 가속도 센서 중 적어도 하나를 이용하여 획득한 웨어러블 전자 장치(101)의 정보 및 제2 카메라 모듈(255)을 이용하여 획득한 사용자의 동작(예: 전자 장치(101)에 대한 사용자 신체의 접근)을 이용하여, 웨어러블 전자 장치(101)의 움직임 및/또는 사용자의 움직임을 판단할 수 있다. 일 실시예에 따르면, 웨어러블 전자 장치(101)는 서술된 센서 이외에 자기장 및 자력션을 이용하여 방위를 측정할 수 있는 자기(지자기) 센서 및/또는 자기장의 세기를 이용하여 움직임 정보(예: 이동 방향 또는 이동 거리)를 획득할 수 있는 홀 센서를 포함할 수 있다. 예를 들면, 프로세서는 자기(지자기) 센서 및/또는 홀 센서로부터 획득된 정보에 기반하여, 전자 장치(101)의 움직임 및/또는 사용자의 움직임을 판단할 수 있다.
일 실시예에 따르면(미도시), 웨어러블 전자 장치(101)는 사용자와의 상호 작용이 가능한 입력 기능(예: 터치 및/또는 압력 감지 기능)을 수행할 수 있다. 예를 들면, 터치 및/또는 압력 감지 기능을 수행하도록 구성된 구성 요소(예: 터치 센서 및/또는 압력 센서)가 착용 부재(203)의 적어도 일부에 배치될 수 있다. 웨어러블 전자 장치(101)는 상기 구성 요소를 통해 획득된 정보에 기반하여 표시 부재(201)를 통해 출력되는 가상 영상을 제어할 수 있다. 예를 들어, 터치 및/또는 압력 감지 기능과 관련된 센서는 저항막 방식(resistive type), 정전 용량 방식(capacitive type), 전자기 유도형(electro-magnetic type, EM) 또는 광 감지 방식(optical type)과 같은 다양한 방식으로 구성될 수 있다. 일 실시예에 따르면, 상기 터치 및/또는 압력 감지 기능을 수행하도록 구성된 구성 요소는 도 1의 입력 모듈(150)의 구성과 일부 또는 전부가 동일할 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(101)는 렌즈 프레임(202)의 내부 공간에 배치되고, 렌즈 프레임(202)의 강성 보다 높은 강성을 가지도록 형성된 보강 부재(260)를 포함할 수 있다.
일 실시예에 따르면, 전자 장치(101)는 렌즈 구조(273)를 포함할 수 있다. 렌즈 구조(273)는 빛의 적어도 일부를 굴절시킬 수 있다. 예를 들어, 렌즈 구조(273)는 지정된 굴절력을 가진 도수 렌즈(prescription lens)일 수 있다. 일 실시예에 따르면, 렌즈 구조(273)의 적어도 일부는 표시 부재(201)의 후방(예: +Y 방향)에 배치될 수 있다. 예를 들어, 렌즈 구조(273)는 표시 부재(201)와 사용자의 눈 사이에 위치할 수 있다.
일 실시예에 따르면, 하우징(210)은 힌지 구조(229)의 일부분을 은폐할 수 있는 힌지 커버(227)를 포함할 수 있다. 상기 힌지 구조(229)의 다른 일부분은 후술할 내측 커버(231)와 외측 커버(233) 사이로 수용 또는 은폐될 수 있다.
일 실시예에 따르면, 착용 부재(203)는 내측 커버(231)와 외측 커버(233)를 포함할 수 있다. 예를 들면, 내측 커버(231)는 사용자의 신체와 대면하거나 사용자의 신체에 직접 접촉하도록 구성된 커버로서, 열 전도율이 낮은 물질, 예를 들면, 합성수지로 제작될 수 있다. 일 실시예에 따르면, 내측 커버(231)는 사용자의 신체와 대면하는 내측면을 포함할 수 있다. 예를 들면, 외측 커버(233)는 적어도 부분적으로 열을 전달할 수 있는 물질(예: 금속 물질)을 포함하며, 내측 커버(231)와 마주보게 결합될 수 있다. 일 실시예에 따르면, 외측 커버(233)는 상기 내측면의 반대인 외측면을 포함할 수 있다. 일 실시예에서, 회로 기판(241) 또는 스피커 모듈(245) 중 적어도 하나는 착용 부재(203) 내에서 배터리(243)와 분리된 공간에 수용될 수 있다. 도시된 실시예에서, 내측 커버(231)는 회로 기판(241) 및/또는 스피커 모듈(245)을 수용하는 제1 커버(231a)와, 배터리(243)를 수용하는 제2 커버(231b)를 포함할 수 있으며, 외측 커버(233)는 제1 커버(231a)와 마주보게 결합하는 제3 커버(233a)와, 제2 커버(231b)와 마주보게 결합하는 제4 커버(233b)를 포함할 수 있다. 예를 들어, 제1 커버(231a)와 제3 커버(233a)가 결합(이하, '제1 커버 부분(231a, 233a)')하여 회로 기판(241) 및/또는 스피커 모듈(245)을 수용할 수 있고, 제2 커버(231b)와 제4 커버(233b)가 결합(이하, '제2 커버 부분(231b, 233b)')하여 배터리(243)를 수용할 수 있다.
일 실시예에 따르면, 제1 커버 부분(231a, 233a)은 힌지 구조(229)를 통해 렌즈 프레임(202)에 회전 가능하게 결합되고, 제2 커버 부분(231b, 233b)은 연결 구조(235)를 통해 제1 커버 부분(231a, 233a)의 단부에 연결 또는 장착될 수 있다. 일 실시예에 따르면, 연결 구조(235) 중 사용자 신체에 접촉하는 부분은 열 전도율이 낮은 물질, 예를 들면, 실리콘(silicone), 폴리우레탄(polyurethane)이나 고무와 같은 탄성체 재질로 제작될 수 있으며, 사용자 신체에 접촉하지 않는 부분은 열 전도율이 높은 물질(예: 금속 물질)로 제작될 수 있다. 예컨대, 회로 기판(241)이나 배터리(243)에서 열이 발생될 때, 연결 구조(235)는 사용자 신체에 접하는 부분으로 열이 전달되는 것을 차단하고, 사용자 신체와 접촉하지 않는 부분을 통해 열을 분산 또는 방출시킬 수 있다. 일 실시예에 따르면, 연결 구조(235) 중 사용자 신체와 접촉하게 구성된 부분은 내측 커버(231)의 일부로서 해석될 수 있으며, 연결 구조(235) 중 사용자 신체와 접촉하지 않는 부분은 외측 커버(233)의 일부로서 해석될 수 있다. 일 실시예에 따르면(미도시), 제1 커버(231a)와 제2 커버(231b)는 연결 구조(235) 없이 일체형으로 구성되고, 제3 커버(233a)와 제4 커버(233b)는 연결 구조(235) 없이 일체형으로 구성될 수 있다. 일 실시예에 따르면, 도시된 구성요소 외에 다른 구성요소(예: 도 1의 안테나 모듈(197))를 더 포함할 수 있으며, 통신 모듈(예: 도 1의 통신 모듈(190))을 이용하여, 네트워크(예: 도 1의 제1 네트워크(198) 또는 제2 네트워크(199))를 통해 외부의 전자 장치(예: 도 1의 전자 장치(102, 104), 또는 도 1의 서버(108))로부터 사물 또는 환경에 관한 정보를 제공받을 수 있다.
일 실시예에 따르면, 렌즈 프레임(202)은 제1 표시 부재(201a) 및 제2 표시 부재(201b) 사이의 브릿지 부분(274)(예: 도 2의 브릿지 부분(202c))을 포함할 수 있다. 예를 들어, 브릿지 부분(274)은 안경의 코 받침부에 대응되는 부분으로 해석될 수 있다.
일 실시예에 따르면, 전자 장치(101)는 접속 부재(205)를 포함할 수 있다. 일 실시예에 따르면, 회로 기판(241)은 접속 부재(205)와 연결되고, 접속 부재(205)를 통하여 전자 장치(101)의 부품들(예: 광 출력 모듈(211) 및/또는 카메라 모듈(250))에 전기적 신호를 전달할 수 있다. 예를 들어, 회로 기판(241)에 위치한 프로세서(예: 도 1의 프로세서(120))에서 전달되는 제어 신호는 접속 부재(205)의 적어도 일부를 이용하여 전자 부품들에 전달될 수 있다. 예를 들어, 접속 부재(205)의 적어도 일부는 전자 장치(101)의 부품들과 전기적으로 연결된 배선(미도시)을 포함할 수 있다.
일 실시예에 따르면, 접속 부재(205)는 적어도 일부가 제1 착용 부재(203a) 내에 배치된 제1 접속 부재(205a) 및 적어도 일부가 제2 착용 부재(203b) 내에 배치된 제2 접속 부재(205b)를 포함할 수 있다. 일 실시예에 따르면, 제1 접속 부재(205a) 및/또는 제2 접속 부재(205b)의 적어도 일부는 힌지 구조(229)와 대면할 수 있다. 예를 들어, 제1 접속 부재(205a)는 제1 회로 기판(241a)로부터 힌지 구조(229)를 가로질러 렌즈 프레임(202)의 내부로 연장될 수 있다. 제2 접속 부재(205b)는 제2 회로 기판(241b)로부터 힌지 구조(229)를 가로질러 렌즈 프레임(202)의 내부로 연장될 수 있다. 예를 들어, 제1 접속 부재(205a)의 일부 및 제2 접속 부재(205b)의 일부는 착용 부재(203) 내에 배치되고, 다른 일부는 렌즈 프레임(202) 내에 배치될 수 있다.
일 실시예에 따르면, 제1 접속 부재(205a) 및 제2 접속 부재(205b)는 힌지 구조(229)의 회전에 기초하여 접히거나 펼쳐질 수 있는 구조물을 포함할 수 있다. 예를 들어, 제1 접속 부재(205a) 및/또는 제2 접속 부재(205b)는 가요성 인쇄회로기판(flexible printed circuit board, FPCB)을 포함할 수 있다. 일 실시예에 따르면, 제1 접속 부재(205a)는 제1 회로 기판(241a)에 전기적 및/또는 기계적으로 연결될 수 있다. 일 실시예에 따르면, 제2 접속 부재(205b)는 제2 회로 기판(241b)에 전기적 및/또는 기계적으로 연결될 수 있다. 일 실시예에 따르면, 제1 접속 부재(205a) 및/또는 제2 접속 부재(205b)는 신호를 전달하기 위한 구조(예: 배선 및/또는 케이블)를 포함할 수 있다.
일 실시예에 따르면, 센서 모듈(280)(예: 도 1의 센서 모듈(176))은 표시 부재(201)를 통과한 빛을 감지할 수 있다. 일 실시예에 따르면, 센서 모듈(280)은 제1 표시 부재(201a)를 통과한 빛을 감지할 수 있는 제1 센서 모듈(281) 및 제2 표시 부재(201b)를 통과한 빛을 감지할 수 있는 제2 센서 모듈(282)을 포함할 수 있다. 예를 들어, 제1 센서 모듈(281)은 제1 표시 부재(201a)의 후방(예: -Y 방향)에서 빛을 감지할 수 있고, 제2 센서 모듈(282)은 제2 표시 부재(201b)의 후방에서 빛을 감지할 수 있다. 일 실시예에 따르면, 센서 모듈(280)은 표시 부재(201)의 전방(예: +Y 방향)의 빛을 감지할 수 있는 제3 센서 모듈(283)을 포함할 수 있다. 예를 들어, 제3 센서 모듈(283)은 표시 부재(201)의 전방(예: +Y 방향)에서 빛을 감지할 수 있다. 일 실시예에 따르면, 센서 모듈(280)은 조도 센서일 수 있다. 일 실시예에 따르면, 제3 센서 모듈(283)은 제1 카메라 모듈(253)의 구성과 일부 또는 전부가 동일할 수 있다.
도 5는 본 개시의 일 실시예에 따른, 웨어러블 전자 장치의 개략도이다.
도 5의 실시예는, 도 1 내지 도 4의 실시예들, 또는 도 6 내지 도 18의 실시예들과 결합될 수 있다.
도 5의 실시예의 구성들은, 도 1 내지 도 4의 실시예들의 구성들, 또는 도 6 내지 도 18의 실시예들의 구성들과 일부 또는 전부가 동일할 수 있다.
도 5를 참조하면, 웨어러블 전자 장치(101)(예: 도 2 내지 도 4의 웨어러블 전자 장치(101))는, 렌즈 프레임(302)(예: 도 2 내지 도 4의 렌즈 프레임(202)) 및 착용 부재(303)(예: 도 2 내지 도 4의 착용 부재(203))를 포함하는 하우징(310)을 포함할 수 있다.
일 실시예에 따르면, 렌즈 프레임(302)은, 표시 부재(320, 321)(예: 도 2 내지 도 4의 표시 부재(201))와 결합될 수 있다. 예를 들어, 표시 부재(320, 321)의 가장자리는, 렌즈 프레임(302)에 의해 둘러싸일 수 있다.
일 실시예에 따르면, 렌즈 프레임(302)은, 사용자의 좌안과 상응하는 제1 표시 부재(320)와 결합된 제1 림 부분(311)(예: 도 2의 제2 림 부분(202b)), 및 사용자의 우안과 상응하는 제2 표시 부재(321)와 결합된 제2 림 부분(312)(예: 도 2의 제1 림 부분(202a))을 포함할 수 있다.
일 실시예에 따르면, 착용 부재(303)는, 제1 림 부분(311)에 회전 가능하게 연결된 제1 레그 부분(315)(예: 도 2의 제2 착용 부재(203b)) 및 제2 림 부분(312)에 회전 가능하게 연결된 제2 레그 부분(316)(예: 도 2의 제1 착용 부재(203a))를 포함할 수 있다.
일 실시예에 따르면, 제1 레그 부분(315)은, 사용자의 왼쪽 귀에 상응할 수 있다. 제2 레그 부분(316)은, 사용자의 오른쪽 귀에 상응할 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(101)는, 광원(370)(예: 도 3 및 도 4의 광원(251))을 포함할 수 있다. 일 실시예에 따르면, 광원(370)은, 렌즈 프레임(302)에 배치될 수 있다.
일 실시예에 따르면, 광원(370)(예: IR LED)은, 사용자의 신체의 일부(예: 안구(10))를 향해 적외선을 조사하도록 구성될 수 있다. 일 실시예에 따르면, 광원(370)으로부터 조사된 광은, 안구(10)에 의해 반사되어 표시 부재(320, 321)로 입사될 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(101)는, 카메라(330)를 포함할 수 있다. 카메라(330)는, 적외선 대역의 이미지를 촬영 가능한 IR 카메라를 포함할 수 있다. 카메라(330)는, 표시 부재(320)를 통해 전달된 광을 획득할 수 있다. 예를 들어, 카메라(330)는, 사용자의 안구(10)로부터 반사된 광을 획득할 수 있다.
일 실시예에 따르면, 카메라(330)는, 착용 부재(303)의 내부에 배치될 수 있다. 예를 들어, 카메라(330)는, 제1 레그 부분(315)의 내부 및 제2 레그 부분(316)의 내부에 각각 배치된 적어도 한 쌍의 카메라를 포함할 수 있다. 카메라(330)가 착용 부재(303)의 내부에 배치됨에 따라, 카메라(330)는 웨어러블 전자 장치(101)의 외부로 노출되지 않을 수 있다. 이에 따라, 웨어러블 전자 장치(101)의 디자인이 개선될 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(101)는, 회로 기판(340)(예: 도 4의 회로 기판(241))을 포함할 수 있다. 회로 기판(340)은, 착용 부재(303)의 내부에 배치될 수 있다. 회로 기판(340)은, 카메라(330)와 전기적으로 연결될 수 있다. 회로 기판(241)은, 제1 레그 부분(315)의 내부 및 제2 레그 부분(316)의 내부에 배치된 적어도 한 쌍의 회로 기판을 포함할 수 있다.
일 실시예에 따르면, 회로 기판(340)은, 프로세서(예: 도 1의 프로세서(120)) 및 메모리(예: 도 1의 메모리(130))를 포함할 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(101) 및/또는 프로세서는, 카메라(330)를 통해 획득된 사용자의 안구(10)에 대한 이미지에 기초하여, 사용자의 동공이 향하는 시선 방향을 추적할 수 있다.
이하, 설명의 편의를 위해, 제1 림 부분(311)에 배치된 제1 표시 부재(320)를 통해, 사용자의 좌안에 대한 이미지를 획득하는 경우를 설명하나, 이에 대한 설명은 제2 표시 부재(321)를 통해 사용자의 우안에 대한 이미지를 획득하는 경우에도 동일하게 적용 및/또는 준용될 수 있다.
일 실시예에 따르면, 광원(370)은, 사용자의 좌안(10)을 향해 적외선을 조사할 수 있다.
일 실시예에 따르면, 사용자의 좌안(10)에서 반사된 광은, 제1 표시 부재(320)로 입사될 수 있다.
일 실시예에 따르면, 제1 표시 부재(320)는, 입사된 광을 카메라(330)로 전달하도록 구성된 제1 웨이브 가이드(예: 도 6의 제1 웨이브 가이드(400))를 포함할 수 있다. 제1 표시 부재(320)는, 사용자의 시선 추적을 위한 제1 웨이브 가이드, 가상 이미지를 출력하기 위한 제2 웨이브 가이드(예: 도 15의 제2 웨이브 가이드(500)), 또는 렌즈 구조(예: 도 4의 렌즈 구조(273))를 포함할 수 있다.
일 실시예에 따르면, 제1 웨이브 가이드에 입사된 광은, 제1 웨이브 가이드 내에서 전반사되며 카메라(330)를 향해 전달될 수 있다.
일 실시예에 따르면, 제1 웨이브 가이드에서 출력된 광은, 카메라(330)로 입사될 수 있다.
일 실시예에 따르면, 카메라(330)는, 제1 웨이브 가이드로부터 출력된 광을 획득하여, 사용자의 신체 또는 사용자의 좌안에 대한 이미지를 촬영할 수 있다.
일 실시예에 따르면, 회로 기판(340)의 프로세서(120)는, 카메라(330)에 의해 획득된 또는 촬영된 이미지에 기초하여, 사용자의 좌안(10)의 동공이 지향하는 방향(예: 시선 방향)을 획득 및/또는 결정할 수 있다.
도 6은 본 개시의 일 실시예에 따른, 제1 웨이브 가이드를 나타낸 개략도이다.
도 7은 본 개시의 일 실시예에 따른, 도 6의 A 부분의 확대도이다.
도 6 내지 도 7의 실시예들은, 도 1 내지 도 5의 실시예들, 또는 도 8 내지 도 18의 실시예들과 결합될 수 있다.
도 6 내지 도 7의 실시예들의 구성들은, 도 1 내지 도 5의 실시예들의 구성들, 또는 도 8 내지 도 18의 실시예들의 구성들과 일부 또는 전부가 동일할 수 있다.
도 6 내지 도 7을 참조하면, 웨어러블 전자 장치(101)(예: 도 2 내지 도 5의 웨어러블 전자 장치(101))는, 제1 웨이브 가이드(400)를 포함할 수 있다.
일 실시예에 따르면, 제1 웨이브 가이드(400)는, 표시 부재(예: 도 5의 표시 부재(320, 321))의 적어도 일부를 형성할 수 있다. 예를 들어, 표시 부재가 복수 개의 층들(layers)을 포함하는 경우, 제1 웨이브 가이드(400)는, 표시 부재의 어느 하나의 층으로 구성 또는 형성될 수 있다.
이하, 제1 웨이브 가이드(400) 및 제1 웨이브 가이드(400)의 구성들이 향하는 방향은, 각각의 요소들의 중심이 향하는 방향으로 정의될 수 있으나, 이에 한정되지 않는다.
일 실시예에 따르면, 제1 웨이브 가이드(400)는, 서브스트레이트(410), 제1 필터 층(430), 제2 필터 층(450), 제1 회절 층(470)(first diffractive layer), 및 제2 회절 층(490)(second diffractive layer)을 포함할 수 있다.
일 실시예에 따르면, 서브스트레이트(410)는, 사용자의 안구(10)를 향하는 제1 면(411) 및 제1 면(411)과 반대인 제2 면(413)을 포함할 수 있다.
일 실시예에 따르면, 서브스트레이트(410)는, 사용자의 안구로부터 반사되어 서브스트레이트(410)로 입사된 광을 카메라(330)(예: 도 5의 카메라(330))로 안내하도록 구성될 수 있다.
일 실시예에 따르면, 서브스트레이트(410)는, 사용자가 현실 객체를 인식할 수 있도록 가시광선 대역에 대해 투명한 재질(예: 글래스(glass))로 형성될 수 있으나, 이에 제한되지 않는다. 예를 들어, 웨어러블 전자 장치(101)의 외부에서 서브스트레이트(410)로 입사된 가시광선 대역의 광은, 서브스트레이트(410)를 통과하여 사용자의 안구에 입사될 수 있다.
일 실시예에 따르면, 제1 필터 층(430)은, 서브스트레이트(410)의 제1 면(411)에 배치될 수 있다.
일 실시예에 따르면, 제1 필터 층(430)은, 제1 면(411)에 적층된 IR 반사 필름을 포함할 수 있다.
일 실시예에 따르면, 제1 필터 층(430)은, 복수 개의 제1 핀홀들(431)(first pin holes)을 포함할 수 있다. 복수 개의 제1 핀홀들(431)은, 제1 필터 층(430)에 형성된 홀(hole) 또는 개구(opening)로 정의될 수 있다.
일 실시예에 따르면, 적외선 대역의 광은, 제1 필터 층(430)의 복수 개의 제1 핀홀들(431)을 통과할 수 있다. 제1 필터 층(430)이 IR 반사 필름을 포함함에 따라, 적외선 대역의 광은, 제1 필터 층(430)의 나머지 영역(예: 제1 핀홀들(431)이 없는 부분들)을 통과하는 것이 제한될 수 있다.
일 실시예에 따르면, 제1 필터 층(430)은, 복수 개의 제1 핀홀들(431)을 포함하는 IR 반사 필름이 서브스트레이트(410)의 제1 면(411)에 부착되어 형성될 수 있다. 실시예에 따라, 제1 필터 층(430)은, 서브스트레이트(410)의 제1 면(411)에 증착되어 형성될 수 있다.
일 실시예에 따르면, 제2 필터 층(450)은, 서브스트레이트(410)의 제2 면(413)에 배치될 수 있다.
일 실시예에 따르면, 제2 필터 층(450)은, 제2 면(413)에 적층된 IR 반사 필름을 포함할 수 있다.
일 실시예에 따르면, 제2 필터 층(450)은, 복수 개의 제2 핀홀들(451)(second pin holes)을 포함할 수 있다. 복수 개의 제2 핀홀들(451)은, 제2 필터 층(450)에 형성된 홀(hole) 또는 개구(opening)로 정의될 수 있다.
일 실시예에 따르면, 적외선 대역의 광은, 제2 필터 층(450)의 복수 개의 제2 핀홀들(451)을 통과할 수 있다. 제2 필터 층(450)이 IR 반사 필름을 포함함에 따라, 적외선 대역의 광은, 제2 필터 층(450)의 나머지 영역을 통과하는 것이 제한될 수 있다.
일 실시예에 따르면, 제2 필터 층(450)은, 복수 개의 제2 핀홀들(451)을 포함하는 IR 반사 필름이 서브스트레이트(410)의 제2 면(413)에 부착되어 형성될 수 있다. 실시예에 따라, 제2 필터 층(450)은, 서브스트레이트(410)의 제2 면(413)에 증착되어 형성될 수 있다.
일 실시예에 따르면, 제2 필터 층(450)은, 제1 필터 층(430)과 상응하게 위치될 수 있다. 예를 들어, 제2 필터 층(450)은, 서브스트레이트(410)의 적어도 일 부분을 사이에 두고(interposed therebetween), 제1 필터 층(430)과 대면할 수 있다(faces).
일 실시예에 따르면, 제1 회절 층(470)은, 제2 필터 층(450)을 커버할 수 있다. 예를 들어, 제1 회절 층(470)은, 제2 필터 층(450)의 외면(예: 도 6의 +Y 방향을 향하는 면)에 적층될 수 있다. 제2 필터 층(450)은, 적어도 부분적으로(at least partially) 서브스트레이트(410)와 제1 회절 층(470) 사이에 배치될 수 있다.
일 실시예에 따르면, 제1 회절 층(470)은, 회절 소자를 포함할 수 있다. 예를 들어, 제1 회절 층(470)의 회절 소자는, 회절광학소자(Diffractive optical element, DOE), 홀로그래픽 광학소자(Holographic optical element, HOE), 고분자분산 액정(Polymer dispered liquid crystal, PDLC), 메타 표면(meta surface), 또는 메타 격자(meta grating)을 포함할 수 있으나, 이에 제한되지 않는다. 제1 회절 층(470)은, 제2 핀홀들(451)을 통과하여 제1 회절 층(470)으로 입사된 적외선 대역의 광을 회절시킬 수 있다. 제1 회절 층(470)에서 회절된 적외선 대역의 광은, 서브스트레이트(410) 내부에서 전반사되며 제2 회절 층(490)로 전달될 수 있다. 예를 들어, 제1 회절 층(470)은, 제2 필터 층(450)의 제2 핀홀들(451)을 통과한 적외선 대역의 광을, 서브스트레이트(410)의 전반사 조건에 부합하도록 회절시킬 수 있다.
일 실시예에 따르면, 제2 회절 층(490)은, 서브스트레이트(410)의 제2 면(413)에 배치될 수 있다. 제2 회절 층(490)은, 카메라(330)와 상응하게 위치될 수 있다. 예를 들어, 제2 회절 층(490)은, 서브스트레이트(410)의 적어도 일 부분을 사이에 두고, 카메라(330)와 대면할 수 있다.
일 실시예에 따르면, 제2 회절 층(490)은, 회절 소자를 포함할 수 있다. 예를 들어, 제1 회절 층(470)의 회절 소자는, 회절광학소자(Diffractive optical element, DOE), 홀로그래픽 광학소자(Holographic optical element, HOE), 고분자분산 액정(Polymer dispered liquid crystal, PDLC), 메타 표면(meta surface), 또는 메타 격자(meta grating)을 포함할 수 있으나, 이에 제한되지 않는다. 제2 회절 층(490)은, 서브스트레이트(410)의 내부에서 전반사되는 광을 회절시켜, 카메라(330)로 출력시키도록 구성될 수 있다.
일 실시예에 따르면, 제1 필터 층(430)의 제1 핀홀들(431)은, 제2 필터 층(450)의 제2 핀홀들(451)과 매칭될 수 있다. 예를 들어, 제1 핀홀들(431)은, 서로 이격된 핀홀들(431-1, 쪋 , 431-n)을 포함할 수 있다. 제2 핀홀들(451)은, 서로 이격된 핀홀들(451-1, 쪋, 451-n)을 포함할 수 있다. 예를 들어, 제1 핀홀들(431) 중 제1-1 핀홀(431-1)은, 제2 핀홀들(451) 중 제2-1 핀홀(451-1)과 매칭될 수 있다. 제1 핀홀들(431) 중 제1-n 핀홀(431-n)은, 제2 핀홀들(451) 중 제2-n 핀홀(451-n)과 매칭될 수 있다.
일 실시예에 따르면, 제1 핀홀들(431)과 제2 핀홀들(451)은, 사용자의 안구(10)로부터 반사되어 제1 웨이브 가이드(400)를 통해 카메라(330)로 입사되는 광의 경로를 제한하도록 구성될 수 있다. 예를 들어, 제1 핀홀들(431)과 제2 핀홀들(451)은, 사용자의 안구(10)의 특정 부분에서 반사된 광 및 사용자의 안구(10)의 상기 특정 부분과 다른 부분에서 반사된 광이, 카메라(330)의 이미지 센서(330a)의 어느 하나의 픽셀(pixel)에서 중첩되지 않을 수 있다.
일 실시예에 따르면, 카메라(330)의 이미지 센서(330a)의 어느 하나의 픽셀에서, 안구(10)의 복수 개의 지점들에 대한 광들이 중첩되지 않음에 따라, 카메라(330)에서 획득되는 사용자의 안구에 대한 이미지(10a)의 화질이 개선될 수 있다. 이에 따라, 웨어러블 전자 장치(101)는, 카메라(330) 및 제1 웨이브 가이드(400)를 통해 획득한 사용자의 안구의 시선 방향에 대한 정확도 및 신뢰성이 개선될 수 있다.
일 실시예에 따르면, 광원(예: 도 5의 광원(370))으로부터 조사된 광은, 사용자의 안구(10)에 의해 제1 웨이브 가이드(400)를 향해 반사될 수 있다.
도 6 및 도 7을 참조하면, 사용자의 안구(10)의 복수 개의 지점들로부터 각각 반사되어 제1 웨이브 가이드(400)로 입사되는 복수 개의 광들에 대한 광 경로들(Li-1, 쪋, Li-n)이 도시된다. 또한, 제2 미러 층(490)에서 각각 반사되어 카메라(330)로 입사되는 복수 개의 광들에 대한 광 경로들(Li-1, 쪋, Li-n)이 도시된다.
일 실시예에 따르면, 사용자의 안구(10)의 어느 하나의 지점으로부터 발생된 제1 광은, 제1-1 핀홀(431-1)을 통과하여 서브스트레이트(410)로 입사될 수 있다. 상기 제1 광은, 제2-1 핀홀(451-1)에서, 제1 회절 층(470)에 의해 회절될 수 있다. 제1 광은, 제1 회절 층(470)에 의해 회절된 후, 서브스트레이트(410)의 내부에서 전반사되며 제2 회절 층(490)을 향해 전파될 수 있다. 제1 광은, 제2 회절 층(490)에서 회절되어 서브스트레이트(410)의 제1 면(411)을 통과하여 카메라(330)로 도달할 수 있다.
일 실시예에 따르면, 제1-1 핀홀(431-1) 및 제2-1 핀홀(451-1)은, 사용자의 안구(10)의 어느 하나의 지점으로부터 발생되어 제1 입력 광 경로(Li-1)를 따라 지정된 입사각으로 유입되는 광이 제2 회절 층(490)에서 회절되어 제1 출력 광 경로(Lo-1)를 따라 카메라(330)로 전달되도록 할 수 있다. 이에 대한 설명은, 서로 매칭되는 복수 개의 핀홀들에 각각 동일 및/또는 유사하게 준용될 수 있다.
도 7을 참조하면, 사용자의 안구의 어느 하나의 지점(20)으로부터 반사된 광(21)이 도시된다.
일 실시예에 따르면, 사용자의 안구의 어느 하나의 지점(20)에서 반사된 광은, 다양한 방향으로 반사될 수 있다.
일 실시예에 따르면, 상기 지점(20), 제1-n 핀홀(431-n) 및 제2-n 핀홀(451-n)의 배열에 따라, 상기 지점(20)에서 반사된 광들 중 지정된 입사각(θN)을 갖는 광(21)은, 제1-n 핀홀(431-n)을 통과하여 제2-n 핀홀(451-n)에 도달할 수 있다. 상기 입사각은, 지점(20)과 제1 필터 층(430)을 연결하는 가상의 연직선에 대해, 광(21)이 형성하는 각도로 정의될 수 있다.
일 실시예에 따르면, 제1 필터 층(430)이 IR 반사 필름을 포함함에 따라, 지정된 입사각을 가지지 않는 광들은, 제1 필터 층(430)에 의해 반사되어 서브스트레이트(410)의 내부에 도달할 수 없다.
일 실시예에 따르면, 지정된 입사각을 갖는 광(21)이 제1-n 핀홀(431-n)을 통과하면, 서브스트레이트(410)의 경계(예: 도 6의 제1 면(411))에서 광(21)이 산란될 수 있다.
일 실시예에 따르면, 광(21)이 서브스트레이트(410)의 경계에서 산란되면, 산란 광 중에서 상기 광(21)과 동일한 입사각을 갖는 광(22a)은, 제2-n 핀홀(451-n)에 도달할 수 있다. 다른 산란 광들(22b, 22c)은, 제2-n 핀홀(451-n)에 도달할 수 없다.
일 실시예에 따르면, 제2-n 핀홀(451-n)에 도달한 광(22a)은, 제1 회절 층(470)에 의해 회절될 수 있다. 제1 회절 층(470)에서 회절된 광(23)은, 서브스트레이트(410) 내부에서 전반사되며 제2 회절 층(예: 도 6의 제2 회절 층(490))을 향해 전파될 수 있다.
도시되지는 않았지만, 산란 광 중에서 제2-n 핀홀(451-n)과 인접한 제2-m 핀홀(451-m)으로 도달하는 광이 있다고 하여도, 제2-m 핀홀(451-m)에서 회절되는 회절 광은, 서브스트레이트(410)의 내부에서 전반사 조건을 만족하지 못하는 각도로 반사되거나 또는 제2 회절 층을 향해 전파되지 않을 수 있다.
일 실시예에 따르면, 사용자의 안구의 특정 지점(20)으로부터 반사된 광은, 제1-n 핀홀(431-n) 및 제2-n 핀홀(451-n)에 의해, 광 경로가 제한될 수 있다. 예를 들어, 상기 지점(20)으로부터 반사된 광은, 제1-n 핀홀(431-n) 및 제2-n 핀홀(451-n)과 연관된 광 경로를 통해서만 카메라(예: 도 6의 카메라(330))에 도달할 수 있고, 다른 핀홀들과 연관된 광 경로를 통해서는 카메라에 도달할 수 없다.
일 실시예에 따르면, 사용자의 안구의 복수 개의 지점들로부터 반사된 광들은, 각각 연관된 핀홀에 의해 제한되는 광 경로를 통해서만 카메라에 도달할 수 있다. 아울러, 제1 핀홀들(431) 및 제2 핀홀들(451)은, 상기 광 경로들이 서로 중첩되지 않도록 배열될 수 있다. 상기 광 경로들이 중첩되지 않음에 따라, 카메라에서 획득되는 사용자의 안구에 대한 이미지의 화질이 개선될 수 있다.
도 8은 본 개시의 일 실시예에 따른, 제1 웨이브 가이드의 핀홀들을 나타낸 개략도이다.
도 9는 본 개시의 일 실시예에 따른, 제1 웨이브 가이드의 핀홀들을 나타낸 개략도이다.
도 8 및 도 9의 실시예들은, 도 1 내지 도 7의 실시예들, 또는 도 10 내지 도 18의 실시예들과 결합될 수 있다.
도 8 및 도 9의 실시예들의 구성들은, 도 1 내지 도 7의 실시예들의 구성들, 또는 도 10 내지 도 18의 실시예들의 구성들과 일부 또는 전부가 동일할 수 있다.
도 8을 참조하면, 제1 필터 층(430)(예: 도 6의 제1 필터 층(430))은, 복수 개의 제1 핀홀들(431)을 포함할 수 있다. 제2 필터 층(450)(예: 도 6의 제2 필터 층(450))은, 복수 개의 제2 핀홀들(451)을 포함할 수 있다.
일 실시예에 따르면, 복수 개의 제1 핀홀들(431)은, 서로 이격될 수 있다. 예를 들어, 복수 개의 제1 핀홀들(431)은, 등간격으로 이격될 수 있다.
일 실시예에 따르면, 어느 하나의 제1 핀홀(431-1, ... , 431-n)은, 인접한 제1 핀홀과 제1 거리(d1)만큼 이격될 수 있다.
일 실시예에 따르면, 복수 개의 제2 핀홀들(451)은, 서로 이격될 수 있다. 예를 들어, 복수 개의 제2 핀홀들(451)은, 등간격(equal spacing)으로 이격될 수 있다.
일 실시예에 따르면, 어느 하나의 제2 핀홀(451-1, ... , 451-n)은, 인접한 제1 핀홀과 제2 거리(d2)만큼 이격될 수 있다.
일 실시예에 따르면, 복수 개의 제2 핀홀들(451)이 서로 이격된 제2 거리(d2)는, 복수 개의 제1 핀홀들(431)이 서로 이격된 거리(d1)보다 클 수 있으나, 이에 제한되지 않는다. 예를 들어, 복수 개의 제2 핀홀들(451)이 서로 이격된 제2 거리(d2)는, 복수 개의 제1 핀홀들(431)이 서로 이격된 거리(d1)보다 작을 수도 있다.
도 9를 참조하면, 제1 필터 층(4301)(예: 도 6의 제1 필터 층(430))은, 복수 개의 제1 핀홀들(4311)을 포함할 수 있다. 제2 필터 층(4501)(예: 도 6의 제2 필터 층(450))은, 복수 개의 제2 핀홀들(4511)을 포함할 수 있다.
일 실시예에 따르면, 복수 개의 제1 핀홀들(4311)은, 서로 이격될 수 있다. 예를 들어, 복수 개의 제1 핀홀들(431)은, 이간격(unequal spacing)으로 이격될 수 있다.
일 실시예에 따르면, 제2 회절 층(예: 도 6의 제2 회절 층(490))으로부터 가장 멀리 위치된 제1 핀홀(4311-1)로부터 제2 회절 층에 가장 가깝게 위치된 제1 핀홀(4311-n)을 향하는 제1 방향으로, 제1 핀홀들(4311) 사이의 거리들은, 커질 수 있다. 예를 들어, 어느 하나의 제1 핀홀(4311-2)과 일측에 인접한 제1 핀홀(4311-1) 사이의 거리(d11)는, 어느 하나의 제1 핀홀(4311-2)과 타측에 인접한 제1 핀홀(4311-3) 사이의 거리(d12)보다 작을 수 있다.
일 실시예에 따르면, 복수 개의 제2 핀홀들(4511)은, 서로 이격될 수 있다. 예를 들어, 복수 개의 제2 핀홀들(451)은, 이간격(unequal spacing)으로 이격될 수 있다.
일 실시예에 따르면, 제2 회절 층(예: 도 6의 제2 회절 층(490))으로부터 가장 멀리 위치된 제2 핀홀(4511-1)로부터 제2 회절 층에 가장 가깝게 위치된 제2 핀홀(4511-n)을 향하는 제1 방향으로, 제2 핀홀들(4511) 사이의 거리들은, 커질 수 있다. 예를 들어, 어느 하나의 제2 핀홀(4511-2)과 일측에 인접한 제2 핀홀(4511-1) 사이의 거리(d21)는, 어느 하나의 제2 핀홀(4511-2)과 타측에 인접한 제2 핀홀(4511-3) 사이의 거리(d22)보다 작을 수 있다.
도 10은 본 개시의 일 실시예에 따른, 제1 웨이브 가이드의 핀홀들을 나타낸 개략도이다.
도 10의 실시예는, 도 1 내지 도 9의 실시예들, 또는 도 11 내지 도 18의 실시예들과 결합될 수 있다.
도 10의 실시예의 구성들은, 도 1 내지 도 9의 실시예들의 구성들, 또는 도 11 내지 도 18의 실시예들의 구성들과 일부 또는 전부가 동일할 수 있다.
도 10을 참조하면, 제1 웨이브 가이드(400)는, 서브스트레이트(410), 제1 필터 층(4302)(예: 도 6의 제1 필터 층(4302)) 및 제1 회절 층(4700)(예: 도 6의 제1 회절 층(4700))을 포함할 수 있다.
일 실시예에 따르면, 제1 필터 층(4302)은, 서브스트레이트(410)의 제1 면(411)에 배치될 수 있다. 제1 필터 층(4302)은, 복수 개의 제1 핀홀들(4312)을 포함할 수 있다. 복수 개의 제1 핀홀들(4312-1, ... , 4312-n)은, 서로 이격될 수 있다.
일 실시예에 따르면, 제1 회절 층(4700)은, 서브스트레이트(410)의 제2 면(413)에 배치될 수 있다. 제1 회절 층(4700)은, 서로 이격된 복수 개의 회절 패턴들(4701-1, ... , 4701-n)을 포함할 수 있다.
일 실시예에 따르면, 복수 개의 회절 패턴들(4701-1, ... , 4701-n)은, 각각, 복수 개의 제1 핀홀들(4312-1, ... , 4312-n)과 매칭될 수 있다. 예를 들어, 제1-1 회절 패턴(4701-1)은, 제1-1 핀홀(4312-1)과 매칭될 수 있다.
이하, 제1-1 핀홀(4312-1)과 제1-1 회절 패턴(4701-1)을 예로 들어 광의 전달 경로에 대해 설명하나, 이에 대한 설명은 나머지 제1 핀홀들과 제1 회전 패턴들에도 동일 및/또는 유사하게 적용 및/또는 이해될 수 있다.
일 실시예에 따르면, 제1-1 핀홀(4312-1)을 통과한 적외선 대역의 광은, 제1-1 회절 패턴(4701-1)에서 회절되어 서브스트레이트(410) 내부에서 전반사되며 제2 회절 층(예: 도 6의 제2 회절 층(490))으로 전달될 수 있다.
일 실시예에 따르면, 제1-1 핀홀(4312-1)을 통과하고 제1-1 회절 패턴(4701-1)에 도달하지 않는 적외선 대역의 광은, 서브스트레이트(410) 내에서 전반사되지 않거나 또는 서브스트레이트(410)를 통과하여 서브스트레이트(410) 외부로 전파될 수 있다.
도 11은 본 개시의 일 실시예에 따른, 렌즈 프레임 및 광원을 설명하기 위한 개략도이다.
도 12는 본 개시의 일 실시예에 따른, 광원의 배치를 설명하기 위한 개략도이다.
도 13은 본 개시의 일 실시예에 따른, 사용자의 안구에 대한 좌표를 설명하기 위한 개략도이다.
도 14는 본 개시의 일 실시예에 따른, 사용자의 안구에 대한 좌표와 카메라의 이미지 센서에 대한 좌표를 설명하기 위한 개략도이다.
도 11 내지 도 14의 실시예들은, 도 1 내지 도 10의 실시예들, 또는 도 15 내지 도 18의 실시예들과 결합될 수 있다.
도 11 내지 도 14의 실시예들의 구성들은, 도 1 내지 도 10의 실시예들의 구성들, 또는 도 15 내지 도 18의 실시예들의 구성들과 일부 또는 전부가 동일할 수 있다.
도 11을 참조하면, 웨어러블 전자 장치(예: 도 2 내지 도 5의 웨어러블 전자 장치(101))의 림 부분(301)(예: 도 5의 제1 림 부분(311), 또는 제2 림 부분(312))에는, 복수 개의 광원들(370)(예: 도 5의 광원(370))이 배치될 수 있다. 복수 개의 광원들(370)은, 림 부분(301)을 따라 서로 이격되어 배치될 수 있다.
일 실시예에 따르면, 제1 웨이브 가이드(400)(예: 도 6의 제1 웨이브 가이드(400))는, 림 부분(301)에 결합 또는 장착될 수 있다.
일 실시예에 따르면, 복수 개의 광원들(370)로부터 조사된 적외선 대역의 광은, 사용자의 안구에 의해 반사되어 제1 웨이브 가이드(400)로 전달될 수 있다.
일 실시예에 따르면, 제1 웨이브 가이드(400)는, 제1 필터 층(430)(예: 도 6의 제1 필터 층(470))을 포함할 수 있다. 제1 필터 층(430)의 복수 개의 제1 핀홀들(431)은, 사용자의 안구의 일 지점으로부터 반사된 적외선 대역의 광 중에서 지정된 입사각을 갖는 광만을 통과시키도록 구성될 수 있다.
이하, 도 12 내지 도 14를 참조하여, 웨어러블 전자 장치를 통해 사용자의 시선 방향을 획득하는 방법에 대해 설명한다.
도 12의 "31"을 참조하면, 사용자의 안구(10) 주위로 복수 개의 광원들(예: 도 11의 광원들(370))의 위치(370a)가 도시된다. 예를 들어, 사용자를 정면에서 바라볼 때, 복수 개의 광원들의 위치(370a)는, 사용자의 안구(10) 주위일 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치는, 사용자의 안구(10)의 동공(11)을 인식하고, 동공(11)이 지향하는 방향을 통해 사용자의 시선의 궤적을 인식할 수 있다.
도 13의 "32"를 참조하면, 웨어러블 전자 장치는, 제1 웨이브 가이드(예: 도 5의 제1 웨이브 가이드(400)) 및 카메라(예: 도 5의 카메라(330))를 통해, 사용자의 안구(10)를 촬영할 수 있다. 일 실시예에 따르면, 웨어러블 전자 장치는, 사용자의 안구(10)에 대한 촬영 이미지를 복수 개의 영역들(371a)로 구분하여 인식할 수 있다. 이에 따라, 웨어러블 전자 장치는, 동공(11)의 경계(11a)가 촬영 이미지에서 어느 영역들(371a)에 있는지 여부를 확인하고, 이에 기초하여 사용자의 시선의 궤적을 결정할 수 있다.
도 14의 "41"를 참조하면, 사용자의 안구의 동공(11) 및 그 경계(111a)가 안구에 대한 촬영 이미지의 복수 개의 영역들 중에서, 제1 가로 영역(a4, a5) 및 제1 세로 영역(b4, b5)에 있는 것이 도시된다.
도 14의 "42"를 참조하면, 사용자의 안구의 동공(11) 및 그 경계(111b)가 안구에 대한 촬영 이미지의 복수 개의 영역들 중에서, 제2 가로 영역(a3, a4, a5) 및 제2 세로 영역(b3, b4, b5)에 있는 것이 도시된다.
일 실시예에 따르면, 웨어러블 전자 장치는, 안구에 대한 촬영 이미지에서, 안구에 대한 촬영 이미지에서 동공(11)이 어느 영역에 있는지를 판단하고, 동공(11)의 위치에 기초하여 사용자의 시선 궤적을 결정할 수 있다.
도 15는 본 개시의 일 실시예에 따른, 디스플레이 엔진 및 카메라를 설명하기 위한 개략도이다.
도 16은 본 개시의 일 실시예에 따른, 디스플레이 엔진 및 카메라를 설명하기 위한 개략도이다.
도 17은 본 개시의 일 실시예에 따른, 디스플레이 엔진 및 카메라를 설명하기 위한 개략도이다.
도 15 내지 도 17의 실시예들은, 도 1 내지 도 16의 실시예들, 또는 도 18의 실시예와 결합될 수 있다.
도 15 내지 도 17의 실시예들의 구성들은, 도 1 내지 도 16의 실시예들의 구성들, 또는 도 18의 실시예의 구성들과 일부 또는 전부가 동일할 수 있다.
도 15를 참조하면, 웨어러블 전자 장치(101)는, 사용자의 안구 또는 사용자의 시선 방향을 획득 및/또는 인식하기 위한 제1 웨이브 가이드(400) 및 카메라(350)를 포함할 수 있다.
일 실시예에 따르면, 광원(370)으로부터 조사되어 사용자의 안구(10)에 의해 반사된 광(예를 들어, 적외선 대역의 광)은, 제1 웨이브 가이드(400)로 입사될 수 있다. 제1 웨이브 가이드(400)로 입사되는 광은, 제1 필터 층(예: 도 6의 제1 필터 층(430)) 및 제2 필터 층(예: 도 6의 제2 필터 층(450))에 의해 필터링될 수 있다. 이에 따라, 필터 층들에 의해 필터링된 특정 입사각을 가지는 광은, 제1 회절 층(470)에 의해 회절되어 서브스트레이트(410) 내에서 전반사되며 제2 회절 층(490)으로 전달될 수 있다. 제2 회절 층(490)으로 전달된 광은, 제2 회절 층(490)에서 회절되어, 카메라(350)로 입사될 수 있다. 카메라(350)는, 서브스트레이트(410)로부터 출력되는 광을 수신하여 사용자의 안구(10)에 대한 이미지를 촬영할 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(101)는, 사용자에게 가상 이미지를 제공하기 위한 제2 웨이브 가이드(500) 및 디스플레이 엔진(360)을 포함할 수 있다.
일 실시예에 따르면, 디스플레이 엔진(360)은, 가상 이미지 또는 가상 객체에 대한 광(예: 가시광선 대역의 광)을 제2 웨이브 가이드(500)로 조사할 수 있다. 제2 웨이브 가이드(500)는, 서브스트레이트 및 적어도 하나의 회절 소자를 포함할 수 있다. 예를 들어, 제2 웨이브 가이드(500)는, 디스플레이 엔진(360)으로부터 입사된 광을 제2 가이드 웨이브(500) 내에서 전반사되도록 회절시키는 제3 회절 층(예: 도 17의 제3 회절 층(511))를 포함할 수 있다.
일 실시예에 따르면, 제2 웨이브 가이드(500) 내에서 전반사되는 광은, 제4 회절 층(예: 도 17의 제4 회절 층(513))로 전달될 수 있다. 제4 회절 층으로 전달된 광은, 회절되어 사용자의 안구(10)로 출력될 수 있다. 이에 따라, 사용자가 가상 이미지 또는 가상 객체를 볼 수 있고, 사용자에게 가상 환경이 제공될 수 있다. 상기 제4 회절 층은, 출력 광학 부재(EB)(예: 도 3의 출력 광학 부재(EB))로 정의될 수 있으나, 이에 제한되지 않는다.
일 실시예에 따르면, 제1 웨이브 가이드(400) 및 제2 웨이브 가이드(500)는, 별개로 형성될 수 있다. 사용자가 웨어러블 전자 장치(101)를 착용할 때, 제2 웨이브 가이드(500)는, 제1 웨이브 가이드(400)와 사용자의 안구(10) 사이에 위치될 수 있으나, 이에 제한되지 않는다.
도 16을 참조하면, 웨어러블 전자 장치(101)는, 사용자의 안구 또는 사용자의 시선 방향을 획득하거나, 또는 사용자에게 가상 이미지를 제공하기 위한 웨이브 가이드(예: 도 15의 제1 웨이브 가이드(400) 및 제2 웨이브 가이드(500)), 카메라(350) 및 디스플레이 엔진(360)을 포함할 수 있다.
일 실시예에 따르면, 웨이브 가이드(600)는, 서브스트레이트(603)를 포함할 수 있다. 서브스트레이트(603)에는, 제1 회절 층(4701)(예: 도 15의 제1 회절 층(470)) 및 제2 회절 층(4901)(예: 도 15의 제2 회절 층(490))을 포함할 수 있다.
일 실시예에 따르면, 웨이브 가이드(600)는, 출력 광학 부재(EB)(예: 도 15의 출력 광학 부재(EB))를 포함할 수 있다.
일 실시예에 따르면, 디스플레이 엔진(360) 및 카메라(350)는, 하나의 웨이브 가이드(600)의 일면에 나란하게 배치될 수 있다.
일 실시예에 따르면, 웨이브 가이드(600)는, 광원(370)으로부터 출력되어 안구(10)에 의해 반사된 광을 전반사하여 카메라(350)로 전달할 수 있다.
일 실시예에 따르면, 웨이브 가이드(600)는, 디스플레이 엔진(360)으로부터 출력된 광을 전반사하여 사용자의 안구(10)로 전달할 수 있다.
도시된 600a는, 사용자의 시선 방향을 추적하기 위한 광 경로와 사용자에게 가상 이미지를 제공하기 위한 광 경로를 도면 상에서 용이하게 구별하기 위한 점선으로서, 물리적인 또는 광학적인 부재에 해당되지 않음은 통상의 지식을 가진 자에게 인식될 것이다.
도 17을 참조하면, 웨어러블 전자 장치(101)는, 제1 웨이브 가이드(400)(예: 도 15의 제1 웨이브 가이드(400)) 및 제2 웨이브 가이드(500)(예: 도 15의 제2 웨이브 가이드(500))를 포함할 수 있다.
일 실시예에 따르면, 제1 웨이브 가이드(400) 및 제2 웨이브 가이드(500)는, 별개로 형성될 수 있다. 제1 웨이브 가이드(400)는, 서브스트레이트(410), 제1 필터 층(430), 제2 필터 층(450), 제1 회절 층(470), 및 제2 회절 층(예: 도 15의 제2 회절 층(490))을 포함할 수 있다.
일 실시예에 따르면, 사용자가 웨어러블 전자 장치(101)를 착용할 때, 제1 웨이브 가이드(400)는, 제2 웨이브 가이드(500)와 사용자의 안구(10) 사이에 위치될 수 있다.
일 실시예에 따르면, 제2 웨이브 가이드(500)는, 사용자의 안구(10)를 향하는 제1 면(501) 및 제1 면(501)과 반대인 제2 면(503)을 포함할 수 있다.
일 실시예에 따르면, 디스플레이 엔진(360)는, 제1 면(501)에 배치될 수 있으나, 이에 제한되지 않는다.
일 실시예에 따르면, 제2 웨이브 가이드(500)는, 디스플레이 엔진(360)으로부터 입사되는 광을 회절시켜 제4 회절 층(513)으로 전달하는 제3 회절 층(511)을 포함할 수 있다. 제3 회절 층(511)에 의해 회절된 광은, 제2 웨이브 가이드(500) 내에서 전반사되며 제4 회절 층(513)으로 전달될 수 있다.
일 실시예에 따르면, 제4 회절 층(513)으로 전달된 광은, 제4 회절 층(513)에 의해 회절되어 사용자의 안구(10)를 향해 출력될 수 있다. 이에 따라, 사용자에게 디스플레이 엔진(360)으로부터 제공된 가상 이미지 또는 가상 객체가 제공될 수 있다.
일 실시예에 따르면, 제1 웨이브 가이드(400) 및 제2 웨이브 가이드(500)는, 표시 부재(320)(예: 도 5의 표시 부재(320))의 적어도 일부를 형성할 수 있다.
도 18은 본 개시의 일 실시예에 따른, 제1 웨이브 가이드와 사용자의 안구를 나타낸 개략도이다.
도 18의 실시예는, 도 1 내지 도 17의 실시예들과 결합될 수 있다.
도 18의 실시예의 구성들은, 도 1 내지 도 17의 실시예들의 구성들과 일부 또는 전부가 동일할 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치는, 제1 웨이브 가이드(400)와 사용자의 안구(10) 사이의 거리를 획득할 수 있다.
도 18의 "61" 및 "62"를 참조하면, 웨어러블 전자 장치는, 제1 웨이브 가이드(400) 및 카메라(예: 도 15의 카메라(330))를 통해 획득된 사용자의 안구(10)에 대한 이미지의 복수 개의 영역들에서, 사용자의 동공이 있는 영역의 개수가 지정된 개수보다 작은 경우, 제1 웨이브 가이드(400)와 사용자의 눈 사이의 거리(S1, S2)가 적절한 것으로 판단할 수 있다.
도 18의 "63"를 참조하면, 웨어러블 전자 장치는, 제1 웨이브 가이드(400) 및 카메라(예: 도 15의 카메라(330))를 통해 획득된 사용자의 안구(10)에 대한 이미지의 복수 개의 영역들에서, 사용자의 동공이 있는 영역의 개수가 지정된 개수 이상인 경우, 제1 웨이브 가이드(400)와 사용자의 눈 사이의 거리(S3)가 적절하지 않은 것으로 판단할 수 있다. 이와 같은 경우, 웨어러블 전자 장치는, 사용자의 시선 방향을 추적하기 위한 알고리즘을 보정하여 사용자의 시선 방향을 비교적 정확하게 획득하도록 구성될 수 있다.
본 개시의 일 실시예에 따르면, 웨어러블 전자 장치는, 렌즈 프레임 및 상기 렌즈 프레임에 대해 회전 가능하게 연결된 착용 부재를 포함하는 하우징; 상기 렌즈 프레임에 배치되고, 상기 렌즈 프레임에 배치되고, 상기 광원으로부터 조사되어 사용자의 안구에 의해 반사된 광이 상기 착용 부재를 향해 전달되도록 하는 웨이브 가이드; 및 상기 착용 부재의 내부에 배치되어 상기 웨이브 가이드를 향하고, 상기 웨이브 가이드로부터 출력된 광에 대한 이미지를 촬영하도록 구성된 카메라를 포함할 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치는, 상기 렌즈 프레임에 배치되고, 사용자의 안구를 향해 적외선 대역의 광을 조사하도록 구성된 광원을 더 포함하고, 상기 웨이브 가이드는, 상기 광원으로부터 조사되어 상기 사용자의 안구에 의해 반사된 적외선 대역의 광이 상기 착용 부재를 향해 전달되도록 할 수 있다.
일 실시예에 따르면, 상기 웨이브 가이드는, 상기 사용자의 안구를 향하는 제1 면 및 상기 제1 면과 반대인 제2 면을 포함하는 서브스트레이트; 상기 제1 면에 배치되고, 복수 개의 제1 핀홀들을 포함하는 제1 필터 층; 상기 제2 면에 배치되고, 복수 개의 제2 핀홀들을 포함하는 제2 필터 층; 및 상기 제2 필터 층을 커버하는 제1 회절 층을 포함할 수 있다.
일 실시예에 따르면, 상기 복수 개의 제1 핀홀들 각각은, 상기 복수 개의 제2 핀홀들 각각에 대해 상응하게 배열되고, 서로 상응하는 상기 복수 개의 제1 핀홀들 중 하나 및 상기 복수 개의 제2 핀홀들 중 하나가 형성하는 상기 웨이브 가이드 내부에서의 광 경로가 서로 상응하는 상기 복수 개의 제1 핀홀들 중 다른 하나 및 상기 복수 개의 제2 핀홀들 중 다른 하나가 형성하는 상기 웨이브 가이드 내부에서의의 다른 광 경로와 다르도록, 상기 복수 개의 제1 핀홀들 각각은, 상기 복수 개의 제2 핀홀들 각각에 대한 배열을 가질 수 있다.
일 실시예에 따르면, 상기 복수 개의 제1 핀홀들은, 서로 이격되고, 상기 복수 개의 제2 핀홀들은, 서로 이격될 수 있다.
일 실시예에 따르면, 상기 복수 개의 제1 핀홀들은, 등간격(equal spacing)으로 이격되고, 상기 복수 개의 제2 핀홀들은, 등간격(equal spacing)으로 이격될 수 있다.
일 실시예에 따르면, 상기 복수 개의 제1 핀홀들이 서로 이격된 거리는, 제1 거리이고, 상기 복수 개의 제2 핀홀들이 서로 이격된 거리는, 상기 제1 거리보다 큰 제2 거리일 수 있다.
일 실시예에 따르면, 상기 복수 개의 제1 핀홀들은, 이간격(unequal spacing)으로 이격되고, 상기 복수 개의 제2 핀홀들은, 이간격(unequal spacing)으로 이격될 수 있다.
일 실시예에 따르면, 상기 웨이브 가이드는, 상기 카메라와 상응하게 위치되고, 상기 제2 면에 배치된 제2 회절 층을 더 포함할 수 있다.
일 실시예에 따르면, 상기 광원으로부터 조사되어 사용자의 안구에 의해 반사된 광은, 상기 제1 회절 층에 의해 회절되어 상기 제2 회절 층으로 전달되고, 상기 제2 회절 층으로 전달된 광은, 상기 제2 회절 층에 의해 회절되어 상기 카메라로 출력될 수 있다.
일 실시예에 따르면, 상기 제1 필터 층 및 상기 제2 필터 층을 통과한 광은, 상기 제1 회절 층에서 회절되어 상기 서브스트레이트 내부에서 전반사되며 상기 제2 회절 층으로 전달되도록 구성될 수 있다.
일 실시예에 따르면, 상기 광원으로부터 조사된 광은, 적외선 대역의 광일 수 있다.
일 실시예에 따르면, 상기 웨어러블 전자 장치는, 상기 웨이브 가이드와 별도로 구성된 다른 웨이브 가이드(another waveguide); 및 상기 착용 부재의 내부에 배치되어 상기 다른 웨이브 가이드를 향하고, 상기 다른 웨이브 가이드로 가상 이미지에 대한 광을 조사하도록 구성된 디스플레이 엔진을 더 포함할 수 있다.
일 실시예에 따르면, 상기 웨어러블 전자 장치는, 상기 착용 부재의 내부에 배치되어 상기 웨이브 가이드를 향하고, 상기 웨이브 가이드로 가상 이미지에 대한 광을 조사하도록 구성된 디스플레이 엔진을 더 포함할 수 있다.
일 실시예에 따르면, 상기 웨어러블 전자 장치는, 적어도 하나의 프로세서; 및 인스트럭션들을 저장하는 메모리를 포함하고, 상기 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 개별적으로 또는 집합적으로 실행될 때, 상기 웨어러블 전자 장치로 하여금: 상기 카메라를 통해 사용자의 안구에 대한 이미지를 획득하고, 획득된 이미지에 기초하여, 사용자의 안구의 동공이 향하는 방향을 결정하게 할 수 있다.
일 실시예에 따르면, 상기 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 개별적으로 또는 집합적으로 실행될 때, 상기 웨어러블 전자 장치로 하여금: 상기 획득된 이미지의 복수 개의 영역들 중에서 상기 안구의 동공이 있는 영역들을 판단하고, 상기 안구의 동공이 있는 영역들에 대한 정보에 기초하여, 사용자의 안구의 동공이 향하는 방향을 결정할 수 있다.
본 개시의 일 실시예에 따르면, 웨어러블 전자 장치는, 렌즈 프레임 및 상기 렌즈 프레임에 대해 회전 가능하게 연결된 착용 부재를 포함하는 하우징; 상기 렌즈 프레임에 배치되고, 사용자의 안구를 향해 광을 조사하도록 구성된 광원; 상기 렌즈 프레임에 배치되고, 상기 광원으로부터 조사되어 사용자의 안구에 의해 반사된 광이 상기 착용 부재를 향해 전달되도록 하는 제1 웨이브 가이드; 상기 착용 부재의 내부에 배치되어 상기 제1 웨이브 가이드를 향하고, 상기 제1 웨이브 가이드로부터 출력된 광에 대한 이미지를 촬영하도록 구성된 카메라; 상기 착용 부재의 내부에 배치되어 가상 이미지에 대한 광을 출력하도록 구성된 디스플레이 엔진; 및 상기 렌즈 프레임에 배치되고, 상기 디스플레이 엔진으로부터 출력된 광을 사용자의 안구를 향해 출력하도록 구성된 제2 웨이브 가이드를 포함할 수 있다.
일 실시예에 따르면, 상기 웨어러블 전자 장치를 사용자가 착용한 경우, 상기 제1 웨이브 가이드는, 상기 제2 웨이브 가이드와 사용자의 안구 사이에 위치될 수 있다.
일 실시예에 따르면, 상기 웨어러블 전자 장치를 사용자가 착용한 경우, 상기 제2 웨이브 가이드는, 상기 제1 웨이브 가이드와 상기 사용자의 안구 사이에 위치될 수 있다.
일 실시예에 따르면, 상기 광원은, 상기 렌즈 프레임을을 따라 이격된 복수 개로 제공될 수 있다.
일 실시예에 따르면, 상기 제1 웨이브 가이드는, 서브스트레이트; 상기 서브스트레이트의 일면에 배치된 제1 필터 층; 및 상기 서브스트레이트의 타면에 배치된 제1 회절 층을 포함할 수 있다.
이상, 본 개시의 상세한 설명에서는 구체적인 실시 예에 관해서 설명하였으나, 본 개시의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 당해 분야에서 통상의 지식을 가진 자에게 있어서 자명하다 할 것이다.

Claims (15)

  1. 웨어러블 전자 장치에 있어서,
    렌즈 프레임 및 상기 렌즈 프레임에 대해 회전 가능하게 연결된 착용 부재를 포함하는 하우징;
    상기 렌즈 프레임에 배치되고, 사용자의 안구에 의해 반사된 광이 상기 착용 부재를 향해 전달되도록 하는 웨이브 가이드; 및
    상기 착용 부재의 내부에 배치되어 상기 웨이브 가이드를 향하고, 상기 웨이브 가이드로부터 출력된 광에 대한 이미지를 촬영하도록 구성된 카메라를 포함하는 웨어러블 전자 장치.
  2. 제1 항에 있어서,
    상기 렌즈 프레임에 배치되고, 사용자의 안구를 향해 적외선 대역의 광을 조사하도록 구성된 광원을 더 포함하고,
    상기 웨이브 가이드는, 상기 광원으로부터 조사되어 상기 사용자의 안구에 의해 반사된 적외선 대역의 광이 상기 착용 부재를 향해 전달되도록 하는 웨어러블 전자 장치.
  3. 제2 항에 있어서,
    상기 웨이브 가이드는,
    상기 사용자의 안구를 향하는 제1 면 및 상기 제1 면과 반대인 제2 면을 포함하는 서브스트레이트(substrate);
    상기 제1 면에 배치되고, 복수 개의 제1 핀홀들을 포함하는 제1 필터 층;
    상기 제2 면에 배치되고, 복수 개의 제2 핀홀들을 포함하는 제2 필터 층; 및
    상기 제2 필터 층을 커버하는 제1 회절 층을 포함하고,
    상기 복수 개의 제1 핀홀들 각각은, 상기 복수 개의 제2 핀홀들 각각에 대해 상응하게 배열되고, 서로 상응하는 상기 복수 개의 제1 핀홀들 중 하나 및 상기 복수 개의 제2 핀홀들 중 하나가 형성하는 상기 웨이브 가이드 내부에서의 광 경로가 서로 상응하는 상기 복수 개의 제1 핀홀들 중 다른 하나 및 상기 복수 개의 제2 핀홀들 중 다른 하나가 형성하는 상기 웨이브 가이드 내부에서의 다른 광 경로와 다르도록, 상기 복수 개의 제1 핀홀들 각각은, 상기 복수 개의 제2 핀홀들 각각에 대한 배열을 갖는 웨어러블 전자 장치.
  4. 제2 항에 있어서,
    상기 복수 개의 제1 핀홀들은, 서로 이격되고,
    상기 복수 개의 제2 핀홀들은, 서로 이격된 웨어러블 전자 장치.
  5. 제4 항에 있어서,
    상기 복수 개의 제1 핀홀들은, 등간격(equal spacing)으로 이격되고,
    상기 복수 개의 제2 핀홀들은, 등간격(equal spacing)으로 이격된 웨어러블 전자 장치.
  6. 제4 항에 있어서,
    상기 복수 개의 제1 핀홀들이 서로 이격된 거리는, 제1 거리이고,
    상기 복수 개의 제2 핀홀들이 서로 이격된 거리는, 상기 제1 거리보다 큰 제2 거리인 웨어러블 전자 장치.
  7. 제4 항에 있어서,
    상기 복수 개의 제1 핀홀들은, 이간격(unequal spacing)으로 이격되고,
    상기 복수 개의 제2 핀홀들은, 이간격(unequal spacing)으로 이격된 웨어러블 전자 장치.
  8. 제2 항에 있어서,
    상기 웨이브 가이드는,
    상기 카메라와 상응하게 위치되고, 상기 제2 면에 배치된 제2 회절 층을 더 포함하는 웨어러블 전자 장치.
  9. 제8 항에 있어서,
    상기 광원으로부터 조사되어 사용자의 안구에 의해 반사된 광은, 상기 제1 회절 층에 의해 회절되어 상기 제2 회절 층으로 전달되고,
    상기 제2 회절 층으로 전달된 광은, 상기 제2 회절 층에 의해 회절되어 상기 카메라로 출력되는 웨어러블 전자 장치.
  10. 제8 항에 있어서,
    상기 제1 필터 층 및 상기 제2 필터 층을 통과한 광은, 상기 제1 회절 층에서 회절되어 상기 서브스트레이트(substrate) 내부에서 전반사되며 상기 제2 회절 층으로 전달되도록 구성된 웨어러블 전자 장치.
  11. 제1 항에 있어서,
    상기 광원으로부터 조사된 광은, 적외선 대역의 광인 웨어러블 전자 장치.
  12. 제1 항에 있어서,
    상기 웨이브 가이드와 별도로 구성된 다른 웨이브 가이드(another waveguide); 및
    상기 착용 부재의 내부에 배치되어 상기 다른 웨이브 가이드를 향하고, 상기 다른 웨이브 가이드로 가상 이미지에 대한 광을 조사하도록 구성된 디스플레이 엔진을 더 포함하는 웨어러블 전자 장치.
  13. 제1 항에 있어서,
    상기 착용 부재의 내부에 배치되어 상기 웨이브 가이드를 향하고, 상기 웨이브 가이드로 가상 이미지에 대한 광을 조사하도록 구성된 디스플레이 엔진을 더 포함하는 웨어러블 전자 장치.
  14. 제1 항에 있어서,
    적어도 하나의 프로세서; 및
    인스트럭션들을 저장하는 메모리를 포함하고,
    상기 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 개별적으로 또는 집합적으로 실행될 때, 상기 웨어러블 전자 장치로 하여금:
    상기 카메라를 통해 사용자의 안구에 대한 이미지를 획득하고,
    획득된 이미지에 기초하여, 사용자의 안구의 동공이 향하는 방향을 결정하게 하는 웨어러블 전자 장치.
  15. 제14 항에 있어서,
    상기 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 개별적으로 또는 집합적으로 실행될 때, 상기 웨어러블 전자 장치로 하여금:
    상기 획득된 이미지의 복수 개의 영역들 중에서 상기 안구의 동공이 있는 영역들을 판단하고,
    상기 안구의 동공이 있는 영역들에 대한 정보에 기초하여, 사용자의 안구의 동공이 향하는 방향을 결정하게 하는 웨어러블 전자 장치.
PCT/KR2025/008803 2024-06-26 2025-06-24 시선 추적용 웨이브 가이드를 포함하는 웨어러블 전자 장치 Pending WO2026005441A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20240083949 2024-06-26
KR10-2024-0083949 2024-06-26
KR1020250040565A KR20260001072A (ko) 2024-06-26 2025-03-28 시선 추적용 웨이브 가이드를 포함하는 웨어러블 전자 장치
KR10-2025-0040565 2025-03-28

Publications (1)

Publication Number Publication Date
WO2026005441A1 true WO2026005441A1 (ko) 2026-01-02

Family

ID=98222339

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2025/008803 Pending WO2026005441A1 (ko) 2024-06-26 2025-06-24 시선 추적용 웨이브 가이드를 포함하는 웨어러블 전자 장치

Country Status (1)

Country Link
WO (1) WO2026005441A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010102215A (ja) * 2008-10-27 2010-05-06 Sony Computer Entertainment Inc 表示装置、画像処理方法、及びコンピュータプログラム
KR20200057223A (ko) * 2018-11-16 2020-05-26 한국전자통신연구원 시운동 반사에 의해 움직이는 동공과 객체 간의 근접 깊이 및 동공 중심 위치를 측정하는 동공 추적 장치 및 동공 추적 방법
KR20200096933A (ko) * 2017-12-21 2020-08-14 배 시스템즈 피엘시 웨어러블 장치
KR20210156613A (ko) * 2020-06-18 2021-12-27 삼성전자주식회사 증강 현실 글라스 및 그 동작 방법
WO2024006165A1 (en) * 2022-06-30 2024-01-04 Apple Inc. Eye imaging system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010102215A (ja) * 2008-10-27 2010-05-06 Sony Computer Entertainment Inc 表示装置、画像処理方法、及びコンピュータプログラム
KR20200096933A (ko) * 2017-12-21 2020-08-14 배 시스템즈 피엘시 웨어러블 장치
KR20200057223A (ko) * 2018-11-16 2020-05-26 한국전자통신연구원 시운동 반사에 의해 움직이는 동공과 객체 간의 근접 깊이 및 동공 중심 위치를 측정하는 동공 추적 장치 및 동공 추적 방법
KR20210156613A (ko) * 2020-06-18 2021-12-27 삼성전자주식회사 증강 현실 글라스 및 그 동작 방법
WO2024006165A1 (en) * 2022-06-30 2024-01-04 Apple Inc. Eye imaging system

Similar Documents

Publication Publication Date Title
WO2023085763A1 (ko) 전자 장치와 웨어러블 전자 장치 사이에서 증강 현실 서비스에 관련된 컨텐츠를 제공하는 방법 및 장치
WO2026005441A1 (ko) 시선 추적용 웨이브 가이드를 포함하는 웨어러블 전자 장치
WO2026010468A1 (ko) 시선 추적용 웨이브 가이드를 포함하는 웨어러블 전자 장치
WO2025254354A1 (ko) 디스플레이 및 이를 포함하는 웨어러블 전자 장치
WO2026054491A1 (ko) 헤드 마운트 디스플레이 장치 및 디스플레이 제어 방법
WO2025042048A1 (ko) 환경의 밝기를 조절하는 웨어러블 장치, 방법, 및 비-일시적 컴퓨터 판독 가능 기록 매체
WO2024029784A1 (ko) 가상 오브젝트를 표시하는 웨어러블 전자 장치 및 이의 제어 방법
WO2024058436A1 (ko) 영상을 표시하는 전자 장치 및 이의 제어 방법
WO2025258990A1 (ko) 헤드 마운트 디스플레이 장치 및 그것의 제어 방법
WO2024029699A1 (ko) 가상 오브젝트를 표시하는 웨어러블 전자 장치 및 이의 제어 방법
WO2024029779A1 (ko) 열 전달 부재를 포함하는 웨어러블 전자 장치
WO2024205357A1 (ko) 카메라 모듈 및 이를 포함하는 전자 장치
WO2025206575A1 (ko) 3d 공간 내에서의 터치 입력을 위한 웨어러블 장치, 방법, 및 컴퓨터 판독 가능 저장 매체
WO2025005485A1 (ko) 구동 구조 및 이를 포함하는 웨어러블 전자 장치
WO2023090690A1 (ko) 가상 오브젝트를 표시하는 웨어러블 전자 장치 및 이의 제어 방법
WO2026038811A1 (ko) 고정 부재 및 그것을 포함하는 헤드 마운트 디스플레이 장치
WO2025095557A1 (ko) 이미지 센서를 이용한 비전 정보를 처리하는 장치 및 방법
WO2026054296A1 (ko) 웨어러블 장치를 통해 사용자를 인증하는 전자 장치, 방법, 및 비-일시적 컴퓨터 판독 가능 기록 매체
WO2025230159A1 (ko) 가상 공간 내에서 대화를 위한 웨어러블 장치, 방법, 및 컴퓨터 판독 가능 저장 매체
WO2024242445A1 (ko) 가상 객체를 표시하는 웨어러블 전자 장치, 이의 동작 방법 및 기록 매체
WO2026043267A1 (ko) 전자 장치 및 서비스 제공 방법
WO2025042169A1 (ko) 가상 객체를 이용하여 콜을 수행하는 웨어러블 장치 및 그 제어 방법
WO2025023710A1 (ko) 가상 객체를 표시하는 웨어러블 전자 장치, 이의 동작 방법 및 기록 매체
WO2024029803A1 (ko) 증강 현실에서 공간에 따라 오브젝트를 배치하는 전자 장치 및 전자 장치의 동작 방법.
WO2025192996A1 (ko) 머리 장착형 전자 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 25827203

Country of ref document: EP

Kind code of ref document: A1