WO2022102954A1 - 디스플레이를 포함하는 웨어러블 전자 장치 - Google Patents

디스플레이를 포함하는 웨어러블 전자 장치 Download PDF

Info

Publication number
WO2022102954A1
WO2022102954A1 PCT/KR2021/012998 KR2021012998W WO2022102954A1 WO 2022102954 A1 WO2022102954 A1 WO 2022102954A1 KR 2021012998 W KR2021012998 W KR 2021012998W WO 2022102954 A1 WO2022102954 A1 WO 2022102954A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
infrared
output
electronic device
pixels
Prior art date
Application number
PCT/KR2021/012998
Other languages
English (en)
French (fr)
Inventor
홍성빈
최동옥
하헌준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of WO2022102954A1 publication Critical patent/WO2022102954A1/ko
Priority to US17/749,639 priority Critical patent/US20220279158A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/34—Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers
    • G02B30/36—Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers using refractive optical elements, e.g. prisms, in the optical path between the images and the observer
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/60—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images involving reflecting prisms and mirrors only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/04—Structural and physical details of display devices
    • G09G2300/0469—Details of the physics of pixel operation
    • G09G2300/0478—Details of the physics of pixel operation related to liquid crystal pixels
    • G09G2300/0491—Use of a bi-refringent liquid crystal, optically controlled bi-refringence [OCB] with bend and splay states, or electrically controlled bi-refringence [ECB] for controlling the color
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/10—Dealing with defective pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/007—Use of pixel shift techniques, e.g. by mechanical shift of the physical pixels or by optical shift of the perceived pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0096—Synchronisation or controlling aspects

Definitions

  • the present disclosure relates to a wearable electronic device including a display.
  • the augmented reality service is a service that superimposes a virtual image having additional information on a real-world image viewed by a user, and may provide a virtual object image including content related to a real object identified from the real-world image to the user. there is.
  • the wearable electronic device may provide an augmented reality service and track a user's gaze thereon. For example, the location of the virtual image may be changed based on the user's gaze, the user's ROI may be divided, or the user's input may be received through the gaze.
  • the wearable electronic device may radiate infrared light toward the user's eyeball and receive light reflected from the user's eyeball.
  • the wearable electronic device may include an infrared light emitting device for outputting infrared light, and a separate space may be required for this.
  • An embodiment of the present disclosure may provide a wearable electronic device capable of tracking a user's gaze and detecting a real object through a self-luminous display including an infrared pixel and a half mirror that reflects or transmits infrared light.
  • An embodiment of the present disclosure may provide a wearable electronic device for compensating for defective pixels by generating an interpolated image by outputting a plurality of adjusted images through a transparent cover including a birefringent plate, a liquid crystal element, and a polarizer.
  • a wearable electronic device includes a stereo camera sensing infrared light, a plurality of visible ray pixels outputting visible ray light corresponding to a virtual object image, and a plurality of infrared ray outputting infrared light.
  • a self-luminous display including pixels, an optical waveguide outputting the virtual object image by adjusting the path of the visible light, a first control circuit supplying driving power and a control signal to the self-luminous display, and driving power to the stereo camera and a second control circuit for supplying a control signal, wherein the optical waveguide may include a half mirror for outputting infrared reflected light and infrared transmitted light from the output infrared light.
  • the wearable electronic device includes a self-luminous display including a plurality of visible ray pixels emitting visible ray light corresponding to a virtual object image and a plurality of infrared ray pixels emitting infrared light, the self-luminescence a transparent cover disposed on the upper side of the display and including one or more birefringent plates, one or more liquid crystal elements and a polarizer, light disposed on the upper side of the transparent cover and adjusting the path of the visible light to output the virtual object image a first control circuit for supplying driving power and a control signal to at least one of a waveguide and the self-luminous display and the one or more liquid crystal elements, wherein the transparent cover adjusts the position of the visible light to correspond to the virtual object image
  • One or more adjustment images can be output.
  • the wearable electronic device may track a user's gaze and detect a real object through a self-luminous display including an infrared pixel and a half mirror that reflects or transmits infrared light.
  • the wearable electronic device may compensate for a defective pixel by generating an interpolated image by outputting a plurality of adjustment images through a transparent cover including a birefringent plate, a liquid crystal element, and a polarizer.
  • FIG. 1 is a block diagram illustrating an exemplary electronic device in a network environment according to various embodiments of the present disclosure
  • FIG. 2 is a diagram illustrating a structure of a wearable electronic device according to various embodiments of the present disclosure
  • FIG. 3 is a diagram illustrating an operation of a wearable electronic device including an exemplary half mirror according to various embodiments of the present disclosure
  • 4A and 4B are diagrams illustrating an exemplary structure of a half mirror and exemplary structures of an optical waveguide according to various embodiments of the present disclosure
  • FIG. 5 is a diagram illustrating an exemplary operation of a processor of a wearable electronic device according to various embodiments of the present disclosure
  • 6A and 6B are diagrams illustrating an example of a distance image output by a wearable electronic device according to various embodiments of the present disclosure
  • FIG. 7 is a diagram illustrating an exemplary structure of a transparent cover included in a wearable electronic device according to various embodiments of the present disclosure
  • FIG. 8 is a table illustrating light output according to a control signal of a first control circuit from a transparent cover according to various embodiments of the present disclosure
  • FIG. 9 is a diagram illustrating an exemplary configuration of an image output passing through a transparent cover according to various embodiments of the present disclosure.
  • FIG. 10 is a diagram illustrating an adjustment image generated by a wearable electronic device according to various embodiments of the present disclosure
  • FIGS. 11A and 11B are diagrams illustrating exemplary distribution patterns of infrared pixels included in a self-luminous display included in a wearable electronic device according to various embodiments of the present disclosure
  • FIG. 1 is a block diagram of an exemplary electronic device in a network environment according to various embodiments of the present disclosure
  • an electronic device 101 communicates with an electronic device 102 through a first network 198 (eg, a short-range wireless communication network) or a second network 199 . It may communicate with the electronic device 104 or the server 108 through (eg, a long-distance wireless communication network). According to an embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108 .
  • a first network 198 eg, a short-range wireless communication network
  • a second network 199 e.g., a second network 199 . It may communicate with the electronic device 104 or the server 108 through (eg, a long-distance wireless communication network). According to an embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108 .
  • the electronic device 101 includes a processor 120 , a memory 130 , an input module 150 , a sound output module 155 , a display module 160 , an audio module 170 , and a sensor module ( 176), interface 177, connection terminal 178, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196 , or an antenna module 197 may be included.
  • at least one of these components eg, the connection terminal 178
  • may be omitted or one or more other components may be added to the electronic device 101 .
  • some of these components are integrated into one component (eg, display module 160 ). can be
  • the processor 120 for example, executes software (eg, a program 140) to execute at least one other component (eg, a hardware or software component) of the electronic device 101 connected to the processor 120 . It can control and perform various data processing or operations. According to an embodiment, as at least part of data processing or operation, the processor 120 stores a command or data received from another component (eg, the sensor module 176 or the communication module 190 ) into the volatile memory 132 . may be stored in the volatile memory 132 , and may process commands or data stored in the volatile memory 132 , and store the result data in the non-volatile memory 134 .
  • software eg, a program 140
  • the processor 120 stores a command or data received from another component (eg, the sensor module 176 or the communication module 190 ) into the volatile memory 132 .
  • the processor 120 stores a command or data received from another component (eg, the sensor module 176 or the communication module 190 ) into the volatile memory 132 .
  • the processor 120 is the main processor 121 (eg, a central processing unit or an application processor) or a secondary processor 123 (eg, a graphic processing unit, a neural network processing unit) a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor).
  • the main processor 121 e.g, a central processing unit or an application processor
  • a secondary processor 123 eg, a graphic processing unit, a neural network processing unit
  • NPU neural processing unit
  • an image signal processor e.g., a sensor hub processor, or a communication processor.
  • the main processor 121 e.g, a central processing unit or an application processor
  • a secondary processor 123 eg, a graphic processing unit, a neural network processing unit
  • NPU neural processing unit
  • an image signal processor e.g., a sensor hub processor, or a communication processor.
  • the main processor 121 e.g, a central processing unit or an application processor
  • a secondary processor 123
  • the auxiliary processor 123 is, for example, on behalf of the main processor 121 while the main processor 121 is in an inactive (eg, sleep) state, or the main processor 121 is active (eg, executing an application). ), together with the main processor 121, at least one of the components of the electronic device 101 (eg, the display module 160, the sensor module 176, or the communication module 190) It is possible to control at least some of the related functions or states.
  • the auxiliary processor 123 eg, an image signal processor or a communication processor
  • the auxiliary processor 123 may include a hardware structure specialized for processing an artificial intelligence model.
  • Artificial intelligence models can be created through machine learning. Such learning may be performed, for example, in the electronic device 101 itself on which artificial intelligence is performed, or may be performed through a separate server (eg, the server 108).
  • the learning algorithm may include, for example, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but in the above example not limited
  • the artificial intelligence model may include a plurality of artificial neural network layers.
  • Artificial neural networks include deep neural networks (DNNs), convolutional neural networks (CNNs), recurrent neural networks (RNNs), restricted boltzmann machines (RBMs), deep belief networks (DBNs), bidirectional recurrent deep neural networks (BRDNNs), It may be one of deep Q-networks or a combination of two or more of the above, but is not limited to the above example.
  • the artificial intelligence model may include, in addition to, or alternatively, a software structure in addition to the hardware structure.
  • the memory 130 may store various data used by at least one component of the electronic device 101 (eg, the processor 120 or the sensor module 176 ).
  • the data may include, for example, input data or output data for software (eg, the program 140 ) and instructions related thereto.
  • the memory 130 may include a volatile memory 132 or a non-volatile memory 134 .
  • the non-volatile memory 134 may include a built-in memory 136 and an external memory 138 .
  • the program 140 may be stored as software in the memory 130 , and may include, for example, an operating system 142 , middleware 144 , or an application 146 .
  • the input module 150 may receive a command or data to be used in a component (eg, the processor 120 ) of the electronic device 101 from the outside (eg, a user) of the electronic device 101 .
  • the input module 150 may include, for example, a microphone, a mouse, a keyboard, a key (eg, a button), or a digital pen (eg, a stylus pen).
  • the sound output module 155 may output a sound signal to the outside of the electronic device 101 .
  • the sound output module 155 may include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback.
  • the receiver may be used to receive an incoming call. According to an embodiment, the receiver may be implemented separately from or as a part of the speaker.
  • the display module 160 may visually provide information to the outside (eg, a user) of the electronic device 101 .
  • the display module 160 may include, for example, a control circuit for controlling a display, a hologram device, or a projector and a corresponding device.
  • the display module 160 may include a touch sensor configured to sense a touch or a pressure sensor configured to measure the intensity of a force generated by the touch.
  • the audio module 170 may convert a sound into an electric signal or, conversely, convert an electric signal into a sound. According to an embodiment, the audio module 170 acquires a sound through the input module 150 or an external electronic device (eg, a sound output module 155 ) directly or wirelessly connected to the electronic device 101 . A sound may be output through the electronic device 102 (eg, a speaker or headphones).
  • an external electronic device eg, a sound output module 155
  • a sound may be output through the electronic device 102 (eg, a speaker or headphones).
  • the sensor module 176 detects an operating state (eg, power or temperature) of the electronic device 101 or an external environmental state (eg, user state), and generates an electrical signal or data value corresponding to the sensed state. can do.
  • the sensor module 176 may include, for example, a gesture sensor, a gyro sensor, a barometric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, It may include a temperature sensor, a humidity sensor, or an illuminance sensor.
  • the interface 177 may support one or more designated protocols that may be used by the electronic device 101 to directly or wirelessly connect with an external electronic device (eg, the electronic device 102 ).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card
  • the connection terminal 178 may include a connector through which the electronic device 101 can be physically connected to an external electronic device (eg, the electronic device 102 ).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 may convert an electrical signal into a mechanical stimulus (eg, vibration or movement) or an electrical stimulus that the user can perceive through tactile or kinesthetic sense.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 may capture still images and moving images. According to an embodiment, the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 188 may manage power supplied to the electronic device 101 .
  • the power management module 188 may be implemented as, for example, at least a part of a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the electronic device 101 .
  • the battery 189 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication module 190 is a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 101 and an external electronic device (eg, the electronic device 102, the electronic device 104, or the server 108). It can support establishment and communication performance through the established communication channel.
  • the communication module 190 may include one or more communication processors that operate independently of the processor 120 (eg, an application processor) and support direct (eg, wired) communication or wireless communication.
  • the communication module 190 is a wireless communication module 192 (eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (eg, : It may include a LAN (local area network) communication module, or a power line communication module).
  • GNSS global navigation satellite system
  • a corresponding communication module among these communication modules is a first network 198 (eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 199 (eg, legacy It may communicate with the external electronic device 104 through a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (eg, a telecommunication network such as a LAN or a WAN).
  • a first network 198 eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)
  • a second network 199 eg, legacy It may communicate with the external electronic device 104 through a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (eg, a telecommunication network such as a LAN or a WAN).
  • a telecommunication network
  • the wireless communication module 192 uses the subscriber information (eg, International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 196 within a communication network such as the first network 198 or the second network 199 .
  • the electronic device 101 may be identified or authenticated.
  • the wireless communication module 192 may support a 5G network after a 4G network and a next-generation communication technology, for example, a new radio access technology (NR).
  • NR access technology includes high-speed transmission of high-capacity data (eMBB (enhanced mobile broadband)), minimization of terminal power and access to multiple terminals (mMTC (massive machine type communications)), or high reliability and low latency (URLLC (ultra-reliable and low-latency) -latency communications)).
  • eMBB enhanced mobile broadband
  • mMTC massive machine type communications
  • URLLC ultra-reliable and low-latency
  • the wireless communication module 192 may support a high frequency band (eg, mmWave band) to achieve a high data rate, for example.
  • a high frequency band eg, mmWave band
  • the wireless communication module 192 includes various technologies for securing performance in a high-frequency band, for example, beamforming, massive multiple-input and multiple-output (MIMO), all-dimensional multiplexing. It may support technologies such as full dimensional MIMO (FD-MIMO), an array antenna, analog beam-forming, or a large scale antenna.
  • the wireless communication module 192 may support various requirements specified in the electronic device 101 , an external electronic device (eg, the electronic device 104 ), or a network system (eg, the second network 199 ).
  • the wireless communication module 192 may include a peak data rate (eg, 20 Gbps or more) for realizing eMBB, loss coverage (eg, 164 dB or less) for realizing mMTC, or U-plane latency for realizing URLLC ( Example: downlink (DL) and uplink (UL) each 0.5 ms or less, or round trip 1 ms or less).
  • a peak data rate eg, 20 Gbps or more
  • loss coverage eg, 164 dB or less
  • U-plane latency for realizing URLLC
  • the antenna module 197 may transmit or receive a signal or power to the outside (eg, an external electronic device).
  • the antenna module 197 may include an antenna including a conductor formed on a substrate (eg, a PCB) or a radiator including a conductive pattern.
  • the antenna module 197 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 198 or the second network 199 is connected from the plurality of antennas by, for example, the communication module 190 . can be selected. A signal or power may be transmitted or received between the communication module 190 and an external electronic device through the selected at least one antenna.
  • other components eg, a radio frequency integrated circuit (RFIC)
  • RFIC radio frequency integrated circuit
  • the antenna module 197 may form a mmWave antenna module.
  • the mmWave antenna module comprises a printed circuit board, an RFIC disposed on or adjacent to a first side (eg, bottom side) of the printed circuit board and capable of supporting a specified high frequency band (eg, mmWave band); and a plurality of antennas (eg, an array antenna) disposed on or adjacent to a second side (eg, top or side) of the printed circuit board and capable of transmitting or receiving signals of the designated high frequency band. can do.
  • peripheral devices eg, a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • GPIO general purpose input and output
  • SPI serial peripheral interface
  • MIPI mobile industry processor interface
  • the command or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199 .
  • Each of the external electronic devices 102 or 104 may be the same as or different from the electronic device 101 .
  • all or part of the operations performed by the electronic device 101 may be executed by one or more external electronic devices 102 , 104 , or 108 .
  • the electronic device 101 may perform the function or service itself instead of executing the function or service itself.
  • one or more external electronic devices may be requested to perform at least a part of the function or the service.
  • One or more external electronic devices that have received the request may execute at least a part of the requested function or service, or an additional function or service related to the request, and transmit a result of the execution to the electronic device 101 .
  • the electronic device 101 may process the result as it is or additionally and provide it as at least a part of a response to the request.
  • cloud computing distributed computing, mobile edge computing (MEC), or client-server computing technology may be used.
  • the electronic device 101 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 104 may include an Internet of things (IoT) device.
  • Server 108 may be an intelligent server using machine learning and/or neural networks.
  • the external electronic device 104 or the server 108 may be included in the second network 199 .
  • the electronic device 101 may be applied to an intelligent service (eg, smart home, smart city, smart car, or health care) based on 5G communication technology and IoT-related technology.
  • FIG. 2 is a diagram illustrating a structure of an exemplary wearable electronic device according to various embodiments of the present disclosure
  • the wearable electronic device 200 may be worn on the user's face to provide the user with an image related to an augmented reality service and/or a virtual reality service. there is.
  • the wearable electronic device 200 includes the first display 205 , the second display 210 , the screen output areas 215a and 215b , the input optical members 220a and 220b , and the first transparent member 225a . ), the second transparent member 225b, the lighting units 230a and 230b, the first PCB 235a, the second PCB 235b, the first hinge 240a, the second hinge 240b, the first A camera 245, a plurality of microphones (eg, a first microphone 250a, a second microphone 250b, a third microphone 250c), a plurality of speakers (eg, a first speaker 255a, a second speaker ( 255b)), a battery 260 , a second camera 265a , and a third camera 265b .
  • a plurality of microphones eg, a first microphone 250a, a second microphone 250b, a third microphone 250c
  • speakers eg, a first speaker 255a, a second speaker (
  • displays are, for example, a liquid crystal display (LCD), a digital mirror device (DMD) ), a liquid crystal on silicon (LCoS), an organic light emitting diode (OLED) or a micro LED (micro LED), and the like, but is not limited thereto.
  • the wearable electronic device 200 includes a light source irradiating light to the screen output areas 215a and 215b of the display. can do.
  • the wearable electronic device 200 when the display is capable of generating light by itself, for example, when it is made of one of an organic light emitting diode or a micro LED, the wearable electronic device 200 provides a user with good quality even if it does not include a separate light source. A virtual image may be provided. In an embodiment, if the display is implemented with an organic light emitting diode or a micro LED, a light source is unnecessary, so the wearable electronic device 200 may be reduced in weight.
  • a display capable of generating light by itself is referred to as a self-luminous display, and description will be made on the premise of the self-luminous display.
  • the displays may include at least one micro light emitting diode (LED).
  • the micro LED can express red (R, red), green (G, green), and blue (B, blue) by self-emission, and has a small size (eg, 100 ⁇ m or less), so that one chip is A pixel (eg, one of R, G, and B) may be implemented. Accordingly, when the display is configured with micro LEDs, high resolution can be provided without a backlight unit (BLU).
  • BLU backlight unit
  • one pixel may include R, G, and B
  • one chip may include a plurality of pixels including R, G, and B.
  • the displays may include pixels for displaying a virtual image.
  • the display may further include infrared pixels that emit infrared light.
  • the display may further include light-receiving pixels (eg, photo sensor pixels) that receive light reflected from the user's eye disposed between the pixels, convert it into electrical energy, and output the light.
  • the light-receiving pixel may be referred to as a gaze tracking sensor.
  • the eye tracking sensor may detect infrared light emitted by an infrared pixel included in the display and reflected by the user's eye.
  • the wearable electronic device 200 may detect the user's gaze direction (eg, eye movement) through the light-receiving pixels. For example, the wearable electronic device 200 may use the one or more light-receiving pixels of the first display 205 and the one or more light-receiving pixels of the second display 210 to provide a gaze direction for the user's right eye and a gaze direction for the user's left eye. can be detected and tracked. The wearable electronic device 200 may determine the position of the center of the virtual image according to the gaze directions of the user's right and left eyes detected through one or more light-receiving pixels (eg, the directions in which the eyes of the user's right and left eyes gaze). .
  • the wearable electronic device 200 may determine the position of the center of the virtual image according to the gaze directions of the user's right and left eyes detected through one or more light-receiving pixels (eg, the directions in which the eyes of the user's right and left eyes gaze). .
  • the infrared light reflected by the user's eye may be detected by a separate eye tracking camera (eg, an IR LED detection sensor).
  • a separate eye tracking camera eg, an IR LED detection sensor
  • the first display 205 and the second display 210 may each include a first control circuit (not shown).
  • the first control circuit may control the first display 205 and the second display 210 .
  • the first control circuit may control the operation of the liquid crystal element of the transparent cover (not shown) included in the first display 205 and the second display 210 .
  • the light emitted from the display passes through a lens (not shown) and a waveguide to face the user's right eye
  • the screen output area 215a formed in the first transparent member 225a arranged to be in a high manner and the screen output area 215b formed in the second transparent member 225b arranged to face the user's left eye can be reached.
  • the light emitted from the display eg, the first display 205 and the second display 210) is transmitted to the grating region ( It can be reflected on the grating area and transmitted to the user's eyes.
  • the first transparent member 225a and/or the second transparent member 225b may be formed of a glass plate, a plastic plate, or a polymer, and may be made transparent or translucent.
  • a lens may be disposed in front of a display (eg, the first display 205 and the second display 210 ).
  • a lens (not shown) may include a concave lens and/or a convex lens.
  • the lens (not shown) may include a projection lens or a collimation lens.
  • the screen output regions 215a and 215b or the transparent member include a lens including a waveguide, or a reflective lens.
  • a waveguide may be referred to as an optical waveguide or optical waveguide.
  • the waveguide is a path through which external light is incident, totally reflected, and emitted, and may be distinguished from the first transparent member 225a and the second transparent member 225b through which external light is simply reflected or transmitted.
  • the waveguide may be made of glass, plastic, or polymer, and may include a nanopattern formed on one surface of the inside or outside, for example, a grating structure of a polygonal or curved shape. there is.
  • the light incident to one end of the waveguide through the input optical members 220a and 220b may be propagated inside the display waveguide by the nano-pattern and provided to the user.
  • the waveguide formed of a free-form type prism may provide incident light to a user through a reflection mirror.
  • the waveguide may include at least one diffractive element, for example, at least one of a diffractive optical element (DOE), a holographic optical element (HOE), or a reflective element (eg, a reflective mirror).
  • DOE diffractive optical element
  • HOE holographic optical element
  • reflective element eg, a reflective mirror
  • the waveguide may guide the light emitted from the first display 205 and the second display 210 to the user's eyes using at least one diffractive element or a reflective element included in the waveguide. .
  • the diffractive element may include an input optical member 220a , 220b and/or an output optical member (not shown).
  • the input optical members 220a and 220b may mean an input grating area
  • the output optical member (not shown) may mean an output grating area.
  • the input grating region diffracts (or transmits) light output from a display (eg, the first display 205 and the second display 210) (eg, micro LED) to the screen output regions 215a, 215b. It can serve as an input stage for reflection).
  • the output grating region may serve as an exit for diffracting (or reflecting) the light transmitted to the waveguide to the user's eyes.
  • the waveguide may function as a path through which light passes.
  • the waveguide may include input optical members 220a and 220b and an output optical member (not shown).
  • the area where light is totally reflected may be formed by being combined with the input optical members 220a and 220b and the output optical member (not shown), or may be formed separately.
  • the reflective element may include a total reflection optical element or a total reflection waveguide for total internal reflection (TIR).
  • TIR total internal reflection
  • total reflection is one way of guiding light, creating an incident angle so that light (eg, a virtual image) input through the input grating region is 100% reflected from one surface (eg, a specific surface) of the waveguide, so that the output grating region It may mean to deliver 100% to
  • the light emitted from the displays 205 and 210 may be guided by a waveguide through the input optical members 220a and 220b.
  • the light moving inside the waveguide may be guided toward the user's eyes through the output optical member.
  • the screen output areas 215a and 215b may be determined based on light emitted toward the user's eyes.
  • the first camera 245 may be referred to as high resolution (HR) or photo video (PV), and may include a high-resolution camera.
  • the first camera 245 may include a color camera equipped with functions for obtaining a high-quality image, such as an auto focus (AF) function and an optical image stabilizer (OIS).
  • AF auto focus
  • OIS optical image stabilizer
  • the present invention is not limited thereto, and the first camera 245 may include a global shutter (GS) camera or a rolling shutter (RS) camera.
  • the second camera 265a and the third camera 265b are 3 degrees of freedom (3DoF), 6DoF head tracking, hand detection and tracking, gesture ) and/or a camera used for spatial recognition.
  • the second camera 265a and the third camera 265b may include a global shutter (GS) camera to detect the movement of the head and the hand and track the movement.
  • GS global shutter
  • At least one sensor (not shown) (eg, a gyro sensor, an acceleration sensor, a geomagnetic sensor, and/or a gesture sensor), a second camera 265a, and a third camera 265b are configured for 6DoF.
  • Performs at least one of head tracking, pose estimation & prediction, gesture and/or spatial recognition, and/or simultaneous localization and mapping (SLAM) with depth imaging can do.
  • SLAM simultaneous localization and mapping
  • the second camera 265a and the third camera 265b may be used separately as a camera for head tracking and a camera for hand tracking.
  • the lighting units 230a and 230b may be omitted.
  • the lighting units 230a and 230b may be replaced by infrared pixels included in the first display 205 and the second display 210 .
  • the lighting units 230a and 230b may be included in the wearable electronic device 200 to assist infrared pixels included in the first display 205 and the second display 210 .
  • the lighting units 230a and 230b may have different uses depending on where they are attached. For example, the lighting units 230a and 230b are around a hinge connecting a frame and a temple (eg, a first hinge 240a, a second hinge 240b) or a bridge connecting the frame.
  • the lighting units 230a and 230b may be attached together with the second camera 265a and the third camera 265b mounted on the periphery.
  • the lighting units 230a and 230b may be used as a means to supplement ambient brightness.
  • the lighting units 230a and 230b may be used in a dark environment or when it is not easy to detect a subject to be photographed because of mixed and reflected light of various light sources.
  • components constituting the wearable electronic device 200 other than the first display 205 and the second display 210 are included in the PCB (eg, the first PCB 235a and the second PCB 235b).
  • a second control circuit (not shown) for controlling may be located.
  • the second control circuit may control components other than the first display 205 and the second display 210 and perform an operation such as depth value estimation.
  • the second control circuit may include a communication circuit (eg, the communication module 190 of FIG. 1 ) or a memory (eg, the memory 130 of FIG. 1 ).
  • the first control circuit and the second control circuit may be integrated into one.
  • the integrated control circuitry may control the first display 205 , the second display and/or other components.
  • the plurality of microphones may process an external sound signal as electrical voice data.
  • the processed voice data may be used in various ways according to a function (or an application being executed) being performed by the wearable electronic device 200 .
  • the plurality of speakers (eg, the first speaker 255a and the second speaker 255b) are received from a communication circuit (eg, the communication module 190 of FIG. 1 ) or a memory (eg, the memory of FIG. 1 )
  • the audio data stored in (130)) may be output.
  • one or more batteries 260 may be included, and may supply power to components constituting the wearable electronic device 200 .
  • FIG. 3 is a diagram illustrating an exemplary operation of a wearable electronic device including a half mirror according to various embodiments of the present disclosure
  • the wearable electronic device 300 includes self-luminous displays 361 and 362 , stereo cameras 351 and 352 (eg, the second camera 265a and the third camera 265b of FIG. 2 ); It may include optical waveguides 313 and 315 and a first control circuit (not shown) (eg, a control circuit included in the first display 205 and the second display 210 of FIG. 2 ).
  • the optical waveguides 313 and 315 may be included in the transparent members 371 and 372 .
  • the first control circuit may supply driving power and control signals to the self-luminous displays 361 and 362 (eg, the first display 205 and the second display 210 of FIG. 2 ).
  • the wearable electronic device 300 may further include a second control circuit (not shown) (eg, the first PCB 235a and the second PCB 235b of FIG. 2 ).
  • the second control circuit may supply driving power and control signals to the stereo cameras 351 and 352 .
  • the distinction between the first control circuit and the second control circuit is only an example, and one control circuit may control the self-luminous display and other components, and three or more control circuits are used in the wearable electronic device 300 . You can also control components.
  • the stereo cameras 351 and 352 may detect infrared light.
  • the stereo cameras 351 and 352 may be disposed on a frame or a temple of the wearable electronic device 300 .
  • the stereo cameras 351 and 352 may be disposed inside the transparent members 371 and 372, in which case the lenses of the stereo cameras 351 and 352 may form a part of the transparent members 371 and 372. .
  • the self-luminous displays 361 and 362 may include a plurality of visible light pixels and a plurality of infrared pixels.
  • the visible light pixels may include R, G, and B pixels.
  • the visible light pixel may output visible light corresponding to the virtual object image.
  • the infrared pixel may output infrared light.
  • a projection lens 381 is disposed between the micro LED 391 and the input optical member 311 of the self-luminous displays 361 and 362 , and a transparent cover 393 is disposed between the micro LED 391 and the projection lens 381 . is disposed, and a micro lens 392 may be disposed between the projection lens 381 and the transparent cover 393 .
  • the micro lens 392 may increase the efficiency and intensity of light output from the micro LED 391 .
  • a barrier rib (not shown) may be installed between the R, G, and B pixels, and the barrier rib reduces the mixing and reflection of light emitted from each of the R, G, and B pixels and light of an adjacent pixel to form the microlens 392 . It is possible to increase the efficiency and intensity of light passing through.
  • Infrared light output from the self-luminous displays 361 and 362 may be incident on the input optical members 311 and 312 , and may be separated into infrared reflected light 304 and infrared transmitted light 301 by a half mirror.
  • the infrared reflected light 304 may be directly output toward the user's eyes 331 and 332 .
  • the infrared reflected light 305 may be output toward the user's eyes 331 and 332 through the output optical members 314 and 316 through the optical waveguides 313 and 315 .
  • the infrared transmitted light 301 may be output toward the real world.
  • the transparent members 371 and 372 may be formed of a glass plate, a plastic plate, or a polymer, and may be made transparent or translucent. Each of the transparent members 371 and 372 may be disposed to face each of both eyes of the user.
  • the transparent members 371 and 372 may include optical waveguides 313 and 315 .
  • the transparent members 371 and 372 may include input optical members 311 and 312 .
  • the optical waveguides 313 and 315 and the input optical members 311 and 312 are expressed as being separated, but this is only an example, and the input optical members 311 and 312 are located inside the optical waveguides 313 and 315 . may be included.
  • FIG. 3 the optical waveguides 313 and 315 and the input optical members 311 and 312 are expressed as being separated, but this is only an example, and the input optical members 311 and 312 are located inside the optical waveguides 313 and 315 . may be included.
  • FIG. 3 the optical waveguides 313 and 315 and the input
  • the output optical members 314 and 316 are represented as being included in the optical waveguides 313 and 315 , but this is only an example, and the output optical members 314 and 316 are the optical waveguides 313 and 315 . ) and may be formed separately. Also, the output optical members 314 and 316 may include the entirety of the optical waveguides 313 and 315 .
  • the optical waveguides 313 and 315 may output a virtual object image by adjusting a path of visible light.
  • the optical waveguides 313 and 315 may include output optical members 314 and 316 .
  • Visible light and infrared light output from the self-luminous displays 361 and 362 may be incident on the input optical members 311 and 312 through the microlens 392 .
  • the visible light 302 may be totally reflected through the optical waveguides 313 and 315 to be guided to the output optical members 314 and 316 .
  • the visible light 302 from the output optical members 314 and 316 may be output toward the user's eyes 331 and 332 .
  • the half mirror may be disposed on the input optical members 311 and 312 .
  • the half mirror may output infrared reflected light and infrared transmitted light from the infrared light output from the self-luminous displays 361 and 362 .
  • the half mirror may include a grating structure.
  • the grating structure reflects a portion of the outputted infrared light and directs the user's eyes 331 and 332 to the user's eyes through the infrared reflected light 304 or optical waveguides 313 and 315 through the output optical members 314 and 316.
  • the infrared reflected light 305 directed toward 331 and 332 may be output, and another part of the infrared light may be transmitted to output the infrared transmitted light 301 .
  • the wearable electronic device 300 may perform gaze tracking using infrared light output from the self-luminous displays 361 and 362 .
  • the wearable electronic device 300 may further include a second control circuit (not shown) and a gaze tracking sensor (not shown).
  • the second control circuit may be included in, for example, the processor 120 of FIG. 1 , the first PCB 235a of FIG. 2 , and the second PCB 235b of FIG. 2 .
  • the eye tracking sensor is the self-luminous display 361 , 362) or may be included in a separate eye tracking camera.
  • the eye tracking sensor may detect the first reflected light reflected from the user's eye by the infrared reflected light 304 .
  • the second control circuit may track the user's gaze based on the detection result of the gaze tracking sensor.
  • the wearable electronic device 300 may estimate the distance to the real object by using the infrared light output from the self-luminous displays 361 and 362 .
  • the infrared transmitted light 301 may be incident on the real object and some may be reflected from the real object.
  • the stereo cameras 351 and 352 may detect the second reflected light reflected from the real object by the infrared transmitted light 301 .
  • the second control circuit may estimate the distance to the real object based on the detection result of the stereo cameras 351 and 352 .
  • the second control circuit may generate a distance image representing the estimated distance.
  • the second control circuit may generate a composite image by synthesizing the distance image and the virtual object image.
  • the composite image may be provided to the user via the self-luminous displays 361 , 362 and the optical waveguides 313 , 315 .
  • Infrared pixels included in the self-luminous displays 361 and 362 may be controlled independently of visible pixels.
  • the first control circuit may control on/off of the infrared pixel by supplying or not supplying driving power to the infrared pixel.
  • the first control circuit may be a display driver IC (DDI).
  • DDDI display driver IC
  • the infrared pixel may output infrared light to assist the stereo cameras 351 and 352 in real object detection.
  • Power consumption of the wearable electronic device 300 may be reduced by blocking driving power of the infrared pixel in a high-illuminance environment.
  • the infrared pixel may be controlled under various conditions.
  • the infrared pixel may be manually controlled by a user's operation.
  • the wearable electronic device 300 may further include control lenses 341 and 342 .
  • the control lenses 341 and 342 may adjust the angle of view of the infrared transmitted light 301 .
  • the control lenses 341 and 342 may be disposed above the input optical members 311 and 312 .
  • the control lenses 341 and 342 may be disposed on the upper side of the half mirror inside the input optical members 311 and 312 .
  • the control lenses 341 and 342 may form a part of a half mirror included in the input optical members 311 and 312 .
  • the wearable electronic device 300 may provide augmented reality to the user.
  • the wearable electronic device 300 transmits the virtual object image output from the display toward the user's eyes through the optical waveguides 313 and 315, and simultaneously transmits the image of the real world through the transparent optical waveguides 313 and 315.
  • the wearable electronic device 300 may include augmented reality glass (AR glasses).
  • AR glasses augmented reality glass
  • the wearable electronic device 300 may output infrared light using the self-luminous displays 361 and 362 including infrared pixels.
  • the wearable electronic device 300 may track the user's gaze by using the infrared light output from the self-luminous displays 361 and 362 .
  • the wearable electronic device 300 may estimate the distance to the real object by using the infrared light output from the self-luminous displays 361 and 362 .
  • the self-luminous displays 361 and 362 may include micro light emitting diodes (LEDs) or organic light emitting diodes (OLEDs).
  • the wearable electronic device 300 may reflect or transmit infrared light output from the self-luminous displays 361 and 362 through a half mirror. In an embodiment, the wearable electronic device 300 directly outputs the infrared reflected light 304 reflected by the half mirror (not shown) toward the user's eyes 331 and 332 or via the optical waveguides 313 and 315 . One infrared reflected light 305 may be output toward the user's eyes 331 and 332 . In an embodiment, the wearable electronic device 300 may output the infrared transmitted light 301 passing through the half mirror toward the real object.
  • the reflectance and transmittance of the half mirror can be adjusted.
  • the half mirror may have a 30% reflectance (eg, reflected toward the user's eyes) and a transmittance of 70% (eg, output toward a real object) for infrared light.
  • these reflectance and transmittance are only examples and may be adjusted in various ratios.
  • the half mirror may be disposed on the input optical members 311 and 312 of the optical waveguides 313 and 315 .
  • the half mirror may be disposed inside or below the input optical members 311 and 312 .
  • the half mirror may include a grating structure.
  • the wearable electronic device 300 may output the infrared reflected light 304 toward the user's eyes 331 and 332 through the infrared pixel and the half mirror included in the self-luminous displays 361 and 362 .
  • the infrared reflected light 304 is reflected from the user's eyes 331 and 332 , and an eye tracking sensor (not shown) may detect the reflected light.
  • the self-luminous displays 361 and 362 including infrared pixels and the half mirror included in the optical waveguides 313 and 315 may replace a separate infrared light source for eye tracking. By omitting a separate infrared light source, the wearable electronic device 300 may be lightweight and power consumption may be reduced.
  • the wearable electronic device 300 may output infrared light through the self-luminous displays 361 and 362 and detect light reflected from the real object through the stereo cameras 351 and 352 .
  • the wearable electronic device 300 may estimate the distance to the real object based on the detection result. For example, the wearable electronic device 300 may measure a depth value or estimate a distance to a real object using a time of flight (ToF) method.
  • TOF time of flight
  • the self-luminous displays 361 and 362 including infrared pixels and the half mirror included in the optical waveguides 313 and 315 may replace a separate infrared light source for detecting a real object. By omitting a separate infrared light source, the wearable electronic device 300 may be lightweight and power consumption may be reduced.
  • the self-luminous displays 361 and 362 including infrared pixels serve as auxiliary light sources to increase the image quality of the stereo cameras 351 and 352 in a low-light environment and to increase the accuracy of depth information.
  • the wearable electronic device 300 may generate a distance image indicating a distance to a real object based on the reflected light detected by the stereo cameras 351 and 352 .
  • the wearable electronic device 300 may output a street image to the user.
  • the wearable electronic device 300 may warn of a collision with a real object through a distance image.
  • the wearable electronic device 300 may output a distance image together with the virtual object image.
  • the wearable electronic device 300 may generate a composite image by synthesizing the virtual object image and the distance image.
  • the wearable electronic device 300 may warn of a collision with a real object while providing augmented reality to the user through the composite image.
  • the wearable electronic device 300 may output a distance image or a composite image including the distance image. For example, as the distance to the real object increases, the size of the composite image may increase or the opacity of the composite image may increase. As another example, as the distance to the real object increases, the color of the composite image may become darker.
  • the wearable electronic device 300 may output various types of notification information.
  • the notification information may include text, an image, a warning sound, or a vibration.
  • the wearable electronic device 300 may output a warning sound through a sound output module included therein or an external electronic device (eg, a mobile terminal) (eg, a speaker or headphones) directly or wirelessly connected to the wearable electronic device 300 .
  • an external electronic device eg, a mobile terminal
  • the wearable electronic device 300 may output a mechanical stimulus (eg, vibration or movement) or an electrical stimulus that a user can recognize through a tactile or kinesthetic sense through a haptic module included therein.
  • a mechanical stimulus or an electrical stimulus may be output through an external electronic device (eg, a mobile terminal) directly or wirelessly connected to the wearable electronic device 300 .
  • the wearable electronic device 300 may include control lenses 341 and 342 in a path through which the infrared transmitted light 301 passing through the half mirror passes.
  • the control lenses 341 and 342 may adjust the angle of view of the infrared transmitted light 301 to a predetermined angle.
  • the control lenses 341 and 342 may adjust the detection range by adjusting the angle of view of the infrared transmitted light 301 and may adjust the intensity of reflected light reflected from the real object.
  • the self-luminous displays 361 and 362 may include infrared pixels or infrared sensing pixels. Defect pixels may be perceived by the user due to infrared pixels or infrared sensing pixels between visible light pixels.
  • the infrared sensing pixel may sense infrared rays reflected from the human eye instead of a separate infrared sensing camera. Since the human eye cannot detect an infrared region, a defect pixel may be generated in the virtual object image corresponding to the infrared pixel or the infrared sensing pixel.
  • the wearable electronic device 300 may include a transparent cover 393 between the self-luminous displays 361 and 362 and the optical waveguides 313 and 315 .
  • the transparent cover 393 may be disposed above the self-luminous displays 361 and 362 and below the input optical members 311 and 312 .
  • the transparent cover 393 may be disposed between the self-luminous displays 361 and 362 and the input optical members 311 and 312 .
  • a micro lens 392 is disposed after the micro LED 391 of the self-luminous displays 361 and 362 , a transparent cover 393 is disposed after the micro lens 392 , and the transparent cover 393 is followed by a projection lens 381 may be disposed, and input optical members 311 and 312 may be disposed after the projection lens 381 .
  • the wearable electronic device 300 may output a plurality of adjustment images by adjusting the position of the virtual object image through the transparent cover 393 .
  • the wearable electronic device 300 may output a plurality of adjustment images by shifting the virtual object image in sub-pixel units in different directions.
  • the transparent cover 393 may include one or more birefringent plates, one or more liquid crystal elements and/or a polarizer.
  • the birefringent plate may separate the light output from the self-luminous displays 361 and 362 into an ordinary ray and an extraordinary ray.
  • the liquid crystal element may change or maintain the polarization state of light depending on whether power is supplied.
  • the polarizer may filter a plurality of lights having different positions and/or polarization states by the birefringent plate and the liquid crystal element.
  • the wearable electronic device 300 may control the liquid crystal element to output a plurality of adjusted images in which the virtual object image is moved in sub-pixel units in different directions.
  • the wearable electronic device 300 may output a plurality of adjusted images at different timings, respectively.
  • the wearable electronic device 300 may control one or more liquid crystal elements to output a plurality of adjusted images at different timings, respectively.
  • a plurality of adjusted images flickering at different timings may be recognized by the user as one interpolated image.
  • the wearable electronic device 300 may alleviate the defect pixels through a plurality of adjusted images in which the virtual object image is moved in sub-pixel units.
  • 4A and 4B are diagrams illustrating an exemplary structure of a half mirror and exemplary structures of an optical waveguide according to various embodiments of the present disclosure
  • the half mirror 410 may include two transparent layers having different refractive indices.
  • a grid structure may be included between the two layers.
  • the lattice structure may be coated between two layers.
  • the lattice structure may form a surface inside or outside of a portion of one of the two layers.
  • the lattice structure may be a nano-pattern, for example, may have a polygonal or curved shape.
  • the half mirror 410 may be included in the optical waveguide 460 of FIG. 4B or may be included in the control lens 470 .
  • the half mirror 410 may be disposed on the rear surface 471 or the front surface (not shown) of the control lens 470 .
  • the half mirror 410 may be formed in a grating structure or may be formed in a coating method. For example, the half mirror 410 may be coated between the optical waveguide 460 and the control lens 470 .
  • the reflectance of the half mirror 410 may be adjusted according to the wavelength.
  • the half mirror 410 may have a high reflectance with respect to visible light.
  • the half mirror 410 may have a reflectance of 90% with respect to visible light.
  • this is an example and various values of reflectance may be set.
  • most of the visible light is reflected and totally reflected through the optical waveguide to be transmitted to the output optical member.
  • the half mirror 410 may have an intermediate level of reflectivity for infrared light.
  • the half mirror 410 may have a reflectivity of 30% to 50% with respect to infrared light.
  • the infrared reflected light 411 reflected from the half mirror 410 is directly output toward the user's eye or is outputted toward the user's eye through the optical waveguide 460 through the output optical member 480 (eg, in FIG. 4B )
  • Infrared light 482 may be detected for eye tracking (similar to 482 ).
  • the infrared transmitted light 412 transmitted from the half mirror 410 may be output toward the real world and detected to estimate the distance to the real object.
  • the optical waveguide 460 may include an input optical member 450 and an output optical member 480 (eg, the output optical members 314 and 316 of FIG. 3 ).
  • the input optical member 450 may mean an input grating area.
  • the input optical member 450 may serve as an input terminal that diffracts (or reflects) light output from the self-luminous display.
  • the optical waveguide 460 may transmit light input from the input optical member 450 to the output optical member 480 through total reflection.
  • the output optical member 480 may mean an output grating area.
  • the output optical member 480 may serve as an exit for diffracting (or reflecting) the light transmitted through the total reflection waveguide toward the user's eyes.
  • the input optical member 450 may include a half mirror 410 .
  • the half mirror 410 may be formed in all or a portion of the input optical member 450 .
  • the input optical member 450 may be referred to as a half mirror 410 .
  • the light 430 in which the visible light and the infrared light are mixed is output by the self-luminous display for explanation, but the visible light and the infrared light may be output independently. Also, red light, blue light, and green light included in visible light may be independently output.
  • the self-luminous display may output the mixed light 430 of visible light and infrared light to the input optical member 450 .
  • Visible light 421 which is a part of visible light
  • visible light 422 which is a part of visible light
  • the light 430 in which visible light and infrared light are mixed by the self-luminous display may be incident to the optical waveguide 460 through the input optical member 450 .
  • the visible light light 422 incident to the input optical member 450 may be totally reflected inside the optical waveguide 460 and output to the outside through the output optical member 480 .
  • a portion of the infrared light 412 incident on the optical waveguide 460 may be reflected by the half mirror 410 .
  • Infrared light which is a part of the reflected infrared light 411 , may be directly output to the user's eyes.
  • Infrared light 482 which is another part of the reflected infrared light 411 , may be totally reflected inside the optical waveguide 460 and output to the outside through the output optical member 480 .
  • the infrared light 413 which is another part of the infrared light 412 incident to the optical waveguide 460 , may pass through the half mirror 410 and be output toward the real object.
  • the reflected visible light 421 may be reduced or minimized to protect the user's eyes.
  • the reflected visible light 421 occupies 10% of the visible light in the mixed light 430 of visible light and infrared light, and the visible light 422 transmitted through the input optical member 450 is visible.
  • light and infrared light may account for 90% of visible light in the mixed light 430 , this is only an example and the visible light 421 may be reduced or adjusted to a minimum to protect the user's eyes.
  • the infrared light 411 which is a part of the infrared light
  • the infrared light 412 which is a part of the infrared light
  • the reflected infrared light 411 may be minimized to protect the user's eyes.
  • the infrared light 411 may account for 30% and the infrared light 412 may account for 70%, but this is only an example and the infrared light 411 may be reduced to protect the user's eyes and/or Or it can be adjusted to a minimum.
  • the incident optical member 450 Directly from the incident optical member 450 to the eye by controlling the reflectance of the input optical member 450 with respect to the incident light or designing the input optical member 450 so that light can be directed into the optical waveguide 460.
  • the reflected visible light 421 and infrared light 411 may be minimized.
  • the visible light 422 may be totally reflected inside the optical waveguide 460 .
  • the optical waveguide 460 may transmit the visible light 422 to the output optical member 480 .
  • the output optical member 480 may output the visible light 422 to the outside of the optical waveguide 460 .
  • the output visible light 481 corresponds to the virtual object image, and the user may experience the virtual object image.
  • the infrared light reflected by the half mirror 410 is directly output to the user's eyes like the infrared light 411 or through the optical waveguide 460 like the infrared light 482 through the output optical member 480 It may be output toward the user's eyes.
  • Infrared light 411 or 482 is reflected from the user's eye, and the reflected light may be detected by the eye tracking sensor. The detection result may be used for tracking the user's gaze.
  • a separate infrared light source for eye tracking by the half mirror 410 may be omitted. By omitting a separate infrared light source, the wearable electronic device may be lightweight and power consumption may be reduced.
  • the infrared light 412 transmitted through the half mirror 410 may be output to the outside of the optical waveguide 460 .
  • the region 471 to which the infrared light 412 transmitted through the input optical member 450 is first incident reflects the visible light 422 and totally reflects it through the optical waveguide 460, and a portion of the infrared light 412 is transmitted to the outside. It can be coated to permeate.
  • the region 471 may include a grating structure that transmits a portion of the infrared light 412 to the outside.
  • the infrared light 413 passing through the optical waveguide 460 may pass through the control lens 470 .
  • the control lens 470 may adjust the angle of view of the infrared light 413 to a predetermined angle.
  • the control lens 470 may adjust the intensity and detection range of reflected light reflected from the real object by adjusting the angle of view of the infrared light 413 to be suitable for detection of the real object.
  • FIG. 5 is a diagram illustrating an exemplary operation of a second control circuit of a wearable electronic device according to various embodiments of the present disclosure
  • the wearable electronic device may include a second control circuit 560 and stereo cameras 351 and 352 .
  • the second control circuit 560 may estimate the distance to the real object based on the detection result of the stereo cameras 351 and 352 .
  • the infrared light 413 transmitted toward the real world may be incident on the real object.
  • the infrared light 413 is reflected from the real object, and the stereo cameras 351 and 352 may detect the reflected light.
  • the stereo cameras 351 and 352 may detect not only infrared light but also visible light.
  • the stereo cameras 351 and 352 may photograph a real object from different viewpoints.
  • the second control circuit 560 may perform image processing on images captured by each of the stereo cameras 351 and 352 .
  • the second control circuit 560 may estimate the distance to the real object based on the image processing result. For example, the second control circuit 560 may measure a depth value or estimate a distance to a real object using a ToF method.
  • the second control circuit 560 may generate a distance image representing the estimated distance.
  • the distance image may include a number indicating a distance and a unit according to, for example, a metric system.
  • the distance image may further include a masking image or a contour image for the region of the real object.
  • the color or brightness of the street image may be determined to be contrasted with the background.
  • the second control circuit 560 may generate a virtual object image.
  • the virtual object image may be generated based on an image captured by the stereo cameras 351 and 352 and/or the first camera (eg, the first camera 245 of FIG. 2 ).
  • the second control circuit 560 may generate a composite image.
  • the second control circuit 560 may generate a composite image by synthesizing the distance image generated in operation 507 and the virtual object image generated in operation 509 .
  • the second control circuit 560 may output a composite image to the user through the self-luminous display (eg, the self-luminous displays 361 and 362 of FIG. 3 ) and the light guide plate.
  • the self-luminous display eg, the self-luminous displays 361 and 362 of FIG. 3
  • the light guide plate may output a composite image to the user through the self-luminous display (eg, the self-luminous displays 361 and 362 of FIG. 3 ) and the light guide plate.
  • 6A and 6B are diagrams illustrating an example of a distance image output by a wearable electronic device according to various embodiments of the present disclosure
  • the two stereo cameras may be disposed at different positions of the wearable electronic device (eg, the wearable electronic device 300 of FIG. 3 ).
  • the wearable electronic device may calculate a depth value by matching images captured by each stereo camera using binocular disparity characteristics.
  • the wearable electronic device may calculate the distance to the real object based on the depth value.
  • the infrared pixel of the wearable electronic device may output infrared light to the outside of the wearable electronic device in a low-light environment to assist the stereo camera in detecting a real object.
  • the wearable electronic device may control on/off of infrared pixels included in the self-luminous display (eg, the self-luminous displays 361 and 362 of FIG. 3 ).
  • FIG. 6A illustrates a photographed image in a state in which an infrared pixel of a self-luminous display is turned off in a low-light environment.
  • a real object eg, two people
  • a stereo camera may not be able to clearly capture a real object.
  • FIG. 6B illustrates a situation in which an infrared pixel of a self-luminous display is turned on in a low-light environment.
  • the infrared pixel acts as an auxiliary light source and can provide a sufficient amount of light for a stereo camera.
  • the infrared light output by the infrared pixel may be emitted to a real object (eg, two people), and the infrared light reflected from the real object may be detected by a stereo camera.
  • the wearable electronic device may perform image processing on an image captured by each stereo camera, and estimate a distance to a real object based on the image processing result.
  • the wearable electronic device may match the two images and calculate a depth value based on the matching result.
  • the wearable electronic device may estimate the distance to the real object based on the depth value.
  • the wearable electronic device may generate a distance image (eg, 2m, 4m) 603 indicating a distance to a real object.
  • the distance image 603 may include a masking image of the real object area. Through this, real objects may be clearly distinguished in a low-light environment, and the user may not collide with the real objects.
  • FIG. 7 is a diagram illustrating an exemplary structure of a transparent cover included in a wearable electronic device according to various embodiments of the present disclosure
  • the wearable electronic device includes a self-luminous display (eg, the self-luminous displays 361 and 362 of FIG. 3 ), a transparent cover 393 , and an optical waveguide (eg, the optical waveguides 313 and 315 of FIG. 3 ). and a first control circuit (not shown) (eg, a control circuit included in the first display 205 and the second display 210 of Fig. 2 ). It may include a plurality of visible light pixels for outputting corresponding visible light and a plurality of infrared pixels for outputting infrared light
  • the self-luminous display may include a micro LED 391 and a micro lens 392 .
  • a transparent cover 393 is disposed on the upper side of the self-luminous display and may include one or more birefringent plates, one or more liquid crystal elements, and a polarizer
  • An optical waveguide is disposed above the transparent cover 393 and directs the path of visible light to output a virtual object image, the first control circuit may supply driving power and a control signal to at least one of the self-luminous display and one or more liquid crystal elements.
  • the wearable electronic device may output a plurality of adjusted images by adjusting the position of the virtual object image through the transparent cover 393 .
  • the wearable electronic device may output a plurality of adjusted images by shifting the virtual object image in sub-pixel units in different directions.
  • the wearable electronic device may include a transparent cover 393 between the self-luminous display and the optical waveguide.
  • An area of the transparent cover 393 may substantially overlap an area in which a plurality of infrared pixels included in the self-luminous display are disposed.
  • the transparent cover 393 may be disposed on a partial area of the light guide plate or an entire area of the light guide plate that covers the area where the plurality of infrared pixels are disposed.
  • the transparent cover 393 may include one or more birefringent plates, one or more liquid crystal elements and a polarizer.
  • the transparent cover 393 may include a first birefringent plate 751 , a first liquid crystal element 752 (eg, including a liquid crystal material), a second birefringent plate 753 , (eg, a second liquid crystal element 754 (including a liquid crystal material), and a polarizing plate 755 .
  • the first liquid crystal element 752 may be disposed between the first birefringent plate 751 and the second birefringent plate 753 .
  • the second birefringent plate 753 may be disposed between the first liquid crystal element 752 and the second liquid crystal element 754 .
  • the second liquid crystal element 754 may be disposed between the second birefringent plate 753 and the polarizing plate 755 .
  • the polarizing plate 755 may be disposed after the second liquid crystal element 754 .
  • unpolarized light emitted from the self-luminous display may be output as it is incident on the transparent cover 393 , or may be output as it is moved vertically or horizontally.
  • unpolarized light is transmitted through a first birefringent plate 751, a first liquid crystal element 752, a second birefringent plate 753, a second liquid crystal element 754, and a polarizing plate in the transparent cover 393 ( 755), it may be output as it is incident, or the moving direction may be moved in parallel to be output.
  • the first birefringent plate 751 When unpolarized light is incident on the first birefringent plate 751 , the first birefringent plate 751 refracts the incident light with an ordinary-ray that is output without refraction and an extraordinary-ray that is output. can separate the incident light.
  • the size of the width at which the light beam is separated may be adjusted.
  • the thickness t, the ordinary ray refractive index, and/or the extraordinary ray refractive index of the first birefringent plate 751 may be adjusted so that the separation width d of the ordinary ray and the extraordinary ray becomes the size of the sub-pixel.
  • the size of a sub-pixel means a size smaller than the size of one pixel, and may include, for example, 1/2 of the pixel size.
  • the ordinary ray and the extraordinary ray passing through the first birefringent plate 751 may be incident on the first liquid crystal element 752 positioned adjacent to the first birefringent plate 751 .
  • the first liquid crystal element 752 may change the polarization state of the incident light according to the control signal supplied from the first control circuit (not shown).
  • the first liquid crystal element 752 may rotate the polarization direction of the incident light based on the control signal supplied from the first control circuit. For example, when power is supplied to the first liquid crystal element 752 , incident light can be output as it is, and when power is not supplied to the first liquid crystal element 752 , the polarization direction of the incident light is rotated and output can do.
  • the thickness t, the ordinary ray refractive index, and/or the extraordinary ray refractive index of the second birefringent plate 753 is determined by the separation width d of the ordinary ray and the extraordinary ray. It can be adjusted to be 1/2 of the pixel size.
  • the separation width d of the ordinary ray and the extraordinary ray It can be adjusted to be 1/2 of the pixel size.
  • FIG. 7 only two light rays separated by the first birefringent plate 751 are illustrated for convenience, but the separated rays may be separated once more while passing through the second birefringent plate 753 .
  • the second liquid crystal element 754 can change the polarization state of the incident light according to the control signal supplied from the first control circuit.
  • the second liquid crystal element 754 may rotate the polarization direction of the incident light based on the control signal supplied from the first control circuit. For example, when power is supplied to the second liquid crystal element 754 , incident light can be output as it is, and when power is not supplied to the second liquid crystal element 754 , the polarization direction of the incident light is rotated and output can do.
  • the polarizing plate 755 may output only the same component as the polarization direction of the polarizing plate 755 among the incident light. Accordingly, the final output may be determined by the polarizing plate 755 .
  • the transparent cover 393 may output the adjusted image moved by sub-pixels in four different directions.
  • the four adjustment images can blink at different timings. Frames in which the frame of the original image is horizontally and/or vertically moved according to the control signal supplied to the first liquid crystal element 752 and the second liquid crystal element 754 may be periodically flickered at different timings.
  • the four adjusted images may be output in synchronization with each other to provide virtual pixels according to an interpolation principle. In this way, defective pixels due to infrared pixels can be offset.
  • the interpolated image may have a higher resolution than the original image.
  • FIG. 8 is a table illustrating exemplary light output from a transparent cover according to a control signal of a first control circuit according to various embodiments of the present disclosure
  • the first liquid crystal element 752 is connected to a first control circuit (not shown) (eg, a control circuit included in the first display 205 and the second display 210 of FIG. 2 ).
  • a first control circuit eg, a control circuit included in the first display 205 and the second display 210 of FIG. 2 .
  • the incident light may be output as it is, or it may operate as a quarter wave plate and may be converted into circularly polarized light and output.
  • the first liquid crystal element 752 may determine whether to rotate the light to be output by 1/4 wavelength based on the control signal.
  • the first liquid crystal element 752 may serve as a quarter wave plate.
  • the first liquid crystal element 752 When power is supplied to the first liquid crystal element 752 , the first liquid crystal element 752 can output the light without changing the polarization direction, and when power is not supplied to the first liquid crystal element 752 , the first The liquid crystal element 752 may output circularly polarized light by rotating the polarization direction of light by 1/4 wavelength.
  • the unpolarized light emitted by the self-luminous display (eg, the self-luminous displays 361 and 362 in FIG. 3 ) is incident on the first birefringent plate 751 (eg, the birefringent plate having a cutting plane angle of 0 degrees).
  • the unpolarized light may be divided into an unrefracted ordinary ray output according to the ordinary ray refractive index and an extraordinary ray refracted in the horizontal direction output according to the extraordinary ray refractive index.
  • the ordinary ray may be perpendicular to the optical axis and the extraordinary ray may be parallel to the optical axis, and the ordinary ray and the extraordinary ray may be light polarized in different directions, that is, light polarized in directions perpendicular to each other.
  • the second birefringent plate 753 eg, a birefringent plate having a cutting plane angle of 90 degrees
  • unpolarized light is outputted according to the refractive index of the ordinary ray, the unrefracted ordinary ray and the extraordinary ray
  • the output may be separated into abnormal rays refracted in the vertical direction.
  • the ordinary ray may be perpendicular to the optical axis and the extraordinary ray may be parallel to the optical axis
  • the ordinary ray and the extraordinary ray may be light polarized in different directions, that is, light polarized in directions perpendicular to each other.
  • the normal ray output when unpolarized light is incident on the first birefringent plate 751 and the normal ray output when unpolarized light is incident on the second birefringent plate 753 are polarized
  • the directions may be perpendicular to each other.
  • Polarized directions of the abnormal ray output when unpolarized light is incident on the first birefringent plate 751 and the abnormal ray output when unpolarized light is incident on the second birefringent plate 753 may be perpendicular to each other there is.
  • unpolarized light When unpolarized light is incident on the first birefringent plate 751 , it may be separated into an ordinary ray having a vertical component polarized light and an extraordinary ray having a horizontal component polarized light.
  • the ordinary ray and the extraordinary ray may be incident on the first liquid crystal element 752 .
  • the control signal supplied by the first control circuit When power is supplied to the first liquid crystal element 752 by the control signal supplied by the first control circuit, the light incident on the first liquid crystal element 752 to which power is supplied is output without changing the polarization direction. can be
  • the vertically polarized light (eg, ordinary ray) and horizontally polarized light (eg, extraordinary ray) passing through the first liquid crystal element 752 may be incident on the second birefringent plate 753 .
  • the vertically polarized light passes through the second birefringent plate 753 , it may be refracted by the second birefringent plate 753 and output as an abnormal ray.
  • the horizontally polarized light output without being refracted from the second birefringent plate 753 may not exist.
  • unpolarized light When unpolarized light is incident on the first birefringent plate 751 , it may be separated into an ordinary ray having a vertical component polarized light and an extraordinary ray having a horizontal component polarized light.
  • the ordinary ray and the extraordinary ray may be incident on the first liquid crystal element 752 .
  • the light incident to the first liquid crystal element 752 to which power is not supplied has a polarization direction of 1/4
  • the wavelength may be rotated and output as circularly polarized light.
  • the two circularly polarized lights passing through the first liquid crystal element 752 may be incident on the second birefringent plate 753 .
  • the circularly polarized light may be separated into vertical component polarized light and horizontal component polarized light and output according to the phase at which the circularly polarized light is incident on the second birefringent plate 753 .
  • circularly polarized light may be vertically refracted with unrefracted horizontally polarized light (eg, normal ray) according to the phase at which the circularly polarized light is incident on the second birefringent plate 753 . It can be output by being separated into polarized light (eg, abnormal light).
  • the output 801 may be composed of a light 801a that is not turned on and a light 801b that is output.
  • the output 802 may include non-output light 802a and output light 802b.
  • the output A (eg, the outputs 801 and 802 ) may be incident on the second liquid crystal element 754 , and the second liquid crystal element 754 responds to the control signal of the first control circuit.
  • the incident light can be output as it is or rotated by about 90 degrees.
  • the second liquid crystal element 754 may determine whether to rotate the output light by about 90 degrees based on the control signal.
  • the second liquid crystal element 754 may serve as a 1/2 wave plate.
  • the second liquid crystal element 754 When power is supplied to the second liquid crystal element 754 , the second liquid crystal element 754 can output the light without changing the polarization direction, and when power is not supplied to the second liquid crystal element 754 , the second The liquid crystal element 754 may output the light by rotating the polarization direction of light by about 90 degrees.
  • the output 801 (or the light of the output 801) may be incident on the second liquid crystal element 754 to which power is supplied, and is not rotated while passing through the second liquid crystal element 754 . It may be output as it is (eg, like output 803).
  • the output 803 may be incident on the polarizing plate 755 in the horizontal direction, and while passing through the polarizing plate 755 , the light corresponding to the polarization direction of the polarizing plate 755 among the plurality of lights of the output 803 (eg, the polarizing plate 755 ) Only light equal to the polarization direction of ) can be output (output 807).
  • the output 801 (or the light of the output 801) may be incident on the second liquid crystal element 754 to which power is not supplied, and while passing through the second liquid crystal element 754 , approximately The output may be rotated 90 degrees (eg, like output 804).
  • the output 804 may be incident on the polarizing plate 755 in the horizontal direction, and while passing through the polarizing plate 755 , only light corresponding to the polarization direction or the same as the polarization direction of the polarizing plate 755 among the plurality of lights of the output 804 is output (eg, For example, output 808).
  • the output 802 (or the light of the output 802) may be incident on the second liquid crystal element 754 to which power is supplied, and is not rotated while passing through the second liquid crystal element 754 . It may be output as it is (for example, like the output 805).
  • the output 805 may be incident on the polarizing plate 755 in the horizontal direction, and while passing through the polarizing plate 755 , only the light corresponding to the polarization direction or the same as the polarization direction of the polarizing plate 755 among the plurality of lights of the output 805 is output (eg, For example, output 809).
  • the output 802 (or the light of the output 802) may be incident on the second liquid crystal element 754 to which power is not supplied, and while passing through the second liquid crystal element 754 , approximately The output may be rotated 90 degrees (eg, like output 806).
  • the output 806 may be incident on the polarizing plate 755 in the horizontal direction, and while passing through the polarizing plate 755 , only the light corresponding to the polarization direction or the same as the polarization direction of the polarizing plate 755 among the plurality of lights of the output 806 is output (eg, For example, output 810).
  • the output 807 of the division (1) of FIG. 8 is an output in which the light output from the micro LED (eg, the micro LED 391 of FIG. 3) itself is not moved, and the division (2) of FIG.
  • the output 808 of the micro LED is an output in which the light output from the micro LED is vertically and horizontally shifted by 1/2 of the pixel size, and the output 809 of the division (3) of FIG.
  • FIG. 9 is a diagram illustrating an exemplary configuration of an image output passing through a transparent cover according to various embodiments of the present disclosure.
  • the original image (not shown) may be output at a rate of 60 Hz, and the frame of the original image is horizontally aligned according to a control signal supplied to the first liquid crystal element 752 and the second liquid crystal element 754 . And/or the vertically moved frames 911 , 912 , 913 , 921 , 922 , 923 , 931 , 932 , and 933 may be output at a speed of 240 Hz.
  • the non-moved frames 910, 920, and 930 in which the frames of the original image are scaled down according to the control signal supplied to the first liquid crystal element 752 and the second liquid crystal element 754 are set at a speed of 240 Hz. can be output.
  • the frames 910 , 920 , and 930 scaled down from the original image may correspond to division 1 (or output 807 ) of FIG. 8 , and the frame of the original image is 1/2 of the pixel size.
  • Frames 911, 921, and 931 shifted vertically and horizontally by 912, 922, and 932 may correspond to division (3) (or output 809) of FIG. 8, and frames 913, 923, and 933 in which the frame of the original image is vertically moved by 1/2 of the pixel size are shown in FIG. It may correspond to division (4) of 8 (or output 810).
  • the self-luminous display eg, the self-luminous displays 361 and 362 in FIG. 3
  • the micro LED eg, the micro LED 391 in FIG. 3
  • a frame in which the light output from the micro LED is not moved a frame in which the light output from the micro LED is vertically and horizontally shifted by 1/2 of the pixel size, and the light output from the micro LED are pixels
  • the frame shifted horizontally by 1/2 of the size and the frame in which the light output from the micro LED is vertically shifted by 1/2 of the pixel size is output in synchronization with each other and is virtual by the interpolation principle. of pixels, and through this, an image with a higher resolution than the micro LED's own resolution can be output.
  • FIG. 10 is a diagram illustrating an adjustment image generated by a wearable electronic device according to various embodiments of the present disclosure
  • the wearable electronic device may display 4 corresponding to the virtual object image through a self-luminous display and a transparent cover (eg, the transparent cover 393 of FIG. 3 ). It is possible to output the adjusted image of dogs.
  • the positions of the four adjustment images may be adjusted to be different by sub-pixels in different directions from the positions of the virtual object images.
  • the directions of the four adjustment images may include top/bottom/left/right or top-right/bottom-right/top-left/bottom-left. However, this is only an example, and the original image may be moved in various directions to form a clear interpolated image.
  • the wearable electronic device may supply power or a control signal to the first liquid crystal element and the second liquid crystal element at different intervals through the first control circuit.
  • a plurality of images separated through the first birefringent plate and the second birefringent plate may be converted into light having different polarization states through the first liquid crystal element and the second liquid crystal element.
  • the polarizer may output four adjusted images moved in different directions from a plurality of lights.
  • the transparent cover may alternately output one or more adjusted images.
  • the four adjustment images may be flickered at different timings.
  • the self-luminous display 1021 may include a micro LED or an OLED.
  • the self-luminous display 1021 may include a plurality of pixels.
  • the self-luminous display 1021 may include a plurality of visible light pixels and a plurality of infrared pixels.
  • the plurality of visible light pixels may include R, G, and B pixels.
  • a plurality of infrared pixels may be disposed at location 1023 of self-luminous display 1021 .
  • Infrared light is not perceived by the human eye, so infrared pixels placed between visible light pixels can result in defective pixels in the output image.
  • the defect pixel 1033 may appear in the output image 1031 output through the self-luminous display 1021 including the infrared pixel disposed between the visible light pixels, corresponding to the position of the infrared pixel.
  • the user may experience a blurry output image.
  • the wearable electronic device may output four adjusted images moved up/down/left/right by a sub-pixel shift 1040 .
  • the adjusted image 1041 is an image in which a virtual object image corresponding to all pixels of the self-luminous display 1021 is shifted to the right.
  • the adjusted image 1042 is an image in which a virtual object image corresponding to all pixels of the self-luminous display 1021 is shifted to the left.
  • the adjusted image 1043 is an image in which a virtual object image corresponding to all pixels of the self-luminous display 1021 is moved upward.
  • the adjusted image 1044 is an image in which the virtual object image corresponding to all pixels of the self-luminous display 1021 is moved downward.
  • the four adjustment images 1041 , 1042 , 1043 , and 1044 may blink at different timings. For example, when the original image is output at a speed of 60 Hz, the four adjusted images 1041 , 1042 , 1043 , and 1044 may be output at a speed of 240 Hz, respectively. By blinking faster than the eye can recognize, the four adjusted images can be recognized as one interpolated image 1045 . Defect pixels in the interpolated image 1045 are canceled, and the interpolated image 1045 may have a higher resolution than the original image.
  • the wearable electronic device may output four adjusted images shifted to the upper right/lower right/upper left/lower left by the sub-pixel shift 1050 .
  • the adjusted image 1051 is an image in which a virtual object image corresponding to all pixels of the self-luminous display 1021 is shifted to the right.
  • the adjusted image 1052 is an image in which a virtual object image corresponding to all pixels of the self-luminous display 1021 is moved to the lower right.
  • the adjusted image 1053 is an image obtained by moving the virtual object image corresponding to all pixels of the self-luminous display 1021 to the upper left.
  • the adjusted image 1054 is an image in which a virtual object image corresponding to all pixels of the self-luminous display 1021 is moved to the lower left.
  • the four adjustment images 1051 , 1052 , 1053 , and 1054 may blink at different timings. For example, when the original image is output at a rate of 60 Hz, the four adjusted images 1051 , 1052 , 1053 , and 1054 may be output at a rate of 240 Hz, respectively. By blinking faster than the eye can recognize, the four adjusted images may be recognized as one interpolated image 1055 . Defect pixels in the interpolated image 1055 are canceled, and the interpolated image 1055 may have a higher resolution than the original image.
  • the wearable electronic device moves left/right by the sub-pixel shift 1060 2 It is possible to output a partially adjusted image of the dog.
  • the partially adjusted image refers to an adjusted image for generating an interpolated image only in a portion corresponding to a defective pixel in the virtual object image.
  • the wearable electronic device adjusts the positions of some virtual object images corresponding to visible light pixels around each of the infrared pixels to obtain two partially adjusted images corresponding to each of the infrared pixels. can be printed out.
  • the partially adjusted image 1061 is an image in which the virtual object image of a portion corresponding to the infrared pixel region included in the self-luminous display 1021 is shifted to the right.
  • the partial adjustment image 1062 is an image in which the virtual object image of a portion corresponding to the infrared pixel region included in the self-luminous display 1021 is shifted to the left.
  • the two partially adjusted images 1061 and 1062 may blink at different timings. For example, when the original image is output at a speed of 60 Hz, the two partially adjusted images 1061 and 1062 may be output at a speed of 120 Hz, respectively. By blinking faster than the eye can perceive, the two partially adjusted images can be recognized as one interpolated image 1065 . Defect pixels in the interpolated image 1065 are canceled, and the interpolated image 1065 may have a higher resolution than the original image.
  • the self-luminous display 1025 may include a micro LED or an OLED.
  • the self-luminous display 1025 may include a plurality of pixels.
  • the self-luminous display 1025 may include a plurality of visible light pixels and a plurality of infrared pixels.
  • the plurality of visible light pixels may include R, G, and B pixels.
  • a plurality of infrared pixels may be disposed at location 1027 of self-luminous display 1025 .
  • Infrared light is not perceived by the human eye, so infrared pixels placed between visible light pixels can result in defective pixels in the output image.
  • the defective pixel 1037 may appear corresponding to the positions of the infrared pixels. As a result, the user may experience a blurry output image.
  • the wearable electronic device when the infrared pixels 1076 are horizontally and linearly arranged on the self-luminous display 1025 (eg, FIG. 10(e)), the wearable electronic device performs a sub-pixel shift ( 1070) may output two partially adjusted images moved up/down.
  • the partially adjusted image refers to an adjusted image for generating an interpolated image only in a portion corresponding to a defective pixel in the virtual object image.
  • the wearable electronic device adjusts the positions of some virtual object images corresponding to visible light pixels around each of the infrared pixels to obtain two partially adjusted images corresponding to each of the infrared pixels. can be printed out.
  • the partially adjusted image 1071 is an image obtained by moving the virtual object image of a portion corresponding to the infrared pixel region included in the self-luminous display 1025 upward.
  • the partial adjustment image 1072 is an image in which the virtual object image of a portion corresponding to the infrared pixel region included in the self-luminous display 1025 is moved downward.
  • the two partially adjusted images 1071 and 1072 may blink at different timings. For example, when the original image is output at a speed of 60 Hz, the two partially adjusted images 1071 and 1072 may be output at a speed of 120 Hz, respectively. By blinking faster than the eye can perceive, the two partially adjusted images can be recognized as one interpolated image 1075 . Defect pixels in the interpolated image 1075 are canceled, and the interpolated image 1075 may have a higher resolution than the original image.
  • FIGS. 11A and 11B are diagrams illustrating exemplary distribution patterns of infrared pixels included in a self-luminous display included in a wearable electronic device according to various embodiments of the present disclosure
  • the self-luminous display may include a plurality of visible light pixels and a plurality of infrared pixels.
  • the plurality of infrared pixels may be disposed on the self-luminous display in various patterns.
  • the plurality of infrared pixels may be arranged vertically vertically or horizontally.
  • the plurality of infrared pixels may be linearly arranged in an oblique line.
  • a plurality of infrared pixels 1111 , 1112 , 1113 , and 1114 may be randomly disposed on the self-luminous display 1101 .
  • the plurality of infrared pixels 1111 , 1112 , 1113 , and 1114 may be randomly arranged in an area of the self-luminous display 1101 corresponding to the user's iris. Such a placement pattern may be easier for eye tracking than a linear pattern.
  • the self-luminous display 1101 may further include a plurality of eye tracking sensors 1131 , 1132 , 1133 , and 1134 .
  • the plurality of eye tracking sensors 1131 , 1132 , 1133 , and 1134 may be disposed according to a unique pattern or may be randomly disposed like the plurality of infrared pixels 1111 , 1112 , 1113 , 1114 .
  • the plurality of eye tracking sensors 1131 , 1132 , 1133 , and 1134 may detect infrared light emitted by the plurality of infrared pixels 1111 , 1112 , 1113 , and 1114 reflected by the user's eyes.
  • the plurality of infrared pixels 1121 , 1122 , 1123 , 1124 , 1125 , and 1126 may be circularly disposed on the self-luminous display 1102 .
  • the plurality of infrared pixels 1121 , 1122 , 1123 , 1124 , 1125 , and 1126 may be circularly disposed in an area of the self-luminous display 1102 corresponding to the edge of the user's iris. Such a placement pattern may be easier for eye tracking than a linear pattern.
  • the self-luminous display 1102 may further include a plurality of eye tracking sensors 1141 , 1142 , 1143 .
  • the plurality of eye tracking sensors 1141 , 1142 , and 1143 may be disposed according to a unique pattern or may be randomly disposed like the plurality of infrared pixels 1121 , 1122 , 1123 , 1124 , 1125 , 1126 .
  • the plurality of eye tracking sensors 1141, 1142, 1143 may detect infrared light emitted by the plurality of infrared pixels 1121, 1122, 1123, 1124, 1125, and 1126 reflected by the user's eyes. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Nonlinear Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Mathematical Physics (AREA)

Abstract

디스플레이를 포함하는 웨어러블 전자 장치가 개시된다. 일 실시 예에 따른 웨어러블(wearable) 전자 장치는, 적외선 광을 감지하는 스테레오 카메라, 가상 객체 이미지에 대응하는 가시광선 광을 출력하는 복수의 가시광선 픽셀 및 적외선 광을 출력하는 복수의 적외선 픽셀을 포함하는 자발광 디스플레이, 상기 가시광선 광의 경로를 조정하여 상기 가상 객체 이미지를 출력하는 광 도파관 및 상기 자발광 디스플레이에 구동 전원 및 제어 신호를 공급하는 제1 제어 회로 및 상기 스테레오 카메라에 구동 전원 및 제어 신호를 공급하는 제2 제어 회로를 포함하고, 상기 광 도파관은, 상기 출력된 적외선 광으로부터 적외선 반사광 및 적외선 투과광을 출력하는 하프 미러(half mirror)를 포함한다.

Description

디스플레이를 포함하는 웨어러블 전자 장치
관련 출원들에 대한 참조
본 출원은 2021년 11월 10일에 출원된 한국특허출원 제 10-2020-0149339 호의 우선권을 주장한다.
본 개시는 디스플레이를 포함하는 웨어러블 전자 장치에 관한 것이다.
최근 스마트폰 및 태블릿 PC(personal computer) 등과 같은 전자 장치의 급격한 발달에 따라 무선 음성 통화 및 정보 교환이 가능한 전자 장치는 생활 필수품이 되었다. 전자 장치는 초기에 단순히 무선 통화가 가능한 휴대 장치로 인식되었으나, 그 기술이 발달하고 무선 인터넷이 도입됨에 따라 단순히 무선 통화가 가능한 휴대 장치에서 벗어나 일정관리, 게임, 리모컨, 또는 이미지 촬영와 같은 기능을 수행하는 멀티미디어 장치로 발전하여 사용자의 욕구를 충족시키고 있다.
특히, 최근에는 증강 현실(AR: augmented reality) 서비스를 제공하는 전자 장치가 출시되고 있다. 증강 현실 서비스는 사용자가 보는 현실 세계 이미지에 부가적인 정보를 갖는 가상 이미지를 겹쳐 보여주는 서비스로서, 현실 세계 이미지로부터 식별되는 현실 객체와 관련된 콘텐츠(content)를 포함하는 가상 객체 이미지를 사용자에게 제공할 수 있다.
웨어러블 전자 장치는 증강 현실 서비스를 제공하고, 그에 대한 사용자의 시선을 추적할 수 있다. 예를 들어, 사용자의 시선에 기반하여 가상 이미지의 위치를 변경하거나, 사용자의 관심 영역을 구분하거나 또는 시선을 통한 사용자의 입력을 수신할 수 있다.
웨어러블 전자 장치가 사용자의 시선을 추적하기 위해서는 적외선 광을 사용자의 안구 방향으로 조사하고, 사용자의 안구에서 반사된 광을 수신할 수 있다. 웨어러블 전자 장치는 적외선 광을 출력하기 위한 적외선 발광 소자를 포함할 수 있으며, 이를 위한 별도의 공간이 필요할 수 있다.
본 개시의 실시 예는 적외선 픽셀을 포함하는 자발광 디스플레이 및 적외선 광을 반사 또는 투과하는 하프 미러를 통해 사용자의 시선을 추적하고 현실 객체를 탐지할 수 있는 웨어러블 전자 장치를 제공할 수 있다.
본 개시의 실시 예는 복굴절 판, 액정 소자 및 편광자를 포함하는 투명 커버를 통해 복수의 조정 이미지를 출력하여 보간 이미지를 생성함으로써 결점 픽셀을 보완하는 웨어러블 전자 장치를 제공할 수 있다.
예시적인 일 실시 예에 따르면, 웨어러블(wearable) 전자 장치는, 적외선 광을 감지하는 스테레오 카메라, 가상 객체 이미지에 대응하는 가시광선 광을 출력하는 복수의 가시광선 픽셀 및 적외선 광을 출력하는 복수의 적외선 픽셀을 포함하는 자발광 디스플레이, 상기 가시광선 광의 경로를 조정하여 상기 가상 객체 이미지를 출력하는 광 도파관 및 상기 자발광 디스플레이에 구동 전원 및 제어 신호를 공급하는 제1 제어 회로 및 상기 스테레오 카메라에 구동 전원 및 제어 신호를 공급하는 제2 제어 회로를 포함하고, 상기 광 도파관은, 상기 출력된 적외선 광으로부터 적외선 반사광 및 적외선 투과광을 출력하는 하프 미러(half mirror)를 포함할 수 있다.
예시적인 일 실시예에 따르면, 웨어러블 전자 장치는, 가상 객체 이미지에 대응하는 가시광선 광을 출력하는 복수의 가시광선 픽셀 및 적외선 광을 출력하는 복수의 적외선 픽셀을 포함하는 자발광 디스플레이, 상기 자발광 디스플레이의 상측에 배치되고 하나 이상의 복굴절 판, 하나 이상의 액정 소자 및 편광자를 포함하는 투명 커버(cover), 상기 투명 커버의 상측에 배치되고 상기 가시광선 광의 경로를 조정하여 상기 가상 객체 이미지를 출력하는 광 도파관 및 상기 자발광 디스플레이 및 상기 하나 이상의 액정 소자 중의 적어도 하나에 구동 전원 및 제어 신호를 공급하는 제1 제어 회로를 포함하고, 상기 투명 커버는 상기 가시광선 광의 위치를 조정하여 상기 가상 객체 이미지에 대응하는 하나 이상의 조정 이미지를 출력할 수 있다.
다양한 예시적인 실시 예들에 따르면, 웨어러블 전자 장치는 적외선 픽셀을 포함하는 자발광 디스플레이 및 적외선 광을 반사 또는 투과하는 하프 미러를 통해 사용자의 시선을 추적하고 현실 객체를 탐지할 수 있다.
다양한 예시적인 실시 예들에 따르면, 웨어러블 전자 장치는 복굴절 판, 액정 소자 및 편광자를 포함하는 투명 커버를 통해 복수의 조정 이미지를 출력하여 보간 이미지를 생성함으로써 결점 픽셀을 보완할 수 있다.
본 개시의 실시예들의 상기 및 다른 측면들, 특징들 및 장점들은, 첨부된 도면들과 함께 아래의 상세한 설명으로부터 더 명확해질 것이다.
도 1은 다양한 실시 예에 따른 네트워크 환경 내의 예시적인 전자 장치를 도시한 블록도이다.
도 2는 다양한 실시 예에 따른 웨어러블 전자 장치의 구조를 도시한 도면이다.
도 3은 다양한 실시 예에 따른 예시적인 하프 미러를 포함하는 웨어러블 전자 장치의 동작을 나타내는 도면이다.
도 4a 및 도 4b는 다양한 실시 예에 따른 하프 미러의 예시적인 구조 및 광 도파관의 예시적인 구조를 나타내는 도면이다.
도 5는 다양한 실시 예에 따른 웨어러블 전자 장치의 프로세서의 예시적인 동작을 나타내는 도면이다.
도 6a 및 6b는 다양한 실시 예에 따른 웨어러블 전자 장치에 의해 출력된 거리 이미지의 일례를 나타내는 도면이다.
도 7은 다양한 실시 예에 따른 웨어러블 전자 장치에 포함된 투명 커버의 예시적인 구조를 도시한 도면이다.
도 8은 다양한 실시 예에 따른 투명 커버에서 제1 제어 회로의 제어 신호에 따라 출력되는 광을 나타내는 표이다.
도 9는 다양한 실시 예에 따른 투명 커버를 통과한 영상 출력의 예시적인 구성을 나타내는 도면이다.
도 10은 다양한 실시 예에 따른 웨어러블 전자 장치에 의해 생성된 조정 이미지를 나타내는 도면이다.
도 11a 및 도 11b는 다양한 실시 예에 따른 웨어러블 전자 장치에 포함된 자발광 디스플레이에 포함된 적외선 픽셀의 예시적인 분포 형태를 나타낸 도면이다.
이하, 다양한 실시예들을 첨부된 도면들을 참조하여 보다 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 다양한 실시 예에 따른 네트워크 환경 내의 예시적인 전자 장치의 블록도이다.
도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108)와 통신할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시 예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시 예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일 실시 예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다. 비휘발성 메모리(134)는 내장 메모리(built-in memory)(136) 및 외장 메모리(external memory)(138)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일 실시 예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시 예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일 실시 예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시 예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일 실시 예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일 실시 예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일 실시 예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시 예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일 실시 예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일 실시 예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시 예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일실시예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일 실시 예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴을 포함하는 방사체를 포함하는 안테나를 포함할 수 있다. 일 실시 예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
다양한 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일 실시 예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제 1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제 2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일 실시 예에 따르면, 명령 또는 데이터는 제2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104) 간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일 실시 예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시 예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일 실시 예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
도 2는 다양한 실시 예에 따른 예시적인 웨어러블 전자 장치의 구조를 도시한 도면이다.
도 2를 참조하면, 웨어러블 전자 장치(200)(예: 도 1의 전자 장치(101))는 사용자의 안면에 착용되어, 사용자에게 증강 현실 서비스 및/또는 가상 현실 서비스와 관련된 영상을 제공할 수 있다.
일 실시 예에서, 웨어러블 전자 장치(200)는 제1 디스플레이(205), 제2 디스플레이(210), 화면 출력 영역(215a, 215b), 입력 광학 부재(220a, 220b), 제1 투명부재(225a), 제2 투명부재(225b), 조명부(230a, 230b), 제1 PCB(235a), 제2 PCB(235b), 제1 힌지(hinge)(240a), 제2 힌지(240b), 제1 카메라(245), 복수의 마이크(예: 제1 마이크(250a), 제2 마이크(250b), 제3 마이크(250c)), 복수의 스피커(예: 제1 스피커(255a), 제2 스피커(255b)), 배터리(260), 제2 카메라(265a), 및 제3 카메라(265b)를 포함할 수 있다.
일 실시 예에서, 디스플레이(예: 제1 디스플레이(205) 및 제2 디스플레이(210))는, 예를 들면, 액정 표시 장치(liquid crystal display, LCD), 디지털 미러 표시 장치(digital mirror device, DMD), 실리콘 액정 표시 장치(liquid crystal on silicon, LCoS), 유기 발광 다이오드(organic light emitting diode, OLED) 또는 마이크로 엘이디(micro light emitting diode, micro LED) 등을 포함할 수 있으며, 이에 제한되지 않는다. 미도시 되었으나, 디스플레이가 액정 표시 장치, 디지털 미러 표시 장치, 또는 실리콘 액정 표시 장치 중 하나로 이루어지는 경우, 웨어러블 전자 장치(200)는 디스플레이의 화면 출력 영역(215a, 215b)으로 광을 조사하는 광원을 포함할 수 있다. 일 예에서, 디스플레이가 자체적으로 광을 발생시킬 수 있는 경우, 예를 들어, 유기 발광 다이오드 또는 마이크로 엘이디 중 하나로 이루어지는 경우, 웨어러블 전자 장치(200)는 별도의 광원을 포함하지 않더라도 사용자에게 양호한 품질의 가상 영상을 제공할 수 있다. 일 실시 예에서, 디스플레이가 유기 발광 다이오드 또는 마이크로 엘이디로 구현된다면 광원이 불필요하므로, 웨어러블 전자 장치(200)가 경량화될 수 있다. 이하에서는, 자체적으로 광을 발생시킬 수 있는 디스플레이는 자발광 디스플레이로 지칭되며, 자발광 디스플레이를 전제로 설명된다.
본 발명의 다양한 실시예들에 따른 디스플레이(예: 제1 디스플레이(205) 및 제2 디스플레이(210))는 적어도 하나의 마이크로 LED(micro light emitting diode)로 구성될 수 있다. 예컨대, 마이크로 LED는 자체 발광으로 적색(R, red), 녹색(G, green), 및 청색(B, blue)을 표현할 수 있으며, 크기가 작아(예: 100㎛ 이하), 칩 하나가 하나의 픽셀(예: R, G, 및 B 중 하나)을 구현할 수 있다. 이에 따라, 디스플레이가 마이크로 LED로 구성되는 경우, 백라이트유닛(BLU: back light unit) 없이 높은 해상도를 제공할 수 있다.
이에 한정하는 것은 아니며, 하나의 픽셀은 R, G, 및 B를 포함할 수 있으며, 하나의 칩은 R, G, 및 B를 포함하는 픽셀이 복수개로 구현될 수 있다.
일 실시 예에서, 디스플레이(예: 제1 디스플레이(205) 및 제2 디스플레이(210))는 가상의 영상을 표시하기 위한 픽셀(pixel)들을 포함할 수 있다. 디스플레이는 적외선 광을 방출하는 적외선 픽셀들을 더 포함할 수 있다.
일 실시 예에서, 디스플레이는 픽셀들 사이에 배치되는 사용자의 눈에서 반사되는 광을 수광하여 전기 에너지로 변환하고 출력하는 수광 픽셀(예: 포토 센서 픽셀(photo sensor pixel))들을 더 포함할 수 있다. 수광 픽셀은 시선 추적 센서로 지칭될 수 있다. 시선 추적 센서는 디스플레이에 포함된 적외선 픽셀에 의해 방출된 광이 사용자의 눈에 의해 반사된 적외선 광을 감지할 수 있다.
일 실시 예에서, 웨어러블 전자 장치(200)는 수광 픽셀들을 통해 사용자의 시선 방향(예: 눈동자 움직임)을 검출할 수 있다. 예컨대, 웨어러블 전자 장치(200)는 제1 디스플레이(205)의 하나 이상의 수광 픽셀들 및 제2 디스플레이(210)의 하나 이상의 수광 픽셀들을 통해 사용자의 우안에 대한 시선 방향 및 사용자의 좌안에 대한 시선 방향을 검출하고 추적할 수 있다. 웨어러블 전자 장치(200)는 하나 이상의 수광 픽셀들을 통해 검출되는 사용자의 우안 및 좌안의 시선 방향(예: 사용자의 우안 및 좌안의 눈동자가 응시하는 방향)에 따라 가상 영상의 중심의 위치를 결정할 수 있다.
일 실시 예에서, 디스플레이에 수광 픽셀이 포함되는 대신, 사용자의 눈에 의해 반사된 적외선 광은 별도의 시선 추적 카메라(예: IR LED 감지 센서)에 의해 감지될 수도 있다.
제1 디스플레이(205) 및 제2 디스플레이(210)는 각각 제1 제어 회로(미도시)를 포함할 수 있다. 제1 제어 회로는 제1 디스플레이(205) 및 제2 디스플레이(210)를 제어할 수 있다. 제1 제어 회로는 제1 디스플레이(205) 및 제2 디스플레이(210)에 포함된 투명 커버(미도시)의 액정 소자의 동작을 제어할 수 있다.
일 실시 예에서, 디스플레이(예: 제1 디스플레이(205) 및 제2 디스플레이(210))로부터 방출되는 광은 렌즈(미도시) 및 웨이브가이드(waveguide)를 거쳐 사용자의 우안(right eye)에 대면하게 배치되는 제1 투명부재(225a)에 형성된 화면 출력 영역(215a) 및 사용자의 좌안(left eye)에 대면하게 배치 제2 투명부재(225b)에 형성된 화면 출력 영역(215b)에 도달할 수 있다. 예컨대, 디스플레이(예: 제1 디스플레이(205) 및 제2 디스플레이(210))로부터 방출되는 광은 입력 광학 부재(220a, 220b)와 화면 출력 영역(215a, 215b)에 형성된 웨이브가이드의 그레이팅 영역(grating area)에 반사되어 사용자의 눈에 전달될 수 있다. 제1 투명 부재(225a) 및/또는 제2 투명 부재(225b)는 글래스 플레이트, 플라스틱 플레이트, 또는 폴리머로 형성될 수 있으며, 투명 또는 반투명하게 제작될 수 있다.
일 실시 예에서, 렌즈(미도시)는 디스플레이(예: 제1 디스플레이(205) 및 제2 디스플레이(210))의 전면에 배치될 수 있다. 렌즈(미도시)는 오목 렌즈 및/또는 볼록 렌즈를 포함할 수 있다. 예컨대, 렌즈(미도시)는 프로젝션 렌즈(projection lens) 또는 콜리메이션 렌즈(collimation lens)를 포함할 수 있다.
일 실시 예에서, 화면 출력 영역(215a, 215b) 또는 투명 부재(예: 제1 투명 부재(225a), 제2 투명 부재(225b))는 웨이브가이드(waveguide)를 포함하는 렌즈, 반사형 렌즈를 포함할 수 있다. 웨이브가이드는 광 도파관 또는 광 도파로로 지칭될 수 있다. 웨이브가이드는 외부의 광이 입사되고 전반사되고 방출되는 경로이며, 단순히 외부의 광이 반사되거나 투과하는 제1 투명 부재(225a) 및 제2 투명 부재(225b)와 구별될 수 있다.
일 실시 예에서, 웨이브가이드는 글래스, 플라스틱, 또는 폴리머로 제작될 수 있으며, 내부 또는 외부의 일표면에 형성된 나노 패턴, 예를 들어, 다각형 또는 곡면 형상의 그레이팅 구조(grating structure)를 포함할 수 있다. 일 실시 예에 따르면, 입력 광학 부재(220a, 220b)를 통하여 웨이브가이드의 일단으로 입사된 광은 나노 패턴에 의해 디스플레이 웨이브가이드 내부에서 전파되어 사용자에게 제공될 수 있다. 일 실시 예에서, 프리폼(free-form)형 프리즘으로 구성된 웨이브가이드는 입사된 광을 반사 미러를 통해 사용자에게 제공될 수 있다. 웨이브가이드는 적어도 하나의 회절 요소 예컨대, DOE(diffractive optical element), HOE(holographic optical element)) 또는 반사 요소(예: 반사 거울) 중 적어도 하나를 포함할 수 있다. 일 실시 예에서, 웨이브가이드는 웨이브가이드에 포함된 적어도 하나의 회절 요소 또는 반사 요소를 이용하여 제1 디스플레이(205) 및 제2 디스플레이(210)로부터 방출되는 광을 사용자의 눈으로 유도할 수 있다.
다양한 실시예들에 따라, 회절 요소는 입력 광학 부재(220a, 220b) 및/또는 출력 광학 부재(미도시)를 포함할 수 있다. 예컨대, 입력 광학 부재(220a, 220b)는 입력 그레이팅 영역(input grating area)을 의미할 수 있으며, 출력 광학 부재(미도시)는 출력 그레이팅 영역(output grating area)을 의미할 수 있다. 입력 그레이팅 영역은 디스플레이(예: 제1 디스플레이(205) 및 제2 디스플레이(210))(예: 마이크로 LED)로부터 출력되는 광을 화면 출력 영역(215a, 215b)로 광을 전달하기 위해 회절(또는 반사)시키는 입력단 역할을 할 수 있다. 출력 그레이팅 영역은 웨이브가이드에 전달된 광을 사용자의 눈으로 회절(또는 반사)시키는 출구 역할을 할 수 있다.
웨이브가이드는 광이 지나가는 통로로서 기능할 수 있다. 웨이브가이드는 입력 광학 부재(220a, 220b) 및 출력 광학 부재(미도시)를 포함할 수 있다. 웨이브가이드에서 광이 전반사되는 영역은 입력 광학 부재(220a, 220b) 및 출력 광학 부재(미도시)와 결합되어 형성될 수도 있고 분리되어 형성될 수도 있다.
다양한 실시예들에 따라, 반사 요소는 전반사(total internal reflection, TIR)를 위한 전반사 광학 소자 또는 전반사 도파관을 포함할 수 있다. 예컨대, 전반사는 광을 유도하는 하나의 방식으로, 입력 그레이팅 영역을 통해 입력되는 광(예: 가상 영상)이 웨이브가이드의 일면(예: 특정 면)에서 100% 반사되도록 입사각을 만들어, 출력 그레이팅 영역까지 100% 전달되도록 하는 것을 의미할 수 있다.
일 실시 예에서, 디스플레이(205, 210)로부터 방출되는 광은 입력 광학 부재(220a, 220b)를 통해 웨이브가이드로 광 경로가 유도될 수 있다. 웨이브가이드 내부를 이동하는 광은 출력 광학 부재를 통해 사용자 눈 방향으로 유도될 수 있다. 화면 출력 영역(215a, 215b)는 사용자의 눈 방향으로 방출되는 광에 기반하여 결정될 수 있다.
일 실시 예에서, 제1 카메라(245)는 HR(high resolution) 또는 PV(photo video)로 지칭될 수 있으며, 고해상도의 카메라를 포함할 수 있다. 제1 카메라(245)는 AF(auto focus) 기능과 떨림 보정(OIS(optical image stabilizer))과 같은 고화질의 영상을 얻기 위한 기능들이 구비된 칼라(color) 카메라를 포함할 수 있다. 이에 한정하는 것은 아니며, 제1 카메라(245)는 GS(global shutter) 카메라 또는 RS(rolling shutter) 카메라를 포함할 수 있다.
일 실시 예에서, 제2 카메라(265a) 및 제3 카메라(265b)는 3DoF(3 degrees of freedom), 6DoF의 헤드 트래킹(head tracking), 핸드(hand) 검출과 트래킹(tracking), 제스처(gesture) 및/또는 공간 인식을 위해 사용되는 카메라를 포함할 수 있다. 예컨대, 제2 카메라(265a) 및 제3 카메라(265b)는 헤드 및 핸드의 움직임을 검출하고, 움직임을 추적하기 위해 GS(global shutter) 카메라를 포함할 수 있다.
일 실시 예에서, 적어도 하나의 센서(미도시)(예: 자이로 센서, 가속도 센서, 지자기 센서, 및/또는 제스처 센서), 제2 카메라(265a), 및 제3 카메라(265b)는 6DoF를 위한 헤드 트래킹(head tracking), 움직임 감지와 예측(pose estimation & prediction), 제스처 및/또는 공간 인식, 및/또는 뎁스(depth) 촬영을 통한 슬램(SLAM: simultaneous localization and mapping) 기능 중 적어도 하나를 수행할 수 있다.
일 실시 예에서, 제2 카메라(265a) 및 제3 카메라(265b)는 헤드 트래킹을 위한 카메라와 핸드 트래킹을 위한 카메라로 구분되어 사용될 수 있다.
일 실시 예에서, 조명부(230a, 230b)는 생략될 수 있다. 조명부(230a, 230b)는 제1 디스플레이(205), 제2 디스플레이(210)에 포함된 적외선 픽셀에 의해 대체될 수 있다. 일 실시 예에서, 조명부(230a, 230b)는 웨어러블 전자 장치(200)에 포함되어 제1 디스플레이(205), 제2 디스플레이(210)에 포함된 적외선 픽셀을 보조할 수도 있다. 조명부(230a, 230b)는 부착되는 위치에 따라 용도가 상이할 수 있다. 예컨대, 조명부(230a, 230b)는 프레임(frame) 및 템플(temple)을 이어주는 힌지(hinge)(예: 제1 힌지(240a), 제2 힌지(240b)) 주변이나 프레임을 연결해 주는 브릿지(bridge) 주변에 장착된 제2 카메라(265a) 및 제3 카메라(265b)와 함께 부착될 수 있다. GS 카메라로 촬영하는 경우, 조명부(230a, 230b)는 주변 밝기를 보충하는 수단으로 사용될 수 있다. 예컨대, 어두운 환경이나 여러 광원의 혼입 및 반사 광 때문에 촬영하고자 하는 피사체 검출이 용이하지 않을 때, 조명부(230a, 230b)가 사용될 수 있다.
일 실시 예에서, PCB(예: 제1 PCB(235a), 제2 PCB(235b))에는 제1 디스플레이(205), 제2 디스플레이(210)를 제외한 웨어러블 전자 장치(200)를 구성하는 구성요소를 제어하는 제2 제어 회로(미도시)가 위치할 수 있다. 제2 제어 회로는 제1 디스플레이(205), 제2 디스플레이(210) 이외의 다른 구성요소들을 제어하고 깊이값 추정과 같은 연산을 수행할 수 있다. 제2 제어 회로는 통신 회로(예: 도 1의 통신 모듈(190)) 또는 메모리(예: 도 1의 메모리(130))를 포함할 수 있다. 일 실시 예에서, 제1 제어 회로와 제2 제어 회로는 하나로 통합되어 구성될 수 있다. 예를 들어 통합된 제어 회로는, 제1 디스플레이(205), 제2 디스플레이 및/또는 다른 구성요소들을 제어할 수 있다.
일 실시 예에서, 복수의 마이크(예: 제1 마이크(250a), 제2 마이크(250b), 제3 마이크(250c))는 외부의 음향 신호를 전기적인 음성 데이터로 처리할 수 있다. 처리된 음성 데이터는 웨어러블 전자 장치(200)에서 수행 중인 기능(또는 실행 중인 어플리케이션)에 따라 다양하게 활용될 수 있다.
일 실시 예에서, 복수의 스피커(예: 제1 스피커(255a), 제2 스피커(255b))는 통신 회로(예: 도 1의 통신 모듈(190)로부터 수신되거나 메모리(예: 도 1의 메모리(130))에 저장된 오디오 데이터를 출력할 수 있다.
일 실시 예에서, 배터리(260)는 하나 이상 포함할 수 있으며, 웨어러블 전자 장치(200)를 구성하는 구성요소들에 전원을 공급할 수 있다.
이하에서는 도 3내지 도 9를 참조하여 웨어러블 전자 장치(300)의 구조 및 광 출력 원리에 대하여 자세히 설명한다.
도 3은 다양한 실시 예에 따른 하프 미러를 포함하는 웨어러블 전자 장치의 예시적인 동작을 나타내는 도면이다.
도 3을 참조하면, 웨어러블 전자 장치(300)는 자발광 디스플레이(361, 362), 스테레오 카메라(351, 352)(예: 도 2의 제2 카메라(265a) 및 제3 카메라(265b)), 광 도파관(313, 315) 및 제1 제어 회로(미도시)(예: 도 2의 제1 디스플레이(205) 및 제2 디스플레이(210)의 내부에 포함된 제어 회로)를 포함할 수 있다. 광 도파관(313, 315)은 투명 부재(371, 372)의 내부에 포함될 수 있다. 제1 제어 회로는 자발광 디스플레이(361, 362)(예: 도 2의 제1 디스플레이(205) 및 제2 디스플레이(210))에 구동 전원 및 제어 신호를 공급할 수 있다. 웨어러블 전자 장치(300)는 제2 제어 회로(미도시)(예: 도 2의 제1 PCB(235a), 제2 PCB(235b))를 더 포함할 수 있다. 제2 제어 회로는 스테레오 카메라(351, 352)에 구동 전원 및 제어 신호를 공급할 수 있다. 다만, 제1 제어 회로 및 제2 제어 회로의 구분은 예시에 불과하며, 하나의 제어 회로가 자발광 디스플레이 및 다른 구성 요소들을 제어할 수도 있고, 3개 이상의 제어 회로가 웨어러블 전자 장치(300)의 구성 요소들을 제어할 수도 있다.
스테레오 카메라(351, 352)는 적외선 광을 감지할 수 있다. 스테레오 카메라(351, 352)는 웨어러블 전자 장치(300)의 안경테 또는 안경 다리에 배치될 수도 있다. 스테레오 카메라(351, 352)는 투명 부재(371, 372)의 안쪽에 배치될 수도 있고, 이 경우에 스테레오 카메라(351, 352)의 렌즈는 투명 부재(371, 372)의 일부를 형성할 수 있다.
자발광 디스플레이(361, 362)는 복수의 가시광선 픽셀 및 복수의 적외선 픽셀을 포함할 수 있다. 가시광선 픽셀은 R, G, B 픽셀을 포함할 수 있다. 가시광선 픽셀은 가상 객체 이미지에 대응하는 가시광선 광을 출력할 수 있다. 적외선 픽셀은 적외선 광을 출력할 수 있다.
자발광 디스플레이(361, 362)의 마이크로 LED(391)와 입력 광학 부재(311) 사이에 프로젝션 렌즈(381)가 배치되고, 마이크로 LED(391)와 프로젝션 렌즈(381) 사이에 투명 커버(393)가 배치되고, 프로젝션 렌즈(381)와 투명 커버(393) 사이에 마이크로 렌즈(392)가 배치될 수 있다. 마이크로 렌즈(392)는 마이크로 LED(391)에서 출력되는 광의 효율 및 세기를 높일 수 있다. R,G,B 픽셀들 사이에는 격벽(미도시)이 설치될 수 있고, 격벽은 R,G,B 픽셀 각각에서 방출된 광과 인접한 픽셀의 광의 혼합 및 반사를 줄임으로써 마이크로 렌즈(392)를 통과하는 광의 효율 및 세기를 높일 수 있다.
자발광 디스플레이(361, 362)로부터 출력된 적외선 광은 입력 광학 부재(311, 312)에 입사되고, 하프 미러에 의해 적외선 반사광(304) 및 적외선 투과광(301)으로 분리될 수 있다. 적외선 반사광(304)는 사용자의 눈(331, 332) 쪽으로 직접 출력될 수 있다. 적외선 반사광(305)은 광 도파관(313, 315)을 거쳐 출력 광학 부재(314, 316)을 통해 사용자의 눈(331, 332) 쪽으로 출력될 수도 있다. 적외선 투과광(301)은 현실 세계 쪽으로 출력될 수 있다.
투명 부재(371, 372)는 글래스 플레이트, 플라스틱 플레이트 또는 폴리머로 형성될 수 있으며, 투명 또는 반투명하게 제작될 수 있다. 투명 부재 (371, 372)의 각각은 사용자의 양안에 각각 대면하게 배치될 수 있다. 투명 부재(371, 372)는 광 도파관(313, 315)을 포함할 수 있다. 투명 부재(371, 372)는 입력 광학 부재(311, 312)를 포함할 수 있다. 도 3에서는 광 도파관(313, 315)과 입력 광학 부재(311, 312)가 분리된 것으로 표현되었지만 이는 예시에 불과하며, 입력 광학 부재(311, 312)는 광 도파관(313, 315)의 내부에 포함될 수도 있다. 또한, 도 3에서는 출력 광학 부재(314, 316)가 광 도파관(313, 315)의 내부에 포함된 것으로 표현되었지만 이는 예시에 불과하며, 출력 광학 부재(314, 316)는 광 도파관(313, 315)과 분리되어 형성될 수도 있다. 또한, 출력 광학 부재(314, 316)는 광 도파관(313, 315) 전체를 포함할 수도 있다.
광 도파관(313, 315)은 가시광선 광의 경로를 조정하여 가상 객체 이미지를 출력할 수 있다. 광 도파관(313, 315)은 출력 광학 부재(314, 316)를 포함할 수 있다. 자발광 디스플레이(361, 362)로부터 출력된 가시광선 광 및 적외선 광은 마이크로 렌즈(392)를 거쳐 입력 광학 부재(311, 312)로 입사될 수 있다. 입력 광학 부재(311, 312)로 입사된 광 중에서 가시광선 광(302)은 광 도파관(313, 315)을 통해 전반사되어 출력 광학 부재(314, 316)로 유도될 수 있다. 출력 광학 부재(314, 316)에서 가시광선 광(302)은 사용자의 눈(331, 332) 쪽으로 출력될 수 있다.
하프 미러는 입력 광학 부재(311, 312)에 배치될 수 있다. 하프 미러는 자발광 디스플레이(361, 362)로부터 출력된 적외선 광으로부터 적외선 반사광 및 적외선 투과광을 출력할 수 있다. 하프 미러는 격자 구조를 포함할 수 있다. 격자 구조는 출력된 적외선 광의 일부를 반사하여 직접 사용자의 눈(331, 332)을 향하는 적외선 반사광(304) 또는 광 도파관(313, 315)을 거쳐 출력 광학 부재(314, 316)을 통해 사용자의 눈(331, 332)을 향하는 적외선 반사광(305)을 출력하고, 적외선 광의 다른 일부를 투과시켜 적외선 투과광(301)을 출력할 수 있다.
웨어러블 전자 장치(300)는 자발광 디스플레이(361, 362)로부터 출력된 적외선 광을 이용하여 시선 추적을 수행할 수 있다. 웨어러블 전자 장치(300)는 제2 제어 회로(미도시) 및 시선 추적 센서(미도시)를 더 포함할 수 있다. 제2 제어 회로는, 예를 들어,도 1의 프로세서(120), 도 2의 제1 PCB(235a), 제2 PCB(235b)의 내부에 포함될 수 있다 시선 추적 센서는 자발광 디스플레이(361, 362)의 내부에 포함되거나 별도의 시선 추적 카메라에 포함될 수 있다. 시선 추적 센서는 적외선 반사광(304)에 의해 사용자의 안구로부터 반사된 제1 반사광을 감지할 수 있다. 제2 제어 회로는 시선 추적 센서의 감지 결과를 기초로 사용자의 시선을 추적할 수 있다.
웨어러블 전자 장치(300)는 자발광 디스플레이(361, 362)로부터 출력된 적외선 광을 이용하여 현실 객체까지의 거리를 추정할 수 있다. 적외선 투과광(301)은 현실 객체로 입사되고 일부는 현실 객체로부터 반사될 수 있다. 스테레오 카메라(351, 352)는 적외선 투과광(301)에 의해 현실 객체로부터 반사된 제2 반사광을 감지할 수 있다. 제2 제어 회로는 스테레오 카메라(351, 352)의 감지 결과를 기초로 현실 객체까지의 거리를 추정할 수 있다.
제2 제어 회로는 추정된 거리를 나타내는 거리 이미지를 생성할 수 있다. 제2 제어 회로는 거리 이미지와 가상 객체 이미지를 합성하여 합성 이미지를 생성할 수 있다. 합성 이미지는 자발광 디스플레이(361, 362) 및 광 도파관(313, 315)을 통해 사용자에게 제공될 수 있다.
자발광 디스플레이(361, 362)에 포함된 적외선 픽셀은 가시광선 픽셀과 독립적으로 제어될 수 있다. 제1 제어 회로는 적외선 픽셀에 구동 전력을 공급하거나 공급하지 않음으로써 적외선 픽셀의 온/오프를 제어할 수 있다. 예를 들어, 제1 제어 회로는 디스플레이 구동 칩(DDI, display driver IC)일 수 있다. 예를 들어, 저조도 환경에서 적외선 픽셀은 적외선 광을 출력하여 스테레오 카메라(351, 352)의 현실 객체 탐지를 보조할 수 있다. 고조도 환경에서 적외선 픽셀의 구동 전력이 차단됨으로써 웨어러블 전자 장치(300)의 소비 전력은 절감될 수 있다. 다만, 이들은 예시에 불과하며 다양한 조건으로 적외선 픽셀은 제어될 수 있다. 또한, 적외선 픽셀은 사용자의 조작에 의해 수동으로 제어될 수도 있다.
웨어러블 전자 장치(300)는 제어 렌즈(341, 342)를 더 포함할 수 있다. 제어 렌즈(341, 342)는 적외선 투과광(301)의 화각을 조정할 수 있다. 제어 렌즈(341, 342)는 입력 광학 부재(311, 312)의 상측에 배치될 수 있다. 제어 렌즈(341, 342)는 입력 광학 부재(311, 312)의 내부에서 하프 미러의 상측에 배치될 수도 있다. 제어 렌즈(341, 342)는 입력 광학 부재(311, 312)의 내부에 포함된 하프 미러의 일부를 구성할 수도 있다.
웨어러블 전자 장치(300)(예: 도 2의 웨어러블 전자 장치(200))는 사용자에게 증강 현실을 제공할 수 있다. 웨어러블 전자 장치(300)는 디스플레이로부터 출력되는 가상 객체 이미지를 광 도파관(313, 315)을 통해 사용자의 눈 쪽으로 전달하는 동시에 투명한 광 도파관(313, 315)을 통해 현실 세계(real world)의 이미지를 제공할 수 있다. 여기서, 웨어러블 전자 장치(300)는 AR 글래스(augmented reality glass)를 포함할 수 있다.
일 실시 예에 따르면, 웨어러블 전자 장치(300)는 적외선 픽셀을 포함하는 자발광 디스플레이(361, 362)를 이용하여 적외선 광을 출력할 수 있다. 웨어러블 전자 장치(300)는 자발광 디스플레이(361, 362)로부터 출력된 적외선 광을 이용하여 사용자의 시선을 추적할 수 있다. 또한, 웨어러블 전자 장치(300)는 자발광 디스플레이(361, 362)로부터 출력된 적외선 광을 이용하여 현실 객체까지의 거리를 추정할 수 있다. 여기서, 자발광 디스플레이(361, 362)는 마이크로 LED(micro light emitting diodes) 또는 OLED(organic light emitting diodes)를 포함할 수 있다.
웨어러블 전자 장치(300)는 하프 미러(half mirror)를 통해 자발광 디스플레이(361, 362)로부터 출력된 적외선 광을 반사하거나 투과할 수 있다. 일 실시 예에서, 웨어러블 전자 장치(300)는 하프 미러(미도시)에 의해 반사된 적외선 반사광(304)을 사용자의 눈(331, 332) 쪽으로 직접 출력하거나 또는 광 도파관(313, 315)를 경유한 적외선 반사광(305)을 사용자의 눈(331, 332) 쪽으로 출력할 수 있다. 일 실시 예에서, 웨어러블 전자 장치(300)는 하프 미러를 투과하는 적외선 투과광(301)을 현실 객체 쪽으로 출력할 수 있다.
하프 미러의 반사율과 투과율은 조정될 수 있다. 예를 들어, 하프 미러는 적외선 광에 대해 30%의 반사율(예를 들어, 사용자의 눈 쪽으로 반사)과 70%의 투과율(예를 들어, 현실 객체 쪽으로 출력)을 가질 수 있다. 다만, 이러한 반사율과 투과율은 예시에 불과하며 다양한 비율로 조정될 수 있다. 하프 미러는 광 도파관(313, 315)의 입력 광학 부재(311, 312)에 배치될 수 있다. 하프 미러는 입력 광학 부재(311, 312)의 내부 또는 하측에 배치될 수 있다. 하프 미러는 격자 구조를 포함할 수 있다.
일 실시 예에서, 웨어러블 전자 장치(300)는 자발광 디스플레이(361, 362)에 포함된 적외선 픽셀과 하프 미러를 통해 사용자의 눈(331, 332) 쪽으로 적외선 반사광(304)을 출력할 수 있다. 적외선 반사광(304)은 사용자의 눈(331, 332)에서 반사되고, 시선 추적 센서(미도시)는 반사된 광을 검출할 수 있다. 적외선 픽셀을 포함하는 자발광 디스플레이(361, 362) 및 광 도파관(313, 315)에 포함된 하프 미러는 시선 추적을 위한 별도의 적외선 광원을 대체할 수 있다. 별도의 적외선 광원을 생략함으로써 웨어러블 전자 장치(300)는 경량화될 수 있고 소비 전력을 줄일 수 있다.
일 실시 예에서, 웨어러블 전자 장치(300)는 자발광 디스플레이(361, 362)를 통해 적외선 광을 출력하고 스테레오 카메라(351, 352)를 통해 현실 객체로부터 반사된 광을 검출할 수 있다. 웨어러블 전자 장치(300)는 검출 결과를 기초로 현실 객체까지의 거리를 추정할 수 있다. 예를 들어, 웨어러블 전자 장치(300)는 깊이값을 측정하거나 ToF(time of flight) 방식을 이용하여 현실 객체까지의 거리를 추정할 수 있다.
적외선 픽셀을 포함하는 자발광 디스플레이(361, 362) 및 광 도파관(313, 315)에 포함된 하프 미러는 현실 객체의 탐지를 위한 별도의 적외선 광원을 대체할 수 있다. 별도의 적외선 광원을 생략함으로써 웨어러블 전자 장치(300)는 경량화될 수 있고 소비 전력을 줄일 수 있다. 또한, 적외선 픽셀을 포함하는 자발광 디스플레이(361, 362)는 보조 광원으로서 역할을 하여 저조도 환경에서 스테레오 카메라(351, 352)의 화질을 높이고 깊이 정보의 정확도를 높일 수 있다.
웨어러블 전자 장치(300)는 스테레오 카메라(351, 352)에 의해 감지된 반사광을 기초로 현실 객체까지의 거리를 나타내는 거리 이미지를 생성할 수 있다. 웨어러블 전자 장치(300)는 거리 이미지를 사용자에게 출력할 수 있다. 웨어러블 전자 장치(300)는 거리 이미지를 통해 현실 객체와의 충돌을 경고할 수 있다.
웨어러블 전자 장치(300)는 가상 객체 이미지와 함께 거리 이미지를 출력할 수 있다. 웨어러블 전자 장치(300)는 가상 객체 이미지와 거리 이미지를 합성하여 합성 이미지를 생성할 수 있다. 웨어러블 전자 장치(300)는 합성 이미지를 통해 사용자에게 증강 현실을 제공하면서도 현실 객체와의 충돌을 경고할 수 있다.
웨어러블 전자 장치(300)는 현실 객체까지의 거리가 임계 거리 미만인 경우 거리 이미지 또는 거리 이미지를 포함하는 합성 이미지를 출력할 수 있다. 예를 들어, 현실 객체까지의 거리가 가까워질수록 합성 이미지의 크기가 커지거나 합성 이미지의 불투명도가 커질 수 있다. 다른 예로, 현실 객체까지의 거리가 가까워질수록 합성 이미지의 색상은 진해질 수 있다.
사용자에게 현실 객체를 경고하기 위해 웨어러블 전자 장치(300)는 다양한 형태의 알림 정보를 출력할 수 있다. 예를 들어, 알림 정보는 텍스트, 이미지, 경고음 또는 진동을 포함할 수 있다. 웨어러블 전자 장치(300)는 내부에 포함된 음향 출력 모듈, 또는 웨어러블 전자 장치(300)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 모바일 단말기)(예: 스피커 또는 헤드폰)를 통해 경고음을 출력할 수 있다. 웨어러블 전자 장치(300)는 내부에 포함된 햅틱 모듈을 통해 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극을 출력할 수 있다. 또는 웨어러블 전자 장치(300)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 모바일 단말기)를 통해 기계적인 자극 또는 전기적인 자극을 출력할 수 있다.
웨어러블 전자 장치(300)는 하프 미러를 투과하는 적외선 투과광(301)이 지나가는 경로에 제어 렌즈(341, 342)를 포함할 수 있다. 제어 렌즈(341, 342)는 적외선 투과광(301)의 화각을 미리 정해진 각도로 조정할 수 있다. 제어 렌즈(341, 342)는 적외선 투과광(301)의 화각을 조정함으로써 탐지 범위를 조정할 수 있고 현실 객체로부터 반사되는 반사광의 세기를 조정할 수 있다.
자발광 디스플레이(361, 362)에는 적외선 픽셀 또는 적외선 센싱 픽셀이 포함될 수 있다. 가시광선 픽셀 사이의 적외선 픽셀 또는 적외선 센싱 픽셀로 인해 결점 픽셀(defect pixel)이 사용자에게 인식될 수 있다. 여기서, 적외선 센싱 픽셀은 별도의 적외선 센싱용 카메라 대신 사람의 눈으로부터 반사되는 적외선을 감지할 수 있다. 사람의 눈은 적외선 영역은 감지하지 못하므로, 적외선 픽셀 또는 적외선 센싱 픽셀에 대응하여 가상 객체 이미지 내부에 결점 픽셀이 발생할 수 있다.
일 실시 예에 따르면, 웨어러블 전자 장치(300)는 자발광 디스플레이(361, 362)와 광 도파관(313, 315) 사이에 투명 커버(393)(cover)를 포함할 수 있다. 투명 커버(393)는 자발광 디스플레이(361, 362)의 상측 및 입력 광학 부재(311, 312)의 하측에 배치될 수 있다. 투명 커버(393)는 자발광 디스플레이(361, 362)와 입력 광학 부재(311, 312) 사이에 배치될 수 있다. 자발광 디스플레이(361, 362)의 마이크로 LED(391) 다음에 마이크로 렌즈(392)가 배치되고, 마이크로 렌즈(392) 다음에 투명 커버(393)가 배치되고, 투명 커버(393) 다음에 프로젝션 렌즈(381)가 배치되고, 프로젝션 렌즈(381) 다음에 입력 광학 부재(311, 312)가 배치될 수 있다. 웨어러블 전자 장치(300)는 투명 커버(393)를 통해 가상 객체 이미지의 위치를 조정하여 복수의 조정 이미지를 출력할 수 있다. 웨어러블 전자 장치(300)는 가상 객체 이미지를 상이한 방향으로 서브 픽셀(sub-pixel) 단위로 이동(shift)시킴으로써 복수의 조정 이미지를 출력할 수 있다.
투명 커버(393)는 하나 이상의 복굴절 판, 하나 이상이 액정 소자 및/또는 편광자를 포함할 수 있다. 복굴절 판은 자발광 디스플레이(361, 362)로부터 출력된 광을 상광선과 이상광선으로 분리할 수 있다. 액정 소자는 전원의 공급 여부에 따라 광의 편광 상태를 변환하거나 유지할 수 있다. 편광자는 복굴절 판과 액정 소자에 의해 상이한 위치 및/또는 편광 상태를 가지는 복수의 광을 필터링할 수 있다. 웨어러블 전자 장치(300)는 액정 소자를 제어하여 가상 객체 이미지를 상이한 방향으로 서브 픽셀 단위로 이동된 복수의 조정 이미지를 출력할 수 있다.
결점 픽셀을 완화하기 위하여, 웨어러블 전자 장치(300)는 복수의 조정 이미지를 각각 서로 다른 타이밍(timing)에 출력할 수 있다. 웨어러블 전자 장치(300)는 하나 이상의 액정 소자를 제어하여 복수의 조정 이미지를 각각 서로 다른 타이밍에 출력할 수 있다. 서로 다른 타이밍에 점멸되는 복수의 조정 이미지는 사용자에게 하나의 보간(interpolation)된 이미지로 인식될 수 있다. 이처럼, 웨어러블 전자 장치(300)는 가상 객체 이미지를 서브 픽셀(sub-pixel) 단위로 이동한 복수의 조정 이미지를 통해 결점 픽셀을 완화할 수 있다.
보간 이미지를 형성하는 실시예는 도 7 내지 도 10에서 더욱 자세하게 설명된다.
도 4a 및 도 4b는 다양한 실시 예에 따른 하프 미러의 예시적인 구조 및 광 도파관의 예시적인 구조를 나타내는 도면이다.
도 4a를 참조하면, 하프 미러(410)의 개략적인 구조가 도시된다. 하프 미러(410)는 서로 다른 굴절률을 가지는 두 개의 투명한 레이어를 포함할 수 있다. 두 개의 레이어 사이에는 격자 구조가 포함될 수 있다. 예를 들어, 격자 구조는 두 개의 레이어 사이에 코팅(coating)될 수 있다. 다른 예를 들어, 격자 구조는 두 개의 레이어 중의 하나의 일부의 내부 또는 외부의 일 표면을 형성할 수도 있다. 격자 구조는 나노 패턴일 수 있으며, 예를 들어, 다각형 또는 곡면의 형상을 가질 수 있다.
하프 미러(410)는 도 4b의 광 도파관(460)에 포함될 수도 있고, 제어 렌즈(470)에 포함될 수 있다. 하프 미러(410)는 제어 렌즈(470)의 후면(471) 또는 전면(미도시)에 배치될 수도 있다. 하프 미러(410)는 그레이팅(grating) 구조로 형성될 수도 있고 코팅 방식으로 형성될 수도 있다. 예를 들어, 하프 미러(410)는 광 도파관(460)과 제어 렌즈(470) 사이에 코팅될 수 있다.
하프 미러(410)의 반사율은 파장에 따라 조정될 수 있다. 하프 미러(410)는 가시광선 광에 대해 높은 반사율을 가질 수 있다. 예를 들어, 하프 미러(410)는 가시광선 광에 대해 90%의 반사율을 가질 수 있다. 다만, 이는 예시이며 다양한 값의 반사율이 설정될 수 있다. 하프 미러(410)에서 가시광선 광은 대부분 반사되고 광 도파관을 통해 전반사되어 출력 광학 부재로 전달될 수 있다.
하프 미러(410)는 적외선 광에 대해 중간 수준의 반사율을 가질 수 있다. 예를 들어, 하프 미러(410)는 적외선 광에 대해 30% 내지 50%의 반사율을 가질 수 있다. 다만, 이는 예시이며 다양한 값의 반사율이 설정될 수 있다. 하프 미러(410)에서 반사된 적외선 반사광(411)은 사용자의 눈을 향해 직접 출력되거나 광 도파관(460)을 거쳐 출력 광학 부재(480)를 통해 사용자의 눈을 향해 출력되어(예: 도 4b의 적외선 광(482)과 유사하게) 시선 추적을 위해 검출될 수 있다. 하프 미러(410)에서 투과된 적외선 투과광(412)은 현실 세계를 향해 출력되어 현실 객체까지의 거리를 추정하기 위해 검출될 수 있다.
도 4b를 참조하면, 하프 미러(410)를 포함하는 광 도파관(460)의 개략적인 구조가 도시된다. 광 도파관(460)은 입력 광학 부재(450) 및 출력 광학 부재(480)(예: 도 3의 출력 광학 부재(314, 316))를 포함할 수 있다. 입력 광학 부재(450)는 입력 그레이팅 영역(input grating area)을 의미할 수 있다. 입력 광학 부재(450)는 자발광 디스플레이로부터 출력되는 광을 회절(또는 반사)시키는 입력단 역할을 할 수 있다. 광 도파관(460)은 입력 광학 부재(450)로부터 입력된 광을 전반사를 통해 출력 광학 부재(480)로 전달할 수 있다. 출력 광학 부재(480)는 출력 그레이팅 영역(output grating area)을 의미할 수 있다. 출력 광학 부재(480)는 전반사 도파관을 통해 전달된 광을 사용자의 눈으로 회절(또는 반사)시키는 출구 역할을 할 수 있다.
입력 광학 부재(450)는 하프 미러(410)를 포함할 수 있다. 하프 미러(410)는 입력 광학 부재(450)의 전부 또는 일부의 영역에 형성될 수 있다. 하프 미러(410)가 입력 광학 부재(450)의 전부의 영역에 형성될 경우, 입력 광학 부재(450)는 하프 미러(410)로 지칭될 수도 있다.
이하에서는 설명을 위하여 자발광 디스플레이에 의해 가시광선 광 및 적외선 광이 혼합된 광(430)이 출력되는 것으로 가정하지만, 가시광선 광과 적외선 광은 독립적으로 출력될 수 있다. 또한, 가시광선 광에 포함된 적색 광, 청색 광 및 녹색 광은 각각 독립적으로 출력될 수 있다.
자발광 디스플레이는 가시광선 및 적외선이 혼합된 광(430)을 입력 광학 부재(450)로 출력할 수 있다. 입력 광학 부재(450)에 포함된 하프 미러(410)에 의해 가시광선 광의 일부인 가시광선 광(421)은 반사되고 다른 일부인 가시광선 광(422)은 광 도파관(460)의 내부로 투과될 수 있다. 자발광 디스플레이에 의해 가시광선 광 및 적외선 광이 혼합된 광(430)은 입력 광학 부재(450)를 통해 광 도파관(460)으로 입사될 수 있다. 입력 광학 부재(450)로 입사된 가시광선 광(422)은 광 도파관(460)의 내부에서 전반사되어 출력 광학 부재(480)를 통해 외부로 출력될 수 있다. 광 도파관(460)으로 입사된 적외선 광(412)의 일부는 하프 미러(410)에 의해 반사될 수 있다. 반사된 적외선 광(411) 중 일부인 적외선 광은 직접 사용자의 눈을 향해 외부로 출력될 수 있다. 반사된 적외선 광(411) 중 다른 일부인 적외선 광(482)는 광 도파관(460)의 내부에서 전반사되어 출력 광학 부재(480)를 통해 외부로 출력될 수 있다. 광 도파관(460)으로 입사된 적외선 광(412)의 다른 일부인 적외선 광(413)는 하프 미러(410)을 통과하여 현실 객체를 향하여 외부로 출력될 수 있다.
반사되는 가시광선 광(421)은 사용자의 눈을 보호하기 위하여 감소되거나 최소화될 수 있다. 예를 들어, 반사된 가시광선 광(421)은 가시광선 광 및 적외선 광이 혼합된 광(430)에서 가시광선의 10%를 차지하고 입력 광학 부재(450)로 투과되는 가시광선 광(422)은 가시광선 광 및 적외선 광이 혼합된 광(430)에서 가시광선의 90%를 차지할 수 있지만, 이는 예시에 불과하며 사용자의 눈을 보호하기 위해 가시광선 광(421)은 감소되거나 최소로 조정될 수 있다. 하프 미러(410)에 의해 가시광선 광 및 적외선 광이 혼합된 광(430)에서 적외선 광의 일부인 적외선 광(411)은 반사되고, 다른 일부인 적외선 광(412)은 광 도파관(460)의 내부로 투과될 수 있다. 여기서, 반사되는 적외선 광(411)은 사용자의 눈을 보호하기 위하여 최소화될 수 있다. 예를 들어, 적외선 광(411)은 30%를 차지하고, 적외선 광(412)은 70%를 차지할 수 있지만, 이는 예시에 불과하며 사용자의 눈을 보호하기 위해 적외선 광(411)은 감소되거나 및/또는 최소로 조정될 수 있다.
입사된 광에 대해 입력 광학 부재(450)의 반사율을 제어하거나 광 도파관(460)의 내부로 광이 지향될 수 있도록 입력 광학 부재(450)를 설계함으로써 입사 광학 부재(450)에서 직접 눈으로 향하는 반사되는 가시광선 광(421) 및 적외선 광(411)은 최소화될 수 있다.
가시광선 광(422)은 광 도파관(460)의 내부에서 전반사될 수 있다. 광 도파관(460)은 가시광선 광(422)을 출력 광학 부재(480)로 전달할 수 있다. 출력 광학 부재(480)는 가시광선 광(422)을 광 도파관(460)의 외부로 출력할 수 있다. 출력된 가시광선 광(481)은 가상 객체 이미지에 대응되며, 사용자는 가상 객체 이미지를 경험할 수 있다.
하프 미러(410)에 의해 반사된 적외선 광은, 적외선 광(411)과 같이 사용자의 눈으로 직접 출력되거나, 적외선 광(482)과 같이 광 도파관(460)을 거쳐 출력 광학 부재(480)를 통해 사용자의 눈을 향해 출력될 수 있다. 사용자의 눈에서 적외선 광(411 또는 482)이 반사되고, 반사광은 시선 추적 센서에 의해 검출될 수 있다. 검출 결과는 사용자의 시선 추적에 이용될 수 있다. 이처럼, 하프 미러(410)에 의해 시선 추적을 위한 별도의 적외선 광원은 생략될 수 있다. 별도의 적외선 광원을 생략함으로써 웨어러블 전자 장치는 경량화될 수 있고 소비 전력은 감소될 수 있다.
하프 미러(410)에 의해 눈 쪽으로 반사된 적외선 광(411)를 제외하고 하프 미러(410)를 투과한 적외선 광(412)은 광 도파관(460)의 외부로 출력될 수 있다. 입력 광학 부재(450)를 투과한 적외선 광(412)이 처음 입사되는 영역(471)은 가시광선 광(422)을 반사하여 광 도파관(460)을 통해 전반사시키고 적외선 광(412)의 일부를 외부로 투과시키도록 코팅될 수 있다. 예를 들어, 영역(471)은 적외선 광(412)의 일부를 외부로 투과시키는 격자 구조를 포함할 수 있다.
광 도파관(460)을 투과한 적외선 광(413)은 제어 렌즈(470)을 통과할 수 있다. 제어 렌즈(470)는 적외선 광(413)의 화각을 미리 정해진 각도로 조정할 수 있다. 제어 렌즈(470)는 적외선 광(413)의 화각을 조정함으로써 현실 객체로부터 반사되는 반사광의 세기 및 탐지 범위를 현실 객체의 탐지에 적합하도록 조정할 수 있다.
도 5는 다양한 실시 예에 따른 웨어러블 전자 장치의 제2 제어 회로의 예시적인 동작을 나타내는 도면이다.
일 실시 예에 따르면, 웨어러블 전자 장치는 제2 제어 회로(560) 및 스테레오 카메라(351, 352)를 포함할 수 있다. 제2 제어 회로(560)는 스테레오 카메라(351, 352)의 감지 결과를 기초로 현실 객체까지의 거리를 추정할 수 있다.
도 4b에서 현실 세계를 향하여 투과된 적외선 광(413)은 현실 객체에 입사될 수 있다. 적외선 광(413)은 현실 객체로부터 반사되고, 스테레오 카메라(351, 352)는 반사된 광을 감지할 수 있다. 스테레오 카메라(351, 352)는 적외선 광뿐만 아니라 가시광선 광도 감지할 수 있다. 스테레오 카메라(351, 352)는 서로 다른 시점(view point)으로 현실 객체를 촬영할 수 있다.
동작(501) 및 동작(503)에서, 제2 제어 회로(560)는 각각의 스테레오 카메라(351, 352)로부터 촬영된 이미지에 대해 영상 처리를 수행할 수 있다. 동작(505)에서, 제2 제어 회로(560)는 영상 처리 결과를 기초로 현실 객체까지의 거리를 추정할 수 있다. 예를 들어, 제2 제어 회로(560)는 깊이값을 측정하거나 ToF 방식을 이용하여 현실 객체까지의 거리를 추정할 수 있다.
동작(507)에서, 제2 제어 회로(560)는 추정된 거리를 나타내는 거리 이미지를 생성할 수 있다. 예를 들어, 거리 이미지는 거리를 나타내는 숫자 및 예를 들어, 미터법에 따른 단위를 포함할 수 있다. 거리 이미지는 현실 객체의 영역에 대한 마스킹 이미지 또는 윤곽 이미지를 더 포함할 수도 있다. 거리 이미지의 색상 또는 명도는 배경과 대비되도록 결정될 수 있다.
동작(509)에서, 제2 제어 회로(560)는 가상 객체 이미지를 생성할 수 있다. 예를 들어, 가상 객체 이미지는 스테레오 카메라(351, 352) 및/또는 제1 카메라(예: 도 2의 제1 카메라(245))를 통해 촬영된 영상에 기반하여 생성될 수 있다.
동작(511)에서, 제2 제어 회로(560)는 합성 이미지를 생성할 수 있다. 제2 제어 회로(560)는 동작(507)에서 생성된 거리 이미지와 동작(509)에서 생성된 가상 객체 이미지를 합성하여 합성 이미지를 생성할 수 있다.
동작(513)에서, 제2 제어 회로(560)는 자발광 디스플레이(예: 도 3의 자발광 디스플레이(361, 362))와 광 도광판을 통해 합성 이미지를 사용자에게 출력할 수 있다.
도 6a 및 도 6b는 다양한 실시 예에 따른 웨어러블 전자 장치에 의해 출력된 거리 이미지의 일례를 나타내는 도면이다.
두 개의 스테레오 카메라(예: 도 3의 스테레오 카메라(351, 352))는 웨어러블 전자 장치(예: 도 3의 웨어러블 전자 장치(300))의 서로 다른 위치에 배치될 수 있다. 웨어러블 전자 장치는 양안시차 특성을 이용하여 각각의 스테레오 카메라에 의해 촬영된 이미지를 매칭하여 깊이 값을 계산할 수 있다. 웨어러블 전자 장치는 깊이 값을 기초로 현실 객체까지의 거리를 계산할 수 있다.
이러한 스테레오 카메라를 운용하기 위해서는 일정 수준 이상의 조도가 요구될 수 있다. 저조도 환경에서는 광량이 충분하지 않기 때문에 깊이 값 산출이 어려울 수 있다. 일 실시 예에 따른 웨어러블 전자 장치의 적외선 픽셀은 저조도 환경에서 적외선 광을 웨어러블 전자 장치의 외부로 출력하여 스테레오 카메라의 현실 객체 탐지를 보조할 수 있다. 웨어러블 전자 장치는 자발광 디스플레이(예: 도 3의 자발광 디스플레이(361, 362))에 포함된 적외선 픽셀의 온/오프를 제어할 수 있다.
도 6a는 저조도 환경에서 자발광 디스플레이의 적외선 픽셀이 꺼진 상태의 촬영된 이미지를 나타낸다. 웨어러블 전자 장치의 전방에는 현실 객체(예: 두 명의 사람)(601)가 존재할 수 있다. 하지만, 보조 광원이 없는 저조도 환경에서 스테레오 카메라는 현실 객체를 명확하게 촬영하지 못할 수 있다.
도 6b는 저조도 환경에서 자발광 디스플레이의 적외선 픽셀이 켜진 상황을 나타낸다. 적외선 픽셀은 보조 광원의 역할을 하며 스테레오 카메라에 충분한 광량을 제공할 수 있다. 적외선 픽셀에 의해 출력된 적외선 광은 현실 객체(예: 두 명의 사람)로 방사되고, 현실 객체로부터 반사된 적외선 광은 스테레오 카메라에 의해 감지될 수 있다.
웨어러블 전자 장치는 각각의 스테레오 카메라로부터 촬영된 이미지에 대해 영상 처리를 수행하고, 영상 처리 결과를 기초로 현실 객체까지의 거리를 추정할 수 있다. 웨어러블 전자 장치는 두 이미지를 매칭하고 매칭 결과를 기초로 깊이 값을 산출할 수 있다. 웨어러블 전자 장치는 깊이 값을 기초로 현실 객체까지의 거리를 추정할 수 있다.
웨어러블 전자 장치는 현실 객체까지의 거리를 나타내는 거리 이미지(예: 2m, 4m)(603)를 생성할 수 있다. 거리 이미지(603)는 현실 객체의 영역에 대한 마스킹 이미지를 포함할 수 있다. 이를 통해 저조도 환경에서 현실 객체가 명확하게 구분될 수 있으며, 사용자는 현실 객체에 부딪히지 않을 수 있다.
도 7은 다양한 실시 예에 따른 웨어러블 전자 장치에 포함된 투명 커버의 예시적인 구조를 도시한 도면이다.
일 실시 예에 따르면, 웨어러블 전자 장치는 자발광 디스플레이(예: 도 3의 자발광 디스플레이(361, 362)), 투명 커버(393), 광 도파관(예: 도 3의 광 도파관(313, 315) 및 제1 제어 회로(미도시)(예: 도 2의 제1 디스플레이(205) 및 제2 디스플레이(210)의 내부에 포함된 제어 회로)를 포함할 수 있다. 자발광 디스플레이는 가상 객체 이미지에 대응하는 가시광선 광을 출력하는 복수의 가시광선 픽셀 및 적외선 광을 출력하는 복수의 적외선 픽셀을 포함할 수 있다. 자발광 디스플레이는 마이크로 LED(391)과 마이크로 렌즈(392)를 포함할 수 있다. 투명 커버(393)는 자발광 디스플레이의 상측에 배치되고 하나 이상의 복굴절 판, 하나 이상의 액정 소자 및 편광자를 포함할 수 있다. 광 도파관은 투명 커버(393)의 상측에 배치되고 가시광선 광의 경로를 조정하여 가상 객체 이미지를 출력할 수 있다. 제1 제어 회로는 자발광 디스플레이 및 하나 이상의 액정 소자 중의 적어도 하나에 구동 전원 및 제어 신호를 공급할 수 있다.
웨어러블 전자 장치는 투명 커버(393)를 통해 가상 객체 이미지의 위치를 조정하여 복수의 조정 이미지를 출력할 수 있다. 웨어러블 전자 장치는 상이한 방향으로 가상 객체 이미지를 서브 픽셀(sub-pixel) 단위로 이동(shift)시킴으로써 복수의 조정 이미지를 출력할 수 있다.
웨어러블 전자 장치는 자발광 디스플레이와 광 도파관 사이에 투명 커버(393)를 포함할 수 있다. 투명 커버(393)의 영역은 자발광 디스플레이에 포함된 복수의 적외선 픽셀이 배치된 영역과 실질적으로 중첩될 수 있다. 투명 커버(393)는 복수의 적외선 픽셀이 배치된 영역을 커버하는 광 도광판의 일부의 영역 또는 광 도광판의 전부의 영역에 배치될 수 있다.
투명 커버(393)는 하나 이상의 복굴절 판, 하나 이상이 액정 소자 및 편광자를 포함할 수 있다. 예를 들면, 투명 커버(393)는 제1 복굴절 판(751), (예를 들어, 액정 재료를 포함하는) 제1 액정 소자(752), 제2 복굴절 판(753), (예를 들어, 액정 재료를 포함하는) 제2 액정 소자(754), 및 편광판(755)를 포함할 수 있다. 제1 액정 소자(752)는 제1 복굴절 판(751)과 제2 복굴절 판(753) 사이에 배치될 수 있다. 제2 복굴절 판(753)은 제1 액정 소자(752)와 제2 액정 소자(754) 사이에 배치될 수 있다. 제2 액정 소자(754)는 제2 복굴절 판(753)과 편광판(755) 사이에 배치될 수 있다. 편광판(755)은 제2 액정 소자 상(754) 다음에 배치될 수 있다. 다만, 이는 예시이며, 투명 커버(393)의 구성품의 개수 및/또는 적층 순서는 이에 제한되지 않는다.
도 7을 참조하면, 자발광 디스플레이로부터 방출된 무편광의 광은 투명 커버(393)로 입사하여 입사한 그대로 출력되거나 수직 또는 수평으로 이동되어 출력될 수 있다. 예를 들면, 무편광의 광은 투명 커버(393) 내 제1 복굴절 판(751), 제1 액정 소자(752), 제2 복굴절 판(753), 제2 액정 소자(754), 및 편광판(755)을 투과한 후 입사한 그대로 출력되거나 진행 방향이 평행 이동되어 출력될 수 있다.
무편광의 광이 제1 복굴절 판(751)으로 입사하는 경우, 제1 복굴절 판(751)은 입사광을 굴절 없이 출력하는 상광선(Ordinary-Ray)과 굴절시켜 출력하는 이상광선(Extraordinary-Ray)으로 입사광을 분리할 수 있다. 이 경우, 제1 복굴절 판(751)의 소재 및/또는 형태에 따라 광선이 분리되는 폭의 크기를 조절할 수 있다. 제1 복굴절 판(751)의 두께(t), 상광선 굴절률, 및/또는 이상광선 굴절률은, 상광선과 이상광선의 분리 폭(d)이 서브 픽셀의 크기가 되도록 조절될 수 있다. 서브 픽셀의 크기란 픽셀 하나의 크기보다 작은 크기를 의미하며, 예를 들어, 픽셀 크기의 1/2를 포함할 수 있다.
제1 복굴절 판(751)을 통과한 상광선 및 이상광선은 제1 복굴절 판(751)과 인접하게 위치한 제1 액정 소자(752)로 입사할 수 있다. 이 경우, 제1 액정 소자(752)는 제1 제어 회로(미도시)에서 공급된 제어 신호에 의하여, 입사한 광의 편광 상태를 바꿀 수 있다. 예를 들면, 제1 액정 소자(752)는 제1 제어 회로에서 공급된 제어 신호에 기초하여 입사한 광의 편광 방향을 회전시킬 수 있다. 예를 들면, 제1 액정 소자(752)에 전원이 공급되는 경우 입사한 광을 그대로 출력시킬 수 있고, 제1 액정 소자(752)에 전원이 공급되지 않는 경우 입사한 광의 편광 방향을 회전시켜 출력할 수 있다.
제1 액정 소자(752)를 통과한 광은 제1 액정 소자(752)와 인접하게 위치한 제2 복굴절 판(753)으로 입사할 수 있다. 이 경우, 제1 복굴절 판(751)과 마찬가지로, 제2 복굴절 판(753)의 두께(t), 상광선 굴절률, 및/또는 이상광선 굴절률은, 상광선과 이상광선의 분리 폭(d)이 픽셀 크기의 1/2이 되도록 조절될 수 있다. 도 7의 경우, 편의상 제1 복굴절 판(751)에 의하여 분리된 2개의 광선만 도시하였으나, 상기 분리된 광선은 제2 복굴절 판(753)을 통과하면서 한번 더 분리될 수 있다.
제2 복굴절 판(753)을 통과한 광은 제2 복굴절 판(753)과 인접하게 위치한 제2 액정 소자(754)로 입사할 수 있다. 이 경우, 제1 액정 소자(752)와 마찬가지로, 제2 액정 소자(754)는 제1 제어 회로에서 공급된 제어 신호에 의하여, 입사한 광의 편광 상태를 바꿀 수 있다. 예를 들면, 제2 액정 소자(754)는 제1 제어 회로에서 공급된 제어 신호에 기초하여 입사한 광의 편광 방향을 회전시킬 수 있다. 예를 들면, 제2 액정 소자(754)에 전원이 공급되는 경우 입사한 광을 그대로 출력시킬 수 있고, 제2 액정 소자(754)에 전원이 공급되지 않는 경우 입사한 광의 편광 방향을 회전시켜 출력할 수 있다.
제2 액정 소자(754)를 통과한 광은 제2 액정 소자(754)와 인접하게 위치한 편광판(755)으로 입사할 수 있다. 편광판(755)은 입사되는 광 중 편광판(755)의 편광 방향과 동일한 성분만 출력시킬 수 있다. 따라서, 편광판(755)에 의하여 최종 출력이 결정될 수 있다. 투명 커버(393)는 4개의 서로 상이한 방향으로 서브 픽셀만큼 이동된 조정 이미지를 출력할 수 있다.
4개의 조정 이미지는 서로 다른 타이밍으로 점멸될 수 있다. 제1 액정 소자(752) 및 제2 액정 소자(754)로 공급되는 제어 신호에 따라 원본 이미지의 프레임이 수평 및/또는 수직 이동된 프레임은 주기적으로 서로 다른 타이밍에 점멸될 수 있다. 4개의 조정 이미지는 서로 동기화되어 출력되어 보간법(interpolation) 원리에 따라 가상의 픽셀을 제공할 수 있다. 이를 통해, 적외선 픽셀로 인한 결점 픽셀은 상쇄될 수 있다. 또한, 원본 이미지의 출력 주파수보다 높은 주파수로 4개의 조정 이미지가 점멸될 경우 보간된 이미지는 원본 이미지보다 높은 해상도를 가질 수 있다.
도 8은 다양한 실시 예에 따라 투명 커버에서 제1 제어 회로의 제어 신호에 따라 출력되는 예시적인 광을 나타내는 표이다.
일 실시 예에 따르면, 제1 액정 소자(752)는 제1 제어 회로(미도시)(예: 도 2의 제1 디스플레이(205) 및 제2 디스플레이(210)의 내부에 포함된 제어 회로)에 의해 공급된 제어 신호에 따라, 입사되는 광을 그대로 출력하거나 1/4 파장판으로 동작하여 회전된 원 편광으로 변화시켜 출력할 수 있다. 예를 들면, 제1 액정 소자(752)는, 제어 신호에 기초하여, 출력될 광을 1/4 파장만큼 회전시킬지 여부를 결정할 수 있다. 일 실시 예에 따르면, 제1 액정 소자(752)에 전원이 공급되지 않은 경우, 제1 액정 소자(752)는 1/4 파장판의 역할을 할 수 있다. 제1 액정 소자(752)에 전원이 공급되는 경우 제1 액정 소자(752)는 광의 편광 방향을 변화시키지 않고 그대로 출력시킬 수 있으며, 제1 액정 소자(752)에 전원이 공급되지 않는 경우 제1 액정 소자(752)는 광의 편광 방향을 1/4 파장 회전시켜 원 편광된 광을 출력할 수 있다.
자발광 디스플레이(예: 도 3의 자발광 디스플레이(361, 362))에 의해 방출된 무편광의 광이 제1 복굴절 판(751)(예: 절삭면의 각도가 0도인 복굴절 판)으로 입사한 경우, 무편광의 광은 상광선 굴절률에 따라 출력된 굴절되지 않은 상광선과 이상광선 굴절률에 따라 출력된 수평 방향으로 굴절된 이상광선으로 분리될 수 있다. 이 경우, 상광선은 광 축에 수직이고 이상광선은 광 축에 평행할 수 있으며, 상광선과 이상광선은 서로 다른 방향으로 편광된 광 즉, 서로 수직인 방향으로 편광된 광일 수 있다.
무편광의 광이 제2 복굴절 판(753)(예: 절삭면의 각도가 90도인 복굴절 판)으로 입사한 경우, 무편광의 광은 상광선 굴절률에 따라 출력된 굴절되지 않은 상광선과 이상광선 굴절률에 따라 출력된 수직 방향으로 굴절된 이상광선으로 분리될 수 있다. 이 경우, 상광선은 광 축에 수직이고 이상광선은 광 축에 평행할 수 있으며, 상광선과 이상광선은 서로 다른 방향으로 편광된 광 즉, 서로 수직인 방향으로 편광된 광일 수 있다.
일 실시 예에 따르면, 무편광의 광이 제1 복굴절 판(751)으로 입사했을 때 출력된 상광선과 무편광의 광이 제2 복굴절 판(753)으로 입사했을 때 출력된 상광선의 편광된 방향은 서로 수직일 수 있다. 무편광의 광이 제1 복굴절 판(751)으로 입사했을 때 출력된 이상광선과 무편광의 광이 제2 복굴절 판(753)으로 입사했을 때 출력된 이상광선의 편광된 방향은 서로 수직일 수 있다.
무편광의 광이 제1 복굴절 판(751)으로 입사한 경우 수직 성분의 편광된 광인 상광선과 수평 성분의 편광된 광인 이상광선으로 분리될 수 있다. 상기 상광선 및 이상광선은 제1 액정 소자(752)로 입사할 수 있다. 제1 제어 회로에 의해 공급된 제어 신호에 의하여 제1 액정 소자(752)로 전원이 공급된 경우, 전원이 공급된 제1 액정 소자(752)로 입사된 광은 편광 방향이 변화되지 않고 그대로 출력될 수 있다.
제1 액정 소자(752)를 그대로 통과한 수직 성분의 편광된 광(예: 상광선)과 수평 성분의 편광된 광(예: 이상광선)은 제2 복굴절 판(753)으로 입사할 수 있다. 수직 성분의 편광된 광이 제2 복굴절 판(753)을 통과하는 경우, 제2 복굴절 판(753)에서 굴절되어 이상광선으로 출력될 수 있다. 예를 들면, 제2 복굴절 판(753)으로 입사된 수직 성분의 편광된 광에는 수평 성분이 존재하지 않으므로 제2 복굴절 판(753)에서 굴절되지 않고 출력되는 수평 방향의 편광된 광(예: 상광선)은 존재하지 않을 수 있다. 수평 성분의 편광된 광이 제2 복굴절 판(753)을 통과하는 경우, 제2 복굴절 판(753)에서 굴절되지 않고 상광선으로 그대로 출력될 수 있다. 예를 들면, 제2 복굴절 판(753)으로 입사된 수평 성분의 편광된 광에는 수직 성분이 존재하지 않으므로 제2 복굴절 판(753)에서 굴절되어 출력되는 수직 방향의 편광된 광(예: 이상광선)은 존재하지 않을 수 있다.
무편광의 광이 제1 복굴절 판(751)으로 입사한 경우 수직 성분의 편광된 광인 상광선과 수평 성분의 편광된 광인 이상광선으로 분리될 수 있다. 상기 상광선 및 이상광선은 제1 액정 소자(752)로 입사할 수 있다. 제1 제어 회로에 의해 공급된 제어 신호에 의하여 제1 액정 소자(752)로 전원이 공급되지 않은 경우, 전원이 공급되지 않는 제1 액정 소자(752)로 입사된 광은 편광 방향이 1/4 파장 회전되어 원 편광의 광으로 출력될 수 있다. 일 실시 예에 따르면, 수직 방향의 편광된 광(상광선)이 제1 액정 소자(752)를 통과하면서 출력된 원 편광의 광과 수평 방향의 편광된 광(이상광선)이 제1 액정 소자(752)를 통과하면서 출력된 원 편광의 광은 서로 위상이 상이한 원 편광의 광일 수 있다.
일 실시 예에 따르면, 상기 제1 액정 소자(752)를 통과한 두 개의 원 편광된 광은 제2 복굴절 판(753)으로 입사할 수 있다. 일 실시 예에 따르면, 원 편광된 광이 제2 복굴절 판(753)으로 입사되는 시점의 위상에 따라, 원 편광의 광은 수직 성분의 편광된 광 및 수평 성분의 편광된 광으로 분리되어 출력될 수 있다. 예를 들면, 원 편광의 광은, 원 편광된 광이 제2 복굴절 판(753)으로 입사되는 시점의 위상에 따라, 굴절되지 않은 수평 방향의 편광된 광(예: 상광선)과 굴절된 수직 방향의 편광된 광(예: 이상광선)으로 분리되어 출력될 수 있다.
도 8을 참조하면, 제1 액정 소자(752)에 전원이 공급되지 않은 경우로서, 출력 801의 경우, 원 편광된 광이 제2 복굴절 판(753)으로 입사되는 시점의 위상을 조절함으로써, 출력되지 않는 광 801a와 출력되는 광 801b로 구성될 수 있다. 제1 액정 소자(752)에 전원이 공급된 경우로서, 출력 802의 경우, 출력되지 않는 광 802a와 출력되는 광 802b로 구성될 수 있다.
일 실시 예에 따르면, 출력 A(예를 들어, 출력(801, 802))는 제2 액정 소자(754)로 입사될 수 있고, 제2 액정 소자(754)는 제1 제어 회로의 제어 신호에 따라 입사되는 광을 그대로 출력하거나 약 90도 회전시켜 출력할 수 있다. 예를 들면, 제2 액정 소자(754)는 제어 신호에 기초하여 출력되는 광을 약 90도 회전시킬지 여부를 결정할 수 있다. 일 실시 예에 따르면, 제2 액정 소자(754)에 전원이 공급되지 않은 경우, 제2 액정 소자(754)는 1/2 파장판의 역할을 할 수 있다. 제2 액정 소자(754)에 전원이 공급되는 경우 제2 액정 소자(754)는 광의 편광 방향을 변화시키지 않고 그대로 출력시킬 수 있으며, 제2 액정 소자(754)에 전원이 공급되지 않는 경우 제2 액정 소자(754)는 광의 편광 방향을 약 90도 회전시켜 출력할 수 있다.
도 8의 구분 (1)을 참조하면, 출력 801(또는 출력 801의 광)은 전원이 공급되는 제2 액정 소자(754)로 입사할 수 있고, 제2 액정 소자(754)를 통과하면서 회전되지 않고 그대로 출력(예를 들어, 출력 803과 같이)될 수 있다. 출력 803은 수평 방향의 편광판(755)으로 입사할 수 있고, 편광판(755)을 통과하면서 출력 803의 복수개의 광 중 편광판(755)의 편광 방향에 대응되는 광(예를 들어, 편광판(755)의 편광 방향과 동일한 광)만 출력(출력 807)될 수 있다.
도 8의 구분 (2)를 참조하면, 출력 801(또는 출력 801의 광)은 전원이 공급되지 않는 제2 액정 소자(754)로 입사할 수 있고, 제2 액정 소자(754)를 통과하면서 약 90도 회전되어 출력(예를 들어, 출력 804와 같이)될 수 있다. 출력 804는 수평 방향의 편광판(755)으로 입사할 수 있고, 편광판(755)을 통과하면서 출력 804의 복수개의 광 중 편광판(755)의 편광 방향과 동일한 또는 편광 방향에 대응되는 광만 출력(예를 들어, 출력 808과 같이)될 수 있다.
도 8의 구분 (3)을 참조하면, 출력 802(또는 출력 802의 광)은 전원이 공급되는 제2 액정 소자(754)로 입사할 수 있고, 제2 액정 소자(754)를 통과하면서 회전되지 않고 그대로 출력(예를 들어, 출력 805와 같이)될 수 있다. 출력 805는 수평 방향의 편광판(755)으로 입사할 수 있고, 편광판(755)을 통과하면서 출력 805의 복수개의 광 중 편광판(755)의 편광 방향과 동일한 또는 편광 방향에 대응되는 광만 출력(예를 들어, 출력 809와 같이)될 수 있다.
도 8의 구분 (4)를 참조하면, 출력 802(또는 출력 802의 광)은 전원이 공급되지 않는 제2 액정 소자(754)로 입사할 수 있고, 제2 액정 소자(754)를 통과하면서 약 90도 회전되어 출력(예를 들어, 출력 806과 같이)될 수 있다. 출력 806은 수평 방향의 편광판(755)으로 입사할 수 있고, 편광판(755)을 통과하면서 출력 806의 복수개의 광 중 편광판(755)의 편광 방향과 동일한 또는 편광 방향에 대응되는 광만 출력(예를 들어, 출력 810과 같이)될 수 있다.
일 실시 예에 따르면, 도 8의 구분 (1)의 출력 807은 마이크로 LED(예: 도 3의 마이크로 LED(391)) 자체에서 출력된 광이 이동되지 않은 출력이고, 도 8의 구분 (2)의 출력 808은 마이크로 LED에서 출력된 광이 픽셀 크기의 1/2 만큼 수직 및 수평 이동(shift)된 출력이고, 도 8의 구분 (3)의 출력 809는 마이크로 LED에서 출력된 광이 픽셀 크기의 1/2 만큼 수평 이동(shift)된 출력이고, 도 8의 구분 (4)의 출력 810은 마이크로 LED에서 출력된 광이 픽셀 크기의 1/2 만큼 수직 이동(shift)된 출력일 수 있다.
도 9는 다양한 실시 예에 따른 투명 커버를 통과한 영상 출력의 예시적인 구성을 나타내는 도면이다.
도 9를 참조하면, 원본 영상(미도시)은 60Hz의 속도로 출력될 수 있고, 제1 액정 소자(752) 및 제2 액정 소자(754)로 공급되는 제어 신호에 따라 원본 영상의 프레임이 수평 및/또는 수직 이동된 프레임(911, 912, 913, 921, 922, 923, 931, 932, 933)은 240Hz의 속도록 출력될 수 있다. 제1 액정 소자(752) 및 제2 액정 소자(754)로 공급되는 제어 신호에 따라 원본 영상의 프레임이 스케일 다운(scale down)된 이동되지 않은 프레임(910, 920, 930)은 240Hz의 속도록 출력될 수 있다.
일 실시 예에 따르면, 원본 영상으로부터 스케일 다운된 프레임(910, 920, 930)은 도 8의 구분(1)(또는 출력 807)에 대응될 수 있고, 원본 영상의 프레임이 픽셀 크기의 1/2 만큼 수직 및 수평 이동된 프레임(911, 921, 931)은 도 8의 구분 (2)(또는 출력 808)에 대응될 수 있고, 원본 영상의 프레임이 픽셀 크기의 1/2 만큼 수평 이동된 프레임(912, 922, 932)은 도 8의 구분 (3)(또는 출력 809)에 대응될 수 있고, 원본 영상의 프레임이 픽셀 크기의 1/2 만큼 수직 이동된 프레임(913, 923, 933)은 도 8의 구분 (4)(또는 출력 810)에 대응될 수 있다.
일 실시 예에 따르면, 원본 영상의 프레임이 60Hz의 속도로 출력되더라도 투명 커버(예: 도 3의 투명 커버(393))를 통과하면서 이동된 프레임이 240Hz의 속도로 출력되고 원본 영상으로부터 스케일 다운된 이동되지 않은 프레임이 240Hz의 속도로 출력되므로, 자발광 디스플레이(예: 도 3의 자발광 디스플레이(361, 362))는 마이크로 LED(예: 도 3의 마이크로 LED(391))의 자체 해상도 보다 4배가 높은 영상을 출력할 수 있다. 일 실시 예에 따르면, 마이크로 LED에서 출력된 광이 이동되지 않은 프레임, 마이크로 LED에서 출력된 광이 픽셀 크기의 1/2 만큼 수직 및 수평 이동(shift)된 프레임, 마이크로 LED에서 출력된 광이 픽셀 크기의 1/2 만큼 수평 이동(shift)된 프레임, 및 마이크로 LED에서 출력된 광이 픽셀 크기의 1/2 만큼 수직 이동(shift)된 프레임은 서로 동기화되어 출력되어 보간법(interpolation) 원리에 의하여 가상의 픽셀을 제공할 수 있고, 이를 통해 마이크로 LED의 자체 해상도 보다 높은 해상도의 영상을 출력할 수 있다.
도 10은 다양한 실시 예에 따른 웨어러블 전자 장치에 의해 생성된 조정 이미지를 나타내는 도면이다.
일 실시 예에 따르면, 웨어러블 전자 장치(예: 도 3의 웨어러블 전자 장치(300))는 자발광 디스플레이와 투명 커버(예: 도 3의 투명 커버(393))를 통해 가상 객체 이미지에 대응하는 4개의 조정 이미지를 출력할 수 있다. 여기서, 4개의 조정 이미지의 위치는 가상 객체 이미지의 위치와 서로 상이한 방향으로 서브 픽셀만큼 차이가 나도록 조정될 수 있다.
4개의 조정 이미지의 방향은, 상/하/좌/우 또는 우상/우하/좌상/좌하를 포함할 수 있다. 다만, 이는 예시에 불과하며 선명한 보간 이미지를 형성할 수 있도록 원본 이미지는 다양한 방향으로 이동될 수 있다.
웨어러블 전자 장치는 제1 제어 회로을 통하여 제1 액정 소자 및 제2 액정 소자에 서로 다른 주기로 전원 또는 제어 신호를 공급할 수 있다. 제1 복굴절 판 및 제2 복굴절 판을 통해 분리된 복수의 이미지는 제1 액정 소자 및 제2 액정 소자를 통해 상이한 편광 상태를 가지는 광으로 변환될 수 있다. 편광자는 복수의 광으로부터 서로 다른 방향으로 이동된 4개의 조정 이미지를 출력할 수 있다.
투명 커버는 하나 이상의 조정 이미지를 교대로 출력할 수 있다. 제1 액정 소자 및 제2 액정 소자에 서로 다른 주기로 전원 또는 제어 신호를 공급함으로써 서로 다른 타이밍에 4개의 조정 이미지를 점멸할 수 있다.
도 10의 (a)를 참조하면, 자발광 디스플레이(1021)는 마이크로 LED 또는 OLED를 포함할 수 있다. 자발광 디스플레이(1021)는 복수의 픽셀을 포함할 수 있다. 자발광 디스플레이(1021)는 복수의 가시광선 픽셀과 복수의 적외선 픽셀을 포함할 수 있다. 복수의 가시광선 픽셀은 R, G, B 픽셀을 포함할 수 있다. 예를 들어, 복수의 적외선 픽셀은 자발광 디스플레이(1021)의 위치(1023)에 배치될 수 있다.
적외선 광은 사람의 눈에 인식되지 못하므로 가시광선 픽셀 사이에 배치된 적외선 픽셀로 인해 출력 이미지에는 결점 픽셀이 발생할 수 있다. 예를 들어, 가시광선 픽셀 사이에 배치된 적외선 픽셀을 포함하는 자발광 디스플레이(1021)를 통해 출력된 출력 이미지(1031)에는 적외선 픽셀의 위치에 대응하여 결점 픽셀(1033)이 나타날 수 있다. 이로 인해 사용자는 선명하지 못한 출력 이미지를 경험하게 될 수 있다.
도 10의 (b)를 참조하면, 웨어러블 전자 장치는 서브 픽셀 시프트(sub-pixel shift)(1040)에 의해 상/하/좌/우로 이동된 4개의 조정 이미지를 출력할 수 있다. 조정 이미지(1041)는 자발광 디스플레이(1021)의 모든 픽셀에 대응하는 가상 객체 이미지를 우측으로 이동시킨 이미지이다. 조정 이미지(1042)는 자발광 디스플레이(1021)의 모든 픽셀에 대응하는 가상 객체 이미지를 좌측으로 이동시킨 이미지이다. 조정 이미지(1043)는 자발광 디스플레이(1021)의 모든 픽셀에 대응하는 가상 객체 이미지를 상측으로 이동시킨 이미지이다. 조정 이미지(1044)는 자발광 디스플레이(1021)의 모든 픽셀에 대응하는 가상 객체 이미지를 하측으로 이동시킨 이미지이다.
4개의 조정 이미지(1041, 1042, 1043, 1044)는 서로 다른 타이밍에 점멸될 수 있다. 예를 들어, 원본 이미지가 60Hz의 속도로 출력되는 경우, 4개의 조정 이미지(1041, 1042, 1043, 1044)는 각각 240Hz의 속도로 출력될 수 있다. 눈이 인식할 수 있는 속도보다 더 빠르게 점멸됨으로써 4개의 조정 이미지는 하나의 보간된 이미지(1045)로 인식될 수 있다. 보간된 이미지(1045)에서 결점 픽셀은 상쇄되며 보간된 이미지(1045)는 원본 이미지보다 높은 해상도를 나타낼 수 있다.
도 10의 (c)를 참조하면, 웨어러블 전자 장치는 서브 픽셀 시프트(1050)에 의해 우상/우하/좌상/좌하로 이동된 4개의 조정 이미지를 출력할 수 있다. 조정 이미지(1051)는 자발광 디스플레이(1021)의 모든 픽셀에 대응하는 가상 객체 이미지를 우상측으로 이동시킨 이미지이다. 조정 이미지(1052)는 자발광 디스플레이(1021)의 모든 픽셀에 대응하는 가상 객체 이미지를 우하측으로 이동시킨 이미지이다. 조정 이미지(1053)는 자발광 디스플레이(1021)의 모든 픽셀에 대응하는 가상 객체 이미지를 좌상측으로 이동시킨 이미지이다. 조정 이미지(1054)는 자발광 디스플레이(1021)의 모든 픽셀에 대응하는 가상 객체 이미지를 좌하측으로 이동시킨 이미지이다.
4개의 조정 이미지(1051, 1052, 1053, 1054)는 서로 다른 타이밍에 점멸될 수 있다. 예를 들어, 원본 이미지가 60Hz의 속도로 출력되는 경우, 4개의 조정 이미지(1051, 1052, 1053, 1054)는 각각 240Hz의 속도로 출력될 수 있다. 눈이 인식할 수 있는 속도보다 더 빠르게 점멸됨으로써 4개의 조정 이미지는 하나의 보간된 이미지(1055)로 인식될 수 있다. 보간된 이미지(1055)에서 결점 픽셀은 상쇄되며 보간된 이미지(1055)는 원본 이미지보다 높은 해상도를 나타낼 수 있다.
도 10의 (d)를 참조하면, 적외선 픽셀(1066)이 자발광 디스플레이(1021)에 수직으로 선형으로 배치되어 있는 경우, 웨어러블 전자 장치는 서브 픽셀 시프트(1060)에 의해 좌/우로 이동된 2개의 부분 조정 이미지를 출력할 수 있다. 여기서, 부분 조정 이미지는 가상 객체 이미지 중에서 결점 픽셀에 대응하는 부분에만 보간 이미지를 생성하기 위한 조정 이미지를 의미한다. 적외선 픽셀의 위치(1066)를 알고 있는 경우, 웨어러블 전자 장치는 적외선 픽셀 각각의 주변의 가시광선 픽셀에 대응하는 일부의 가상 객체 이미지의 위치를 조정하여 적외선 픽셀 각각에 대응하는 2개의 부분 조정 이미지를 출력할 수 있다.
부분 조정 이미지(1061)는 자발광 디스플레이(1021)에 포함된 적외선 픽셀 영역에 대응하는 부분의 가상 객체 이미지를 우측으로 이동시킨 이미지이다. 부분 조정 이미지(1062)는 자발광 디스플레이(1021)에 포함된 적외선 픽셀 영역에 대응하는 부분의 가상 객체 이미지를 좌측으로 이동시킨 이미지이다.
2개의 부분 조정 이미지(1061, 1062)는 서로 다른 타이밍에 점멸될 수 있다. 예를 들어, 원본 이미지가 60Hz의 속도로 출력되는 경우, 2개의 부분 조정 이미지(1061, 1062)는 각각 120Hz의 속도로 출력될 수 있다. 눈이 인식할 수 있는 속도보다 더 빠르게 점멸됨으로써 2개의 부분 조정 이미지는 하나의 보간된 이미지(1065)로 인식될 수 있다. 보간된 이미지(1065)에서 결점 픽셀은 상쇄되며 보간된 이미지(1065)는 원본 이미지보다 높은 해상도를 나타낼 수 있다.
도 10의 (e)를 참조하면, 자발광 디스플레이(1025)는 마이크로 LED 또는 OLED를 포함할 수 있다. 자발광 디스플레이(1025)는 복수의 픽셀을 포함할 수 있다. 자발광 디스플레이(1025)는 복수의 가시광선 픽셀과 복수의 적외선 픽셀을 포함할 수 있다. 복수의 가시광선 픽셀은 R, G, B 픽셀을 포함할 수 있다. 예를 들어, 복수의 적외선 픽셀은 자발광 디스플레이(1025)의 위치(1027)에 배치될 수 있다.
적외선 광은 사람의 눈에 인식되지 못하므로 가시광선 픽셀 사이에 배치된 적외선 픽셀로 인해 출력 이미지에는 결점 픽셀이 발생할 수 있다. 예를 들어, 가시광선 픽셀 사이에 배치된 적외선 픽셀을 포함하는 자발광 디스플레이(1025)를 통해 출력된 출력 이미지(1035)에는 적외선 픽셀의 위치에 대응하여 결점 픽셀(1037)이 나타날 수 있다. 이로 인해 사용자는 선명하지 못한 출력 이미지를 경험하게 될 수 있다.
도 10의 (f)를 참조하면, 적외선 픽셀(1076)이 자발광 디스플레이(1025)에 수평으로 선형으로 배치되어 있는 경우(예: 도 10의 (e)), 웨어러블 전자 장치는 서브 픽셀 시프트(1070)에 의해 상/하로 이동된 2개의 부분 조정 이미지를 출력할 수 있다. 여기서, 부분 조정 이미지는 가상 객체 이미지 중에서 결점 픽셀에 대응하는 부분에만 보간 이미지를 생성하기 위한 조정 이미지를 의미한다. 적외선 픽셀의 위치(1076)를 알고 있는 경우, 웨어러블 전자 장치는 적외선 픽셀 각각의 주변의 가시광선 픽셀에 대응하는 일부의 가상 객체 이미지의 위치를 조정하여 적외선 픽셀 각각에 대응하는 2개의 부분 조정 이미지를 출력할 수 있다.
부분 조정 이미지(1071)는 자발광 디스플레이(1025)에 포함된 적외선 픽셀 영역에 대응하는 부분의 가상 객체 이미지를 위로 이동시킨 이미지이다. 부분 조정 이미지(1072)는 자발광 디스플레이(1025)에 포함된 적외선 픽셀 영역에 대응하는 부분의 가상 객체 이미지를 아래로 이동시킨 이미지이다.
2개의 부분 조정 이미지(1071, 1072)는 서로 다른 타이밍에 점멸될 수 있다. 예를 들어, 원본 이미지가 60Hz의 속도로 출력되는 경우, 2개의 부분 조정 이미지(1071, 1072)는 각각 120Hz의 속도로 출력될 수 있다. 눈이 인식할 수 있는 속도보다 더 빠르게 점멸됨으로써 2개의 부분 조정 이미지는 하나의 보간된 이미지(1075)로 인식될 수 있다. 보간된 이미지(1075)에서 결점 픽셀은 상쇄되며 보간된 이미지(1075)는 원본 이미지보다 높은 해상도를 나타낼 수 있다.
도 11a 및 도 11b는 다양한 실시 예에 따른 웨어러블 전자 장치에 포함된 자발광 디스플레이에 포함된 적외선 픽셀의 예시적인 분포 형태를 나타낸 도면이다.
자발광 디스플레이(예: 도 3의 자발광 디스플레이(361, 362))는 복수의 가시광선 픽셀과 복수의 적외선 픽셀을 포함할 수 있다. 복수의 적외선 픽셀은 다양한 패턴으로 자발광 디스플레이에 배치될 수 있다. 예를 들어, 복수의 적외선 픽셀은 선형으로 수직하게 배치될 수도 있고 수평으로 배치될 수도 있다. 복수의 적외선 픽셀은 선형으로 사선으로 배치될 수도 있다.
도 11a를 참조하면, 일 실시 예에서, 복수의 적외선 픽셀(1111, 1112, 1113, 1114)은 자발광 디스플레이(1101)에 무작위로(randomly) 배치될 수 있다. 복수의 적외선 픽셀(1111, 1112, 1113, 1114)은 사용자의 홍채에 대응하는 자발광 디스플레이(1101)의 영역에 무작위로 배치될 수 있다. 이러한 배치 패턴은 선형 패턴보다 시선 추적에 더 용이할 수 있다. 다른 실시 예에서, 자발광 디스플레이(1101)는 복수의 시선 추적 센서(1131, 1132, 1133, 1134)를 더 포함할 수 있다. 복수의 시선 추적 센서(1131, 1132, 1133, 1134)는 독자적인 패턴에 따라 배치될 수도 있고 복수의 적외선 픽셀(1111, 1112, 1113, 1114) 처럼 무작위로 배치될 수도 있다. 복수의 시선 추적 센서(1131, 1132, 1133, 1134)는 복수의 적외선 픽셀(1111, 1112, 1113, 1114)에 의해 방출된 광이 사용자의 눈에 의해 반사된 적외선 광을 감지할 수 있다.
도 11b를 참조하면, 복수의 적외선 픽셀(1121, 1122, 1123, 1124, 1125, 1126)은 자발광 디스플레이(1102)에 원형으로 배치될 수 있다. 복수의 적외선 픽셀(1121, 1122, 1123, 1124, 1125, 1126)은 사용자의 홍채의 테두리에 대응하는 자발광 디스플레이(1102)의 영역에 원형으로 배치될 수 있다. 이러한 배치 패턴은 선형 패턴보다 시선 추적에 더 용이할 수 있다. 일 실시 예에서, 자발광 디스플레이(1102)는 복수의 시선 추적 센서(1141, 1142, 1143)를 더 포함할 수 있다. 복수의 시선 추적 센서(1141, 1142, 1143)는 독자적인 패턴에 따라 배치될 수도 있고 복수의 적외선 픽셀(1121, 1122, 1123, 1124, 1125, 1126) 처럼 무작위로 배치될 수도 있다. 복수의 시선 추적 센서(1141, 1142, 1143)는 복수의 적외선 픽셀(1121, 1122, 1123, 1124, 1125, 1126)에 의해 방출된 광이 사용자의 눈에 의해 반사된 적외선 광을 감지할 수 있다.
본 개시는 다양한 실시예들을 참조하여 기술되고 설명되었지만, 이러한 다양한 실시예들은 설명을 위한 것이며, 제한의 목적이 아닌 것을 이해할 수 있다. 또한, 본 기술이 속한 분야에서 통상의 지식을 가진 자는, 이어지는 특허청구범위 및 그 균등범위를 포함하여 본 개시의 전체 범위 및 기술 사상으로부터 벗어나지 않으면서 구성 및 세부에 있어서 다양한 변형이 가능하다는 것도 이해할 것이다.

Claims (15)

  1. 적외선 광을 감지하는 스테레오 카메라;
    가상 객체 이미지에 대응하는 가시광선 광을 출력하는 복수의 가시광선 픽셀 및 적외선 광을 출력하는 복수의 적외선 픽셀을 포함하는 자발광 디스플레이;
    상기 가시광선 광의 경로를 조정하여 상기 가상 객체 이미지를 출력하는 광 도파관;
    상기 자발광 디스플레이에 구동 전원 및 제어 신호를 공급하는 제1 제어 회로; 및
    상기 스테레오 카메라에 구동 전원 및 제어 신호를 공급하는 제2 제어 회로
    를 포함하고,
    상기 광 도파관은, 상기 출력된 적외선 광으로부터 적외선 반사광 및 적외선 투과광을 출력하는 하프 미러(half mirror)를 포함하는,
    웨어러블 전자 장치.
  2. 제1항에 있어서,
    상기 하프 미러는 격자 구조를 포함하고,
    상기 격자 구조는, 상기 출력된 적외선 광의 일부를 반사하여 상기 적외선 반사광을 출력하고, 상기 적외선 광의 다른 일부를 투과시켜 상기 적외선 투과광을 출력하도록 구성되는,
    웨어러블 전자 장치.
  3. 제1항에 있어서,
    상기 제어 렌즈는 상기 적외선 투과광의 화각을 조정하는 제어 렌즈
    를 더 포함하는 웨어러블 전자 장치.
  4. 제1항에 있어서,
    상기 광 도파관은, 입력 광학 부재 및 출력 광학 부재를 포함하고,
    상기 입력 광학 부재는, 상기 하프 미러 및 상기 하프 미러의 상측에 배치된 제어 렌즈를 포함하는,
    웨어러블 전자 장치.
  5. 제1항에 있어서,
    시선 추적 센서를 더 포함하고,
    상기 시선 추적 센서는, 상기 적외선 반사광에 의해 사용자의 안구로부터 반사된 제1 반사광을 감지하고,
    상기 제2 제어 회로는, 상기 시선 추적 센서의 감지 결과를 기초로 상기 사용자의 시선을 추적하는,
    웨어러블 전자 장치.
  6. 제1항에 있어서,
    상기 스테레오 카메라는, 상기 적외선 투과광에 의해 현실 객체로부터 반사된 제2 반사광을 감지하고,
    상기 제2 제어 회로는, 상기 스테레오 카메라의 감지 결과를 기초로 상기 현실 객체까지의 거리를 추정하는,
    웨어러블 전자 장치.
  7. 제6항에 있어서,
    상기 제2 제어 회로는,
    상기 추정된 거리를 나타내는 이미지를 생성하고, 상기 추정된 거리를 나타내는 이미지와 상기 가상 객체 이미지를 합성하여 합성 이미지를 생성하는,
    웨어러블 전자 장치.
  8. 제1항에 있어서,
    상기 제1 제어 회로는, 상기 적외선 픽셀의 구동 전원을 조정하여 상기 적외선 광의 출력을 제어하는,
    웨어러블 전자 장치.
  9. 제1항에 있어서,
    상기 자발광 디스플레이의 상측에 배치되고, 하나 이상의 복굴절 판, 액정을 포함하는 하나 이상의 액정 소자 및 편광자를 포함하는 투명 커버(cover)
    를 더 포함하고,
    상기 광 도파관은, 상기 투명 커버의 상측에 배치되고,
    상기 제1 제어 회로는 상기 하나 이상의 액정 소자에 구동 전원 및 제어 신호를 공급하고,
    상기 투명 커버는 상기 가시광선 광의 위치를 조정하여 상기 가상 객체 이미지에 대응하는 하나 이상의 조정 이미지를 출력하는,
    웨어러블 전자 장치.
  10. 가상 객체 이미지에 대응하는 가시광선 광을 출력하는 복수의 가시광선 픽셀 및 적외선 광을 출력하는 복수의 적외선 픽셀을 포함하는 자발광 디스플레이;
    상기 자발광 디스플레이의 상측에 배치되고 하나 이상의 복굴절 판, 액정을 포함하는 하나 이상의 액정 소자 및 편광자를 포함하는 투명 커버(cover);
    상기 투명 커버의 상측에 배치되고 상기 가시광선 광의 경로를 조정하여 상기 가상 객체 이미지를 출력하는 광 도파관; 및
    상기 자발광 디스플레이 및 상기 하나 이상의 액정 소자 중의 적어도 하나에 구동 전원 및 제어 신호를 공급하는 제1 제어 회로
    를 포함하고,
    상기 투명 커버는 상기 가시광선 광의 위치를 조정하여 상기 가상 객체 이미지에 대응하는 하나 이상의 조정 이미지를 출력하는,
    웨어러블 전자 장치.
  11. 제10항에 있어서,
    상기 투명 커버는 상기 가상 객체 이미지에 대응하는 4개의 조정 이미지를 출력하고,
    상기 4개의 조정 이미지의 위치는 상기 가상 객체 이미지의 위치와 서로 상이한 방향으로 서브 픽셀만큼 차이가 나는,
    웨어러블 전자 장치.
  12. 제10항에 있어서,
    상기 투명 커버는 상기 복수의 적외선 픽셀 각각의 주변의 가시광선 픽셀에 대응하는 일부의 가상 객체 이미지의 위치를 조정하여 상기 복수의 적외선 픽셀 각각에 대응하는 4개의 부분 조정 이미지를 출력하고,
    상기 4개의 부분 조정 이미지의 위치는 상기 일부의 가상 객체 이미지의 위치와 서로 상이한 방향으로 서브 픽셀만큼 차이가 나는,
    웨어러블 전자 장치.
  13. 제10항에 있어서,
    상기 제1 제어 회로는 상기 하나 이상의 액정 소자에 서로 다른 주기로 전원을 공급하고,
    상기 투명 커버는 상기 하나 이상의 조정 이미지를 교대로 출력하는,
    웨어러블 전자 장치.
  14. 제10항에 있어서,
    상기 복수의 적외선 픽셀은 상기 자발광 디스플레이에 무작위로(randomly) 배치되는,
    웨어러블 전자 장치.
  15. 제10항에 있어서,
    상기 복수의 적외선 픽셀에 의해 출력된 적외선 투과광에 의해 현실 객체로부터 반사된 적외선 광을 감지하는 스테레오 카메라를 더 포함하고,
    상기 광 도파관은, 상기 적외선 픽셀로부터 출력된 적외선 광으로부터 적외선 반사광 및 상기 적외선 투과광을 출력하는 하프 미러(half mirror)를 포함하는,
    웨어러블 전자 장치.
PCT/KR2021/012998 2020-11-10 2021-09-24 디스플레이를 포함하는 웨어러블 전자 장치 WO2022102954A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/749,639 US20220279158A1 (en) 2020-11-10 2022-05-20 Wearable electronic device with display

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0149339 2020-11-10
KR1020200149339A KR20220063467A (ko) 2020-11-10 2020-11-10 디스플레이를 포함하는 웨어러블 전자 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/749,639 Continuation US20220279158A1 (en) 2020-11-10 2022-05-20 Wearable electronic device with display

Publications (1)

Publication Number Publication Date
WO2022102954A1 true WO2022102954A1 (ko) 2022-05-19

Family

ID=81602495

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/012998 WO2022102954A1 (ko) 2020-11-10 2021-09-24 디스플레이를 포함하는 웨어러블 전자 장치

Country Status (3)

Country Link
US (1) US20220279158A1 (ko)
KR (1) KR20220063467A (ko)
WO (1) WO2022102954A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230275206A1 (en) 2021-05-25 2023-08-31 Lg Energy Solution, Ltd. Apparatus for manufacturing positive electrode film, manufacturing method using same, and positive electrode film manufactured using same
KR20240074348A (ko) * 2022-11-21 2024-05-28 삼성전자주식회사 증강 현실에서 이미지 획득 장치 및 방법
WO2024128668A1 (ko) * 2022-12-12 2024-06-20 삼성전자 주식회사 광 출력 모듈을 포함하는 웨어러블 전자 장치
CN116634248A (zh) * 2023-05-15 2023-08-22 深圳返景星达科技有限公司 一种vr表情捕捉阵列电路及运作方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090189974A1 (en) * 2008-01-23 2009-07-30 Deering Michael F Systems Using Eye Mounted Displays
KR20140111693A (ko) * 2012-01-05 2014-09-19 구글 인코포레이티드 입출력 구조를 가진 웨어러블 디바이스 어셈블리
KR20170084458A (ko) * 2016-01-12 2017-07-20 엘지전자 주식회사 헤드 마운트 디스플레이 장치
KR20200040780A (ko) * 2017-08-28 2020-04-20 트리나미엑스 게엠베하 적어도 하나의 대상체의 위치를 결정하는 검출기
KR20200108857A (ko) * 2018-01-17 2020-09-21 매직 립, 인코포레이티드 디스플레이와 사용자의 눈들 사이의 정합을 결정하기 위한 디스플레이 시스템들 및 방법들

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104204904B (zh) * 2012-01-24 2018-05-18 亚利桑那大学评议会 紧凑式眼睛跟踪头戴式显示器
US11158126B1 (en) * 2017-06-30 2021-10-26 Apple Inc. Redirected walking in virtual reality environments
CN110610669A (zh) * 2018-06-15 2019-12-24 深圳富泰宏精密工业有限公司 显示模块及具有该显示模块的电子装置
US10990816B1 (en) * 2019-05-01 2021-04-27 Facebook Technologies, Llc Apparatuses, systems, and methods for mapping corneal curvature
US20230222738A1 (en) * 2020-05-25 2023-07-13 Sony Group Corporation Information processing apparatus, information processing method, and program
KR20220005958A (ko) * 2020-07-07 2022-01-14 삼성전자주식회사 사용자의 시력을 교정하고 캘리브레이션을 수행하는 디바이스 및 방법
TWI805950B (zh) * 2020-10-05 2023-06-21 宏碁股份有限公司 拓展眼盒的智慧眼鏡

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090189974A1 (en) * 2008-01-23 2009-07-30 Deering Michael F Systems Using Eye Mounted Displays
KR20140111693A (ko) * 2012-01-05 2014-09-19 구글 인코포레이티드 입출력 구조를 가진 웨어러블 디바이스 어셈블리
KR20170084458A (ko) * 2016-01-12 2017-07-20 엘지전자 주식회사 헤드 마운트 디스플레이 장치
KR20200040780A (ko) * 2017-08-28 2020-04-20 트리나미엑스 게엠베하 적어도 하나의 대상체의 위치를 결정하는 검출기
KR20200108857A (ko) * 2018-01-17 2020-09-21 매직 립, 인코포레이티드 디스플레이와 사용자의 눈들 사이의 정합을 결정하기 위한 디스플레이 시스템들 및 방법들

Also Published As

Publication number Publication date
US20220279158A1 (en) 2022-09-01
KR20220063467A (ko) 2022-05-17

Similar Documents

Publication Publication Date Title
WO2022102954A1 (ko) 디스플레이를 포함하는 웨어러블 전자 장치
WO2022108076A1 (ko) 증강 현실 환경의 무선 연결 방법 및 이를 위한 전자 장치
WO2022215895A1 (ko) 복수의 카메라를 포함하는 웨어러블 전자 장치
WO2022092517A1 (ko) 디스플레이를 포함하는 웨어러블 전자 장치, 그 디스플레이를 제어하는 방법, 및 그 웨어러블 전자 장치 및 케이스를 포함하는 시스템
WO2023017986A1 (ko) 영상 데이터 및 오디오 데이터 출력 방법 및 전자 시스템
WO2023008711A1 (ko) 조정 장치 및 조정 장치의 동작 방법
WO2022191497A1 (ko) 디스플레이를 포함하는 웨어러블 전자 장치
WO2022186454A1 (ko) 가요성 인쇄 회로 기판을 포함하는 전자 장치
WO2024043468A1 (ko) 객체들을 이용하여 인증 패턴을 등록 및 해제하는 장치 및 방법
WO2023085569A1 (ko) Ar 이미지의 휘도를 제어하는 방법 및 장치
WO2023153607A1 (ko) 주변 조도에 기초한 ar 컨텐츠 표시 방법 및 전자 장치
WO2023080420A1 (ko) 가변형 그라운드를 포함하는 웨어러블 전자 장치
WO2024029858A1 (ko) 디스플레이 모듈 제어 방법 및 상기 방법을 수행하는 전자 장치
WO2024048986A1 (ko) 사용자 의도를 고려해서 주변 기기를 제어하기 위한 장치 및 방법
WO2024080583A1 (ko) 이미지를 활용한 ar 정보 제공 방법 및 전자 장치
WO2024048937A1 (ko) 웨어러블 전자 장치 및 이를 포함하는 충전 시스템
WO2024043611A1 (ko) 디스플레이 모듈 제어 방법 및 상기 방법을 수행하는 전자 장치
WO2022071698A1 (ko) 마이크로 led를 이용한 광학 엔진 및 이를 포함하는 전자 장치
WO2022234947A1 (ko) 웨어러블 전자 장치 및 3d 이미지 출력 방법
WO2023153611A1 (ko) 객체의 영상을 획득하는 방법 및 장치
WO2024101747A1 (ko) 카메라를 포함하는 웨어러블 전자 장치 및 이의 동작 방법
WO2023080419A1 (ko) 비전 정보를 이용하여 전자기기를 제어하는 웨어러블 전자 장치 및 방법
WO2023048466A1 (ko) 전자 장치 및 컨텐츠 표시 방법
WO2024010221A1 (ko) 디스플레이 패널을 포함하는 웨어러블 장치
WO2023120892A1 (ko) 글린트를 이용한 시선 추적에서 광원을 제어하는 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21892124

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21892124

Country of ref document: EP

Kind code of ref document: A1