WO2022191497A1 - 디스플레이를 포함하는 웨어러블 전자 장치 - Google Patents

디스플레이를 포함하는 웨어러블 전자 장치 Download PDF

Info

Publication number
WO2022191497A1
WO2022191497A1 PCT/KR2022/002971 KR2022002971W WO2022191497A1 WO 2022191497 A1 WO2022191497 A1 WO 2022191497A1 KR 2022002971 W KR2022002971 W KR 2022002971W WO 2022191497 A1 WO2022191497 A1 WO 2022191497A1
Authority
WO
WIPO (PCT)
Prior art keywords
control circuit
infrared
light
state
electronic device
Prior art date
Application number
PCT/KR2022/002971
Other languages
English (en)
French (fr)
Inventor
홍성빈
박용현
윤종민
김승년
하헌준
황정희
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US17/826,297 priority Critical patent/US11953695B2/en
Publication of WO2022191497A1 publication Critical patent/WO2022191497A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/29—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the position or the direction of light beams, i.e. deflection
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Definitions

  • Various embodiments of the present disclosure relate to a wearable electronic device including a display.
  • the augmented reality service is a service that superimposes a virtual image having additional information on a real-world image viewed by the user, and may provide the user with a virtual image including content related to a real object identified from the real-world image. .
  • AR glasses augmented reality glass manufactured assuming a standard face shape may be bent according to the size of the wearer's face. If the distance between the temple and the spectacle frame is modified, the distance between the exit of the optical engine and the input optical member of the optical waveguide may vary. As a result, distortion may occur in the output virtual image.
  • a wearable electronic device includes a skeletal member including a temple, an eyeglass frame and a bridge, a display fixed to the temple and outputting visible light corresponding to a virtual image, and a liquid crystal, and using the liquid crystal
  • a light steering member for adjusting the direction of the visible ray light traveling from the exit of the display to the input optical member of the optical waveguide, an optical waveguide for outputting the virtual image by adjusting the path of the visible ray light, for tracking a user's gaze
  • An infrared output unit for outputting infrared light, an infrared sensor for detecting infrared light reflected from the user's pupil, a bending sensor connected to the temple and the eyeglass frame to measure a first bending state between the temple and the eyeglass frame, the display a first control circuit for supplying driving power and a control signal to the inverter and a second control circuit for supplying driving power and a control signal to the infrared sensor and the infrared output unit, wherein the second control circuit detect
  • a wearable electronic device includes a skeletal member including a temple, an eyeglass frame and a bridge, a plurality of visible ray pixels fixed to the temple and outputting visible ray light corresponding to a virtual image, and infrared light
  • a light steering member comprising a self-luminous display liquid crystal including a plurality of infrared pixels, and using the liquid crystal to adjust a direction of the visible light traveling from an exit of the self-luminous display to an input optical member of the optical waveguide, the infrared An optical waveguide that adjusts the path of light to output the infrared light to the user's pupil, adjusts the path of the visible light to output the virtual image, an infrared sensor that detects infrared light reflected from the user's pupil, the temple and A bending sensor connected to the spectacle frame to measure a first bending state between the temple and the spectacle frame, a first control circuit for supplying driving power and control signals to the self-luminous display, and driving power and control signals to the infrared sensor and
  • the wearable electronic device may display a clear virtual image without distortion to the user.
  • the wearable electronic device may correct distortion of a virtual image caused by bending or torsion that may occur when worn.
  • the wearable electronic device may provide a clear virtual image to the user by adjusting the output visible light without having to adjust the standard according to the size or shape of the user's face.
  • controller means any device, system or part thereof that controls at least one operation. Such an apparatus may be implemented in hardware, firmware, or software, or a combination of at least two thereof. Functionality associated with any particular controller may be centralized or distributed, either locally or remotely.
  • various functions described below may be implemented or supported by one or more computer programs.
  • Each of the one or more computer programs may be formed of computer readable program code and embodied in a computer readable medium.
  • application and “program” refer to one or more computer programs, software components, sets of instructions, configured to be embodied in suitable computer readable program code; Refers to procedures, functions, objects, classes, instances, related data, or portions thereof.
  • computer readable program code means any form of computer code, including source code, object code, and executable code. ) is included.
  • Non-transitory computer-readable media excludes wired, wireless, optical, or other communication links that carry electrical or other signals that are transitory.
  • Non-transitory computer readable media includes media in which data is permanently stored, and media in which data is stored and subsequently overwritten, such as a rewritable optical disc or erasable memory device.
  • FIG. 1 is a block diagram of an electronic device in a network environment according to embodiments of the present disclosure
  • FIG. 2 is a diagram illustrating a structure of a wearable electronic device according to embodiments of the present disclosure.
  • 3A and 3B are diagrams for explaining a bending state of the wearable electronic device when the wearable electronic device is worn by a user according to embodiments of the present disclosure
  • FIGS. 4A to 4C are diagrams illustrating a configuration of a wearable electronic device according to embodiments of the present disclosure.
  • 5A and 5B are diagrams for explaining a process of measuring a second bending state by a wearable electronic device according to embodiments of the present disclosure
  • 6A and 6B are diagrams for explaining a process of measuring a first bending state by a wearable electronic device according to embodiments of the present disclosure
  • FIGS. 7A and 7B are diagrams for explaining an operation principle of a liquid crystal of a light steering member of a wearable electronic device according to embodiments of the present disclosure
  • FIGS. 8A and 8B are diagrams for explaining an operation principle of a torsion adjusting unit of a light steering member of a wearable electronic device according to embodiments of the present disclosure
  • FIG. 9 is a diagram illustrating a structure of a wearable electronic device according to embodiments of the present disclosure.
  • FIGS. 10A and 10B are diagrams illustrating a structure of a display of a wearable electronic device according to embodiments of the present disclosure
  • FIG. 11 is a block diagram illustrating a configuration of a wearable electronic device according to embodiments of the present disclosure.
  • FIG. 12 is a block diagram illustrating a configuration of a wearable electronic device according to embodiments of the present disclosure.
  • FIG. 13 is a flowchart illustrating an operation of a wearable electronic device according to embodiments of the present disclosure.
  • FIGS. 1 to 13 described below are for illustrative purposes only and should not be construed as limiting the scope of the present disclosure. Those of ordinary skill in the art will understand that the principles of the present disclosure may be implemented in any suitably configured system and apparatus.
  • FIG. 1 is a block diagram of an electronic device in a network environment according to embodiments of the present disclosure
  • FIG. 1 is a block diagram of an electronic device 101 in a network environment 100, according to various embodiments.
  • the electronic device 101 communicates with the electronic device 102 through a first network 198 (eg, a short-range wireless communication network) or a second network 199 . It may communicate with at least one of the electronic device 104 and the server 108 through (eg, a long-distance wireless communication network). According to some embodiments, the electronic device 101 may communicate with the electronic device 104 through the server 108 .
  • the electronic device 101 includes a processor 120 , a memory 130 , an input module 150 , a sound output module 155 , a display module 160 , an audio module 170 , and a sensor module. 176 , interface 177 , connection terminal 178 , haptic module 179 , camera module 180 , power management module 188 , battery 189 , communication module 190 , subscriber identification module 196 ), or an antenna module 197 .
  • at least one of these components (eg, the connection terminal 178 ) may be omitted or one or more other components may be added to the electronic device 101 .
  • some of these components are integrated into one component (eg, display module 160 ). can be integrated.
  • the processor 120 for example, executes software (eg, a program 140) to execute at least one other component (eg, a hardware or software component) of the electronic device 101 connected to the processor 120. It can control and perform various data processing or operations. According to some embodiments, as at least part of data processing or computation, the processor 120 may store commands or data received from other components (eg, the sensor module 176 or the communication module 190 ) into the volatile memory 132 . ), process commands or data stored in the volatile memory 132 , and store the result data in the non-volatile memory 134 .
  • software eg, a program 140
  • the processor 120 may store commands or data received from other components (eg, the sensor module 176 or the communication module 190 ) into the volatile memory 132 . ), process commands or data stored in the volatile memory 132 , and store the result data in the non-volatile memory 134 .
  • the processor 120 may include a main processor 121 (eg, a central processing unit or an application processor) or a secondary processor 123 (eg, a graphics processing unit or a neural network processing unit) capable of operating independently or together with the main processor 121 .
  • main processor 121 eg, a central processing unit or an application processor
  • secondary processor 123 eg, a graphics processing unit or a neural network processing unit
  • image signal processor e.g., image signal processor, sensor hub processor, or communication processor.
  • the auxiliary processor 123 may be implemented separately from or as a part of the main processor 121 .
  • the secondary processor 123 may, for example, act on behalf of the main processor 121 while the main processor 121 is in an inactive (eg, sleep) state, or when the main processor 121 is active (eg, executing an application). ), together with the main processor 121, at least one of the components of the electronic device 101 (eg, the display module 160, the sensor module 176, or the communication module 190) It is possible to control at least some of the related functions or states.
  • coprocessor 123 eg, image signal processor or communication processor
  • may be implemented as part of another functionally related component eg, camera module 180 or communication module 190 ).
  • the auxiliary processor 123 may include a hardware structure specialized for processing an artificial intelligence model.
  • Artificial intelligence models can be created through machine learning. Such learning may be performed, for example, in the electronic device 101 itself on which the artificial intelligence model is performed, or may be performed through a separate server (eg, the server 108).
  • the learning algorithm may include, for example, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but in the above example not limited
  • the artificial intelligence model may include a plurality of artificial neural network layers.
  • Artificial neural networks include deep neural networks (DNNs), convolutional neural networks (CNNs), recurrent neural networks (RNNs), restricted boltzmann machines (RBMs), deep belief networks (DBNs), bidirectional recurrent deep neural networks (BRDNNs), It may be one of deep Q-networks or a combination of two or more of the above, but is not limited to the above example.
  • the artificial intelligence model may include, in addition to, or alternatively, a software structure in addition to the hardware structure.
  • the memory 130 may store various data used by at least one component (eg, the processor 120 or the sensor module 176 ) of the electronic device 101 .
  • the data may include, for example, input data or output data for software (eg, the program 140 ) and instructions related thereto.
  • the memory 130 may include a volatile memory 132 or a non-volatile memory 134 .
  • the program 140 may be stored as software in the memory 130 , and may include, for example, an operating system 142 , middleware 144 , or an application 146 .
  • the input module 150 may receive a command or data to be used by a component (eg, the processor 120 ) of the electronic device 101 from the outside (eg, a user) of the electronic device 101 .
  • the input module 150 may include, for example, a microphone, a mouse, a keyboard, a key (eg, a button), or a digital pen (eg, a stylus pen).
  • the sound output module 155 may output a sound signal to the outside of the electronic device 101 .
  • the sound output module 155 may include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback.
  • the receiver can be used to receive incoming calls. According to some embodiments, the receiver may be implemented separately from or as part of the speaker.
  • the display module 160 may visually provide information to the outside (eg, a user) of the electronic device 101 .
  • the display module 160 may include, for example, a control circuit for controlling a display, a hologram device, or a projector and a corresponding device.
  • the display module 160 may include a touch sensor configured to sense a touch or a pressure sensor configured to measure the intensity of a force generated by the touch.
  • the audio module 170 may convert a sound into an electric signal or, conversely, convert an electric signal into a sound. According to some embodiments, the audio module 170 acquires sound through the input module 150 , or an external electronic device (eg, the sound output module 155 ) connected directly or wirelessly with the electronic device 101 . : A sound may be output through the electronic device 102 (eg, a speaker or headphones).
  • the sensor module 176 detects an operating state (eg, power or temperature) of the electronic device 101 or an external environmental state (eg, a user state), and generates an electrical signal or data value corresponding to the sensed state. can do.
  • the sensor module 176 may include, for example, a gesture sensor, a gyro sensor, a barometric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor. , a temperature sensor, a humidity sensor, or an illuminance sensor.
  • the interface 177 may support one or more specified protocols that may be used by the electronic device 101 to directly or wirelessly connect with an external electronic device (eg, the electronic device 102 ).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card
  • connection terminal 178 may include a connector through which the electronic device 101 can be physically connected to an external electronic device (eg, the electronic device 102 ).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 may convert an electrical signal into a mechanical stimulus (eg, vibration or movement) or an electrical stimulus that the user can perceive through tactile or kinesthetic sense.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 may capture still images and moving images. According to some embodiments, camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 188 may manage power supplied to the electronic device 101 .
  • the power management module 188 may be implemented, for example, as at least part of a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the electronic device 101 .
  • battery 189 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication module 190 is a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 101 and an external electronic device (eg, the electronic device 102, the electronic device 104, or the server 108). It can support establishment and communication performance through the established communication channel.
  • the communication module 190 may include one or more communication processors that operate independently of the processor 120 (eg, an application processor) and support direct (eg, wired) communication or wireless communication.
  • the communication module 190 may be a wireless communication module 192 (eg, a cellular communication module, a short-range communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 ( For example: a local area network (LAN) communication module, or a power line communication module).
  • a wireless communication module 192 eg, a cellular communication module, a short-range communication module, or a global navigation satellite system (GNSS) communication module
  • GNSS global navigation satellite system
  • wired communication module 194 For example: a local area network (LAN) communication module, or a power line communication module.
  • a corresponding communication module among these communication modules is a first network 198 (eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 199 (eg, legacy It may communicate with the external electronic device 104 through a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (eg, a telecommunication network such as a LAN or a WAN).
  • a first network 198 eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)
  • a second network 199 eg, legacy It may communicate with the external electronic device 104 through a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (eg, a telecommunication network such as a LAN or a WAN).
  • a telecommunication network
  • the wireless communication module 192 uses subscriber information (eg, International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 196 within a communication network such as the first network 198 or the second network 199 .
  • subscriber information eg, International Mobile Subscriber Identifier (IMSI)
  • IMSI International Mobile Subscriber Identifier
  • the electronic device 101 may be identified or authenticated.
  • the wireless communication module 192 may support a 5G network after a 4G network and a next-generation communication technology, for example, a new radio access technology (NR).
  • NR access technology includes high-speed transmission of high-capacity data (eMBB (enhanced mobile broadband)), minimization of terminal power and access to multiple terminals (mMTC (massive machine type communications)), or high reliability and low latency (URLLC (ultra-reliable and low-latency) -latency communications)).
  • eMBB enhanced mobile broadband
  • mMTC massive machine type communications
  • URLLC ultra-reliable and low-latency
  • the wireless communication module 192 may support a high frequency band (eg, mmWave band) to achieve a high data rate, for example.
  • a high frequency band eg, mmWave band
  • the wireless communication module 192 uses various techniques for securing performance in a high-frequency band, for example, beamforming, massive multiple-input and multiple-output (MIMO), all-dimensional multiplexing. It may support technologies such as full dimensional MIMO (FD-MIMO), an array antenna, analog beam-forming, or a large scale antenna.
  • the wireless communication module 192 may support various requirements defined in the electronic device 101 , an external electronic device (eg, the electronic device 104 ), or a network system (eg, the second network 199 ).
  • the wireless communication module 192 includes a peak data rate (eg, 20 Gbps or more) for realizing eMBB, loss coverage (eg, 164 dB or less) for realizing mMTC, or U-plane latency for realizing URLLC. (eg, 0.5 ms or less for downlink (DL) and uplink (UL), respectively, or 1 ms or less for round trip).
  • a peak data rate eg, 20 Gbps or more
  • loss coverage eg, 164 dB or less
  • U-plane latency for realizing URLLC.
  • the antenna module 197 may transmit or receive a signal or power to the outside (eg, an external electronic device).
  • the antenna module 197 may include an antenna including a conductor formed on a substrate (eg, a PCB) or a radiator formed of a conductive pattern.
  • the antenna module 197 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 198 or the second network 199 is connected from the plurality of antennas by, for example, the communication module 190 . can be selected. A signal or power may be transmitted or received between the communication module 190 and an external electronic device through the selected at least one antenna.
  • other components eg, a radio frequency integrated circuit (RFIC)
  • RFIC radio frequency integrated circuit
  • the antenna module 197 may form a mmWave antenna module.
  • the mmWave antenna module is an RFIC disposed on or adjacent to a printed circuit board, a first side (eg, bottom side) of the printed circuit board, and capable of supporting a designated high frequency band (eg, mmWave band).
  • a plurality of antennas eg, an array antenna
  • a second side eg, top or side
  • capable of transmitting or receiving signals of the designated high frequency band may include
  • peripheral devices eg, a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • GPIO general purpose input and output
  • SPI serial peripheral interface
  • MIPI mobile industry processor interface
  • the command or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199 .
  • Each of the external electronic devices 102 or 104 may be the same as or different from the electronic device 101 .
  • all or part of the operations executed in the electronic device 101 may be executed in one or more external electronic devices 102 , 104 , or 108 .
  • the electronic device 101 may perform the function or service itself instead of executing the function or service itself.
  • one or more external electronic devices may be requested to perform at least a part of the function or the service.
  • One or more external electronic devices that have received the request may execute at least a part of the requested function or service, or an additional function or service related to the request, and transmit a result of the execution to the electronic device 101 .
  • the electronic device 101 may process the result as it is or additionally and provide it as at least a part of a response to the request.
  • cloud computing, distributed computing, mobile edge computing (MEC), or client-server computing technology may be used.
  • the electronic device 101 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 104 may include an Internet of things (IoT) device.
  • the server 108 may be an intelligent server using machine learning and/or neural networks.
  • the external electronic device 104 or the server 108 may be included in the second network 199 .
  • the electronic device 101 may be applied to an intelligent service (eg, smart home, smart city, smart car, or health care) based on 5G communication technology and IoT-related technology.
  • FIG. 2 is a diagram illustrating a structure of a wearable electronic device according to embodiments of the present disclosure.
  • the wearable electronic device 200 may be worn on a user's face to provide an image related to an augmented reality service and/or a virtual reality service to the user. have.
  • the wearable electronic device 200 includes the first display 205 , the second display 210 , the optical waveguides 215a and 215b , the input optical members 220a and 220b , and the first transparent member 225a . , second transparent member 225b, lighting units 230a and 230b, first PCB 235a, second PCB 235b, first hinge 240a, second hinge 240b, first camera 245, a plurality of microphones (eg, the first microphone 250a, the second microphone 250b, and the third microphone 250c), a plurality of speakers (eg, the first speaker 255a, the second speaker 255b) )), a battery 260 , a second camera 265a , and a third camera 265b .
  • first display 205 the second display 210 , the optical waveguides 215a and 215b , the input optical members 220a and 220b , and the first transparent member 225a .
  • second transparent member 225b lighting units 230a and
  • a display (eg, first display 205 and second display 210 ) (eg, display module 160 of FIG. 1 ) may include, for example, a liquid crystal display (LCD). ), digital mirror device (DMD), liquid crystal on silicon (LCoS), organic light emitting diode (OLED) or micro light emitting diode (micro LED) may include
  • the wearable electronic device 200 may include a light source for irradiating light to a screen output area of the display.
  • the wearable electronic device 200 when the display can generate light by itself, for example, when it is made of one of an organic light emitting diode or a micro LED, the wearable electronic device 200 provides good quality to the user even if it does not include a separate light source. can provide a virtual image of In an embodiment, if the display is implemented with an organic light emitting diode or a micro LED, a light source is unnecessary, so that the wearable electronic device 200 can be lightweight.
  • a display capable of generating light by itself is referred to as a self-luminous display, and description is made on the assumption of the self-luminous display.
  • the displays may include at least one micro light emitting diode (LED).
  • the micro LED can express red (R, red), green (G, green), and blue (B, blue) by self-luminescence, and has a small size (eg, 100 ⁇ m or less), and one chip is A pixel (eg, one of R, G, and B) may be implemented. Accordingly, when the display is configured with micro LEDs, it is possible to provide high resolution without a backlight unit (BLU).
  • BLU backlight unit
  • one pixel may include R, G, and B
  • one chip may include a plurality of pixels including R, G, and B.
  • the displays may include pixels for displaying a virtual image.
  • the display may further include infrared pixels that emit infrared light.
  • the display may further include light-receiving pixels (eg, photo sensor pixels) that receive light reflected from the user's eye disposed between the pixels, convert it into electrical energy, and output the light.
  • the light receiving pixel may be referred to as a gaze tracking sensor.
  • the eye tracking sensor may detect infrared light emitted by an infrared pixel included in the display and reflected by the user's eye.
  • the wearable electronic device 200 may include separate eye tracking cameras (eg, IR LED detection sensors) 213a and 213b.
  • the eye tracking cameras 213a and 213b may detect infrared light reflected by the user's eyes.
  • the wearable electronic device 200 may track the user's gaze based on the infrared light detected by the gaze tracking cameras 213a and 213b.
  • the wearable electronic device 200 may determine the position of the center of the virtual image according to the gaze directions of the user's right and left eyes (eg, the directions in which the user's right and left pupils gaze).
  • the wearable electronic device 200 may detect the user's gaze direction (eg, eye movement) through light-receiving pixels.
  • the wearable electronic device 200 may use one or more light-receiving pixels constituting the first display 205 and one or more light-receiving pixels constituting the second display 210 in a gaze direction for the user's right eye and the user's left eye. It is possible to detect and track the gaze direction for The wearable electronic device 200 may determine the position of the center of the virtual image according to the gaze directions of the user's right and left eyes detected through one or more light-receiving pixels (eg, the directions in which the eyes of the user's right and left eyes gaze). .
  • the first display 205 and the second display 210 may each include a first control circuit (not shown).
  • the first control circuit may control the first display 205 and the second display 210 .
  • the first control circuit may control the operation of the liquid crystal element of the transparent cover (not shown) included in the first display 205 and the second display 210 .
  • light emitted from a display passes through a lens (not shown) and a waveguide to face the user's right eye.
  • the optical waveguide 215a formed on the first transparent member 225a disposed to be in the same direction may reach the optical waveguide 215a formed on the second transparent member 225b disposed to face the user's left eye.
  • the light emitted from the display eg, the first display 205 and the second display 210
  • the first transparent member 225a and/or the second transparent member 225b may be formed of a glass plate, a plastic plate, or a polymer, and may be made transparent or translucent.
  • the first transparent member 225a and the second transparent member 225b may include a transparent substrate on which a transparent electrode (ITO: indium tin oxide) is disposed.
  • ITO indium tin oxide
  • the lens may be disposed in front of a display (eg, first display 205 and second display 210 ).
  • the lens may include a concave lens and/or a convex lens.
  • the lens may include a projection lens or a collimation lens.
  • the optical waveguides 215a, 215b or transparent members include a lens including a waveguide, a reflective lens can do.
  • a waveguide may be referred to as an optical waveguide or optical waveguide.
  • the waveguide is a path through which external light is incident, totally reflected, and emitted, and may be distinguished from the first transparent member 225a and the second transparent member 225b through which external light is simply reflected or transmitted.
  • the waveguide may be made of glass, plastic, or polymer, and may include a nano-pattern formed on one surface of the inside or outside, for example, a grating structure of a polygonal or curved shape. have.
  • light incident to one end of the waveguide through the input optical members 220a and 220b may be propagated inside the display waveguide by the nano-pattern and provided to the user.
  • the waveguide formed of a free-form prism may provide incident light to a user through a reflection mirror.
  • the waveguide may include at least one diffractive element, for example, at least one of a diffractive optical element (DOE), a holographic optical element (HOE), or a reflective element (eg, a reflective mirror).
  • DOE diffractive optical element
  • HOE holographic optical element
  • reflective element eg, a reflective mirror
  • the waveguide may guide the light emitted from the displays 205 and 210 to the user's eyes by using at least one diffractive element or a reflective element included in the waveguide.
  • the diffractive element may include input optical members 220a and 220b/output optical members (not shown).
  • the input optical members 220a and 220b may mean an input grating area
  • the output optical member (not shown) may mean an output grating area.
  • the input grating region diffracts (or reflects) light output from the displays (eg, the first display 205 and the second display 210) (eg, micro LEDs) to pass it to the optical waveguides 215a, 215b. It can serve as an input stage.
  • the output grating region may serve as an exit for diffracting (or reflecting) the light transmitted to the waveguide to the user's eyes.
  • the waveguide may function as a path through which light passes.
  • the waveguide may include input optical members 220a and 220b and an output optical member (not shown).
  • the area where light is totally reflected in the waveguide may be formed by being combined with the input optical members 220a and 220b and the output optical member (not shown), or may be formed separately.
  • the reflective element may include a total reflection optical element or a total reflection waveguide for total internal reflection (TIR).
  • TIR total internal reflection
  • total reflection is one way of guiding light, by changing the angle of incidence so that light (e.g., a virtual image) entering through an input grating area is reflected by 100% or close to 100% on one side (e.g., a specific face) of the waveguide. It can mean that 100% or close to 100% is transmitted to the output grating area.
  • the light emitted from the displays 205 and 210 may be guided to a waveguide through the input optical members 220a and 220b, respectively.
  • the light moving inside the waveguide may be guided toward the user's eyes through the output optical member.
  • the screen display unit may be determined based on light emitted toward the user's eyes.
  • the first camera 245 may be referred to as high resolution (HR) or photo video (PV), and may include a high-resolution camera.
  • the first camera 245 may include a color camera equipped with functions for obtaining a high-quality image, such as an auto focus (AF) function and an optical image stabilizer (OIS).
  • AF auto focus
  • OIS optical image stabilizer
  • the present invention is not limited thereto, and the first camera 245 may include a global shutter (GS) camera or a rolling shutter (RS) camera.
  • the second camera 265a and the third camera 265b are 3 degrees of freedom (3DoF), 6DoF head tracking, hand detection and tracking, gesture ) and/or a camera used for spatial recognition.
  • the second camera 265a and the third camera 265b may include a global shutter (GS) camera to detect the movement of the head and the hand and track the movement.
  • GS global shutter
  • At least one sensor (not shown) (eg, a gyro sensor, an acceleration sensor, a geomagnetic sensor, and/or a gesture sensor), a second camera 265a, and a third camera 265b are configured for 6DoF.
  • SLAM simultaneous localization and SLAM with head tracking, pose estimation and prediction, gesture and/or space recognition, and/or depth imaging mapping
  • the second camera 265a and the third camera 265b may be used separately as a camera for head tracking and a camera for hand tracking.
  • the lighting units 230a and 230b may be omitted.
  • the lighting units 230a and 230b may be replaced by infrared pixels included in the first display 205 and the second display 210 .
  • the lighting units 230a and 230b may be included in the wearable electronic device 200 to assist infrared pixels included in the first display 205 and the second display 210 .
  • the lighting units 230a and 230b may have different uses depending on where they are attached.
  • the lighting units 230a and 230b are hinges (eg, a first hinge 240a and a second hinge 240b) connecting the frames 272a and 272b and the temples 271a and 271b.
  • the lighting units 230a and 230b may be attached together with the second camera 265a and the third camera 265b mounted around the periphery or a bridge 273 that connects the frame.
  • the lighting units 230a and 230b may be used as a means to supplement ambient brightness.
  • the lighting units 230a and 230b may be used in a dark environment or when it is not easy to detect a subject to be photographed because of mixed and reflected light of various light sources.
  • components constituting the wearable electronic device 200 except for the first display 205 and the second display 210 are included in the PCB (eg, the first PCB 235a and the second PCB 235b).
  • a second control circuit eg, the processor 120 of FIG. 1 ) for controlling may be located.
  • the second control circuit may control components other than the first display 205 and the second display 210 and perform an operation such as depth value estimation.
  • the second control circuit may include a communication circuit (eg, the communication module 190 of FIG. 1 ) or a memory (eg, the memory 130 of FIG. 1 ).
  • the first control circuit and the second control circuit may be integrated into one.
  • the integrated control circuitry may control the first display 205 , the second display and/or other components.
  • the plurality of microphones receives an external sound signal. It can be processed as electrical voice data.
  • the processed voice data may be variously utilized according to a function (or an application being executed) being performed by the wearable electronic device 200 .
  • a plurality of speakers (eg, the first speaker 255a, the second speaker 255b) (eg, the sound output module 155 of FIG. 1) is a communication circuit (eg, the communication module ( 190) or stored in a memory (eg, the memory 130 of FIG. 1 ) may be output.
  • a communication circuit eg, the communication module ( 190) or stored in a memory (eg, the memory 130 of FIG. 1 ) may be output.
  • one or more batteries 260 may be included, and may supply power to components constituting the wearable electronic device 200 .
  • 3A and 3B are diagrams for explaining a bending state of the wearable electronic device when the wearable electronic device is worn by a user according to embodiments of the present disclosure
  • a wearable electronic device eg, the wearable electronic device 200 of FIG. 2
  • a skeletal member eg, frames 272a and 272b , and temples 271a and 271b
  • bending or torsion may occur between the components of the hinge (eg, the first hinge 240a, the second hinge 240b of FIG. 2 ) and/or the bridge 273 .
  • a gap between the exit of the display and the input optical member may occur, or twisting or bending may occur vertically or horizontally.
  • the virtual image output from the output optical member may be blurred as if it is out of focus. Accordingly, in a situation in which a custom made wearable electronic device cannot be provided according to the improvement of an individual's face, there is a need for a technology capable of alleviating the effects of bending or twisting of the wearable electronic device that may occur when worn.
  • the normal state 301 may mean a state in which the temples 271a and 271b are placed in a preset positional relationship with an eyeglass frame (eg, the frames 272a and 272b of FIG. 2 ).
  • the preset positional relationship may refer to a relationship between the temples 271a and 271b and eyeglass frames (eg, the frames 272a and 272b of FIG. 2 ) set to suit the average face shape of a person.
  • the bent state 302 and 303 may mean a state in which the size of the user's face is larger than the average, so that the temples 271a and 271b and the eyeglass frames (eg, the frames 272a and 272b in FIG. 2) are wider or curved than the normal state. have.
  • FIG. 3B it is a diagram illustrating a connection portion between components of a skeletal member of a wearable electronic device (eg, the wearable electronic device 200 of FIG. 2 ) that may affect the sharpness of a virtual image provided to a user.
  • the connection parts 312a and 312b indicate a connection relationship between the temples 271a and 271b and an eyeglass frame (eg, the frames 272a and 272b of FIG. 2 ).
  • the connecting portions 312a and 321b may be implemented as hinges or may be implemented in a fixed form without a hinge.
  • the connection portion 311 indicates a connection relationship between a bridge (eg, the bridge 273 of FIG. 2 ) and eyeglass frames (eg, the frames 272a and 272b of FIG. 2 ).
  • FIGS. 4A to 4C are diagrams illustrating a configuration of a wearable electronic device according to embodiments of the present disclosure.
  • FIG. 4A a configuration of a wearable electronic device according to an exemplary embodiment is illustrated.
  • the wearable electronic device 400 (eg, the wearable electronic device 200 of FIG. 2 ) includes temples 401a and 401b, eyeglass frames 402a and 402b, and a bridge 403 . It may include a skeletal member comprising a.
  • the wearable electronic device 400 includes displays 205 and 210 (eg, the first display 205 and the second display 210 of FIG. 2 ), beam steering members 410a and 410b , and an optical waveguide ( 215a, 215b) (for example, the optical waveguides 215a and 215b of FIG.
  • first control circuit (not shown) city) (eg, a control circuit included in the first display 205 and the second display 210 of FIG. 2 ) and a second control circuit (not shown) (eg, the PCBs 235a and 235b of FIG. 2 ) may be located).
  • first control circuit (not shown) city) (eg, a control circuit included in the first display 205 and the second display 210 of FIG. 2 ) and a second control circuit (not shown) (eg, the PCBs 235a and 235b of FIG. 2 ) may be located).
  • first control circuit (not shown) city) (eg, a control circuit included in the first display 205 and the second display 210 of FIG. 2 ) and a second control circuit (not shown) (eg, the PCBs 235a and 235b of FIG. 2 ) may be located).
  • first control circuit (not shown) city) (eg, a control circuit included in the first display 205 and the second display 210 of FIG. 2
  • the wearable electronic device 400 may transmit visible light corresponding to the virtual image from the displays 205 and 210 to the user's eyes through the optical waveguides 215a and 215b.
  • the wearable electronic device 400 may transmit a virtual image toward the user's pupil by tracking the user's gaze.
  • the wearable electronic device 400 transmits the virtual image output from the displays 205 and 210 toward the user's eyes through the optical waveguides 215a and 215b, while at the same time allowing the user to see the external world of the wearable electronic device 400 .
  • a (see-through) function may be provided through the transparent members 225a and 225b or the optical waveguides 215a and 215b.
  • the wearable electronic device 400 may include augmented reality glass (AR glasses).
  • AR glasses augmented reality glass
  • the wearable electronic device 400 measures the distortion of the positional relationship between the exits of the displays 205 and 210 and the input gratings 220a and 220b of the optical waveguides 215a and 215b.
  • the wearable electronic device 400 measures the curvature or torsion between the temples 401a and 401b and the eyeglass frames 402a and 402b and measures the curvature or torsion of the bridge 403 of the displays 205 and 210 .
  • a distortion of the positional relationship between the exit pupil and the input optical members 220a and 220b of the optical waveguides 215a and 215b may be measured.
  • the wearable electronic device 400 includes light steering members 410a and 410b between the outlets of the displays 205 and 210 and the input optical members 220a and 220b of the optical waveguides 215a and 215b. can do.
  • the wearable electronic device 400 may adjust the direction of visible light corresponding to the virtual image traveling from the displays 205 and 210 to the optical waveguides 215a and 215b through the light steering members 410a and 410b.
  • the light steering members 410a and 410b include liquid crystal, and by adjusting the refractive index of the liquid crystal, the direction of visible light from the exit of the displays 205 and 210 toward the optical waveguides 215a and 215b is adjusted.
  • the skeletal member eg, the eyeglass frames 402a, 402b), the temples (401a, 401b), the hinge (eg, the first hinge 240a, the second hinge 240b of FIG. 2 ) and/or the bridge 403) are wearable. It may support other components of the electronic device 400 and may have a shape that can be worn on a user's face.
  • the temple 401a is connected to the eyeglass frame 402a and a hinge
  • the eyeglass frame 402a and the eyeglass frame 402b are connected to the bridge 403, and the eyeglass frame 402b and the temple 401b may be connected by a hinge. have.
  • the skeletal member of the wearable electronic device 400 may be manufactured to suit the shape of an average human face.
  • the positions of the exits of the displays 205 and 210 of the wearable electronic device 400 may be aligned with the input optical members 220a and 220b of the optical waveguides 215a and 215b.
  • visible light output from the displays 205 and 210 may be transmitted to the user's eye through an output optical member (not shown) of the optical waveguides 215a and 215b.
  • a clear virtual image can be provided to the user.
  • the temple 401a and the spectacle frame 402a and the temple 401b and the spectacle frame 402b may be aligned so that a clear virtual image is provided to the user.
  • the normal state may mean a state in which the temple 401a and the temple 401b are placed in a preset positional relationship with the spectacle frame 402a and the spectacle frame 402b, respectively.
  • the preset positional relationship may mean a relationship between the temples 401a and 401b and the spectacle frames 402a and 402b set to suit the shape of an average human face.
  • the preset positional relationship is the temples 401a and 401b and the spectacle frame 402a in which the light emitted from the displays 205 and 210 can be provided to the user without distortion through the optical waveguides 215a and 215b.
  • 402b may be a positional relationship between them.
  • the optical waveguides 215a and 215b may be included in the transparent members 225a and 225b, and the transparent members 225a and 225b may be fixed to the eyeglass frames 402a and 402b.
  • a positional relationship between the temples 401a and 401b and the optical waveguides 215a and 215b may correspond to a positional relationship between the temples 401a and 401b and the eyeglass frames 402a and 402b.
  • the optical waveguide 215a, the display 205, and the light steering member 410a are shown when the positional relationship between the temple 401a and the optical waveguide 215a is in a normal state. In a steady state, the optical waveguide 215a and the display 205 are aligned such that a sharp virtual image is presented to the user.
  • the light steering member 410a may be disposed between the display 205 and the light guide light. According to an embodiment, the light steering member 410a may be disposed at the outlet of the display 205, but is not limited thereto, and may be disposed on or on the optical waveguide 215a and the optical waveguide 215a and It may be disposed away from the display 205 .
  • the light steering member 410a may include a liquid crystal 421a and a first transparent member 423a and a second transparent member 422a surrounding the liquid crystal 421a.
  • the light steering member 410a may be included in the display 205 .
  • the first transparent member 423a and the second transparent member 422a may include a transparent substrate on which an indium tin oxide (ITO) is disposed.
  • ITO indium tin oxide
  • FIG. 4B shows the configuration of the wearable electronic device 400 for the right eye, this is for convenience of description, and the configuration of the wearable electronic device 400 for the left eye may be similarly described.
  • the displays 205 and 210 may be fixed to the temples 401a and 401b, respectively.
  • the displays 205 and 210 may output visible light corresponding to the virtual image.
  • the first control circuit may supply driving power and control signals to the displays 205 and 210 .
  • the displays 205 and 210 for outputting the virtual image may include a non-luminous display or a self-luminous display.
  • Non-emissive displays may include, but are not limited to, DMD or LCoS.
  • the non-light emitting display may include a projection display including an illumination light source, an illumination optical system, and a collimation lens.
  • Self-luminous displays may include, but are not limited to, OLEDs or Micro LEDs. The self-luminous display may not use an illumination light source and an illumination optical system.
  • the optical waveguides 215a and 215b may output a virtual image by adjusting a path of visible light.
  • the optical waveguides 215a and 215b may transmit visible light corresponding to the virtual image output from the displays 205 and 210 to the user's eyes.
  • the optical waveguides 215a and 215b may include input optical members 220a and 220b to which visible light is incident, a region through which visible light is totally reflected, and an output grating to which visible light is output.
  • the optical waveguides 215a and 215b may be included in the transparent members 225a and 225b.
  • the transparent members 225a and 225b may be formed of a glass plate, a plastic plate, or a polymer, and may be made transparent or translucent.
  • the transparent members 225a and 225b may be disposed to face the user's eyes.
  • Each of the transparent members 225a and 225b may be disposed to face both eyes of the user.
  • the transparent members 225a and 225b may include input optical members 220a and 220b. In FIG.
  • the optical waveguides 215a and 215b include the input optical members 220a and 220b, but this is only an example, and the input optical members 220a and 220b are separated from the optical waveguides 215a and 215b. may be located.
  • the output optical member may be included in the optical waveguides 215a and 215b or formed separately from the optical waveguides 215a and 215b. In addition, the output optical member may constitute the entire optical waveguide 215a, 215b.
  • the infrared output units 413a and 413b and the infrared sensors 411a and 411b may be used to detect and track the user's gaze. Although the identification symbol is omitted from FIG. 4A for readability, a plurality of infrared output units including the infrared output units 413a and 413b may be located close to the edges of the transparent members 225a and 225b. The infrared output units 413a and 413b may output infrared light for tracking the user's gaze. The infrared output units 413a and 413b may output infrared light toward the user's pupil.
  • the infrared sensors 411a and 411b may detect infrared light from which the infrared light output from the infrared output units 413a and 413b is reflected from the user's pupil.
  • the infrared sensors 411a and 411b may include an infrared camera.
  • the second control circuit may supply driving power and control signals to the infrared sensors 411a and 411b and the infrared output units 413a and 413b.
  • the bending sensor (412a, 412b) is connected to the temples (401a, 401b) and the eyeglass frames (402a, 402b) temples (401a, 401b) and the first bending state between the eyeglass frames (402a, 402b) can be measured
  • the bending sensors 412a and 412b refer to sensors capable of detecting structural deformation of an object.
  • the warpage sensors 412a and 412b may include, without limitation, sensors capable of detecting structural deformation, such as a flex sensor, a hall sensor, and an optical sensor.
  • the bending sensors 412a and 412b may include a variable resistance that changes according to the first bending state.
  • the second control circuit may measure the first bending state based on the output voltage of one end of the variable resistor.
  • a plurality of infrared output units 413a may be disposed outside the first transparent member 225a.
  • a plurality of infrared output units including the infrared output unit 413a may output infrared light to the boundary of the pupil of the user's right eye.
  • a plurality of infrared output units 413b may be disposed outside the second transparent member 225b.
  • a plurality of infrared output units including the infrared output unit 413b may output infrared light to the boundary of the pupil of the user's left eye.
  • the wearable electronic device 400 may detect infrared light reflected from the right eye through the infrared sensor 411a.
  • Infrared light output from the plurality of infrared output units including the infrared output unit 413a is circularly irradiated to the boundary of the pupil of the right eye, and the infrared sensor 411a may detect the plurality of infrared rays reflected from the right eye.
  • the second control circuit may measure the center of the pupil of the right eye, an up-down angle, and a left-right angle based on the detected plurality of infrared lights.
  • the wearable electronic device 400 may detect infrared light reflected from the left eye through the infrared sensor 411b.
  • Infrared light output from the plurality of infrared output units including the infrared output unit 413b is circularly irradiated to the boundary of the pupil of the left eye, and the infrared sensor 411b may detect the plurality of infrared rays reflected from the left eye.
  • the second control circuit may measure the center of the pupil of the left eye, the vertical angle, and the left and right angles based on the detected plurality of infrared rays.
  • the detection result of the infrared sensors 411a and 411b may include a left eye angle with respect to the pupil of the user's left eye and a right eye angle with respect to the pupil of the user's right eye.
  • the left eye angle refers to an angle viewed from the infrared sensor 411b in a triangle in which the diameter of the pupil of the user's left eye is the base and the infrared sensor 411b is the vertex.
  • the right eye angle means an angle viewed from the infrared sensor 411a in a triangle in which the diameter of the pupil of the user's right eye is the base and the infrared sensor 411a is a vertex.
  • the boundary of the pupil may be estimated by the detected plurality of infrared lights.
  • the second control circuit may measure the center of the pupil of the left eye and the right eye, and the angle of the left eye and the angle of the right eye in the up-down direction or the left-right direction based on the detected plurality of infrared lights.
  • the second control circuit may measure the second bending state of the bridge 403 based on the detection result of the infrared sensors 411a and 411b. For example, the second control circuit may measure the second bending state by comparing the left eye angle and the right eye angle. The second control circuit may measure the second bending state when the difference between the left eye angle and the right eye angle is greater than a threshold value.
  • the threshold value may be preset based on the sharpness of the virtual image provided to the user.
  • the electronic device determines that the difference between the left eye angle and the right eye angle has a small effect on the sharpness of the virtual image, and the second control circuit measures the second bending state By not doing so, processing power and power consumption can be reduced.
  • FIG. 4C it is a diagram illustrating the optical waveguide 215a, the display 205, and the light steering member 410a when the positional relationship between the temple 401a and the optical waveguide 215a is in a bent state.
  • the optical waveguide 215a' in a bent state with respect to the optical waveguide 215a in a steady state is The angle can be different.
  • the second control circuit may adjust the direction of visible light through the light steering member 410a based on the first bent state and the second bent state.
  • the light steering member 410a may include a liquid crystal 421a and a first transparent member 423a and a second transparent member 422a surrounding the liquid crystal 421a.
  • the second control circuit may adjust the direction of visible light by adjusting the voltage applied to the liquid crystal 421a included in the light steering member 410a based on the first bent state and the second bent state. have.
  • the light steering member 410a may adjust the direction of the visible light projected from the display 205 to a specific direction.
  • the light steering member 410a may adjust the direction of visible light that travels from the exit of the display 205 to the input optical member 220a of the optical waveguide 215a using liquid crystal.
  • the light steering member 410a may adjust the direction of visible light by applying a voltage to an electrode connected to the liquid crystal to change the refractive index of the liquid crystal.
  • the wearable electronic device 400 may change the refractive index of the liquid crystal so that the direction of the visible light output from the display 205 is bent in a direction opposite to the bending angle.
  • FIG. 4C shows the configuration of the wearable electronic device 400 for the right eye, this is for convenience of description, and the configuration of the wearable electronic device 400 for the left eye may be similarly described.
  • the wearable electronic device 400 may display a clear virtual image without distortion to the user.
  • the wearable electronic device 400 may correct distortion of a virtual image caused by bending or torsion that may occur when worn.
  • the wearable electronic device 400 may provide a clear virtual image to the user by adjusting the output visible light without having to adjust the standard according to the size or shape of the user's face.
  • 5A and 5B are diagrams for explaining a process of measuring a second bending state by a wearable electronic device according to embodiments of the present disclosure
  • eyeglass frames eg, frames 272a and 272b of FIG. 2
  • bridges eg, bridge 273 of FIG. 2
  • a diagram is shown for explaining the angle of the pupil measured by the infrared sensors 411a and 411b when the positional relationship of .
  • a plurality of infrared output units may be disposed outside the transparent member of the right eye (eg, the first transparent member 225a of FIG. 4A ).
  • the plurality of infrared output units may output infrared light to the boundary of the pupil of the user's right eye.
  • Infrared light output from the plurality of infrared output units may be circularly irradiated to the boundary of the pupil of the right eye.
  • the infrared sensor 411a of the right eye may have a field of view (FOV) 502a.
  • the horizontal diameter 533a of the FOV of the infrared sensor 411a may be greater than the horizontal diameter 531a of the pupil of the user's right eye.
  • the wearable electronic device may detect a plurality of infrared rays 501a reflected from the right eye through the infrared sensor.
  • the second control circuit (eg, the second control circuit of FIG. 2 ) is configured to determine the right eye angle based on the detected plurality of infrared lights 501a. can be measured.
  • the second control circuit determines the angle of the vertex of the triangle with the diameters 531a and 532a of the circles formed by the detected plurality of infrared rays 501a as the base. can be measured.
  • the angle may be measured in radians, and the angle may be expressed as a multiple of the size of a pixel of the infrared sensor.
  • the radian angle may be expressed by N pixels of the infrared sensor, and N may be a natural number.
  • the second control circuit is the number of pixels corresponding to each of the horizontal diameter 533a and the vertical diameter 534a of the FOV and the horizontal diameter 531a and the vertical diameter 532a of the circle formed by the plurality of infrared lights 501a, respectively.
  • Right eye angle based on the number of corresponding pixels can be calculated.
  • the angle of view of the infrared sensor 411a may be expressed as a horizontal diameter and a vertical diameter, and may be predetermined as a design value.
  • a pixel per degree (PPD) may be calculated by dividing the number of pixels corresponding to the inside of the angle of view by the angle of view.
  • the PPD may be 32.
  • the second control circuit calculates the size of the circle formed by the infrared reflected light 501a formed around the pupil in the number of pixels, and converts the number of pixels into an angle for the horizontal diameter 531a and the vertical diameter 532a. angle can be calculated.
  • a plurality of infrared output units may be disposed outside the transparent member of the left eye (eg, the second transparent member 225b of FIG. 4A ).
  • the plurality of infrared output units may output infrared light to the boundary of the pupil of the user's left eye.
  • Infrared light output from the plurality of infrared output units may be circularly irradiated to the boundary of the pupil of the left eye.
  • the infrared sensor 411b of the left eye may have a FOV.
  • the horizontal diameter 533b of the FOV of the infrared sensor 411b may be greater than the horizontal diameter 531b of the pupil of the user's left eye.
  • the wearable electronic device may detect a plurality of infrared rays 501b reflected from the left eye through the infrared sensor 411b.
  • the second control circuit determines the left eye angle based on the detected plurality of infrared lights 501b. can be measured.
  • the second control circuit determines the angle of the vertex of the triangle with the diameters 531b and 532b of the circles formed by the detected plurality of infrared rays 501b as the base. can be measured.
  • the angle may be measured in radians, and the angle may be expressed as a multiple of the size of a pixel of the infrared sensor 411b.
  • the radian angle may be expressed by N pixels of the infrared sensor 411b, and N may be a natural number.
  • the second control circuit has the number of pixels corresponding to each of the horizontal diameter 533b and the vertical diameter 534b of the FOV and the horizontal diameter 531b and vertical diameter 532b of the circle formed by the plurality of infrared lights 501b, respectively. Left eye angle based on the number of corresponding pixels can be calculated.
  • the second control circuit is the left eye angle and right eye angle can be compared. left eye angle and right eye angle In the case where is the same, the second control circuit may determine that the wearable electronic device is in a normal state. Since a clear virtual image is output in a normal state, the second control circuit may maintain the direction of the visible light output from the display.
  • eyeglass frames eg, frames 272a and 272b of FIG. 2
  • bridges eg, bridge 273 of FIG. 2
  • a diagram is shown for explaining the angle of the pupil measured by the infrared sensors 411a and 411b when the positional relationship of .
  • the second control circuit determines the right eye angle based on the detected plurality of infrared lights 511a. can be measured.
  • the second control circuit determines the angle of the vertex of the triangle with the diameters 531a and 532a of the circles formed by the detected plurality of infrared lights 511a as the base. can be measured.
  • the angle may be measured in radians, and the angle may be expressed as a multiple of the size of a pixel of the infrared sensor.
  • the second control circuit includes the number of pixels corresponding to each of the horizontal diameter 533a and vertical diameter 534a of the FOV of the infrared sensor 411a of the right eye, and the horizontal diameter 531a of the circle formed by the plurality of infrared rays 511a. ) and the right eye angle based on the number of pixels corresponding to each of the vertical diameters 532a can be calculated.
  • the second control circuit determines the left eye angle based on the detected plurality of infrared lights 511b. can be measured.
  • the second control circuit determines the angle of the vertex of the triangle with the diameters 531b and 532b of the circles formed by the detected plurality of infrared lights 511b as the base. can be measured.
  • the angle may be measured in radians, and the angle may be expressed as a multiple of the size of a pixel of the infrared sensor.
  • the second control circuit includes the number of pixels corresponding to each of the horizontal diameter 533b and vertical diameter 534b of the FOV of the left-eye infrared sensor 411b and the horizontal diameter 531b of the circle formed by the plurality of infrared lights 511b. ) and the left eye angle based on the number of pixels corresponding to each of the vertical diameters 532b. can be calculated.
  • the second control circuit is the left eye angle and right eye angle can be compared. Left eye angle and right eye angle is different, the second control circuit may determine that the wearable electronic device is in a distorted state.
  • the method of determining the distortion state is not limited to the method of comparing the left eye angle and the right eye angle, and may be determined through comparison with the angle measured in the normal state.
  • the second control circuit is the measured angle ( ) and the angle measured in Fig. 5b ( ), it can be determined that the distortion state is also different.
  • the second control circuit compares the horizontal diameter or vertical diameter of the circle formed by the plurality of infrared rays to the left eye with the length of the horizontal diameter or vertical diameter of the circle formed by the plurality of infrared rays to the right eye to determine whether the state is distorted can also be judged.
  • the second control circuit may adjust the direction of visible light output from the display.
  • 6A and 6B are diagrams for explaining a process of measuring a first bending state by a wearable electronic device according to embodiments of the present disclosure
  • FIG. 6A it is a view for explaining a position in which a bending sensor is included in a wearable electronic device (eg, the wearable electronic device 400 of FIG. 4A ).
  • the bending sensors 412a and 412b are connected to the temples 401a and 401b and the eyeglass frames 402a and 402b to measure the first bending state between the temples 401a and 401b and the eyeglass frames 402a and 402b.
  • the displays 205 and 210 are fixed to the temples 401a and 401b, respectively, and the transparent members 225a and 225b including the input optical members 220a and 220b are fixed to the spectacle frames 402a and 402b, respectively, so that the deflection sensor ( The 412a and 412b may measure a change in the positional relationship between the displays 205 and 210 and the input optical members 220a and 220b by measuring the bending state between the temples 401a and 401b and the eyeglass frames 402a and 402b. .
  • the bending sensors 412a and 412b may include a variable resistance that changes according to the first bending state.
  • the second control circuit may measure the first bending state based on the output voltage of one end of the variable resistor.
  • FIG. 6B a configuration of a bending sensor of a wearable electronic device (eg, the wearable electronic device 400 of FIG. 4A ) is illustrated.
  • the warpage sensor 412a may include a fixed resistor 602a R1 and a variable resistor 601a R2.
  • the resistance value of the variable resistor 601a R2 may vary according to the degree of bending.
  • the output voltage Vout may vary as the variable resistor 601a R2 is changed.
  • the wearable electronic device may convert Vout into a digital value using an A/D converter.
  • the wearable electronic device may store in advance a table including information on a distortion angle corresponding to a digital value in a memory.
  • the wearable electronic device may output a distorted angle corresponding to the output digital value.
  • FIGS. 7A and 7B are diagrams for explaining an operation principle of a liquid crystal of a light steering member of a wearable electronic device according to embodiments of the present disclosure
  • FIG. 7A the state of the liquid crystal of the light steering member when no voltage is applied and when a voltage is applied are illustrated.
  • the left diagram of FIG. 7A shows a case in which no voltage is applied.
  • the light steering member 410a (eg, the light steering member 410a of FIG. 4A ) may include a liquid crystal 421a and a first transparent member 423a and a second transparent member 422a surrounding the liquid crystal 421a. have.
  • the first transparent member 423a and the second transparent member 422a may be, for example, glass, but is not limited thereto and may include both transparent materials. Since no voltage is applied to the liquid crystal 421a, the liquid crystal 421a can output visible light incident from the light sources 701a and 701b without refracting it.
  • the right diagram of FIG. 7A shows a case in which a voltage is applied.
  • the refractive index of the liquid crystal 421a may be changed.
  • the liquid crystal 421a may electrically control transmission of visible light by changing its optical properties according to a change in voltage.
  • the refractive index of the liquid crystal 421a is changed, the direction of visible light incident from the light sources 701a and 701b to the liquid crystal 421a may be adjusted.
  • FIG. 7B the configuration of the light steering member is illustrated.
  • the light steering member 410a includes a liquid crystal 421a and a first transparent member 423a and a second transparent member 422a surrounding the liquid crystal 421a, and a common electrode 705 is provided on the first transparent member 423a. is included, and one or more electrodes may be included in the second transparent member 422a.
  • the second transparent member 422a may include a first electrode 701 , a second electrode 702 , and a third electrode 703 .
  • the second control circuit sums the first bent state and the second bent state, and calculates the voltage of the first electrode 701, the voltage of the second electrode 702, and the voltage of the third electrode 703 corresponding to the summing result. It may be applied to the first electrode 701 , the second electrode 702 , and the third electrode 703 , respectively. As the voltage is applied, the shape of the liquid crystal 704 may be changed and the refractive index of the liquid crystal 421a may be changed. As the refractive index of the liquid crystal 421a is changed, the direction of visible light incident from the light sources 701a and 701b to the liquid crystal 421a may be adjusted.
  • the summation result of the first bent state and the second bent state may be as shown in Table 1.
  • the voltage of the first electrode 701 , the voltage of the second electrode 702 , and the voltage of the third electrode 703 corresponding to the summation result may be as shown in Table 2 .
  • FIGS. 8A and 8B are diagrams for explaining an operation principle of a torsion adjusting unit of a light steering member of a wearable electronic device according to embodiments of the present disclosure
  • the optical waveguide 215a (eg, the optical waveguide 215a of FIG. 4A ) when the positional relationship between the temple (not shown) (eg, 401a in FIG. 4A ) and the optical waveguide 215a is in a normal state ), the display 205 (eg, the display 205 of FIG. 4A ), and the light steering member 410a (eg, the light steering member 410a of FIG. 4A ) are shown.
  • the light steering member 410a may further include a first transparent member 423a and a second transparent member 422a surrounding the liquid crystal 421a, as well as torsion adjusting units 801a and 802a.
  • the torsion adjusting units 801a and 802a may adjust a positional relationship between the first transparent member 423a and the second transparent member 422a.
  • the torsion adjustment units 801a and 802a may include a bellows.
  • a high refractive index liquid may be included in the bellows, and the thickness of the high refractive index liquid may be deformed like a prism according to the degree of folding or unfolding of the bellows, and the direction of light may be adjusted.
  • the bending sensors 412a and 412b may measure a first twist state between the temple and the eyeglass frame.
  • the second control circuit may measure a second twist state of the bridge based on a detection result of the infrared sensor.
  • the second control circuit may determine whether the wearable electronic device is twisted based on the first twist state and the second twist state. When it is determined that the normal state is normal, a clear virtual image may be output to the user.
  • the optical waveguide 215a, the display 205, and the light steering member 410a in which the positional relationship between the temple (not shown) (eg, 401a in FIG. 4A ) and the optical waveguide 215a is in a twisted state relationship is shown.
  • the second control circuit may adjust the positional relationship between the first transparent member 423a and the second transparent member 422a through the torsion adjustment units 801a and 802a based on the first twist state and the second twist state.
  • the second control circuit may apply a voltage to the torsion adjusting units 801a and 802a according to a voltage table determined for torsion correction corresponding to the first torsion state and the second torsion state. By applying a voltage, the torsion adjusting units 801a and 802a are adjusted, and the distortion of the virtual image may be reduced.
  • the bellows may include a sensor and one or more actuators.
  • the actuator may operate in response to the output of the sensor of the bellows.
  • a correspondence relationship between outputs of sensors included in the bellows corresponding to the first twist state and the second twist state may be preset and stored in the memory.
  • the second control circuit may retrieve an output of a corresponding sensor in response to an input of the first twist state or the second twist state.
  • the second control circuit may drive the actuator of the bellows according to the output of the corresponding sensor.
  • FIG. 9 is a diagram illustrating a structure of a wearable electronic device according to embodiments of the present disclosure.
  • the wearable electronic device 900 includes a temple (eg, the temples 401a and 401b of FIG. 4A ), an eyeglass frame (eg, the glasses frames 402a and 402b of FIG. 4A ), and a bridge (eg, the temples of FIG. 4A ). a skeletal member comprising a bridge 403).
  • the wearable electronic device 900 includes the self-luminous displays 961 and 962 , the light steering members 981 and 982 (eg, the light steering members 410a and 410b of FIG. 4A ), and the optical waveguides 913 and 915 (eg: The optical waveguides 215a and 215b of FIG.
  • an infrared sensor which may be included in the self-luminous display 961, 962, or may be implemented with the infrared sensors 411a, 411b of FIG. 4A
  • a bending sensor eg. : bending sensors 412a, 412b
  • a first control circuit eg, a control circuit included in the first display 205 and the second display 210 of FIG. 2
  • a second control circuit eg, may be located on the first PCB 235a and the second PCB 235b of FIG. 2 ).
  • first control circuit may control the self-luminous displays 961 and 962 and other components, and three or more control circuits are used for wearable electronics. It is also possible to control the components of the device 900 .
  • the self-luminous displays 961 , 962 may be secured to the temple.
  • the self-luminous displays 961 and 962 may include a plurality of visible light pixels for outputting visible light 902 corresponding to the virtual image and a plurality of infrared pixels for outputting infrared light 905 .
  • the visible light pixels may include R, G, and B pixels.
  • the self-luminous displays 961 and 962 may include, but are not limited to, organic light emitting diodes (OLEDs) or micro light emitting diodes (micro LEDs).
  • OLEDs organic light emitting diodes
  • micro LEDs micro light emitting diodes
  • the self-luminous displays 961 and 962 may not use an illumination light source and an illumination optical system.
  • the micro lens 992 may increase the efficiency and intensity of light output from the micro LED 991 .
  • a barrier rib (not shown) may be installed between the R, G, and B pixels, and the barrier rib reduces the mixing and reflection of light emitted from each of the R, G, and B pixels and light of an adjacent pixel to form the microlens 992 . It is possible to increase the efficiency and intensity of light passing through.
  • the optical waveguides 913 and 915 may adjust the path of the infrared light to output the infrared light to the user's pupil, and adjust the path of the visible light 902 to output a virtual image.
  • the optical waveguides 913 and 915 may transmit the visible light 902 corresponding to the virtual image output from the self-luminous displays 961 and 962 to the user's eyes.
  • the optical waveguides 913 and 915 include an input optical member 911 and 912 to which the visible light 902 is incident, an area to which the visible light 902 is totally reflected, and an output optical member to which the visible light 902 is output ( output grating) (914, 916).
  • the optical waveguides 913 and 915 may be included in the transparent members 971 and 972 (eg, the transparent members 225a and 225b of FIG. 4A ).
  • the transparent members 971 and 972 may be formed of a glass plate, a plastic plate, or a polymer, and may be made transparent or translucent.
  • the transparent members 971 and 972 may be disposed to face the user's eyes.
  • Each of the transparent members 971 and 972 may be disposed to face both eyes of the user.
  • the transparent members 971 and 972 may include input optical members 911 and 912 . In FIG.
  • the optical waveguides 913 and 915 and the input optical members 911 and 912 are expressed as separated, but this is only an example, and the input optical members 911 and 912 are located inside the optical waveguides 913 and 915 . may be included.
  • the output optical members 914 and 916 are represented as being included in the optical waveguides 913 and 915 , but this is only an example, and the output optical members 914 and 916 are the optical waveguides 913 and 915 . ) and may be formed separately. Also, the output optical members 914 and 916 may constitute the entire optical waveguides 913 and 915 .
  • Infrared light output from the self-luminous displays 961 and 962 may be reflected by the optical waveguides 913 and 915 after being incident on the input optical members 911 and 912 .
  • the infrared reflected light 904 may be directly output toward the user's eyes 931 and 932 .
  • the infrared reflected light 905 may be output toward the user's eyes 931 and 932 through the output optical members 914 and 916 through the optical waveguides 913 and 915 .
  • the infrared sensor may detect infrared light (not shown) reflected from the user's pupil.
  • the infrared sensor may be disposed in the wearable electronic device 900 separately from the self-luminous displays 961 and 962 .
  • the infrared sensor may be implemented as an infrared sensing pixel included in the self-luminous displays 961 and 962 together with a plurality of visible light pixels and a plurality of infrared pixels.
  • the infrared sensing pixel may detect infrared rays reflected from the human eye instead of a separate infrared sensing camera.
  • the wearable electronic device 900 may include light steering members 981 and 982 between the exits of the self-luminous displays 961 and 962 and the input optical members 911 and 912 of the optical waveguides 913 and 915 .
  • the wearable electronic device 900 determines the direction of the visible light 902 corresponding to the virtual image traveling from the self-luminous displays 961 and 962 to the optical waveguides 913 and 915 through the light steering members 981 and 982. Can be adjusted.
  • the light steering members 981 and 982 include liquid crystal, and by adjusting the refractive index of the liquid crystal, the direction of the visible light 902 from the exit of the self-luminous display 961 and 962 toward the optical waveguides 913 and 915 is adjusted. can
  • the bending sensor may be connected to the temple and the eyeglass frame to measure a first bending state between the temple and the eyeglass frame.
  • the bending sensor may include a variable resistance that is changed according to the first bending state.
  • the second control circuit may measure the first bending state based on the output voltage of one end of the variable resistor.
  • the first control circuit may supply driving power and control signals to the self-luminous displays 961 and 962 .
  • the second control circuit may supply driving power and a control signal to the infrared sensor.
  • the second control circuit may measure a second bending state of the bridge based on the detection result of the infrared sensor.
  • the detection result of the infrared sensor may include a left eye angle with respect to the pupil of the user's left eye and a right eye angle with respect to the pupil of the user's right eye.
  • the second control circuit may measure the second bending state by comparing the left eye angle and the right eye angle.
  • the second control circuit may measure the second bending state when the difference between the left eye angle and the right eye angle is greater than a threshold value.
  • the electronic device determines that the difference between the left eye angle and the right eye angle has a small effect on the sharpness of the virtual image, and the second control circuit measures the second bending state By not doing so, processing power and power consumption can be reduced.
  • the second control circuit may adjust the direction of the visible light 902 through the light steering members 981 and 982 based on the first bent state and the second bent state.
  • the second control circuit may adjust the direction of the visible light 902 by adjusting a voltage applied to the liquid crystal included in the light steering members 981 and 982 based on the first and second bent states.
  • the light steering members 981 and 982 may further include a first electrode, a second electrode, and a third electrode for adjusting the refractive index of the liquid crystal.
  • the second control circuit sums the first bent state and the second bent state, and applies the voltage of the first electrode, the voltage of the second electrode, and the voltage of the third electrode corresponding to the summing result to the first electrode, the second electrode and the second electrode. It can be applied to 3 electrodes.
  • the light steering members 981 and 982 may include a first transparent member surrounding the liquid crystal, a second transparent member, and a twist adjustment unit (not shown).
  • the bending sensor may measure a first twist state between the temple and the eyeglass frame.
  • the second control circuit may measure a second twist state of the bridge based on a detection result of the infrared sensor.
  • the torsion adjusting unit may adjust a positional relationship between the first transparent member and the second transparent member.
  • the second control circuit may adjust the positional relationship of the first transparent member and the second transparent member through the torsion adjustment unit based on the first twist state and the second twist state.
  • FIGS. 10A and 10B are diagrams illustrating a structure of a display of a wearable electronic device according to embodiments of the present disclosure
  • the self-luminous displays 1001 and 1002 may include a plurality of visible light pixels and a plurality of infrared pixels.
  • the plurality of infrared pixels may be disposed on the self-luminous display in various patterns.
  • the plurality of infrared pixels may be arranged vertically vertically or horizontally.
  • the plurality of infrared pixels may be arranged linearly and obliquely.
  • a plurality of infrared pixels 1011 , 1012 , 1013 , and 1014 may be randomly disposed on the self-luminous display 1001 .
  • the plurality of infrared pixels 1011 , 1012 , 1013 , and 1014 may be randomly arranged in an area of the self-luminous display 1001 corresponding to the user's iris. Such a placement pattern may be easier for eye tracking than a linear pattern.
  • the self-luminous display 1001 may further include a plurality of eye tracking sensors 1031 , 1032 , 1033 , and 1034 .
  • the plurality of eye tracking sensors 1031 , 1032 , 1033 , and 1034 may be disposed according to a unique pattern or may be randomly disposed like the plurality of infrared pixels 1011 , 1012 , 1013 , and 1014 .
  • the plurality of eye tracking sensors 1031 , 1032 , 1033 , and 1034 may detect infrared light emitted by the plurality of infrared pixels 1011 , 1012 , 1013 , and 1014 reflected by the user's eyes.
  • a plurality of infrared pixels 1021 , 1022 , 1023 , 1024 , 1025 , and 1026 may be circularly disposed on the self-luminous display 1002 .
  • the plurality of infrared pixels 1021 , 1022 , 1023 , 1024 , 1025 , and 1026 may be arranged in a circle in an area of the self-luminous display 1002 corresponding to the edge of the user's iris. Such a placement pattern may be easier for eye tracking than a linear pattern.
  • the self-luminous display 1002 may further include a plurality of eye tracking sensors 1041 , 1042 , 1043 .
  • the plurality of eye tracking sensors 1041 , 1042 , and 1043 may be disposed according to a unique pattern or may be randomly disposed like the plurality of infrared pixels 1021 , 1022 , 1023 , 1024 , 1025 , and 1026 .
  • the plurality of eye tracking sensors 1041, 1042, 1043 may detect infrared light emitted by the plurality of infrared pixels 1021, 1022, 1023, 1024, 1025, and 1026 reflected by the user's eyes. .
  • FIG. 11 is a block diagram illustrating a configuration of a wearable electronic device according to embodiments of the present disclosure.
  • the wearable electronic device 1100 (eg, the electronic device 100 of FIG. 1 and the wearable electronic device 200 of FIG. 2 ) includes a display 1101 (eg, the first display 205 of FIG. 2 ). ), a second display 210 ), a light steering member 1103 (eg, beam steering members 410a and 410b of FIG. 4A ), an optical waveguide 1105 (eg, the optical waveguide of FIG. 2 ) 215a, 215b), an infrared output unit 1107 (eg, an infrared output unit 413a, 413b), an infrared sensor 1109 (eg, the infrared sensor 411a, 411b of FIG.
  • a display 1101 eg, the first display 205 of FIG. 2 ).
  • a second display 210 e.g, a light steering member 1103 (eg, beam steering members 410a and 410b of FIG. 4A ), an optical waveguide 1105 (eg, the optical waveguide of FIG
  • the wearable electronic device 1100 may include a skeletal member, which includes a temple (eg, temples 401a and 401b of FIG. 4A ) and eyeglass frames (eg, spectacle frames 402a and 402b of FIG. 4A ). and a bridge (eg, a bridge 403 of FIG. 4A ).
  • the display 1101 may be fixed to the temple.
  • the display 1101 may output visible light corresponding to the virtual image.
  • the light steering member 1103 may include a liquid crystal.
  • the light steering member 1103 may adjust the direction of visible light that travels from the exit of the display 1101 to the input optical member (eg, the input optical members 911 and 912) of the optical waveguide 1105 using liquid crystal. .
  • the optical waveguide 1105 may output a virtual image by adjusting a path of visible light.
  • the infrared output unit 1107 may output infrared light for tracking the user's gaze.
  • the infrared sensor 1109 may detect infrared light reflected from the user's pupil.
  • the bending sensor 1111 may be connected to the temple and the eyeglass frame to measure the first bending state between the temple and the eyeglass frame.
  • the first control circuit 1113 may supply driving power and a control signal to the display.
  • the second control circuit 1115 may supply driving power and a control signal to the infrared sensor 1109 and the infrared output unit 1107 .
  • the second control circuit 1115 may measure the second bending state of the bridge based on the detection result of the infrared sensor 1109 .
  • the detection result of the infrared sensor 1109 may include a left eye angle with respect to the pupil of the user's left eye and a right eye angle with respect to the pupil of the user's right eye.
  • the second control circuit 1115 may measure the second bending state by comparing the left eye angle and the right eye angle.
  • the second control circuit 1115 may measure the second bending state when the difference between the left eye angle and the right eye angle is greater than a threshold value.
  • the second control circuit 1115 may adjust the direction of visible light through the light steering member 1103 based on the first bent state and the second bent state.
  • the bending sensor 1111 may include a variable resistance (eg, the variable resistance 601a of FIG. 6B ) that is changed according to the first bending state.
  • the second control circuit 1115 may measure the first bending state based on the output voltage of one end of the variable resistor.
  • the second control circuit 1115 adjusts the voltage applied to the liquid crystal (eg, the liquid crystal 421a of FIG. 7A ) included in the light steering member based on the first bent state and the second bent state to control the direction of visible light. Can be adjusted.
  • the light steering member 1103 includes a first electrode (eg, the first electrode 701 of FIG. 7B ) for adjusting the refractive index of the liquid crystal, and a second electrode (eg, the second electrode 702 of FIG. 7B ). )) and a third electrode (eg, the third electrode 703 of FIG. 7B ) may be further included.
  • the second control circuit 1115 sums the first bending state and the second bending state, and applies the voltage of the first electrode, the voltage of the second electrode, and the voltage of the third electrode corresponding to the summation result to the first electrode and the second electrode. It can be applied to the electrode and the third electrode.
  • the light steering member 1103 may include a first transparent member, a second transparent member, and a torsion adjusting unit enclosing the liquid crystal, and the torsion adjusting unit may adjust a positional relationship between the first transparent member and the second transparent member.
  • the bending sensor may measure a first twist state between the temple and the eyeglass frame.
  • the second control circuit 1115 may measure a second twist state of the bridge based on the detection result of the infrared sensor. The second control circuit 1115 may adjust the positional relationship between the first transparent member and the second transparent member through the torsion adjustment unit based on the first twist state and the second twist state.
  • FIG. 12 is a block diagram illustrating a configuration of a wearable electronic device according to embodiments of the present disclosure.
  • the wearable electronic device 1200 (eg, the electronic device 100 of FIG. 1 , the wearable electronic device 200 of FIG. 2 , and the wearable electronic device 1100 of FIG. 11 ) is a self-luminous display. 1201 (eg, self-luminous displays 961, 962 of FIG. 9), light steering member 1103 (eg, beam steering members 410a, 410b of FIG. 4A), optical waveguide 1105 (eg, the optical waveguides 215a and 215b of FIG. 2), an infrared output unit 1207 (eg, may be included in the self-luminous display 961, 962 of FIG. 9), and an infrared sensor 1209 (eg, FIG.
  • a self-luminous display. 1201 eg, self-luminous displays 961, 962 of FIG. 9
  • light steering member 1103 eg, beam steering members 410a, 410b of FIG. 4A
  • optical waveguide 1105 eg, the optical waveguides 215a and 215b of FIG. 2
  • the wearable electronic device 1100 may include a skeletal member, which includes a temple (eg, temples 401a and 401b of FIG. 4A ) and eyeglass frames (eg, spectacle frames 402a and 402b of FIG. 4A ). and a bridge (eg, a bridge 403 of FIG. 4A ).
  • the self-luminous display 1201 may be fixed to the temple.
  • the self-luminous display 1201 may include a plurality of visible ray pixels emitting visible ray light corresponding to the virtual image and a plurality of infrared ray pixels emitting infrared light.
  • the light steering member 1103 may include a liquid crystal. The light steering member 1103 adjusts the direction of visible light traveling from the exit of the self-luminous display 1201 to the input optical member of the optical waveguide (eg, the input optical members 911 and 912 of FIG. 9 ) using liquid crystal. can
  • the optical waveguide 1105 may adjust the path of the infrared light to output the infrared light to the user's pupil, and adjust the path of the visible light to output a virtual image.
  • the infrared sensor 1209 may detect infrared light reflected from the user's pupil.
  • the bending sensor 1111 may be connected to the temple and the eyeglass frame to measure the first bending state between the temple and the eyeglass frame.
  • the first control circuit 1113 may supply driving power and a control signal to the self-luminous display 1201 .
  • the second control circuit 1115 may measure the second bending state of the bridge based on the detection result of the infrared sensor 1209 .
  • the second control circuit 1115 may adjust the direction of visible light through the light steering member 1103 based on the first bent state and the second bent state.
  • the detection result of the infrared sensor 1209 may include a left eye angle with respect to the pupil of the user's left eye and a right eye angle with respect to the pupil of the user's right eye.
  • the second control circuit 1115 may measure the second bending state by comparing the left eye angle and the right eye angle.
  • the second control circuit 1115 may measure the second bending state when the difference between the left eye angle and the right eye angle is greater than a threshold value.
  • the bending sensor 1111 may include a variable resistance that is changed according to the first bending state.
  • the second control circuit 1115 may measure the first bending state based on the output voltage of one end of the variable resistor.
  • the second control circuit 1115 may adjust the direction of visible light by adjusting a voltage applied to the liquid crystal included in the light steering member 1103 based on the first bent state and the second bent state.
  • the light steering member 1103 may further include a first electrode, a second electrode, and a third electrode for adjusting the refractive index of the liquid crystal.
  • the second control circuit 1115 sums the first bending state and the second bending state, and applies the voltage of the first electrode, the voltage of the second electrode, and the voltage of the third electrode corresponding to the summation result to the first electrode and the second electrode. It can be applied to the electrode and the third electrode.
  • the light steering member 1103 may include a first transparent member surrounding the liquid crystal, a second transparent member, and a twist adjustment unit.
  • the torsion adjusting unit may adjust a positional relationship between the first transparent member and the second transparent member.
  • the bending sensor 1111 may measure a first twist state between the temple and the eyeglass frame.
  • the second control circuit 1115 may measure a second twist state of the bridge based on the detection result of the infrared sensor.
  • the second control circuit 1115 may adjust the positional relationship between the first transparent member and the second transparent member through the torsion adjustment unit based on the first twist state and the second twist state.
  • FIG. 13 is a flowchart illustrating an operation of a wearable electronic device according to embodiments of the present disclosure.
  • a wearable electronic device (eg, the electronic device 100 of FIG. 1 , the wearable electronic device 200 of FIG. 2 , the wearable electronic device 1100 of FIG. 11 , and the wearable electronic device 1200 of FIG. 12 ) ) is a display (eg, the first display 205 and the second display 210 in FIG. 2), a light steering member (eg, beam steering members 410a and 410b in FIG. 4A), an optical waveguide ( Example: optical waveguides 215a and 215b in FIG. 2), infrared output units (eg infrared output units 413a, 413b), infrared sensors (eg infrared sensors 411a and 411b in FIG.
  • a display eg, the first display 205 and the second display 210 in FIG. 2
  • a light steering member eg, beam steering members 410a and 410b in FIG. 4A
  • an optical waveguide Example: optical waveguides 215a and 215b in FIG. 2
  • the wearable electronic device may include a skeleton member, which includes a temple (eg, temples 401a and 401b of FIG. 4A ), an eyeglass frame (eg, glasses frames 402a and 402b of FIG. 4A ), and a bridge ( Example: bridge 403 of FIG. 4A ).
  • the wearable electronic device may measure a first bending state between the temple and the eyeglass frame using a bending sensor connected to the temple and the eyeglass frame.
  • the bending sensor may include a variable resistance (eg, the variable resistance 601a of FIG. 6B ) that is changed according to the first bending state.
  • the wearable electronic device may measure the first bending state based on the output voltage of one end of the variable resistor by the second control circuit.
  • the wearable electronic device may output infrared light for tracking the user's gaze using the infrared output unit.
  • the wearable electronic device may detect infrared light reflected from the user's pupil using an infrared sensor.
  • the wearable electronic device may measure the second bending state of the bridge based on the detection result of the infrared sensor by the second control circuit.
  • the detection result of the infrared sensor may include a left eye angle with respect to the pupil of the user's left eye and a right eye angle with respect to the pupil of the user's right eye.
  • the wearable electronic device may measure the second bending state by comparing the left eye angle and the right eye angle by the second control circuit.
  • the wearable electronic device may measure the second bending state when the difference between the left eye angle and the right eye angle is greater than a threshold value by the second control circuit.
  • the wearable electronic device may adjust the direction of visible light by using the light steering member based on the first bent state and the second bent state by the second control circuit.
  • the wearable electronic device may adjust the direction of visible light by adjusting the voltage applied to the liquid crystal included in the light steering member based on the first bent state and the second bent state by the second control circuit.
  • the light steering member may include a first transparent member surrounding the liquid crystal, a second transparent member, and a torsion adjusting unit.
  • the torsion adjusting unit may adjust a positional relationship between the first transparent member and the second transparent member.
  • the wearable electronic device may measure a first twist state between the temple and the spectacle frame by a bending sensor.
  • the wearable electronic device may measure the second twist state of the bridge based on the detection result of the infrared sensor by the second control circuit.
  • the wearable electronic device may adjust the positional relationship between the first transparent member and the second transparent member through the twist adjustment unit based on the first twist state and the second twist state.
  • the electronic device may have various types of devices.
  • the electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance device.
  • a portable communication device eg, a smart phone
  • a computer device e.g., a smart phone
  • a portable multimedia device e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a wearable device e.g., a smart bracelet
  • a home appliance device e.g., a home appliance
  • first”, “second”, or “first” or “second” may simply be used to distinguish the component from other such components, and refer to those components in other aspects (e.g., importance or order) is not limited. It is said that one (eg, first) component is “coupled” or “connected” to another (eg, second) component, with or without the terms “functionally” or “communicatively”. When referenced, it means that one component can be connected to the other component directly (eg by wire), wirelessly, or through a third component.
  • module used in various embodiments of this document may include a unit implemented in hardware, software, or firmware, and is interchangeable with terms such as, for example, logic, logic block, component, or circuit.
  • a module may be an integrally formed part or a minimum unit or a part of the part that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present document include one or more instructions stored in a storage medium (eg, internal memory 136 or external memory 138) readable by a machine (eg, electronic device 101).
  • a storage medium eg, internal memory 136 or external memory 138
  • the processor eg, the processor 120
  • the device eg, the electronic device 101
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' only means that the storage medium is a tangible device and does not contain a signal (eg, electromagnetic wave), and this term is used in cases where data is semi-permanently stored in the storage medium and It does not distinguish between temporary storage cases.
  • a signal eg, electromagnetic wave
  • the method according to various embodiments disclosed in this document may be included and provided in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • the computer program product is distributed in the form of a machine-readable storage medium (eg compact disc read only memory (CD-ROM)), or via an application store (eg Play Store TM ) or on two user devices ( It can be distributed (eg downloaded or uploaded) directly, online between smartphones (eg: smartphones).
  • a portion of the computer program product may be temporarily stored or temporarily created in a machine-readable storage medium such as a memory of a server of a manufacturer, a server of an application store, or a relay server.
  • each component eg, a module or a program of the above-described components may include a singular or a plurality of entities, and some of the plurality of entities may be separately disposed in other components. have.
  • one or more components or operations among the above-described corresponding components may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg, a module or a program
  • the integrated component may perform one or more functions of each component of the plurality of components identically or similarly to those performed by the corresponding component among the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component are executed sequentially, in parallel, repeatedly, or heuristically, or one or more of the operations are executed in a different order, or omitted. , or one or more other operations may be added.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Nonlinear Science (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

일 실시예에 따른 웨어러블 전자 장치는 템플, 안경테 및 브릿지를 포함하는 골격 부재, 상기 템플에 고정되고, 가상 이미지에 대응하는 가시광선 광을 출력하는 디스플레이, 액정을 포함하고, 상기 액정을 이용하여 상기 디스플레이의 출구로부터 광 도파관의 입력 광학 부재로 진행하는 상기 가시광선 광의 방향을 조정하는 광 조향 부재, 상기 가시광선 광의 경로를 조정하여 상기 가상 이미지를 출력하는 광 도파관, 사용자의 시선을 추적하기 위한 적외선 광을 출력하는 적외선 출력부, 상기 사용자의 동공으로부터 반사되는 적외선 광을 검출하는 적외선 센서, 상기 템플과 상기 안경테에 연결되어 상기 템플과 안경테 사이의 제1 휨 상태를 측정하는 휨 센서를 포함한다.

Description

디스플레이를 포함하는 웨어러블 전자 장치
본 개시의 다양한 실시예들은 디스플레이를 포함하는 웨어러블 전자 장치에 관한 것이다.
최근 스마트폰 및 태블릿 PC(personal computer) 등과 같은 전자 장치의 급격한 발달에 따라 무선 음성 통화 및 정보 교환이 가능한 전자 장치는 생활 필수품이 되었다. 전자 장치는 보급 초기에 단순히 무선 통화가 가능한 휴대 장치로 인식되었으나, 그 기술이 발달하고 무선 인터넷이 도입됨에 따라 단순히 무선 통화가 가능한 휴대 장치에서 벗어나 일정관리, 게임, 리모컨, 또는 이미지 촬영과 같은 기능을 수행하는 멀티미디어 장치로 발전하여 사용자의 욕구를 충족시키고 있다.
특히, 최근에는 증강 현실(AR: augmented reality) 서비스를 제공하는 전자 장치가 출시되고 있다. 증강 현실 서비스는 사용자가 보는 현실 세계 이미지에 부가적인 정보를 갖는 가상 이미지를 겹쳐 보여주는 서비스로서, 현실 세계 이미지로부터 식별되는 현실 객체와 관련된 콘텐츠(content)를 포함하는 가상 이미지를 사용자에게 제공할 수 있다.
사람의 얼굴의 크기는 인종, 성별, 나이에 따라 다양하며, 얼굴의 관자놀이 사이의 간격도 다양하다. 표준적인 얼굴형을 가정하여 제작된 AR 글래스(augmented reality glass)는 착용자의 얼굴의 크기에 따라 휘어질 수 있다. 템플과 안경테 사이의 거리가 변형되면, 광학 엔진의 출구와 광 도파관의 입력 광학 부재 사이의 간격이 달라질 수 있다. 이로 인해, 출력되는 가상 이미지에 왜곡이 발생할 수 있다.
다만, 기술적 과제는 상술한 기술적 과제들로 한정되는 것은 아니며, 또 다른 기술적 과제들이 존재할 수 있다.
어떤 실시예들에 따른 웨어러블 전자 장치는 템플, 안경테 및 브릿지를 포함하는 골격 부재, 상기 템플에 고정되고, 가상 이미지에 대응하는 가시광선 광을 출력하는 디스플레이, 액정을 포함하고, 상기 액정을 이용하여 상기 디스플레이의 출구로부터 광 도파관의 입력 광학 부재로 진행하는 상기 가시광선 광의 방향을 조정하는 광 조향 부재, 상기 가시광선 광의 경로를 조정하여 상기 가상 이미지를 출력하는 광 도파관, 사용자의 시선을 추적하기 위한 적외선 광을 출력하는 적외선 출력부, 상기 사용자의 동공으로부터 반사되는 적외선 광을 검출하는 적외선 센서, 상기 템플과 상기 안경테에 연결되어 상기 템플과 안경테 사이의 제1 휨 상태를 측정하는 휨 센서, 상기 디스플레이에 구동 전원 및 제어 신호를 공급하는 제1 제어 회로 및 상기 적외선 센서 및 상기 적외선 출력부에 구동 전원 및 제어 신호를 공급하는 제2 제어 회로를 포함하고, 상기 제2 제어 회로는 상기 적외선 센서의 검출 결과를 기초로 상기 브릿지의 제2 휨 상태를 측정하고, 상기 제2 제어 회로는 상기 제1 휨 상태 및 상기 제2 휨 상태를 기초로 상기 광 조향 부재를 통해 상기 가시광선 광의 방향을 조정할 수 있다.
어떤 실시예들에 따른 웨어러블 전자 장치는, 템플, 안경테 및 브릿지를 포함하는 골격 부재, 상기 템플에 고정되고, 가상 이미지에 대응하는 가시광선 광을 출력하는 복수의 가시광선 픽셀 및 적외선 광을 출력하는 복수의 적외선 픽셀을 포함하는 자발광 디스플레이 액정을 포함하고, 상기 액정을 이용하여 상기 자발광 디스플레이의 출구로부터 광 도파관의 입력 광학 부재로 진행하는 상기 가시광선 광의 방향을 조정하는 광 조향 부재, 상기 적외선 광의 경로를 조정하여 상기 적외선 광을 사용자의 동공으로 출력하고, 상기 가시광선 광의 경로를 조정하여 상기 가상 이미지를 출력하는 광 도파관, 사용자의 동공으로부터 반사되는 적외선 광을 검출하는 적외선 센서, 상기 템플과 상기 안경테에 연결되어 상기 템플과 안경테 사이의 제1 휨 상태를 측정하는 휨 센서, 상기 자발광 디스플레이에 구동 전원 및 제어 신호를 공급하는 제1 제어 회로 및 상기 적외선 센서에 구동 전원 및 제어 신호를 공급하는 제2 제어 회로를 포함하고, 상기 제2 제어 회로는 상기 적외선 센서의 검출 결과를 기초로 상기 브릿지의 제2 휨 상태를 측정하고, 상기 제2 제어 회로는 상기 제1 휨 상태 및 상기 제2 휨 상태를 기초로 상기 광 조향 부재를 통해 상기 가시광선 광의 방향을 조정할 수 있다.
예시적인 일 실시예에 따른 웨어러블 전자 장치는 왜곡이 없는 선명한 가상 이미지를 사용자에게 표시할 수 있다. 예시적인 일 실시예에 따른 웨어러블 전자 장치는 착용시에 발생할 수 있는 휨 또는 비틀림에 의해 발생하는 가상 이미지의 왜곡을 보정할 수 있다. 예시적인 일 실시예에 따른 웨어러블 전자 장치는 사용자의 얼굴의 크기나 모양에 따라 규격을 조정할 필요 없이 출력되는 가시광선 광을 조정함으로써 선명한 가상 이미지를 사용자에게 제공할 수 있다.
아래의 상세한 설명을 읽기 전에, 본 특허 문서에 걸쳐서 사용되는 단어 및 구(phrase)의 정의를 설명하는 것이 도움이 될 것이다. 용어 "포함하다(include)" 및 "포함하다(comprise)"는, 이 용어들의 파생어와 함께, 제한 없이 포함하는 것을 의미한다. 용어 "또는(or)"은 및/또는(and/or)을 의미하는 포괄적인 것이다. 구 "-와 연관된(associated with, associated therewith)"은, 이 구의 파생어와 함께, 포함된(include), -내에 포함되는(be included within), -와 상호연결된(interconnected with), -내에 포함된(be contained within), -에 또는 -와 연결된(connect to or with), -에 또는 -와 접속된(couple to or with), -와 통신가능한(be communicable with), -와 협력하는(cooperative with), 인터비드된(interleaved), 병치된(juxtapose), -에 인접한(be proximate to), -에 또는 -와 결합된(be bound to or with), 구비한(have), -의 속성을 가진(have a property of) 등등을 의미할 수 있다. 용어 "제어기(controller)"는, 적어도 하나의 동작을 제어하는 어떤 장치, 시스템 또는 이의 부분(part)을 의미한다. 이러한 장치는, 하드웨어, 펌웨어, 또는 소프트웨어, 또는 이들의 적어도 2개의 조합으로 구현될 수 있다. 어떤 특정 제어기와 연관된 기능(functionality)은, 로컬로(locally) 또는 원격으로(remotely), 중앙집중화(centralized)될 수도 있고 분산(distributed)될 수도 있다.
또한, 아래에서 설명되는 다양한 기능들(functions)은 하나 이상의 컴퓨터 프로그램에 의하여 구현(implement)되거나 지원(support)될 수 있다. 하나 이상의 컴퓨터 프로그램의 각각은 컴퓨터 판독가능 프로그램 코드로 형성되고, 컴퓨터 판독가능 매체에 구현될 수 있다. 용어 "애플리케이션(application)" 및 "프로그램(program)"은, 적당한 컴퓨터 판독가능 프로그램 코드에 구현되도록 구성된, 하나 이상의 컴퓨터 프로그램, 소프트웨엉 구성요소(software components), 명령어들의 집합(sets of instructions), 프로시저(procedures), 함수(functions), 오브젝트(objects), 클래스(classes), 인스턴스(instances), 관련 데이터(related data) 또는 이들의 부분(portion)을 지칭한다. 구 "컴퓨터 판독가능 프로그램 코드(computer readable program code)"는, 소스 코드(source code), 오브젝트 코드(object code), 및 실행가능 코드(executable code)를 포함하는, 어떠한 형태의 컴퓨터 코드(computer code)를 포함한다. 구 "컴퓨터 판독가능 매체(computer readable medium)"은, ROM(read only memory), RAM(random access memory), 하드디스크 드라이브, CD(compact disc), DVD(digital video disc) 또는 다른 형태의 메모리와 같은, 컴퓨터에 의하여 접근(access)될 수 있는 어떠한 형태의 매체를 포함한다. "비 일시적(non-transitory)" 컴퓨터 판독가능 매체는, 일시적(transitory)인 전기 또는 다른 신호를 전달하는, 유선(wired), 무선(wireless), 광학(optical) 또는 다른 통신 링크를 제외한다. 비 일시적 컴퓨터 판독가능 매체는, 데이터가 영구적으로 저장되는 매체, 및 재기록가능 광학 디스크(rewritable optical disc) 또는 삭제가능 메모리 장치(erasable memory device)와 같은 데이터가 저장되고 후에 덮어 쓰여지는(overwritten) 매체를 포함한다.
어떤 단어 및 구에 대한 정의들은 본 특허 문서에 걸쳐서 제공되며, 본 기술분야에서 통상의 지식을 가진 자는, 대부분의 예는 아니더라도, 많은 예에서, 이러한 정의들이, 이렇게 정의된 단어와 구의 과거의 사용 및 미래의 사용에도 적용된다는 것을 이해할 것이다.
본 개시와 이점을 더 완전히 이해할 수 있도록 하기 위하여, 첨부된 도면들과 관련하여 아래의 상세한 설명이 참조로서 이루어진다. 여기서 같은 도면부호는 같은 부분을 나타낸다.
도 1은 본 개시의 실시예들에 따른 네트워크 환경 내의 전자 장치의 블록도이다.
도 2는 본 개시의 실시예들에 따른 웨어러블 전자 장치의 구조를 도시한 도면이다.
도 3a 및 도 3b은 본 개시의 실시예들에 따른 웨어러블 전자 장치가 사용자에게 착용되는 경우 웨어러블 전자 장치의 휨 상태를 설명하기 위한 도면이다.
도 4a 내지 도 4c는 본 개시의 실시예들에 따른 웨어러블 전자 장치의 구성을 도시한 도면이다.
도 5a 및 도 5b는 본 개시의 실시예들에 따른 웨어러블 전자 장치에 의해 제2 휨 상태를 측정하는 과정을 설명하기 위한 도면이다.
도 6a 및 도 6b는 본 개시의 실시예들에 따른 웨어러블 전자 장치에 의해 제1 휨 상태를 측정하는 과정을 설명하기 위한 도면이다.
도 7a 및 도 7b는 본 개시의 실시예들에 따른 웨어러블 전자 장치의 광 조향 부재의 액정의 동작 원리를 설명하기 위한 도면이다.
도 8a 및 도 8b는 본 개시의 실시예들에 따른 웨어러블 전자 장치의 광 조향 부재의 비틀림 조정부의 동작 원리를 설명하기 위한 도면이다.
도 9는 본 개시의 실시예들에 따른 웨어러블 전자 장치의 구조를 도시한 도면이다.
도 10a 및 도 10b는 본 개시의 실시예들에 따른 웨어러블 전자 장치의 디스플레이의 구조를 도시한 도면이다.
도 11은 본 개시의 실시예들에 따른 웨어러블 전자 장치의 구성을 나타내는 블록도이다.
도 12는 본 개시의 실시예들에 따른 웨어러블 전자 장치의 구성을 나타내는 블록도이다.
도 13은 본 개시의 실시예들에 따른 웨어러블 전자 장치의 동작을 나타내는 순서도이다.
본 특허 문서의 본 개시의 원리를 설명하기 위하여 사용되는 다양한 실시예들 및 아래에서 설명되는 도 1 내지 13은, 단지 설명을 위한 것이며, 본 개시의 범위를 제한하기 위한 것으로 해석되어서는 안 된다. 본 기술이 속하는 기술분야에서 통상의 지식을 가진 자는, 본 개시의 원리들은 어떠한 적절하게 구성된 시스템 및 장치에서 구현될 수 있다는 것을 이해할 것이다.
이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 개시의 실시예들에 따른 네트워크 환경 내의 전자 장치의 블록도이다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108) 중 적어도 하나와 통신할 수 있다. 어떤 실시예들에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 어떤 실시예들에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예들에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예들에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 어떤 실시예들에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 어떤 실시예들에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 어떤 실시예들에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 어떤 실시예들에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 어떤 실시예들에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 어떤 실시예들에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 어떤 실시예들에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 어떤 실시예들에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 어떤 실시예들에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 어떤 실시예들에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 어떤 실시예들에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 어떤 실시예들에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 어떤 실시예들에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 어떤 실시예들에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 어떤 실시예들에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 어떤 실시예들에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 어떤 실시예들에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 어떤 실시예들에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
다양한 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 어떤 실시예들에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
어떤 실시예들에 따르면, 명령 또는 데이터는 제2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 어떤 실시예들에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 어떤 실시예들에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
도 2는 본 개시의 실시예들에 따른 웨어러블 전자 장치의 구조를 도시한 도면이다.
도 2를 참조하면, 웨어러블 전자 장치(200)(예: 도 1의 전자 장치(101))는 사용자의 안면에 착용되어, 사용자에게 증강 현실 서비스 및/또는 가상 현실 서비스와 관련된 영상을 제공할 수 있다.
일 실시예에서, 웨어러블 전자 장치(200)는 제1 디스플레이(205), 제2 디스플레이(210), 광 도파관(215a, 215b), 입력 광학 부재(220a, 220b), 제1 투명부재(225a), 제2 투명부재(225b), 조명부(230a, 230b), 제1 PCB(235a), 제2 PCB(235b), 제1 힌지(hinge)(240a), 제2 힌지(240b), 제1 카메라(245), 복수의 마이크(예: 제1 마이크(250a), 제2 마이크(250b), 제3 마이크(250c)), 복수의 스피커(예: 제1 스피커(255a), 제2 스피커(255b)), 배터리(260), 제2 카메라(265a), 및 제3 카메라(265b)를 포함할 수 있다.
일 실시예에서, 디스플레이(예: 제1 디스플레이(205) 및 제2 디스플레이(210))(예: 도 1의 디스플레이 모듈(160))는, 예를 들면, 액정 표시 장치(liquid crystal display, LCD), 디지털 미러 표시 장치(digital mirror device, DMD), 실리콘 액정 표시 장치(liquid crystal on silicon, LCoS), 유기 발광 다이오드(organic light emitting diode, OLED) 또는 마이크로 엘이디(micro light emitting diode, micro LED)를 포함할 수 있다. 미도시 되었으나, 디스플레이가 액정 표시 장치, 디지털 미러 표시 장치, 또는 실리콘 액정 표시 장치 중 하나로 이루어지는 경우, 웨어러블 전자 장치(200)는 디스플레이의 화면 출력 영역으로 광을 조사하는 광원을 포함할 수 있다. 다른 실시예에서, 디스플레이가 자체적으로 광을 발생시킬 수 있는 경우, 예를 들어, 유기 발광 다이오드 또는 마이크로 엘이디 중 하나로 이루어지는 경우, 웨어러블 전자 장치(200)는 별도의 광원을 포함하지 않더라도 사용자에게 양호한 품질의 가상 영상을 제공할 수 있다. 일 실시예에서, 디스플레이가 유기 발광 다이오드 또는 마이크로 엘이디로 구현된다면 광원이 불필요하므로, 웨어러블 전자 장치(200)가 경량화될 수 있다. 이하에서는, 자체적으로 광을 발생시킬 수 있는 디스플레이는 자발광 디스플레이로 지칭되며, 자발광 디스플레이를 전제로 설명된다.
본 발명의 다양한 실시예들에 따른 디스플레이(예: 제1 디스플레이(205) 및 제2 디스플레이(210))는 적어도 하나의 마이크로 LED(micro light emitting diode)로 구성될 수 있다. 예컨대, 마이크로 LED는 자체 발광으로 적색(R, red), 녹색(G, green), 및 청색(B, blue)을 표현할 수 있으며, 크기가 작아(예: 100㎛ 이하), 칩 하나가 하나의 픽셀(예: R, G, 및 B 중 하나)을 구현할 수 있다. 이에 따라, 디스플레이가 마이크로 LED로 구성되는 경우, 백라이트유닛(BLU: back light unit) 없이 높은 해상도를 제공할 수 있다.
이에 한정하는 것은 아니며, 하나의 픽셀은 R, G, 및 B를 포함할 수 있으며, 하나의 칩은 R, G, 및 B를 포함하는 픽셀이 복수개로 구현될 수 있다.
일 실시예에서, 디스플레이(예: 제1 디스플레이(205) 및 제2 디스플레이(210))는 가상의 영상을 표시하기 위한 픽셀(pixel)들을 포함할 수 있다. 디스플레이는 적외선 광을 방출하는 적외선 픽셀들을 더 포함할 수 있다.
일 실시예에서, 디스플레이는 픽셀들 사이에 배치되는 사용자의 눈에서 반사되는 광을 수광하여 전기 에너지로 변환하고 출력하는 수광 픽셀(예: 포토 센서 픽셀(photo sensor pixel))들을 더 포함할 수 있다. 수광 픽셀은 시선 추적 센서로 지칭될 수 있다. 시선 추적 센서는 디스플레이에 포함된 적외선 픽셀에 의해 방출된 광이 사용자의 눈에 의해 반사된 적외선 광을 감지할 수 있다.
일 실시예에서, 웨어러블 전자 장치(200)는 별도의 시선 추적 카메라(예: IR LED 감지 센서)(213a, 213b)를 포함할 수 있다. 시선 추적 카메라(213a, 213b)는 사용자의 눈에 의해 반사된 적외선 광을 감지할 수 있다. 웨어러블 전자 장치(200)는 시선 추적 카메라(213a, 213b)의 의해 감지된 적외선 광을 기초로 사용자의 시선을 추적할 수 있다. 웨어러블 전자 장치(200)는 사용자의 우안 및 좌안의 시선 방향(예: 사용자의 우안 및 좌안의 눈동자가 응시하는 방향)에 따라 가상 영상의 중심의 위치를 결정할 수 있다.
다른 실시예에서, 웨어러블 전자 장치(200)는 수광 픽셀들을 통해 사용자의 시선 방향(예: 눈동자 움직임)을 검출할 수 있다. 예컨대, 웨어러블 전자 장치(200)는 제1 디스플레이(205)를 구성하는 하나 이상의 수광 픽셀들 및 제2 디스플레이(210)를 구성하는 하나 이상의 수광 픽셀들을 통해 사용자의 우안에 대한 시선 방향 및 사용자의 좌안에 대한 시선 방향을 검출하고 추적할 수 있다. 웨어러블 전자 장치(200)는 하나 이상의 수광 픽셀들을 통해 검출되는 사용자의 우안 및 좌안의 시선 방향(예: 사용자의 우안 및 좌안의 눈동자가 응시하는 방향)에 따라 가상 영상의 중심의 위치를 결정할 수 있다.
제1 디스플레이(205) 및 제2 디스플레이(210)는 각각 제1 제어 회로(미도시)를 포함할 수 있다. 제1 제어 회로는 제1 디스플레이(205) 및 제2 디스플레이(210)를 제어할 수 있다. 제1 제어 회로는 제1 디스플레이(205) 및 제2 디스플레이(210)에 포함된 투명 커버(미도시)의 액정 소자의 동작을 제어할 수 있다.
일 실시예에서, 디스플레이(예: 제1 디스플레이(205) 및 제2 디스플레이(210))로부터 방출되는 광은 렌즈(미도시) 및 웨이브가이드(waveguide)를 거쳐 사용자의 우안(right eye)에 대면하게 배치되는 제1 투명부재(225a)에 형성된 광 도파관(215a) 및 사용자의 좌안(left eye)에 대면하게 배치 제2 투명부재(225b)에 형성된 광 도파관(215b)에 도달할 수 있다. 예컨대, 디스플레이(예: 제1 디스플레이(205) 및 제2 디스플레이(210))로부터 방출되는 광은 입력 광학 부재(220a, 220b)와 광 도파관(215a, 215b)에 형성된 웨이브가이드의 그레이팅 영역(grating area)에 반사되어 사용자의 눈에 전달될 수 있다. 제1 투명 부재(225a) 및/또는 제2 투명 부재(225b)는 글래스 플레이트, 플라스틱 플레이트, 또는 폴리머로 형성될 수 있으며, 투명 또는 반투명하게 제작될 수 있다. 제1 투명 부재(225a)와 제2 투명 부재(225b)는 투명전극(ITO: indium tin oxide)이 배치된 투명 기판을 포함할 수 있다.
일 실시예에서, 렌즈는 디스플레이(예: 제1 디스플레이(205) 및 제2 디스플레이(210))의 전면에 배치될 수 있다. 렌즈는 오목 렌즈 및/또는 볼록 렌즈를 포함할 수 있다. 예컨대, 렌즈는 프로젝션 렌즈(projection lens) 또는 콜리메이션 렌즈(collimation lens)를 포함할 수 있다.
일 실시예에서, 광 도파관(215a, 215b) 또는 투명 부재(예: 제1 투명 부재(225a), 제2 투명 부재(225b))는 웨이브가이드(waveguide)를 포함하는 렌즈, 반사형 렌즈를 포함할 수 있다. 웨이브가이드는 광 도파관 또는 광 도파로로 지칭될 수 있다. 웨이브가이드는 외부의 광이 입사되고 전반사되고 방출되는 경로이며, 단순히 외부의 광이 반사되거나 투과하는 제1 투명 부재(225a) 및 제2 투명 부재(225b)와 구별될 수 있다.
일 실시예에서, 웨이브가이드는 글래스, 플라스틱, 또는 폴리머로 제작될 수 있으며, 내부 또는 외부의 일표면에 형성된 나노 패턴, 예를 들어, 다각형 또는 곡면 형상의 그레이팅 구조(grating structure)를 포함할 수 있다. 일 실시예에 따르면, 입력 광학 부재(220a, 220b)를 통하여 웨이브가이드의 일단으로 입사된 광은 나노 패턴에 의해 디스플레이 웨이브가이드 내부에서 전파되어 사용자에게 제공될 수 있다. 일 실시예에서, 프리폼(free-form)형 프리즘으로 구성된 웨이브가이드는 입사된 광을 반사 미러를 통해 사용자에게 제공될 수 있다. 웨이브가이드는 적어도 하나의 회절 요소 예컨대, DOE(diffractive optical element), HOE(holographic optical element) 또는 반사 요소(예: 반사 거울) 중 적어도 하나를 포함할 수 있다. 일 실시예에서, 웨이브가이드는 웨이브가이드에 포함된 적어도 하나의 회절 요소 또는 반사 요소를 이용하여 디스플레이(205, 210)로부터 방출되는 광을 사용자의 눈으로 유도할 수 있다.
다양한 실시예들에 따라, 회절 요소는 입력 광학 부재(220a, 220b)/출력 광학 부재(미도시)를 포함할 수 있다. 예컨대, 입력 광학 부재(220a, 220b)는 입력 그레이팅 영역(input grating area)을 의미할 수 있으며, 출력 광학 부재(미도시)는 출력 그레이팅 영역(output grating area)을 의미할 수 있다. 입력 그레이팅 영역은 디스플레이(예: 제1 디스플레이(205) 및 제2 디스플레이(210))(예: 마이크로 LED)로부터 출력되는 광을 광 도파관(215a, 215b)로 전달하기 위해 회절(또는 반사)시키는 입력단 역할을 할 수 있다. 출력 그레이팅 영역은 웨이브가이드에 전달된 광을 사용자의 눈으로 회절(또는 반사)시키는 출구 역할을 할 수 있다.
웨이브가이드는 광이 지나가는 통로로서 기능할 수 있다. 웨이브가이드는 입력 광학 부재(220a, 220b) 및 출력 광학 부재(미도시)를 포함할 수 있다. 웨이브가이드에서 광이 전반사되는 영역은 입력 광학 부재(220a, 220b) 및 출력 광학 부재(미도시)와 결합되어 형성될 수도 있고 분리되어 형성될 수도 있다.
다양한 실시예들에 따라, 반사 요소는 전반사(total internal reflection, TIR)를 위한 전반사 광학 소자 또는 전반사 도파관을 포함할 수 있다. 예컨대, 전반사는 광을 유도하는 하나의 방식으로, 입력 그레이팅 영역을 통해 입력되는 광(예: 가상 영상)이 웨이브가이드의 일면(예: 특정 면)에서 100% 또는 100%에 가깝게 반사되도록 입사각을 만들어, 출력 그레이팅 영역까지 100% 또는 100%에 가깝게 전달되도록 하는 것을 의미할 수 있다.
일 실시예에서, 디스플레이(205, 210)로부터 방출되는 광은, 각각 입력 광학 부재(220a, 220b)를 통해 웨이브가이드로 광 경로가 유도될 수 있다. 웨이브가이드 내부를 이동하는 광은 출력 광학 부재를 통해 사용자 눈 방향으로 유도될 수 있다. 화면 표시부는 사용자의 눈 방향으로 방출되는 광에 기반하여 결정될 수 있다.
일 실시예에서, 제1 카메라(245)는 HR(high resolution) 또는 PV(photo video)로 지칭될 수 있으며, 고해상도의 카메라를 포함할 수 있다. 제1 카메라(245)는 AF(auto focus) 기능과 떨림 보정(OIS(optical image stabilizer))과 같은 고화질의 영상을 얻기 위한 기능들이 구비된 칼라(color) 카메라를 포함할 수 있다. 이에 한정하는 것은 아니며, 제1 카메라(245)는 GS(global shutter) 카메라 또는 RS(rolling shutter) 카메라를 포함할 수 있다.
일 실시예에서, 제2 카메라(265a) 및 제3 카메라(265b)는 3DoF(3 degrees of freedom), 6DoF의 헤드 트래킹(head tracking), 핸드(hand) 검출과 트래킹(tracking), 제스처(gesture) 및/또는 공간 인식을 위해 사용되는 카메라를 포함할 수 있다. 예컨대, 제2 카메라(265a) 및 제3 카메라(265b)는 헤드 및 핸드의 움직임을 검출하고, 움직임을 추적하기 위해 GS(global shutter) 카메라를 포함할 수 있다.
일 실시예에서, 적어도 하나의 센서(미도시)(예: 자이로 센서, 가속도 센서, 지자기 센서, 및/또는 제스처 센서), 제2 카메라(265a), 및 제3 카메라(265b)는 6DoF를 위한 헤드 트래킹(head tracking), 움직임 감지와 예측(pose estimation and prediction), 제스처 및/또는 공간 인식(gesture and/or space recognition), 및/또는 뎁스(depth) 촬영을 통한 슬램(SLAM: simultaneous localization and mapping) 기능 중 적어도 하나를 수행할 수 있다.
다른 실시예에서, 제2 카메라(265a) 및 제3 카메라(265b)는 헤드 트래킹을 위한 카메라와 핸드 트래킹을 위한 카메라로 구분되어 사용될 수 있다.
일 실시예에서, 조명부(230a, 230b)는 생략될 수 있다. 조명부(230a, 230b)는 제1 디스플레이(205), 제2 디스플레이(210)에 포함된 적외선 픽셀에 의해 대체될 수 있다. 다른 실시예에서, 조명부(230a, 230b)는 웨어러블 전자 장치(200)에 포함되어 제1 디스플레이(205), 제2 디스플레이(210)에 포함된 적외선 픽셀을 보조할 수도 있다. 조명부(230a, 230b)는 부착되는 위치에 따라 용도가 상이할 수 있다. 예컨대, 조명부(230a, 230b)는 프레임(frame)(272a, 272b) 및 템플(temple)(271a, 271b)을 이어주는 힌지(hinge)(예: 제1 힌지(240a), 제2 힌지(240b)) 주변이나 프레임을 연결해 주는 브릿지(bridge)(273) 주변에 장착된 제2 카메라(265a) 및 제3 카메라(265b)와 함께 부착될 수 있다. GS 카메라로 촬영하는 경우, 조명부(230a, 230b)는 주변 밝기를 보충하는 수단으로 사용될 수 있다. 예컨대, 어두운 환경이나 여러 광원의 혼입 및 반사 광 때문에 촬영하고자 하는 피사체 검출이 용이하지 않을 때, 조명부(230a, 230b)가 사용될 수 있다.
일 실시예에서, PCB(예: 제1 PCB(235a), 제2 PCB(235b))에는 제1 디스플레이(205), 제2 디스플레이(210)를 제외한 웨어러블 전자 장치(200)를 구성하는 구성요소를 제어하는 제2 제어 회로(예: 도 1의 프로세서(120))가 위치할 수 있다. 제2 제어 회로는 제1 디스플레이(205), 제2 디스플레이(210) 이외의 다른 구성요소들을 제어하고 깊이값 추정과 같은 연산을 수행할 수 있다. 제2 제어 회로는 통신 회로(예: 도 1의 통신 모듈(190)) 또는 메모리(예: 도 1의 메모리(130))를 포함할 수 있다. 일 실시예에서, 제1 제어 회로와 제2 제어 회로는 하나로 통합되어 구성될 수 있다. 예를 들어 통합된 제어 회로는, 제1 디스플레이(205), 제2 디스플레이 및/또는 다른 구성요소들을 제어할 수 있다.
일 실시예에서, 복수의 마이크(예: 제1 마이크(250a), 제2 마이크(250b), 제3 마이크(250c))(예: 도 1의 입력 모듈(150))은 외부의 음향 신호를 전기적인 음성 데이터로 처리할 수 있다. 처리된 음성 데이터는 웨어러블 전자 장치(200)에서 수행 중인 기능(또는 실행 중인 어플리케이션)에 따라 다양하게 활용될 수 있다.
일 실시예에서, 복수의 스피커(예: 제1 스피커(255a), 제2 스피커(255b))(예: 도 1의 음향 출력 모듈(155))은 통신 회로(예: 도 1의 통신 모듈(190)로부터 수신되거나 메모리(예: 도 1의 메모리(130))에 저장된 오디오 데이터를 출력할 수 있다.
일 실시예에서, 배터리(260)(예: 도 1의 배터리(189))는 하나 이상 포함할 수 있으며, 웨어러블 전자 장치(200)를 구성하는 구성요소들에 전원을 공급할 수 있다.
도 3a 및 도 3b는 본 개시의 실시예들에 따른 웨어러블 전자 장치가 사용자에게 착용되는 경우 웨어러블 전자 장치의 휨 상태를 설명하기 위한 도면이다.
사람의 얼굴의 형상은 다양하기 때문에 특정 사용자가 웨어러블 전자 장치(예: 도 2의 웨어러블 전자 장치(200))를 착용할 경우 골격 부재(예: 프레임(272a, 272b), 템플(271a, 271b), 힌지(예: 도 2의 제1 힌지(240a), 제2 힌지(240b)) 및/또는 브릿지(273))의 구성들 간에 휨 또는 비틀림이 발생할 수 있다. 웨어러블 전자 장치가 사용자의 얼굴 크기에 맞지 않는 경우, 디스플레이의 출구와 입력 광학 부재 사이가 벌어지거나 상하 또는 좌우로 비틀림이나 휨이 발생할 수 있다. 이로 인해, 출력 광학 부재로부터 출력되는 가상 이미지는 초점이 틀어진 것처럼 흐릿해 질 수 있다. 따라서, 개개인의 얼굴 향상에 맞춰 전용(custom made)의 웨어러블 전자 장치를 제공할 수 없는 상황에서, 착용시에 발생할 수 있는 웨어러블 전자 장치의 휨 또는 비틀림의 영향을 완화할 수 있는 기술이 요구된다.
도 3a를 참조하면, 웨어러블 전자 장치(예: 도 2의 웨어러블 전자 장치(200))가 사용자에게 착용될 경우에 나타날 수 있는 정상 상태(301), 휨 상태(302), 휨 상태(303)가 도시된다. 정상 상태(301)는 템플(271a, 271b)이 안경테(예: 도 2의 프레임(272a, 272b))와 미리 설정된 위치 관계에 놓인 상태를 의미할 수 있다. 미리 설정된 위치 관계는 사람의 평균적인 얼굴의 형상에 적합하게 설정된 템플(271a, 271b) 및 안경테(예: 도 2의 프레임(272a, 272b)) 간의 관계를 의미할 수 있다. 휨 상태(302, 303)는 사용자의 얼굴의 크기가 평균 보다 커서 템플(271a, 271b)과 안경테(예: 도 2의 프레임(272a, 272b))가 정상 상태 보다 벌어지거나 휘어진 상태를 의미할 수 있다.
도 3b를 참조하면, 사용자에게 제공되는 가상 이미지의 선명도에 영향을 미칠 수 있는 웨어러블 전자 장치(예: 도 2의 웨어러블 전자 장치(200))의 골격 부재의 구성 간의 연결 부위를 도시한 도면이다. 연결 부위(312a, 312b)는 템플(271a, 271b)과 안경테(예: 도 2의 프레임(272a, 272b)) 간의 연결 관계를 표시한다. 연결 부위(312a, 321b)는 힌지로 구현될 수도 있고, 힌지 없이 고정되는 형태로 구현될 수도 있다. 연결 부위(311)는 브릿지(예: 도 2의 브릿지(273)) 및 안경테들(예: 도 2의 프레임(272a, 272b)) 간의 연결 관계를 표시한다.
도 4a 내지 도 4c는 본 개시의 실시예들에 따른 웨어러블 전자 장치의 구성을 도시한 도면이다.
도 4a를 참조하면, 일 실시예에 따른 웨어러블 전자 장치의 구성이 도시된다.
일 실시예에 따르면, 웨어러블 전자 장치(400)(예: 도 2의 웨어러블 전자 장치(200))는 템플(temple)(401a, 401b), 안경테(402a, 402b) 및 브릿지(bridge)(403)를 포함하는 골격 부재를 포함할 수 있다. 웨어러블 전자 장치(400)는 디스플레이(205, 210)(예: 도2의 제1 디스플레이(205), 제2 디스플레이(210)), 광 조향(beam steering) 부재(410a, 410b), 광 도파관(215a, 215b)(예: 도2의 광 도파관(215a, 215b)), 적외선 출력부(413a, 413b), 적외선 센서(411a, 411b), 휨 센서(412a, 412b), 제1 제어 회로(미도시)(예: 도 2의 제1 디스플레이(205) 및 제2 디스플레이(210)의 내부에 포함된 제어 회로) 및 제2 제어 회로(미도시)(예: 도 2의 PCB(235a, 235b)에 위치할 수 있음)를 포함할 수 있다. 다만, 제1 제어 회로 및 제2 제어 회로의 구분은 예시에 불과하며, 하나의 제어 회로가 디스플레이 및 다른 구성 요소들을 제어할 수도 있고, 3개 이상의 제어 회로가 웨어러블 전자 장치(400)의 구성 요소들을 제어할 수도 있다. 안경테는 림(rim)으로 지칭될 수 있다. 템플은 안경 다리로 지칭될 수 있다.
웨어러블 전자 장치(400)는 디스플레이(205, 210)로부터 가상 이미지에 대응하는 가시광선 광을 광 도파관(215a, 215b)을 통해 사용자의 눈으로 전달할 수 있다. 웨어러블 전자 장치(400)는 사용자의 시선을 추적하여 사용자의 동공을 향해 가상 이미지를 전달할 수 있다. 웨어러블 전자 장치(400)는 디스플레이(205, 210)로부터 출력되는 가상 이미지를 광 도파관(215a, 215b)을 통해 사용자의 눈 쪽으로 전달하는 동시에 웨어러블 전자 장치(400)의 외부 세계를 볼 수 있도록 하는 시스루(See-through) 기능을 투명 부재(225a, 225b) 또는 광 도파관(215a, 215b)를 통해 제공할 수 있다. 여기서, 웨어러블 전자 장치(400)는 AR 글래스(augmented reality glass)를 포함할 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(400)는 디스플레이(205, 210)의 출구와 광 도파관(215a, 215b)의 입력 광학 부재(input grating)(220a, 220b) 간의 위치 관계의 왜곡을 측정할 수 있다. 예를 들어, 웨어러블 전자 장치(400)는 템플(401a, 401b)과 안경테(402a, 402b) 간의 휨 또는 비틀림을 측정하고, 브릿지(403)의 휨 또는 비틀림을 측정함으로써 디스플레이(205, 210)의 출구(exit pupil)와 광 도파관(215a, 215b)의 입력 광학 부재(220a, 220b) 간의 위치 관계의 왜곡을 측정할 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(400)는 디스플레이(205, 210)의 출구와 광 도파관(215a, 215b)의 입력 광학 부재(220a, 220b) 사이에 광 조향 부재(410a, 410b)를 포함할 수 있다. 웨어러블 전자 장치(400)는 광 조향 부재(410a, 410b)를 통하여 디스플레이(205, 210)로부터 광 도파관(215a, 215b)으로 진행하는 가상 이미지에 대응하는 가시광선 광의 방향을 조정할 수 있다. 일 실시예에 따르면, 광 조향 부재(410a, 410b)는 액정을 포함하며, 액정의 굴절률을 조정함으로써 디스플레이(205, 210)의 출구에서 광 도파관(215a, 215b)을 향하는 가시광선 광의 방향을 조정할 수 있다.
골격 부재(예: 안경테(402a, 402b), 템플(401a, 401b), 힌지(예: 도 2의 제1 힌지(240a), 제2 힌지(240b)) 및/또는 브릿지(403))는 웨어러블 전자 장치(400)의 다른 구성들을 지지하고, 사용자의 얼굴에 착용될 수 있는 형상을 가질 수 있다. 템플(401a)은 안경테(402a)와 힌지(hinge)로 연결되고, 안경테(402a)와 안경테(402b)는 브릿지(403)로 연결되고, 안경테(402b)와 템플(401b)는 힌지로 연결될 수 있다.
웨어러블 전자 장치(400)의 골격 부재는 사람의 평균적인 얼굴의 형상에 적합하게 제작될 수 있다. 정상 상태에서 웨어러블 전자 장치(400)의 디스플레이(205, 210)의 출구의 위치는 광 도파관(215a, 215b)의 입력 광학 부재(220a, 220b)와 정렬될 수 있다. 정상 상태에서 디스플레이(205, 210)로부터 출력된 가시광선 광은 광 도파관(215a, 215b)의 출력 광학 부재(미도시)를 통해 사용자의 안구에 전달될 수 있다. 정상 상태에서는 디스플레이(205, 210)의 출구의 위치와 광 도파관(215a, 215b)의 입력 광학 부재(220a, 220b)가 정확하게 정렬되기 때문에 선명한 가상 이미지가 사용자에게 제공될 수 있다.
정상 상태에서 템플(401a) 및 안경테(402a)와 템플(401b) 및 안경테(402b)는 선명한 가상 이미지가 사용자에게 제공되도록 정렬될 수 있다. 여기서, 정상 상태는 템플(401a) 및 템플(401b)이 각각 안경테(402a) 및 안경테(402b)와 미리 설정된 위치 관계에 놓인 상태를 의미할 수 있다. 예를 들어, 미리 설정된 위치 관계는 사람의 평균적인 얼굴의 형상에 적합하게 설정된 템플(401a, 401b) 및 안경테(402a, 402b) 간의 관계를 의미할 수 있다. 다른 예를 들어, 미리 설정된 위치 관계는, 디스플레이(205, 210)에서 발광된 광이 광 도파관(215a, 215b)을 통하여 왜곡 없이 사용자에게 제공될 수 있는, 템플(401a, 401b) 및 안경테(402a, 402b) 간의 위치 관계일 수 있다. 광 도파관(215a, 215b)은 투명 부재(225a, 225b)에 포함되고 투명 부재(225a, 225b)는 안경테(402a, 402b)에 고정될 수 있다. 템플(401a, 401b)과 광 도파관(215a, 215b)의 위치 관계는 템플(401a, 401b)과 안경테(402a, 402b)의 위치 관계와 대응될 수 있다.
도 4b를 참조하면, 템플(401a)과 광 도파관(215a)의 위치 관계가 정상 상태일 때의 광 도파관(215a), 디스플레이(205) 및 광 조향 부재(410a)가 도시된다. 정상 상태에서 광 도파관(215a)과 디스플레이(205)는 선명한 가상 이미지가 사용자에게 제공되도록 정렬된다. 광 조향 부재(410a)는 디스플레이(205)와 광 도파광 사이에 배치될 수 있다. 일 실시예에 따르면, 광 조향 부재(410a)는 디스플레이(205)의 출구에(on) 배치될 수 있으나, 이에 제한되지 않으며 광 도파관(215a) 상(on)에 배치되거나 광 도파관(215a) 및 디스플레이(205)와 떨어져서 배치될 수도 있다. 광 조향 부재(410a)는 액정(421a) 및 액정(421a)을 감싸는 제1 투명 부재(423a)와 제2 투명 부재(422a)를 포함할 수 있다. 광 조향 부재(410a)는 디스플레이(205)의 내부에 포함될 수도 있다. 제1 투명 부재(423a)와 제2 투명 부재(422a)는 투명전극(ITO: indium tin oxide)이 배치된 투명 기판을 포함할 수 있다. 도 4b는 우안에 대한 웨어러블 전자 장치(400)의 구성을 도시한 것이나 이는 설명의 편의를 위한 것으로 좌안에 대한 웨어러블 전자 장치(400)의 구성도 유사하게 설명될 수 있다.
다시 도 4a를 참조하면, 디스플레이(205, 210)는 각각 템플(401a, 401b)에 고정될 수 있다. 디스플레이(205, 210)는 가상 이미지에 대응하는 가시광선 광을 출력할 수 있다. 제1 제어 회로는 디스플레이(205, 210)에 구동 전원 및 제어 신호를 공급할 수 있다.
가상 이미지를 출력하는 디스플레이(205, 210)는 비발광 디스플레이 또는 자발광 디스플레이를 포함할 수 있다. 비발광 디스플레이는 DMD 또는 LCoS를 포함할 수 있으나 이에 제한되지 않는다. 비발광 디스플레이는 조명 광원, 조명 광학계, 콜리메이션 렌즈(collimation lens)로 구성되는 투사형 디스플레이를 포함할 수 있다. 자발광 디스플레이는 OLED 또는 Micro LED를 포함할 수 있으나 이에 제한되지 않는다. 자발광 디스플레이는 조명 광원과 조명 광학계를 사용하지 않을 수 있다.
광 도파관(215a, 215b)은 가시광선 광의 경로를 조정하여 가상 이미지를 출력할 수 있다. 광 도파관(215a, 215b)은 디스플레이(205, 210)로부터 출력되는 가상 이미지에 대응하는 가시광선 광을 사용자의 눈까지 전달할 수 있다. 광 도파관(215a, 215b)은 가시광선 광이 입사되는 입력 광학 부재(220a, 220b), 가시광선 광이 전반사되는 영역 및 가시광선 광이 출력되는 출력 광학 부재(output grating)를 포함할 수 있다.
광 도파관(215a, 215b)은 투명 부재(225a, 225b)에 포함될 수 있다. 투명 부재(225a, 225b)는 글래스 플레이트, 플라스틱 플레이트 또는 폴리머로 형성될 수 있으며, 투명 또는 반투명하게 제작될 수 있다. 투명 부재(225a, 225b)는 사용자의 눈과 대면하게 배치될 수 있다. 투명 부재(225a, 225b) 각각은 사용자의 양안에 대면하게 배치될 수 있다. 투명 부재(225a, 225b)는 입력 광학 부재(220a, 220b)를 포함할 수 있다. 도4a에서는 광 도파관(215a, 215b)에 입력 광학 부재(220a, 220b)가 포함된 것으로 표현되었지만 이는 예시에 불과하며, 입력 광학 부재(220a, 220b)는 광 도파관(215a, 215b)과 분리되어 위치될 수도 있다. 출력 광학 부재는 광 도파관(215a, 215b)의 내부에 포함될 수도 있고 광 도파관(215a, 215b)과 분리되어 형성될 수도 있다. 또한, 출력 광학 부재는 광 도파관(215a, 215b) 전체를 구성할 수도 있다.
적외선 출력부(413a, 413b)와 적외선 센서(411a, 411b)는 사용자의 시선을 검출하고 추적하기 위해 사용될 수 있다. 가독성을 위하여 도 4a에서 식별기호가 생략되었지만 적외선 출력부(413a, 413b)를 비롯한 복수의 적외선 출력부가 투명 부재(225a, 225b)의 테두리에 근접하여 위치할 수 있다. 적외선 출력부(413a, 413b)는 사용자의 시선을 추적하기 위한 적외선 광을 출력할 수 있다. 적외선 출력부(413a, 413b)는 사용자의 동공을 향하여 적외선 광을 출력할 수 있다. 적외선 센서(411a, 411b)는 적외선 출력부(413a, 413b)가 출력한 적외선 광이 사용자의 동공으로부터 반사되는 적외선 광을 검출할 수 있다. 예를 들어, 적외선 센서(411a, 411b)는 적외선 카메라를 포함할 수 있다.
제2 제어 회로는 적외선 센서(411a, 411b) 및 적외선 출력부(413a, 413b)에 구동 전원 및 제어 신호를 공급할 수 있다.
일 실시예에 따르면, 휨 센서(412a, 412b)는 템플(401a, 401b)과 안경테(402a, 402b)에 연결되어 템플(401a, 401b)과 안경테(402a, 402b) 사이의 제1 휨 상태를 측정할 수 있다. 휨 센서(412a, 412b)는 대상의 구조적인 변형을 감지할 수 있는 센서를 의미한다. 예를 들어, 휨 센서(412a, 412b)는 플렉스 센서(Flex Sensor), 홀(hall) 센서, 광 센서와 같이 구조적인 변형을 검출할 수 있는 센서를 제한 없이 포함할 수 있다. 휨 센서(412a, 412b)가 구부림(Flex) 휨 센서(예: 플렉스 센서(Flex Sensor))인 경우, 휨 센서(412a, 412b)는 제1 휨 상태에 따라 변화되는 가변 저항을 포함할 수 있다. 제2 제어 회로는 가변 저항의 일단의 출력 전압을 기초로 제1 휨 상태를 측정할 수 있다.
일 실시예에 따르면, 적외선 출력부(413a)는 제1 투명 부재(225a)의 외곽에 복수 개가 배치될 수 있다. 적외선 출력부(413a)를 비롯한 복수의 적외선 출력부는 사용자의 우안의 동공의 경계로 적외선 광을 출력할 수 있다. 적외선 출력부(413b)는 제2 투명 부재(225b)의 외곽에 복수 개가 배치될 수 있다. 적외선 출력부(413b)를 비롯한 복수의 적외선 출력부는 사용자의 좌안의 동공의 경계로 적외선 광을 출력할 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(400)는 적외선 센서(411a)를 통하여 우안으로부터 반사되는 적외선 광을 검출할 수 있다. 적외선 출력부(413a)를 비롯한 복수의 적외선 출력부로부터 출력된 적외선 광은 우안의 동공의 경계에 원형으로 조사되고, 적외선 센서(411a)는 우안에서 반사된 복수의 적외선 광을 검출할 수 있다. 제2 제어 회로는 검출된 복수의 적외선 광을 기초로 우안의 동공의 중심과 상하 각도 및 좌우 각도를 측정할 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(400)는 적외선 센서(411b)를 통하여 좌안으로부터 반사되는 적외선 광을 검출할 수 있다. 적외선 출력부(413b)를 비롯한 복수의 적외선 출력부로부터 출력된 적외선 광은 좌안의 동공의 경계에 원형으로 조사되고, 적외선 센서(411b)는 좌안에서 반사된 복수의 적외선 광을 검출할 수 있다. 제2 제어 회로는 검출된 복수의 적외선 광을 기초로 좌안의 동공의 중심과 상하 각도 및 좌우 각도를 측정할 수 있다.
적외선 센서(411a, 411b)의 검출 결과는 사용자의 좌안의 동공에 대한 좌안 각도 및 사용자의 우안의 동공에 대한 우안 각도를 포함할 수 있다. 여기서, 좌안 각도는 사용자의 좌안의 동공의 직경이 밑변이고 적외선 센서(411b)가 꼭지점인 삼각형에서 적외선 센서(411b)에서 바라본 각도를 의미한다. 우안 각도는 사용자의 우안의 동공의 직경이 밑변이고 적외선 센서(411a)가 꼭지점인 삼각형에서 적외선 센서(411a)에서 바라본 각도를 의미한다.
검출된 복수의 적외선 광에 의해 동공의 경계가 추정될 수 있다. 제2 제어 회로는 검출된 복수의 적외선 광을 기초로 좌안 및 우안의 동공의 중심과 상하 방향 또는 좌우 방향의 좌안 각도 및 우안 각도를 측정할 수 있다.
일 실시예에 따르면, 제2 제어 회로는 적외선 센서(411a, 411b)의 검출 결과를 기초로 브릿지(403)의 제2 휨 상태를 측정할 수 있다. 예를 들어, 제2 제어 회로는 좌안 각도 및 우안 각도를 비교하여 제2 휨 상태를 측정할 수 있다. 제2 제어 회로는 좌안 각도와 우안 각도의 차이가 임계값 보다 크면 제2 휨 상태를 측정할 수 있다. 여기서, 임계값은 사용자에게 제공되는 가상 이미지의 선명도를 기준으로 미리 설정될 수 있다. 좌안 각도와 우안 각도의 차이가 임계값 보다 작으면, 전자 장치는, 좌안 각도와 우안 각도의 차이가 가상 이미지의 선명도에 미치는 영향이 작은 것으로 판단하고, 제2 제어 회로는 제2 휨 상태를 측정하지 않음으로써 처리 능력 및 소비 전력을 절감할 수 있다.
도 4c를 참조하면, 템플(401a)과 광 도파관(215a)의 위치 관계가 휨 상태일 때의 광 도파관(215a), 디스플레이(205) 및 광 조향 부재(410a)를 도시한 도면이다. 정상 상태의 광 도파관(215a)에 대해 휨 상태의 광 도파관 (215a')은
Figure PCTKR2022002971-appb-img-000001
각도만큼 차이가 날 수 있다. 일 실시예에 따르면, 제2 제어 회로는 제1 휨 상태 및 제2 휨 상태를 기초로 광 조향 부재(410a)를 통해 가시광선 광의 방향을 조정할 수 있다. 광 조향 부재(410a)는 액정(421a) 및 액정(421a)을 감싸는 제1 투명 부재(423a)와 제2 투명 부재(422a)를 포함할 수 있다. 일 실시예에 따르면, 제2 제어 회로는 제1 휨 상태 및 제2 휨 상태를 기초로 광 조향 부재(410a)에 포함된 액정(421a)에 인가되는 전압을 조정하여 가시광선 광의 방향을 조정할 수 있다.
일 실시예에 따르면, 광 조향 부재(410a)는 디스플레이(205)에서 투사되는 가시광선 광의 방향을 특정한 방향으로 조정할 수 있다. 광 조향 부재(410a)는 액정을 이용하여 디스플레이(205)의 출구로부터 광 도파관(215a)의 입력 광학 부재(220a)로 진행하는 가시광선 광의 방향을 조정할 수 있다. 일 실시예에 따르면, 광 조향 부재(410a)는 액정과 연결된 전극에 전압을 인가하여 액정의 굴절률을 변경함으로써 가시광선 광의 방향을 조정할 수 있다. 예를 들어, 웨어러블 전자 장치(400)는 휘어진 각도의 역방향으로 디스플레이(205)로부터 출력되는 가시광선 광의 방향이 휘어지도록 액정의 굴절률을 변화시킬 수 있다. 도 4c는 우안에 대한 웨어러블 전자 장치(400)의 구성을 도시한 것이나 이는 설명의 편의를 위한 것으로 좌안에 대한 웨어러블 전자 장치(400)의 구성도 유사하게 설명될 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(400)는 왜곡이 없는 선명한 가상 이미지를 사용자에게 표시할 수 있다. 웨어러블 전자 장치(400)는 착용시에 발생할 수 있는 휨 또는 비틀림에 의해 발생하는 가상 이미지의 왜곡을 보정할 수 있다. 웨어러블 전자 장치(400)는 사용자의 얼굴의 크기나 모양에 따라 규격을 조정할 필요 없이 출력되는 가시광선 광을 조정함으로써 선명한 가상 이미지를 사용자에게 제공할 수 있다.
도 5a 및 도 5b는 본 개시의 실시예들에 따른 웨어러블 전자 장치에 의해 제2 휨 상태를 측정하는 과정을 설명하기 위한 도면이다.
도 5a를 참조하면, 웨어러블 전자 장치(예: 도 4a의 웨어러블 전자 장치(400))의 안경테(예: 도 2의 프레임(272a, 272b))와 브릿지(예: 도 2의 브릿지(273))의 위치 관계가 정상 상태일 때 적외선 센서(411a, 411b)에 의해 측정되는 동공의 각도를 설명하기 위한 도면이 도시된다.
적외선 출력부(예: 도 4a의 (413a))는 우안의 투명 부재(예: 도 4a의 제1 투명 부재(225a))의 외곽에 복수 개가 배치될 수 있다. 복수의 적외선 출력부는 사용자의 우안의 동공의 경계로 적외선 광을 출력할 수 있다. 복수의 적외선 출력부로부터 출력된 적외선 광은 우안의 동공의 경계에 원형으로 조사될 수 있다.
우안의 적외선 센서(411a)는 FOV(field of view)(502a)를 가질 수 있다. 적외선 센서(411a)의 FOV의 수평 직경(533a)은 사용자의 우안의 동공의 수평 직경(531a)보다 클 수 있다. 웨어러블 전자 장치는 적외선 센서를 통하여 우안으로부터 반사되는 복수의 적외선 광(501a)을 검출할 수 있다.
제2 제어 회로(예: 도 2의 제2 제어 회로)는 검출된 복수의 적외선 광(501a)을 기초로 우안 각도
Figure PCTKR2022002971-appb-img-000002
를 측정할 수 있다. 제2 제어 회로는 검출된 복수의 적외선 광(501a)이 형성하는 원의 직경(531a, 532a)을 밑변으로 하는 삼각형의 꼭지점의 각도
Figure PCTKR2022002971-appb-img-000003
를 측정할 수 있다. 각도는 라디안(radian)으로 측정될 수 있고, 각도는 적외선 센서의 픽셀(pixel)의 크기의 배수로 표현될 수 있다. 예를 들어, 라디안 각도는 적외선 센서의 N개의 픽셀로 표현될 수 있고, N은 자연수일 수 있다. 제2 제어 회로는 FOV의 수평 직경(533a) 및 수직 직경(534a) 각각에 대응하는 픽셀수와 복수의 적외선 광(501a)이 형성하는 원의 수평 직경(531a) 및 수직 직경(532a) 각각에 대응하는 픽셀수를 기초로 우안 각도
Figure PCTKR2022002971-appb-img-000004
를 계산할 수 있다. 예를 들어, 적외선 센서(411a)의 화각은 수평 직경 및 수직 직경으로 표현될 수 있으며, 설계치로 미리 결정될 수 있다. 화각의 내부에 대응하는 픽셀수를 화각으로 나눔으로써 PPD(pixel per degree)가 계산될 수 있다. 예를 들어, 수평 화각이 60°인 적외선 센서에 사용되는 수평축의 픽셀수가 1920 개인 경우 PPD는 32가 될 수 있다. 이처럼, 제2 제어 회로는 동공 주변에 형성되는 적외선 반사광(501a)이 형성하는 원의 크기를 픽셀수로 계산하고, 픽셀수를 각도로 환산함으로써 수평 직경(531a) 및 수직 직경(532a)에 대한 각도를 계산할 수 있다.
적외선 출력부(예: 도 4a의 (413b))는 좌안의 투명 부재(예: 도 4a의 제2 투명 부재(225b))의 외곽에 복수 개가 배치될 수 있다. 복수의 적외선 출력부는 사용자의 좌안의 동공의 경계로 적외선 광을 출력할 수 있다. 복수의 적외선 출력부로부터 출력된 적외선 광은 좌안의 동공의 경계에 원형으로 조사될 수 있다.
좌안의 적외선 센서(411b)는 FOV를 가질 수 있다. 적외선 센서(411b)의 FOV의 수평 직경(533b)은 사용자의 좌안의 동공의 수평 직경(531b)보다 클 수 있다. 웨어러블 전자 장치는 적외선 센서(411b)를 통하여 좌안으로부터 반사되는 복수의 적외선 광(501b)을 검출할 수 있다.
제2 제어 회로(예: 도 2의 제2 제어 회로)는 검출된 복수의 적외선 광(501b)을 기초로 좌안 각도
Figure PCTKR2022002971-appb-img-000005
를 측정할 수 있다. 제2 제어 회로는 검출된 복수의 적외선 광(501b)이 형성하는 원의 직경(531b, 532b)을 밑변으로 하는 삼각형의 꼭지점의 각도
Figure PCTKR2022002971-appb-img-000006
를 측정할 수 있다. 각도는 라디안(radian)으로 측정될 수 있고, 각도는 적외선 센서(411b)의 픽셀(pixel)의 크기의 배수로 표현될 수 있다. 예를 들어, 라디안 각도는 적외선 센서(411b)의 N개의 픽셀로 표현될 수 있고, N은 자연수일 수 있다. 제2 제어 회로는 FOV의 수평 직경(533b) 및 수직 직경(534b) 각각에 대응하는 픽셀수와 복수의 적외선 광(501b)이 형성하는 원의 수평 직경(531b) 및 수직 직경(532b) 각각에 대응하는 픽셀수를 기초로 좌안 각도
Figure PCTKR2022002971-appb-img-000007
를 계산할 수 있다.
제2 제어 회로는 좌안 각도
Figure PCTKR2022002971-appb-img-000008
와 우안 각도
Figure PCTKR2022002971-appb-img-000009
를 비교할 수 있다. 좌안 각도
Figure PCTKR2022002971-appb-img-000010
와 우안 각도
Figure PCTKR2022002971-appb-img-000011
가 동일한 경우 제2 제어 회로는 웨어러블 전자 장치가 정상 상태인 것으로 판단할 수 있다. 정상 상태에서는 선명한 가상 이미지가 출력되므로 제2 제어 회로는 디스플레이로부터 출력되는 가시광선 광의 방향을 유지할 수 있다.
도 5b를 참조하면, 웨어러블 전자 장치(예: 도 4a의 웨어러블 전자 장치(400))의 안경테(예: 도 2의 프레임(272a, 272b))와 브릿지(예: 도 2의 브릿지(273))의 위치 관계가 왜곡 상태일 때 적외선 센서(411a, 411b)에 의해 측정되는 동공의 각도를 설명하기 위한 도면이 도시된다.
제2 제어 회로는 검출된 복수의 적외선 광(511a)을 기초로 우안 각도
Figure PCTKR2022002971-appb-img-000012
를 측정할 수 있다. 제2 제어 회로는 검출된 복수의 적외선 광(511a)이 형성하는 원의 직경(531a, 532a)을 밑변으로 하는 삼각형의 꼭지점의 각도
Figure PCTKR2022002971-appb-img-000013
를 측정할 수 있다. 각도는 라디안(radian)으로 측정될 수 있고, 각도는 적외선 센서의 픽셀(pixel)의 크기의 배수로 표현될 수 있다. 제2 제어 회로는 우안의 적외선 센서(411a)가 갖는 FOV의 수평 직경(533a) 및 수직 직경(534a) 각각에 대응하는 픽셀수와 복수의 적외선 광(511a)이 형성하는 원의 수평 직경(531a) 및 수직 직경(532a) 각각에 대응하는 픽셀수를 기초로 우안 각도
Figure PCTKR2022002971-appb-img-000014
를 계산할 수 있다.
제2 제어 회로는 검출된 복수의 적외선 광(511b)을 기초로 좌안 각도
Figure PCTKR2022002971-appb-img-000015
를 측정할 수 있다. 제2 제어 회로는 검출된 복수의 적외선 광(511b)이 형성하는 원의 직경(531b, 532b)을 밑변으로 하는 삼각형의 꼭지점의 각도
Figure PCTKR2022002971-appb-img-000016
를 측정할 수 있다. 각도는 라디안(radian)으로 측정될 수 있고, 각도는 적외선 센서의 픽셀(pixel)의 크기의 배수로 표현될 수 있다. 제2 제어 회로는 좌안의 적외선 센서(411b)가 갖는 FOV의 수평 직경(533b) 및 수직 직경(534b) 각각에 대응하는 픽셀수와 복수의 적외선 광(511b)이 형성하는 원의 수평 직경(531b) 및 수직 직경(532b) 각각에 대응하는 픽셀수를 기초로 좌안 각도
Figure PCTKR2022002971-appb-img-000017
를 계산할 수 있다.
제2 제어 회로는 좌안 각도
Figure PCTKR2022002971-appb-img-000018
와 우안 각도
Figure PCTKR2022002971-appb-img-000019
를 비교할 수 있다. 좌안 각도
Figure PCTKR2022002971-appb-img-000020
와 우안 각도
Figure PCTKR2022002971-appb-img-000021
가 상이한 경우 제2 제어 회로는 웨어러블 전자 장치가 왜곡 상태인 것으로 판단할 수 있다. 다만, 왜곡 상태의 판단 방식은 좌안 각도와 우안 각도를 비교하는 방식에 국한되지 않으며, 정상 상태에서 측정된 각도와의 비교를 통해 판단될 수도 있다. 예를 들어, 제2 제어 회로는 왜곡이 없는 경우인 도 5a에서 측정된 각도(
Figure PCTKR2022002971-appb-img-000022
)와 도 5b 에서 측정된 각도(
Figure PCTKR2022002971-appb-img-000023
)가 다른 경우 역시 왜곡 상태인 것으로 판단할 수 있다. 다른 예로, 제2 제어 회로는 복수의 적외선 광이 좌안에 형성하는 원의 수평 직경 또는 수직 직경과 복수의 적외선 광이 우안에 형성하는 원의 수평 직경 또는 수직 직경의 길이를 비교하여 왜곡 상태인지 여부를 판단할 수도 있다. 왜곡 상태에서는 왜곡된 가상 이미지가 출력되므로 제2 제어 회로는 디스플레이로부터 출력되는 가시광선 광의 방향을 조정할 수 있다.
도 6a 및 도 6b는 본 개시의 실시예들에 따른 웨어러블 전자 장치에 의해 제1 휨 상태를 측정하는 과정을 설명하기 위한 도면이다.
도 6a를 참조하면, 웨어러블 전자 장치(예: 도 4a의 웨어러블 전자 장치(400))에 휨 센서가 포함되는 위치를 설명하기 위한 도면이다.
휨 센서(412a, 412b)는 템플(401a, 401b)과 안경테(402a, 402b)에 연결되어 템플(401a, 401b)과 안경테(402a, 402b) 사이의 제1 휨 상태를 측정할 수 있다. 디스플레이(205, 210)는 각각 템플(401a, 401b)에 고정되고 입력 광학 부재(220a, 220b)를 포함하는 투명 부재(225a, 225b)는 각각 안경테(402a, 402b)에 고정되므로, 휨 센서(412a, 412b)는 템플(401a, 401b)과 안경테(402a, 402b) 사이의 휨 상태를 측정함으로써 디스플레이(205, 210)와 입력 광학 부재(220a, 220b)의 위치 관계의 변화를 측정할 수 있다.
휨 센서(412a, 412b)가 구부림(Flex) 휨 센서(예: 플렉스 센서(Flex Sensor))인 경우, 휨 센서(412a, 412b)는 제1 휨 상태에 따라 변화되는 가변 저항을 포함할 수 있다. 제2 제어 회로는 가변 저항의 일단의 출력 전압을 기초로 제1 휨 상태를 측정할 수 있다.
도 6b를 참조하면, 웨어러블 전자 장치(예: 도 4a의 웨어러블 전자 장치(400))의 휨 센서의 구성이 도시된다.
휨 센서(412a)는 고정 저항(602a) R1와 가변 저항(601a) R2를 포함할 수 있다. 가변 저항(601a) R2는 휘어지는 정도에 따라 저항값이 달라질 수 있다. 휨 센서(412a)에 인가되는 전압 VCC가 고정될 경우, 고정 저항(602a) R1은 고정되므로 가변 저항(601a) R2가 변경됨에 따라 출력 전압 Vout은 달라질 수 있다.
웨어러블 전자 장치는 A/D 변환기를 이용하여 Vout을 디지털 값으로 변환할 수 있다. 웨어러블 전자 장치는 디지털 값에 대응하는 왜곡되는 각도에 대한 정보를 포함하는 테이블을 메모리에 미리 저장할 수 있다. 웨어러블 전자 장치는 출력된 디지털 값에 대응하는 왜곡된 각도를 출력할 수 있다.
도 7a 및 도 7b는 본 개시의 실시예들에 따른 웨어러블 전자 장치의 광 조향 부재의 액정의 동작 원리를 설명하기 위한 도면이다.
도 7a를 참조하면, 전압이 인가되지 않은 경우와 전압이 인가된 경우의 광 조향 부재의 액정의 상태가 도시된다.
도 7a의 좌측 도면은 전압이 인가되지 않은 경우를 나타낸다. 광 조향 부재(410a)(예: 도 4a의 광 조향 부재(410a))는 액정(421a)과 액정(421a)을 감싸는 제1 투명 부재(423a) 및 제2 투명 부재(422a)를 포함할 수 있다. 제1 투명 부재(423a) 및 제2 투명 부재(422a)는, 예를 들어, 글래스(glass)일 수 있으나 이에 제한되지 않으며 투명한 물질을 모두 포함할 수 있다. 액정(421a)에 전압이 인가되지 않으므로 액정(421a)은 광원(701a, 701b)으로부터 입사되는 가시광선 광을 굴절시키지 않고 그대로 출력할 수 있다.
도 7a의 우측 도면은 전압이 인가된 경우를 나타낸다. 전극을 통해 전압이 인가되는 경우, 액정(421a)의 굴절률은 변경될 수 있다. 예를 들어, 액정(421a)은 전압의 변화에 따라 광학적 성질이 변경됨으로 가시광선의 빛의 투과를 전기적으로 조절할 수 있다. 액정(421a)의 굴절률이 변경됨에 따라 광원(701a, 701b)으로부터 액정(421a)으로 입사하는 가시광선 광의 방향은 조정될 수 있다.
도 7b를 참조하면, 광 조향 부재의 구성이 도시된다.
광 조향 부재(410a)는 액정(421a)과 액정(421a)을 감싸는 제1 투명 부재(423a) 및 제2 투명 부재(422a)를 포함하며, 제1 투명 부재(423a)에는 공통 전극(705)이 포함되고, 제2 투명 부재(422a)에는 하나 이상의 전극이 포함될 수 있다. 예를 들어, 제2 투명 부재(422a)에는 제1 전극(701), 제2 전극(702), 및 제3 전극(703)이 포함될 수 있다.
제2 제어 회로는 제1 휨 상태 및 제2 휨 상태를 합산하고, 합산 결과에 대응하는 제1 전극(701)의 전압, 제2 전극(702)의 전압 및 제3 전극(703)의 전압을 제1 전극(701), 제2 전극(702) 및 제3 전극(703)에 각각 인가할 수 있다. 전압이 인가됨에 따라 액정(704)의 형상이 변화되고 액정(421a)의 굴절률은 변경될 수 있다. 액정(421a)의 굴절률이 변경됨에 따라 광원(701a, 701b)으로부터 액정(421a)으로 입사하는 가시광선 광의 방향은 조정될 수 있다.
예를 들어, 제1 휨 상태 및 제2 휨 상태의 합산 결과는 표 1와 같을 수 있다. 예를 들어, 합산 결과에 대응하는 제1 전극(701)의 전압, 제2 전극(702)의 전압 및 제3 전극(703)의 전압은 표 2와 같을 수 있다.
Figure PCTKR2022002971-appb-img-000024
Figure PCTKR2022002971-appb-img-000025
도 8a 및 도 8b는 본 개시의 실시예들에 따른 웨어러블 전자 장치의 광 조향 부재의 비틀림 조정부의 동작 원리를 설명하기 위한 도면이다.
도 8a를 참조하면, 템플(미도시)(예: 도 4a의 401a)과 광 도파관(215a)의 위치 관계가 정상 상태일 때의 광 도파관(215a)(예: 도 4a의 광 도파관(215a)), 디스플레이(205)(예: 도 4a의 디스플레이(205))및 광 조향 부재(410a)(예: 도 4a의 광 조향 부재(410a))의 관계가 도시된다.
광 조향 부재(410a)는 액정(421a)을 감싸는 제1 투명 부재(423a), 제2 투명 부재(422a) 뿐만 아니라 비틀림 조정부(801a, 802a)를 더 포함할 수 있다. 비틀림 조정부(801a, 802a)는 제1 투명 부재(423a) 및 제2 투명 부재(422a)의 위치 관계를 조정할 수 있다. 예를 들어, 비틀림 조정부(801a, 802a)는 자바라를 포함할 수 있다. 예를 들어, 자바라 내부에는 고굴절률 액체가 포함될 수 있고, 자바라의 접히거나 펴지는 정도에 따라 고굴절률 액체의 두께는 프리즘처럼 변형되어 광의 방향은 조정될 수 있다.
휨 센서(412a, 412b)는 템플과 안경테 사이의 제1 비틀림 상태를 측정할 수 있다. 제2 제어 회로는 적외선 센서의 검출 결과를 기초로 브릿지의 제2 비틀림 상태를 측정할 수 있다. 제2 제어 회로는 제1 비틀림 상태 및 제2 비틀림 상태를 기초로 웨어러블 전자 장치의 비틀림 여부를 판단할 수 있다. 정상 상태로 판단될 경우, 사용자에게는 선명한 가상 이미지가 출력될 수 있다.
도 8b를 참조하면, 템플(미도시)(예: 도 4a의 401a)과 광 도파관(215a)의 위치 관계가 비틀림 상태일 광 도파관(215a), 디스플레이(205) 및 광 조향 부재(410a)의 관계가 도시된다.
제2 제어 회로는 제1 비틀림 상태 및 제2 비틀림 상태를 기초로 비틀림 조정부(801a, 802a)를 통해 제1 투명 부재(423a) 및 제2 투명 부재(422a)의 위치 관계를 조정할 수 있다. 제1 비틀림 상태 및 제2 비틀림 상태에 대응하여 비틀림 보정을 위해 정해진 전압 테이블에 따라, 제2 제어 회로는 비틀림 조정부(801a, 802a)에 전압을 인가할 수 있다. 전압이 인가됨으로써 비틀림 조정부(801a, 802a)가 조정되고 가상 이미지의 비틀림은 완화될 수 있다.
자바라는 센서 및 하나 이상의 액츄에이터(actuator)를 포함할 수 있다. 자바라의 센서의 출력에 대응하여 액츄에이터는 동작할 수 있다. 제1 비틀림 상태 및 제2 비틀림 상태에 대응하는 자바라에 포함된 센서의 출력의 대응 관계가 미리 설정되어 메모리에 저장될 수 있다. 제2 제어 회로는 제1 비틀림 상태 또는 제2 비틀림 상태의 입력에 대응하여 대응하는 센서의 출력을 검색할 수 있다. 제2 제어 회로는 대응하는 센서의 출력에 따라 자바라의 액츄에이터를 구동할 수 있다.
도 9는 본 개시의 실시예들에 따른 웨어러블 전자 장치의 구조를 도시한 도면이다.
일 실시예에 따르면, 웨어러블 전자 장치(900)는 템플(예: 도 4a의 템플(401a, 401b)), 안경테(예: 도 4a의 안경테(402a, 402b)) 및 브릿지(예: 도 4a의 브릿지(403))를 포함하는 골격 부재를 포함할 수 잇다. 웨어러블 전자 장치(900)는 자발광 디스플레이(961, 962), 광 조향 부재(981, 982)(예: 도 4a의 광 조향 부재(410a, 410b)), 광 도파관(913, 915)(예: 도4a의 광 도파관(215a, 215b)), 적외선 센서(자발광 디스플레이(961, 962) 내부에 포함될 수도 있고, 도 4a의 적외선 센서(411a, 411b)로 구현될 수도 있음), 휨 센서(예: 휨 센서(412a, 412b)) (예: 플렉스 센서(Flex Sensor)), 제1 제어 회로(예: 도 2의 제1 디스플레이(205) 및 제2 디스플레이(210)의 내부에 포함된 제어 회로) 및 제2 제어 회로(예: 도 2의 제1 PCB(235a), 제2 PCB(235b)에 위치할 수 있음)를 포함할 수 있다. 다만, 제1 제어 회로 및 제2 제어 회로의 구분은 예시에 불과하며, 하나의 제어 회로가 자발광 디스플레이(961, 962) 및 다른 구성 요소들을 제어할 수도 있고, 3개 이상의 제어 회로가 웨어러블 전자 장치(900)의 구성 요소들을 제어할 수도 있다.
자발광 디스플레이(961, 962)는 템플에 고정될 수 있다. 자발광 디스플레이(961, 962)는 가상 이미지에 대응하는 가시광선 광(902)을 출력하는 복수의 가시광선 픽셀 및 적외선 광(905)을 출력하는 복수의 적외선 픽셀을 포함할 수 있다. 가시광선 픽셀은 R, G, B 픽셀을 포함할 수 있다. 자발광 디스플레이(961, 962)는 OLED(organic light emitting diodes) 또는 Micro LED(micro light emitting diodes)를 포함할 수 있으나 이에 제한되지 않는다. 자발광 디스플레이(961, 962)는 조명 광원과 조명 광학계를 사용하지 않을 수 있다.
자발광 디스플레이(961, 962)를 구성하는 마이크로 LED(991)와 입력 광학 부재(911, 912) (예: 도 4a의 입력 광학 부재(220a, 220b)) 사이에 광 조향 부재(981, 982)가 배치되고, 마이크로 LED(991)와 광 조향 부재(981, 982) 사이에 투명 커버(993)가 배치되고, 투명 커버(993)와 마이크로 LED(991) 사이에 마이크로 렌즈(992)가 배치될 수 있다. 마이크로 렌즈(992)는 마이크로 LED(991)에서 출력되는 광의 효율 및 세기를 높일 수 있다. R,G,B 픽셀들 사이에는 격벽(미도시)이 설치될 수 있고, 격벽은 R,G,B 픽셀 각각에서 방출된 광과 인접한 픽셀의 광의 혼합 및 반사를 줄임으로써 마이크로 렌즈(992)를 통과하는 광의 효율 및 세기를 높일 수 있다.
광 도파관(913, 915)은 적외선 광의 경로를 조정하여 적외선 광을 사용자의 동공으로 출력하고, 가시광선 광(902)의 경로를 조정하여 가상 이미지를 출력할 수 있다. 광 도파관(913, 915)은 자발광 디스플레이(961, 962)로부터 출력되는 가상 이미지에 대응하는 가시광선 광(902)을 사용자의 눈까지 전달할 수 있다. 광 도파관(913, 915)은 가시광선 광(902)이 입사되는 입력 광학 부재(911, 912), 가시광선 광(902)이 전반사되는 영역 및 가시광선 광(902)이 출력되는 출력 광학 부재(output grating)(914, 916)를 포함할 수 있다.
광 도파관(913, 915)은 투명 부재(971, 972)(예: 도 4a의 투명 부재(225a, 225b))에 포함될 수 있다. 투명 부재(971, 972)는 글래스 플레이트, 플라스틱 플레이트 또는 폴리머로 형성될 수 있으며, 투명 또는 반투명하게 제작될 수 있다. 투명 부재(971, 972)는 사용자의 눈과 대면하게 배치될 수 있다. 투명 부재(971, 972) 각각은 사용자의 양안에 대면하게 배치될 수 있다. 투명 부재(971, 972)는 입력 광학 부재(911, 912)를 포함할 수 있다. 도 9에서는 광 도파관(913, 915)과 입력 광학 부재(911, 912)가 분리된 것으로 표현되었지만 이는 예시에 불과하며, 입력 광학 부재(911, 912)는 광 도파관(913, 915)의 내부에 포함될 수도 있다. 또한, 도 9에서는 출력 광학 부재(914, 916)가 광 도파관(913, 915)의 내부에 포함된 것으로 표현되었지만 이는 예시에 불과하며, 출력 광학 부재(914, 916)는 광 도파관(913, 915)과 분리되어 형성될 수도 있다. 또한, 출력 광학 부재(914, 916)는 광 도파관(913, 915) 전체를 구성할 수도 있다.
자발광 디스플레이(961, 962)로부터 출력된 적외선 광은 입력 광학 부재(911, 912)에 입사된 후 광 도파관(913, 915)에 의해 반사될 수 있다. 적외선 반사광(904)는 사용자의 눈(931, 932) 쪽으로 직접 출력될 수 있다. 적외선 반사광(905)은 광 도파관(913, 915)을 거쳐 출력 광학 부재(914, 916)를 통해 사용자의 눈(931, 932) 쪽으로 출력될 수도 있다.
적외선 센서는 사용자의 동공으로부터 반사되는 적외선 광(미도시)을 검출할 수 있다. 일 실시예에 따르면, 적외선 센서는 자발광 디스플레이(961, 962)와 별도로 웨어러블 전자 장치(900)에 배치될 수 있다. 다른 실시예에 따르면, 적외선 센서는 복수의 가시광선 픽셀 및 복수의 적외선 픽셀과 함께 자발광 디스플레이(961, 962)에 포함되는 적외선 센싱 픽셀로 구현될 수 있다. 적외선 센싱 픽셀은 별도의 적외선 센싱용 카메라 대신 사람의 눈으로부터 반사되는 적외선을 감지할 수 있다.
웨어러블 전자 장치(900)는 자발광 디스플레이(961, 962)의 출구와 광 도파관(913, 915)의 입력 광학 부재(911, 912) 사이에 광 조향 부재(981, 982)를 포함할 수 있다. 웨어러블 전자 장치(900)는 광 조향 부재(981, 982)를 통하여 자발광 디스플레이(961, 962)로부터 광 도파관(913, 915)으로 진행하는 가상 이미지에 대응하는 가시광선 광(902)의 방향을 조정할 수 있다. 광 조향 부재(981, 982)는 액정을 포함하며, 액정의 굴절률을 조정함으로써 자발광 디스플레이(961, 962)의 출구에서 광 도파관(913, 915)을 향하는 가시광선 광(902)의 방향을 조정할 수 있다.
휨 센서는 템플과 안경테에 연결되어 템플과 안경테 사이의 제1 휨 상태를 측정할 수 있다. 휨 센서는 제1 휨 상태에 따라 변화되는 가변 저항을 포함할 수 있다. 제2 제어 회로는 가변 저항의 일단의 출력 전압을 기초로 제1 휨 상태를 측정할 수 있다.
제1 제어 회로는 자발광 디스플레이(961, 962)에 구동 전원 및 제어 신호를 공급할 수 있다. 적외선 센서가 자발광 디스플레이(961, 962)와 별도로 존재하는 경우에, 제2 제어 회로는 적외선 센서에 구동 전원 및 제어 신호를 공급할 수 있다.
제2 제어 회로는 적외선 센서의 검출 결과를 기초로 브릿지의 제2 휨 상태를 측정할 수 있다. 적외선 센서의 검출 결과는 사용자의 좌안의 동공에 대한 좌안 각도 및 사용자의 우안의 동공에 대한 우안 각도를 포함할 수 있다. 제2 제어 회로는 좌안 각도 및 우안 각도를 비교하여 제2 휨 상태를 측정할 수 있다. 제2 제어 회로는 좌안 각도와 우안 각도의 차이가 임계값 보다 크면 제2 휨 상태를 측정할 수 있다. 좌안 각도와 우안 각도의 차이가 임계값 보다 작으면, 전자 장치는, 좌안 각도와 우안 각도의 차이가 가상 이미지의 선명도에 미치는 영향이 작은 것으로 판단하고, 제2 제어 회로는 제2 휨 상태를 측정하지 않음으로써 처리 능력 및 소비 전력을 절감할 수 있다.
제2 제어 회로는 제1 휨 상태 및 제2 휨 상태를 기초로 광 조향 부재(981, 982)를 통해 가시광선 광(902)의 방향을 조정할 수 있다. 제2 제어 회로는 제1 휨 상태 및 제2 휨 상태를 기초로 광 조향 부재(981, 982)에 포함된 액정에 인가되는 전압을 조정하여 가시광선 광(902)의 방향을 조정할 수 있다. 광 조향 부재(981, 982)는 액정의 굴절률을 조정하는 제1 전극, 제2 전극 및 제3 전극을 더 포함할 수 있다. 제2 제어 회로는 제1 휨 상태 및 제2 휨 상태를 합산하고, 합산 결과에 대응하는 제1 전극의 전압, 제2 전극의 전압 및 제3 전극의 전압을 제1 전극, 제2 전극 및 제3 전극에 인가할 수 있다.
광 조향 부재(981, 982)는 액정을 감싸는 제1 투명 부재, 제2 투명 부재, 비틀림 조정부(미도시)를 포함할 수 있다. 휨 센서는 템플과 안경테 사이의 제1 비틀림 상태를 측정할 수 있다. 제2 제어 회로는 적외선 센서의 검출 결과를 기초로 브릿지의 제2 비틀림 상태를 측정할 수 있다. 비틀림 조정부는 제1 투명 부재 및 제2 투명 부재의 위치 관계를 조정할 수 있다. 제2 제어 회로는 제1 비틀림 상태 및 제2 비틀림 상태를 기초로 비틀림 조정부를 통해 제1 투명 부재 및 제2 투명 부재의 위치 관계를 조정할 수 있다.
도 10a 및 도 10b는 본 개시의 실시예들에 따른 웨어러블 전자 장치의 디스플레이의 구조를 도시한 도면이다.
자발광 디스플레이(1001, 1002)(예: 도 9의 자발광 디스플레이(961, 962))는 복수의 가시광선 픽셀과 복수의 적외선 픽셀을 포함할 수 있다. 복수의 적외선 픽셀은 다양한 패턴으로 자발광 디스플레이에 배치될 수 있다. 예를 들어, 복수의 적외선 픽셀은 선형으로 수직하게 배치될 수도 있고 수평으로 배치될 수도 있다. 복수의 적외선 픽셀은 선형으로 사선으로 배치될 수도 있다.
도 10a를 참조하면, 일 실시예에서, 복수의 적외선 픽셀(1011, 1012, 1013, 1014)은 자발광 디스플레이(1001)에 무작위로(randomly) 배치될 수 있다. 복수의 적외선 픽셀(1011, 1012, 1013, 1014)은 사용자의 홍채에 대응하는 자발광 디스플레이(1001)의 영역에 무작위로 배치될 수 있다. 이러한 배치 패턴은 선형 패턴보다 시선 추적에 더 용이할 수 있다. 다른 실시예에서, 자발광 디스플레이(1001)는 복수의 시선 추적 센서(1031, 1032, 1033, 1034)를 더 포함할 수 있다. 복수의 시선 추적 센서(1031, 1032, 1033, 1034)는 독자적인 패턴에 따라 배치될 수도 있고 복수의 적외선 픽셀(1011, 1012, 1013, 1014)처럼 무작위로 배치될 수도 있다. 복수의 시선 추적 센서(1031, 1032, 1033, 1034)는 복수의 적외선 픽셀(1011, 1012, 1013, 1014)에 의해 방출된 광이 사용자의 눈에 의해 반사된 적외선 광을 감지할 수 있다.
도 10b를 참조하면, 복수의 적외선 픽셀(1021, 1022, 1023, 1024, 1025, 1026)은 자발광 디스플레이(1002)에 원형으로 배치될 수 있다. 복수의 적외선 픽셀(1021, 1022, 1023, 1024, 1025, 1026)은 사용자의 홍채의 테두리에 대응하는 자발광 디스플레이(1002)의 영역에 원형으로 배치될 수 있다. 이러한 배치 패턴은 선형 패턴보다 시선 추적에 더 용이할 수 있다. 다른 실시예에서, 자발광 디스플레이(1002)는 복수의 시선 추적 센서(1041, 1042, 1043)를 더 포함할 수 있다. 복수의 시선 추적 센서(1041, 1042, 1043)는 독자적인 패턴에 따라 배치될 수도 있고 복수의 적외선 픽셀(1021, 1022, 1023, 1024, 1025, 1026)처럼 무작위로 배치될 수도 있다. 복수의 시선 추적 센서(1041, 1042, 1043)는 복수의 적외선 픽셀(1021, 1022, 1023, 1024, 1025, 1026)에 의해 방출된 광이 사용자의 눈에 의해 반사된 적외선 광을 감지할 수 있다.
도 11은 본 개시의 실시예들에 따른 웨어러블 전자 장치의 구성을 나타내는 블록도이다.
도 11을 참조하면, 웨어러블 전자 장치(1100)(예: 도 1의 전자 장치(100) 및 도 2의 웨어러블 전자 장치(200))는 디스플레이(1101)(예: 도2의 제1 디스플레이(205), 제2 디스플레이(210)), 광 조향 부재(1103)(예: 도 4a의 광 조향(beam steering) 부재(410a, 410b)), 광 도파관(1105)(예: 도2의 광 도파관(215a, 215b)), 적외선 출력부(1107)(예: 적외선 출력부(413a, 413b)), 적외선 센서(1109)(예: 도 4a의 적외선 센서(411a, 411b)), 휨 센서(1111)(예: 도 4a의 휨 센서(412a, 412b)), 제1 제어 회로(1113)(예: 도 2의 제1 디스플레이(205) 및 제2 디스플레이(210)의 내부에 포함된 제어 회로) 및 제2 제어 회로(1115)(예: 도 2의 제1 PCB(235a), 제2 PCB(235b)에 위치할 수 있음)를 포함할 수 있다. 웨어러블 전자 장치(1100)는 골격 부재를 포함할 수 있고, 골격 부재는 템플(예: 도 4a의 템플(temple)(401a, 401b)), 안경테(예: 도 4a의 안경테(402a, 402b)) 및 브릿지(예: 도 4a의 브릿지(bridge)(403))를 포함할 수 있다.
디스플레이(1101)는 템플에 고정될 수 있다. 디스플레이(1101)는 가상 이미지에 대응하는 가시광선 광을 출력할 수 있다. 광 조향 부재(1103)는 액정을 포함할 수 있다. 광 조향 부재(1103)는 액정을 이용하여 디스플레이(1101)의 출구로부터 광 도파관(1105)의 입력 광학 부재(예: 입력 광학 부재(911, 912))로 진행하는 가시광선 광의 방향을 조정할 수 있다. 광 도파관(1105)은 가시광선 광의 경로를 조정하여 가상 이미지를 출력할 수 있다. 적외선 출력부(1107)는 사용자의 시선을 추적하기 위한 적외선 광을 출력할 수 있다. 적외선 센서(1109)는 사용자의 동공으로부터 반사되는 적외선 광을 검출할 수 있다. 휨 센서(1111)는 템플과 안경테에 연결되어 템플과 안경테 사이의 제1 휨 상태를 측정할 수 있다. 제1 제어 회로(1113)는 디스플레이에 구동 전원 및 제어 신호를 공급할 수 있다. 제2 제어 회로(1115)는 적외선 센서(1109) 및 적외선 출력부(1107)에 구동 전원 및 제어 신호를 공급할 수 있다.
제2 제어 회로(1115)는 적외선 센서(1109)의 검출 결과를 기초로 브릿지의 제2 휨 상태를 측정할 수 있다. 적외선 센서(1109)의 검출 결과는 사용자의 좌안의 동공에 대한 좌안 각도 및 사용자의 우안의 동공에 대한 우안 각도를 포함할 수 있다. 제2 제어 회로(1115)는 좌안 각도 및 우안 각도를 비교하여 제2 휨 상태를 측정할 수 있다. 제2 제어 회로(1115)는 좌안 각도와 우안 각도의 차이가 임계값 보다 크면 제2 휨 상태를 측정할 수 있다.
제2 제어 회로(1115)는 제1 휨 상태 및 제2 휨 상태를 기초로 광 조향 부재(1103)를 통해 가시광선 광의 방향을 조정할 수 있다. 휨 센서(1111)는 제1 휨 상태에 따라 변화되는 가변 저항(예: 도 6b의 가변 저항(601a))을 포함할 수 있다. 제2 제어 회로(1115)는 가변 저항의 일단의 출력 전압을 기초로 제1 휨 상태를 측정할 수 있다. 제2 제어 회로(1115)는 제1 휨 상태 및 제2 휨 상태를 기초로 광 조향 부재에 포함된 액정(예: 도 7a의 액정(421a))에 인가되는 전압을 조정하여 가시광선 광의 방향을 조정할 수 있다.
광 조향 부재(1103)는 액정의 굴절률을 조정하는 제1 전극(예: 도 7(B)의 제1 전극(701)), 제2 전극(예: 도 7(B)의 제2 전극(702)) 및 제3 전극(예: 도 7(B)의 제3 전극(703))을 더 포함할 수 있다. 제2 제어 회로(1115)는 제1 휨 상태 및 제2 휨 상태를 합산하고, 합산 결과에 대응하는 제1 전극의 전압, 제2 전극의 전압 및 제3 전극의 전압을 제1 전극, 제2 전극 및 제3 전극에 인가할 수 있다.
광 조향 부재(1103)는 액정을 감싸는 제1 투명 부재, 제2 투명 부재, 비틀림 조정부를 포함하고, 비틀림 조정부는 제1 투명 부재 및 제2 투명 부재의 위치 관계를 조정할 수 있다. 휨 센서는 템플과 안경테 사이의 제1 비틀림 상태를 측정할 수 있다. 제2 제어 회로(1115)는 적외선 센서의 검출 결과를 기초로 브릿지의 제2 비틀림 상태를 측정할 수 있다. 제2 제어 회로(1115)는 제1 비틀림 상태 및 제2 비틀림 상태를 기초로 비틀림 조정부를 통해 제1 투명 부재 및 제2 투명 부재의 위치 관계를 조정할 수 있다.
도 12는 본 개시의 실시예들에 따른 웨어러블 전자 장치의 구성을 나타내는 블록도이다.
일 실시예에 따르면, 웨어러블 전자 장치(1200)(예를 들어, 도 1의 전자 장치(100), 도 2의 웨어러블 전자 장치(200), 도 11의 웨어러블 전자 장치(1100))는 자발광 디스플레이(1201)(예: 도 9의 자발광 디스플레이(961, 962)), 광 조향 부재(1103)(예: 도 4a의 광 조향(beam steering) 부재(410a, 410b)), 광 도파관(1105)(예: 도2의 광 도파관(215a, 215b)), 적외선 출력부(1207)(예: 도 9의 자발광 디스플레이(961, 962)에 포함될 수 있음), 적외선 센서(1209)(예: 도 9의 자발광 디스플레이(961, 962)에 포함되거나 도 4a의 적외선 센서(411a, 411b)일 수 있음), 휨 센서(1111)(예: 도 4a의 휨 센서(412a, 412b)), 제1 제어 회로(1113)(예: 도 2의 제1 디스플레이(205) 및 제2 디스플레이(210)의 내부에 포함된 제어 회로) 및 제2 제어 회로(1115)(예: 도 2의 제1 PCB(235a), 제2 PCB(235b)에 위치할 수 있음)를 포함할 수 있다. 웨어러블 전자 장치(1100)는 골격 부재를 포함할 수 있고, 골격 부재는 템플(예: 도 4a의 템플(temple)(401a, 401b)), 안경테(예: 도 4a의 안경테(402a, 402b)) 및 브릿지(예: 도 4a의 브릿지(bridge)(403))를 포함할 수 있다.
자발광 디스플레이(1201)는 템플에 고정될 수 있다. 자발광 디스플레이(1201)는 가상 이미지에 대응하는 가시광선 광을 출력하는 복수의 가시광선 픽셀 및 적외선 광을 출력하는 복수의 적외선 픽셀을 포함할 수 있다. 광 조향 부재(1103)는 액정을 포함할 수 있다. 광 조향 부재(1103)는 액정을 이용하여 자발광 디스플레이(1201)의 출구로부터 광 도파관의 입력 광학 부재(예: 도 9의 입력 광학 부재(911, 912))로 진행하는 가시광선 광의 방향을 조정할 수 있다. 광 도파관(1105)은 적외선 광의 경로를 조정하여 적외선 광을 사용자의 동공으로 출력하고, 가시광선 광의 경로를 조정하여 가상 이미지를 출력할 수 있다. 적외선 센서(1209)는 사용자의 동공으로부터 반사되는 적외선 광을 검출할 수 있다. 휨 센서(1111)는 템플과 안경테에 연결되어 템플과 안경테 사이의 제1 휨 상태를 측정할 수 있다. 제1 제어 회로(1113)는 자발광 디스플레이(1201)에 구동 전원 및 제어 신호를 공급할 수 있다.
제2 제어 회로(1115)는 적외선 센서(1209)의 검출 결과를 기초로 브릿지의 제2 휨 상태를 측정할 수 있다. 제2 제어 회로(1115)는 제1 휨 상태 및 제2 휨 상태를 기초로 광 조향 부재(1103)를 통해 가시광선 광의 방향을 조정할 수 있다.
적외선 센서(1209)의 검출 결과는 사용자의 좌안의 동공에 대한 좌안 각도 및 사용자의 우안의 동공에 대한 우안 각도를 포함할 수 있다. 제2 제어 회로(1115)는 좌안 각도 및 우안 각도를 비교하여 제2 휨 상태를 측정할 수 있다. 제2 제어 회로(1115)는 좌안 각도와 우안 각도의 차이가 임계값 보다 크면 제2 휨 상태를 측정할 수 있다.
휨 센서(1111)는 제1 휨 상태에 따라 변화되는 가변 저항을 포함할 수 있다. 제2 제어 회로(1115)는 가변 저항의 일단의 출력 전압을 기초로 제1 휨 상태를 측정할 수 있다.
제2 제어 회로(1115)는 제1 휨 상태 및 제2 휨 상태를 기초로 광 조향 부재(1103)에 포함된 액정에 인가되는 전압을 조정하여 가시광선 광의 방향을 조정할 수 있다. 광 조향 부재(1103)는 액정의 굴절률을 조정하는 제1 전극, 제2 전극 및 제3 전극을 더 포함할 수 있다. 제2 제어 회로(1115)는 제1 휨 상태 및 제2 휨 상태를 합산하고, 합산 결과에 대응하는 제1 전극의 전압, 제2 전극의 전압 및 제3 전극의 전압을 제1 전극, 제2 전극 및 제3 전극에 인가할 수 있다.
광 조향 부재(1103)는 액정을 감싸는 제1 투명 부재, 제2 투명 부재 , 비틀림 조정부를 포함할 수 있다. 비틀림 조정부는 제1 투명 부재 및 제2 투명 부재의 위치 관계를 조정할 수 있다. 휨 센서(1111)는 템플과 안경테 사이의 제1 비틀림 상태를 측정할 수 있다. 제2 제어 회로(1115)는 적외선 센서의 검출 결과를 기초로 브릿지의 제2 비틀림 상태를 측정할 수 있다. 제2 제어 회로(1115)는 제1 비틀림 상태 및 제2 비틀림 상태를 기초로 비틀림 조정부를 통해 제1 투명 부재 및 제2 투명 부재의 위치 관계를 조정할 수 있다.
도 13은 본 개시의 실시예들에 따른 웨어러블 전자 장치의 동작을 나타내는 순서도이다.
일 실시예에 따르면, 웨어러블 전자 장치(예: 도 1의 전자 장치(100), 도 2의 웨어러블 전자 장치(200), 도 11의 웨어러블 전자 장치(1100), 도 12의 웨어러블 전자 장치(1200))는 디스플레이(예: 도2의 제1 디스플레이(205), 제2 디스플레이(210)), 광 조향 부재(예: 도 4a의 광 조향(beam steering) 부재(410a, 410b)), 광 도파관(예: 도2의 광 도파관(215a, 215b)), 적외선 출력부(예: 적외선 출력부(413a, 413b)), 적외선 센서(예: 도 4a의 적외선 센서(411a, 411b)), 휨 센서(예: 도 4a의 휨 센서(412a, 412b)), 제1 제어 회로(예: 도 2의 제1 디스플레이(205) 및 제2 디스플레이(210)의 내부에 포함된 제어 회로) 및 제2 제어 회로(예: 도 2의 제1 PCB(235a), 제2 PCB(235b)에 위치할 수 있음)를 포함할 수 있다. 웨어러블 전자 장치는 골격 부재를 포함할 수 있고, 골격 부재는 템플(예: 도 4a의 템플(temple)(401a, 401b)), 안경테(예: 도 4a의 안경테(402a, 402b)) 및 브릿지(예: 도 4a의 브릿지(bridge)(403))를 포함할 수 있다.
일 실시예에 따르면, 동작 1301에서, 웨어러블 전자 장치는 템플과 안경테에 연결된 휨 센서를 이용하여 템플과 안경테 사이의 제1 휨 상태를 측정할 수 있다. 휨 센서는 제1 휨 상태에 따라 변화되는 가변 저항(예: 도 6b의 가변 저항(601a))을 포함할 수 있다. 웨어러블 전자 장치는 제2 제어 회로에 의해 가변 저항의 일단의 출력 전압을 기초로 제1 휨 상태를 측정할 수 있다.
일 실시예에 따르면, 동작 1303에서, 웨어러블 전자 장치는 적외선 출력부를 이용하여 사용자의 시선을 추적하기 위한 적외선 광을 출력할 수 있다.
일 실시예에 따르면, 동작 1305에서, 웨어러블 전자 장치는 적외선 센서를 이용하여 사용자의 동공으로부터 반사되는 적외선 광을 검출할 수 있다.
일 실시예에 따르면, 동작 1307에서, 웨어러블 전자 장치는 제2 제어 회로에 의해 적외선 센서의 검출 결과를 기초로 브릿지의 제2 휨 상태를 측정 할 수 있다. 적외선 센서의 검출 결과는 사용자의 좌안의 동공에 대한 좌안 각도 및 사용자의 우안의 동공에 대한 우안 각도를 포함할 수 있다.
웨어러블 전자 장치는 제2 제어 회로에 의해 좌안 각도 및 우안 각도를 비교하여 제2 휨 상태를 측정할 수 있다. 웨어러블 전자 장치는 제2 제어 회로에 의하여 좌안 각도와 우안 각도의 차이가 임계값 보다 크면 제2 휨 상태를 측정할 수 있다.
일 실시예에 따르면, 동작 1309에서, 웨어러블 전자 장치는 제2 제어 회로에 의해 제1 휨 상태 및 제2 휨 상태를 기초로 광 조향 부재를 이용하여 가시광선 광의 방향을 조정할 수 있다. 웨어러블 전자 장치는 제2 제어 회로에 의해 제1 휨 상태 및 제2 휨 상태를 기초로 광 조향 부재에 포함된 액정에 인가되는 전압을 조정하여 가시광선 광의 방향을 조정할 수 있다.
광 조향 부재는 액정을 감싸는 제1 투명 부재, 제2 투명 부재, 비틀림 조정부를 포함할 수 있다. 비틀림 조정부는 제1 투명 부재 및 제2 투명 부재의 위치 관계를 조정할 수 있다. 웨어러블 전자 장치는 휨 센서에 의해 템플과 안경테 사이의 제1 비틀림 상태를 측정할 수 있다.
웨어러블 전자 장치는 제2 제어 회로에 의해 적외선 센서의 검출 결과를 기초로 브릿지의 제2 비틀림 상태를 측정할 수 있다. 웨어러블 전자 장치는 제1 비틀림 상태 및 제2 비틀림 상태를 기초로 비틀림 조정부를 통해 제1 투명 부재 및 제2 투명 부재의 위치 관계를 조정할 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제1", "제2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 어떤 실시예들에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
어떤 실시예들에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
본 개시는 다양한 실시예들로 설명되었으나, 본 기술이 속하는 분야에서 통상의 지식을 가진 자는 다양한 변경과 변형이 가능하다는 것을 알 수 있다. 본 개시는, 이어지는 청구범위의 범위 내에서, 이러한 변경 및 변형을 포함하는 것으로 의도된다.

Claims (15)

  1. 템플, 안경테 및 브릿지를 포함하는 골격 부재;
    상기 템플에 고정되고, 가상 이미지에 대응하는 가시광선 광을 출력하는 디스플레이;
    액정을 포함하고, 상기 액정을 이용하여 상기 디스플레이의 출구로부터 광 도파관의 입력 광학 부재로 진행하는 상기 가시광선 광의 방향을 조정하는 광 조향 부재;
    상기 가시광선 광의 경로를 조정하여 상기 가상 이미지를 출력하는 광 도파관;
    사용자의 시선을 추적하기 위한 적외선 광을 출력하는 적외선 출력부;
    상기 사용자의 동공으로부터 반사되는 적외선 광을 검출하는 적외선 센서;
    상기 템플과 상기 안경테에 연결되고, 상기 템플과 안경테 사이의 제1 휨 상태를 측정하도록 구성된 휨 센서;
    상기 디스플레이에 구동 전원 및 제어 신호를 공급하는 제1 제어 회로; 및
    상기 적외선 센서 및 상기 적외선 출력부에 구동 전원 및 제어 신호를 공급하는 제2 제어 회로를 포함하고,
    상기 제2 제어 회로는 상기 적외선 센서의 검출 결과를 기초로 상기 브릿지의 제2 휨 상태를 측정하고,
    상기 제2 제어 회로는 상기 제1 휨 상태 및 상기 제2 휨 상태를 기초로 상기 광 조향 부재를 통해 상기 가시광선 광의 방향을 조정하는,
    웨어러블 전자 장치.
  2. 제1항에 있어서,
    상기 적외선 센서의 검출 결과는 상기 사용자의 좌안의 동공에 대한 좌안 각도 및 상기 사용자의 우안의 동공에 대한 우안 각도를 포함하고,
    상기 제2 제어 회로는,
    상기 좌안 각도 및 상기 우안 각도를 비교하여 상기 제2 휨 상태를 측정하도록 구성된,
    웨어러블 전자 장치.
  3. 제2항에 있어서,
    상기 제2 제어 회로는,
    상기 좌안 각도와 상기 우안 각도의 차이가 임계값 보다 크면 상기 제2 휨 상태를 측정하도록 구성된,
    웨어러블 전자 장치.
  4. 제1항에 있어서,
    상기 휨 센서는 상기 제1 휨 상태에 따라 저항이 변화되는 가변 저항을 포함하고,
    상기 제2 제어 회로는,
    상기 가변 저항의 일단의 출력 전압을 기초로 상기 제1 휨 상태를 측정하도록 구성된,
    웨어러블 전자 장치.
  5. 제1항에 있어서,
    상기 제2 제어 회로는,
    상기 제1 휨 상태 및 상기 제2 휨 상태를 기초로 상기 광 조향 부재에 포함된 상기 액정에 인가되는 전압을 조정하여 상기 가시광선 광의 방향을 조정하도록 구성된,
    웨어러블 전자 장치.
  6. 제5항에 있어서,
    상기 광 조향 부재는 상기 액정의 굴절률을 조정하는 제1 전극, 제2 전극 및 제3 전극을 더 포함하고,
    상기 제2 제어 회로는,
    상기 제1 휨 상태 및 상기 제2 휨 상태에 기초하여 상기 제1 전극의 전압, 상기 제2 전극의 전압 및 상기 제3 전극의 전압을 상기 제1 전극, 상기 제2 전극 및 상기 제3 전극에 인가하도록 구성된,
    웨어러블 전자 장치.
  7. 제1항에 있어서,
    상기 광 조향 부재는 상기 액정을 감싸는 제1 투명 부재, 제2 투명 부재, 비틀림 조정부를 포함하고, 상기 비틀림 조정부는 상기 제1 투명 부재 및 상기 제2 투명 부재의 위치 관계를 조정하고,
    상기 휨 센서는 상기 템플과 안경테 사이의 제1 비틀림 상태를 측정하도록 구성되고,
    상기 제2 제어 회로는 상기 적외선 센서의 검출 결과를 기초로 상기 브릿지의 제2 비틀림 상태를 측정하도록 구성되고,
    상기 제1 비틀림 상태 및 상기 제2 비틀림 상태를 기초로 상기 비틀림 조정부를 통해 상기 제1 투명 부재 및 상기 제2 투명 부재의 위치 관계를 조정하는,
    웨어러블 전자 장치.
  8. 템플, 안경테 및 브릿지를 포함하는 골격 부재;
    상기 템플에 고정되고, 가상 이미지에 대응하는 가시광선 광을 출력하는 복수의 가시광선 픽셀 및 적외선 광을 출력하는 복수의 적외선 픽셀을 포함하는 자발광 디스플레이;
    액정을 포함하고, 상기 액정을 이용하여 상기 자발광 디스플레이의 출구로부터 광 도파관의 입력 광학 부재로 진행하는 상기 가시광선 광의 방향을 조정하는 광 조향 부재;
    상기 적외선 광의 경로를 조정하여 상기 적외선 광을 사용자의 동공으로 출력하고, 상기 가시광선 광의 경로를 조정하여 상기 가상 이미지를 출력하는 광 도파관;
    사용자의 동공으로부터 반사되는 적외선 광을 검출하는 적외선 센서;
    상기 템플과 상기 안경테에 연결되고, 상기 템플과 안경테 사이의 제1 휨 상태를 측정하도록 구성된 휨 센서;
    상기 자발광 디스플레이에 구동 전원 및 제어 신호를 공급하는 제1 제어 회로; 및
    제2 제어 회로를 포함하고,
    상기 제2 제어 회로는 상기 적외선 센서의 검출 결과를 기초로 상기 브릿지의 제2 휨 상태를 측정하고,
    상기 제2 제어 회로는 상기 제1 휨 상태 및 상기 제2 휨 상태를 기초로 상기 광 조향 부재를 통해 상기 가시광선 광의 방향을 조정하는,
    웨어러블 전자 장치.
  9. 제8항에 있어서,
    상기 적외선 센서의 검출 결과는 상기 사용자의 좌안의 동공에 대한 좌안 각도 및 상기 사용자의 우안의 동공에 대한 우안 각도를 포함하고,
    상기 제2 제어 회로는,
    상기 좌안 각도 및 상기 우안 각도를 비교하여 상기 제2 휨 상태를 측정하도록 구성된,
    웨어러블 전자 장치.
  10. 제9항에 있어서,
    상기 제2 제어 회로는,
    상기 좌안 각도와 상기 우안 각도의 차이가 임계값 보다 크면 상기 제2 휨 상태를 측정하도록 구성된,
    웨어러블 전자 장치.
  11. 제8항에 있어서,
    상기 휨 센서는 상기 제1 휨 상태에 따라 변화되는 가변 저항을 포함하고,
    상기 제2 제어 회로는,
    상기 가변 저항의 일단의 출력 전압을 기초로 상기 제1 휨 상태를 측정하도록 구성된,
    웨어러블 전자 장치.
  12. 제8항에 있어서,
    상기 제2 제어 회로는,
    상기 제1 휨 상태 및 상기 제2 휨 상태를 기초로 상기 광 조향 부재에 포함된 상기 액정에 인가되는 전압을 조정하여 상기 가시광선 광의 방향을 조정하도록 구성된,
    웨어러블 전자 장치.
  13. 제12항에 있어서,
    상기 광 조향 부재는 상기 액정의 굴절률을 조정하는 제1 전극, 제2 전극 및 제3 전극을 더 포함하고,
    상기 제2 제어 회로는,
    상기 제1 휨 상태 및 상기 제2 휨 상태를 합산하고, 상기 합산 결과에 대응하는 상기 제1 전극의 전압, 상기 제2 전극의 전압 및 상기 제3 전극의 전압을 상기 제1 전극, 상기 제2 전극 및 상기 제3 전극에 인가하도록 구성된,
    웨어러블 전자 장치.
  14. 제8항에 있어서,
    상기 광 조향 부재는 상기 액정을 감싸는 제1 투명 부재, 제2 투명 부재, 비틀림 조정부를 포함하고, 상기 비틀림 조정부는 상기 제1 투명 부재 및 상기 제2 투명 부재의 위치 관계를 조정하고,
    상기 휨 센서는 상기 템플과 안경테 사이의 제1 비틀림 상태를 측정하도록 구성되고,
    상기 제2 제어 회로는 상기 적외선 센서의 검출 결과를 기초로 상기 브릿지의 제2 비틀림 상태를 측정하도록 구성되고,
    상기 제1 비틀림 상태 및 상기 제2 비틀림 상태를 기초로 상기 비틀림 조정부를 통해 상기 제1 투명 부재 및 상기 제2 투명 부재의 위치 관계를 조정하는,
    웨어러블 전자 장치.
  15. 웨어러블 전자 장치의 제어 방법에 있어서,
    템플과 안경테에 연결된 휨 센서를 이용하여 상기 템플과 상기 안경테 사이의 제1 휨 상태를 측정하는 동작;
    적외선 출력부를 이용하여 사용자의 시선을 추적하기 위한 적외선 광을 출력하는 동작;
    적외선 센서를 이용하여 상기 사용자의 동공으로부터 반사되는 적외선 광을 검출하는 동작;
    디스플레이에 의하여, 가상 이미지에 대응하는 가시광선 광을 출력하는 동작;
    제1 제어 회로에 의하여, 상기 디스플레이에 구동 전원 및 제어 신호를 공급하는 동작,
    제2 제어 회로에 의해 상기 적외선 센서의 검출 결과를 기초로 브릿지의 제2 휨 상태를 측정하는 동작;
    상기 제2 제어 회로에 의해 상기 제1 휨 상태 및 상기 제2 휨 상태를 기초로 광 조향 부재를 이용하여 상기 가시광선 광의 방향을 조정하는 동작;
    액정을 이용하여 상기 디스플레이의 출구로부터 광 도파관의 입력 광학 부재로 진행하는 상기 가시광선 광의 방향을 조정하는 동작;
    상기 가시광선 광의 경로를 조정하여 상기 가상 이미지를 출력하는 동작; 및
    제2 제어 회로에 의하여, 상기 적외선 센서 및 상기 적외선 출력부에 구동 전원 및 제어 신호를 공급하는 동작
    을 포함하는 방법.
PCT/KR2022/002971 2021-03-08 2022-03-03 디스플레이를 포함하는 웨어러블 전자 장치 WO2022191497A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/826,297 US11953695B2 (en) 2021-03-08 2022-05-27 Wearable electronic device with display

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210030217A KR20220126074A (ko) 2021-03-08 2021-03-08 디스플레이를 포함하는 웨어러블 전자 장치
KR10-2021-0030217 2021-03-08

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/826,297 Continuation US11953695B2 (en) 2021-03-08 2022-05-27 Wearable electronic device with display

Publications (1)

Publication Number Publication Date
WO2022191497A1 true WO2022191497A1 (ko) 2022-09-15

Family

ID=83226932

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/002971 WO2022191497A1 (ko) 2021-03-08 2022-03-03 디스플레이를 포함하는 웨어러블 전자 장치

Country Status (2)

Country Link
KR (1) KR20220126074A (ko)
WO (1) WO2022191497A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024128668A1 (ko) * 2022-12-12 2024-06-20 삼성전자 주식회사 광 출력 모듈을 포함하는 웨어러블 전자 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130188080A1 (en) * 2012-01-19 2013-07-25 Google Inc. Wearable device with input and output structures
KR20160016524A (ko) * 2014-07-31 2016-02-15 삼성전자주식회사 웨어러블 글래스 및 웨어러블 글래스를 통하여 영상을 디스플레이하는 방법
KR20190102535A (ko) * 2018-02-26 2019-09-04 엘지전자 주식회사 웨어러블 글래스 장치
US20190333480A1 (en) * 2017-01-05 2019-10-31 Philipp K. Lang Improved Accuracy of Displayed Virtual Data with Optical Head Mount Displays for Mixed Reality
KR20200136297A (ko) * 2019-05-27 2020-12-07 삼성전자주식회사 사용자의 시선 방향에 따라 초점 영역을 조절하는 증강 현실 디바이스 및 그 동작 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130188080A1 (en) * 2012-01-19 2013-07-25 Google Inc. Wearable device with input and output structures
KR20160016524A (ko) * 2014-07-31 2016-02-15 삼성전자주식회사 웨어러블 글래스 및 웨어러블 글래스를 통하여 영상을 디스플레이하는 방법
US20190333480A1 (en) * 2017-01-05 2019-10-31 Philipp K. Lang Improved Accuracy of Displayed Virtual Data with Optical Head Mount Displays for Mixed Reality
KR20190102535A (ko) * 2018-02-26 2019-09-04 엘지전자 주식회사 웨어러블 글래스 장치
KR20200136297A (ko) * 2019-05-27 2020-12-07 삼성전자주식회사 사용자의 시선 방향에 따라 초점 영역을 조절하는 증강 현실 디바이스 및 그 동작 방법

Also Published As

Publication number Publication date
KR20220126074A (ko) 2022-09-15

Similar Documents

Publication Publication Date Title
WO2022102954A1 (ko) 디스플레이를 포함하는 웨어러블 전자 장치
WO2022092517A1 (ko) 디스플레이를 포함하는 웨어러블 전자 장치, 그 디스플레이를 제어하는 방법, 및 그 웨어러블 전자 장치 및 케이스를 포함하는 시스템
WO2022119105A1 (ko) 발광부를 포함하는 웨어러블 전자 장치
WO2022191497A1 (ko) 디스플레이를 포함하는 웨어러블 전자 장치
WO2023008711A1 (ko) 조정 장치 및 조정 장치의 동작 방법
WO2023017986A1 (ko) 영상 데이터 및 오디오 데이터 출력 방법 및 전자 시스템
WO2022255682A1 (ko) 웨어러블 전자 장치 및 그의 파워 패스 제어 방법
WO2022186454A1 (ko) 가요성 인쇄 회로 기판을 포함하는 전자 장치
WO2023080420A1 (ko) 가변형 그라운드를 포함하는 웨어러블 전자 장치
WO2024080583A1 (ko) 이미지를 활용한 ar 정보 제공 방법 및 전자 장치
WO2024029858A1 (ko) 디스플레이 모듈 제어 방법 및 상기 방법을 수행하는 전자 장치
WO2024043611A1 (ko) 디스플레이 모듈 제어 방법 및 상기 방법을 수행하는 전자 장치
WO2024219934A1 (ko) Ar 장치 및 ar 서비스 이미지의 눈부심 방지 방법
WO2024034825A1 (ko) Ar 장치에게 표시하도록 명령할 컨텐츠를 결정하기 위한 방법 및 장치
WO2023080419A1 (ko) 비전 정보를 이용하여 전자기기를 제어하는 웨어러블 전자 장치 및 방법
WO2024048937A1 (ko) 웨어러블 전자 장치 및 이를 포함하는 충전 시스템
WO2024071903A1 (ko) 헤드 마운트 디스플레이 장치 및 그의 착용 상태 감지 방법
WO2023063572A1 (ko) 바이저의 투과율과 디스플레이의 밝기를 조절하는 웨어러블 전자 장치
WO2023121120A1 (ko) 간섭 제거 방법 및 상기 방법을 수행하는 전자 장치
WO2022071698A1 (ko) 마이크로 led를 이용한 광학 엔진 및 이를 포함하는 전자 장치
WO2024043438A1 (ko) 카메라 모듈을 제어하는 웨어러블 전자 장치 및 그 동작 방법
WO2024076058A1 (ko) 센서를 포함하는 웨어러블 전자 장치 및 이의 동작 방법
WO2024043564A1 (ko) 제 1 렌즈 상에 배치되는 발광 소자를 포함하는 렌즈 어셈블리 및 이를 포함하는 웨어러블 전자 장치
WO2024096460A1 (ko) 거리 정보를 획득하는 전자 장치 및 이의 동작 방법
WO2023027276A1 (ko) 스타일러스 펜을 이용하여 복수의 기능들을 실행하기 위한 전자 장치 및 그 작동 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22767393

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22767393

Country of ref document: EP

Kind code of ref document: A1