WO2021256651A1 - 증강 현실 글라스 및 그 동작 방법 - Google Patents

증강 현실 글라스 및 그 동작 방법 Download PDF

Info

Publication number
WO2021256651A1
WO2021256651A1 PCT/KR2021/000791 KR2021000791W WO2021256651A1 WO 2021256651 A1 WO2021256651 A1 WO 2021256651A1 KR 2021000791 W KR2021000791 W KR 2021000791W WO 2021256651 A1 WO2021256651 A1 WO 2021256651A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
augmented reality
light
waveguide
glass
Prior art date
Application number
PCT/KR2021/000791
Other languages
English (en)
French (fr)
Inventor
홍성빈
정용희
최동옥
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2021256651A1 publication Critical patent/WO2021256651A1/ko
Priority to US18/067,336 priority Critical patent/US11852830B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • G02B6/0033—Means for improving the coupling-out of light from the light guide
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/145—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light originating from the display screen

Definitions

  • AR glass augmented reality glass
  • display waveguide and eye tracking waveguide of the augmented reality glass Various embodiments disclosed in this document relate to augmented reality glass (AR glass), and to a display waveguide and eye tracking waveguide of the augmented reality glass.
  • Augmented reality is a field of virtual reality (VR), and is a computer graphic technique that synthesizes virtual objects or information in an actual environment to make them appear as if they exist in the original environment.
  • Augmented reality is a display technology that superimposes virtual objects on the real world viewed by the user.
  • a technology for tracking a user's gaze based on light reflected from the user's eyes may be used so that the user can interact with the augmented reality provided through the AR glass.
  • a see-through display capable of superimposing a virtual object on the real world to display
  • a display optical system including a display waveguide and the ability to track the user's gaze
  • Eye tracking optics may be required that include an eye tracking module and a gaze tracking waveguide.
  • a separate light eg, infrared light source
  • eye tracking eg, infrared wavelength
  • a technology capable of efficiently disposing the display optical system and the eye tracking optical system on the AR glass may be required.
  • Various embodiments disclosed in this document may provide an apparatus and method for efficiently disposing a display optical system and an eye tracking optical system on AR glass.
  • An augmented reality (AR) glass includes: a first light source emitting display light for displaying an augmented reality image; an eye tracking (ET) sensor that detects reflected light reflected from the user's eyes; a display waveguide for guiding the display light emitted from the first light source to a display area of a see-through display and an ET waveguide for guiding the reflected light to the eye tracking sensor; a glass (glass); a processor electrically connected to the first light source and the eye tracking sensor;
  • the processor may be: augmented reality glasses that control the first light source to emit the display light, and track the user's gaze based on the detected reflected light through the gaze tracking sensor.
  • An operation method of augmented reality (AR) glass includes an operation of emitting display light for displaying an augmented reality image through a first light source, display light is guided through a display waveguide to a display area of a see-through display; An operation of detecting reflected light reflected from the user's eye through an eye tracking (ET) sensor, the reflected light is guided to the eye tracking sensor through an eye tracking waveguide, and the display waveguide and the eye tracking waveguide is included in the glass of the augmented reality glass; and tracking the user's gaze based on the detected reflected light.
  • E eye tracking
  • the display waveguide is disposed in one area of the glass of AR glass, and the eye tracking waveguide is disposed in the lower area of the display waveguide to separate the light for display and eye tracking.
  • the prism or optical system of can be omitted.
  • FIG. 1 illustrates augmented reality glasses worn by a user according to an embodiment.
  • Figure 2 shows a schematic view of the augmented reality glass of Figure 1 according to an embodiment.
  • FIG. 3 is a block diagram of augmented reality glasses according to an embodiment.
  • FIG. 4 illustrates augmented reality glasses for guiding the light reflected by the user's eyes to the eye tracking sensor through the eye tracking waveguide, according to an embodiment.
  • FIG 5 illustrates an optical path through which light travels in augmented reality glasses according to an embodiment.
  • FIG. 6 is a block diagram illustrating a gaze tracking module according to an embodiment.
  • FIG. 7 is a flowchart illustrating a method of operating augmented reality glasses for tracking a user's gaze according to an embodiment.
  • FIG. 8 is a flowchart illustrating a method of operating augmented reality glasses according to ambient illuminance of the augmented reality glasses according to an embodiment.
  • FIG. 9 is a flowchart illustrating a method of operating augmented reality glasses according to the amount of display light according to an embodiment.
  • FIG. 10 is a block diagram of an electronic device in a network environment according to an embodiment.
  • FIG. 1 illustrates augmented reality glasses 100 worn by a user 102 according to one embodiment.
  • an augmented reality glass (AR glass) 100 may include a wearable electronic device that can be worn by a user 102 .
  • the augmented reality glasses 100 may be one of electronic devices including a near to eye display (NED) or a head mounted display (HMD).
  • the near-eye display may be understood as a type of display in which the display panel is located very close to the user's 102 eye and the user 102 can wear it like glasses.
  • 1 shows an embodiment in which a user 102 wears augmented reality glasses 100 including a near-eye display.
  • the augmented reality glasses 100 may include a see-through display 104 corresponding to a near-eye display (eg, a first see-through display 104-1, a second see-through display 104-2). ) may be included. At least some of the glasses of the augmented reality glass 100 may include the see-through display 104 .
  • the augmented reality glass 100 may include a light waveguide in at least some of the glasses, and one region of the light waveguide may correspond to the see-through display 104 .
  • the see-through display 104 may be positioned very close to the eyes of the user 102 , and the user 102 may wear the augmented reality glasses 100 including the see-through display 104 as glasses.
  • the augmented reality glasses 100 may display an augmented reality image through the see-through display 104 .
  • the see-through display 104 may transmit light from a real environment (or real object).
  • the user 102 may see the real environment by recognizing the light of the real environment transmitted through the see-through display 104 .
  • the see-through display 104 may be understood as a transparent display capable of displaying an image of a virtual object while transmitting light of a real object.
  • the augmented reality glasses 100 may display an image of a virtual object through the see-through display 104 .
  • the user 102 may recognize a real object through the see-through display 104 of the augmented reality glasses 100 and may recognize a virtual object superimposed thereon.
  • the see-through display 104 may include a transparent material such as glass or plastic.
  • various embodiments of this document describe the augmented reality glasses 100 in the form of glasses as a main scenario, but the present disclosure is not limited thereto, and various embodiments of the present document describe various electronic devices including a near-eye display.
  • various embodiments of the present document may be applied to an HMD device or augmented reality glasses in the form of goggles.
  • FIG. 2 shows a schematic view of the augmented reality glass 100 of FIG. 1 according to an embodiment.
  • the augmented reality glass 100 includes a first glass 201 including a first see-through display 104-1, and a second glass 202 including a second see-through display 104-2.
  • a connecting member 210 connecting the first glass 201 and the second glass 202 , a first member 211 adjacent to the first glass 201 , and a second member extending from the first member 211 . 221 , a third member 212 adjacent to the second glass 202 , and a fourth member 222 extending from the third member 212 may be included.
  • a duplicate description due to the symmetrical structure of the augmented reality glass 100 will be omitted.
  • the first glass 201 and/or the second glass 202 may be formed of a glass plate or a polymer, and may be made transparent or translucent.
  • the first member 211 , the third member 212 and the connecting member 210 may be integrally formed.
  • the components included in the augmented reality glasses 100 may not be limited to the components shown in FIG. 2 .
  • the augmented reality glasses 100 may further include a gaze tracking sensor.
  • the eye tracking sensor may detect light reflected from the eye of the user 102
  • the augmented reality glasses 100 may detect the light reflected by the user 102 based on the light detected through the eye tracking sensor. can be tracked.
  • the eye tracking sensor may be disposed on at least one surface of the inside or outside of a component constituting the augmented reality glass 100 .
  • the eye tracking sensor may be disposed inside or outside at least one of the connection member 210 , the first member 211 , the second member 221 , the third member 212 , and the fourth member 222 . It may be disposed on one side.
  • the augmented reality glasses 100 may further include an illuminance sensor.
  • the illuminance sensor may detect the illuminance (or brightness) around the user's 102 eyes or the augmented reality glasses 100 .
  • the augmented reality glasses 100 may control a first light source and/or a second light source, which will be described later, based on the illuminance (or brightness) sensed by the illuminance sensor.
  • the illuminance sensor may be disposed on at least one surface of the inside or outside of a component constituting the augmented reality glass 100 .
  • the illuminance sensor may be disposed inside or outside at least one of the connection member 210 , the first member 211 , the second member 221 , the third member 212 , and the fourth member 222 . It may be disposed on one side.
  • the augmented reality glasses 100 may include a self-luminous display (eg, Micro LED, OLED) or a display requiring a separate light source (eg, LCoS, DMD, LSD).
  • the self-luminous display may be understood as a display capable of outputting an image by emitting light from the display itself.
  • the display requiring the separate light source may be understood as a display capable of outputting an image by reflecting and emitting light emitted from the separate light source.
  • the display requiring the separate light source may reflect light emitted from the separate light source, and the reflected light may be reflected by various members (eg, a polarizer beam splitter, a lens, and a light source). through the waveguide) to the eye of the user 102 .
  • various members eg, a polarizer beam splitter, a lens, and a light source.
  • the augmented reality glasses 100 may include a first light source 231 emitting display light.
  • the first light source 231 may be understood as a self-luminous display that emits light from the display itself or a display that reflects and emits light emitted from a separate light source.
  • the display light may be understood as light emitted from the self-luminous display itself.
  • the display light may be understood as light emitted from the display by reflecting light emitted from the separate light source.
  • the first light source 231 may be disposed on at least one surface of the inside or outside of the components constituting the augmented reality glass 100 .
  • the first light source 231 may be disposed inside at least one of the connecting member 210 , the first member 211 , the second member 221 , the third member 212 , and the fourth member 222 .
  • it may be disposed on one surface of the outside.
  • the augmented reality glass 100 shown in FIG. 2 includes a left first light source 231-1 inside the first member 211, and a right second light source inside the third member 212.
  • One light source 231 - 2 may be included. The left side and the right side are divided based on the user 102 .
  • the position of the first light source 231 is not limited to the example illustrated in FIG. 2 .
  • the second light source 232 may include a second light source 232 emitting an additional light different from the display light emitted from the first light source 231 to enhance the brightness around the user's 102 eye.
  • the second light source 232 may be understood as a device for reinforcing brightness around the augmented reality glasses 100 or around the eyes of the user 102 , rather than emitting light corresponding to the display image.
  • the second light source 232 may include a white LED or an infrared LED.
  • the second light source 232 may be disposed on at least one surface of the inside or outside of the components constituting the augmented reality glass 100 .
  • the second light source may be disposed inside or outside at least one of the connecting member 210 , the first member 211 , the second member 221 , the third member 212 , and the fourth member 222 . It may be disposed on one side.
  • the number and arrangement positions of the second light sources 232 may vary.
  • the second light source 232 may be disposed on one surface of the inside of the connecting member 210 so that the additional light emitted from the second light source 232 is directed toward or around the eyes of the user 102 . have.
  • the second light source 232 may be configured such that the additional light emitted from the second light source 232 is directed toward or around the eye of the user 102 , the first member 211 and the third member 212 . ) may be respectively disposed on one surface of the outside.
  • the optical waveguide may be disposed on the first glass 201 and the second glass 202, respectively.
  • the present invention is not limited thereto.
  • the optical waveguide may be disposed on at least one of the first glass 201 and the second glass 202 .
  • the optical waveguide includes a display waveguide corresponding to a path through which the display light emitted from the first light source 231 is propagated and a gaze tracking waveguide corresponding to a path through which reflected light reflected from the user's eye 102 is propagated.
  • the display light is to be understood as light emitted from a self-luminous display (eg Micro LED, OLED) itself or light emitted from a display (eg LCos, DMD, LSD) that reflects and emits light emitted from a separate light source.
  • the reflected light may be external light (eg, real environment light) reaching the user's 102 eye through the see-through display 104 from outside of the augmented reality glass 100 (eg, real environment) and/or the display.
  • Light emitted from the device may be understood as reflected light that has reached the user's 102 eye through the display waveguide.
  • the first member 211 is not limited to the shape shown in FIG. 2 .
  • the first member 211 may have a shape surrounding at least a portion of the periphery of the first glass 201 . This may be equally applied to the third member 212 .
  • the second member 221 is not limited to the shape shown in FIG. 2 .
  • the second member 221 may have a shape that can be mounted on a body part (eg, an ear or a head) of the user 102 . This may be equally applied to the fourth member 222 .
  • the second member 221 may have a shape that allows the augmented reality glasses 100 to be worn on the head of the user 102 .
  • the connecting member 210 , the first member 211 , the second member 221 , the third member 212 , and the fourth member 222 are integrally connected and include a coupled form. can do.
  • the augmented reality glass 100 includes a first see-through display 104-1 included in the first glass 201 and a second see-through display 104-2 included in the second glass 202.
  • the first see-through display 104 - 1 and the second see-through display 104 - 2 may include a transparent display capable of transmitting light of a real object and displaying a virtual object image.
  • the user 102 may recognize a real object through the see-through display 104 , and may recognize the real object and the virtual object image by superimposing them.
  • FIG. 3 shows a block diagram of the augmented reality glasses 100 according to an embodiment.
  • the augmented reality glasses 100 include a processor 300 , a display module 310 , a sensor module 320 , a glass 330 , a battery (or power supply) 340 , and a camera 350 . , and a communication interface 360 .
  • a module included in the augmented reality glasses 100 may be understood as a hardware module (eg, a circuit) included in the augmented reality glasses 100 .
  • Components included in the augmented reality glass 100 are components shown in the block diagram of FIG. 3 (eg, a display module 310, a sensor module 320, a glass 330, a battery 340, and a camera). 350 , or communication interface 360 ). Components of the augmented reality glass 100 illustrated in FIG.
  • the augmented reality glasses 100 may be replaced with other components or additional components may be added to the augmented reality glass 100 .
  • the augmented reality glasses 100 may further include an audio module and a memory in the components shown in FIG. 3 .
  • at least a part of the description of the electronic device 1000 illustrated in FIG. 10 may be included in the augmented reality glasses 100 of FIG. 3 .
  • the processor 300 executes instructions stored in the memory to enable components of the augmented reality glasses 100 (eg, the display module 310 , the sensor module 320 , the battery 340 , the camera ( 350), and the communication interface 360).
  • the processor 300 may be electrically and/or operatively connected to the display module 310 , the sensor module 320 , the battery 340 , the camera 350 , and the communication interface 360 .
  • the processor 300 executes software to enable at least one other component connected to the processor 300 (eg, a display module 310 , a sensor module 320 , a battery 340 , a camera 350 , and a communication interface). (360)) can be controlled.
  • the processor 300 may obtain instructions from components included in the augmented reality glasses 100, interpret the obtained instructions, and process and/or calculate various data according to the interpreted instructions. can
  • the augmented reality glasses 100 may receive data processed through a processor embedded in an external device (eg, a mobile terminal, the electronic device 1001 of FIG. 10 ) from the external device.
  • the augmented reality glasses 100 may capture an object (eg, a real object or the user's 102 eye) through the camera 350 , and transmit the captured image to an external device through the communication interface 360 . and may receive data based on the transmitted image from the external device.
  • the external device generates image data related to augmented reality based on information (eg, shape, color, or location) of the photographed object received from the augmented reality glasses 100 , and transmits the image data to the augmented reality glasses 100 .
  • the augmented reality glasses 100 may request additional information from an external device based on an image captured by an object (eg, a real object or the user's 102 eye) through the camera 350 , The additional information may be received from the device.
  • the display module 310 may include a first light source 231 .
  • the first light source 231 may emit display light for displaying the augmented reality image based on the control of the processor 300 .
  • the first light source 231 may be understood as a self-luminous display that emits light from the display itself or a display that reflects and emits light emitted from a separate light source.
  • the augmented reality glasses 100 eg, the processor 300
  • the augmented reality glasses 100 may emit display light for displaying an augmented reality image in the display area of the see-through display 104 through the first light source 231 .
  • the augmented reality glasses 100 in response to the input of the user 102 , the augmented reality glasses 100 (eg, the processor 300 ) may use a first light source ( 231) can be controlled.
  • the type of input of the user 102 may include a button input, a touch input, a voice input, and/or a gesture input, but is not limited thereto, and various input methods capable of controlling the operation of the first light source 231 are available. may be included.
  • the augmented reality glasses 100 may further include a second light source 232 different from the first light source 231 as well as the first light source 231 .
  • the second light source 232 may emit additional light different from the display light emitted by the first light source 231 to enhance the brightness around the user's 102 eye.
  • the second light source 232 may include a white LED or an infrared LED.
  • the ambient illuminance of the augmented reality glass 100 when the ambient illuminance of the augmented reality glass 100, the light amount of the display light emitted from the first light source 231, or the light amount of the reflected light reflected by the eye of the user 102 is less than or equal to a reference value, augmentation The reality glass 100 may emit additional light toward the eye of the user 102 through the second light source 232 .
  • the augmented reality glasses 100 may determine whether a preset condition is satisfied.
  • the preset condition may include a value set in the augmented reality glasses 100 or a value arbitrarily set by a user.
  • the preset condition is the ambient illuminance of the augmented reality glass 100 , the amount of display light emitted from the first light source 231 , the illuminance value of the image displayed using the first light source 231 , the user It may include whether at least one of the brightness around the eyes of the user 102 or the amount of reflected light reflected by the eyes of the user 102 is less than or equal to a reference value.
  • the ambient illuminance of the augmented reality glasses 100 may be obtained using, for example, an illuminance sensor provided in the augmented reality glasses 100 .
  • the illuminance value of the image displayed using the first light source 231 is calculated by, for example, the processor 200 calculating pixel values of an image frame included in the content to be output using the first light source 231 . can be obtained.
  • the preset condition is not limited to the above-described example, and due to the low illuminance around the user 102 wearing the augmented reality glasses 100, the user 102 through the second light source 232 It may include a condition where it is necessary to increase the brightness.
  • the augmented reality glasses 100 may be controlled to emit additional light in the direction of the user's 102 eyes through the second light source 232 .
  • the preset condition may be determined by combining two or more factors. For example, it is possible to determine whether a preset condition is satisfied by combining an illuminance value of an image displayed using the first light source 231 and a surrounding illuminance value.
  • the glass 330 may include at least one of a display waveguide and a gaze tracking waveguide.
  • the display waveguide may form a light path by guiding the display light emitted from the first light source 231 to be emitted to the display area of the see-through display 104 .
  • the see-through display 104 may correspond to at least one region of the display waveguide.
  • the region of the see-through display 104 may correspond to a region in which light propagating inside the display waveguide is emitted and external light is transmitted through the display waveguide.
  • the see-through display 104 may be disposed at one end of the display waveguide included in the glass 330 .
  • the display waveguide may include at least one of at least one diffractive element or a reflective element (eg, a reflective mirror).
  • the display waveguide may guide the display light emitted from the first light source 231 to the eye of the user 102 using at least one diffractive element or a reflective element included in the display waveguide.
  • the diffractive element may include an IN/OUT grating
  • the reflective element may include a total internal reflection (TIR).
  • an optical material eg, glass
  • the refractive index of the display waveguide may vary from 1.5 to 1.9.
  • the display waveguide may include a display area (eg, the see-through display 104 ) through which light traveling inside the waveguide is emitted to the outside through total reflection.
  • the display area may be disposed on a portion of the display waveguide. At least one region of the display waveguide may include the see-through display.
  • the display waveguide may include a material (eg, glass or plastic) capable of totally reflecting the display light to guide the display light to the eye of the user 102 .
  • the material may not be limited to the above-described example.
  • the display waveguide may separate the display light emitted from the first light source 231 according to a wavelength (eg, blue, green, or red) to move it to a separate path within the display waveguide.
  • a wavelength eg, blue, green, or red
  • the display waveguide may be disposed on the glass 330 .
  • the glass 330 based on a virtual axis in which the center point of the glass 330 and the center point of the user's 102 match, and a virtual line orthogonal to the virtual axis and the center point of the glass 330, the glass 330 ) may be distinguished from the upper end and the lower end, and the display waveguide may be disposed on the upper end of the glass 330 .
  • the display waveguide may be disposed over an area from the imaginary line to a third of the upper end and the lower end of the glass 330 in the lower end direction.
  • the region in which the display waveguide is disposed may not be limited to the above-described region of the glass 330 , and the region in which the display waveguide is disposed is a glass that allows the amount of light reflected by the user 102 to be greater than or equal to a reference value. It may include any of the regions of 330 .
  • the sensor module 320 may include at least one sensor (eg, a gaze tracking sensor and/or an illuminance sensor).
  • the at least one sensor may not be limited to the above-described example.
  • the at least one sensor may further include a proximity sensor or a contact sensor capable of detecting whether the user 102 is wearing the augmented reality glasses 100 .
  • the augmented reality glasses 100 may detect whether the user 102 is wearing the augmented reality glasses 100 through the proximity sensor or the contact sensor. When it is sensed that the user 102 is wearing the augmented reality glasses 100, the augmented reality glasses 100 may be manually and/or automatically paired with another electronic device (eg, a smart phone). have.
  • another electronic device eg, a smart phone
  • the at least one sensor may be disposed on at least one surface inside or outside the components of the augmented reality glass 100 .
  • the at least one sensor may be disposed on one surface of the inside or outside of the first member 211 adjacent to the glass 330 .
  • the first member 211 is adjacent to the glass 330 , and may be understood as a spectacle frame of the augmented reality glass 100 .
  • the at least one sensor may be disposed on one surface of the inside or outside of the eyeglass frame corresponding to the first member 211 .
  • the at least one sensor may be disposed on one surface inside or outside the second member 221 extending from the first member 211 .
  • the second member 221 may be understood as a temple of the augmented reality glasses 100 supporting the ear of the user 102 .
  • the at least one sensor may be disposed on an inner or outer surface of the temple corresponding to the second member 221 .
  • the eye tracking sensor may detect the reflected light reflected by the eye of the user 102 based on the control of the processor 300 .
  • the augmented reality glasses 100 may convert the reflected light sensed through the eye tracking sensor into an electrical signal.
  • the augmented reality glasses 100 may acquire an eyeball image of the user 102 through the converted electrical signal.
  • the augmented reality glasses 100 may track the gaze of the user 102 using the obtained eyeball image of the user 102 .
  • the eye tracking module may include the eye tracking sensor, and the eye tracking module captures an eyeball image of the user 102 using the reflected light detected through the eye tracking sensor. can do.
  • the eye tracking module may detect the reflected light of the user 102 based on the control of the processor 300, and track the gaze of the user 102 based on the position and movement of the detected reflected light .
  • the eye tracking module will be described in detail with reference to FIG. 5 .
  • the processor 300 may track the gaze of the user 102 based on the reflected light sensed through the gaze tracking sensor. For example, the processor 300 may determine the position of the pupil by analyzing the eye image of the user 102 captured using the eye tracking sensor. The processor 300 may determine the gaze direction of the user 102 according to the determined position of the pupil.
  • this is only an example of a method of tracking the user's gaze using the gaze tracking sensor and is not limited thereto.
  • the illuminance sensor is based on the control of the processor 300 , the illuminance (or brightness) around the augmented reality glass 100 , the amount of display light emitted from the first light source, and the eye of the user 102 . It is possible to detect ambient brightness or the amount of reflected light reflected by the user's 102 eyes.
  • the augmented reality glasses 100 may determine whether to operate the second light source 232 based on the illuminance (or brightness) or the amount of light detected through the illuminance sensor.
  • the augmented reality glasses 100 may determine to operate the second light source 232 and , an additional light may be emitted toward the eyes of the user 102 through the second light source 232 .
  • the augmented reality glasses 100 may determine to operate the second light source 232, Additional light may be emitted toward the eyes of the user 102 through the second light source 232 .
  • the augmented reality glasses 100 may determine to operate the second light source 232 , and select the second light source 232 . may emit additional light towards the user's 102 eye.
  • the augmented reality glasses 100 may sense the illuminance (or brightness) around the user 102 through the illuminance sensor.
  • the augmented reality glasses 100 may adjust the amount of light (or brightness) of the display (eg, the first light source 231 ) based on the sensed illuminance (or brightness).
  • the sensing value of the illuminance sensor may vary according to a position where the illuminance sensor is disposed on the augmented reality glass 100 or a position where the illuminance sensor receives the illuminance (or brightness).
  • the various sensing values may be reflected in the amount of light (or brightness) of the display of the augmented reality glasses 100 .
  • the augmented reality glass 100 may adjust the amount of light (or brightness) of the display by reflecting various sensing values of the illuminance sensor.
  • the augmented reality glass 100 includes a plurality of the illuminance sensors. can do.
  • the illuminance sensor may be disposed on one surface of the outside and one surface of the inside of the augmented reality glass 100, respectively.
  • the glass 330 may include at least one of a display waveguide and a gaze tracking waveguide.
  • the eye-tracking waveguide may form a light path by inducing light such that reflected light reflected from the user's 102 eye is emitted to the sensor module 320 .
  • the eye tracking waveguide may be used to transmit the reflected light to the eye tracking sensor.
  • the eye-tracking waveguide may be formed of the same element as the display waveguide or a different element.
  • the gaze tracking waveguide may include at least one of at least one diffractive element or a reflective element (eg, a reflective mirror).
  • the eye-tracking waveguide may guide the reflected light to the eye-tracking sensor using at least one diffractive element or a reflective element included in the eye-tracking waveguide.
  • the diffractive element may include an IN/OUT grating and the reflective element may include a TIR.
  • the gaze tracking waveguide may collect the reflected light through the IN grating and emit the reflected light through the OUT grating.
  • the eye-tracking waveguide may totally reflect the reflected light inside the waveguide through the TIR.
  • the reflected light may include external light reaching the eye of the user 102 from the outside of the augmented reality glass 100 through the see-through display 104 and/or light from which the display light for displaying the augmented reality image is reflected. can
  • the eye-tracking waveguide may include a region through which light traveling inside the eye-tracking waveguide is emitted to the outside through total reflection. Light emitted through the area may be directed to the eye tracking sensor.
  • the eye-tracking waveguide may include a material (eg, glass or plastic) that can fully reflect the light so that the reflected light is guided to the sensor module 320 .
  • the material may not be limited to the above-described example.
  • the eye-tracking waveguide may be disposed on the glass 330 .
  • the glass 330 based on a virtual axis in which the center point of the glass 330 and the center point of the user's 102 match, and a virtual line orthogonal to the virtual axis and the center point of the glass 330, the glass 330 ) may be distinguished from the upper end and the lower end, and the eye tracking waveguide may be disposed at the lower end of the glass 330 .
  • the eye tracking waveguide may be disposed below the display waveguide.
  • the eye-tracking waveguide and the display waveguide may be disposed without overlapping the glass 330 .
  • the eye-tracking waveguide may be disposed over an area of the lower end of the glass 330 excluding an area from the virtual line to a third point in the lower end direction.
  • the area in which the eye tracking waveguide is disposed may not be limited to the above-described area of the glass 330, and the area in which the eye tracking waveguide is disposed is the amount of reflected light collected by the eye tracking sensor through the eye tracking waveguide. It may include any area of the area of the glass 330 to detect more than a set value.
  • the display waveguide and the gaze tracking waveguide of the augmented reality glass 100 may be disposed on the glass 330 .
  • the glass 330 eg, the first glass 201 and/or the second glass 202 of FIG. 2
  • the material (or material) of the glass 330 may include glass or plastic.
  • the material of the display waveguide and the eye-tracking waveguide may be the same as or different from that of the glass 330 .
  • the battery 340 may supply power to at least one component of the augmented reality glasses 100 .
  • the battery 340 may be charged by being connected to an external power source by wire or wirelessly.
  • the camera 350 may capture an image around the augmented reality glasses 100 .
  • the camera 350 may capture an eye image of the user 102 or may capture an image of a real object outside the augmented reality glasses 100 .
  • the communication interface 360 may include a wired interface or a wireless interface.
  • the communication interface 360 is between the augmented reality glasses 100 and an external device (eg, a mobile terminal, the electronic device 1001 of FIG. 10 , the electronic device 1002 of FIG. 10 , or the electronic device 1004 of FIG. 10 ). It may support performing direct communication (eg, wired communication) or indirect communication (eg, wireless communication). At least a part of the description of the electronic device 1001 illustrated in FIG. 10 may be included in the external device.
  • FIG. 4 illustrates the augmented reality glasses 100 for guiding the light reflected by the user's 102 eye to the eye tracking sensor 421 through the eye tracking waveguide 413 according to an embodiment.
  • FIG. 4A shows a path in which the reflected light reflected from the user's 102 eye is guided to the eye tracking sensor 421 through the second area 411 of the augmented reality glasses 100
  • FIG. Figure 4 (B) shows in detail the configuration and path arranged in the second area (411).
  • the augmented reality glass 100 includes a first glass 201 , a second glass 202 , a first region 401 , a second region 411 , a third region 402 , a fourth region 412 , a first member 211 , a second member 221 , a third member 212 , a connecting member 210 , a focus lens 423 , and an eye tracking sensor 421 .
  • the fourth member 222 and other components extending from the third member 212 of the augmented reality glass 100 and other components may be further included.
  • the first area 401 and the third area 402 may each include a display waveguide.
  • the display waveguide will be described in detail with reference to FIG. 5 .
  • the augmented reality glasses 100 may acquire the reflected light reflected from the user's 102 eye through the second region 411 .
  • the acquired reflected light may be directed from the second region 411 to the eye tracking sensor 421 through the focus lens 423 disposed on the second member 221 .
  • the focus lens 423 may be understood as the ET Optic 531 and the lens 532 shown in FIGS. 5 and 6 .
  • the augmented reality glasses 100 may detect the reflected light through the eye tracking sensor 421 .
  • the augmented reality glasses 100 may track the gaze of the user 102 based on the sensed reflected light.
  • the second region 411 may include a gaze tracking waveguide 413 and a total reflection mirror 425 .
  • the total reflection mirror 425 may be replaced with a prism.
  • the gaze tracking waveguide 413 may be disposed in the second area 411 .
  • the gaze tracking waveguide 413 may include a splitter to focus the reflected light reflected from the user's 102 eye.
  • the gaze tracking waveguide 413 may include at least one of one or more diffractive elements or reflective elements (eg, reflective mirrors) so that the focused reflected light travels into or out of the waveguide.
  • the gaze tracking waveguide 413 may include an IN/OUT grating corresponding to the diffractive element and a total reflection (TIR) corresponding to the reflective element.
  • the augmented reality glasses 100 may focus the reflected light to the gaze tracking waveguide 413 through the IN grating.
  • the augmented reality glasses 100 may emit the reflected light to the outside of the gaze tracking waveguide 413 through the OUT grating.
  • the augmented reality glass 100 may totally reflect the reflected light through the TIR in the gaze tracking waveguide 413 .
  • the augmented reality glasses 100 may focus the reflected light on the gaze tracking waveguide 413 included in the second region 411 through the IN grating.
  • the reflected light may be totally reflected inside the gaze tracking waveguide 413 using the TIR.
  • the reflected light propagated using the total reflection may change a path through the total reflection mirror 425 .
  • the reflected light whose path is changed may be guided to the eye tracking sensor 421 .
  • the position, length, and/or shape of the second region 411 and/or the gaze tracking waveguide 413 may be variously configured based on the location of the gaze tracking sensor 421 .
  • the second area ( 411) may include a plurality of regions.
  • the second glass 202 includes a structure similar to that of the first glass 201 , and the third member 212 .
  • the fourth member 222 extending from the second member 221 may have a structure similar to that of the second member 221 .
  • FIG 5 illustrates an optical path through which light travels in the augmented reality glass 100 according to an embodiment.
  • the display light emitted from the first light source 231 passes through the optical waveguides (eg, the display waveguide 501 , the gaze tracking waveguide 502 ) included in the first glass 201 and gazes at it. It may be guided to the tracking module 530 .
  • the light introduced from the outside of the augmented reality glasses 100 rather than the light emitted from the first light source 231 may be guided to the eye of the user 102 through the first glass 201 .
  • external light eg, light reflected by real objects
  • introduced from the outside of the augmented reality glass 100 is the display waveguide 501 (or the display waveguide 501) included in the first glass 201 . It may be guided through the middle see-through display 104 to the eye of the user 102 .
  • FIG. 5 shows an optical path through which light travels in the first glass 201 from the side, which may be equally applied to an optical path through which light travels in the second glass 202 .
  • components of the augmented reality glass 100 eg, the display waveguide 501 , the first splitter 511 , or the second splitter 512 ) according to the position of the first light source 231 )
  • the function of is the same, the position or length of a path through which light travels may be different.
  • the augmented reality glass 100 includes a display waveguide 501 , a gaze tracking waveguide 502 , a first light source 231 , a projection lens 504 , a first splitter 511 , and a first It may include a second splitter 512 , a third splitter 513 , a fourth splitter 514 , and a gaze tracking module 530 .
  • the display waveguide 501 and the eye tracking waveguide 502 may be made of glass or polymer forming a grating structure, and may include a waveguide structure using the grating structure.
  • the grid structure may include protrusions or inclined surfaces of various shapes.
  • the first light source 231 is a display device that emits display light for displaying an augmented reality image (eg, a self-luminous display) or the display reflects the light and reflects it to the display to emit the display light. It can be understood as a device that emits light.
  • an augmented reality image eg, a self-luminous display
  • the first light source 231 may emit display light for displaying an augmented reality image or reflected light to the display so that the display emits display light based on the control of the processor 300 .
  • the display light or reflected light emitted from the first light source 231 may be guided to the display waveguide 501 through the projection lens 504 and the first splitter 511 .
  • the display waveguide 501 and the eye tracking waveguide 502 may be made of glass or polymer, and a nanopattern, for example, a polygonal or curved lattice structure ( grating structure).
  • a nanopattern for example, a polygonal or curved lattice structure ( grating structure).
  • light incident to one end of the display waveguide 501 may be propagated inside the display waveguide 501 by the nano-pattern.
  • the display waveguide 501 may receive an image (or light generated by the image) from the first light source 231 and transmit it in the longitudinal direction (L) or the width direction (W) of the display waveguide 501 .
  • the projection lens 504 may focus the display light emitted from the first light source 231 .
  • the projection lens 504 may be a condenser lens.
  • the projection lens 504 may be arranged to guide the display light emitted from the first light source 231 to the display waveguide 501 through the first splitter 511 .
  • the display light collected through the projection lens 504 may be guided to the display waveguide 501 through the first splitter 511 .
  • the first splitter 511 may be arranged to guide the display light passing through the projection lens 504 to the display waveguide 501 .
  • the splitters 511 , 512 , 513 , and 514 may change a path by reflecting light.
  • the splitters 511 , 512 , 513 , and 514 may be disposed as components of the augmented reality glass 100 to change the path of light.
  • the first splitter 511 may be disposed at one end of the display waveguide 501 to guide the display light emitted from the first light source 231 to the display waveguide 501 .
  • the second splitter 512 is configured to direct the display light emitted from the first light source 231 induced to the display waveguide 501 toward the eye of the user 102 at one end of the display waveguide 501 . can be placed in
  • the third splitter 513 may be disposed at one end of the eye-tracking waveguide 502 to guide the reflected light reflected from the user's 102 eye to the eye-tracking waveguide 502 .
  • the fourth splitter 514 is guided to the gaze tracking waveguide 502 , and the gaze tracking waveguide 502 guides the reflected light reflected from the user's 102 eye to the gaze tracking module 530 . It can be placed at one end of
  • the fourth splitter 514 may share one surface of the second splitter 512 or may be added separately.
  • the eye tracking module 530 may include an ET Optic 531 , a lens 532 , and/or a gaze tracking sensor 533 .
  • Components of the eye tracking module 530 may not be limited to the components shown in FIG. 5 .
  • the eye tracking module 530 may further include the components illustrated in FIG. 6 .
  • the ET Optic 531 may change or guide the path of the reflected light emitted via the gaze tracking waveguide 502 .
  • the EP Optic 531 may be disposed such that reflected light emitted via the gaze tracking waveguide 502 is directed toward the gaze tracking sensor 533 .
  • the lens 532 may focus the reflected light changed or induced through the ET Optic 531 .
  • the lens 532 may be arranged to direct the modified or induced light to the eye tracking sensor 533 .
  • the eye tracking sensor 533 may detect reflected light that is focused through the lens 532 and reflected from the user's 102 eye.
  • the eye tracking sensor 533 may sense the reflected light emitted through the fourth splitter 514 via the eye tracking waveguide 502 .
  • the eye tracking sensor 533 may be disposed to detect reflected light passing through the ET Optic 531 and the lens 532 .
  • the location where the eye tracking module 530 is disposed may not be limited to the location shown in FIG. 5 .
  • the eye tracking module 530 may be disposed between the first glasses 201 and the eyes of the user 102 .
  • the focal length (eye relief) 541 may be understood as the distance from the eye of the user 102 to the gaze tracking waveguide 502 , and the eye box is the display waveguide 501 . It may be understood as a specific region (not shown) in which the display light emitted through the user 102 is generated centered on the user's 102 eyes.
  • An area of the eye box may be formed based on the intensity of light emitted through the display waveguide 501 , and a usability criterion related to screen display may be used to determine the size of the eye box. For example, the eye box may be formed in an area corresponding to 100% to 80% of the light intensity.
  • the focal length 541 and the eyebox may be used to determine the placement angle and/or position of the splitters 511 , 512 , 513 , 514 .
  • FIG. 6 is a block diagram illustrating a gaze tracking module 530 according to an embodiment.
  • the eye tracking module 530 includes an ET Optic 531 , a lens 532 , an eye tracking sensor 533 , an image signal processor (ISP) 605 , a memory controller, 607), an ARM Core 609, an audio/video codec (A/V Codec) 611, a display processor (DP) 613, and peripherals 615.
  • ISP image signal processor
  • ARM Core an ARM Core
  • A/V Codec audio/video codec
  • DP display processor
  • peripherals 615 peripherals 615.
  • the eye tracking module 530 is not limited to the configuration shown in FIG. 6 .
  • the eye tracking module 530 may further include an eye tracking optical system.
  • the eye tracking optical system may be understood as an optical system for transmitting light emitted through the eye tracking waveguide 502 to the lens 532 .
  • the ET camera 603 may include a lens 532 , a gaze tracking sensor 533 , and an image processing unit 605 .
  • the ET camera 603 may detect the light induced through the eye-tracking waveguide 502 and process the image.
  • an application processor (AP) 601 includes an ET camera 603 , a memory controller 607 , an ARM Core 609 , an audio/video codec 611 , a display processor 613 , and peripheral devices. (615).
  • the components of the AP 601 are not limited to the configuration shown in FIG. 6 .
  • the AP 601 may further include an image sensor interface and a GUP/GUP.
  • the memory controller 607 , the ARM Core 609 , the video/audio codec 611 , the display processor (DP, 613 ), and the peripheral device 615 are operationally and/or via a Bus may be electrically connected.
  • the reflected light reflected from the eye of the user 102 is emitted via the gaze tracking waveguide 502 and passes through the ET Optic 531 and the lens 532 to the gaze tracking sensor 533 .
  • the eye tracking sensor 533 may detect reflected light reflected from the eye of the user 102 , and convert the reflected light into electrical energy (hereinafter, “image signal”) by photoelectric transformation. .
  • the eye tracking sensor 533 may provide the converted image signal to the image processing unit 605 .
  • the image processing unit 605 may image-process the image signal provided from the eye tracking sensor 533 to be suitable for eye tracking detection.
  • the image processing includes adjusting brightness, color, or sharpness of the image signal to be suitable for eye tracking detection, which is referred to as white balance.
  • the image-processed image signal may be stored in the memory controller 607 .
  • the ARM Core 609 extracts the characteristic points of the pupil of the user 102 from the image signal stored in the memory controller 607 to detect the position of the eye.
  • the augmented reality glasses 100 may track the gaze of the user 102 by comparing the extracted feature point with the detected eye position.
  • the detected eye position information may be provided to the display processor 613 .
  • the image (eg, a pointer) regarding the detected eye position may be provided to the display processor 613 to be synthesized into an augmented reality image.
  • the augmented reality glass 100 may emit light of the augmented reality image in which the image regarding the position of the eye is synthesized through the first light source 231 to the display waveguide 501 .
  • the light of the synthesized augmented reality image may be guided to the eye of the user 102 through the display waveguide 501 .
  • the user 102 may recognize the light of the augmented reality image in which the image regarding the position of the eye emitted from the display waveguide 501 is synthesized, and through this, the position or trajectory of the eye of the user 102 .
  • the audio/video codec 611 may encode or decode the image signal.
  • the peripheral device 615 may include a serial peripheral interface (SIP) or a universal serial bus (USB).
  • FIG. 7 is a flowchart illustrating an operation method of the augmented reality glasses 100 for tracking the gaze of the user 102 according to an embodiment.
  • a series of operations described below may be simultaneously performed by the augmented reality glasses 100 or performed in a different order, and some operations may be omitted or added.
  • the augmented reality glasses 100 may emit display light through the first light source 231 , and the emitted display light may be reflected from the eyes of the user 102 .
  • the reflected light may be guided to the eye tracking sensor 533 , and the augmented reality glasses 100 may track the gaze of the user 102 based on the reflected light detected by the eye tracking sensor 533 . .
  • the augmented reality glasses 100 may emit display light for displaying the augmented reality image through the first light source 231 .
  • the first light source 231 may be understood as a display device that emits light of a display image (eg, a self-luminous display device) or a display device that emits light of a display image by reflecting light emitted from a separate light source.
  • the augmented reality glasses 100 may emit light for displaying the virtual object through the first light source 231 .
  • the augmented reality glasses 100 may control the first light source 231 to emit display light.
  • the augmented reality glasses 100 may control the first light source 231 to emit light of the augmented reality content.
  • the augmented reality glasses 100 may track the gaze of the user 102 based on the reflected light detected through the gaze tracking sensor 533 .
  • the augmented reality glasses 100 may capture an eyeball image of the user 102 based on the detected reflected light through the eye tracking module 530 .
  • the augmented reality glasses 100 may extract the feature points of the eyeball image to detect the position of the user's 102 gaze.
  • the augmented reality glasses 100 may track the gaze of the user 102 by comparing the extracted feature points with the detected positions of the eyeballs.
  • the reflected light may include external light reaching the eye of the user 102 from the outside of the augmented reality glasses 100 and/or light from which display light for representing an augmented reality image is reflected.
  • the augmented reality glasses 100 may focus the reflected light through a third splitter 513 disposed at one end of the gaze tracking waveguide 502 among the plurality of splitters.
  • the focused reflected light may be propagated through the eye tracking waveguide 502 .
  • the augmented reality glass 100 transmits reflected light emitted from the eye-tracking waveguide 502 through the fourth splitter 514 at the other end of the eye-tracking waveguide 502 among the splitters to the glass 330 ) can be released from one side of the The emitted reflected light may be guided to the eye tracking sensor 533 .
  • the path of the emitted reflected light may be changed through at least one diffractive element or a reflective element (eg, a total reflection mirror).
  • the reflected light whose path is changed may be guided to the eye tracking sensor 533 .
  • the reflected light emitted from the eye tracking waveguide 502 is It may be guided to the eye tracking sensor 533 based on the changed light path through the total reflection mirror or prism.
  • the second member 221 may be understood as a temple of the augmented reality glasses 100 supported by the ear of the user 102 .
  • the gaze tracking sensor 533 when the gaze tracking sensor 533 is disposed on one surface of the inside or outside of the first member 211 of the augmented reality glass 100, the reflected light emitted from the gaze tracking waveguide 502 is It may be guided to the eye tracking sensor 533 without passing through the total reflection mirror or the prism.
  • the first member 211 may be understood as a spectacle frame of the augmented reality glass 100 adjacent to the glass 330 .
  • the augmented reality glass 100 may emit additional light through the second light source 232 , and the augmented reality glass 100 emits additional light through the second light source 232 .
  • the augmented reality glass 100 will be described in detail with reference to FIGS. 8 and 9 .
  • FIG. 8 is a flowchart illustrating an operation method of the augmented reality glass 100 according to the ambient illuminance of the augmented reality glass 100 according to an embodiment.
  • the augmented reality glasses 100 emit additional light in the direction of or around the eyes of the user 102 through the second light source 232 while emitting display light through the first light source 231 . more can be emitted.
  • the first light source 231 , the second light source 232 , and the illuminance sensor may be operatively and/or electrically connected to each other.
  • the augmented reality glasses 100 may adjust the illuminance (or brightness) of the light emitted through the first light source 231 .
  • the augmented reality glasses 100 emit additional light toward the eyes of the user 102 through the second light source 232 based on the illuminance (or brightness) around the augmented reality glasses 100 . can do. For example, when the brightness around the augmented reality glasses 100 is less than or equal to the reference value, the augmented reality glasses 100 emit additional light toward the eyes of the user 102 or the direction around the eyes through the second light source 232 . can be released
  • the light amount (or brightness) of the additional light may include a light amount (or brightness) at which the brightness around the user's 102 eye may be equal to or greater than the reference value.
  • the light emitted from the second light source 232 may be disposed on one surface of the inside or the outside of the augmented reality glass 100 so that the light emitted from the user 102 is directed toward or around the eyes of the user 102 .
  • the lens of the second light source 232 is exposed through the opening (not shown) of the connection member 210 , and the light emitted through the lens is the user's 102 eye.
  • the second light source 232 may be disposed on one surface of the inside of the connecting member 210 so as to face the periphery of the eye.
  • the augmented reality glasses 100 are ) may be determined whether the ambient illuminance (or brightness) is less than or equal to a reference value.
  • the reference value may include a value set in the augmented reality glasses 100 or a value set by the user 102 .
  • the perimeter range may include a range to a distance that affects the amount of reflected light reflected by the user's 102 eye.
  • the augmented reality glasses 100 may sense the ambient illuminance of the augmented reality glasses 100 through an illuminance sensor. The augmented reality glasses 100 may compare the sensed illuminance with a reference value. The augmented reality glasses 100 may determine whether the sensed illuminance is less than or greater than the reference value based on the comparison result.
  • the augmented reality glasses 100 may perform operation 803, and if the sensed illuminance is greater than or equal to the reference value, the augmented reality glasses 100 may Operation 703 may be performed.
  • the augmented reality glasses 100 when the sensed illuminance is equal to or greater than the reference value, the augmented reality glasses 100 omit emission of additional light through the second light source 232 , and the reflection detected through the eye tracking sensor 533 .
  • the gaze of the user 102 may be tracked based on the light.
  • the augmented reality glasses 100 emit additional light in the direction of the user's 102 eyes through the second light source 232 .
  • the second light source 232 may emit additional light to compensate for the brightness of the sensed illuminance, and may include a white LED or an infrared LED.
  • the display light emitted from the first light source 231 , the external light introduced into the eye of the user 102 through the see-through display 140 from the outside of the augmented reality glass 100 , and the second light source Additional light emitted from 232 may be reflected to the eyes of the user 102 , and the augmented reality glasses 100 detect the gaze of the user 102 based on the reflected lights sensed through the eye tracking sensor 533 . can be tracked.
  • the augmented reality glasses 100 may acquire an eyeball image of the user 102 based on the sensed reflected lights, and may detect the user's gaze position by extracting feature points of the eyeball. .
  • the augmented reality glasses 100 may track the gaze of the user 102 by comparing the extracted feature points with the detected positions of the eyeballs.
  • FIG. 9 is a flowchart illustrating a method of operating the augmented reality glasses 100 according to the amount of display light according to an embodiment.
  • the augmented reality glasses 100 emit additional light in the direction of or around the eyes of the user 102 through the second light source 232 while emitting display light through the first light source 231 . more can be emitted.
  • content that overlaps with the content described in FIG. 8 among the described content will be omitted.
  • the augmented reality glasses 100 may determine whether the amount of display light emitted from the first light source 231 is less than or equal to a reference value.
  • the augmented reality glasses 100 may sense the amount (or brightness) of the display light through an illuminance sensor. The augmented reality glasses 100 may compare the sensed light amount with a reference value. The augmented reality glasses 100 may determine whether the sensed light amount is less than or equal to the reference value based on the comparison result.
  • the augmented reality glasses 100 may perform operation 903, and if the sensed light amount is greater than or equal to the reference value, the augmented reality glasses 100 may Operation 703 may be performed.
  • the augmented reality glasses 100 when the sensed light amount is equal to or greater than the reference value, the augmented reality glasses 100 omit emission of additional light through the second light source 232 , and the reflection detected through the eye tracking sensor 533 .
  • the gaze of the user 102 may be tracked based on the light.
  • the augmented reality glasses 100 emit additional light in the direction of the user's 102 eyes through the second light source 232 .
  • the second light source 232 may emit additional light to compensate for the amount of light equal to or less than the reference value.
  • the display light entering the eye of the user 102 , the external light, and the additional light emitted from the second light source 232 may be reflected from the eye of the user 102 , and the augmented reality glasses ( 100 may track the gaze of the user 102 based on the reflected lights detected through the gaze tracking sensor 533 .
  • the condition for emitting additional light in the direction of the user's 102 eye through the second light source 232 is the brightness around the user's 102 eye or the user's may be based on the amount of reflected light reflected by the eyes of 102 .
  • the processor 300 performs the second light source 232 . It can be controlled to emit this additional light.
  • FIG. 10 is a block diagram of an electronic device 1001 in a network environment 1000 according to an embodiment.
  • the electronic device 1001 (eg, the electronic device 100 ) communicates with the electronic device 1002 through a first network 1098 (eg, a short-range wireless communication network). Alternatively, it may communicate with the electronic device 1004 or the server 1008 through the second network 1099 (eg, a remote wireless communication network). According to an embodiment, the electronic device 1001 may communicate with the electronic device 1004 through the server 1008 .
  • a first network 1098 eg, a short-range wireless communication network
  • the electronic device 1004 or the server 1008 through the second network 1099 (eg, a remote wireless communication network).
  • the electronic device 1001 may communicate with the electronic device 1004 through the server 1008 .
  • the electronic device 1001 includes a processor 1020 (eg, the processor 300 ), a memory 1030 , an input device 1050 , a sound output device 1055 , and a display device 1060 (eg, : display module 310), audio module 1070, sensor module 1076 (eg, sensor module 320), interface 1077, haptic module 1079, camera module 1080 (eg, camera ( 350 ), power management module 1088 , battery 1089 (eg, battery 340 ), communication module 1090 (eg, communication interface 360 ), subscriber identification module 1096 , or antenna module ( 1097) may be included.
  • a processor 1020 eg, the processor 300
  • a memory 1030 e.g, an input device 1050 , a sound output device 1055 , and a display device 1060 (eg, : display module 310), audio module 1070, sensor module 1076 (eg, sensor module 320), interface 1077, haptic module 1079, camera module 1080 (eg, camera ( 350
  • At least one of these components may be omitted or one or more other components may be added to the electronic device 1001 .
  • some of these components may be implemented as one integrated circuit.
  • the sensor module 1076 eg, a fingerprint sensor, an iris sensor, or an illuminance sensor
  • the display device 1060 eg, a display
  • the processor 1020 executes software (eg, a program 1040) to execute at least one other component (eg, hardware or software component) of the electronic device 1001 connected to the processor 1020. It can control and perform various data processing or operations. According to an embodiment, as at least part of data processing or operation, the processor 1020 stores a command or data received from another component (eg, the sensor module 1076 or the communication module 1090 ) into the volatile memory 1032 . may be loaded into the volatile memory 1032 , and may process commands or data stored in the volatile memory 1032 , and store the resulting data in the non-volatile memory 1034 .
  • software eg, a program 1040
  • the processor 1020 stores a command or data received from another component (eg, the sensor module 1076 or the communication module 1090 ) into the volatile memory 1032 .
  • the volatile memory 1032 may be loaded into the volatile memory 1032 , and may process commands or data stored in the volatile memory 1032 , and store the resulting data in the non-volatile
  • the processor 1020 includes a main processor 1021 (eg, a central processing unit or an application processor), and an auxiliary processor 1023 (eg, a graphics processing unit or an image signal processor) that can be operated independently or together with the main processor 1021 . , a sensor hub processor, or a communication processor). Additionally or alternatively, the auxiliary processor 1023 may be configured to use less power than the main processor 1021 or to specialize in a designated function. The auxiliary processor 1023 may be implemented separately from or as a part of the main processor 1021 .
  • a main processor 1021 eg, a central processing unit or an application processor
  • an auxiliary processor 1023 eg, a graphics processing unit or an image signal processor
  • the auxiliary processor 1023 may be configured to use less power than the main processor 1021 or to specialize in a designated function.
  • the auxiliary processor 1023 may be implemented separately from or as a part of the main processor 1021 .
  • the coprocessor 1023 may, for example, act on behalf of the main processor 1021 while the main processor 1021 is in an inactive (eg, sleep) state, or when the main processor 1021 is active (eg, executing an application). ), together with the main processor 1021, at least one of the components of the electronic device 1001 (eg, the display device 1060, the sensor module 1076, or the communication module 1090) It is possible to control at least some of the related functions or states.
  • the coprocessor 1023 eg, image signal processor or communication processor
  • may be implemented as part of another functionally related component eg, camera module 1080 or communication module 1090. have.
  • the memory 1030 may store various data used by at least one component of the electronic device 1001 (eg, the processor 1020 or the sensor module 1076 ).
  • the data may include, for example, input data or output data for software (eg, the program 1040 ) and instructions related thereto.
  • the memory 1030 may include a volatile memory 1032 or a non-volatile memory 1034 .
  • the program 1040 may be stored as software in the memory 1030 , and may include, for example, an operating system 1042 , middleware 1044 , or an application 1046 .
  • the input device 1050 may receive a command or data to be used by a component (eg, the processor 1020 ) of the electronic device 1001 from the outside (eg, a user) of the electronic device 1001 .
  • the input device 1050 may include, for example, a microphone, a mouse, a keyboard, or a digital pen (eg, a stylus pen).
  • the sound output device 1055 may output a sound signal to the outside of the electronic device 1001 .
  • the sound output device 1055 may include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback, and the receiver can be used to receive an incoming call.
  • the receiver may be implemented separately from or as a part of the speaker.
  • the display device 1060 may visually provide information to the outside (eg, a user) of the electronic device 1001 .
  • the display device 1060 may include, for example, a display, a hologram device, or a projector and a control circuit for controlling the corresponding device.
  • the display device 1060 may include a touch circuitry configured to sense a touch or a sensor circuit (eg, a pressure sensor) configured to measure the intensity of a force generated by the touch. have.
  • the audio module 1070 may convert a sound into an electric signal or, conversely, convert an electric signal into a sound. According to an embodiment, the audio module 1070 acquires a sound through the input device 1050 or an external electronic device (eg, a sound output device 1055 ) directly or wirelessly connected to the electronic device 1001 . Sound may be output through the electronic device 1002) (eg, a speaker or headphones).
  • an external electronic device eg, a sound output device 1055
  • Sound may be output through the electronic device 1002 (eg, a speaker or headphones).
  • the sensor module 1076 detects an operating state (eg, power or temperature) of the electronic device 1001 or an external environmental state (eg, a user state), and generates an electrical signal or data value corresponding to the sensed state. can do.
  • the sensor module 1076 may include, for example, a gesture sensor, a gyro sensor, a barometric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, It may include a temperature sensor, a humidity sensor, or an illuminance sensor.
  • the interface 1077 may support one or more specified protocols that may be used for the electronic device 1001 to directly or wirelessly connect with an external electronic device (eg, the electronic device 1002 ).
  • the interface 1077 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card
  • connection terminal 1078 may include a connector through which the electronic device 1001 can be physically connected to an external electronic device (eg, the electronic device 1002 ).
  • the connection terminal 1078 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 1079 may convert an electrical signal into a mechanical stimulus (eg, vibration or movement) or an electrical stimulus that the user can perceive through tactile or kinesthetic sense.
  • the haptic module 1079 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 1080 may capture still images and moving images. According to an embodiment, the camera module 1080 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 1088 may manage power supplied to the electronic device 1001 .
  • the power management module 388 may be implemented as, for example, at least a part of a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 1089 may supply power to at least one component of the electronic device 1001 .
  • the battery 1089 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication module 1090 is a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 1001 and an external electronic device (eg, the electronic device 1002, the electronic device 1004, or the server 1008). It can support establishment and communication performance through the established communication channel.
  • the communication module 1090 may include one or more communication processors that operate independently of the processor 1020 (eg, an application processor) and support direct (eg, wired) communication or wireless communication.
  • the communication module 1090 is a wireless communication module 1092 (eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 1094 (eg, : It may include a LAN (local area network) communication module, or a power line communication module).
  • GNSS global navigation satellite system
  • a corresponding communication module is a first network 1098 (eg, a short-range communication network such as Bluetooth, WiFi direct, or infrared data association (IrDA)) or a second network 1099 (eg, a cellular network, the Internet, or It can communicate with an external electronic device through a computer network (eg, a telecommunication network such as a LAN or WAN).
  • a computer network eg, a telecommunication network such as a LAN or WAN.
  • These various types of communication modules may be integrated into one component (eg, a single chip) or may be implemented as a plurality of components (eg, multiple chips) separate from each other.
  • the wireless communication module 1092 uses subscriber information (eg, International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 1096 within a communication network, such as the first network 1098 or the second network 1099 .
  • subscriber information eg, International Mobile Subscriber Identifier (IMSI)
  • IMSI International Mobile Subscriber Identifier
  • the electronic device 1001 may be identified and authenticated.
  • the antenna module 1097 may transmit or receive a signal or power to the outside (eg, an external electronic device).
  • the antenna module may include one antenna including a conductor formed on a substrate (eg, a PCB) or a radiator formed of a conductive pattern.
  • the antenna module 1097 may include a plurality of antennas. In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 1098 or the second network 1099 is connected from the plurality of antennas by, for example, the communication module 1090 . can be selected. A signal or power may be transmitted or received between the communication module 1090 and an external electronic device through the selected at least one antenna.
  • other components eg, RFIC
  • other than the radiator may be additionally formed as a part of the antenna module 1097 .
  • peripheral devices eg, a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • GPIO general purpose input and output
  • SPI serial peripheral interface
  • MIPI mobile industry processor interface
  • a command or data may be transmitted or received between the electronic device 1001 and the external electronic device 1004 through the server 1008 connected to the second network 1099 .
  • Each of the electronic devices 1002 and 1004 may be the same as or different from the electronic device 1001 .
  • all or a part of operations executed by the electronic device 1001 may be executed by one or more of the external electronic devices 1002 , 1004 , or 1008 .
  • the electronic device 1001 when the electronic device 1001 needs to perform a function or service automatically or in response to a request from a user or other device, the electronic device 1001 performs the function or service by itself instead of executing the function or service itself.
  • one or more external electronic devices may be requested to perform at least a part of the function or the service.
  • One or more external electronic devices that have received the request may execute at least a part of the requested function or service, or an additional function or service related to the request, and transmit a result of the execution to the electronic device 1001 .
  • the electronic device 1001 may process the result as it is or additionally and provide it as at least a part of a response to the request.
  • cloud computing, distributed computing, or client-server computing technology may be used.
  • the electronic device may be a device of various types.
  • the electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance device.
  • a portable communication device eg, a smart phone
  • a computer device e.g., a laptop, a desktop, a tablet, or a portable multimedia device
  • portable medical device e.g., a portable medical device
  • camera e.g., a camera
  • a wearable device e.g., a smart watch
  • a home appliance device e.g., a smart bracelet
  • a or B “at least one of A and B”, “at least one of A or B”, “A, B or C”, “at least one of A, B and C” and “A;
  • Each of the phrases such as “at least one of B, or C” may include any one of, or all possible combinations of, items listed together in the corresponding one of the phrases.
  • Terms such as “first”, “second”, or “first” or “second” may be used simply to distinguish the element from other elements in question, and may refer to elements in other aspects (e.g., importance or order) is not limited.
  • one (eg first) component is “coupled” or “connected” to another (eg, second) component, with or without the terms “functionally” or “communicatively”
  • one component can be connected to the other component directly (eg by wire), wirelessly, or through a third component.
  • module may include a unit implemented in hardware, software, or firmware, and may be used interchangeably with terms such as, for example, logic, logic block, component, or circuit.
  • a module may be an integrally formed part or a minimum unit or a part of the part that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • one or more instructions stored in a storage medium may be implemented as software (eg, the program 1040) including
  • a processor eg, processor 1020
  • a device eg, electronic device 1001
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' only means that the storage medium is a tangible device and does not contain a signal (eg, electromagnetic wave), and this term is used in cases where data is semi-permanently stored in the storage medium and It does not distinguish between temporary storage cases.
  • a signal eg, electromagnetic wave
  • the method according to various embodiments disclosed in this document may be provided as included in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • the computer program product is distributed in the form of a machine-readable storage medium (eg compact disc read only memory (CD-ROM)), or via an application store (eg Play Store TM ) or on two user devices ( It can be distributed online (eg download or upload), directly between smartphones (eg smartphones).
  • a part of the computer program product may be temporarily stored or temporarily generated in a machine-readable storage medium such as a memory of a server of a manufacturer, a server of an application store, or a relay server.
  • each component eg, a module or a program of the above-described components may include a singular or a plurality of entities.
  • one or more components or operations among the above-described corresponding components may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg, a module or a program
  • the integrated component may perform one or more functions of each component of the plurality of components identically or similarly to those performed by the corresponding component among the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component are executed sequentially, in parallel, repetitively, or heuristically, or one or more of the operations are executed in a different order, omitted, or , or one or more other operations may be added.
  • the augmented reality glasses 100 include a first light source 231 emitting display light for displaying an augmented reality image, a gaze tracking sensor detecting reflected light reflected from the user's 102 eye, A display waveguide 501 for guiding the display light emitted from the first light source 231 to the display area of the see-through display 104 and for guiding the reflected light to the eye tracking sensor
  • the processor 300 may include a glass 330 including an ET waveguide 502 , the first light source 231 , and a processor 300 electrically connected to the eye tracking sensor.
  • the processor 300 may control the first light source 231 to emit the display light, and track the gaze of the user 102 based on the detected reflected light through the gaze tracking sensor. .
  • the display waveguide 501 is disposed in the first region 401 of the glass 330 , and the eye-tracking waveguide 502 does not overlap the first region 401 of the glass. It may be disposed in the second region 411 that is not.
  • the first region 401 may be disposed at an upper end of the glass 330
  • the second region 411 may be disposed at a lower end of the first region 401 .
  • the glass 330 includes a plurality of splitters disposed at one end and the other end of the display waveguide 501 and one end and the other end of the eye tracking waveguide 502 . It may further include a plurality of splitters.
  • a first splitter 511 disposed at one end of the display waveguide 501 among the plurality of splitters transmits the display light emitted from the first light source 231 to the display waveguide 501 .
  • a second splitter 512 disposed at the other end of the display waveguide 501 among the plurality of splitters may be disposed so that display light emitted from the display waveguide 501 is emitted to one surface of the glass 330. have.
  • a third splitter 513 disposed at one end of the gaze-tracking waveguide 502 among the plurality of splitters may be configured to focus the reflected light onto the gaze-tracking waveguide 502. .
  • a fourth splitter 514 disposed at the other end of the eye-tracking waveguide 502 among the plurality of splitters may be arranged to guide the reflected light emitted from the eye-tracking waveguide 502 to the eye-tracking sensor. .
  • the augmented reality glasses 100 may further include a total reflection mirror that changes the path of the reflected light focused on the eye-tracking waveguide 502 .
  • the eye tracking sensor may be disposed on an inner or outer surface of the second member 221 extending from the first member 211 adjacent to the glass 330 .
  • the path of the reflected light focused on the eye-tracking waveguide 502 disposed on the glass 330 is changed, and the path of the changed reflected light is applied to the inside or outside of the second member 221 . It may further include a total reflection mirror disposed at one end of the gaze tracking waveguide 502 to guide the gaze tracking sensor disposed on one surface.
  • the augmented reality glasses 100 may further include a second light source 232 emitting additional light in the direction of the user's 102 eyes.
  • the second light source 232 may include a white LED or an infrared LED.
  • the processor 300 controls the first light source 231 so that an image frame is displayed on the display area, and the illuminance of the displayed image frame is based on a pixel value included in the image frame.
  • a value may be determined, and the amount of additional light output from the second light source 232 may be controlled based on the determined illuminance value of the image frame.
  • the augmented reality glasses 100 may further include an illuminance sensor for detecting the amount of light.
  • the processor 300 detects the ambient illuminance of the augmented reality glass 100 through the illuminance sensor, and when the illuminance is less than or equal to a reference value, the user through the second light source 232 102 may be set to emit additional light in the direction of the eye.
  • the processor 300 detects the brightness around the eyes of the user 102 through the illuminance sensor, and when the brightness is less than or equal to a reference value, the user ( 102) may be set to emit additional light in the direction of the eye.
  • the method of operating the augmented reality glasses 100 may include emitting display light for displaying the augmented reality image through the first light source 231 .
  • the display light emitted from the first light source 231 may be guided to the display area of the see-through display 104 through the display waveguide 501 .
  • the method of operating the augmented reality glasses 100 may include detecting reflected light reflected from the eyes of the user 102 through an eye tracking (ET) sensor.
  • the reflected light may be directed to the eye tracking sensor through an ET waveguide 502 .
  • the display waveguide 501 and the eye tracking waveguide 502 may be included in a glass 330 of the augmented reality glass 100 .
  • the operation method of the augmented reality glasses 100 may include tracking the gaze of the user 102 based on the detected reflected light.
  • the method of operating the augmented reality glasses 100 may include controlling the second light source 232 to emit additional light in the eye direction of the user 102 .
  • the method of operating the augmented reality glasses 100 may include controlling the display light to be emitted through the first light source 231 .
  • the method of operating the augmented reality glasses 100 may include emitting additional light through the second light source 232 in a state in which the display light is emitted.
  • the method of operating the augmented reality glass 100 may include an operation of detecting the ambient illumination of the augmented reality glass 100 through an illumination sensor.
  • the operation method of the augmented reality glasses 100 may include an operation of emitting additional light in the eye direction of the user 102 through the second light source 232 when the illuminance is equal to or less than a reference value.
  • the method of operating the augmented reality glasses 100 may include detecting the amount of display light emitted from the first light source 231 through an illuminance sensor.
  • the operation method of the augmented reality glasses 100 may include an operation of emitting additional light toward the eye of the user 102 through the second light source 232 when the amount of light is equal to or less than a reference value.

Abstract

본 문서에 개시된 일 실시 예에 따른 증강 현실 글라스(augmented reality(AR) glass)는 증강 현실 이미지를 디스플레이하기 위한 디스플레이 광을 방출하는 제1 광원; 사용자의 눈에서 반사된 반사 광을 검출하는 시선 추적 센서(eye tracking(ET) sensor); 상기 제1 광원으로부터 방출된 디스플레이 광을 시스루(see-through) 디스플레이의 표시 영역으로 유도하는 디스플레이 도파관(display waveguide) 및 상기 반사 광을 상기 시선 추적 센서로 유도하는 시선 추적 도파관(ET waveguide)을 포함하는 글라스(glass); 상기 제1 광원 및 상기 시선 추적 센서와 전기적으로 연결된 프로세서를 포함하고; 상기 프로세서는: 상기 디스플레이 광을 방출하도록 상기 제1 광원을 제어하고, 및 상기 시선 추적 센서를 통해서 상기 검출된 반사 광에 기초하여 상기 사용자의 시선을 추적하는 증강 현실 글라스일 수 있다.

Description

증강 현실 글라스 및 그 동작 방법
본 문서에 개시된 다양한 실시 예들은 증강 현실 글라스(AR glass)에 관한 것으로, 증강 현실 글라스의 디스플레이 도파관(display waveguide)와 시선 추적 도파관(eye tracking waveguide)에 관한 것이다.
증강 현실(augmented reality, AR)은 가상현실(virtual reality, VR)의 한 분야이며, 실제로 존재하는 환경에 가상의 사물이나 정보를 합성하여 마치 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법을 말한다. 증강 현실은 사용자가 바라보는 현실 세계에 가상 물체를 겹쳐서 보여주는 디스플레이 기술이며, 이는 HMD(head mounted display) 장치 또는 AR glass와 같은 제품에 적용되어 사용자에게 다양한 사용자 경험을 제공할 수 있다. 또한, 사용자가 AR glass를 통해서 제공된 증강 현실과 상호작용을 할 수 있도록, 사용자의 눈으로부터 반사된 광에 기초하여 사용자의 시선을 추적(eye tracking, ET)하는 기술이 이용될 수 있다.
AR glass를 통해서 사용자에게 증강 현실을 제공하기 위해, 실제로 존재하는 세계에 가상 객체를 중첩하여 디스플레이할 수 있는 시스루 디스플레이(see through display), 디스플레이 도파관을 포함하는 디스플레이 광학계 및 사용자의 시선을 추적할 수 있는 시선 추적 모듈과 시선 추적 도파관을 포함하는 시선 추적 광학계가 필요할 수 있다. 다만, 디스플레이 도파관과 시선 추적 도파관이 겸용되는 경우, 디스플레이용(예: 가시광선 파장)과 시선 추적용(예: 적외선 파장) 빛을 구분하기 위해 별도 조명(예: 적외선 광원)이 필요할 수 있다. 또한, AR glass에 배치된 디스플레이 광학계와 시선 추적 광학계의 무게와 부피로 인해서 안경 타입의 AR glass는 제작이 용이하지 않을 수 있다. 따라서, 디스플레이 광학계와 시선 추적 광학계를 AR glass에 효율적으로 배치할 수 있는 기술이 필요할 수 있다.
본 문서에서 개시되는 다양한 실시 예들은 디스플레이 광학계와 시선 추적 광학계를 AR glass에 효율적으로 배치하기 위한 장치 및 방법을 제공할 수 있다.
본 문서에 개시된 일 실시 예에 따른 증강 현실 글라스(augmented reality(AR) glass)는 증강 현실 이미지를 디스플레이하기 위한 디스플레이 광을 방출하는 제1 광원; 사용자의 눈에서 반사된 반사 광을 검출하는 시선 추적 센서(eye tracking(ET) sensor); 상기 제1 광원으로부터 방출된 디스플레이 광을 시스루(see-through) 디스플레이의 표시 영역으로 유도하는 디스플레이 도파관(display waveguide) 및 상기 반사 광을 상기 시선 추적 센서로 유도하는 시선 추적 도파관(ET waveguide)을 포함하는 글라스(glass); 상기 제1 광원 및 상기 시선 추적 센서와 전기적으로 연결된 프로세서를 포함하고; 상기 프로세서는: 상기 디스플레이 광을 방출하도록 상기 제1 광원을 제어하고, 및 상기 시선 추적 센서를 통해서 상기 검출된 반사 광에 기초하여 상기 사용자의 시선을 추적하는 증강 현실 글라스일 수 있다.
본 문서에 개시된 일 실시 예에 따른 증강 현실 글라스(augmented reality(AR) glass)의 동작 방법은 제1 광원을 통해서 증강 현실 이미지를 디스플레이 하기 위한 디스플레이 광을 방출하는 동작, 상기 제1 광원으로부터 방출된 디스플레이 광은 디스플레이 도파관(display waveguide)을 통해서 시스루(see-through) 디스플레이의 표시 영역으로 유도됨; 시선 추적 센서(eye tracking(ET) sensor)를 통해서 사용자의 눈에서 반사된 반사 광을 검출하는 동작, 시선 추적 도파관(ET waveguide)을 통해서 상기 반사 광은 상기 시선 추적 센서로 유도되고, 상기 디스플레이 도파관과 상기 시선 추적 도파관은 상기 증강 현실 글라스의 글라스(glass)에 포함됨; 및 상기 검출된 반사 광에 기초하여 상기 사용자의 시선을 추적하는 동작을 포함하는 동작 방법일 수 있다.
본 문서에 개시된 다양한 실시 예에 따르면, AR glass의 글라스(glass)의 일 영역에 디스플레이 도파관을 배치하고, 디스플레이 도파관의 하단 영역에 시선 추적 도파관을 배치하여 디스플레이용과 시선 추적용 빛을 구분하기 위한 별도의 프리즘이나 광학계를 생략할 수 있다.
본 문서에 개시된 다양한 실시 예에 따르면, AR glass의 디스플레이 광학계와 시선 추적 광학계를 포함하는 세트를 소형화 할 수 있다.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
도 1은 일 실시 예에 따른 사용자에 의해 착용된 증강 현실 글라스를 도시한다.
도 2는 일 실시 예에 따른 도 1의 증강 현실 글라스의 개략적인 모습을 도시한다.
도 3은 일 실시 예에 따른 증강 현실 글라스의 블록 구성도를 도시한다.
도 4는 일 실시 예에 따른 사용자의 눈에 반사된 광을 시선 추적 도파관을 통해 시선 추적 센서로 유도하는 증강 현실 글라스를 도시한다.
도 5는 일 실시 예에 따른 증강 현실 글라스에서 광이 이동하는 광학 경로를 도시한다.
도 6은 일 실시 예에 시선 추적 모듈의 블록 구성도를 도시한다.
도 7은 일 실시 예에 따른 사용자의 시선을 추적하기 위한 증강 현실 글라스의 동작 방법의 흐름도를 도시한다.
도 8은 일 실시 예에 따른 증강 현실 글라스의 주변의 조도에 따른 증강 현실 글라스의 동작 방법의 흐름도를 도시한다.
도 9는 일 실시 예에 따른 디스플레이 광의 광량에 따른 증강 현실 글라스의 동작 방법의 흐름도를 도시한다.
도 10는 일 실시 예에 따른 네트워크 환경 내의 전자 장치의 블록도를 도시한다.
도면의 설명과 관련하여, 동일 또는 유사한 구성요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.
이하, 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 특정한 실시 형태를 한정하려는 것이 아니며, 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다.
도 1은 일 실시 예에 따른 사용자(102)에 의해 착용된 증강 현실 글라스(100)를 도시한다.
도 1을 참조하면, 증강 현실 글라스(AR glass)(100)는 사용자(102)에 의해 착용될 수 있는 웨어러블 전자 장치(wearable electronic device)를 포함할 수 있다. 증강 현실 글라스(100)는 근안 디스플레이(near to eye display, NED) 또는 머리 착용 디스플레이(head mounted display, HMD)를 포함한 전자 장치들 중 하나일 수 있다. 근안 디스플레이는 디스플레이 패널이 사용자(102)의 눈에 매우 가깝게 위치하여 사용자(102)가 안경처럼 착용할 수 있는 형태의 디스플레이로 이해될 수 있다. 도 1은 사용자(102)가 근안 디스플레이를 포함한 증강 현실 글라스(100)를 착용한 실시 예를 나타낸다.
일 실시 예에 따르면, 증강 현실 글라스(100)는 근안 디스플레이에 해당하는 시스루(see-through) 디스플레이(104)(예: 제1 시스루 디스플레이(104-1), 제2 시스루 디스플레이(104-2))를 포함할 수 있다. 증강 현실 글라스(100)의 글라스 중 적어도 일부에 시스루 디스플레이(104)를 포함할 수 있다. 예를 들어, 증강 현실 글라스(100)는 상기 글라스 중 적어도 일부에 광 도파관(light waveguide)을 포함할 수 있고, 상기 광 도파관 중 일 영역은 시스루 디스플레이(104)에 해당할 수 있다. 시스루 디스플레이(104)는 사용자(102)의 눈에 매우 가깝게 위치할 수 있으며, 사용자(102)는 시스루 디스플레이(104)를 포함한 증강 현실 글라스(100)를 안경처럼 착용할 수 있다.
일 실시 예에 따르면, 증강 현실 글라스(100)는 시스루 디스플레이(104)를 통해 증강 현실 이미지를 디스플레이 할 수 있다. 시스루 디스플레이(104)는 실제 환경(또는 현실 객체)의 광을 투과할 수 있다. 사용자(102)는 시스루 디스플레이(104)를 통해 투과된 실제 환경의 광을 인지하여, 실제 환경을 볼 수 있다. 시스루 디스플레이(104)는 현실 객체의 빛을 투과함과 동시에 가상 객체의 이미지를 디스플레이할 수 있는 투명 디스플레이로 이해될 수 있다. 예를 들어, 증강 현실 글라스(100)는 시스루 디스플레이(104)를 통해서 가상 객체의 이미지를 디스플레이할 수 있다. 사용자(102)는 증강 현실 글라스(100)의 시스루 디스플레이(104)를 통해서 현실 객체를 인지할 수 있고, 이에 중첩된 가상 객체를 인지할 수 있다. 시스루 디스플레이(104)는 유리 또는 플라스틱과 같은 투명한 재질을 포함할 수 있다.
일 실시 예에 따르면, 본 문서의 다양한 실시 예들은 안경 형태의 증강 현실 글라스(100)를 주요 시나리오로 서술하고 있으나 이에 제한되지 않고, 본 문서의 다양한 실시 예들은 근안 디스플레이를 포함하는 다양한 전자 장치들에 적용될 수 있다. 예를 들어, 본 문서의 다양한 실시 예들은 HMD 장치 또는 고글(goggle) 형태의 증강 현실 글라스에 적용될 수도 있다.
도 2는 일 실시 예에 따른 도 1의 증강 현실 글라스(100)의 개략적인 모습을 도시한다.
도 2를 참조하면, 증강 현실 글라스(100)는 제1 시스루 디스플레이(104-1)를 포함하는 제1 글라스(201), 제2 시스루 디스플레이(104-2)를 포함하는 제2 글라스(202), 제1 글라스(201)와 제2 글라스(202)를 연결하는 연결 부재(210), 제1 글라스(201)와 인접한 제1 부재(211), 제1 부재(211)로부터 연장된 제2 부재(221), 제2 글라스(202)와 인접한 제3 부재(212), 제3 부재(212)로부터 연장된 제4 부재(222)를 포함할 수 있다. 이하에서, 증강 현실 글라스(100)의 대칭적 구조로 인한 중복된 설명은 생략하도록 한다.
일 실시 예에 따르면, 제1 글라스(201) 및/또는 제2 글라스(202)는 글래스 플레이트(glass plate) 또는 폴리머(polymer)로 형성될 수 있으며, 투명 또는 반투명하게 제작될 수 있다. 일 실시 예에 따르면, 제1 부재(211), 제3 부재(212) 및 연결 부재(210)는 일체로 구성될 수도 있다.
일 실시 예에 따르면, 증강 현실 글라스(100)에 포함되는 구성요소들은 도 2에 도시된 구성요소들에 제한되지 않을 수 있다. 예를 들면, 증강 현실 글라스(100)는 시선 추적 센서를 더 포함할 수 있다.
일 실시 예에 따르면, 상기 시선 추적 센서는 사용자(102)의 눈으로부터 반사된 광을 감지할 수 있고, 증강 현실 글라스(100)는 상기 시선 추적 센서를 통해 감지된 광에 기반하여 사용자(102)의 시선을 추적할 수 있다.
일 실시 예에 따르면, 상기 시선 추적 센서는 증강 현실 글라스(100)를 구성하는 구성요소의 내부 또는 외부의 적어도 일 면에 배치될 수 있다. 예를 들면, 상기 시선 추적 센서는 연결 부재(210), 제1 부재(211), 제2 부재(221), 제3 부재(212) 또는 제4 부재(222) 중 적어도 하나의 내부 또는 외부의 일면에 배치될 수 있다.
일 실시 예에 따르면, 증강 현실 글라스(100)는 조도 감지 센서를 더 포함할 수 있다. 상기 조도 감지 센서는 사용자(102)의 눈 또는 증강 현실 글라스(100) 주변의 조도(또는 밝기)를 감지할 수 있다. 증강 현실 글라스(100)는 상기 조도 감지 센서를 통해 감지된 조도(또는 밝기)에 기반하여 후술할 제1 광원 및/또는 제2 광원을 제어할 수 있다.
일 실시 예에 따르면, 상기 조도 감지 센서는 증강 현실 글라스(100)를 구성하는 구성요소의 내부 또는 외부의 적어도 일 면에 배치될 수 있다. 예를 들면, 상기 조도 감지 센서는 연결 부재(210), 제1 부재(211), 제2 부재(221), 제3 부재(212) 또는 제4 부재(222) 중 적어도 하나의 내부 또는 외부의 일면에 배치될 수 있다.
일 실시 예에 따르면, 증강 현실 글라스(100)는 자발광 디스플레이(예: Micro LED, OLED) 또는 별도의 광원이 필요한 디스플레이(예: LCoS, DMD, LSD)를 포함할 수 있다. 상기 자발광 디스플레이는 디스플레이 자체로부터 빛을 방출하여 영상을 출력할 수 있는 디스플레이로 이해될 수 있다. 상기 별도의 광원이 필요한 디스플레이는 별도의 광원으로부터 방출된 광을 반사 및 방출하여 영상을 출력할 수 있는 디스플레이로 이해될 수 있다.
일 실시 예에 따르면, 상기 별도의 광원이 필요한 디스플레이는 별도의 광원으로부터 방출된 광을 반사할 수 있고, 상기 반사된 광은 다양한 부재들(예: 편광판 빔 스플리터(polarizer beam splitter), 렌즈, 광 도파관)을 통해 사용자(102)의 눈으로 유도될 수 있다.
일 실시 예에 따르면, 증강 현실 글라스(100)는 디스플레이 광을 방출하는 제1 광원(231)을 포함할 수 있다. 제1 광원(231)은 디스플레이 자체에서 광을 방출하는 자발광 디스플레이 또는 별도의 광원으로부터 방출된 광을 반사 및 방출하는 디스플레이로 이해될 수 있다. 예를 들어, 증강 현실 글라스(100)가 자발광 디스플레이를 포함한 경우, 상기 디스플레이 광은 상기 자발광 디스플레이 자체에서 방출되는 광으로 이해될 수 있다. 다른 예를 들어, 증강 현실 글라스(100)가 별도의 광원이 필요한 디스플레이를 포함한 경우, 상기 디스플레이 광은 상기 별도의 광원으로부터 방출된 광을 반사하여 상기 디스플레이로부터 방출되는 광으로도 이해될 수 있다.
일 실시 예에 따르면, 제1 광원(231)은 증강 현실 글라스(100)를 구성하는 구성요소의 내부 또는 외부의 적어도 일 면에 배치될 수 있다. 예를 들면, 제1 광원(231)은 연결 부재(210), 제1 부재(211), 제2 부재(221), 제3 부재(212), 또는 제4 부재(222) 중 적어도 하나의 내부 또는 외부의 일면에 배치될 수 있다. 다른 예를 들면, 도 2에 도시된 증강 현실 글라스(100)는 제1 부재(211)의 내부에 좌측 제1 광원(231-1)을 포함하고, 제3 부재(212)의 내부에 우측 제1 광원(231-2)을 포함할 수 있다. 사용자(102)를 기준으로 상기 좌측 및 상기 우측이 구분된다. 다양한 실시 예에 따르면, 제1 광원(231)의 위치는 도 2에 도시된 예에 제한되지 않는다.
일 실시 예에 따르면, 사용자(102)의 눈 주위의 밝기를 보강하기 위해 제1 광원(231)으로부터 방출된 디스플레이 광과 상이한 추가적인 광을 방출하는 제2 광원(232)을 포함할 수 있다. 제2 광원(232)은 디스플레이 영상에 해당하는 광을 방출하는 것이 아닌, 증강 현실 글라스(100)의 주변 또는 사용자(102)의 눈 주변의 밝기를 보강하기 위한 장치로 이해될 수 있다. 예를 들어, 제2 광원(232)은 백색 LED 또는 적외선 LED를 포함할 수 있다.
일 실시 예에 따르면, 제2 광원(232)은 증강 현실 글라스(100)를 구성하는 구성요소의 내부 또는 외부의 적어도 일 면에 배치될 수 있다. 예를 들면, 상기 제2 광원은 연결 부재(210), 제1 부재(211), 제2 부재(221), 제3 부재(212) 또는 제4 부재(222) 중 적어도 하나의 내부 또는 외부의 일면에 배치될 수 있다. 다양한 실시 예에 따르면, 제2 광원(232)의 개수 및 배치되는 위치는 다양할 수 있다. 예를 들면, 제2 광원(232)으로부터 방출된 상기 추가적인 광이 사용자(102)의 눈 또는 눈 주위를 향하도록 제2 광원(232)이 연결 부재(210)의 내부의 일 면에 배치될 수 있다. 또 다른 예를 들면, 제2 광원(232)으로부터 방출된 상기 추가적인 광이 사용자(102)의 눈 또는 눈 주위를 향하도록 제2 광원(232)이 제1 부재(211)와 제3 부재(212)의 외부의 일 면에 각각 배치될 수도 있다.
일 실시 예에 따르면, 광 도파관은 제1 글라스(201)와 제2 글라스(202)에 각각 배치될 수 있다. 다만, 이에 한정되지 아니한다. 예를 들면, 상기 광 도파관은 제1 글라스(201) 및 제2 글라스(202) 중 적어도 어느 하나에 배치될 수 있다. 상기 광 도파관은 제1 광원(231)으로부터 방출된 디스플레이 광이 전파(propagate)되는 경로에 해당하는 디스플레이 도파관 및 사용자(102)의 눈에서 반사된 반사 광이 전파되는 경로에 해당하는 시선 추적 도파관을 포함할 수 있다. 상기 디스플레이 광은 자발광 디스플레이(예: Micro LED, OLED) 자체로부터 방출된 광 또는 별도의 광원으로부터 방출된 광을 반사 및 방출하는 디스플레이(예: LCos, DMD, LSD)로부터 방출된 광으로 이해될 수 있다. 상기 반사 광은 증강 현실 글라스(100)의 외부(예: 실제 환경)로부터 시스루 디스플레이(104)를 통해서 사용자(102)의 눈에 도달하는 외부 광(예: 실제 환경의 광) 및/또는 상기 디스플레이 장치로부터 방출된 광이 상기 디스플레이 도파관을 통해 사용자(102)의 눈에 도달한 광이 반사된 광으로 이해될 수 있다.
일 실시 예에 따르면, 제1 부재(211)는 도 2에 도시된 형태에 제한되지 않는다. 예를 들어, 제1 부재(211)는 제1 글라스(201)의 주위의 적어도 일부를 감싸고 있는 형태를 포함할 수 있다. 이는 제3 부재(212)에도 동일하게 적용될 수 있다.
일 실시 예에 따르면, 제2 부재(221)는 도 2에 도시된 형태에 제한되지 않는다. 예를 들어, 제2 부재(221)는 사용자(102)의 신체 일부(예: 귀 또는 머리)에 거치할 수 있는 형태를 포함할 수 있다. 이는 제4 부재(222)에도 동일하게 적용될 수 있다. 다른 예를 들어, 제2 부재(221)는 증강 현실 글라스(100)가 사용자(102)의 머리에 착용될 수 있도록 하는 형태를 포함할 수 있다.
일 실시 예에 따르면, 연결 부재(210), 제1 부재(211), 제2 부재(221), 제3 부재(212), 및 제4 부재(222)는 일체로 연결되어 결합된 형태를 포함할 수 있다.
일 실시 예에 따르면, 증강 현실 글라스(100)는 제1 글라스(201)에 포함된 제1 시스루 디스플레이(104-1)와 제2 글라스(202)에 포함된 제2 시스루 디스플레이(104-2)를 포함할 수 있다. 제1 시스루 디스플레이(104-1) 및 제2 시스루 디스플레이(104-2)는 현실 객체의 광을 투과할 수 있고, 가상 객체 이미지를 표시할 수 있는 투명 디스플레이를 포함할 수 있다. 예를 들어, 사용자(102)는 시스루 디스플레이(104)를 통해서 현실 객체를 인지할 수 있고, 상기 현실 객체 및 가상 객체 이미지를 중첩하여 인지할 수 있다.
도 3은 일 실시 예에 따른 증강 현실 글라스(100)의 블록 구성도를 도시한다.
도 3을 참조하면, 증강 현실 글라스(100)는 프로세서(300), 디스플레이 모듈(310), 센서 모듈(320), 글라스(330), 배터리(또는 전원 공급 장치)(340), 카메라(350), 및 통신 인터페이스(360)를 포함할 수 있다. 증강 현실 글라스(100)에 포함되는 모듈은 증강 현실 글라스(100)에 포함되는 하드웨어 모듈(예: 회로)로 이해될 수 있다. 증강 현실 글라스(100)에 포함되는 구성요소들은 도 3의 블록 구성도에 도시된 구성요소들(예: 디스플레이 모듈(310), 센서 모듈(320), 글라스(330), 배터리(340), 카메라(350), 또는 통신 인터페이스(360))에 제한되지 않을 수 있다. 도 3에 도시된 증강 현실 글라스(100)의 구성요소들은 다른 구성요소들로 대체되거나 추가적인 구성요소들이 증강 현실 글라스(100)에 추가될 수 있다. 예를 들어, 증강 현실 글라스(100)는 도 3에 도시된 구성요소들에 오디오 모듈, 및 메모리를 더 포함할 수 있다. 다른 예를 들어, 도 10에 도시된 전자 장치(1000)에 대한 설명 중 적어도 일부가 도 3의 증강 현실 글라스(100)에 포함될 수 있다.
일 실시 예에 따르면, 프로세서(300)는 메모리에 저장된 명령어들을 실행하여 증강 현실 글라스(100)의 구성요소들(예: 디스플레이 모듈(310), 센서 모듈(320), 배터리(340), 카메라(350), 및 통신 인터페이스(360))의 동작을 제어할 수 있다. 프로세서(300)는 디스플레이 모듈(310), 센서 모듈(320), 배터리(340), 카메라(350), 및 통신 인터페이스(360)와 전기적으로 및/또는 작동적으로 연결될 수 있다. 프로세서(300)는 소프트웨어를 실행하여 프로세서(300)에 연결된 적어도 하나의 다른 구성요소들(예: 디스플레이 모듈(310), 센서 모듈(320), 배터리(340), 카메라(350), 및 통신 인터페이스(360))을 제어할 수 있다. 프로세서(300)는 증강 현실 글라스(100)에 포함된 구성요소들로부터 명령을 획득할 수 있고, 상기 획득된 명령을 해석할 수 있으며, 상기 해석된 명령에 따라 다양한 데이터를 처리 및/또는 연산할 수 있다.
일 실시 예에 따르면, 증강 현실 글라스(100)는 외부 장치(예: 휴대 단말, 도 10의 전자 장치(1001))에 내장된 프로세서를 통해 처리된 데이터를 상기 외부 장치로부터 수신할 수 있다. 예를 들어, 증강 현실 글라스(100)는 카메라(350)를 통해 객체(예: 현실 객체 또는 사용자(102)의 눈)를 촬영할 수 있고, 촬영한 영상을 통신 인터페이스(360)를 통해 외부 장치로 전송하고, 상기 외부 장치로부터 상기 전송한 영상에 기반한 데이터를 수신할 수 있다. 상기 외부 장치는 증강 현실 글라스(100)로부터 수신된 상기 촬영된 객체의 정보(예: 형태, 색상, 또는 위치)에 기반하여 증강 현실과 관련된 이미지 데이터를 생성하고, 증강 현실 글라스(100)로 전송할 수 있다. 다른 예를 들어, 증강 현실 글라스(100)는 카메라(350)를 통해 객체(예: 현실 객체 또는 사용자(102)의 눈)를 촬영한 영상에 기반한 추가적인 정보를 외부 장치로 요청할 수 있고, 상기 외부 장치로부터 상기 추가적인 정보를 수신할 수 있다.
일 실시 예에 따르면, 디스플레이 모듈(310)은 제1 광원(231)을 포함할 수 있다.
일 실시 예에 따르면, 제1 광원(231)은 프로세서(300)의 제어에 기초하여 증강 현실 이미지를 디스플레이 하기 위한 디스플레이 광을 방출할 수 있다. 제1 광원(231)은 디스플레이 자체로부터 광을 방출하는 자발광 디스플레이 또는 별도의 광원으로부터 방출된 광을 반사 및 방출하는 디스플레이로 이해될 수 있다. 예를 들어, 증강 현실 글라스(100)(예: 프로세서(300))는 제1 광원(231)을 통해서 시스루 디스플레이(104)의 표시 영역에 증강 현실 이미지를 디스플레이 하기 위한 디스플레이 광을 방출할 수 있다. 다른 예를 들어, 사용자(102)의 입력에 응답하여, 증강 현실 글라스(100)(예: 프로세서(300))는 시스루 디스플레이(104)의 표시 영역에 증강 현실 이미지를 디스플레이하기 위해 제1 광원(231)을 제어할 수 있다. 사용자(102)의 입력의 유형은 버튼 입력, 터치 입력, 음성 입력, 및/또는 제스처 입력을 포함할 수 있으며, 이에 제한되지 않고 제1 광원(231)의 동작을 제어할 수 있는 다양한 입력 방법이 포함될 수 있다.
일 실시 예에 따르면, 증강 현실 글라스(100)는 제1 광원(231)뿐 아니라 제1 광원(231)과 상이한 제2 광원(232)을 더 포함할 수 있다. 제2 광원(232)은 사용자(102)의 눈 주위의 밝기를 보강하기 위해 제1 광원(231)이 방출하는 디스플레이 광과 상이한 추가적인 광을 방출할 수 있다. 제2 광원(232)은 백색 LED 또는 적외선 LED를 포함할 수 있다.
일 실시 예에 따르면, 증강 현실 글라스(100)의 주변의 조도, 제1 광원(231)으로부터 방출된 디스플레이 광의 광량, 또는 사용자(102)의 눈에 반사된 반사 광의 광량이 기준 값 이하인 경우, 증강 현실 글라스(100)는 제2 광원(232)을 통해서 사용자(102)의 눈 방향으로 추가적인 광을 방출할 수 있다.
일 실시 예에 따르면, 제1 광원(231)이 디스플레이 광을 방출한 때, 증강 현실 글라스(100)는 미리 설정된 조건이 만족되었는지 여부를 판단할 수 있다. 상기 미리 설정된 조건은 상기 증강 현실 글라스(100)에 설정된 값 또는 사용자가 임의로 설정한 값을 포함할 수 있다. 예를 들어, 상기 미리 설정된 조건은 증강 현실 글라스(100)의 주변의 조도, 제1 광원(231)에서 방출된 디스플레이 광의 광량, 제1 광원(231)을 이용하여 디스플레이되는 이미지의 조도 값, 사용자(102)의 눈 주변의 밝기 또는 사용자(102)의 눈에 반사된 반사 광의 광량 중 적어도 하나가 기준 값 이하인지 여부를 포함할 수 있다. 증강 현실 글라스(100)의 주변의 조도는, 예를 들면, 증강 현실 글라스(100)에 구비된 조도 센서를 이용하여 획득될 수 있다. 제1 광원(231)을 이용하여 디스플레이되는 이미지의 조도 값은, 예를 들면, 프로세서(200)가 제1 광원(231)을 이용하여 출력하고자 하는 컨텐츠에 포함된 이미지 프레임의 픽셀 값들을 연산하여 획득될 수 있다. 상기 미리 설정된 조건은 상술한 예시에 한정되지 않으며, 증강 현실 글라스(100)를 착용한 사용자(102)의 주변의 조도가 낮은 이유로, 제2 광원(232)을 통해서 사용자(102)의 눈 주변의 밝기를 증가시킬 필요가 있는 상태를 포함할 수 있다. 예를 들어, 증강 현실 글라스(100)의 설정된 시간이 저녁이 된 때, 증강 현실 글라스(100)는 제2 광원(232)을 통해서 사용자(102)의 눈 방향으로 추가적인 광을 방출하도록 제어할 수도 있다. 미리 설정된 조건은 둘 이상의 요소를 조합하여 결정될 수도 있다. 예를 들어, 제1 광원(231)을 이용하여 디스플레이되는 이미지의 조도 값 및 주변의 조도 값을 조합하여 미리 설정된 조건이 만족되었는지 여부를 결정할 수 있다.
일 실시 예에 따르면, 글라스(330)는 디스플레이 도파관 또는 시선 추적 도파관 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따르면, 상기 디스플레이 도파관은 제1 광원(231)으로부터 방출된 디스플레이 광이 시스루 디스플레이(104)의 표시 영역으로 방출되도록 광을 유도함으로써 광의 경로를 형성할 수 있다. 시스루 디스플레이(104)는 상기 디스플레이 도파관 중 적어도 일 영역에 대응될 수 있다. 예를 들어, 시스루 디스플레이(104)의 영역은 상기 디스플레이 도파관 중 상기 디스플레이 도파관 내부에서 전파되는 광이 방출되고, 동시에 외부 광이 투과되는 영역에 대응될 수 있다. 예를 들어, 시스루 디스플레이(104)는 글라스(330)에 포함된 상기 디스플레이 도파관의 일 단에 배치될 수 있다.
일 실시 예에 따르면, 상기 디스플레이 도파관은 적어도 하나의 회절 요소 또는 반사 요소(예: 반사 거울) 중 적어도 하나를 포함할 수 있다. 상기 디스플레이 도파관은 상기 디스플레이 도파관에 포함된 적어도 하나의 회절 요소 또는 반사 요소를 이용하여 제1 광원(231)으로부터 방출된 디스플레이 광을 사용자(102)의 눈으로 유도할 수 있다. 예를 들어, 상기 회절 요소는 IN/OUT Grating, 상기 반사 요소는 전반사(TIR(total internal reflection))를 포함할 수 있다.
일 실시 예에 따르면, 광학용 소재(예: glass)를 웨이퍼 형태로 가공하여 상기 디스플레이 도파관으로 사용할 수 있으며, 상기 디스플레이 도파관의 굴절률은 1.5 내지 1.9로 다양할 수 있다.
일 실시 예에 따르면, 상기 디스플레이 도파관은 전반사를 통해서 도파관 내부를 이동하는 광이 외부로 방출되는 표시 영역(예: 시스루 디스플레이(104))을 포함할 수 있다. 상기 표시 영역은 상기 디스플레이 도파관의 일부분에 배치될 수 있다. 상기 디스플레이 도파관의 적어도 일 영역은 상기 시스루 디스플레이를 포함할 수 있다.
일 실시 예에 따르면, 상기 디스플레이 도파관은 상기 디스플레이 광이 사용자(102)의 눈으로 유도되기 위해, 상기 디스플레이 광을 전 반사할 수 있는 소재(예: 유리 또는 플라스틱)를 포함할 수 있다. 상기 소재는 상술한 예시에 제한되지 않을 수 있다.
일 실시 예에 따르면, 상기 디스플레이 도파관은 제1 광원(231)으로부터 방출된 디스플레이 광을 파장(예: 파란색, 녹색, 또는 빨간색)에 따라 분광하여 각각 상기 디스플레이 도파관 내의 별도의 경로로 이동하게 할 수 있다.
일 실시 예에 따르면, 상기 디스플레이 도파관은 글라스(330)에 배치될 수 있다. 예를 들어, 글라스(330)의 중심점과 사용자(102)의 눈의 중심점이 일치되는 가상의 축 및 상기 가상의 축과 글라스(330)의 중심점에서 직교하는 가상의 선을 기준으로, 글라스(330)의 상단과 하단을 구분할 수 있고, 상기 디스플레이 도파관은 글라스(330)의 상단에 배치될 수 있다. 다른 예를 들어, 상기 디스플레이 도파관은 글라스(330)의 상기 상단 및 상기 하단 중 상기 가상의 선부터 상기 하단 방향으로 3분의 1 지점까지의 영역에 걸쳐 배치될 수 있다. 상기 디스플레이 도파관이 배치되는 영역은 글라스(330)의 상술한 영역에 제한되지 않을 수 있으며, 상기 디스플레이 도파관이 배치되는 영역은 사용자(102)의 눈에 반사된 광의 광량이 기준 값 이상이 되도록 하는 글라스(330)의 영역 중 임의의 영역을 포함할 수 있다.
일 실시 예에 따르면, 센서 모듈(320)은 적어도 하나의 센서(예: 시선 추적 센서 및/또는 조도 센서)를 포함할 수 있다. 상기 적어도 하나의 센서는 상술한 예시에 제한되지 않을 수 있다. 예를 들어, 상기 적어도 하나의 센서는 사용자(102)가 증강 현실 글라스(100)를 착용했는지를 감지할 수 있는 근접 센서 또는 접촉 센서를 더 포함할 수 있다. 증강 현실 글라스(100)는 상기 근접 센서 또는 상기 접촉 센서를 통해서 사용자(102)가 증강 현실 글라스(100)를 착용한 상태인지 감지할 수 있다. 사용자(102)가 증강 현실 글라스(100)를 착용한 상태로 감지한 경우, 증강 현실 글라스(100)는 다른 전자 장치(예: 스마트 폰)과 수동적으로 및/또는 자동적으로 페어링(pairing)할 수 있다.
일 실시 예에 따르면, 상기 적어도 하나의 센서는 증강 현실 글라스(100)의 구성요소들의 내부 또는 외부의 적어도 일 면에 배치될 수 있다. 예를 들어, 상기 적어도 하나의 센서는 글라스(330)와 인접한 제1 부재(211)의 내부 또는 외부의 일 면에 배치될 수 있다. 제1 부재(211)는 글라스(330)에 인접하고, 증강 현실 글라스(100)의 안경테로 이해될 수 있다. 예를 들어, 상기 적어도 하나의 센서는 제1 부재(211)에 대응되는 상기 안경테의 내부 또는 외부의 일 면에 배치될 수 있다. 다른 예를 들어, 상기 적어도 하나의 센서는 제1 부재(211)로부터 연장된 제2 부재(221)의 내부 또는 외부의 일 면에 배치될 수 있다. 제2 부재(221)는 사용자(102)의 귀를 지지하는 증강 현실 글라스(100)의 안경 다리(temple)로 이해될 수 있다. 예를 들어, 상기 적어도 하나의 센서는 제2 부재(221)에 대응되는 상기 안경 다리의 내부 또는 외부의 일 면에 배치될 수 있다.
일 실시 예에 따르면, 상기 시선 추적 센서는 프로세서(300)의 제어에 기초하여 사용자(102)의 눈에 반사된 반사 광을 감지할 수 있다. 증강 현실 글라스(100)는 상기 시선 추적 센서를 통해서 감지된 반사 광을 전기 신호로 변환할 수 있다. 증강 현실 글라스(100)는 상기 변환된 전기 신호를 통해서 사용자(102)의 안구 이미지를 획득할 수 있다. 증강 현실 글라스(100)는 상기 획득된 사용자(102)의 안구 이미지를 이용하여 사용자(102)의 시선을 추적할 수 있다.
일 실시 예에 따르면, 시선 추적 모듈은 상기 시선 추적 센서를 포함할 수 있고, 상기 시선 추적 모듈은 상기 시선 추적 센서를 통해서 감지한 반사 광을 이용하여 사용자(102)의 안구 이미지를 캡쳐(capture)할 수 있다. 상기 시선 추적 모듈은 프로세서(300)의 제어에 기반하여 사용자(102)의 상기 반사 광을 감지할 수 있고, 상기 감지된 반사 광의 위치 및 움직임에 기반하여 사용자(102)의 시선을 추적할 수 있다. 상기 시선 추적 모듈은 도 5에서 자세히 설명하도록 한다.
일 실시 예에 따르면, 프로세서(300)는 상기 시선 추적 센서를 통해서 감지된 반사 광에 기초하여 사용자(102)의 시선을 추적할 수 있다. 예를 들어, 프로세서(300)는 상기 시선 추적 센서를 이용하여 캡쳐된 사용자(102)의 눈 이미지를 분석하여 동공의 위치를 결정할 수 있다. 프로세서(300)는 상기 결정된 동공의 위치에 따른 사용자(102)의 시선 방향을 결정할 수 있다. 다만, 이는 시선 추적 센서를 이용하여 사용자의 시선을 추척하는 방법의 일 예일 뿐 이에 한정되지 아니한다.
일 실시 예에 따르면, 상기 조도 센서는 프로세서(300)의 제어에 기초하여 증강 현실 글라스(100) 주변의 조도(또는 밝기), 상기 제1 광원에서 방출된 디스플레이 광의 광량, 사용자(102)의 눈 주위의 밝기 또는 사용자(102)의 눈에 반사된 반사 광의 광량을 감지할 수 있다. 증강 현실 글라스(100)는 상기 조도 센서를 통해서 감지한 조도(또는 밝기) 또는 광량에 기반하여 제2 광원(232)을 동작 할지 여부를 결정할 수 있다. 예를 들어, 증강 현실 글라스(100)를 착용한 사용자(102) 주변의 조도(또는 밝기)가 기준 값 이하인 경우, 증강 현실 글라스(100)는 제2 광원(232)을 동작하는 것으로 결정할 수 있고, 제2 광원(232)을 통해서 사용자(102)의 눈을 향해 추가적인 광을 방출할 수 있다. 다른 예를 들어, 증강 현실 글라스(100)를 착용한 사용자(102)의 눈 주변의 밝기가 기준 값 이하인 경우, 증강 현실 글라스(100)는 제2 광원(232)을 동작하는 것으로 결정할 수 있고, 제2 광원(232)을 통해서 사용자(102)의 눈을 향해 추가적인 광을 방출할 수 있다. 또 다른 예를 들어, 사용자(102)의 눈의 반사 광의 광량이 기준 값 이하인 경우, 증강 현실 글라스(100)는 제2 광원(232)을 동작하는 것으로 결정할 수 있고, 제2 광원(232)을 통해서 사용자(102)의 눈을 향해 추가적인 광을 방출할 수 있다.
일 실시 예에 따르면, 증강 현실 글라스(100)는 상기 조도 센서를 통해서 사용자(102) 주변의 조도(또는 밝기)를 감지할 수 있다. 증강 현실 글라스(100)는 상기 감지된 조도(또는 밝기)에 기초하여, 디스플레이(예: 제1 광원(231))의 광량(또는 밝기)을 조절할 수 있다.
일 실시 예에 따르면, 상기 조도 센서가 증강 현실 글라스(100)에 배치되는 위치 또는 상기 조도 센서가 조도(또는 밝기)를 수신하는 위치에 따라 상기 조도 센서의 센싱 값은 다양할 수 있다. 상기 다양한 센싱 값은 증강 현실 글라스(100)의 디스플레이의 광량(또는 밝기)에 반영될 수 있다. 증강 현실 글라스(100)는 상기 조도 센서의 다양한 센싱 값을 반영하여 상기 디스플레이의 광량(또는 밝기)를 조절할 수 있다.일 실시 예에 따르면, 증강 현실 글라스(100)는 상기 조도 센서를 복수 개 포함할 수 있다. 예를 들어, 상기 조도 센서는 증강 현실 글라스(100)의 외부의 일 면과 내부의 일 면에 각각 하나씩 배치될 수 있다.
일 실시 예에 따르면, 글라스(330)는 디스플레이 도파관 또는 시선 추적 도파관 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따르면, 상기 시선 추적 도파관은 사용자(102)의 눈에서 반사된 반사 광이 센서 모듈(320)로 방출되도록 광을 유도함으로써 광의 경로를 형성할 수 있다. 상기 시선 추적 도파관은 상기 반사 광을 상기 시선 추적 센서로 전달하기 위해 이용될 수 있다.
일 실시 예에 따르면, 상기 시선 추적 도파관은 상기 디스플레이 도파관과 동일한 요소 또는 상이한 요소로 형성될 수 있다.
일 실시 예에 따르면, 상기 시선 추적 도파관은 적어도 하나의 회절 요소 또는 반사 요소(예: 반사 거울) 중 적어도 하나를 포함할 수 있다. 상기 시선 추적 도파관은 상기 시선 추적 도파관에 포함된 적어도 하나의 회절 요소 또는 반사 요소를 이용하여 상기 반사 광을 상기 시선 추적 센서로 유도할 수 있다. 예를 들어, 상기 회절 요소는 IN/OUT Grating을 포함하고, 상기 반사 요소는 TIR를 포함할 수 있다. 상기 시선 추적 도파관은 상기 IN Grating을 통해서 상기 반사 광을 집광할 수 있고, 상기 OUT Grating을 통해서 상기 반사 광을 방출할 수 있다. 상기 시선 추적 도파관은 상기 TIR을 통해서 상기 반사 광을 도파관 내부에서 전반사 할 수 있다. 상기 반사 광은 증강 현실 글라스(100)의 외부로부터 시스루 디스플레이(104)를 통해서 사용자(102)의 눈에 도달한 외부 광 및/또는 증강 현실 이미지를 표시하기 위한 디스플레이 광이 반사된 광을 포함할 수 있다.
일 실시 예에 따르면, 상기 시선 추적 도파관은 전반사를 통해서 상기 시선 추적 도파관 내부를 이동하는 광이 외부로 방출되는 영역을 포함할 수 있다. 상기 영역을 통해 방출된 광은 상기 시선 추적 센서로 유도될 수 있다.
일 실시 예에 따르면, 상기 시선 추적 도파관은 상기 반사 광이 센서 모듈(320)로 유도되기 위해, 광을 전부 반사할 수 있는 소재(예: 유리 또는 플라스틱)를 포함할 수 있다. 상기 소재는 상술한 예시에 제한되지 않을 수 있다.
일 실시 예에 따르면, 상기 시선 추적 도파관은 글라스(330)에 배치될 수 있다. 예를 들어, 글라스(330)의 중심점과 사용자(102)의 눈의 중심점이 일치되는 가상의 축 및 상기 가상의 축과 글라스(330)의 중심점에서 직교하는 가상의 선을 기준으로, 글라스(330)의 상단과 하단을 구분할 수 있고, 상기 시선 추적 도파관은 글라스(330)의 하단에 배치될 수 있다. 다른 예를 들어, 상기 시선 추적 도파관은 상기 디스플레이 도파관의 아래에 배치될 수 있다. 상기 시선 추적 도파관과 상기 디스플레이 도파관은 글라스(330)에 중첩되지 않고 배치될 수 있다. 또 다른 예를 들어, 상기 시선 추적 도파관은 글라스(330)의 상기 하단 중 상기 가상의 선부터 상기 하단 방향으로 3분의 1 지점까지의 영역을 제외한 영역에 걸쳐 배치될 수 있다. 상기 시선 추적 도파관이 배치되는 영역은 글라스(330)의 상술한 영역에 제한되지 않을 수 있으며, 상기 시선 추적 도파관이 배치되는 영역은 상기 시선 추적 센서가 상기 시선 추적 도파관을 통해서 집광된 반사 광의 광량을 설정 값 이상으로 감지하도록 하는 글라스(330)의 영역 중 임의의 영역을 포함할 수 있다.
일 실시 예에 따르면, 증강 현실 글라스(100)의 디스플레이 도파관과 시선 추적 도파관은 글라스(330)에 배치될 수 있다. 예를 들어, 글라스(330)(예: 도 2의 제1 글라스(201) 및/또는 제2 글라스(202))는 상기 디스플레이 도파관과 상기 시선 추적 도파관을 포함할 수 있다. 글라스(330)의 재질(또는 소재)은 유리 또는 플라스틱을 포함할 수 있다. 상기 디스플레이 도파관과 상기 시선 추적 도파관의 재질은 글라스(330)의 재질과 동일하거나 상이할 수 있다.
일 실시 예에 따르면, 배터리(340)는 증강 현실 글라스(100)의 적어도 하나의 구성요소들에 전력을 공급할 수 있다. 배터리(340)는 외부 전원과 유선 또는 무선으로 연결되어 충전될 수 있다.
일 실시 예에 따르면, 카메라(350)는 증강 현실 글라스(100)의 주변의 영상을 촬영할 수 있다. 예를 들어, 카메라(350)는 사용자(102)의 눈 이미지를 촬영하거나 증강 현실 글라스(100) 외부의 현실 객체 이미지를 촬영할 수 있다.
일 실시 예에 따르면, 통신 인터페이스(360)는 유선 인터페이스 또는 무선 인터페이스를 포함할 수 있다. 통신 인터페이스(360)는 증강 현실 글라스(100)와 외부 장치(예: 휴대 단말, 도 10의 전자 장치(1001), 도 10의 전자 장치(1002), 또는 도 10의 전자 장치(1004))간의 직접 통신(예: 유선 통신) 또는 간접 통신(예: 무선 통신)의 수행을 지원할 수 있다. 도 10에 도시된 전자 장치(1001)에 대한 설명 중 적어도 일부가 상기 외부 장치에 포함될 수 있다.
도 4는 일 실시 예에 따른 사용자(102)의 눈에 반사된 광을 시선 추적 도파관(413)을 통해 시선 추적 센서(421)로 유도하는 증강 현실 글라스(100)를 도시한다.
도 4의 (A)는 사용자(102)의 눈에서 반사된 반사 광이 증강 현실 글라스(100)의 제2 영역(411)을 통해서 시선 추적 센서(421)로 유도되는 경로를 도시하고 있으며, 도 4의 (B)는 제2 영역(411)에 배치된 구성 및 경로에 대해 자세히 도시하고 있다.
도 4의 (A)에서, 증강 현실 글라스(100)는 제1 글라스(201), 제2 글라스(202), 제1 영역(401), 제2 영역(411), 제3 영역(402), 제4 영역(412), 제1 부재(211), 제2 부재(221), 제3 부재(212), 연결 부재(210), 초점 렌즈(423), 및 시선 추적 센서(421)를 포함할 수 있다. 도 4에 도시하지 않았으나, 도 2에서 도시한 바와 같이, 증강 현실 글라스(100)의 제3 부재(212)로부터 연장된 제4 부재(222) 및 다른 구성 요소들(예: 도 3의 구성 요소)을 더 포함할 수 있다.
일 실시 예에 따르면, 제1 영역(401) 및 제3 영역(402)은 디스플레이 도파관을 각각 포함할 수 있다. 상기 디스플레이 도파관에 대해서는 도 5에서 자세히 설명하도록 한다.
일 실시 예에 따르면, 증강 현실 글라스(100)는 제2 영역(411)을 통해서 사용자(102)의 눈에서 반사된 반사 광을 획득할 수 있다. 상기 획득된 반사 광은 제2 영역(411)로부터 제2 부재(221)에 배치된 초점 렌즈(423)를 통해서 시선 추적 센서(421)로 향할 수 있다. 초점 렌즈(423)는 도 5 및 도 6에 도시된 ET Optic(531)과 렌즈(532)로 이해될 수 있다.
일 실시 예에 따르면, 증강 현실 글라스(100)는 시선 추적 센서(421)을 통해서 상기 반사 광을 감지할 수 있다. 증강 현실 글라스(100)는 상기 감지된 반사 광에 기반하여 사용자(102)의 시선을 추적할 수 있다.
도 4의 (B)에서, 제2 영역(411)은 시선 추적 도파관(413) 및 전반사 거울(425)를 포함할 수 있다. 전반사 거울(425)은 프리즘으로 대체될 수도 있다. 시선 추적 도파관(413)은 제2 영역(411)에 배치될 수 있다. 시선 추적 도파관(413)은 사용자(102)의 눈에서 반사된 반사 광을 집광하는 스플리터(splitter)를 포함할 수 있다. 시선 추적 도파관(413)은 상기 집광된 반사 광이 도파관 내로 이동하거나 도파관 바깥으로 이동하도록 하나 이상의 회절 요소 또는 반사 요소(예: 반사 거울) 중 적어도 하나를 포함할 수 있다. 예를 들어, 시선 추적 도파관(413)은 상기 회절 요소에 해당하는 IN/OUT Grating 및 상기 반사 요소에 해당하는 전반사(TIR)를 포함할 수 있다. 증강 현실 글라스(100)는 상기 IN Grating을 통해서 상기 반사 광을 시선 추적 도파관(413)으로 집광할 수 있다. 증강 현실 글라스(100)는 상기 OUT Grating을 통해서 상기 반사 광을 시선 추적 도파관(413)의 바깥으로 방출할 수 있다. 증강 현실 글라스(100)는 상기 TIR을 통해서 상기 반사 광을 시선 추적 도파관(413) 내에서 전반사 할 수 있다.
일 실시 예에 따르면, 증강 현실 글라스(100)는 상기 IN Grating을 통해서 상기 반사 광을 제2 영역(411)에 포함된 시선 추적 도파관(413)에 집광할 수 있다. 상기 반사 광은 상기 TIR을 이용하여 시선 추적 도파관(413)의 내부에서 전반사될 수 있다. 상기 전반사를 이용하여 전파된 반사 광은 상기 전반사 거울(425)를 통해서 경로를 변경할 수 있다. 상기 경로가 변경된 반사 광은 시선 추적 센서(421)로 유도될 수 있다.
다양한 실시 예에 따르면, 제2 영역(411) 및/또는 시선 추적 도파관(413)의 위치, 길이 및/또는 형태는 시선 추적 센서(421)의 위치에 기반하여 다양하게 구성될 수 있다. 예를 들어, 시선 추적 센서(421)가 제2 영역(411)이 위치한 제1 글라스(201)와 시선 추적 센서(421)가 위치한 제2 부재(221)가 인접하지 않은 경우, 제2 영역(411)은 복수 개의 영역을 포함할 수 있다.
미 도시 되었지만, 증강 현실 글라스(100)가 복수 개의 시선 추적 센서(421)를 포함하는 경우, 제2 글라스(202)는 제1 글라스(201)와 유사한 구조를 포함하고, 제3 부재(212)로부터 연장된 제4 부재(222)는 제2 부재(221)와 유사한 구조를 포함할 수 있다.
도 5는 일 실시 예에 따른 증강 현실 글라스(100)에서 광이 이동하는 광학 경로를 도시한다.
도 5를 참조하면, 제1 광원(231)에서 방출된 디스플레이 광은 제1 글라스(201)에 포함된 광 도파관들(예: 디스플레이 도파관(501), 시선 추적 도파관(502))을 경유하여 시선 추적 모듈(530)로 유도될 수 있다. 또한, 제1 광원(231)에서 방출된 광이 아닌 증강 현실 글라스(100)의 외부로부터 유입된 광은 제1 글라스(201)를 통해 사용자(102)의 안구로 유도될 수 있다. 예를 들어, 증강 현실 글라스(100)의 외부로부터 유입된 외부 광(예: 현실 객체들에 반사된 광)은 제1 글라스(201)에 포함된 디스플레이 도파관(501)(또는 디스플레이 도파관(501) 중 시스루 디스플레이(104))을 통과하여 사용자(102)의 안구로 유도될 수 있다.
일 실시 예에 따르면, 도 5는 제1 글라스(201)에서 광이 이동하는 광학 경로를 측면에서 도시하고 있으며, 이는 제2 글라스(202)에서 광이 이동하는 광학 경로에 동일하게 적용될 수 있다. 다양한 실시 예에 따르면, 제1 광원(231)의 위치에 따라 증강 현실 글라스(100)의 구성요소들(예: 디스플레이 도파관(501), 제1 스플리터(511), 또는 제2 스플리터(512))의 기능은 동일하나, 광이 이동되는 경로의 위치 또는 길이는 상이할 수 있다.
일 실시 예에 따르면, 증강 현실 글라스(100)는 디스플레이 도파관(501), 시선 추적 도파관(502), 제1 광원(231), 프로젝션 렌즈(projection lens, 504), 제1 스플리터(511), 제2 스플리터(512), 제3 스플리터(513), 제4 스플리터(514), 시선 추적 모듈(530)을 포함할 수 있다.
일 실시 예에 따르면, 디스플레이 도파관(501) 및 시선 추적 도파관(502)은 격자 구조물(grating structure)을 형성하는 글래스 또는 폴리머로 제작될 수 있으며, 상기 격자 구조물을 이용한 도파로 구조를 포함할 수 있다. 상기 격자 구조물은 다양한 형상의 돌기나 경사면을 포함할 수 있다.
일 실시 예에 따르면, 제1 광원(231)은 증강 현실 이미지를 디스플레이 하기 위한 디스플레이 광을 방출하는 디스플레이 장치(예: 자발광 디스플레이) 또는 디스플레이가 광을 반사시켜 디스플레이 광을 방출하도록 상기 디스플레이로 반사 광을 방출하는 장치로 이해될 수 있다.
일 실시 예에 따르면, 제1 광원(231)은 프로세서(300)의 제어에 기반하여 증강 현실 이미지를 디스플레이 하기 위한 디스플레이 광 또는 디스플레이가 디스플레이 광을 방출하도록 상기 디스플레이로 반사 광을 방출할 수 있다. 제1 광원(231)에서 방출된 상기 디스플레이 광 또는 반사 광은 프로젝션 렌즈(504)와 제1 스플리터(511)를 통해서 디스플레이 도파관(501)으로 유도될 수 있다.
일 실시 예에 따르면, 디스플레이 도파관(501) 및 시선 추적 도파관(502)는 글래스 또는 폴리머로 제작될 수 있으며, 내부 또는 외부의 일면에 형성된 나노 패턴, 예를 들어, 다각형 또는 곡면 형상의 격자 구조(grating structure)를 포함할 수 있다. 일 실시 예에 따르면, 디스플레이 도파관(501)의 일단으로 입사된 광은 나노 패턴에 의해 디스플레이 도파관(501) 내부에서 전파될 수 있다(may be propagated). 디스플레이 도파관(501)은 제1 광원(231)으로부터 영상(또는 영상에 의해 발생된 광)을 입력 받아 디스플레이 도파관(501)의 길이 방향(L) 또는 폭 방향(W)으로 전달할 수 있다.
일 실시 예에 따르면, 프로젝션 렌즈(504)는 제1 광원(231)으로부터 방출된 디스플레이 광을 집광할 수 있다. 예를 들어, 프로젝션 렌즈(504)는 집광 렌즈(condenser lens)일 수 있다. 프로젝션 렌즈(504)는 제1 광원(231)으로부터 방출된 디스플레이 광을 제1 스플리터(511)를 통해서 디스플레이 도파관(501)으로 유도하도록 배치될 수 있다. 프로젝션 렌즈(504)를 통해서 집광된 디스플레이 광은 제1 스플리터(511)를 통해서 디스플레이 도파관(501)으로 유도될 수 있다. 제1 스플리터(511)는 프로젝션 렌즈(504)를 통과한 디스플레이 광을 디스플레이 도파관(501)으로 유도하도록 배치될 수 있다.
일 실시 예에 따르면, 스플리터들(511, 512, 513, 514)은 광을 반사하여 경로를 변경할 수 있다. 스플리터들(511, 512, 513, 514)은 광의 경로를 변경하도록 증강 현실 글라스(100)의 구성요소로 배치될 수 있다.
일 실시 예에 따르면, 제1 스플리터(511)는 제1 광원(231)으로부터 방출된 디스플레이 광을 디스플레이 도파관(501)으로 유도하도록 디스플레이 도파관(501)의 일 단에 배치될 수 있다.
일 실시 예에 따르면, 제2 스플리터(512)는 디스플레이 도파관(501)에 유도된 제1 광원(231)으로부터 방출된 디스플레이 광을 사용자(102)의 눈을 향하도록 디스플레이 도파관(501)의 일 단에 배치될 수 있다.
일 실시 예에 따르면, 제3 스플리터(513)는 사용자(102)의 눈에서 반사된 반사 광을 시선 추적 도파관(502)으로 유도하도록 시선 추적 도파관(502)의 일 단에 배치될 수 있다.
일 실시 예에 따르면, 제4 스플리터(514)는 시선 추적 도파관(502)에 유도되고, 사용자(102)의 눈에서 반사된 반사 광을 시선 추적 모듈(530)로 유도하도록 시선 추적 도파관(502)의 일 단에 배치될 수 있다.
일 실시 예에 따르면, 제4 스플리터(514)는 제2 스플리터(512)의 일 면을 공유하거나 별도로 추가될 수 있다.
일 실시 예에 따르면, 시선 추적 모듈(530)은 ET Optic(531), 렌즈(532), 및/또는 시선 추적 센서(533)를 포함할 수 있다. 시선 추적 모듈(530)의 구성요소들은 도 5에 도시된 구성요소들에 제한되지 않을 수 있다. 예를 들어, 시선 추적 모듈(530)은 도 6에 도시된 구성요소들을 더 포함할 수 있다.
일 실시 예에 따르면, ET Optic(531)은 시선 추적 도파관(502)을 경유하여 방출된 반사 광의 경로를 변경 또는 유도할 수 있다. EP Optic(531)은 시선 추적 도파관(502)을 경유하여 방출된 반사 광이 시선 추적 센서(533)로 향하도록 배치될 수 있다.
일 실시 예에 따르면, 렌즈(532)는 상기 ET Optic(531)을 통해 변경 또는 유도된 반사 광을 집광할 수 있다. 렌즈(532)는 상기 변경 또는 유도된 광을 시선 추적 센서(533)로 향하도록 배치될 수 있다.
일 실시 예에 따르면, 시선 추적 센서(533)는 렌즈(532)를 통해 집광되고, 사용자(102)의 눈에서 반사된 반사 광을 감지할 수 있다. 예를 들어, 시선 추적 센서(533)는 시선 추적 도파관(502)을 경유하여 제4 스플리터(514)를 통해 방출된 반사 광을 감지할 수 있다. 시선 추적 센서(533)는 ET Optic(531) 및 렌즈(532)를 통과한 반사 광을 감지하도록 배치될 수 있다.
일 실시 예에 따르면, 시선 추적 모듈(530)이 배치된 위치는 도 5에 도시된 위치에 제한되지 않을 수 있다. 예를 들어, 시선 추적 모듈(530)은 제1 글라스(201)와 사용자(102)의 눈 사이에 배치될 수도 있다.
일 실시 예에 따르면, 초점 거리(eye relief, 541)는 사용자(102)의 눈으로부터 시선 추적 도파관(502)까지의 거리로 이해될 수 있으며, 아이 박스(eye box)는 디스플레이 도파관(501)을 통해 방출되는 디스플레이 광이 사용자(102)의 눈을 중심으로 생성되는 특정 영역(미도시)으로 이해될 수 있다. 상기 아이박스는 디스플레이 도파관(501)을 통해 방출되는 광의 세기를 기준으로 영역이 형성될 수 있으며, 화면 표시와 관련된 사용성에 대한 기준이 상기 아이박스의 크기를 결정하는데 이용될 수 있다. 예를 들어, 상기 광의 세기가 100% 내지 80%에 해당하는 영역에 아이박스가 형성될 수 있다. 초점 거리(541)과 상기 아이박스는 스플리터들(511, 512, 513, 514)의 배치 각도 및/또는 위치를 결정하기 위해 이용될 수 있다.
도 6은 일 실시 예에 시선 추적 모듈(530)의 블록 구성도를 도시한다.
도 6을 참조하면, 시선 추적 모듈(530)은 ET Optic(531), 렌즈(532), 시선 추적 센서(533), 영상 처리부(ISP(image signal processor), 605), 메모리 제어부(memory controller, 607), ARM Core(609), 오디오/비디오 코덱(A/V Codec, 611), 디스플레이 프로세서(DP(display processor), 613), 주변장치(peripherals, 615)를 포함할 수 있다.일 실시 예에 따르면, 시선 추적 모듈(530)은 도 6에 도시된 구성에 제한되지 않는다. 예를 들어, 시선 추적 모듈(530)은 시선 추적 광학계를 더 포함할 수 있다. 상기 시선 추적 광학계는 시선 추적 도파관(502)을 통해 방출된 광을 렌즈(532)에 전달하기 위한 광학계로 이해될 수 있다. 일 실시 예에 따르면, ET 카메라(603)은 렌즈(532), 시선 추적 센서(533), 및 영상 처리부(605)를 포함할 수 있다. ET 카메라(603)는 시선 추적 도파관(502)를 경유하여 유도된 광을 감지하여 영상 처리할 수 있다. 일 실시 예에 따르면, AP(application processor)(601)는 ET 카메라(603), 메모리 제어부(607), ARM Core(609), 오디오/비디오 코덱(611), 디스플레이 프로세서(613), 및 주변장치(615)를 포함할 수 있다. AP(601)의 구성 요소는 도 6에 도시된 구성에 제한되지 않는다. 예를 들어, AP(601)는 이미지 센서 인터페이스(image sensor interface), GUP/GUP를 더 포함할 수 있다. 일 실시 예에 따르면, 메모리 제어부(607), ARM Core(609), 비디오/오디오 코덱(611), 디스플레이 프로세서(DP, 613), 및 주변장치(615)는 Bus를 통해 작동적으로 및/또는 전기적으로 연결될 수 있다.
일 실시 예에 따르면, 사용자(102)의 눈으로부터 반사된 반사 광은 시선 추적 도파관(502)을 경유하여 방출되고, ET Optic(531)과 렌즈(532)를 통과하여 시선 추적 센서(533)에 유도될 수 있다. 시선 추적 센서(533)는 사용자(102)의 눈으로부터 반사된 반사 광을 감지할 수 있고, 상기 반사 광을 광전변환(photoelectric transformation)에 의해 전기에너지(이하 “영상 신호”)로 변환할 수 있다. 시선 추적 센서(533)는 상기 변환된 영상 신호를 영상 처리부(605)에 제공할 수 있다.
일 실시 예에 따르면, 영상 처리부(605)는 시선 추적 센서(533)로부터 제공받은 영상 신호를 시선 추적 검출에 적합하도록 영상 처리할 수 있다. 상기 영상 처리는 시선 추적 검출에 적합하도록 상기 영상 신호의 밝기, 색감, 또는 선명도를 조절하는 것을 포함하며, 화이트 밸런스(white balance)라 일컫는다. 상기 영상 처리된 영상 신호는 메모리 제어부(607)에 저장될 수 있다. ARM Core(609)는 메모리 제어부(607)에 저장된 영상 신호로부터 사용자(102)의 눈동자의 특징점을 추출하여 눈의 위치를 검출할 수 있다. 증강 현실 글라스(100)는 상기 추출된 특징점과 상기 검출된 눈의 위치를 비교하여 사용자(102)의 시선을 추적할 수 있다. 상기 검출된 눈의 위치 정보는 디스플레이 프로세서(613)로 제공될 수 있다. 상기 검출된 눈의 위치에 관한 이미지(예: 포인터)는 디스플레이 프로세서(613)로 제공되어 증강 현실 이미지에 합성될 수 있다. 증강 현실 글라스(100)는 제1 광원(231)통해서 상기 눈의 위치에 관한 이미지가 합성된 증강 현실 이미지의 광을 디스플레이 도파관(501)으로 방출할 수 있다. 상기 합성된 증강 현실 이미지의 광은 디스플레이 도파관(501)을 통해 사용자(102)의 눈으로 유도될 수 있다. 예를 들어, 사용자(102)는 디스플레이 도파관(501)으로부터 방출된 상기 눈의 위치에 관한 이미지가 합성된 증강 현실 이미지의 광을 인지할 수 있고, 이를 통해 사용자(102)의 눈의 위치 또는 궤적을 인지할 수 있다. 오디오/비디오 코덱(611)은 상기 영상 신호를 인코딩(encoding) 또는 디코딩(decoding)할 수 있다. 주변 장치(615)는 SIP(serial peripheral interface) 또는 USB(universal serial bus)를 포함할 수 있다.
도 7은 일 실시 예에 따른 사용자(102)의 시선을 추적하기 위한 증강 현실 글라스(100)의 동작 방법의 흐름도를 도시한다.
이하에서 설명되는 일련의 동작들은 증강 현실 글라스(100)에 의해 동시에 수행되거나 순서가 바뀌어 수행될 수 있고, 일부 동작이 생략되거나 추가될 수 있다.
도 7을 참조하면, 증강 현실 글라스(100)는 제1 광원(231)을 통해서 디스플레이 광이 방출할 수 있고, 상기 방출된 디스플레이 광은 사용자(102)의 눈에서 반사될 수 있다. 또한 상기 반사된 광은 시선 추적 센서(533)로 유도될 수 있고, 증강 현실 글라스(100)는 시선 추적 센서(533)가 감지한 반사 광에 기반하여 사용자(102)의 시선을 추적할 수 있다.
일 실시 예에 따른 동작 701에서, 증강 현실 글라스(100)는 제1 광원(231)을 통해서 증강 현실 이미지를 디스플레이 하기 위한 디스플레이 광을 방출할 수 있다. 제1 광원(231)은 디스플레이 영상의 광을 방출하는 디스플레이 장치(예: 자발광 디스플레이 장치) 또는 별도의 광원으로부터 방출된 광을 반사시켜 디스플레이 영상의 광을 방출하는 디스플레이 장치로 이해될 수 있다. 예를 들어, 증강 현실 글라스(100)는 제1 광원(231)을 통해서 가상 객체를 디스플레이하기 위한 광을 방출할 수 있다.
일 실시 예에 따르면, 사용자(102)의 입력에 응답하여, 증강 현실 글라스(100)는 디스플레이 광을 방출하도록 제1 광원(231)을 제어할 수 있다. 예를 들어, 증강 현실 이미지를 포함한 증강 현실 콘텐트를 재생하는 사용자(102)의 입력에 응답하여, 증강 현실 글라스(100)는 상기 증강 현실 콘텐트의 광을 방출하도록 제1 광원(231)을 제어할 수 있다.
일 실시 예에 따른 동작 703에서, 증강 현실 글라스(100)는 시선 추적 센서(533)를 통해서 검출된 반사 광에 기초하여 사용자(102)의 시선을 추적할 수 있다. 증강 현실 글라스(100)는 시선 추적 모듈(530)을 통해서 상기 검출된 반사 광에 기초하여 사용자(102)의 안구 이미지를 캡쳐(capture)할 수 있다. 증강 현실 글라스(100)는 상기 안구 이미지의 특징점을 추출하여, 사용자(102)의 시선의 위치를 검출할 수 있다. 증강 현실 글라스(100)는 상기 추출된 특징점과 상기 검출된 안구의 위치를 비교하여 사용자(102)의 시선을 추적할 수 있다. 상기 반사 광은 증강 현실 글라스(100)의 외부로부터 사용자(102)의 안구에 도달한 외부 광 및/또는 증강 현실 이미지를 나타내기 위한 디스플레이 광이 반사된 광을 포함할 수 있다.
일 실시 예에 따르면, 증강 현실 글라스(100)는 복수 개의 스플리터들 중 시선 추적 도파관(502)의 일 단에 배치된 제3 스플리터(513)를 통해서 상기 반사 광을 집광할 수 있다. 상기 집광된 반사 광은 상기 시선 추적 도파관(502)을 통해서 전파될 수 있다(may be propagated).
일 실시 예에 따르면, 증강 현실 글라스(100)는 스플리터들 중 시선 추적 도파관(502)의 타 단에 제4 스플리터(514)를 통해서 상기 시선 추적 도파관(502)으로부터 방출되는 반사 광을 글라스(330)의 일 면으로 방출할 수 있다. 상기 방출된 반사 광은 시선 추적 센서(533)로 유도될 수 있다.
일 실시 예에 따르면, 상기 방출된 반사 광의 경로는 적어도 하나의 회절 요소 또는 반사 요소(예: 전반사 거울)을 통해서 변경될 수 있다. 상기 경로가 변경된 반사 광은 시선 추적 센서(533)로 유도될 수 있다.
일 실시 예에 따르면, 증강 현실 글라스(100)의 제2 부재(221)의 내부 또는 외부의 일 면에 시선 추적 센서(533)가 배치된 경우, 시선 추적 도파관(502)으로부터 방출된 반사 광은 상기 전반사 거울 또는 프리즘을 통해 변경된 광 경로에 기반하여 시선 추적 센서(533)로 유도될 수 있다. 상기 제2 부재(221)는 사용자(102)의 귀에 지지되는 증강 현실 글라스(100)의 안경 다리로 이해될 수 있다.
일 실시 예에 따르면, 증강 현실 글라스(100)의 제1 부재(211)의 내부 또는 외부의 일 면에 시선 추적 센서(533)가 배치된 경우, 시선 추적 도파관(502)으로부터 방출된 반사 광은 상기 전반사 거울 또는 상기 프리즘을 통하지 않고 시선 추적 센서(533)로 유도될 수 있다. 상기 제1 부재(211)는 글라스(330)에 인접한 증강 현실 글라스(100)의 안경테로 이해될 수 있다.
일 실시 예에 따르면, 증강 현실 글라스(100)는 제2 광원(232)을 통해서 추가적인 광을 방출할 수 있으며, 증강 현실 글라스(100)가 제2 광원(232)을 통해서 추가적인 광을 방출하는 동작에 대해서는 도 8 및 도 9에서 상세히 설명한다.
도 8은 일 실시 예에 따른 증강 현실 글라스(100)의 주변의 조도에 따른 증강 현실 글라스(100)의 동작 방법의 흐름도를 도시한다.
도 8을 참조하면, 증강 현실 글라스(100)는 제1 광원(231)을 통해디스플레이 광을 방출하는 동안 제2 광원(232)을 통해사용자(102)의 눈 또는 눈 주변의 방향으로 추가적인 광을 더 방출할 수 있다.
일 실시 예에 따르면, 제1 광원(231), 제2 광원(232), 및 조도 센서는 서로 작동적으로 및/또는 전기적으로 연결될 수 있다. 예를 들어, 상기 조도 센서를 통해 감지된 밝기에 기반하여, 증강 현실 글라스(100)는 제1 광원(231)을 통해 방출하는 광의 조도(또는 밝기)를 조절할 수 있다.
일 실시 예에 따르면, 증강 현실 글라스(100)는 증강 현실 글라스(100) 주변의 조도(또는 밝기)에 기반하여, 제2 광원(232)을 통해 사용자(102)의 눈을 향해 추가적인 광을 방출할 수 있다. 예를 들어, 증강 현실 글라스(100) 주변의 밝기가 기준 값 이하인 경우, 증강 현실 글라스(100)는 제2 광원(232)을 통해 사용자(102)의 눈 또는 눈 주변의 방향을 향해 추가적인 광을 방출할 수 있다. 상기 추가적인 광의 광량(또는 밝기)는 사용자(102)의 눈 주변의 밝기가 상기 기준 값 이상이 될 수 있는 광량(또는 밝기)을 포함할 수 있다. 제2 광원(232)에서 방출되는 광이 사용자(102)의 눈 또는 눈 주변의 방향을 향하도록 증강 현실 글라스(100)의 내부 또는 외부 중 일 면에 배치될 수 있다. 예를 들어, 증강 현실 글라스(100)는 연결 부재(210)의 개구부(미도시)를 통해 제2 광원(232)의 렌즈가 노출되고, 상기 렌즈를 통해 방출된 광이 사용자(102)의 눈 또는 눈 주변을 향하도록 제2 광원(232)을 연결 부재(210)의 내부의 일 면에 배치할 수 있다.일 실시 예에 따른 동작 801에서, 증강 현실 글라스(100)는 증강 현실 글라스(100)의 주변의 조도(또는 밝기)가 기준 값 이하인지 판단할 수 있다. 상기 기준 값은 증강 현실 글라스(100)에 설정된 값이거나 사용자(102)가 설정한 값을 포함할 수 있다. 상기 주변은 범위는 사용자(102)의 눈에 반사되는 반사 광의 광량에 영향을 미치는 거리까지의 범위를 포함할 수 있다.
일 실시 예에 따르면, 증강 현실 글라스(100)는 조도 센서를 통해서 증강 현실 글라스(100)의 주변의 조도를 감지할 수 있다. 증강 현실 글라스(100)는 상기 감지된 조도와 기준 값을 비교할 수 있다. 증강 현실 글라스(100)는 상기 비교 결과에 기반하여 상기 감지된 조도가 상기 기준 값보다 이하인지 또는 이상인지 판단할 수 있다.
일 실시 예에 따르면, 상기 감지된 조도가 상기 기준 값 이하이면, 증강 현실 글라스(100)는 동작 803을 수행할 수 있고, 상기 감지된 조도가 상기 기준 값 이상이면, 증강 현실 글라스(100)는 동작 703을 수행할 수 있다.
일 실시 예에 따르면, 상기 감지된 조도가 상기 기준 값 이상인 경우, 증강 현실 글라스(100)는 제2 광원(232)을 통한 추가적인 광의 방출을 생략하고, 시선 추적 센서(533)를 통해서 검출한 반사 광에 기초하여 사용자(102)의 시선을 추적할 수 있다.
일 실시 예에 따른 동작 803에서, 상기 감지된 조도가 상기 기준 값 이하라고 판단한 것에 기반하여, 증강 현실 글라스(100)는 제2 광원(232)을 통해서 사용자(102)의 눈 방향으로 추가적인 광을 방출할 수 있다. 제2 광원(232)은 상기 감지된 조도가 상기 기준 값 이하인 경우, 상기 감지된 조도의 밝기를 보상하기 위해 추가적인 광을 방출할 수 있으며, 백색 LED 또는 적외선 LED를 포함할 수 있다.
일 실시 예에 따르면, 제1 광원(231)으로부터 방출된 디스플레이 광, 증강 현실 글라스(100)의 외부로부터 시스루 디스플레이(140)를 통해 사용자(102)의 눈으로 유입된 외부 광, 및 제2 광원(232)으로부터 방출된 추가적인 광이 사용자(102)의 눈에 반사될 수 있고, 증강 현실 글라스(100)는 시선 추적 센서(533)를 통해서 감지한 상기 반사 광들에 기반하여 사용자(102)의 시선을 추적할 수 있다.
일 실시 예에 따르면, 증강 현실 글라스(100)는 상기 감지한 반사 광들에 기반하여 사용자(102)의 안구 이미지를 획득할 수 있고, 상기 안구의 특징점을 추출하여 사용자의 시선 위치를 검출할 수 있다. 증강 현실 글라스(100)는 상기 추출된 특징점과 상기 검출된 안구의 위치를 비교하여 사용자(102)의 시선을 추적할 수 있다.
도 9는 일 실시 예에 따른 디스플레이 광의 광량에 따른 증강 현실 글라스(100)의 동작 방법의 흐름도를 도시한다.
도 9를 참조하면, 증강 현실 글라스(100)는 제1 광원(231)을 통해 디스플레이 광을 방출하는 동안 제2 광원(232)을 통해 사용자(102)의 눈 또는 눈 주변의 방향으로 추가적인 광을 더 방출할 수 있다. 이하에서, 설명하는 내용 중 도 8에서 설명한 내용과 중복되는 내용은 생략하도록 한다.
일 실시 예에 따르면, 동작 901에서, 증강 현실 글라스(100)는 제1 광원(231)이 방출하는 디스플레이 광의 광량이 기준 값 이하인지 판단할 수 있다.
일 실시 예에 따르면, 증강 현실 글라스(100)는 조도 센서를 통해서 상기 디스플레이 광의 광량(또는 밝기)을 감지할 수 있다. 증강 현실 글라스(100)는 상기 감지된 광량과 기준 값을 비교할 수 있다. 증강 현실 글라스(100)는 상기 비교 결과에 기반하여 상기 감지된 광량이 상기 기준 값 이하인지 이상인지 판단할 수 있다.
일 실시 예에 따르면, 상기 감지된 광량이 상기 기준 값 이하이면, 증강 현실 글라스(100)는 동작 903을 수행할 수 있고, 상기 감지된 광량이 상기 기준 값 이상이면, 증강 현실 글라스(100)는 동작 703을 수행할 수 있다.
일 실시 예에 따르면, 상기 감지된 광량이 상기 기준 값 이상인 경우, 증강 현실 글라스(100)는 제2 광원(232)을 통한 추가적인 광의 방출을 생략하고, 시선 추적 센서(533)를 통해서 검출한 반사 광에 기초하여 사용자(102)의 시선을 추적할 수 있다.
일 실시 예에 따른 동작 903에서, 상기 감지된 광량이 상기 기준 값 이하라고 판단한 것에 기반하여, 증강 현실 글라스(100)는 제2 광원(232)을 통해서 사용자(102)의 눈 방향으로 추가적인 광을 방출할 수 있다. 제2 광원(232)은 상기 기준 값 이하인 광량을 보상하기 위해 추가적인 광을 방출할 수 있다.
일 실시 예에 따르면, 사용자(102)의 눈으로 유입되는 디스플레이 광, 외부 광, 및 제2 광원(232)으로부터 방출된 추가적인 광이 사용자(102)의 눈에서 반사될 수 있고, 증강 현실 글라스(100)는 시선 추적 센서(533)를 통해서 감지한 상기 반사 광들에 기반하여 사용자(102)의 시선을 추적할 수 있다.
도 8 또는 도 9에 도시되지 않았지만, 다양한 실시예에 따르면, 제2 광원(232)을 통해 사용자(102)의 눈 방향으로 추가적인 광을 방출하는 조건은 사용자(102)의 눈 주변의 밝기 또는 사용자(102)의 눈에 반사된 반사 광의 광량에 기반할 수 있다. 예를 들어, 시선 추적 모듈(530)이 수신한 사용자(102)의 눈에 반사된 반사 광의 광량이 지정된 조건(예: 밝기)을 만족하지 못하는 경우, 프로세서(300)는 제2 광원(232)이 추가적인 광을 방출하도록 제어할 수 있다.
도 10는 일 실시 예에 따른 네트워크 환경(1000) 내의 전자 장치(1001)의 블록 구성도를 도시한다.
도 10을 참조하면, 네트워크 환경(1000)에서 전자 장치(1001)(예: 전자 장치(100))는 제 1 네트워크(1098)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(1002)와 통신하거나, 또는 제 2 네트워크(1099)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(1004) 또는 서버(1008)와 통신할 수 있다. 일 실시 예에 따르면, 전자 장치(1001)는 서버(1008)를 통하여 전자 장치(1004)와 통신할 수 있다. 일 실시 예에 따르면, 전자 장치(1001)는 프로세서(1020)(예: 프로세서(300)), 메모리(1030), 입력 장치(1050), 음향 출력 장치(1055), 표시 장치(1060)(예: 디스플레이 모듈(310)), 오디오 모듈(1070), 센서 모듈(1076)(예: 센서 모듈(320)), 인터페이스(1077), 햅틱 모듈(1079), 카메라 모듈(1080)(예: 카메라(350)), 전력 관리 모듈(1088), 배터리(1089)(예: 배터리(340)), 통신 모듈(1090)(예: 통신 인터페이스(360)), 가입자 식별 모듈(1096), 또는 안테나 모듈(1097)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(1001)에는, 이 구성요소들 중 적어도 하나(예: 표시 장치(1060) 또는 카메라 모듈(1080))가 생략되거나, 하나 이상의 다른 구성 요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들은 하나의 통합된 회로로 구현될 수 있다. 예를 들면, 센서 모듈(1076)(예: 지문 센서, 홍채 센서, 또는 조도 센서)은 표시 장치(1060)(예: 디스플레이)에 임베디드된 채 구현될 수 있다
프로세서(1020)는, 예를 들면, 소프트웨어(예: 프로그램(1040))를 실행하여 프로세서(1020)에 연결된 전자 장치(1001)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)을 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시 예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(1020)는 다른 구성요소(예: 센서 모듈(1076) 또는 통신 모듈(1090))로부터 수신된 명령 또는 데이터를 휘발성 메모리(1032)에 로드하고, 휘발성 메모리(1032)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(1034)에 저장할 수 있다. 일 실시 예에 따르면, 프로세서(1020)는 메인 프로세서(1021)(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(1023)(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 추가적으로 또는 대체적으로, 보조 프로세서(1023)은 메인 프로세서(1021)보다 저전력을 사용하거나, 또는 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(1023)는 메인 프로세서(1021)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(1023)는, 예를 들면, 메인 프로세서(1021)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(1021)를 대신하여, 또는 메인 프로세서(1021)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(1021)와 함께, 전자 장치(1001)의 구성요소들 중 적어도 하나의 구성요소(예: 표시 장치(1060), 센서 모듈(1076), 또는 통신 모듈(1090))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시 예에 따르면, 보조 프로세서(1023)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 카메라 모듈(1080) 또는 통신 모듈(1090))의 일부로서 구현될 수 있다.
메모리(1030)는, 전자 장치(1001)의 적어도 하나의 구성요소(예: 프로세서(1020) 또는 센서모듈(1076))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(1040)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(1030)는, 휘발성 메모리(1032) 또는 비휘발성 메모리(1034)를 포함할 수 있다.
프로그램(1040)은 메모리(1030)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(1042), 미들 웨어(1044) 또는 어플리케이션(1046)을 포함할 수 있다.
입력 장치(1050)는, 전자 장치(1001)의 구성요소(예: 프로세서(1020))에 사용될 명령 또는 데이터를 전자 장치(1001)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 장치(1050)은, 예를 들면, 마이크, 마우스, 키보드, 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 장치(1055)는 음향 신호를 전자 장치(1001)의 외부로 출력할 수 있다. 음향 출력 장치(1055)는, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있고, 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일 실시 예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
표시 장치(1060)는 전자 장치(1001)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 표시 장치(1060)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시 예에 따르면, 표시 장치(1060)는 터치를 감지하도록 설정된 터치 회로(touch circuitry), 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(예: 압력 센서)를 포함할 수 있다.
오디오 모듈(1070)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일 실시 예에 따르면, 오디오 모듈(1070)은, 입력 장치(1050)를 통해 소리를 획득하거나, 음향 출력 장치(1055), 또는 전자 장치(1001)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(1002)) (예: 스피커 또는 헤드폰))를 통해 소리를 출력할 수 있다.
센서 모듈(1076)은 전자 장치(1001)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시 예에 따르면, 센서 모듈(1076)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(1077)는 전자 장치(1001)이 외부 전자 장치(예: 전자 장치(1002))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일 실시 예에 따르면, 인터페이스(1077)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(1078)는, 그를 통해서 전자 장치(1001)가 외부 전자 장치(예: 전자 장치(1002))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일 실시 예에 따르면, 연결 단자(1078)은, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(1079)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일 실시 예에 따르면, 햅틱 모듈(1079)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(1080)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시 예에 따르면, 카메라 모듈(1080)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(1088)은 전자 장치(1001)에 공급되는 전력을 관리할 수 있다. 일 실시 예에 따르면, 전력 관리 모듈(388)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(1089)는 전자 장치(1001)의 적어도 하나의 구성 요소에 전력을 공급할 수 있다. 일 실시 예에 따르면, 배터리(1089)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(1090)은 전자 장치(1001)와 외부 전자 장치(예: 전자 장치(1002), 전자 장치(1004), 또는 서버(1008))간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(1090)은 프로세서(1020)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시 예에 따르면, 통신 모듈(1090)은 무선 통신 모듈(1092)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(1094)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(1098)(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제 2 네트워크(1099)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성 요소(예: 단일 칩)으로 통합되거나, 또는 서로 별도의 복수의 구성 요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(1092)은 가입자 식별 모듈(1096)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(1098) 또는 제 2 네트워크(1099)와 같은 통신 네트워크 내에서 전자 장치(1001)를 확인 및 인증할 수 있다.
안테나 모듈(1097)은 신호 또는 전력을 외부(예: 외부 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일 실시 예에 따르면, 안테나 모듈은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 하나의 안테나를 포함할 수 있다. 일 실시 예에 따르면, 안테나 모듈(1097)은 복수의 안테나들을 포함할 수 있다. 이런 경우, 제 1 네트워크(1098) 또는 제 2 네트워크(1099)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(1090)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(1090)과 외부 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC)이 추가로 안테나 모듈(1097)의 일부로 형성될 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))를 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일 실시 예에 따르면, 명령 또는 데이터는 제 2 네트워크(1099)에 연결된 서버(1008)를 통해서 전자 장치(1001)와 외부의 전자 장치(1004)간에 송신 또는 수신될 수 있다. 전자 장치(1002, 1004) 각각은 전자 장치(1001)와 동일한 또는 다른 종류의 장치일 수 있다. 일 실시 예에 따르면, 전자 장치(1001)에서 실행되는 동작들의 전부 또는 일부는 외부 전자 장치들(1002, 1004, or 1008) 중 하나 이상의 외부 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(1001)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(1001)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(1001)로 전달할 수 있다. 전자 장치(1001)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
본 문서에 개시된 다양한 실시 예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치 (예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시 예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", “A 또는 B 중 적어도 하나”, "A, B 또는 C", "A, B 및 C 중 적어도 하나” 및 “A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, “기능적으로” 또는 “통신적으로”라는 용어와 함께 또는 이런 용어 없이, “커플드” 또는 “커넥티드”라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시 예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시 예들은 기기(machine)(예: 전자 장치(1001)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(1036) 또는 외장 메모리(1038))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(1040))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(1001))의 프로세서(예: 프로세서(1020))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시 예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시 예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
일 실시 예에 따르면, 증강 현실 글라스(100)는 증강 현실 이미지를 디스플레이하기 위한 디스플레이 광을 방출하는 제1 광원(231), 사용자(102)의 눈에서 반사된 반사 광을 검출하는 시선 추적 센서, 상기 제1 광원(231)으로부터 방출된 디스플레이 광을 시스루(see-through) 디스플레이(104)의 표시 영역으로 유도하는 디스플레이 도파관(display waveguide)(501) 및 상기 반사 광을 상기 시선 추적 센서로 유도하는 시선 추적 도파관(ET waveguide)(502)을 포함하는 글라스(glass)(330), 상기 제1 광원(231) 및 상기 시선 추적 센서와 전기적으로 연결된 프로세서(300)를 포함할 수 있다. 상기 프로세서(300)는 상기 디스플레이 광을 방출하도록 상기 제1 광원(231)을 제어하고, 및 상기 시선 추적 센서를 통해서 상기 검출된 반사 광에 기초하여 상기 사용자(102)의 시선을 추적할 수 있다.
일 실시 예에 따르면, 상기 디스플레이 도파관(501)은 상기 글라스(330)의 제1 영역(401)에 배치되고, 상기 시선 추적 도파관(502)은 상기 글라스의 상기 제1 영역(401)과 중첩되지 않는 제2 영역(411)에 배치될 수 있다.
일 실시 예에 따르면, 상기 제1 영역(401)은 상기 글라스(330)의 상단부에 배치되고, 상기 제2 영역(411)은 상기 제1 영역(401)의 하단에 배치될 수 있다.
일 실시 예에 따르면, 상기 글라스(330)는 상기 디스플레이 도파관(501)의 일 단 및 타 단에 배치된 복수 개의 스플리터(splitter)들과 상기 시선 추적 도파관(502)의 일 단 및 타 단에 배치된 복수 개의 스플리터들을 더 포함할 수 있다.
일 실시 예에 따르면, 상기 복수 개의 스플리터들 중 상기 디스플레이 도파관(501)의 일 단에 배치된 제1 스플리터(511)는 상기 제1 광원(231)으로부터 방출된 상기 디스플레이 광이 상기 디스플레이 도파관(501)으로 집광하도록 배치될 수 있다. 상기 복수 개의 스플리터들 중 상기 디스플레이 도파관(501)의 타 단에 배치된 제2 스플리터(512)는 상기 디스플레이 도파관(501)으로부터 방출되는 디스플레이 광이 상기 글라스(330)의 일면으로 방출되도록 배치될 수 있다.
일 실시 예에 따르면, 상기 복수 개의 스플리터들 중 상기 시선 추적 도파관(502)의 일 단에 배치된 제3 스플리터(513)는 상기 반사 광을 상기 시선 추적 도파관(502)으로 집광하도록 배치될 수 있다. 상기 복수 개의 스플리터들 중 상기 시선 추적 도파관(502)의 타 단에 배치된 제4 스플리터(514)는 상기 시선 추적 도파관(502)으로부터 방출되는 반사 광을 상기 시선 추적 센서로 유도하도록 배치될 수 있다.
일 실시 예에 따르면, 증강 현실 글라스(100)는 상기 시선 추적 도파관(502)에 집광된 반사 광의 경로를 변경하는 전반사 거울을 더 포함할 수 있다.
일 실시 예에 따르면, 상기 글라스(330)와 인접한 제1 부재(211)로부터 연장된 제2 부재(221)의 내부 또는 외부의 일 면에 상기 시선 추적 센서가 배치될 수 있다.
일 실시 예에 따르면, 상기 글라스(330)에 배치된 상기 시선 추적 도파관(502)에 집광된 반사 광의 경로를 변경하고, 상기 경로가 변경된 반사 광을 상기 제2 부재(221)의 내부 또는 외부의 일 면에 배치된 상기 시선 추적 센서로 유도하도록 상기 시선 추적 도파관(502)의 일 단에 배치된 전반사 거울을 더 포함할 수 있다.
일 실시 예에 따르면, 증강 현실 글라스(100)는 상기 사용자(102)의 눈 방향으로 추가적인 광을 방출하는 제2 광원(232)을 더 포함할 수 있다.
일 실시 예에 따르면, 증강 현실 글라스(100)는 상기 제2 광원(232)은 백색 LED 또는 적외선 LED를 포함할 수 있다.
일 실시 예에 따르면, 상기 프로세서(300)는 상기 표시 영역에 이미지 프레임이 디스플레이되도록 상기 제1 광원(231)을 제어하고, 상기 이미지 프레임에 포함된 픽셀 값에 기초하여 상기 디스플레이되는 이미지 프레임의 조도 값을 결정하고, 상기 이미지 프레임의 결정된 조도 값에 기초하여 제2 광원(232)이 출력하는 추가적인 광의 광량을 제어할 수 있다.
일 실시 예에 따르면, 증강 현실 글라스(100)는 광량을 감지하는 조도 센서를 더 포함할 수 있다.
일 실시 예에 따르면, 상기 프로세서(300)는 상기 조도 센서를 통해서 상기 증강 현실 글라스(100)의 주변의 조도를 감지하고, 상기 조도가 기준 값 이하인 경우, 제2 광원(232)을 통해서 상기 사용자(102)의 눈 방향으로 추가적인 광을 방출하도록 설정될 수 있다.
일 실시 예에 따르면, 상기 프로세서(300)는 상기 조도 센서를 통해서 상기 사용자(102)의 눈 주변의 밝기를 감지하고, 상기 밝기가 기준 값 이하인 경우, 제2 광원(232)을 통해서 상기 사용자(102)의 눈 방향으로 추가적인 광을 방출하도록 설정될 수 있다.
일 실시 예에 따르면, 증강 현실 글라스(100)의 동작 방법은 제1 광원(231)을 통해서 증강 현실 이미지를 디스플레이 하기 위한 디스플레이 광을 방출하는 동작을 포함할 수 있다. 상기 제1 광원(231)으로부터 방출된 디스플레이 광은 디스플레이 도파관(501)을 통해서 시스루(see-through) 디스플레이(104)의 표시 영역으로 유도될 수 있다. 증강 현실 글라스(100)의 동작 방법은 시선 추적 센서(eye tracking(ET) sensor)를 통해서 사용자(102)의 눈에서 반사된 반사 광을 검출하는 동작을 포함할 수 있다. 시선 추적 도파관(ET waveguide)(502)을 통해서 상기 반사 광은 상기 시선 추적 센서로 유도될 수 있다. 상기 디스플레이 도파관(501)과 상기 시선 추적 도파관(502)은 상기 증강 현실 글라스(100)의 글라스(glass)(330)에 포함될 수 있다. 증강 현실 글라스(100)의 동작 방법은 상기 검출된 반사 광에 기초하여 상기 사용자(102)의 시선을 추적하는 동작을 포함할 수 있다.
일 실시 예에 따르면, 증강 현실 글라스(100)의 동작 방법은 제2 광원(232)을 통해서 상기 사용자(102)의 눈 방향으로 추가적인 광을 방출하도록 제어하는 동작을 포함할 수 있다.
일 실시 예에 따르면, 증강 현실 글라스(100)의 동작 방법은 상기 제1 광원(231)을 통해서 상기 디스플레이 광을 방출하도록 제어하는 동작을 포함할 수 있다. 증강 현실 글라스(100)의 동작 방법은 상기 디스플레이 광이 방출된 상태에서, 상기 제2 광원(232)을 통해서 추가적인 광을 방출하는 동작을 포함할 수 있다.
일 실시 예에 따르면, 증강 현실 글라스(100)의 동작 방법은 조도 센서를 통해서 상기 증강 현실 글라스(100)의 주변의 조도를 감지하는 동작을 포함할 수 있다. 증강 현실 글라스(100)의 동작 방법은 상기 조도가 기준 값 이하인 경우, 제2 광원(232)을 통해서 상기 사용자(102)의 눈 방향으로 추가적인 광을 방출하는 동작을 포함할 수 있다.
일 실시 예에 따르면, 증강 현실 글라스(100)의 동작 방법은 조도 센서를 통해서 상기 제1 광원(231)으로부터 방출된 상기 디스플레이 광의 광량을 감지하는 동작을 포함할 수 있다. 증강 현실 글라스(100)의 동작 방법은 상기 광량이 기준 값 이하인 경우, 제2 광원(232)을 통해서 상기 사용자(102)의 눈 방향으로 추가적인 광을 방출하는 동작을 포함할 수 있다.

Claims (15)

  1. 증강 현실 글라스(augmented reality(AR) glass)에 있어서,
    증강 현실 이미지를 디스플레이하기 위한 디스플레이 광을 방출하는 제1 광원;
    사용자의 눈에서 반사된 반사 광을 검출하는 시선 추적 센서(eye tracking(ET) sensor);
    상기 제1 광원으로부터 방출된 디스플레이 광을 시스루(see-through) 디스플레이의 표시 영역으로 유도하는 디스플레이 도파관(display waveguide) 및 상기 반사 광을 상기 시선 추적 센서로 유도하는 시선 추적 도파관(ET waveguide)을 포함하는 글라스(glass);
    상기 제1 광원 및 상기 시선 추적 센서와 전기적으로 연결된 프로세서를 포함하고;
    상기 프로세서는:
    상기 디스플레이 광을 방출하도록 상기 제1 광원을 제어하고, 및
    상기 시선 추적 센서를 통해서 상기 검출된 반사 광에 기초하여 상기 사용자의 시선을 추적하는 증강 현실 글라스.
  2. 청구항 1에 있어서,
    상기 디스플레이 도파관은 상기 글라스의 제1 영역에 배치되고, 상기 시선 추적 도파관은 상기 글라스의 상기 제1 영역과 중첩되지 않는 제2 영역에 배치된 증강 현실 글라스.
  3. 청구항 2에 있어서,
    상기 제1 영역은 상기 글라스의 상단부에 배치되고, 상기 제2 영역은 상기 제1 영역의 하단에 배치된 증강 현실 글라스.
  4. 청구항 1에 있어서,
    상기 글라스는 상기 디스플레이 도파관의 일 단 및 타 단에 배치된 복수 개의 스플리터(splitter)들과 상기 시선 추적 도파관의 일 단 및 타 단에 배치된 복수 개의 스플리터들을 더 포함한 증강 현실 글라스.
  5. 청구항 4에 있어서,
    상기 복수 개의 스플리터들 중 상기 디스플레이 도파관의 일 단에 배치된 제1 스플리터는 상기 제1 광원으로부터 방출된 상기 디스플레이 광이 상기 디스플레이 도파관으로 집광하도록 배치되고,
    상기 복수 개의 스플리터들 중 상기 디스플레이 도파관의 타 단에 배치된 제2 스플리터는 상기 디스플레이 도파관으로부터 방출되는 디스플레이 광이 상기 글라스의 일면으로 방출되도록 배치된 증강 현실 글라스.
  6. 청구항 4에 있어서,
    상기 복수 개의 스플리터들 중 상기 시선 추적 도파관의 일 단에 배치된 제3 스플리터는 상기 반사 광을 상기 시선 추적 도파관으로 집광하도록 배치되고,
    상기 복수 개의 스플리터들 중 상기 시선 추적 도파관의 타 단에 배치된 제4 스플리터는 상기 시선 추적 도파관으로부터 방출되는 반사 광을 상기 시선 추적 센서로 유도하도록 배치된 증강 현실 글라스.
  7. 청구항 1에 있어서,
    상기 시선 추적 도파관에 집광된 반사 광의 경로를 변경하는 전반사 거울을 더 포함하는 증강 현실 글라스.
  8. 청구항 1에 있어서,
    상기 글라스와 인접한 제1 부재로부터 연장된 제2 부재의 내부 또는 외부의 일면에 상기 시선 추적 센서가 배치된 증강 현실 글라스.
  9. 청구항 8에 있어서,
    상기 글라스에 배치된 상기 시선 추적 도파관에 집광된 반사 광의 경로를 변경하고, 상기 경로가 변경된 반사 광을 상기 제2 부재의 내부 또는 외부의 일면에 배치된 상기 시선 추적 센서로 유도하도록 상기 시선 추적 도파관의 일 단에 배치된 전반사 거울을 더 포함하는 증강 현실 글라스.
  10. 청구항 1에 있어서,
    상기 사용자의 눈 방향으로 추가적인 광을 방출하는 제2 광원을 더 포함하는 증강 현실 글라스.
  11. 청구항 10에 있어서,
    상기 제2 광원은 백색 LED 또는 적외선 LED를 포함하는 증강 현실 글라스.
  12. 청구항 1에 있어서,
    상기 프로세서는:
    상기 표시 영역에 이미지 프레임이 디스플레이되도록 상기 제1 광원을 제어하고,
    상기 이미지 프레임에 포함된 픽셀 값에 기초하여 상기 디스플레이되는 이미지 프레임의 조도 값을 결정하고,
    상기 이미지 프레임의 결정된 조도 값에 기초하여 제2 광원이 출력하는 추가적인 광의 광량을 제어하는 증강 현실 글라스.
  13. 청구항 1에 있어서,
    광량을 감지하는 조도 센서를 더 포함하는 증강 현실 글라스.
  14. 청구항 13에 있어서,
    상기 프로세서는:
    상기 조도 센서를 통해서 상기 증강 현실 글라스의 주변의 조도를 감지하고,
    상기 조도가 기준 값 이하인 경우, 제2 광원을 통해서 상기 사용자의 눈 방향으로 추가적인 광을 방출하도록 설정된 증강 현실 글라스.
  15. 청구항 13에 있어서,
    상기 프로세서는:
    상기 조도 센서를 통해서 상기 사용자의 눈 주변의 밝기를 감지하고,
    상기 밝기가 기준 값 이하인 경우, 제2 광원을 통해서 상기 사용자의 눈 방향으로 추가적인 광을 방출하도록 설정된 증강 현실 글라스.
PCT/KR2021/000791 2020-06-18 2021-01-20 증강 현실 글라스 및 그 동작 방법 WO2021256651A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/067,336 US11852830B2 (en) 2020-06-18 2022-12-16 Augmented reality glass and operating method therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0074406 2020-06-18
KR1020200074406A KR20210156613A (ko) 2020-06-18 2020-06-18 증강 현실 글라스 및 그 동작 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/067,336 Continuation US11852830B2 (en) 2020-06-18 2022-12-16 Augmented reality glass and operating method therefor

Publications (1)

Publication Number Publication Date
WO2021256651A1 true WO2021256651A1 (ko) 2021-12-23

Family

ID=79177374

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/000791 WO2021256651A1 (ko) 2020-06-18 2021-01-20 증강 현실 글라스 및 그 동작 방법

Country Status (3)

Country Link
US (1) US11852830B2 (ko)
KR (1) KR20210156613A (ko)
WO (1) WO2021256651A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114510149A (zh) * 2022-02-15 2022-05-17 深圳市恒必达电子科技有限公司 一种带力量感应的vr/ar体感装置和力度识别系统
WO2024006165A1 (en) * 2022-06-30 2024-01-04 Apple Inc. Eye imaging system

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024025126A1 (ko) * 2022-07-26 2024-02-01 삼성전자 주식회사 웨어러블 전자 장치 및 그 동작 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150013815A (ko) * 2012-05-21 2015-02-05 루머스 리미티드 안구-추적기와 헤드-탑재 디스플레이 통합 시스템
JP2017135605A (ja) * 2016-01-28 2017-08-03 コニカミノルタ株式会社 画像表示装置
KR20180135646A (ko) * 2017-06-13 2018-12-21 한국전자통신연구원 광학 투시 기반의 합성 이미지 제공 방법 및 이를 위한 장치
KR20190099374A (ko) * 2016-12-31 2019-08-27 루머스 리미티드 도광 광학 소자를 통한 망막 이미징 기반 안구 추적기
JP2020013132A (ja) * 2015-02-26 2020-01-23 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． ニアアイディスプレイ用装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3847799B2 (ja) 1994-08-05 2006-11-22 キヤノン株式会社 視線検出系を有した表示装置
JP4040730B2 (ja) 1997-09-26 2008-01-30 オリンパス株式会社 映像表示装置
US9625723B2 (en) 2013-06-25 2017-04-18 Microsoft Technology Licensing, Llc Eye-tracking system using a freeform prism
WO2015198477A1 (ja) 2014-06-27 2015-12-30 株式会社Ｆｏｖｅ 視線検知装置
US9494799B2 (en) 2014-09-24 2016-11-15 Microsoft Technology Licensing, Llc Waveguide eye tracking employing switchable diffraction gratings
US10565446B2 (en) 2015-09-24 2020-02-18 Tobii Ab Eye-tracking enabled wearable devices
US11609427B2 (en) 2015-10-16 2023-03-21 Ostendo Technologies, Inc. Dual-mode augmented/virtual reality (AR/VR) near-eye wearable displays
EP3602156A4 (en) 2017-03-21 2020-12-23 Magic Leap, Inc. SPATIAL LIGHT MODULATOR LIGHTING DISPLAY SYSTEM FOR DIVIDED PUPILS
KR20240046291A (ko) 2017-03-22 2024-04-08 매직 립, 인코포레이티드 디스플레이 시스템들을 위한 깊이 기반 포비티드 렌더링
US10528128B1 (en) 2017-12-15 2020-01-07 Facebook Technologies, Llc Head-mounted display devices with transparent display panels for eye tracking
US11402647B2 (en) 2019-05-20 2022-08-02 Facebook Tehcnologies, Llc Devices with monochromatic liquid crystal on silicon displays

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150013815A (ko) * 2012-05-21 2015-02-05 루머스 리미티드 안구-추적기와 헤드-탑재 디스플레이 통합 시스템
JP2020013132A (ja) * 2015-02-26 2020-01-23 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． ニアアイディスプレイ用装置
JP2017135605A (ja) * 2016-01-28 2017-08-03 コニカミノルタ株式会社 画像表示装置
KR20190099374A (ko) * 2016-12-31 2019-08-27 루머스 리미티드 도광 광학 소자를 통한 망막 이미징 기반 안구 추적기
KR20180135646A (ko) * 2017-06-13 2018-12-21 한국전자통신연구원 광학 투시 기반의 합성 이미지 제공 방법 및 이를 위한 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114510149A (zh) * 2022-02-15 2022-05-17 深圳市恒必达电子科技有限公司 一种带力量感应的vr/ar体感装置和力度识别系统
CN114510149B (zh) * 2022-02-15 2022-09-09 深圳市恒必达电子科技有限公司 一种带力量感应的vr及ar体感装置
WO2024006165A1 (en) * 2022-06-30 2024-01-04 Apple Inc. Eye imaging system

Also Published As

Publication number Publication date
US20230123519A1 (en) 2023-04-20
KR20210156613A (ko) 2021-12-27
US11852830B2 (en) 2023-12-26

Similar Documents

Publication Publication Date Title
WO2021256651A1 (ko) 증강 현실 글라스 및 그 동작 방법
AU2016279665B2 (en) Head mounted display apparatus
WO2016204433A1 (en) Head mounted display apparatus
WO2022092517A1 (ko) 디스플레이를 포함하는 웨어러블 전자 장치, 그 디스플레이를 제어하는 방법, 및 그 웨어러블 전자 장치 및 케이스를 포함하는 시스템
WO2019221518A1 (en) Electronic device for adjusting position of content displayed on display based on ambient illuminance and method for operating same
WO2022139424A1 (ko) 전자 장치 및 그의 사용자 시선을 추적하고 증강 현실 서비스를 제공하는 방법
WO2023017986A1 (ko) 영상 데이터 및 오디오 데이터 출력 방법 및 전자 시스템
WO2020004941A1 (ko) 디스플레이에서 출력된 광을 렌즈로 전달할 수 있는 반사 부재 및 반투명 반사 부재를 포함하는 전자 장치
WO2024034825A1 (ko) Ar 장치에게 표시하도록 명령할 컨텐츠를 결정하기 위한 방법 및 장치
WO2023080419A1 (ko) 비전 정보를 이용하여 전자기기를 제어하는 웨어러블 전자 장치 및 방법
WO2024048937A1 (ko) 웨어러블 전자 장치 및 이를 포함하는 충전 시스템
WO2024025126A1 (ko) 웨어러블 전자 장치 및 그 동작 방법
WO2022191497A1 (ko) 디스플레이를 포함하는 웨어러블 전자 장치
WO2024019293A1 (ko) 렌즈리스 카메라를 포함하는 웨어러블 전자 장치 및 이를 이용한 이미지 처리 방법
WO2022234947A1 (ko) 웨어러블 전자 장치 및 3d 이미지 출력 방법
WO2024080583A1 (ko) 이미지를 활용한 ar 정보 제공 방법 및 전자 장치
WO2024029858A1 (ko) 디스플레이 모듈 제어 방법 및 상기 방법을 수행하는 전자 장치
WO2024071681A1 (ko) 이미지를 제공하는 방법 및 이를 지원하는 웨어러블 전자 장치
WO2022255625A1 (ko) 영상 통화 중 다양한 커뮤니케이션을 지원하는 전자 장치 및 그의 동작 방법
WO2023080420A1 (ko) 가변형 그라운드를 포함하는 웨어러블 전자 장치
WO2024025179A1 (ko) 생체 정보에 기반한 외부 표시 장치와의 연결 방법 및 전자 장치
WO2024063330A1 (ko) 웨어러블 전자 장치 및 상기 웨어러블 전자 장치를 이용하여 컨트롤러를 식별하는 방법
WO2024071903A1 (ko) 헤드 마운트 디스플레이 장치 및 그의 착용 상태 감지 방법
WO2024043468A1 (ko) 객체들을 이용하여 인증 패턴을 등록 및 해제하는 장치 및 방법
WO2023043045A1 (ko) 전기 변색 소자를 포함하는 전자 장치 및 그 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21825777

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21825777

Country of ref document: EP

Kind code of ref document: A1