WO2023282524A1 - 시력 측정 및 시력 교정을 제공하는 증강 현실 장치 및 방법 - Google Patents

시력 측정 및 시력 교정을 제공하는 증강 현실 장치 및 방법 Download PDF

Info

Publication number
WO2023282524A1
WO2023282524A1 PCT/KR2022/009205 KR2022009205W WO2023282524A1 WO 2023282524 A1 WO2023282524 A1 WO 2023282524A1 KR 2022009205 W KR2022009205 W KR 2022009205W WO 2023282524 A1 WO2023282524 A1 WO 2023282524A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
area
augmented reality
visual acuity
virtual object
Prior art date
Application number
PCT/KR2022/009205
Other languages
English (en)
French (fr)
Inventor
이규근
애드워드 밀튼해리
신성환
구본곤
이승재
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to EP22837876.6A priority Critical patent/EP4350417A1/en
Priority to CN202280047360.XA priority patent/CN117597622A/zh
Publication of WO2023282524A1 publication Critical patent/WO2023282524A1/ko
Priority to US18/405,648 priority patent/US20240138668A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0041—Operational features thereof characterised by display arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/02—Subjective types, i.e. testing apparatus requiring the active assistance of the patient
    • A61B3/028—Subjective types, i.e. testing apparatus requiring the active assistance of the patient for testing visual acuity; for determination of refraction, e.g. phoropters
    • A61B3/032—Devices for presenting test symbols or characters, e.g. test chart projectors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0112—Head-up displays characterised by optical features comprising device for genereting colour display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0185—Displaying image at variable distance
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/12—Fluid-filled or evacuated lenses
    • G02B3/14—Fluid-filled or evacuated lenses of variable focal length

Definitions

  • the present disclosure relates to an augmented reality apparatus and method for measuring a visual acuity of a user and providing corrected visual acuity to users with low vision.
  • Augmented reality (AR) technology is a technology that synthesizes virtual objects or information in a real environment to make the virtual objects or information look like objects existing in a real physical environment.
  • Modern computing and display technologies have enabled the development of systems for augmented reality experiences, in which digitally recreated images, or parts thereof, can be perceived as if they were real, or perceived as real. It can be presented to the user in any way.
  • smart glasses and the like can display a virtual object overlaid on a background image while directly recognizing an image of a real physical environment through a transparent display.
  • augmented reality devices have a head mounted display (head mounted display, HMD) form, such an augmented reality device is inconvenient to use while wearing glasses for vision correction.
  • the visual acuity before correction of a person wearing spectacles for vision correction may appear complex due to myopia, hyperopia, astigmatism, or a combination thereof.
  • an image cannot be descriptively recognized for a physical environment in reality, and immersion in augmented reality is reduced.
  • an area where a virtual vision chart for measuring a user's visual acuity is output is determined in consideration of a physical environment in the real world, thereby preventing errors in the visual acuity measurement result due to external factors. It is possible to provide an augmented reality device and method.
  • An embodiment of the present disclosure provides an augmented reality apparatus and method capable of reducing an error between a user's actual visual acuity and measured visual acuity by compensating for a visual acuity measurement value according to a focal distance for recognizing a virtual target by the user.
  • An embodiment of the present disclosure is capable of providing vision correction and realistic augmented reality services to users by controlling the focus of a variable focus lens such as a liquid crystal lens (LC lens) based on the measured visual acuity.
  • a variable focus lens such as a liquid crystal lens (LC lens)
  • Augmented reality devices and methods can be provided.
  • a technical problem to be achieved by an embodiment of the present disclosure is not limited to the technical problems described above, and other technical problems may be inferred from the following embodiments.
  • a method for measuring a user's eyesight by an augmented reality device disclosed as a technical means for achieving the above-described technical problem is to capture at least one area in front of the augmented reality device using an outward-facing camera included in the augmented reality device.
  • Obtaining a background image including an image of a physical object, identifying an edge of an image of at least one physical object in the background image, and visual acuity of the user on the background image based on the identified edge Determining a first area for measurement, determining a second area corresponding to the determined first area on a display included in the augmented reality device, and placing a virtual object (virtual object), obtaining a user input signal for vision measurement after outputting the virtual object, and calculating a user's vision prescription value based on the obtained user input signal.
  • An augmented reality device for measuring a user's eyesight includes an outward-facing camera for acquiring a background image including at least one image of a physical object by capturing a front area, and a user's eyesight.
  • An output unit that outputs a virtual object for measurement, a user input unit that obtains a user input signal for vision measurement after outputting the virtual object, a storage unit that stores a program including at least one instruction, and the storage unit. It may include at least one processor that executes at least one instruction stored in the unit.
  • the processor By executing at least one instruction, the processor identifies an edge of an image of at least one physical object in the obtained background image, determines a first area for measuring the user's visual acuity on the background image based on the identified edge, and On a display included in the output unit, a second area corresponding to the determined first area may be determined, a virtual object may be output to the determined second area, and a user's visual acuity measurement value may be calculated based on the obtained user input signal. there is.
  • a computer-readable recording medium disclosed as a technical means for achieving the above-described technical problem may store a program for executing at least one of the embodiments of the disclosed method in a computer.
  • FIG. 1 is a schematic diagram of a method for measuring a visual acuity of a user by an augmented reality device according to an embodiment of the present disclosure.
  • FIG. 2 is a flowchart of a method for measuring a visual acuity of a user by an augmented reality device according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram for explaining an operation of determining a location where a virtual object for measuring a user's visual acuity is to be output by an augmented reality apparatus according to an embodiment of the present disclosure.
  • FIG. 4 is a diagram for describing an operation of determining a location where a virtual object for vision measurement is to be output by identifying an edge of an image of at least one physical object in a background image according to an embodiment of the present disclosure.
  • FIG. 5 is a diagram for explaining an operation of determining a location where a virtual object for vision measurement is to be output by identifying an edge of an image of at least one physical object in a background image according to another embodiment of the present disclosure.
  • FIG. 6 is a diagram for explaining an operation of determining a region for measuring a user's visual acuity on a background image based on a depth map of the background image according to an embodiment of the present disclosure.
  • FIG. 7 is a diagram for explaining an operation of determining an output position of a virtual object for measuring a user's visual acuity using an object locking mechanism according to an embodiment of the present disclosure.
  • FIG. 8 is a diagram for explaining an operation of outputting a derivation indicator according to an embodiment of the present disclosure.
  • FIG. 9 is a diagram for explaining various operations for increasing the discrimination of a virtual object displayed in an augmented reality device according to an embodiment of the present disclosure.
  • FIG. 10 is a diagram for explaining an operation of calculating a measured visual acuity compensation value based on a focal distance to a virtual object according to an embodiment of the present disclosure.
  • FIG. 11 is a block diagram of an augmented reality device according to an embodiment of the present disclosure.
  • FIG. 12 is a diagram illustrating an augmented reality device according to an embodiment of the present disclosure.
  • FIG. 13 is a diagram for explaining an operation of providing vision correction to a user by controlling a variable focus lens according to an embodiment of the present disclosure.
  • FIG. 14 is a diagram illustrating an augmented reality device according to an embodiment of the present disclosure.
  • a processor configured (or configured) to perform A, B, and C may include a dedicated processor (e.g., an embedded processor) to perform those operations, or by executing one or more software programs stored in memory; It may mean a general-purpose processor (eg, CPU or application processor) capable of performing corresponding operations.
  • a dedicated processor e.g., an embedded processor
  • It may mean a general-purpose processor (eg, CPU or application processor) capable of performing corresponding operations.
  • FIG. 1 is a schematic diagram of a method for measuring a user's eyesight by an augmented reality device (AR device) according to an embodiment of the present disclosure.
  • AR device augmented reality device
  • the augmented reality device 10 is a device capable of expressing augmented reality (AR), and may display images including physical objects and virtual objects that exist in reality.
  • AR augmented reality
  • the augmented reality device 10 includes, for example, augmented reality glasses in the shape of glasses worn on the face of the user, a head mounted display (HMD) worn on the head, and a virtual reality headset ( It may include a virtual reality headset (VRH), or an augmented reality helmet. Meanwhile, the augmented reality device 10 is not limited to the above examples, and may include all types of devices capable of providing augmented reality services to users.
  • HMD head mounted display
  • VRH virtual reality headset
  • the augmented reality device 10 is not limited to the above examples, and may include all types of devices capable of providing augmented reality services to users.
  • the augmented reality device 10 may acquire a background image 110 of a real environment.
  • the background image 110 may be obtained using an outward facing camera included in the augmented reality device 10 .
  • the augmented reality apparatus 10 may determine, as the first area 120 , a part of the background image 110 where no physical object exists or where the edge of the physical object is not complicated.
  • the first area 120 may be an area for measuring eyesight of a user using an augmented reality device on the background image 110 .
  • the augmented reality apparatus 10 may determine the second area 140 corresponding to the determined first area 120 on the display 20 in consideration of the user's gaze direction.
  • the virtual object 131 for measuring the visual acuity of the user may be output to the determined second area 140 .
  • the virtual object 131 for measuring the user's visual acuity may be a text, a picture, or a vision test chart including one or more texts or pictures.
  • the user When the user wears the augmented reality device 10 and looks at the real environment through the display 20 on which the virtual object 131 is displayed, the user sees the background image 110 of the real environment and the virtual object 131 ) may be recognized.
  • the correspondence between the first area 120 on the background image 110 and the second area 140 on the display 20 means that the first area 120 and It may indicate that the second area 140 is accurately overlaid.
  • a first region 120 for measuring the user's eyesight is determined on the background image 110, and the first region 120 is determined in the direction of the user's gaze when the augmented reality device 10 is worn.
  • the virtual object 131 for vision measurement are output to the second area 140 on the display 20 to be accurately overlaid.
  • the user may recognize that the virtual object 131 exists in the first area 120 on the background image 110 .
  • the accuracy of the vision measurement may be further increased by compensating the eyesight measurement result according to the focal length for recognizing the virtual object 131 .
  • a method for determining an area for outputting a virtual object for measuring the user's visual acuity a method for compensating a visual acuity measurement result according to a focal distance to the virtual object, and providing vision correction based on the measured user's visual acuity Describe the method, etc. in more detail.
  • FIG. 2 is a flowchart of a method for measuring a visual acuity of a user by an augmented reality device according to an embodiment of the present disclosure.
  • the augmented reality device may acquire a background image including an image of at least one physical object by capturing a front area of the augmented reality device using an outward facing camera.
  • the outward facing camera may obtain a background image by capturing a front area.
  • an image captured at a specific point in time may be used to determine a region for measuring the user's visual acuity in the real space.
  • the augmented reality device may identify an edge of an image of at least one physical object in the background image.
  • An operation of identifying an edge of an image may represent an operation of recognizing boundary lines of objects included in the image.
  • An edge borderline
  • an algorithm for edge extraction may determine the size of a gradient vector obtained by differentiating an image.
  • the operation of extracting the edge included in the background image includes Sobel edge detection, Prewitt edge detection, Roberts edge detection, Compass edge extraction Detection), Laplacian edge detection, and Canny edge detection, and various edge extraction algorithms may be used.
  • the operation of identifying an edge of at least one physical object in the background image may determine, as an edge, a portion whose intensity varies by a predetermined threshold value or more across adjacent pixels on the background image.
  • the edge may be determined even in the contour portion of the physical object, but may also be determined by a shape, pattern, curve, or the like within the physical object.
  • the picture frame is one physical object, but many edges can be identified according to the picture drawn in the picture frame.
  • the edge may not be identified.
  • the augmented reality device may determine a first area for measuring the user's visual acuity on the background image based on the identified edge. In an embodiment, the augmented reality device may determine a portion of the background image in which no edge is detected as a first area for vision measurement. In one embodiment, a portion having the largest area among portions where no edge is detected may be determined as the first area for vision measurement.
  • the first region spans two regions having weak edge strength among adjacent edge-undetected-regions. can also decide For example, even if an edge is identified between an image area corresponding to the sky and an image area corresponding to the sea, if the strength of the edge between the sky and the sea is weak compared to the strength of other edges included in the image, It is also possible to determine the first area over the image area corresponding to the image area and the sea.
  • the operation of determining the first area for measuring the user's visual acuity on the background image based on the identified edge is not limited to the above-described examples, and the first area may be determined by various methods.
  • the augmented reality device may determine a second area corresponding to the determined first area on the display.
  • the first area may be an area on the background image
  • the second area may be an area on the display.
  • the second area determined to correspond to the first area may include the first area included in the background image of the real space and the second area displayed on the display when the user looks at the real space through the augmented reality device.
  • the 2 regions are accurately overlaid and can be recognized as being in the same position. For example, a virtual object displayed on the second area of the display may be recognized as existing in the first area of the real space by a user wearing an augmented reality device.
  • the operation of determining the second area corresponding to the first area includes a user obtained through an inward facing camera or an eye tracking camera (ET camera) included in the augmented reality device. Gaze direction information of may be used. For example, an area recognized by the user wearing the augmented reality device as being accurately overlaid on the first area may be determined as the second area using the user's gaze direction information.
  • Gaze direction information may be used. For example, an area recognized by the user wearing the augmented reality device as being accurately overlaid on the first area may be determined as the second area using the user's gaze direction information.
  • the augmented reality device may output a virtual object for measuring the user's visual acuity to the determined second area.
  • the display may include a transparent material.
  • a virtual object for measuring the user's visual acuity may be one text, one picture, or a combination of one or more texts or pictures.
  • the augmented reality device may obtain a user input signal for measuring eyesight after outputting the virtual object.
  • the user input signal may be a signal input as the user recognizes the output virtual object.
  • the user input signal may include a signal detected by a voice sensor such as a microphone, a signal detected by a touch sensor, a signal received through an input device, or various other signals.
  • the augmented reality device may calculate a vision prescription value of the user based on the obtained input signal of the user.
  • the user's visual acuity measurement value may include information about the degree of myopia, hyperopia, and astigmatism.
  • the augmented reality device may provide the user with the calculated visual acuity measurement value of the user.
  • the calculated visual acuity measurement value of the user may be used in an operation of providing vision correction to the user.
  • FIG. 3 is a diagram for explaining an operation in which an augmented reality apparatus according to an embodiment of the present disclosure determines a location where a virtual object 331 for measuring a user's visual acuity is to be output.
  • the real environment 310 may include various physical objects.
  • a user may perform vision measurement within the real environment 310 including various physical objects.
  • An augmented reality device may include a transparent display.
  • a user wearing an augmented reality device may view the virtual object 331 displayed on the transparent display while viewing the real environment 310 through the transparent display.
  • region 1 340 in the real environment 310 may include one or more physical objects.
  • area 1 340 may include a chair, a desk, a drawer, and a laptop computer.
  • area 2 340 - 1 in the real environment 310 may include only one physical object.
  • area 2 (340-1) may include only walls.
  • the recognition of the virtual object 331 may deteriorate.
  • a large number of edges may be included in region 1 340.
  • the recognition rate of the virtual object 331 may be lowered due to physical objects included in the area.
  • region 2 340 - 1 may include no edges or a small amount of edges. In this way, when the virtual object 331 is displayed to correspond to an area where the edge is not identified, no physical objects exist in the corresponding area or exist only to the extent that they do not affect the user's field of view. Recognition rates may increase.
  • the recognition rate of the virtual object 331 for vision measurement may affect the vision measurement result. For example, when the virtual object 331 is output on an area with complex edges, such as area 1 340, a character that is sufficiently readable by the user may be misread. Accordingly, when the virtual object 331 is output on an area with complex edges, the visual acuity of the actual user may be measured lower than that of the actual user.
  • a first area for measuring eyesight of a user is determined on the background image through edge analysis of the background image 310, and the determined portion is used for measuring eyesight. available.
  • FIG. 4 is a diagram showing a position where a virtual object 431 for vision measurement is to be output by identifying an edge of at least one physical object image 411, 412, 413, 414 in a background image according to an embodiment of the present disclosure. It is a drawing for explaining the operation of determining.
  • a background image 410 may include a plurality of physical object images 411 , 412 , 413 , and 414 .
  • the background image 410 may include a person image 411 , a camera image 412 , a building image 413 , and a land image 414 .
  • the augmented reality device may identify an edge 421 of each of the physical object images 411, 412, 413, and 414 in the background image 410 (step 4a). In one embodiment, the augmented reality device may generate an edge map 420 by extracting an edge 421 included in the background image 410 .
  • the edge map 420 may include at least one edge 421 .
  • an edge portion of the background image 410 whose intensity varies over adjacent pixels by a preset threshold value or more is determined. can be determined by
  • an edge may not be detected in an image of a specific physical object.
  • the edge 421 of the building image 413 may not be detected.
  • An edge may be detected when the intensity across adjacent pixels varies by more than a predetermined threshold.
  • the edge 421 may not be detected because the intensity difference between the pixels corresponding to the building image 413 is smaller than a predetermined threshold value.
  • it may be difficult to distinguish a boundary or a pattern of the outside of the building with the naked eye.
  • it is difficult to distinguish the intensity difference between the pixels with the naked eye even if the virtual object 431 is displayed on the corresponding part, there is little possibility of an error in the measurement of eyesight. Accordingly, by determining an area in which the edge 421 does not exist on the edge map 420 as the first area 430 for measuring the user's visual acuity, it is possible to prevent an error in measuring the visual acuity.
  • the augmented reality device determines a first area 430 for measuring the user's visual acuity on the background image 410 based on the identified edge 420, and on the display 20 corresponding to the determined first area 430.
  • a second area may be determined, and a virtual object 431 for measuring the user's visual acuity may be output to the determined second area (step 4b).
  • FIG. 5 is for explaining an operation of identifying an edge of at least one physical object image in a background image 510 and determining a location where a virtual object 531 for vision measurement is to be output, according to another embodiment of the present disclosure. It is a drawing
  • the edge may be determined at a portion corresponding to the contour of the physical object, but may also be determined by a shape, pattern, curve, or the like within the physical object.
  • the picture frame is one physical object, but many edges can be identified according to the pattern of the picture drawn inside the picture frame.
  • the edge may be determined based on values of pixels determined by the shape, location, pattern, color, and the like of the physical object in the background image 510 .
  • the edge may be determined by the border of the 'frame', which is a physical object, and the picture drawn inside the frame.
  • the recognition rate of the virtual object 531 may decrease, and an error may occur in an eye measurement result.
  • the augmented reality device may identify an area not including an edge in the edge map 520 including the determined edges, and determine the area as the first area 530 for vision measurement.
  • the augmented reality device may adjust the position of the virtual object 531-1 to correspond to the determined first area 530.
  • the virtual object 531-1 When the virtual object 531-1 is displayed in an area not including an edge, the virtual object 531-1 can be easily recognized within the user's visual acuity range, and accurate visual acuity measurement is possible.
  • FIG. 6 is a diagram for explaining an operation of determining a region for measuring a user's visual acuity on the background image 610 based on the depth map 620 of the background image 610 according to an embodiment of the present disclosure.
  • the augmented reality device obtains a depth map 620 of the background image 610 using a depth sensor, and based on the obtained depth map 620, the background image 610 is displayed. A depth value and shape of at least one included physical object may be identified. In an embodiment, the augmented reality device may provide a first area 630 for measuring the user's visual acuity on the background image 610 based on the depth value and shape of at least one physical object and edges identified through various edge extraction methods. ) can be determined.
  • a flat area having a relatively constant focal length for the virtual object 631 to be displayed may be selected using depth information, and the virtual object 631 may be easily recognized or recognizable since no physical object exists using edge information. You can select an area that can be identified.
  • an area having a relatively constant pixel value and a relatively constant focal length may be selected as the first area 630 for measuring eyesight.
  • FIG. 7 is a diagram for explaining an operation of determining an output position 720 of a virtual object 731 for measuring a user's visual acuity using an object locking mechanism according to an embodiment of the present disclosure.
  • An object locking mechanism is a mechanism for fixing relative positions of a physical object and a virtual object in a virtual reality or augmented reality display.
  • the augmented reality device may use an object locking mechanism to determine a second area on the display corresponding to the first area of the background image 710 .
  • a user wearing an augmented reality device may change a posture or gaze at a different place while vision measurement is in progress.
  • the relative position of the virtual object 731 with respect to the background image 710 may change according to the user's movement.
  • the position of the augmented reality device being worn is changed, and thus the position of the display included in the augmented reality device is changed.
  • the alignment of the first area on the background image 710 corresponding to the second area on the display may be misaligned.
  • the first area and the second area are not accurately overlaid in the user's gaze direction, and the virtual object displayed on the second area is displayed on the background image ( 710) may move away from the first area of the image to an area with many edges.
  • the discriminative power and recognition rate of the virtual object may be lowered, and the accuracy of the vision measurement result may be lowered.
  • the augmented reality device may adjust the second area to be overlaid and displayed on a predetermined first area when the user's virtual object is displayed on the display through an object locking mechanism. Accordingly, even if the user moves while the vision measurement is in progress, the relative positions of the virtual object 731 and the background image 710 may not change.
  • FIG. 8 is a diagram for explaining an operation of outputting induction indicators G1 and G2 according to an embodiment of the present disclosure.
  • the augmented reality device may recognize a user's gaze point (GP).
  • the user's gaze direction (GP) may be recognized through an inward facing camera or gaze tracking camera included in the augmented reality device.
  • the augmented reality device may output guide indicators G1 and G2 to the display.
  • the guiding indicator includes an arrow G1 pointing toward the virtual object 831 in the recognized user's gaze direction GP and a box G2 enclosing the virtual object 832, and the user's gaze movement.
  • various types of indicators capable of emphasizing the location of the virtual object 832 may be included.
  • FIG. 9 is a diagram for explaining various operations for increasing the discrimination of a virtual object 931 displayed in an augmented reality device according to an embodiment of the present disclosure.
  • the augmented reality device may adjust the color of the virtual object 931 to increase the identification of the displayed virtual object 931 .
  • the augmented reality device may identify the color of the first area 920 on the background image 910 on which the virtual object 931 is to be overlaid. The augmented reality device may then determine the color of the virtual object 931 based on the identified color of the first region 920 .
  • the augmented reality device may determine the color of the virtual object 931 so that the contrast with the corresponding color of the first region 920 is maximized.
  • the augmented reality device may differently determine the color of the virtual object 931 according to whether the user is color-blind or color-weak. In an embodiment, the augmented reality device may determine the color of the virtual object 931 through newly acquired or pre-stored user information so that the user can better identify the virtual object 931 .
  • the augmented reality device may lower the brightness of pixels included in the second area 920 except for pixels outputting the virtual object 931 on the display.
  • the augmented reality device may lower the brightness of pixels included in the second area 920 except for pixels outputting the virtual object 931 on the display.
  • the area of the virtual object 931 is highlighted so that the discrimination of the virtual object 931 can be further enhanced.
  • At least one of the size and number of virtual objects 931 for measuring the user's eyesight may be determined based on the area of the first region for measuring the user's eyesight on the background image 910 .
  • the number, size, and spacing of the virtual objects 931 may be adjusted according to the area of a region where the virtual objects 931 are displayed.
  • FIG. 10 is a diagram for explaining an operation of calculating a measured visual acuity compensation value based on focal distances to virtual objects 1021 and 1031 according to an embodiment of the present disclosure.
  • the augmented reality device identifies focal distances from the user's eyes E1 and E2 to the virtual objects 1021 and 1031, and measures a test vision compensation value based on the identified focal distances. can be calculated.
  • the human eye When the human eye sees a real object (physical object), it reflexively performs two actions.
  • One is a vergence (convergence) motion, in which both eyes converge toward an object.
  • the optical axis of both eyes rotates according to the distance between the human eye and the object.
  • the other is a focus adjustment (accommodation) operation, which is an operation in which the lens of the eye focuses so that an object can be seen clearly.
  • the thickness of the lens is adjusted according to the distance between the human eye and the object.
  • the user may experience a vergence-accommodation conflict (VAC) phenomenon.
  • VAC vergence-accommodation conflict
  • the virtual reality device may display the virtual object as if it is located at the distance d1.
  • the vergence distance at which both eyes of the user converge becomes d1.
  • the focal distance between both eyes of the user becomes the distance d2 from the user's eyes to the display. In this case, the convergence distance and the focal distance become inconsistent, and the user of the virtual reality device may feel dizzy or motion sick. Meanwhile, this convergence adjustment mismatch problem can be solved through digital holography technology or a focus adjustment lens.
  • a virtual object output on a display corresponds to a 2D text or image for vision measurement, not a 3D object. Accordingly, when a user views a composite image of a background image and a virtual object, the user may perceive the virtual object as being 'printed' on real objects in the background image or projected onto a real space. That is, the user's eyes watching the 2D virtual object perform convergence and focus adjustment operations in the same way as when looking at a space where the virtual object is actually projected or an actual physical object located in the area.
  • a background image 1010 may include a desk image 1011, a sky image 1012, a computer image 1013, a teapot image 1014, and a cup image 1015.
  • the user's eyes E1 look toward the space 1012 where the virtual object 1021 is actually projected. Convergence operation and focus adjustment operation can be performed in the same way as when viewing.
  • the virtual object 1031 may be recognized as a real object in the background image that is printed or displayed on the computer.
  • the user's eyes E2 may perform convergence and focus adjustment operations in the same way as when looking at the space 1030 where the virtual object 1031 is actually projected.
  • the thickness of the crystalline lens is different. Therefore, when the visual acuity is measured using the virtual object 1031 projected on the computer image 1013 and the visual acuity is measured using the virtual object 1021 projected on the sky image 1012, the measurement value is Even if they are the same, there may be a difference in visual acuity due to a difference in the thickness of the lens. In one embodiment, an error between the user's actual visual acuity and the measured visual acuity may be reduced by compensating the visual acuity measurement value in consideration of the change in the crystalline lens.
  • the crystalline lens LENS1 included in the user's eye E1 has a relaxed state so as to be able to see a long distance.
  • the first virtual object 1021 for measuring the user's visual acuity may be overlaid on the sky image 1012 and displayed. In this case, the user reads the first virtual object 1021 in a state in which the lens LENS1 is relaxed so that the user can see a long distance.
  • the crystalline lens LENS2 included in the user's eye E2 has a swollen state so as to be able to see a short distance.
  • the second virtual object 1031 for measuring the user's visual acuity may be overlaid on the computer image 1013 and displayed. In this case, the user reads the second virtual object 1031 in a state where the lens LENS2 is inflated so that the user can see at a close distance.
  • a measurement result is different between a case where visual acuity is measured using the first virtual object 1021 and a case where visual acuity is measured using the second virtual object 1031 .
  • the visual acuity is measured using the first virtual object 1021 and the visual acuity is 1.2
  • the user's visual acuity can be seen as 1.2
  • the visual acuity is measured using the second virtual object 1031. If your visual acuity is 1.2, your actual visual acuity will be lower than that. (You will not see more letters further away)
  • Accommodation power of the lens of the user's eyes looking at the virtual object may be calculated from the focal length of the virtual object.
  • a virtual object can be perceived as being 'printed' on real objects in a background image or projected onto a real space, and thus, the focal length of the virtual object is such that the virtual object is projected onto It can be regarded as the distance to the actual physical object corresponding to the location.
  • the distance to the actual physical object corresponding to the projected position of the virtual object may be measured through a depth sensor or a distance measuring sensor, or may be measured through an eye tracking sensor.
  • the depth sensor may include, for example, a time-of-flight (ToF) sensor, a stereo matching sensor using two cameras, or a structured light sensor.
  • the method of measuring the distance to an actual physical object through the eye tracking sensor is to find out the directions of the eyes of the user's left and right eyes through the eye tracking sensor, and determine the point where the directions of the eyes of the left and right eyes intersect with the object. It may include a method of determining a location and calculating a distance to that point.
  • an accommodation power (AP) based on the focal distance of the virtual object may be determined based on a reciprocal number (1/D) of the identified focal distance D.
  • the augmented reality device may compensate the calculated visual acuity measurement value through the determined measured visual acuity compensation value (AP). For example, the operation of compensating the visual acuity measurement value calculated through the measured visual acuity compensation value is performed by subtracting the measured visual acuity compensation value from the visual acuity measurement value when the virtual object is displayed at a focal distance (D) within 6 m. value can be compensated. For example, when the virtual object is displayed at a focal distance D greater than 6 m, the measured visual acuity compensation value may be added to the measured visual acuity value to compensate for the measured visual acuity value.
  • the operation of identifying the focal distance from the user's eye to the virtual object may include identifying a physical object corresponding to a first area on a background image corresponding to a second area on a display where the virtual object is displayed. and identifying a focal distance from the user's eyes to the identified physical object using at least one of a LIDAR, a depth sensor, and an eye tracking sensor included in the augmented reality device.
  • an error between a user's actual visual acuity and measured visual acuity may be reduced by compensating for a visual acuity measurement value according to a focal distance for recognizing a virtual target by the user.
  • FIG. 11 is a block diagram of an augmented reality device 1100 according to an embodiment of the present disclosure.
  • an augmented reality device 1100 includes an input unit 1110, a storage unit 1120, a processor 1130, a variable focus lens 1140, and an output unit 1150.
  • the input unit 1110 may include an outward facing camera 1111 and a user input unit 1112 .
  • the output unit 1150 may include a display 1151 and an audio output unit 1152 . Not all components shown in FIG. 11 are essential components of the augmented reality device 1100 .
  • the augmented reality device 1100 may be implemented with more components than those shown in FIG. 11, or the augmented reality device 1100 may be implemented with fewer components than those shown in FIG. .
  • the outward-looking camera 1111 may obtain a background image including at least one image of the physical object by capturing an area in front of the augmented reality apparatus 1100 .
  • the output unit 1150 may output a virtual object for measuring the user's visual acuity.
  • the user input unit 1112 may obtain a user input signal for eyesight measurement after outputting the virtual object.
  • the storage unit 1120 may store a program to be executed by the processor 1130 to be described later in order to control the operation of the augmented reality device 1100 .
  • the storage unit 1120 may store a program including at least one instruction for controlling the operation of the augmented reality device 1100 .
  • Instructions and program codes readable by the processor 1130 may be stored in the storage 1120 .
  • the processor 1130 may be implemented to execute instructions or codes of a program stored in the storage unit 1120 .
  • the storage unit 1120 may store data input to or output from the augmented reality device 1100 .
  • the storage unit 1120 may be, for example, a flash memory, a hard disk, a multimedia card micro type, or a card type memory (eg, SD or XD memory).
  • RAM Random Access Memory
  • SRAM Static Random Access Memory
  • ROM Read-Only Memory
  • EEPROM Electrically Erasable Programmable Read-Only Memory
  • PROM Programmable Read-Only Memory
  • magnetic memory a magnetic disk, and an optical disk may include at least one type of storage medium.
  • Programs stored in the storage unit 1120 may be classified into a plurality of modules according to their functions.
  • the processor 1130 may control overall operations of the augmented reality device 1100 .
  • the processor 1130 may perform operations according to an embodiment of the present disclosure.
  • the processor 1130 generally operates the input unit 1110, the storage unit 1120, the variable focus lens 1140, and the output unit 1150 by executing programs stored in the storage unit 1120. You can control it.
  • the processor 1130 may be composed of hardware components that perform arithmetic, logic and input/output operations and signal processing.
  • the processor 1130 may include, for example, a central processing unit, a microprocessor, a graphic processing unit, application specific integrated circuits (ASICs), digital signal processors (DSPs), and digital signal processors (DSPDs). Signal Processing Devices), PLDs (Programmable Logic Devices), and FPGAs (Field Programmable Gate Arrays).
  • the processor 1130 identifies an edge of an image of at least one physical object in the acquired background image by executing one or more instructions stored in the storage 1120, and based on the identified edge, the background image A first area for measuring the user's visual acuity is determined on the image, a second area corresponding to the determined first area is determined on a display included in an output unit, a virtual object is output to the determined second area, and a user who has obtained the result is determined.
  • a visual acuity measurement value of the user may be calculated based on the input signal.
  • the processor 1130 identifies a focal distance from the user's eye to the virtual object by executing one or more instructions stored in the storage 1120, and calculates a visual acuity compensation value based on the identified focal distance.
  • the calculated visual acuity measurement value may be compensated based on the measured visual acuity compensation value.
  • the processor 1130 identifies the color of the first area by executing one or more commands stored in the storage 1120, and determines the color of the virtual object for measuring the user's visual acuity. By determining the color and contrast of , the discrimination of the virtual object may be increased.
  • the processor 1130 executes one or more instructions stored in the storage unit 1120, so that when a virtual object for measuring the user's visual acuity is displayed on the display using an object locking mechanism.
  • the second area may be determined to be displayed overlaid on a predetermined first area.
  • variable focus lens 1140 is a lens having a variable focus.
  • the variable focus lens 1140 may include a liquid crystal lens (LC lens), a liquid membrane lens, a liquid wetting lens, or an Alvarez lens.
  • LC lens is a lens having a variable refractive index controlled by an electrical signal.
  • the augmented reality apparatus 1100 may control the focus of the variable focus lens 1140 based on the calculated visual acuity measurement value of the user.
  • FIG. 12 is a diagram illustrating an augmented reality device 1200 according to an embodiment of the present disclosure.
  • the augmented reality device 1200 is a device capable of displaying augmented reality (AR), and is generally eyeglass-shaped AR glasses worn on the face by a user, a head mounted display worn on the head, HMD), virtual reality headset (VRH), or AR helmet.
  • AR augmented reality
  • HMD head mounted display worn on the head
  • VRH virtual reality headset
  • a super-large screen can be provided to the user by placing the display in front of the user's eyes, and a realistic virtual world can be provided as the screen moves according to the user's movement.
  • a user may wear an augmented reality device 1200, capable of displaying visual augmented reality content.
  • the augmented reality device 1200 may include an audio module capable of providing audio augmented reality content to a user.
  • augmented reality device 1200 may include one or more cameras capable of capturing images and video of the environment.
  • the augmented reality device 1200 may include an eye tracking system to determine a user's vergence distance.
  • the augmented reality device 1200 may include a lightweight head-worn display (HMD) (eg, goggles, glasses, visor, etc.).
  • HMD head-worn display
  • the augmented reality device 1200 is a lightweight, portable display device or one or more laser projection glasses (e.g., a low-power laser (low-power laser) on the user's retina to project and display images or depth content to the user. It may include non-HMD devices, such as glasses capable of projecting powered lasers).
  • laser projection glasses e.g., a low-power laser (low-power laser) on the user's retina to project and display images or depth content to the user. It may include non-HMD devices, such as glasses capable of projecting powered lasers).
  • the augmented reality apparatus 1200 may provide an AR service in which at least one virtual object is output so as to overlap an area determined as a user's field of view (FOV).
  • FOV field of view
  • the area determined as the user's field of view is an area determined to be perceptible by a user wearing the augmented reality device 1200 through the augmented reality device 1200, and the entire display of the augmented reality device 1200 is displayed.
  • it may be a region including at least a part of it.
  • the augmented reality device 1200 may include a plurality of transparent members 1220 and 1230 corresponding to both eyes of the user.
  • the augmented reality device 1200 may include a display module 1214, a camera, an audio output unit, and support units 1221 and 1222.
  • the camera may capture an image corresponding to the user's field of view or measure a distance to an object.
  • the camera may be used for head tracking and spatial awareness. Also, the camera may recognize the user's movement.
  • the camera may further include an 'eye tracking (ET) camera 1212' in addition to the camera 1213 used for detecting an image corresponding to the user's field of view, that is, motion of an object, or spatial recognition. there is.
  • the ET camera 1212 may be used to detect and track the pupil of the user.
  • the ET camera 1212 may be used for adjusting the center of a virtual image projected on the augmented reality device 1200 to be positioned according to the direction in which the eyes of the user wearing the augmented reality device 1200 gaze.
  • GS global shutter
  • the ET camera 1212 may separately include a left-eye camera 1212-1 and a right-eye camera 1212-2.
  • the display module 1214 may include a first display 1220 and a second display 1230 .
  • the virtual object output through the display module 1214 may include information related to an application program executed on the augmented reality device 1200 or information related to an external object located in a real space corresponding to a region determined by the user's field of view. there is.
  • the augmented reality apparatus 1200 may check an external object included in at least a part corresponding to a region determined as the user's field of view among image information related to the real space obtained through the camera 1213 .
  • the augmented reality device 1200 may output a virtual object related to an external object checked at least in part through an area determined to be the user's field of view among display areas of the augmented reality device 1200 .
  • External objects may include objects existing in a real space.
  • the displays 1220 and 1230 may include a condensing lens or a waveguide (waveguide or waveguide) in a transparent member.
  • the transparent member may be formed from a glass plate, plastic plate, or polymer, and may be made completely transparent or translucent.
  • the transparent member may include a first transparent member 1230 facing the right eye of the user wearing the augmented reality device 1200 and a second transparent member 1220 facing the left eye of the user. If the display is transparent, it may be disposed at a position facing the user's eyes to display a screen.
  • the waveguide can deliver light generated from a light source of the display to the user's eyes.
  • the waveguide may be at least partially positioned on a portion of the transparent members 1220 and 1230 .
  • light emitted from the display may be incident to one end of the waveguide, and the incident light may be transmitted to the user's eyes through total internal reflection within the waveguide.
  • the waveguide may be made of a transparent material such as glass, plastic, or polymer, and may include a nanopattern formed on an inner or outer surface, for example, a polygonal or curved grating structure.
  • the incident light may be propagated or reflected inside the waveguide by the nanopattern and provided to the user's eyes.
  • the waveguide includes at least one of at least one diffractive element (eg, a diffractive optical element (DOE), a holographic optical element (HOE)) or a reflective element (eg, a mirror). can do.
  • the wave guide may guide the display light emitted from the light source unit to the user's eyes using at least one diffractive element or reflective element.
  • the displays 1220 and 1230 may include a display panel or lens (eg, glass).
  • the display panel may include a transparent material such as glass or plastic.
  • the display may be composed of a transparent element, and the user may perceive the real space behind the display by passing through the display.
  • the display may display the virtual object on at least a partial region of the transparent element so that the user sees that the virtual object is added to at least a portion of the real space.
  • the supports 1221 and 1222 may include printed circuit boards (PCBs) 1231-1 and 1231-2 for transmitting electrical signals to each component of the augmented reality device 1200, audio Speakers 1232-1 and 1232-2 for outputting signals or batteries 1233-1 and 1233-2 for supplying power may be included.
  • the support parts 1221 and 1222 may be disposed on the temple parts of the glasses.
  • the support units 1221 and 1222 may include hinge units 1240 - 1 and 1240 - 2 coupled to the main body of the augmented reality device 1200 .
  • the speakers 1232-1 and 1232-2 include a first speaker 1232-1 for transmitting audio signals to the user's left ear and a second speaker 1232-2 for transmitting audio signals to the user's right ear. can do.
  • the augmented reality device 1200 may include a microphone 1241 for receiving a user's voice and ambient sounds.
  • the augmented reality device 1200 includes at least one camera (eg, the ET camera 1212, the outward facing camera 1213, or the recognition cameras 1211-1 and 1211-2) to improve accuracy.
  • It may include one illumination LED 1242 .
  • the light emitting device 1242 may be used as an auxiliary means for increasing accuracy when photographing a user's pupil with the ET camera 1212, and the light emitting device 1242 may use an IR LED of an infrared wavelength rather than a visible light wavelength.
  • the light emitting device 1242 may be used as an auxiliary means when it is not easy to detect a subject due to a dark environment when a user's gesture is photographed by the recognition cameras 1211-1 and 1211-2.
  • the display module 1214 may include a first light guide plate 1220 corresponding to the left eye and a second light guide plate 1230 corresponding to the right eye, and the first light guide plate 1220 and the second light guide plate ( 1230), it is possible to provide visual information to the user.
  • the display module 1214 may include a display panel and a lens (eg, a glass lens or an LC lens).
  • the display panel may include a transparent material such as glass or plastic.
  • the display module 1214 may be formed of a transparent element, and a user may pass through the display module 1214 and perceive a real space in front of the user as well as a rear surface of the display module 1214 .
  • the display module 1214 may display the virtual object on at least a partial region of the transparent device so that the user sees that the virtual object is added to at least a portion of the real space.
  • the augmented reality device 1200 determines an external object included in at least a part corresponding to an area determined by the user's field of view (FoV) among the image information related to the real space acquired through the outward facing camera 1213.
  • the augmented reality device 1200 may output (or display) a virtual object related to an external object checked at least in part through an area determined by a user's viewing angle among display areas of the augmented reality device 1200 .
  • External objects may include objects existing in a real space.
  • a display area where the augmented reality device 1200 displays a virtual object may include a portion of the display module 1214 (eg, at least a portion of the display panel).
  • the display area may correspond to at least a portion of the first light guide plate 1220 and the second light guide plate 1230 .
  • the augmented reality device 1200 may measure a distance to a physical object located in the front direction of the augmented reality device 1200 by using the outward facing camera 1213 .
  • the outward facing camera 1213 may include a high resolution camera such as a high resolution (HR) camera and a photo video (PV) camera.
  • the augmented reality device 1200 is not limited to the above-described configuration, and may include various components in various locations and in various numbers.
  • variable focus lens 13 is a diagram for explaining an operation of providing vision correction to a user by controlling the variable focus lens 1340 according to an embodiment of the present disclosure.
  • variable focus lens 1340 is a lens having a variable focus.
  • the variable focus lens 1340 may include a liquid crystal lens (LC lens), a liquid membrane lens, a liquid wetting lens, or an Alvarez lens. there is.
  • variable focus lens 1340 may be disposed between the user's eyes and the display 1351 .
  • the augmented reality device may control the variable focus lens 1340 included in the augmented reality device based on the user's visual acuity measurement value calculated.
  • a user wearing an augmented reality device can view a virtual object displayed on a display 1351 through a variable focus lens 1340 (13a), and a variable focus lens 1340 and a transparent display 1351 You can see the space of reality through
  • An embodiment of the present disclosure may provide vision correction to a user by controlling the focus of the variable focus lens 1340 based on the measured visual acuity, and provide a realistic augmented reality service through the corrected visual acuity. there is.
  • FIG. 14 is a diagram illustrating an augmented reality device (eg, 1100 of FIG. 11 ) according to an embodiment of the present disclosure.
  • the augmented reality device includes a user input unit 1410, an output unit 1430, a control unit 1420, a sensing unit 1440, a communication unit 1450, an A/V input unit 1460, and a memory 1470. ) may be included.
  • the user input unit 1410 means a means through which the user inputs data for controlling the augmented reality device.
  • the user input unit 1410 may include a touch pad (contact capacitance method, pressure resistive film method, infrared sensing method, surface ultrasonic conduction method, integral tension measurement method, piezo effect method, etc.) or a microphone. It can, but is not limited thereto.
  • the output unit 1430 may output an audio signal, video signal, or vibration signal, and the output unit 1430 may include a display unit 1431, a sound output unit 1432, and a vibration motor 1433. there is.
  • the display unit 1431 displays and outputs information processed by the augmented reality device.
  • the display unit 1431 may display an image of a virtual object.
  • the display unit 1431 may include, for example, a liquid crystal display, a thin film transistor-liquid crystal display, an organic light-emitting diode, a flexible display, It may include at least one of a 3D display and an electrophoretic display.
  • the audio output unit 1432 outputs audio data received from the communication unit 1450 or stored in the memory 1470 .
  • the vibration motor 1433 may output a vibration signal.
  • the controller 1420 typically controls overall operations of the augmented reality device.
  • the controller 1420 may be implemented similarly to the processor 1130 of FIG. 11 described above.
  • the control unit 1420 executes programs stored in the memory 1470, thereby enabling the user input unit 1410, the output unit 1430, the sensing unit 1440, the communication unit 1450, and the A/V input unit 1460. ) can be controlled.
  • the control unit 1420 controls the user input unit 1410, the output unit 1430, the sensing unit 1440, the communication unit 1450, and the A/V input unit 1460, thereby controlling the augmented reality devices of FIGS. 1 to 12. A variety of actions can be performed.
  • the sensing unit 1440 may detect a state of the augmented reality device or a state around the augmented reality device, and transmit the sensed information to the controller 1420 .
  • the sensing unit 1440 includes a magnetic sensor 1441, an acceleration sensor 1442, a temperature/humidity sensor 1443, an infrared sensor 1444, a gyroscope sensor 1445, and a position sensor. (eg, GPS) 1446, an air pressure sensor 1447, a proximity sensor 1448, and an RGB sensor (illuminance sensor) 1449, but may include at least one, but is not limited thereto. Since the function of each sensor can be intuitively inferred from its name, a detailed description thereof will be omitted.
  • the communication unit 1450 may include one or more components for communication with other electronic devices.
  • the communication unit 1450 may include a short-distance communication unit 1451, a mobile communication unit 1452, and a broadcast reception unit 1453.
  • the short-range wireless communication unit 1451 includes a Bluetooth communication unit, a Bluetooth Low Energy (BLE) communication unit, a Near Field Communication unit, a WLAN (Wi-Fi) communication unit, a Zigbee communication unit, and an infrared ( It may include an infrared data association (IrDA) communication unit, a Wi-Fi Direct (WFD) communication unit, an ultra wideband (UWB) communication unit, an Ant+ communication unit, etc., but is not limited thereto.
  • BLE Bluetooth Low Energy
  • Wi-Fi Wireless Fidelity
  • the mobile communication unit 1452 transmits and receives a radio signal with at least one of a base station, an external terminal, and a server on a mobile communication network.
  • the wireless signal may include a voice signal, a video call signal, or various types of data according to text/multimedia message transmission and reception.
  • the augmented reality device functions as a display device for other connected electronic devices, and the augmented reality device itself may function as an independent mobile communication terminal.
  • the communication unit 1450 of the augmented reality device may include both the short-range communication unit 1451 and the mobile communication unit 1452, and independent movement through the mobile communication unit 1452 even when not connected to other electronic devices. It can operate as a communication terminal.
  • the broadcast receiver 1453 receives a broadcast signal and/or broadcast-related information from the outside through a broadcast channel.
  • Broadcast channels may include satellite channels and terrestrial channels.
  • the augmented reality device may not include the broadcast receiver 1453.
  • An audio/video (A/V) input unit 1460 is for inputting an audio signal or a video signal, and may include a camera 1461 and a microphone 1462.
  • the camera 1461 may obtain an image frame such as a still image or a moving image through an image sensor in a video call mode or a photographing mode.
  • the image captured through the image sensor may be processed through the controller 1420 or a separate image processing unit (not shown).
  • An image frame processed by the camera 1461 may be stored in the memory 1470 or transmitted to the outside through the communication unit 1450 .
  • Two or more cameras 1461 may be provided according to configuration aspects of the augmented reality device.
  • the microphone 1462 receives external sound signals and processes them into electrical voice data.
  • the microphone 1462 may receive a sound signal from an external device or a speaker.
  • the microphone 1462 may use various noise cancellation algorithms to remove noise generated in the process of receiving an external sound signal.
  • the memory 1470 may store programs for processing and control by the controller 1420 and may store data input to or output from the augmented reality device.
  • the memory 1470 may include a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (eg SD or XD memory, etc.), RAM (RAM, Random Access Memory) SRAM (Static Random Access Memory), ROM (Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), magnetic memory, magnetic disk , an optical disk, and at least one type of storage medium.
  • Various embodiments of the present disclosure may be implemented or supported by one or more computer programs, and the computer programs may be formed from computer readable program codes and recorded in a computer readable medium.
  • application and “program” mean one or more computer programs, software components, sets of instructions, procedures, functions, objects suitable for implementation in computer readable program code. ), class, instance, related data, or part thereof.
  • Computer readable program code may include various types of computer code, including source code, object code, and executable code.
  • Computer readable medium means read only memory (ROM), random access memory (RAM), hard disk drive (HDD), compact disc (CD), digital video disc (DVD), or various types of memory; It may include various types of media that can be accessed by a computer.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • a 'non-transitory storage medium' is a tangible device, and may exclude wired, wireless, optical, or other communication links that transmit transitory electrical or other signals. Meanwhile, this 'non-temporary storage medium' does not distinguish between a case in which data is semi-permanently stored in the storage medium and a case in which data is temporarily stored in the storage medium.
  • the 'non-temporary storage medium' may include a buffer in which data is temporarily stored.
  • Computer readable media can be any available media that can be accessed by a computer and can include both volatile and nonvolatile media, removable and non-removable media. Computer readable media include media on which data can be permanently stored and media on which data can be stored and later overwritten, such as rewritable optical discs or removable memory devices.
  • the method according to various embodiments disclosed in this document may be provided by being included in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • a computer program product is distributed in the form of a device-readable storage medium (eg, compact disc read only memory (CD-ROM)), or through an application store (eg, Play Store TM ) or two It can be distributed (eg, downloaded or uploaded) online, directly between user devices (eg, smartphones).
  • a part of a computer program product eg, a downloadable app
  • a storage medium readable by a device such as a manufacturer's server, an application store server, or a relay server's memory. It can be at least temporarily stored in or temporarily created.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • User Interface Of Digital Computer (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

증강 현실 장치가 사용자의 시력을 측정하는 방법이 제공된다. 방법은, 외향 카메라를 이용하여 증강 현실 장치의 전방 영역을 촬영함으로써, 적어도 하나의 물리적 대상체(physical object)의 이미지를 포함하는 배경 이미지를 획득하는 단계, 배경 이미지에서 적어도 하나의 물리적 대상체의 이미지의 에지(edge)를 식별하는 단계, 식별된 에지에 기초하여 배경 이미지 상에서 사용자의 시력 측정을 위한 제1 영역을 결정하는 단계, 결정된 제1 영역에 대응되는 디스플레이 상의 제2 영역을 결정하는 단계, 결정된 제2 영역에 사용자의 시력 측정을 위한 가상 대상체(virtual object)를 출력하는 단계, 가상 대상체의 출력 이후에, 시력 측정을 위한 사용자 입력 신호를 획득하는 단계, 및 획득한 사용자 입력 신호에 기초하여 사용자의 시력 측정값(vision prescription value)을 산출하는 단계를 포함할 수 있다.

Description

시력 측정 및 시력 교정을 제공하는 증강 현실 장치 및 방법
본 개시는 사용자의 시력을 측정하고, 저시력 사용자들에게 교정된 시력을 제공하는 증강 현실 장치 및 방법에 관한 것이다.
증강 현실(augmented reality, AR) 기술은 현실의 환경에 가상 사물이나 정보를 합성하여, 가상 사물이나 정보가 현실의 물리적 환경에 존재하는 사물처럼 보이도록 하는 기술이다. 현대의 컴퓨팅 및 디스플레이 기술은 증강 현실 경험을 위한 시스템의 개발을 가능하게 하였는데, 증강 현실 경험에서는, 디지털적으로 재 생성된 이미지 또는 그 일부가, 이들이 현실인 것처럼 생각되거나, 또는 현실로서 인식될 수 있는 방식으로 사용자에게 제시될 수 있다.
증강 현실 기술에 대한 관심이 높아짐에 따라, 증강 현실을 구현하는 다양한 기술들에 대한 개발이 활발하게 이루어지고 있다. 특히 스마트 안경 등에서는 투명한 디스플레이를 통해, 현실의 물리적 환경에 대한 이미지를 직접 인식하면서, 배경 이미지 상에 가상 대상체(virtual object)를 오버레이(overlay) 되도록 표시할 수 있다.
한편, 대부분의 증강 현실 장치는 헤드 마운트 디스플레이(head mounted display, HMD)의 형태를 갖는데, 이러한 증강 현실 장치는 시력 교정용 안경을 착용한 상태로 사용하기 불편함이 있다. 시력 교정용 안경을 착용하는 사람의 교정 전 시력은 근시, 원시, 난시, 또는 이들의 조합으로 인해 복합적으로 나타날 수 있다. 시력 교정이 필요한 사용자가 시력 교정용 안경을 착용하지 않고 증강 현실 장치를 사용하는 경우, 현실의 물리적 환경에 대해 이미지를 설명하게 인식할 수 없고, 증강 현실의 몰입도가 떨어진다.
이에 따라, 별도의 안경을 착용하지 않은 사용자에게도 실감나는 증강 현실 서비스를 제공하기 위해, 사용자의 시력을 정확히 측정하고, 시력 교정을 제공하기 위한 기술이 요구된다.
본 개시의 일 실시예는, 사용자의 시력 측정을 위한 가상의 시표(vision chart)가 출력되는 영역을, 현실의 물리적 환경을 고려하여 결정함으로써, 외부 요인에 의한 시력 측정 결과의 오류 발생을 방지할 수 있는, 증강 현실 장치 및 방법을 제공할 수 있다.
본 개시의 일 실시예는, 사용자가 가상의 시표를 인식하기 위한 초점거리에 따라 시력 측정값을 보상함으로써, 사용자의 실제 시력과 측정된 시력 사이의 오차를 줄일 수 있는, 증강 현실 장치 및 방법을 제공할 수 있다.
본 개시의 일 실시예는, 측정된 시력에 기초하여 액정렌즈(liquid crystal lens, LC lens) 등의 가변 초점 렌즈의 초점을 제어함으로써, 사용자에게 시력 교정 및 실감나는 증강 현실 서비스를 제공할 수 있는, 증강 현실 장치 및 방법을 제공할 수 있다.
본 개시의 일 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 실시예들로부터 또 다른 기술적 과제들이 유추될 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서 개시된, 증강 현실 장치가 사용자의 시력을 측정하는 방법은, 증강 현실 장치에 포함된 외향 카메라를 이용하여 증강 현실 장치의 전방 영역을 촬영함으로써, 적어도 하나의 물리적 대상체(physical object)의 이미지를 포함하는 배경 이미지를 획득하는 단계, 배경 이미지에서 적어도 하나의 물리적 대상체의 이미지의 에지(edge)를 식별하는 단계, 식별된 에지에 기초하여 배경 이미지 상에서 사용자의 시력 측정을 위한 제1 영역을 결정하는 단계, 증강 현실 장치에 포함된 디스플레이 상에서, 결정된 제1 영역에 대응되는 제2 영역을 결정하는 단계, 결정된 제2 영역에 사용자의 시력 측정을 위한 가상 대상체(virtual object)를 출력하는 단계, 가상 대상체의 출력 이후에, 시력 측정을 위한 사용자 입력 신호를 획득하는 단계, 및 획득한 사용자 입력 신호에 기초하여 사용자의 시력 측정값(vision prescription value)을 산출하는 단계를 포함할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서 개시된, 사용자의 시력을 측정하는 증강 현실 장치는, 전방 영역을 촬영함으로써 적어도 하나의 물리적 대상체의 이미지를 포함하는 배경 이미지를 획득하는 외향 카메라, 사용자의 시력 측정을 위한 가상 대상체를 출력하는 출력부, 가상 대상체의 출력 이후에, 시력 측정을 위한 사용자 입력 신호를 획득하는 사용자 입력부, 적어도 하나의 명령어(instruction)를 포함하는 프로그램을 저장하는 저장부, 및 저장부에 저장된 적어도 하나의 명령어를 실행하는 적어도 하나의 프로세서를 포함할 수 있다. 프로세서는 적어도 하나의 명령어를 실행함으로써, 획득된 배경 이미지에서 적어도 하나의 물리적 대상체의 이미지의 에지를 식별하고, 식별된 에지에 기초하여 배경 이미지 상에서 사용자의 시력 측정을 위한 제1 영역을 결정하고, 출력부에 포함된 디스플레이 상에서, 결정된 제1 영역에 대응되는 제2 영역을 결정하고, 결정된 제2 영역에 가상 대상체를 출력하고, 획득한 사용자 입력 신호에 기초하여 사용자의 시력 측정값을 산출할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서 개시된, 컴퓨터로 읽을 수 있는 기록 매체는, 개시된 방법의 실시예들 중에서 적어도 하나를 컴퓨터에서 실행시키기 위한 프로그램이 저장된 것일 수 있다.
도 1은 본 개시의 일 실시예에 따른 증강 현실 장치가 사용자의 시력을 측정하는 방법의 개요도이다.
도 2는 본 개시의 일 실시예에 따른 증강 현실 장치가 사용자의 시력을 측정하는 방법의 흐름도이다.
도 3은 본 개시의 일 실시예에 따른 증강 현실 장치가 사용자의 시력 측정을 위한 가상 대상체가 출력될 위치를 결정하는 동작을 설명하기 위한 도면이다.
도 4는 본 개시의 일 실시예에 따른 배경 이미지에서 적어도 하나의 물리적 대상체의 이미지의 에지를 식별하여, 시력 측정을 위한 가상 대상체가 출력될 위치를 결정하는 동작을 설명하기 위한 도면이다.
도 5는 본 개시의 다른 실시예에 따른 배경 이미지에서 적어도 하나의 물리적 대상체의 이미지의 에지를 식별하여, 시력 측정을 위한 가상 대상체가 출력될 위치를 결정하는 동작을 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시예에 따른 배경 이미지의 깊이 맵에 기초하여, 배경 이미지 상에서 사용자의 시력 측정을 위한 영역을 결정하는 동작을 설명하기 위한 도면이다.
도 7은 본 개시의 일 실시예에 따른 객체 잠금 메커니즘을 이용하여 사용자의 시력 측정을 위한 가상 대상체의 출력 위치를 결정하는 동작을 설명하기 위한 도면이다.
도 8은 본 개시의 일 실시예에 따른 유도 지시자를 출력하는 동작을 설명하기 위한 도면이다.
도 9는 본 개시의 일 실시예에 따른 증강 현실 장치에서 디스플레이되는 가상 대상체의 식별력을 높이기 위한 다양한 동작을 설명하기 위한 도면이다.
도 10은 본 개시의 일 실시예에 따른 가상 대상체까지의 초점거리에 기초하여 측정 시력 보상값을 산출하는 동작을 설명하기 위한 도면이다.
도 11은 본 개시의 일 실시예에 따른 증강 현실 장치의 블록도이다.
도 12는 본 개시의 일 실시예에 따른 증강 현실 장치를 도시한 도면이다.
도 13은 본 개시의 일 실시예에 따른 가변 초점 렌즈를 제어하여 사용자에게 시력 교정을 제공하는 동작을 설명하기 위한 도면이다.
도 14는 본 개시의 일 실시예에 따른 증강 현실 장치를 도시한 도면이다.
아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 개시의 실시예들에서 사용되는 용어는 본 개시의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 실시예의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 명세서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다.
본 개시 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 본 명세서에 기재된 "~부", "~모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 명세서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)", "~하는 능력을 가지는(having the capacity to)", "~하도록 설계된(designed to)", "~하도록 변경된(adapted to)", "~하도록 만들어진(made to)", 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 시스템"이라는 표현은, 그 시스템이 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
도 1은 본 개시의 일 실시예에 따른 증강 현실 장치(augmented reality device, AR device)가 사용자의 시력을 측정하는 방법의 개요도이다.
증강 현실 장치(10)는 증강 현실(augmented reality, AR)을 표현할 수 있는 장치로서, 현실에 존재하는 물리적 대상체(physical object) 및 가상 대상체(virtual object)를 포함하는 이미지를 표시할 수 있다.
증강 현실 장치(10)는 예를 들어, 사용자가 안면부에 착용하는 안경 형상의 증강 현실 안경 장치(augmented reality glasses), 두부에 착용하는 헤드 마운트 디스플레이 장치(head mounted display, HMD), 가상 현실 헤드셋(virtual reality headset, VRH), 또는 증강 현실 헬멧(augmented reality helmet) 등을 포함할 수 있다. 한편, 증강 현실 장치(10)가 전술한 예시로 한정되는 것은 아니며, 사용자에게 증강 현실 서비스를 제공할 수 있는 모든 종류의 기기를 포함할 수 있다.
도 1을 참조하면, 증강 현실 장치(10)는 현실의 환경에 대한 배경 이미지(110)를 획득할 수 있다. 예를 들어, 배경 이미지(110)는 증강 현실 장치(10)에 포함된 외향 카메라(outward facing camera)를 이용하여 획득할 수 있다.
일 실시예에서, 증강 현실 장치(10)는 배경 이미지(110)에서, 물리적 대상체가 존재하지 않거나, 물리적 대상체의 에지(edge)가 복잡하지 않은 부분을 제1 영역(120)으로 결정할 수 있다. 제1 영역(120)은 배경 이미지(110) 상에서 증강 현실 장치를 사용하고 있는 사용자의 시력 측정을 위한 영역일 수 있다.
증강 현실 장치(10)는, 사용자의 시선 방향을 고려하여, 결정된 제1 영역(120)에 대응되는 제2 영역(140)을 디스플레이(20) 상에서 결정할 수 있다. 결정된 제2 영역(140)에는 사용자의 시력 측정을 위한 가상 대상체(131)를 출력할 수 있다. 예를 들어, 사용자의 시력 측정을 위한 가상 대상체(131)는 문자(text), 그림(picture) 또는 하나 이상의 문자 또는 그림을 포함하는 시력 검사 차트(vision test chart)일 수 있다.
사용자가 증강 현실 장치(10)를 착용하고, 가상 대상체(131)가 표시된 디스플레이(20)를 통해 현실의 환경을 바라볼 때, 사용자는 현실의 환경에 대한 배경 이미지(110) 및 가상 대상체(131)를 포함하는 합성 이미지(130)를 인식할 수 있다. 이 때, 예를 들어, 배경 이미지(110) 상의 제1 영역(120)과 디스플레이(20) 상의 제2 영역(140)이 대응된다고 함은, 합성 이미지(130)에서 제1 영역(120)과 제2 영역(140)이 정확히 오버레이(overlay)된다는 것을 나타낼 수 있다.
본 개시의 일 실시예에 따르면, 배경 이미지(110) 상에서 사용자의 시력 측정을 위한 제1 영역(120)을 결정하고, 증강 현실 장치(10)의 착용시 사용자의 시선 방향에서 제1 영역(120)과 정확히 오버레이 될 디스플레이(20) 상의 제2 영역(140)에 시력 측정을 위한 가상 대상체(131)를 출력한다. 이 경우, 사용자는 가상 대상체(131)가 배경 이미지(110) 상의 제1 영역(120)에 존재하는 것으로 인식할 수 있다.
이와 같이, 사용자의 시력 측정을 위한 가상의 시표(vision chart)가 출력되는 영역을, 현실의 물리적 환경을 고려하여 결정함으로써, 외부 요인에 의한 시력 측정 결과의 오류 발생을 방지할 수 있다.
또한, 본 개시의 일 실시예에 따르면, 가상 대상체(131)를 인식하기 위한 초점거리에 따라 시력 측정 결과를 보상함으로써, 시력 측정의 정확도를 더욱 높일 수 있다. 뿐만 아니라, 높은 정확도로 측정된 사용자의 시력에 기초하여 교정된 시력으로 증강 현실 서비스를 제공할 수 있어, 사용자로 하여금 더욱 실감나는 증강 현실의 체험이 가능하도록 한다.
이하, 사용자의 시력 측정을 위한 가상 대상체를 출력하기 위한 영역을 결정하는 방법, 가상 대상체까지의 초점 거리에 따라 시력 측정 결과를 보상하는 방법, 및 측정된 사용자의 시력에 기초하여 시력 교정을 제공하는 방법 등에 대하여 보다 구체적으로 기술하도록 한다.
도 2는 본 개시의 일 실시예에 따른 증강 현실 장치가 사용자의 시력을 측정하는 방법의 흐름도이다.
단계 S210에서, 증강 현실 장치는, 외향 카메라를 이용하여 증강 현실 장치의 전방 영역을 촬영함으로써, 적어도 하나의 물리적 대상체의 이미지를 포함하는 배경 이미지를 획득할 수 있다. 일 실시예에서, 외향 카메라는 전방 영역을 촬영함으로써 배경 영상을 획득할 수도 있다. 이 경우, 현실 공간 안에서 사용자의 시력 측정을 위한 영역을 결정하기 위해, 특정 시점에서 캡쳐된 이미지를 이용할 수 있다.
단계 S220에서, 증강 현실 장치는, 배경 이미지에서 적어도 하나의 물리적 대상체의 이미지의 에지(edge)를 식별할 수 있다. 이미지의 에지를 식별하는 동작은 이미지에 포함된 객체들의 경계선을 인지하는 동작을 나타낼 수 있다. 에지(경계선)는 이미지 안에서 픽셀의 값이 갑자기 변하는 곳을 나타낼 수 있다. 예를 들어, 에지 추출을 위한 알고리즘은 이미지를 미분한 그래디언트(gradient) 벡터의 크기로 판단할 수 있다.
일 실시예에서, 배경 이미지에 포함된 에지를 추출하는 동작에는 소벨 에지 추출법(Sobel edge detection), 프리윗 에지 추출법(Prewitt edge detection), 로버츠 에지 추출법(Roberts edge detection), 컴퍼스 에지 추출법(Compass edge detection), 라플라시안 에지 추출법(Laplacian edge detection), 및 캐니 에지 추출법(Canny edge detection) 등 다양한 에지 추출 알고리즘이 이용될 수 있다.
일 실시예에서, 배경 이미지에서 적어도 하나의 물리적 대상체의 에지를 식별하는 동작은, 배경 이미지 상에서 인접한 픽셀에 걸쳐 강도(intensity)가 기설정된 임계값 이상으로 변하는 부분을 에지로 결정할 수 있다. 예를 들어, 에지는 물리적 대상체의 윤곽 부분에서도 결정될 수 있으나, 물리적 대상체 내의 모양, 패턴, 굴곡 등에 의해 결정될 수도 있다. 예를 들어, 그림이 그려진 액자의 경우, 액자는 하나의 물리적 대상체이지만, 액자 내에 그려진 그림에 따라 많은 에지가 식별될 수 있다. 또한 예를 들어, 배경 이미지 내에서 서로 다른 두 개의 물리적 대상체가 존재하더라도, 두 물체의 색상이 유사하여 두 물체 사이의 경계가 잘 드러나지 않는 경우에는, 에지가 식별되지 않을 수도 있다.
단계 S230에서, 증강 현실 장치는, 식별된 에지에 기초하여 배경 이미지 상에서 사용자의 시력 측정을 위한 제1 영역을 결정할 수 있다. 일 실시예에서, 증강 현실 장치는, 배경 이미지 상에서 에지가 검출되지 않은 부분을 시력 측정을 위한 제1 영역으로 결정할 수 있다. 일 실시예에서, 에지가 검출되지 않은 부분들 중 가장 넓은 면적을 갖는 부분을 시력 측정을 위한 제1 영역으로 결정할 수도 있다.
일 실시예에서, 에지가 검출되지 않은 부분의 크기가 시력 측정을 위한 가상 대상체를 출력하기에 충분히 크지 않은 경우, 인접한 에지-미검출-영역들 중 에지 강도가 약한 두 개의 영역에 걸쳐 제1 영역을 결정할 수도 있다. 예를 들어, 하늘에 대응되는 이미지 영역과, 바다에 대응되는 이미지 영역 사이에 에지가 식별되더라도, 하늘과 바다 사이의 에지의 강도가 이미지에 포함된 다른 에지들의 강도에 비해 약한 경우, 하늘에 대응되는 이미지 영역 및 바다에 대응되는 이미지 영역에 걸쳐 제1 영역을 결정할 수도 있다.
한편, 식별된 에지에 기초하여 배경 이미지 상에서 사용자의 시력 측정을 위한 제1 영역을 결정하는 동작은 전술한 예시들에 한정되는 것은 아니며, 다양한 방법에 의해 제1 영역이 결정될 수 있다.
단계 S240에서, 증강 현실 장치는, 결정된 제1 영역에 대응되는 제2 영역을 디스플레이 상에서 결정할 수 있다. 제1 영역은 배경 이미지 상에서의 영역이고, 제2 영역은 디스플레이 상에서의 영역일 수 있다. 일 실시예에서, 제1 영역에 대응되도록 결정된 제2 영역은, 사용자가 증강 현실 장치를 통해 현실 공간을 바라보았을 때, 현실 공간을 촬영한 배경 이미지에 포함되는 제1 영역과 디스플레이 상에서 표시되는 제2 영역이 정확히 오버레이되어 같은 위치에 있는 것으로 인식될 수 있다. 예를 들어, 디스플레이 상의 제2 영역에 표시된 가상 대상체는 증강 현실 장치를 착용한 사용자에게는 현실 공간의 제1 영역에 존재하는 것으로 인식될 수 있다.
일 실시예에서, 제1 영역에 대응되는 제2 영역을 결정하는 동작에는, 증강 현실 장치에 포함된 내향 카메라(inward facing camera) 또는 시선 추적 카메라(eye tracking camera, ET camera)를 통해 획득한 사용자의 시선 방향 정보(gaze direction information)가 이용될 수 있다. 예를 들어, 사용자의 시선 방향 정보를 이용해, 증강 현실 장치를 착용한 사용자가 제1 영역에 정확히 오버레이 된다고 인식하는 영역을 제2 영역으로 결정할 수 있다.
단계 S250에서, 증강 현실 장치는, 결정된 제2 영역에 사용자의 시력 측정을 위한 가상 대상체를 출력할 수 있다. 일 실시예에서, 디스플레이는 투명한 재질을 포함할 수 있다. 일 실시예에서 사용자의 시력 측정을 위한 가상 대상체는 하나의 문자(text)거나, 하나의 그림(picture)이거나, 또는 하나 이상의 문자 또는 그림의 조합일 수 있다.
단계 S260에서, 증강 현실 장치는, 가상 대상체의 출력 이후에, 시력 측정을 위한 사용자 입력 신호를 획득할 수 있다. 일 실시예에서, 사용자 입력 신호는 사용자가 출력된 가상 대상체를 인식함에 따라 입력된 신호일 수 있다. 일 실시예에서, 사용자 입력 신호는 마이크 등의 음성 감지 센서에서 감지된 신호, 터치 센서에서 감지된 신호, 입력 장치를 통해 수신된 신호, 또는 그 밖의 다양한 신호를 포함할 수 있다.
단계 S270에서, 증강 현실 장치는, 획득한 사용자의 입력 신호에 기초하여 사용자의 시력 측정값(vision prescription value)을 산출할 수 있다. 사용자의 시력 측정값은 근시(myopia)의 정도, 원시(hyperopia)의 정도, 및 난시(astigmatism)의 정도에 대한 정보를 포함할 수 있다. 일 실시예에서, 증강 현실 장치는 산출된 사용자의 시력 측정값을 사용자에게 제공할 수도 있다. 산출된 사용자의 시력 측정값은 사용자에게 시력 교정을 제공하는 동작에 이용될 수 있다.
도 3은 본 개시의 일 실시예에 따른 증강 현실 장치가 사용자의 시력 측정을 위한 가상 대상체(331)가 출력될 위치를 결정하는 동작을 설명하기 위한 도면이다.
도 3을 참조하면, 현실 환경(310)은 다양한 물리적 대상체들을 포함할 수 있다. 일 실시예에서, 사용자는 다양한 물리적 대상체들을 포함하는 현실 환경(310) 내에서 시력 측정을 수행할 수 있다. 증강 현실 장치는 투명한 디스플레이를 포함할 수 있다. 일 실시예에서, 증강 현실 장치를 착용한 사용자는 투명한 디스플레이를 통해 현실 환경(310)을 보면서, 투명한 디스플레이 상에 표시된 가상 대상체(331)를 볼 수 있다.
일 실시예에서, 현실 환경(310) 내의 영역 1(340)에는 하나 이상의 물리적 대상체들이 포함될 수 있다. 예를 들어, 영역 1(340)에는 의자, 책상, 서랍, 및 노트북이 포함될 수 있다. 일 실시예에서, 현실 환경(310) 내의 영역 2(340-1)에는 하나의 물리적 대상체만 포함될 수 있다. 예를 들어, 영역 2(340-1)에는 벽만이 포함될 수 있다.
도 3의 왼쪽 부분을 참조하면, 사용자의 시력 측정을 위한 가상 대상체(331)가 영역 1(340)에 오버레이되어 디스플레이될 경우, 가상 대상체(331)의 인식도가 떨어질 수 있다. 현실 환경(310)에 대응되는 배경 이미지를 에지 분석할 경우, 영역 1(340)에는 많은 양의 에지가 포함될 수 있다. 이와 같이, 에지가 복잡한 영역에 대응되도록 가상 대상체(331)를 디스플레이할 경우, 해당 영역에 포함된 물리적 대상체들로 인해, 가상 대상체(331)의 인식률이 낮아질 수 있다.
도 3의 오른쪽 부분을 참조하면, 사용자의 시력 측정을 위한 가상 대상체(331)가 영역 2(340-1)에 오버레이되어 디스플레이될 경우, 가상 대상체(331)의 인식률이 좋을 수 있다. 현실 환경(310)에 대응되는 배경 이미지를 에지 분석할 경우, 영역 2(340-1)에는 에지가 포함되지 않거나, 적은 양의 에지가 포함될 수 있다. 이와 같이, 에지가 식별되지 않는 영역에 대응되도록 가상 대상체(331)를 디스플레이할 경우, 해당 영역에는 물리적 대상체들이 존재하지 않거나, 사용자의 시야에 영향을 주지 않는 정도로만 존재하므로, 가상 대상체(331)의 인식률이 높아질 수 있다.
시력 측정을 위한 가상 대상체(331)의 인식률은 시력 측정 결과에 영향을 줄 수 있다. 예를 들어, 영역 1(340)과 같이 에지가 복잡한 영역 상에 가상 대상체(331)를 출력할 경우, 사용자가 충분히 읽을 수 있는 문자도 잘못 읽는 경우가 발생할 수 있다. 따라서, 에지가 복잡한 영역 상에 가상 대상체(331)를 출력할 경우, 실제 사용자의 시력보다 시력이 낮게 측정될 수 있다.
본 개시의 일 실시예에 따르면, 시력 측정의 정확성을 위하여, 배경 이미지(310)의 에지 분석 등을 통해, 배경 이미지 상에서 사용자의 시력 측정을 위한 제1 영역을 결정하고, 결정된 부분을 시력 측정에 이용할 수 있다.
도 4는 본 개시의 일 실시예에 따른 배경 이미지에서 적어도 하나의 물리적 대상체의 이미지(411, 412, 413, 414)의 에지를 식별하여, 시력 측정을 위한 가상 대상체(431)가 출력될 위치를 결정하는 동작을 설명하기 위한 도면이다.
도 4를 참조하면, 배경 이미지(410)는 복수의 물리적 대상체 이미지(411, 412, 413, 414)를 포함할 수 있다. 예를 들어, 배경 이미지(410)는 사람 이미지(411), 카메라 이미지(412), 건물 이미지(413), 및 땅 이미지(414)를 포함할 수 있다.
일 실시예에서, 증강 현실 장치는 배경 이미지(410)에서 각각의 물리적 대상체 이미지(411, 412, 413, 414)의 에지(421)를 식별할 수 있다(단계 4a). 일 실시예에서, 증강 현실 장치는 배경 이미지(410)에 포함된 에지(421)를 추출하여 에지 맵(420)을 생성할 수 있다. 에지 맵(420)에는 적어도 하나의 에지(421)가 포함될 수 있다.
일 실시예에서, 배경 이미지(410)에서 물리적 대상체들의 에지(421)를 식별하는 동작에서는, 배경 이미지(410) 상에서, 인접한 픽셀에 걸쳐 강도(intensity)가 기 설정된 임계값 이상으로 변하는 부분을 에지로 결정할 수 있다.
일 실시예에서, 특정 물리적 대상체의 이미지에서는 에지가 검출되지 않을 수 있다. 예를 들어, 도 4를 참조하면, 건물 이미지(413)에 대해서는 에지(421)가 검출되지 않을 수 있다. 에지는 인접한 픽셀에 걸쳐 강도가 기설정된 임계값 이상으로 변하는 경우 검출될 수 있다. 일 실시예에서, 건물 이미지(413)에 대응되는 픽셀들은 강도의 차이가 기설정된 임계값보다 작아, 에지(421)가 검출되지 않을 수 있다. 이 경우, 실제 배경 이미지(410) 상에서도 육안 상 건물 외곽의 경계 또는 패턴 구별이 어려울 수 있다. 육안 상 픽셀의 강도 차이를 구별하기 어려운 경우, 해당 부분에 가상 대상체(431)가 표시되더라도, 시력 측정의 오류가 일어날 가능성이 적다. 따라서, 에지 맵(420) 상에서 에지(421)가 존재하지 않는 영역을 사용자의 시력 측정을 위한 제1 영역(430)으로 결정함으로써, 시력 측정의 오류 발생을 방지할 수 있다.
증강 현실 장치는 식별된 에지(420)에 기초하여 배경 이미지(410) 상에서 사용자의 시력 측정을 위한 제1 영역(430)을 결정하고, 결정된 제1 영역(430)에 대응되는 디스플레이(20) 상의 제2 영역을 결정하고, 결정된 제2 영역에 사용자의 시력 측정을 위한 가상 대상체(431)를 출력할 수 있다(단계 4b).
도 5는 본 개시의 다른 실시예에 따른 배경 이미지(510)에서 적어도 하나의 물리적 대상체 이미지의 에지를 식별하여, 시력 측정을 위한 가상 대상체(531)가 출력될 위치를 결정하는 동작을 설명하기 위한 도면이다.
일 실시예에서, 에지는 물리적 대상체의 윤곽에 대응되는 부분에서 결정될 수도 있으나, 물리적 대상체 내의 모양, 패턴, 굴곡 등에 의해 결정될 수도 있다. 예를 들어, 그림이 그려진 액자의 경우, 액자는 하나의 물리적 대상체이지만, 액자 내부에 그려진 그림의 패턴에 따라 많은 에지가 식별될 수 있다. 일 실시예에서, 에지는, 배경 이미지(510) 내에서 물리적 대상체의 형태, 위치, 패턴, 색상 등에 의해 결정된 각각의 픽셀들의 값에 기초하여 결정될 수 있다.
단계 5a를 참조하면, 복수의 액자 이미지를 포함하는 배경 이미지(510)에서, 에지는 물리적 대상체인 '액자'의 테두리 및 액자 내부에 그려진 그림에 의해 결정될 수 있다. 일 실시예에서, 복잡한 에지를 포함하는 영역에 가상 대상체(531)를 표시할 경우, 가상 대상체(531)의 인식률이 떨어질 수 있고, 시력 측정 결과에 오류가 발생할 수 있다.
증강 현실 장치는, 결정된 에지들을 포함하는 에지 맵(520)에서, 에지가 포함되지 않은 영역을 식별하고, 이를 시력 측정을 위한 제1 영역(530)으로 결정할 수 있다.
단계 5b에서, 증강 현실 장치는 결정된 제1 영역(530)에 대응되도록 가상 대상체(531-1)의 위치를 조정할 수 있다. 에지가 포함되지 않는 영역에 가상 대상체(531-1)를 표시할 경우, 가상 대상체(531-1)는 사용자의 시력 범위 내에서 용이하게 인식될 수 있고, 정확한 시력 측정이 가능하다.
도 6은 본 개시의 일 실시예에 따른 배경 이미지(610)의 깊이 맵(620)에 기초하여, 배경 이미지(610) 상에서 사용자의 시력 측정을 위한 영역을 결정하는 동작을 설명하기 위한 도면이다.
일 실시예에서, 증강 현실 장치는, 깊이 센서(depth sensor)를 이용하여 배경 이미지(610)의 깊이 맵(620)을 획득하고, 획득된 깊이 맵(620)에 기초하여 배경 이미지(610)에 포함된 적어도 하나의 물리적 대상체의 깊이 값 및 형태를 식별할 수 있다. 일 실시예에서, 증강 현실 장치는, 적어도 하나의 물리적 대상체의 깊이 값 및 형태, 및 다양한 에지 추출법을 통해 식별된 에지에 기초하여 배경 이미지(610) 상에서 사용자의 시력 측정을 위한 제1 영역(630)을 결정할 수 있다.
일 실시예에서, 깊이 정보를 이용해 디스플레이 될 가상 대상체(631)에 대한 초점거리가 비교적 일정한 평탄한 영역을 선택할 수 있고, 에지 정보를 이용해 물리적 대상체가 존재하지 않아 가상 대상체(631)를 용이하게 인식 또는 식별할 수 있는 영역을 선택할 수 있다. 일 실시예에서, 깊이 정보와 에지 정보에 모두 기초하여 영역을 선택할 경우, 픽셀 값이 비교적 일정하고, 초점거리도 비교적 일정한 영역을 시력 측정을 위한 제1 영역(630)으로 선택할 수 있다.
도 7은 본 개시의 일 실시예에 따른 객체 잠금 메커니즘(object locking mechanism)을 이용하여 사용자의 시력 측정을 위한 가상 대상체(731)의 출력 위치(720)를 결정하는 동작을 설명하기 위한 도면이다.
객체 잠금 메커니즘은, 가상 현실 또는 증강 현실 디스플레이에 있어서, 물리적 대상체(physical object) 및 가상 대상체(virtual object)의 상대적인 위치를 고정시키는 메커니즘이다.
본 개시의 일 실시예에 따른 증강 현실 장치는, 배경 이미지(710)의 제1 영역에 대응되는 디스플레이 상의 제2 영역을 결정하는 동작에 객체 잠금 메커니즘을 이용할 수 있다. 일 실시예에서, 증강 현실 장치를 착용한 사용자는 시력 측정이 진행되는 중에 자세(pose)를 변화하거나, 다른 곳을 응시할 수 있다.
일 실시예에서, 사용자의 움직임에 따라 가상 대상체(731)의 배경 이미지(710)에 대한 상대적인 위치가 변경될 수 있다. 사용자가 움직이는 경우, 착용하고 있는 증강 현실 장치의 위치가 변경되며, 따라서, 증강 현실 장치에 포함된 디스플레이의 위치가 변경된다. 디스플레이의 위치가 변경됨에 따라, 디스플레이 상의 제2 영역과 대응되는 배경 이미지(710) 상의 제1 영역의 정렬이 틀어질 수 있다.
배경 이미지(710) 상의 제1 영역과 디스플레이 상의 제2 영역의 정렬이 틀어지면, 사용자의 시선 방향에서 제1 영역과 제2 영역이 정확히 오버레이되지 않고, 제2 영역에 표시된 가상 대상체가 배경 이미지(710) 상의 제1 영역에서 벗어나 에지가 많은 영역으로 이동할 수 있다. 이 경우, 가상 대상체의 식별력 및 인식률이 떨어지고, 시력 측정 결과에 정확도가 낮아질 수 있다.
일 실시예에서, 증강 현실 장치는 객체 잠금 메커니즘을 통해 사용자의 가상 대상체가 디스플레이 상 표시될 때 일정한 제1 영역 상에 오버레이 되어 표시되도록 제2 영역을 조정할 수 있다. 따라서, 사용자가 시력 측정 진행 중 움직이더라도, 가상 대상체(731)와 배경 이미지(710)의 상대적인 위치는 변하지 않을 수 있다.
도 8은 본 개시의 일 실시예에 따른 유도 지시자(G1, G2)를 출력하는 동작을 설명하기 위한 도면이다.
도 8을 참조하면, 증강 현실 장치는 사용자의 시선 방향(gaze point, GP)을 인식할 수 있다. 일 실시예에서, 사용자의 시선 방향(GP)은 증강 현실 장치에 포함된 내향 카메라 또는 시선 추적 카메라를 통해 인식될 수 있다.
일 실시예에서, 인식된 사용자의 시선 방향(GP)이 가상 대상체(831)를 향하지 않다고 판단될 경우, 증강 현실 장치는 디스플레이에 유도 지시자(guide indicator)(G1, G2)를 출력할 수 있다.
도 8을 참조하면, 유도 지시자는, 인식된 사용자의 시선 방향(GP)에서 가상 대상체(831)로 향하는 화살표(G1) 및 가상 대상체(832)를 둘러싸는 상자(G2) 등, 사용자의 시선 이동을 유도하고, 가상 대상체(832)의 위치를 강조할 수 있는 다양한 형태의 지시자를 포함할 수 있다.
도 9는 본 개시의 일 실시예에 따른 증강 현실 장치에서 디스플레이되는 가상 대상체(931)의 식별력을 높이기 위한 다양한 동작을 설명하기 위한 도면이다.
일 실시예에서, 증강 현실 장치는 디스플레이되는 가상 대상체(931)의 식별력을 높이기 위해, 가상 대상체(931)의 색상을 조절할 수 있다. 일 실시예에서, 증강 현실 장치는 배경 이미지(910) 상에서 가상 대상체(931)가 오버레이 될 제1 영역(920)의 색상을 식별할 수 있다. 증강 현실 장치는 이후, 식별된 제1 영역(920)의 색상에 기초하여 가상 대상체(931)의 색상을 결정할 수 있다.
일 실시예에서, 두 개의 인접한 대상체의 색상 대비(contrast)가 클수록 대상체들을 구별하기 쉽다. 즉, 대상체들 사이의 색상 대비가 클수록 대상체들 간의 식별력이 높아진다. 일 실시예에서, 증강 현실 장치는 대응되는 제1 영역(920)의 색상과 대비가 최대가 되도록 가상 대상체(931)의 색상을 결정할 수 있다.
일 실시예에서, 증강 현실 장치는 사용자가 색맹(color-blind)인지 또는 색약(color-weak)인지에 따라, 가상 대상체(931)의 색상을 다르게 결정할 수 있다. 일 실시예에서, 증강 현실 장치는 새로 획득하거나 기저장된 사용자 정보를 통해, 사용자가 가상 대상체(931)를 보다 잘 식별할 수 있도록 가상 대상체(931)의 색상을 결정할 수 있다.
일 실시예에서, 증강 현실 장치는, 디스플레이 상에서 가상 대상체(931)가 출력되는 픽셀들을 제외한, 제2 영역(920)에 포함된 픽셀들의 명도(brightness)를 낮출 수 있다. 일 실시예에서, 가상 대상체(931)가 표시되는 영역 주위의 픽셀들을 어둡게 보정할 경우, 가상 대상체(931) 영역이 강조되어 가상 대상체(931)의 식별력이 더 높아질 수 있다.
일 실시예에서, 배경 이미지(910) 상에서 사용자의 시력 측정을 위한 제1 영역의 면적에 기초하여, 사용자의 시력 측정을 위한 가상 대상체(931)의 크기 및 개수 중 적어도 하나를 결정할 수 있다. 예를 들어, 가상 대상체(931)들의 개수, 크기, 및 간격은 가상 대상체(931)들이 표시되는 영역의 면적에 따라 조절될 수 있다.
도 10은 본 개시의 일 실시예에 따른 가상 대상체(1021, 1031)까지의 초점거리에 기초하여 측정 시력 보상값을 산출하는 동작을 설명하기 위한 도면이다.
일 실시예에서, 증강 현실 장치는 사용자의 눈(E1, E2)으로부터 가상 대상체(1021, 1031)까지의 초점거리를 식별하고, 식별된 초점거리에 기초하여 측정 시력 보상값(test vision compensation value)을 산출할 수 있다.
사람의 눈은 실제 사물(real object, physical object)을 볼 때, 반사적으로 두가지 동작을 한다. 하나는 수렴(vergence, convergence) 동작으로, 양쪽 눈이 사물을 향해서 모이는 동작이다. 수렴 동작에서는 사람의 눈과 물체의 거리에 따라 양안의 광축이 돌아간다. 다른 하나는 초점 조절(accommodation, 원근 조절) 동작으로, 눈의 수정체가 사물이 또렷하게 보이도록 초점을 맞추는 동작이다. 초점 조절 동작에서는 사람의 눈과 물체의 거리에 따라 수정체의 두께가 조절된다.
일반적으로 가상 현실(virtual reality, VR) 영상 또는 증강 현실 장치에서 출력하는 가상 대상체를 사용자가 주시할 경우, 사용자는 수렴 조절 불일치(vergence-accommodation conflict, VAC) 현상을 경험할 수 있다. 예를 들어, 가상 현실 장치에서 물리적 대상체까지의 거리가 d1인 경우, 가상 현실 장치는 가상 대상체를 d1 거리에 위치하는 것처럼 표시할 수 있다. 이 때, 사용자는 가상 대상체가 d1 거리에 위치하는 것처럼 보기 때문에, 사용자의 양쪽 눈이 수렴하는 거리(vergence distance)는 d1이 된다. 반면에, 가상 대상체는 실제로 가상 현실 장치의 디스플레이 상에 표시되기 때문에, 사용자의 양쪽 눈의 초점 거리(focal distance)는 사용자의 눈에서 디스플레이까지의 거리 d2가 된다. 이와 같은 경우, 수렴 거리와 초점 거리가 불일치하게 되고, 가상 현실 장치의 사용자는 어지럼증이나 멀미를 느낄 수 있다. 한편, 이러한 수렴 조절 불일치 문제는 디지털 홀로그래피 기술 또는 초점 조절 렌즈를 통해 해소될 수 있다.
본 개시의 일 실시예에 따른 증강 현실 장치에서는, 디스플레이 상 출력되는 가상 대상체가 3차원 물체가 아니라, 시력 측정을 위한 2차원의 문자, 이미지 등에 해당한다. 따라서, 사용자는 배경 이미지와 가상 대상체의 합성 이미지를 볼 때, 가상 대상체가 배경 이미지 내의 실제 객체들에 '프린팅(printing)' 되거나, 실제 공간 상에 투영되는 것과 같이 인식할 수 있다. 즉, 2차원의 가상 대상체를 주시하는 사용자의 눈은, 가상 대상체가 실제 투영되는 공간 또는 그 영역에 위치한 실제하는 물리적 대상체를 바라볼 때와 동일하게 수렴 동작 및 초점 조절 동작을 한다.
도 10을 참조하면, 예를 들어, 배경 이미지(1010)는 책상 이미지(1011), 하늘 이미지(1012), 컴퓨터 이미지(1013), 주전자 이미지(1014), 및 컵 이미지(1015)를 포함할 수 있다. 일 실시예에서, 사용자가 배경 이미지 상의 하늘 영역(1012)에 투영된 가상 대상체(1021)를 주시할 경우, 사용자의 눈(E1)은 가상 대상체(1021)가 실제 투영되는 공간(1012)을 바라볼 때와 동일하게 수렴 동작 및 초점 조절 동작을 할 수 있다. 일 실시예에서, 사용자가 배경 이미지 상의 컴퓨터 이미지(1013) 내에 투영된 가상 대상체(1031)를 주시할 경우, 가상 대상체(1031)는 배경 이미지 내의 실제 객체인 컴퓨터에 프린팅 되거나 표시된 것으로 인식될 수 있고, 사용자의 눈(E2)은 가상 대상체(1031)가 실제 투영되는 공간(1030)을 바라볼 때와 동일하게 수렴 동작 및 초점 조절 동작을 할 수 있다.
사용자가 증강 현실 장치를 통해 배경 이미지(1010)를 볼 때, 가까운 거리에 있는 컴퓨터 이미지(1013)에 초점을 맞추는 경우와 먼 거리에 있는 하늘 이미지(1012)에 초점을 맞추는 경우, 수정체의 두께가 다르다. 따라서, 컴퓨터 이미지(1013) 상에 투영된 가상 대상체(1031)를 이용해 시력을 측정한 경우와 하늘 이미지(1012) 상에 투영된 가상 대상체(1021)를 이용해 시력을 측정한 경우에, 측정값이 동일하더라도, 수정체의 두께 차이로 인해 시력 차이가 있을 수 있다. 일 실시예에서, 수정체의 변화를 고려하여 시력 측정값을 보상함으로써, 사용자의 실제 시력과 측정된 시력 사이의 오차를 줄일 수 있다.
예를 들어, 사용자가 하늘 이미지(1012) 부분에 초점(FP)을 맞추는 경우, 사용자의 눈(E1)에 포함된 수정체(LENS1)는 먼 거리를 볼 수 있도록 완화된 상태를 갖는다. 일 실시예에서, 사용자의 시력 측정을 위한 제1 가상 대상체(1021)가 하늘 이미지(1012) 상에 오버레이되어 표시될 수 있다. 이 경우, 사용자는 먼 거리를 볼 수 있도록 수정체(LENS1)가 완화되어 있는 상태에서 제1 가상 대상체(1021)를 읽게 된다.
다른 예에서, 사용자가 컴퓨터 이미지(1013) 부분에 초점(NP)을 맞추는 경우, 사용자의 눈(E2)에 포함된 수정체(LENS2)는 가까운 거리를 볼 수 있도록 부푼 상태를 갖는다. 일 실시예에서, 사용자의 시력 측정을 위한 제2 가상 대상체(1031)가 컴퓨터 이미지(1013) 상에 오버레이되어 표시될 수 있다. 이 경우, 사용자는 가까운 거리를 볼 수 있도록 수정체(LENS2)가 부풀어 있는 상태에서 제2 가상 대상체(1031)를 읽게 된다.
따라서, 제1 가상 대상체(1021)를 이용해 시력을 측정한 경우와, 제2 가상 대상체(1031)를 이용해 시력을 측정한 경우에 측정 결과가 달라진다. 예를 들어, 제1 가상 대상체(1021)를 이용해 시력을 측정한 경우, 시력이 1.2가 나왔다면, 사용자의 시력은 그대로 1.2로 볼 수 있지만, 제2 가상 대상체(1031)를 이용해 시력을 측정하였는데 시력이 1.2가 나왔다면, 실제 시력은 그보다 낮을 것이다. (더 멀리 있는 글자는 더 못볼 것이다)
가상 대상체를 바라보는 사용자의 눈의 수정체의 조절력(accommodation power)은, 가상 대상체의 초점거리로부터 산출될 수 있다. 본 개시의 일 실시예에서, 가상 대상체는 배경 이미지 내의 실제 객체들에 '프린팅(printing)' 되거나, 실제 공간 상에 투영되는 것과 같이 인식될 수 있고, 따라서, 가상 대상체의 초점거리는 가상 대상체가 투영된 위치에 대응되는 실제 물리적 대상체까지의 거리로 간주될 수 있다.
예를 들어, 가상 대상체가 투영된 위치에 대응되는 실제 물리적 대상체까지의 거리는 깊이 센서(depth sensor) 또는 거리 측정 센서를 통해 측정되거나, 시선 추적 센서를 통해 측정될 수 있다. 깊이 센서는 예를 들어, ToF(Time-of-Flight) 방식의 센서, 카메라 두대를 이용한 스테레오 매칭 방식의 센서, 또는 구조광 방식(structured light) 센서를 포함할 수 있다. 시선 추적 센서를 통해 실제 물리적 대상체까지의 거리를 측정하는 방법은, 시선 추적 센서를 통해 사용자의 좌안 및 우안의 시선 방향을 알아내고, 좌안 및 우안의 시선 방향이 교차하는 지점을 해당 대상체가 존재하는 위치로 판단하여 그 지점까지의 거리를 계산하는 방법을 포함할 수 있다.
일 실시예에서, 가상 대상체의 초점거리에 기초한 측정 시력 보상값(accommodation power, AP)은, 식별된 초점거리(D)의 역수(1/D)에 기초하여 결정될 수 있다. 일 실시예서, 증강 현실 장치는 결정된 측정 시력 보상값(AP)를 통해 산출된 시력 측정값을 보상할 수 있다. 예를 들어, 측정 시력 보상값을 통해 산출된 시력 측정값을 보상하는 동작은, 가상 대상체가 6m이내의 초점거리(D)에 디스플레이 되었을 경우, 시력 측정값에서 측정 시력 보상값을 빼 줌으로써 시력 측정값을 보상할 수 있다. 예를 들어, 가상 대상체가 6m보다 먼 초점거리(D)에 디스플레이 되었을 경우, 시력 측정값에 측정 시력 보상값을 더해 줌으로써 시력 측정값을 보상할 수 있다.
일 실시예에서, 사용자의 눈으로부터 가상 대상체까지의 초점거리를 식별하는 동작은, 가상 대상체가 표시되는, 디스플레이 상의 제2 영역에 대응되는 배경 이미지상의 제1 영역에 대응되는 물리적 대상체를 식별하는 동작 및 증강 현실 장치에 포함된 LIDAR, 깊이 센서, 또는 시선 추적 센서 중 적어도 하나를 이용해 사용자의 눈으로부터 식별된 물리적 대상체까지의 초점 거리를 식별하는 동작을 포함할 수 있다.
본 개시의 일 실시예는, 사용자가 가상의 시표를 인식하기 위한 초점거리에 따라 시력 측정값을 보상함으로써, 사용자의 실제 시력과 측정된 시력 사이의 오차를 줄일 수 있다.
도 11은 본 개시의 일 실시예에 따른 증강 현실 장치(1100)의 블록도이다.
도 11를 참조하면, 본 개시의 일 실시예에 따른 증강 현실 장치(1100)는 입력부(1110), 저장부(1120), 프로세서(1130), 가변 초점 렌즈(1140), 및 출력부(1150)를 포함할 수 있다. 입력부(1110)는 외향 카메라(1111) 및 사용자 입력부(1112)를 포함할 수 있다. 출력부(1150)는 디스플레이(1151) 및 오디오 출력부(1152)를 포함할 수 있다. 도 11에 도시된 구성 요소 모두가 증강 현실 장치(1100)의 필수 구성 요소인 것은 아니다. 도 11에 도시된 구성 요소보다 많은 구성 요소들에 의해 증강 현실 장치(1100)가 구현될 수도 있고, 도 11에 도시된 구성 요소보다 적은 구성 요소에 의해 증강 현실 장치(1100)가 구현될 수도 있다.
외향 카메라(1111)는, 증강 현실 장치(1100)의 전방 영역을 촬영함으로써, 적어도 하나의 물리적 대상체의 이미지를 포함하는 배경 이미지를 획득할 수 있다.
출력부(1150)는 사용자의 시력 측정을 위한 가상 대상체를 출력할 수 있다.
사용자 입력부(1112)는 가상 대상체의 출력 이후에, 시력 측정을 위한 사용자 입력 신호를 획득할 수 있다.
저장부(1120)는, 증강 현실 장치(1100)의 동작을 제어하기 위해 후술할 프로세서(1130)에 의해 실행될 프로그램을 저장할 수 있다. 저장부(1120)는 증강 현실 장치(1100)의 동작을 제어하기 위한 적어도 하나의 명령어들(instruction)을 포함하는 프로그램을 저장할 수 있다. 저장부(1120)에는 프로세서(1130)가 판독할 수 있는 명령어들 및 프로그램 코드(program code)가 저장될 수 있다. 일 실시예에서, 프로세서(1130)는 저장부(1120)에 저장된 프로그램의 명령어들 또는 코드들을 실행하도록 구현될 수 있다. 저장부(1120)는 증강 현실 장치(1100)로 입력되거나 증강 현실 장치(1100)로부터 출력되는 데이터를 저장할 수 있다.
저장부(1120)는 예를 들어, 플래시 메모리(flash memory), 하드디스크(hard disk), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어, SD 또는 XD 메모리 등), 램(RAM, Random Access Memory), SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장 매체를 포함할 수 있다.
저장부(1120)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있다.
프로세서(1130)는, 증강 현실 장치(1100)의 전반적인 동작을 제어할 수 있다. 프로세서(1130)는 본 개시의 일 실시예에 따른 동작들을 수행할 수 있다. 예를 들어, 프로세서(1130)는 저장부(1120)에 저장된 프로그램들을 실행함으로써, 입력부(1110), 저장부(1120), 가변 초점 렌즈(1140), 및 출력부(1150)을 등을 전반적으로 제어할 수 있다.
프로세서(1130)는 산술, 로직 및 입출력 연산과 시그널 프로세싱을 수행하는 하드웨어 구성요소로 구성될 수 있다. 프로세서(1130)는 예를 들어, 중앙 처리 장치(Central Processing Unit), 마이크로 프로세서(microprocessor), 그래픽 프로세서(Graphic Processing Unit), ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), 및 FPGAs(Field Programmable Gate Arrays) 중 적어도 하나로 구성될 수 있으나, 이에 제한되는 것은 아니다.
일 실시예에서, 프로세서(1130)는 저장부(1120)에 저장된 하나 이상의 명령어들을 실행함으로써, 획득된 배경 이미지에서 적어도 하나의 물리적 대상체의 이미지의 에지를 식별하고, 식별된 에지에 기초하여 배경 이미지 상에서 사용자의 시력 측정을 위한 제1 영역을 결정하고, 출력부에 포함된 디스플레이 상에서, 결정된 제1 영역에 대응되는 제2 영역을 결정하고, 결정된 제2 영역에 가상 대상체를 출력하고, 획득한 사용자 입력 신호에 기초하여 사용자의 시력 측정값을 산출할 수 있다.
일 실시예에서, 프로세서(1130)는 저장부(1120)에 저장된 하나 이상의 명령어들을 실행함으로써, 사용자의 눈으로부터 가상 대상체까지의 초점거리를 식별하고, 식별된 초점거리에 기초하여 측정 시력 보상값을 산출하고, 측정 시력 보상값에 기초하여 산출된 시력 측정값을 보상할 수 있다.
일 실시예에서, 프로세서(1130)는 저장부(1120)에 저장된 하나 이상의 명령어들을 실행함으로써, 제1 영역의 색상을 식별하고, 사용자의 시력 측정을 위한 가상 대상체의 색상을, 식별된 제1 영역의 색상과 대비가 최대가 되도록 결정함으로써, 가상 대상체의 식별력을 높일 수 있다.
일 실시예에서, 프로세서(1130)는 저장부(1120)에 저장된 하나 이상의 명령어들을 실행함으로써, 객체 잠금 메커니즘(object locking mechanism)을 이용하여, 사용자의 시력 측정을 위한 가상 대상체가 디스플레이 상 표시될 때 일정한 제1 영역 상에 오버레이 되어 표시되도록 제2 영역을 결정할 수 있다.
가변 초점 렌즈(variable focus lens)(1140)는, 가변적인 초점을 갖는 렌즈이다. 예를 들어, 가변 초점 렌즈(1140)는 LC렌즈(liquid crystal lens, 액정렌즈), 액체막 렌즈(liquid membrane lens), 전기 습윤 렌즈(liquid wetting lens), 또는 알바레즈 렌즈(Alvarez lens)를 포함할 수 있다. 예를 들어, LC렌즈는 전기 신호에 의해 조절되는 가변적인 굴절률을 갖는 렌즈이다. 증강 현실 장치(1100)는 산출된 사용자의 시력 측정값에 기초하여 가변 초점 렌즈(1140)의 초점을 제어할 수 있다.
도 12는 본 개시의 일 실시예에 따른 증강 현실 장치(1200)를 도시한 도면이다.
도 12를 참조하면, 사용자의 시력을 측정하고, 측정된 시력에 기초하여 시력의 교정을 제공할 수 있는 증강 현실 장치(1200)가 도시 된다. 증강 현실 장치(1200)는 증강 현실(AR)을 디스플레이 할 수 있는 장치로서, 일반적으로 사용자가 안면부에 착용하는 안경 형상의 AR 안경(AR glasses), 두부에 착용하는 헤드 마운트 디스플레이(head mounted display, HMD), 가상 현실 헤드셋(virtual reality headset, VRH), 또는 AR 헬멧(AR helmet) 등을 포함할 수 있다. 헤드 마운트형 장치의 경우, 사용자의 눈 앞에 디스플레이를 배치함으로써, 사용자에게 초대형 화면을 제공할 수 있고, 사용자의 움직임에 따라 화면이 움직이므로 사실적인 가상 세계를 제공할 수 있다.
일 실시예에서, 사용자는 시각적 확장 현실 콘텐트를 표시할 수 있는, 증강 현실 장치(1200)를 착용할 수 있다. 증강 현실 장치(1200)는 오디오 확장 현실 콘텐트를 사용자에게 제공할 수 있는 오디오 모듈을 포함할 수 있다. 일 실시예에서, 증강 현실 장치(1200)는 환경의 이미지 및 비디오를 캡쳐할 수 있는 하나 이상의 카메라를 포함할 수 있다. 증강 현실 장치(1200)는 사용자의 수렴 거리(vergence distance)를 결정하기 위해 시선 추적(eye tracking) 시스템을 포함할 수 있다. 일 실시예에서, 증강 현실 장치(1200)는 경량의 머리 착용형 디스플레이(HMD)(예를 들어, 고글(goggles), 안경, 바이저(visor) 등)를 포함할 수 있다. 일 실시예에서, 증강 현실 장치(1200)는 경량의 휴대용 표시 장치 또는 하나 이상의 레이저 투사 안경(예를 들어, 사용자에게 이미지 또는 깊이 콘텐트를 투사 및 표시하기 위해 사용자의 망막 상에 저전력 레이저(low-powered laser)를 투사할 수 있는 안경)과 같은, 비-HMD 장치를 포함할 수 있다.
일 실시예에서, 증강 현실 장치(1200)는 사용자의 시야(field of view, FOV)로 판단되는 영역에 적어도 하나의 가상 객체가 겹쳐 보이도록 출력하는 AR 서비스를 제공할 수 있다. 예를 들어, 사용자의 시야로 판단되는 영역은 증강 현실 장치(1200)를 착용한 사용자가 증강 현실 장치(1200)를 통해 인지할 수 있다고 판단되는 영역으로, 증강 현실 장치(1200)의 디스플레이의 전체 또는 적어도 일부를 포함하는 영역일 수 있다. 일 실시예에서, 증강 현실 장치(1200)는 사용자의 양안 각각에 대응하는 복수개의 투명 부재(1220, 1230)를 포함할 수 있다.
일 실시예에서, 증강 현실 장치(1200)는 디스플레이 모듈(1214), 카메라, 오디오 출력부, 및 지지부(1221, 1222)를 포함할 수 있다.
카메라는 사용자의 시야에 대응되는 영상을 촬영하거나 객체와의 거리를 측정할 수 있다. 일 실시예에서, 카메라는 헤드 트레킹(head tracking) 및 공간 인식을 위해 사용될 수 있다. 또한, 카메라는 사용자의 움직임을 인식할 수도 있다.
일 실시예에서, 카메라는 사용자의 시야에 대응되는 영상, 즉 객체의 움직임을 검출하거나, 공간 인식을 위해 사용되는 카메라(1213) 이외에 'ET(eye tracking) 카메라(1212)'를 더 포함할 수도 있다. 일 실시예에서, ET 카메라(1212)는 사용자의 눈동자를 검출하고 추적하는 용도로 사용될 수 있다. ET 카메라(1212)는 증강 현실 장치(1200)에 투영되는 가상 영상의 중심이, 증강 현실 장치(1200)를 착용하는 사용자의 눈동자가 응시하는 방향에 따라 위치하도록 조절하기 위한 용도로 사용될 수 있다. 예를 들어, ET 카메라(1212)에는 눈동자(pupil)를 검출하고 빠른 눈동자 움직임을 지연 없이 추적할 수 있도록 GS(Global shutter) 카메라가 이용될 수 있다. ET 카메라(1212)는 좌안용 카메라(1212-1) 및 우안용 카메라(1212-2)를 별도로 포함할 수도 있다.
일 실시예에서 디스플레이 모듈(1214)은 제1 디스플레이(1220) 및 제2 디스플레이(1230)를 포함할 수 있다. 디스플레이 모듈(1214)를 통해 출력되는 가상 객체는 증강 현실 장치(1200)에서 실행되는 애플리케이션 프로그램과 관련된 정보 또는 사용자의 시야로 판단되는 영역에 대응하는 실제 공간에 위치한 외부 객체와 관련된 정보를 포함할 수 있다. 예를 들어, 증강 현실 장치(1200)는 카메라(1213)를 통해 획득한 실제 공간과 관련된 영상 정보 중 사용자의 시야로 판단되는 영역에 대응하는 적어도 일부에 포함되는 외부 객체를 확인할 수 있다. 증강 현실 장치(1200)는 적어도 일부에서 확인한 외부 객체와 관련된 가상 객체를 증강 현실 장치(1200)의 표시 영역 중 사용자의 시야로 판단되는 영역을 통해 출력할 수 있다. 외부 객체는 실제 공간에 존재하는 사물을 포함할 수 있다.
일 실시예에서, 디스플레이(1220, 1230)는 투명 부재에 집광 렌즈 또는 웨이브가이드(waveguide, 도파관 또는 도파로)를 포함할 수 있다. 예를 들어, 투명 부재는 글라스 플레이트, 플라스틱 플레이트, 또는 폴리머로 형성될 수 있고, 완전히 투명하거나 반투명하게 제작될 수 있다. 일 실시예에서, 투명 부재는 증강 현실 장치(1200)를 착용한 사용자의 우안에 대면하는 제1 투명 부재(1230) 및 사용자의 좌안에 대면하는 제2 투명 부재(1220)를 포함할 수 있다. 디스플레이가 투명인 경우, 사용자의 눈과 대면하는 위치에 배치되어 화면을 표시할 수 있다.
웨이브가이드는 디스플레이의 광원에서 생성된 빛을 사용자의 눈으로 전달할 수 있다. 예를 들어, 웨이브가이드는 투명 부재(1220, 1230)의 일부에 적어도 부분적으로 위치할 수 있다. 일 실시예에 따르면, 디스플레이에서 방출된 광은 웨이브가이드의 일단으로 입사될 수 있고, 입사된 광이 웨이브가이드(waveguide) 내에서 내부 전반사를 통해 사용자 눈으로 전달될 수 있다. 웨이브가이드는 유리, 플라스틱, 또는 폴리머 등 투명한 소재로 제작될 수 있으며, 내부 또는 외부의 일 표면에 형성된 나노 패턴, 예를 들어, 다각형 또는 곡면 형상의 격자 구조(grating structure)를 포함할 수 있다. 일 실시예에서, 입광된 광은 나노 패턴에 의해 웨이브가이드 내부에서 전파 또는 반사되어 사용자의 눈으로 제공될 수 있다. 일 실시예에서, 웨이브가이드(waveguide)는 적어도 하나의 회절요소(예를 들어, DOE(diffractive optical element), HOE(holographic optical element)) 또는 반사요소(예를 들어, 거울) 중 적어도 하나를 포함할 수 있다. 일 실시예에서, 웨이브가이드는 적어도 하나의 회절요소 또는 반사요소를 이용하여 광원부로부터 방출된 디스플레이 광을 사용자의 눈으로 유도할 수 있다.
일 실시예에서, 디스플레이(1220, 1230)는 디스플레이 패널 또는 렌즈(예를 들어, 글라스)를 포함할 수 있다. 예를 들어, 디스플레이 패널은 유리 또는 플라스틱과 같은 투명한 재질을 포함할 수 있다. 일 실시예에서, 디스플레이는 투명 소자로 구성될 수 있고, 사용자가 디스플레이를 투과하여, 디스플레이 후면의 실제 공간을 인지할 수도 있다. 디스플레이는 사용자에게 실제 공간의 적어도 일부에 가상 객체가 덧붙여진 것으로 보여지도록 투명 소자의 적어도 일부 영역에 가상 객체를 표시할 수 있다.
일 실시예에서, 지지부(1221, 1222)는 증강 현실 장치(1200)의 각 구성요소에 전기적 신호를 전달하기 위한 인쇄 회로 기판(printed circuit board, PCB)(1231-1, 1231-2), 오디오 신호를 출력하기 위한 스피커(1232-1, 1232-2), 또는 전력을 공급하기 위한 배터리(1233-1, 1233-2)를 포함할 수 있다. 예를 들어, 안경 타입의 증강 현실 장치(1200)에서, 지지부(1221, 1222)는 안경 다리부에 배치될 수 있다. 지지부(1221, 1222)는 증강 현실 장치(1200)의 본체부에 결합하기 위한 힌지부(1240-1, 1240-2)를 포함할 수 있다. 스피커(1232-1, 1232-2)는 사용자의 좌측 귀에 오디오 신호를 전달하기 위한 제1 스피커(1232-1) 및 사용자의 우측 귀에 오디오 신호를 전달하기 위한 제2 스피커(1232-2)를 포함할 수 있다.
도 12를 참조하면, 증강 현실 장치(1200)는 사용자의 음성 및 주변 소리를 수신하기 위한 마이크(1241)를 포함할 수 있다. 또한, 증강 현실 장치(1200)는 적어도 하나의 카메라(예를 들어, ET 카메라(1212), 외향 카메라(1213), 또는 인식용 카메라(1211-1, 1211-2))의 정확도를 높이기 위해 적어도 하나의 발광 장치(illumination LED)(1242)를 포함할 수 있다. 예를 들어, 발광 장치(1242)는 ET 카메라(1212)로 사용자의 동공을 촬영할 때 정확도를 높이기 위한 보조 수단으로 사용될 수 있고, 발광 장치(1242)는 가시광 파장이 아닌 적외선 파장의 IR LED를 사용할 수 있다. 예를 들어, 발광 장치(1242)는 인식용 카메라(1211-1, 1211-2)로 사용자의 제스처를 촬영할 때 어두운 환경으로 인해 피사체의 검출이 용이하지 않을 때 보조 수단으로 사용될 수 있다.
일 실시예에 따르면, 디스플레이 모듈(1214)은 좌안에 대응하는 제1 도광판(1220) 및 우안에 대응하는 제2 도광판(1230)를 포함할 수 있고, 제1 도광판(1220) 및 제2 도광판(1230)를 통해 사용자에게 시각적인 정보를 제공할 수 있다. 일 실시예에 따르면, 디스플레이 모듈(1214)은 디스플레이 패널 및 렌즈(예를 들어, 유리렌즈, LC렌즈)를 포함할 수 있다. 디스플레이 패널은 유리 또는 플라스틱과 같은 투명한 재질을 포함할 수 있다.
일 실시예에 따르면, 디스플레이 모듈(1214)은 투명 소자로 구성될 수 있고, 사용자가 디스플레이 모듈(1214)을 투과하여, 디스플레이 모듈(1214)의 후면이자 사용자 전방의 실제 공간을 인지할 수 있다. 디스플레이 모듈(1214)은 사용자에게 실제 공간의 적어도 일부에 가상 객체가 덧붙여진 것으로 보여지도록 투명 소자의 적어도 일부 영역에 가상 객체를 표시할 수 있다.
일 실시예에서, 증강 현실 장치(1200)는 외향 카메라(1213)를 통해 획득한 실제 공간과 관련된 영상 정보 중 사용자의 시야각(FoV)으로 판단되는 영역에 대응하는 적어도 일부에 포함되는 외부 객체를 확인할 수 있다. 증강 현실 장치(1200)는 적어도 일부에서 확인한 외부 객체와 관련된 가상 객체를 증강 현실 장치(1200)의 표시 영역 중 사용자의 시야각으로 판단되는 영역을 통해 출력(또는 표시)할 수 있다. 외부 객체는 실제 공간에 존재하는 사물을 포함할 수 있다. 다양한 실시예에 따르면, 증강 현실 장치(1200)가 가상 객체를 표시하는 표시 영역은 디스플레이 모듈(1214)의 일부(예를 들어, 디스플레이 패널의 적어도 일부)를 포함할 수 있다. 일 실시예에 따르면, 표시 영역은 제1 도광판(1220) 및 제2 도광판(1230)의 적어도 일부분에 대응되는 영역일 수 있다.
일 실시예에 따르면, 증강 현실 장치(1200)는 외향 카메라(1213)를 사용하여, 증강 현실 장치(1200)의 전면 방향에 위치한 물리적 대상체와의 거리를 측정할 수도 있다. 외향 카메라(1213)는 HR(high resolution) 카메라 및 PV(photo video) 카메라와 같은 고해상도의 카메라를 포함할 수 있다.
본 개시의 일 실시예에 따른 증강 현실 장치(1200)는 전술한 구성으로 제한되는 것은 아니며, 다양한 구성요소를 다양한 위치에 다양한 개수로 포함할 수 있다.
도 13은 본 개시의 일 실시예에 따른 가변 초점 렌즈(1340)를 제어하여 사용자에게 시력 교정을 제공하는 동작을 설명하기 위한 도면이다.
가변 초점 렌즈(variable focus lens)(1340)는, 가변적인 초점을 갖는 렌즈이다. 예를 들어, 가변 초점 렌즈(1340)는 LC렌즈(liquid crystal lens, 액정렌즈), 액체막 렌즈(liquid membrane lens), 전기 습윤 렌즈(liquid wetting lens), 또는 알바레즈 렌즈(Alvarez lens)를 포함할 수 있다.
본 개시의 일 실시예에 따른 증강 현실 장치에서 가변 초점 렌즈(1340)는 사용자의 눈과 디스플레이(1351) 사이에 배치될 수 있다. 일 실시예에서, 증강 현실 장치는 산출된 사용자의 시력 측정값에 기초하여, 증강 현실 장치에 포함된 가변 초점 렌즈(1340)를 제어할 수 있다.
도 13을 참조하면, 증강 현실 장치를 착용한 사용자는 가변 초점 렌즈(1340)를 통해 디스플레이(1351)에 표시된 가상 대상체를 볼 수 있고(13a), 가변 초점 렌즈(1340) 및 투명한 디스플레이(1351)를 통해 현실의 공간을 볼 수 있다.
본 개시의 일 실시예는, 측정된 시력에 기초하여 가변 초점 렌즈(1340)의 초점을 제어함으로써, 사용자에게 시력 교정을 제공할 수 있고, 교정된 시력을 통해 실감나는 증강 현실 서비스를 제공할 수 있다.
도 14는 본 개시의 일 실시예에 따른 증강 현실 장치(예를 들어, 도 11의 1100)를 도시한 도면이다.
도 14를 참조하면, 증강 현실 장치는, 사용자 입력부(1410), 출력부(1430), 제어부(1420), 센싱부(1440), 통신부(1450), A/V 입력부(1460) 및 메모리(1470)를 포함할 수 있다.
사용자 입력부(1410)는, 사용자가 증강 현실 장치를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(1410)에는 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등) 또는 마이크로폰 등이 있을 수 있으나 이에 한정되는 것은 아니다.
출력부(1430)는, 오디오 신호 또는 비디오 신호 또는 진동 신호를 출력할 수 있으며, 출력부(1430)는 디스플레이부(1431), 음향 출력부(1432), 및 진동 모터(1433)를 포함할 수 있다.
디스플레이부(1431)는 증강 현실 장치에서 처리되는 정보를 표시 출력한다. 예를 들어, 디스플레이부(1431)는, 가상 대상체의 이미지를 디스플레이할 수 있다.
디스플레이부(1431)는 예를 들어, 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다.
음향 출력부(1432)는 통신부(1450)로부터 수신되거나 메모리(1470)에 저장된 오디오 데이터를 출력한다. 진동 모터(1433)는 진동 신호를 출력할 수 있다.
제어부(1420)는, 통상적으로 증강 현실 장치의 전반적인 동작을 제어한다. 일 실시예에서, 제어부(1420)는 전술한 도 11의 프로세서(1130)와 유사하게 구현될 수 있다. 예를 들어, 제어부(1420)는, 메모리(1470)에 저장된 프로그램들을 실행함으로써, 사용자 입력부(1410), 출력부(1430), 센싱부(1440), 통신부(1450), A/V 입력부(1460)를 제어할 수 있다. 제어부(1420)는 사용자 입력부(1410), 출력부(1430), 센싱부(1440), 통신부(1450), A/V 입력부(1460)를 제어함으로써, 도 1 내지 도 12에서의 증강 현실 장치의 다양한 동작들을 수행할 수 있다.
센싱부(1440)는, 증강 현실 장치의 상태 또는 증강 현실 장치 주변의 상태를 감지하고, 감지된 정보를 제어부(1420)로 전달할 수 있다.
센싱부(1440)는, 지자기 센서(Magnetic sensor)(1441), 가속도 센서(Acceleration sensor)(1442), 온/습도 센서(1443), 적외선 센서(1444), 자이로스코프 센서(1445), 위치 센서(예컨대, GPS)(1446), 기압 센서(1447), 근접 센서(1448), 및 RGB 센서(illuminance sensor)(1449) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.
통신부(1450)는, 다른 전자 장치와의 통신을 위한 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(1450)는, 근거리 통신부(1451), 이동 통신부(1452), 방송 수신부(1453)를 포함할 수 있다.
근거리 통신부(short-range wireless communication unit)(1451)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부(1452)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 신호, 화상 통화 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다. 일 실시예에서, 증강 현실 장치는 연결된 다른 전자 장치에 대한 디스플레이 장치로서 기능함과 함께, 증강 현실 장치 자체가 독립적인 이동통신 단말기로서 기능할 수도 있다. 이 경우, 증강 현실 장치의 통신부(1450)는 근거리 통신부(1451)와 이동 통신부(1452)를 모두 포함할 수 있고, 다른 전자 장치와 연결되지 않은 상태에서도, 이동 통신부(1452)를 통해 독립적인 이동통신 단말기로 동작할 수 있다.
방송 수신부(1453)는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 일 실시예에서 증강 현실 장치는 방송 수신부(1453)를 포함하지 않을 수도 있다.
A/V(Audio/Video) 입력부(1460)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(1461)와 마이크로폰(1462) 등이 포함될 수 있다. 카메라(1461)은 화상 통화 모드 또는 촬영 모드에서 이미지 센서를 통해 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 이미지 센서를 통해 캡쳐된 이미지는 제어부(1420) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다.
카메라(1461)에서 처리된 화상 프레임은 메모리(1470)에 저장되거나 통신부(1450)를 통하여 외부로 전송될 수 있다. 카메라(1461)는 증강 현실 장치의 구성 태양에 따라 2개 이상이 구비될 수도 있다.
마이크로폰(1462)은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크로폰(1462)은 외부 디바이스 또는 화자로부터 음향 신호를 수신할 수 있다. 마이크로폰(1462)는 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.
메모리(1470)는, 제어부(1420)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 증강 현실 장치로 입력되거나 증강 현실 장치로부터 출력되는 데이터를 저장할 수도 있다. 메모리(1470)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
본 개시의 다양한 실시예들은 하나 이상의 컴퓨터 프로그램들에 의해 구현 또는 지원될 수 있고, 컴퓨터 프로그램들은 컴퓨터 판독 가능한 프로그램 코드(code)로부터 형성되고, 컴퓨터로 판독 가능한 매체에 수록될 수 있다. 본 개시에서, "애플리케이션(application)" 및 "프로그램(program)"은 컴퓨터 판독 가능한 프로그램 코드에서의 구현에 적합한 하나 이상의 컴퓨터 프로그램, 소프트웨어 컴포넌트, 명령어 세트, 프로시저(procedure), 함수, 개체(object), 클래스, 인스턴스, 관련 데이터, 또는 그것의 일부를 나타낼 수 있다. "컴퓨터 판독 가능한 프로그램 코드"는, 소스 코드, 목적 코드, 및 실행 가능한 코드를 포함하는 다양한 유형의 컴퓨터 코드를 포함할 수 있다. "컴퓨터 판독 가능한 매체"는, ROM(read only memory), RAM(random access memory), 하드 디스크 드라이브(HDD), CD(compact disc), DVD(digital video disc), 또는 다양한 유형의 메모리와 같이, 컴퓨터에 의해 액세스될 수 있는 다양한 유형의 매체를 포함할 수 있다.
또한, 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, ‘비일시적 저장 매체'는 실재(tangible)하는 장치이고, 일시적인 전기적 또는 다른 신호들을 전송하는 유선, 무선, 광학적, 또는 다른 통신 링크들을 배제할 수 있다. 한편, 이 '비일시적 저장 매체'는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예를 들어, '비일시적 저장 매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다. 컴퓨터 판독 가능한 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함할 수 있다. 컴퓨터 판독 가능한 매체는, 데이터가 영구적으로 저장될 수 있는 매체와 데이터가 저장되고 나중에 덮어쓰기 될 수 있는 매체, 이를테면 재기입 가능한 광 디스크 또는 소거 가능한 메모리 디바이스를 포함한다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예를 들어, compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예를 들어, 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예를 들어, 스마트폰) 간에 직접, 온라인으로 배포(예를 들어, 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예를 들어, 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
전술한 본 개시의 설명은 예시를 위한 것이며, 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 개시의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.

Claims (15)

  1. 증강 현실 장치가 사용자의 시력을 측정하는 방법에 있어서,
    상기 증강 현실 장치에 포함된 외향 카메라를 이용하여 상기 증강 현실 장치의 전방 영역을 촬영함으로써, 적어도 하나의 물리적 대상체(physical object)의 이미지를 포함하는 배경 이미지를 획득하는 단계;
    상기 배경 이미지에서 상기 적어도 하나의 물리적 대상체의 이미지의 에지(edge)를 식별하는 단계;
    상기 식별된 에지에 기초하여 상기 배경 이미지 상에서 상기 사용자의 시력 측정을 위한 제1 영역을 결정하는 단계;
    상기 증강 현실 장치에 포함된 디스플레이 상에서, 상기 결정된 제1 영역에 대응되는 제2 영역을 결정하는 단계;
    상기 결정된 제2 영역에 상기 사용자의 시력 측정을 위한 가상 대상체(virtual object)를 출력하는 단계;
    상기 가상 대상체의 출력 이후에, 시력 측정을 위한 사용자 입력 신호를 획득하는 단계; 및
    획득한 상기 사용자 입력 신호에 기초하여 상기 사용자의 시력 측정값(vision prescription value)을 산출하는 단계를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 배경 이미지에서 상기 적어도 하나의 물리적 대상체의 에지를 식별하는 단계는, 상기 배경 이미지 상에서, 인접한 픽셀에 걸쳐 강도(intensity)가 기설정된 임계값 이상으로 변하는 부분을 에지로 결정하는 단계를 포함하는, 방법.
  3. 제1항에 있어서,
    상기 배경 이미지를 획득하는 단계는,
    상기 증강 현실 장치에 포함된 깊이 센서(depth sensor)를 이용하여 상기 배경 이미지의 깊이 맵을 획득하는 단계; 및
    상기 획득된 깊이 맵에 기초하여 상기 배경 이미지에 포함된 상기 적어도 하나의 물리적 대상체의 깊이 값 및 형태를 식별하는 단계를 포함하는, 방법.
  4. 제3항에 있어서,
    상기 식별된 에지에 기초하여 상기 배경 이미지 상에서 상기 사용자의 시력 측정을 위한 상기 제1 영역을 결정하는 단계는, 상기 적어도 하나의 물리적 대상체의 깊이 값 및 형태, 및 상기 식별된 에지에 기초하여 상기 배경 이미지 상에서 상기 제1 영역을 결정하는 단계를 포함하는, 방법.
  5. 제1항에 있어서,
    상기 사용자의 눈으로부터 상기 가상 대상체까지의 초점거리를 식별하는 단계;
    상기 식별된 초점거리에 기초하여 측정 시력 보상값(test vision compensation value)을 산출하는 단계; 및
    상기 측정 시력 보상값에 기초하여 상기 산출된 시력 측정값을 보상하는 단계를 포함하는, 방법.
  6. 제5항에 있어서,
    상기 사용자의 눈으로부터 상기 가상 대상체까지의 초점거리를 식별하는 단계는,
    상기 가상 대상체가 표시되는 상기 제2 영역에 대응되는 상기 제1 영역에 대응되는 물리적 대상체를 식별하는 단계; 및
    상기 증강 현실 장치에 포함된 LIDAR, 깊이 센서, 또는 시선 추적 센서 중 적어도 하나를 이용해 상기 사용자의 눈으로부터 상기 식별된 물리적 대상체까지의 초점 거리를 식별하는 단계를 포함하는, 방법.
  7. 제5항에 있어서,
    상기 측정 시력 보상값을 산출하는 단계는, 상기 식별된 초점거리(D)의 역수(1/D)에 기초하여 상기 측정 시력 보상값을 산출하는 단계를 포함하는, 방법.
  8. 제1항에 있어서,
    상기 제1 영역의 색상을 식별하는 단계; 및
    상기 식별된 제1 영역의 색상에 기초하여 상기 사용자의 시력 측정을 위한 가상 대상체의 색상을 결정하는 단계를 더 포함하는, 방법.
  9. 제8항에 있어서,
    상기 사용자의 시력 측정을 위한 가상 대상체의 색상은, 대응되는 상기 제1 영역의 색상과 대비(contrast)가 최대가 되도록 결정되는, 방법.
  10. 제8항에 있어서,
    상기 디스플레이 상에서, 상기 사용자의 시력 측정을 위한 가상 대상체가 출력되는 픽셀들을 제외한, 상기 제2 영역에 포함된 픽셀들의 명도를 낮추는 단계를 더 포함하는, 방법.
  11. 제1항에 있어서,
    상기 제1 영역의 면적에 기초하여, 상기 사용자의 시력 측정을 위한 가상 대상체의 크기 및 개수 중 적어도 하나를 결정하는 단계를 더 포함하는, 방법.
  12. 제1항에 있어서,
    상기 제1 영역에 대응되는 상기 제2 영역을 결정하는 단계는,
    객체 잠금 메커니즘(object locking mechanism)을 이용하여, 상기 사용자의 시력 측정을 위한 가상 대상체가 상기 디스플레이 상 표시될 때 일정한 상기 제1 영역 상에 오버레이 되어 표시되도록 상기 제2 영역을 결정하는 단계를 포함하는, 방법.
  13. 제1항에 있어서,
    상기 사용자의 시선 방향을 인식하는 단계; 및
    인식된 상기 사용자의 시선 방향이 상기 가상 대상체를 향하지 않다고 판단되는 경우, 상기 디스플레이에 유도 지시자(guide indicator)를 출력하는 단계를 더 포함하는, 방법.
  14. 제1항에 있어서,
    상기 산출된 사용자의 시력 측정값에 기초하여, 상기 증강 현실 장치에 포함된 가변 초점 렌즈를 제어하는 단계를 더 포함하는, 방법.
  15. 사용자의 시력을 측정하는 증강 현실 장치에 있어서,
    전방 영역을 촬영함으로써, 적어도 하나의 물리적 대상체의 이미지를 포함하는 배경 이미지를 획득하는, 외향 카메라;
    상기 사용자의 시력 측정을 위한 가상 대상체를 출력하는, 출력부;
    상기 가상 대상체의 출력 이후에, 시력 측정을 위한 사용자 입력 신호를 획득하는, 사용자 입력부;
    적어도 하나의 명령어(instruction)를 포함하는 프로그램을 저장하는 저장부; 및
    상기 저장부에 저장된 적어도 하나의 명령어를 실행하는 적어도 하나의 프로세서를 포함하고,
    상기 프로세서는 상기 적어도 하나의 명령어를 실행함으로써,
    상기 획득된 배경 이미지에서 상기 적어도 하나의 물리적 대상체의 이미지의 에지를 식별하고,
    상기 식별된 에지에 기초하여 상기 배경 이미지 상에서 상기 사용자의 시력 측정을 위한 제1 영역을 결정하고,
    상기 출력부에 포함된 디스플레이 상에서, 상기 결정된 제1 영역에 대응되는 제2 영역을 결정하고,
    상기 결정된 제2 영역에 상기 가상 대상체를 출력하고,
    획득한 상기 사용자 입력 신호에 기초하여 상기 사용자의 시력 측정값을 산출하는, 증강 현실 장치.
PCT/KR2022/009205 2021-07-05 2022-06-28 시력 측정 및 시력 교정을 제공하는 증강 현실 장치 및 방법 WO2023282524A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP22837876.6A EP4350417A1 (en) 2021-07-05 2022-06-28 Augmented reality apparatus and method for providing vision measurement and vision correction
CN202280047360.XA CN117597622A (zh) 2021-07-05 2022-06-28 用于提供视力测量和视力校正的增强现实设备和方法
US18/405,648 US20240138668A1 (en) 2021-07-05 2024-01-05 Augmented reality apparatus and method for providing vision measurement and vision correction

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0088079 2021-07-05
KR1020210088079A KR20230007611A (ko) 2021-07-05 2021-07-05 시력 측정 및 시력 교정을 제공하는 증강 현실 장치 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/405,648 Continuation US20240138668A1 (en) 2021-07-05 2024-01-05 Augmented reality apparatus and method for providing vision measurement and vision correction

Publications (1)

Publication Number Publication Date
WO2023282524A1 true WO2023282524A1 (ko) 2023-01-12

Family

ID=84800672

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/009205 WO2023282524A1 (ko) 2021-07-05 2022-06-28 시력 측정 및 시력 교정을 제공하는 증강 현실 장치 및 방법

Country Status (5)

Country Link
US (1) US20240138668A1 (ko)
EP (1) EP4350417A1 (ko)
KR (1) KR20230007611A (ko)
CN (1) CN117597622A (ko)
WO (1) WO2023282524A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150072954A (ko) * 2013-12-20 2015-06-30 배재대학교 산학협력단 증강현실 서비스를 제공하는 방법 및 장치
KR101704442B1 (ko) * 2016-11-04 2017-02-09 한국프라임제약주식회사 Vr 기기를 이용한 시력측정시스템
CN108228124A (zh) * 2017-12-29 2018-06-29 广州京墨医疗科技有限公司 Vr视觉测试方法、系统和设备
CN108634926A (zh) * 2018-05-14 2018-10-12 杭州市余杭区第五人民医院 基于vr技术的视力检测方法、装置、系统及存储介质
KR20210048928A (ko) * 2019-10-24 2021-05-04 에스케이텔레콤 주식회사 가상 객체를 구현할 위치를 결정하는 방법 및 이를 수행하는 단말

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150072954A (ko) * 2013-12-20 2015-06-30 배재대학교 산학협력단 증강현실 서비스를 제공하는 방법 및 장치
KR101704442B1 (ko) * 2016-11-04 2017-02-09 한국프라임제약주식회사 Vr 기기를 이용한 시력측정시스템
CN108228124A (zh) * 2017-12-29 2018-06-29 广州京墨医疗科技有限公司 Vr视觉测试方法、系统和设备
CN108634926A (zh) * 2018-05-14 2018-10-12 杭州市余杭区第五人民医院 基于vr技术的视力检测方法、装置、系统及存储介质
KR20210048928A (ko) * 2019-10-24 2021-05-04 에스케이텔레콤 주식회사 가상 객체를 구현할 위치를 결정하는 방법 및 이를 수행하는 단말

Also Published As

Publication number Publication date
CN117597622A (zh) 2024-02-23
KR20230007611A (ko) 2023-01-13
EP4350417A1 (en) 2024-04-10
US20240138668A1 (en) 2024-05-02

Similar Documents

Publication Publication Date Title
WO2018155892A1 (en) Method for displaying virtual image, storage medium and electronic device therefor
JP6089705B2 (ja) 表示装置、および、表示装置の制御方法
EP3228072B1 (en) Virtual focus feedback
WO2019151817A1 (en) Apparatus and method for tracking a focal point in a head mounted display system
JP2014191386A (ja) 頭部装着型表示装置、および、頭部装着型表示装置の制御方法
WO2020256325A1 (en) Electronic device and method for providing function by using corneal image in electronic device
WO2022164094A1 (ko) Hmd(head mounted display)의 영상 처리 방법 및 이 방법을 실행하는 hmd
WO2023282524A1 (ko) 시력 측정 및 시력 교정을 제공하는 증강 현실 장치 및 방법
WO2022010152A1 (ko) 사용자의 시력을 교정하고 캘리브레이션을 수행하는 디바이스 및 방법
WO2022169255A1 (ko) 전자 장치 및 그의 사용자 시선을 추적하고 증강 현실 서비스를 제공하는 방법
WO2022215895A1 (ko) 복수의 카메라를 포함하는 웨어러블 전자 장치
WO2022149748A1 (ko) 콘텐츠를 표시하기 위한 전자 장치 및 그의 동작 방법
KR102409188B1 (ko) 증강현실 영상 출력 제어 방법 및 장치
US11934571B2 (en) Methods and systems for a head-mounted device for updating an eye tracking model
WO2023014185A1 (ko) 사용자의 시선을 검출하는 증강 현실 장치 및 방법
JP6394108B2 (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
WO2023033565A1 (ko) 깊이 센서를 이용하여 깊이 맵을 획득하는 증강 현실 디바이스 및 방법
JP6304415B2 (ja) 頭部装着型表示装置、および、頭部装着型表示装置の制御方法
WO2022196869A1 (ko) 머리 착용형 디스플레이 장치, 그 장치에서의 동작 방법 및 저장매체
WO2022124638A1 (ko) 사용자 렌즈가 삽입되는 렌즈 클립 및 렌즈 클립에 사용자 렌즈의 삽입 여부를 검출하는 머리 장착형 전자 장치
WO2023080419A1 (ko) 비전 정보를 이용하여 전자기기를 제어하는 웨어러블 전자 장치 및 방법
WO2022050638A1 (ko) 디스플레이의 설정 변경 방법 및 전자 장치
WO2024101579A1 (ko) 멀티미디어 콘텐트를 표시하기 위한 전자 장치 및 그 방법
WO2024111804A1 (ko) 증강 현실에서 이미지 획득 장치 및 방법
WO2023038243A1 (ko) 전자 장치 및 그 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22837876

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202280047360.X

Country of ref document: CN

Ref document number: 2022837876

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2022837876

Country of ref document: EP

Effective date: 20240102

NENP Non-entry into the national phase

Ref country code: DE